特許 7601525 画像をビデオに変換する方法、装置、機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】画像をビデオに変換する方法、装置、機器及び記憶媒体

(51)【国際特許分類】

   G06T 1/00 20060101AFI20241210BHJP

   H04N 23/60 20230101ALI20241210BHJP

   H04N 23/611 20230101ALI20241210BHJP

【ＦＩ】

G06T1/00 500A

H04N23/60 500

H04N23/611

【請求項の数】 9

(21)【出願番号】P 2023504122

(86)(22)【出願日】2021-08-30

(65)【公表番号】

(43)【公表日】2023-08-23

(86)【国際出願番号】 SG2021050522

(87)【国際公開番号】W WO2022071875

(87)【国際公開日】2022-04-07

【審査請求日】2023-01-19

(31)【優先権主張番号】202011063249.9

(32)【優先日】2020-09-30

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521388058

【氏名又は名称】レモン インコーポレイテッド

【氏名又は名称原語表記】Ｌｅｍｏｎ Ｉｎｃ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ヂャン，シュポン

(72)【発明者】

【氏名】チウ，ブォホン

(72)【発明者】

【氏名】ワン，ポン

(72)【発明者】

【氏名】リャオ，ジェ

【審査官】村山 絢子

(56)【参考文献】

【文献】特開２０１６－１４４０８９（ＪＰ，Ａ）

【文献】特開２０２０－００５２０２（ＪＰ，Ａ）

【文献】特開２０１４－２４１５８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－７／９０

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｈ０４Ｎ ５／２２２－５／２５７

(57)【特許請求の範囲】

【請求項1】

画像をビデオに変換する方法であって、
元の画像を分割して、前景領域及び背景領域を取得するステップと、
前記背景領域に対して視覚的奥行きの反復変換を行い、毎回変換して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得るステップと、
前記マルチフレーム画像を合成して、ターゲットビデオを取得するステップと、を含み、
前記反復変換は少なくとも２回の視覚的奥行きの変換を含み、
元の画像を分割して、前景領域及び背景領域を取得するステップは、
元の画像におけるターゲット物体を識別するステップと、
前記ターゲット物体が存在する領域を前景領域として分割し、前景領域及び背景領域を取得するステップと、を含み、
前記背景領域は元の画像における、ターゲット物体が存在する領域以外の領域であり、
前記ターゲット物体が存在する領域を前景領域として分割し、前景領域及び背景領域を取得するステップは、
前記前景領域の中心点奥行きを取得するステップと、
前記中心点奥行きに基づいて前記前景領域の画素点に対して奥行きスムージング処理を行い、前記背景領域及び前記前景領域に対してそれぞれエッジ奥行きシャープ処理を行い、処理済みの前景領域及び背景領域を取得するステップと、を含む、方法。

【請求項2】

前記背景領域に対して視覚的奥行きの反復変換を行うステップは、
設定機械学習モデルに基づき、背景領域における、前景をトリミングした領域に対して画像を補完するステップと、
補完された後の背景領域に対して視覚的奥行きの反復変換を行うステップと、を含む請求項１に記載の方法。

【請求項3】

前記背景領域に対して視覚的奥行きの反復変換を行うステップは、
前記中心点奥行きに基づき、前記背景領域の画素点の奥行きに対して第１設定ステップ幅に基づいて近くから遠くへ変換するステップを含む、請求項１に記載の方法。

【請求項4】

前記背景領域に対して視覚的奥行きの反復変換を行うステップは、
前記中心点奥行きに基づき、前記背景領域の画素点の奥行きに対して第２設定ステップ幅に基づいて遠くから近くへ変換するステップを含む請求項１に記載の方法。

【請求項5】

元の画像はユーザーが入力又は選択した画像であり、元の画像が少なくとも２枚である場合、元の画像のそれぞれに対して、元の画像を分割して、前景領域及び背景領域を取得し、前記背景領域に対して視覚的奥行きの反復変換を行い、毎回変換して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得て、前記マルチフレーム画像を合成して、ターゲットビデオを取得するという操作を実行し、少なくとも２つのターゲットビデオを取得し、
少なくとも２つのターゲットビデオを取得した後、
前記少なくとも２つのターゲットビデオを設定した順次で順序付けるステップと、
隣接するターゲットビデオの間に設定されたフィールド回転特殊効果を追加する方式を用いて順序付けられた後の少なくとも２つのターゲットビデオを合成するステップと、
合成された後の少なくとも２つのターゲットビデオをレンダリングし、最終的なビデオを取得するステップと、をさらに含む請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記前景領域は人物像領域を含む請求項１～５のいずれか一項に記載の方法。

【請求項7】

画像をビデオに変換する装置であって、
元の画像を分割して、前景領域及び背景領域を取得するための領域取得モジュールと、
前記背景領域に対して視覚的奥行きの反復変換を行い、毎回変換して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得る視覚的奥行き変換モジュールと、
前記マルチフレーム画像を合成して、ターゲットビデオを取得するためのターゲットビデオ取得モジュールと、を備え、
前記反復変換は少なくとも２回の視覚的奥行きの変換を含み、
前記領域取得モジュールは、さらに、
元の画像におけるターゲット物体を識別し、
前記ターゲット物体が存在する領域を前景領域として分割し、前景領域及び背景領域を取得するように構成され、
前記背景領域は元の画像における、ターゲット物体が存在する領域以外の領域であり、
前記領域取得モジュールは、さらに、
前記前景領域の中心点奥行きを取得し、
前記中心点奥行きに基づいて前記前景領域の画素点に対して奥行きスムージング処理を行い、前記背景領域及び前記前景領域に対してそれぞれエッジ奥行きシャープ処理を行い、処理済みの前景領域及び背景領域を取得するように構成される、装置。

【請求項8】

電子機器であって、
１つ又は複数の処理装置と、
１つ又は複数の命令を記憶するための記憶装置と、を備え、
前記１つ又は複数の命令が前記１つ又は複数の処理装置によって実行されるとき、前記１つ又は複数の処理装置に請求項１～６のいずれか一項に記載の方法を実現させる電子機器。

【請求項9】

コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記コンピュータプログラムが処理装置によって実行されるときに請求項１～６のいずれか一項に記載の方法を実現するコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は２０２０年９月３０日に提出した中国特許出願第２０２０１１０６３２４９．９号の優先権を主張し、該中国特許出願の全内容が本願の一部として援用により組み込まれる。

【0002】

本開示の実施例は画像をビデオに変換する方法、装置、機器及び記憶媒体に関する。

【背景技術】

【0003】

スマートデバイスの普及に伴って、撮影機能は携帯電話に不可欠な機能となっている。現在、携帯電話で撮影された写真はただ静止画像であり、面白さが悪い。

【0004】

ヒッチコック式移動ズーム技術は、映画やテレビ作品に適用され、移動ショット及びズームレンズによって、被写体と背景との間の距離変換を撮影し、画面、空間がねじ曲がった視覚効果を作り出し、観客を主役の心理状態に導く。ヒッチコック式移動ズーム技術の原理は、ビデオ撮影過程中のレンズの焦点距離の変換である。ビデオの各フレームの画像における主要な部分が占めた割合が変わらないことを保証する上で、望遠レンズの焦点距離と広角レンズの焦点距離との間で切り替え、つまり、被写体に対して、レンズをズームアップ又はズームアウトすると同時にレンズをズームして撮影する。このような技術は、一般的に特別な撮影機器によって、ズームアップ又はズームアウト過程にレンズの焦点距離を無段階に切り替える必要があり、従来、移動端末におけるレンズの大部分はズームできないレンズであり又はレンズの焦点距離が異なるいくつかのレンズで構成されるため、ヒッチコック式移動ズーム技術の撮影を行うことができず、ヒッチコック式移動ズーム技術の撮影は限られる。

【発明の概要】

【0005】

本開示の実施例は画像をビデオに変換する方法、装置、機器及び記憶媒体を提供し、静的画像を動的ビデオに変換することを実現でき、前景画像のフォーカス、背景画像のヒッチコック変換式のアルバム作成を実現し、手動で停止する必要がなく、アルバム作成の利便性を高める。

【0006】

第１態様によれば、本開示の実施例は、
元の画像を分割して、前景領域及び背景領域を取得するステップと、
前記背景領域に対して視覚的奥行きの反復変換を行い、毎回変換して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得るステップと、
前記マルチフレーム画像を合成して、ターゲットビデオを取得するステップと、を含み、
前記反復変換は少なくとも２回の視覚的奥行きの変換を含む、画像をビデオに変換する方法を提供する。

【0007】

第２態様によれば、本開示の実施例は、
元の画像を分割して、前景領域及び背景領域を取得するための領域取得モジュールと、
前記背景領域に対して視覚的奥行きの反復変換を行い、毎回変換して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得る視覚的奥行き変換モジュールと、
前記マルチフレーム画像を合成して、ターゲットビデオを取得するためのターゲットビデオ取得モジュールと、を備え、
前記反復変換は少なくとも２回の視覚的奥行きの変換を含む、画像をビデオに変換する装置をさらに提供する。

【0008】

第３態様によれば、本開示の実施例は電子機器をさらに提供し、前記電子機器は、
１つ又は複数の処理装置と、
１つ又は複数の命令を記憶するための記憶装置と、を備え、
前記１つ又は複数の命令が前記１つ又は複数の処理装置によって実行されるとき、前記１つ又は複数の処理装置に本開示の実施例に記載の画像をビデオに変換する方法を実現させる。

【0009】

第４態様によれば、本開示の実施例は、コンピュータプログラムが記憶されるコンピュータ可読記憶媒体をさらに開示し、該プログラムが処理装置によって実行されるときに本開示の実施例に記載の画像をビデオに変換する方法を実現する。

【0010】

本開示の実施は画像をビデオに変換する方法、装置、機器及び記憶媒体を開示する。先ず、元の画像を分割して、前景領域及び背景領域を取得し、次に背景領域に対して視覚的奥行きの反復変換を行い、毎回変換して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得て、反復変換は少なくとも２回の視覚的奥行きの変換を含み、最後にマルチフレーム画像を合成して、ターゲットビデオを取得する。本開示の実施例に係る画像をビデオに変換する方法は、背景領域において画像に対して視覚的奥行きの反復変換を行って生成した複数枚の画像を合成し、前景画像フォーカス、背景画像ヒッチコック変換効果を有するビデオアルバムを得て、手動で停止する必要がなく、アルバム作成の利便性を高める。

【図面の簡単な説明】

【0011】

【図1】本開示の実施例における画像をビデオに変換する方法のフローチャートである。

【図2】本開示の実施例における画像をビデオに変換する装置の構造模式図である。

【図3】本開示の実施例における電子機器の構造模式図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら本開示の実施例をより詳細に説明する。図面には本開示のいくつかの実施例が示されているが、本開示は様々な形態で実現され、且つここで説明される実施例に制限されると解釈すべきではなく、その代わりに、本開示をより透過的かつ完全に理解するためにこれらの実施例を提供すると理解されるべきである。本開示の図面及び実施例は例示的なものに過ぎず、本開示の保護範囲を制限するものではないと理解されるべきである。

【0013】

理解できるように、本開示の方法の実施形態に記載の各ステップは異なる順序で実行されてもよく、及び／又は、並行して実行されてもよい。また、方法の実施形態は追加されたステップ及び／又は示されたステップの実行を省略することを含んでもよい。本開示の範囲はこの点において制限されない。

【0014】

本明細書で使用される用語「含む」及びその変形は開放的な包含、すなわち「含むが、これらに限定されない」である。「基づく」という用語は「少なくとも部分的に基づく」という意味である。「１つの実施例」という用語は「少なくとも１つの実施例」を表し、「別の実施例」という用語は「少なくとも１つの別の実施例」を表し、「いくつかの実施例」という用語は「少なくともいくつかの実施例」を表す。他の用語についての関連定義は以下の説明で示される。

【0015】

ただし、本開示に言及される「第１」、「第２」等の概念は異なる装置、モジュール又はユニットを区別するだけに使用され、これらの装置、モジュール又はユニットで実行される機能の順序又は相互依存関係を限定するために使用されるものではない。

【0016】

なお、本開示に言及される「１つ」、「複数」という修飾は限定的ではなく例示的であり、当業者であれば、文脈で特に明確に指摘されない限り、「１つ又は複数」と理解すべきであることを理解すべきである。

【0017】

本開示の実施形態における複数の装置の間で交互するメッセージ又は情報の名称は、これらのメッセージ又は情報の範囲を制限するものではなく、説明するためのものである。

【0018】

図１は本開示の実施例に係る画像をビデオに変換する方法のフローチャートであり、本実施例は静的画像を動的ビデオに変換する状況に適用することができ、該方法は画像をビデオに変換する装置によって実行されてもよく、該装置はハードウェア及び／又はソフトウェアで構成され、かつ通常に画像をビデオに変換する機能を有する機器に統合でき、該機器はサーバ又はサーバクラスター等の電子機器であってもよい。図１に示すように、該方法は具体的には下記ステップ１１０～１３０を含む。

【0019】

ステップ１１０：元の画像を分割して、前景領域及び背景領域を取得する。

【0020】

元の画像はユーザーにより入力又は選択された画像であってもよい。前景領域は人物像領域、動物領域及び建物領域等の識別対象のターゲット領域であってもよく、背景領域は前景領域を除く残りの領域である。元の画像を分割することは、前景領域と背景領域を分割すると理解される。

【0021】

本実施例では、元の画像を分割して、前景領域及び背景領域を取得する方式は、元の画像におけるターゲット物体を識別し、ターゲット物体が存在する領域を前景領域として分割して、前景領域及び背景領域を取得することであってもよい。

【0022】

具体的には、物体識別モデルを用いて元の画像におけるターゲット物体を識別することができ、たとえば、前景画像が人物像であると仮定すると、人物像識別モデルで識別し、前景画像が動物であると仮定すると、動物識別モデルで識別する。本実施例は識別されたターゲット物体のタイプを限定しない。ターゲット物体が存在する領域を元の画像からトリミングし、前景領域と背景領域を分離させ、前景領域及び背景領域を取得する。

【0023】

本実施例では、ターゲット物体が存在する領域を前景領域として分割し、前景領域及び背景領域を取得する方式は、前景領域の中心点奥行きを取得し、中心点奥行きに基づいて前景領域の画素点に対して奥行きスムージング処理を行い、背景領域及び前景領域に対してそれぞれエッジ奥行きシャープ処理を行い、処理済みの前景領域及び背景領域を取得することであってもよい。

【0024】

画素点の奥行きを取得する方法は焦点調節方法、明暗及び照明方法、及び相対奥行き又は奥行き順序付け等の方法を用いてもよく、ここで、奥行きの取得方法を限定しない。中心点奥行きに基づいて前景領域の画素点に対して奥行きスムージング処理を行う過程は、前景領域における各画素点の奥行きをいずれも中心点の奥行きに調整し、前景領域の画像を同一視覚的奥行きにすることと理解できる。

【0025】

具体的には、前景領域を分割した後、前景領域の中心点奥行きに基づいて前景領域の画素点に対して奥行きスムージング処理を行い、エッジに対して奥行きシャープを行い、奥行き情報によって非連続的で閉じたエッジを取得し、それにより前景領域をトリミングし、背景領域を残す。

【0026】

ステップ１２０：背景領域に対して視覚的奥行きの反復変換を行い、毎回変換して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得る。

【0027】

反復変換は少なくとも２回の視覚的奥行きの変換を含み、毎回変換は前回の変換結果に基づいて視覚的奥行きの変換を継続する。視覚的奥行きの変換は遠くから近くへ又は近くから遠くへの変換を含む。視覚的奥行きの変換は画像に対してズーム処理を行うことと理解できる。本実施例では、先ず視覚的奥行きの変換範囲を決定し、次に該変換範囲内に、背景領域に対して所定のステップ幅で視覚的奥行きの反復変換を行う。

【0028】

本実施例では、背景領域に対して視覚的奥行きの反復変換を行う方式は、設定機械学習モデルに基づき、背景領域における、前景をトリミングした領域に対して画像を補完し、補完された後の背景領域に対して視覚的奥行きの反復変換を行うことであってもよい。

【0029】

設定機械学習モデルは大量のサンプル訓練によって得られたモデルであってもよく、サンプルは一部がトリミングされた画像であってもよく、かつ完全な画像で監視して訓練する。たとえば、背景領域が建物であり、元の画像において、建物の一部は前景画像によって遮蔽され、前景をトリミングした領域において、設定機械学習モデルを利用して背景領域における建物画像を補完する。

【0030】

本実施例では、背景領域に対して視覚的奥行きの反復変換を行う方式は、中心点奥行きに基づき、背景領域の画素点の奥行きを第１設定ステップ幅に基づいて近くから遠くへ変換することであってもよい。

【0031】

具体的には、中心点奥行きを基準として、背景領域の画素点の奥行きを徐々に遠くする。例示的に、ステップ幅をｄに設定すると、第１回変換する場合、視覚的奥行きはｄ遠くなり、第１フレーム画面を取得し、第２回変換する場合、第１フレーム画面に基づく視覚的奥行きは継続してｄ遠くなり、第２フレーム画面を取得し、このように第二種の画面の奥行きの元の画像に対する奥行きは２ｄであり、このように、マルチフレーム画面を取得する。

【0032】

本実施例では、背景領域に対して視覚的奥行きの反復変換を行う方式は、中心点奥行きに基づき、背景領域の画素点の奥行きを、第２設定ステップ幅に基づいて遠くから近くへ変換することであってもよい。

【0033】

第２設定ステップ幅は第１設定ステップ幅と同じであってもよく又は異なってもよい。具体的には、中心点奥行きを基準として、背景領域の画素点の奥行きを徐々に近くする。例示的に、ステップ幅をｄに設定すると、第１回変換する場合、視覚的奥行きがｄ近くなり、第１フレーム画面を取得し、第２回変換する場合、第１フレーム画面に基づく視覚的奥行きは継続してｄ近くなり、第２フレーム画面を取得し、このように第二種の画面の奥行きは元の画像の奥行きに対して２ｄズームアップされ、このように、マルチフレーム画面を取得する。

【0034】

ステップ１３０：マルチフレーム画像を合成して、ターゲットビデオを取得する。

【0035】

本実施例では、マルチフレーム画像を合成する方式はマルチフレーム画像のタイムスタンプに応じて合成することであってもよい。合成後のターゲットビデオはヒッチコック効果を有するアルバムである。

【0036】

任意選択的に、元の画像は少なくとも２枚を含む場合、元の画像のそれぞれに対して、元の画像を分割して、前景領域及び背景領域を取得し、背景領域に対して視覚的奥行きの反復変換を行い、毎回変換して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得て、マルチフレーム画像を合成して、ターゲットビデオを取得するという操作を実行し、少なくとも２つのターゲットビデオを取得する。

【0037】

任意選択的に、少なくとも２つのターゲットビデオを取得した後、少なくとも２つのターゲットビデオを設定された順番で順序付けるステップと、隣接するターゲットビデオの間に設定されたフィールド回転特殊効果を追加する方式を用いて順序付けられた後の少なくとも２つのターゲットビデオを合成するステップと、合成された後の少なくとも２つのターゲットビデオをレンダリングし、最終的なビデオを取得するステップと、をさらに含む。

【0038】

設定した順番はユーザーが画像を入力した順番、又はユーザーが調整した後の順番であってもよく、ここで限定しない。隣接するターゲットビデオの間に設定されたフィールド回転特殊効果は同じであってもよく又は異なってもよい。設定されたフィールド回転特殊効果は予め設定されて任意的に選択可能である。

【0039】

本実施例の技術案は、先ず元の画像を分割して、前景領域及び背景領域を取得し、次に背景領域に対して視覚的奥行きの反復変換を行い、毎回変換して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得て、反復変換は少なくとも２回の視覚的奥行きの変換を含み、最後にマルチフレーム画像を合成し、ターゲットビデオを取得する。本開示の実施例に係る画像をビデオに変換する方法は、背景領域において画像に対して視覚的奥行きの反復変換を行って生成した複数枚の画像を合成し、前景画像フォーカス、背景画像ヒッチコック変換効果を有するビデオアルバムを得て、手動で停止する必要がなく、アルバム作成の利便性を高める。

【0040】

本開示の実施例に係る画像をビデオに変換する方法はビデオＡＰＰの機能としてオンラインにする。該機能はビデオの自動編集、作成及び共有を実現することができる。本応用場面で、ユーザーは画像をビデオに変換する機能を選択し、ユーザーは画像を選択し、クライアントは画像をサーバにアップロードし、サーバはクライアントからアップロードされた画像を取得し、画像に対してヒッチコックビデオ断片を生成し、クライアントに戻り、クライアントはビデオを復号及びカッティングし、かつ画面をレンダリングし、フィールド回転特殊効果を追加した後に自動再生のプレビューを行い、ユーザーは該ビデオを共有又は発行することができる。本願の解決策は、ユーザーがビデオを手動で停止する必要がなく、画像をアップロードすればよく、画像からビデオを生成するコストを大幅に削減させる。

【0041】

図２は本開示の実施例に開示されている画像をビデオに変換する装置の構造模式図である。図２に示すように、該装置は、領域取得モジュール２１０と、視覚的奥行き変換モジュール２２０と、ターゲットビデオ取得モジュール２３０とを備える。

【0042】

領域取得モジュール２１０は、元の画像を分割して、前景領域及び背景領域を取得することに用いられる。

【0043】

視覚的奥行き変換モジュール２２０は、背景領域に対して視覚的奥行きの反復変換を行い、毎回変換して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得ることに用いられ、反復変換は少なくとも２回の視覚的奥行きの変換を含む。

【0044】

ターゲットビデオ取得モジュール２３０は、マルチフレーム画像を合成して、ターゲットビデオを取得することに用いられる。

【0045】

任意選択的に、領域取得モジュール２１０は、さらに、
元の画像におけるターゲット物体を識別することと、
ターゲット物体が存在する領域を前景領域として分割し、前景領域及び背景領域を取得することと、に用いられ、背景領域は元の画像における、ターゲット物体が存在する領域以外の領域である。

【0046】

任意選択的に、領域取得モジュール２１０は、さらに、
前景領域の中心点奥行きを取得することと、
中心点奥行きに基づいて前景領域の画素点に対して奥行きスムージング処理を行い、背景領域及び前景領域に対してそれぞれエッジ奥行きシャープ処理を行い、処理済みの前景領域及び背景領域を取得することと、に用いられる。

【0047】

任意選択的に、視覚的奥行き変換モジュール２２０は、さらに、
設定機械学習モデルに基づき、背景領域における、前景をトリミングした領域に対して画像を補完することと、
補完された後の背景領域に対して視覚的奥行きの反復変換を行うことと、に用いられる。

【0048】

任意選択的に、視覚的奥行き変換モジュール２２０は、さらに、
中心点奥行きに基づき、背景領域の画素点の奥行きに対して第１設定ステップ幅に基づいて近くから遠くへ変換することに用いられる。

【0049】

任意選択的に、視覚的奥行き変換モジュール２２０は、さらに、
中心点奥行きに基づき、背景領域の画素点の奥行きに対して第２設定ステップ幅に基づいて遠くから近くへ変換することに用いられる。

【0050】

任意選択的に、元の画像はユーザーが入力又は選択した画像であり、元の画像が少なくとも２枚を含む場合、元の画像のそれぞれに対して、元の画像を分割して、前景領域及び背景領域を取得し、背景領域に対して視覚的奥行きの反復変換を行い、毎回変換して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得て、マルチフレーム画像を合成して、ターゲットビデオを取得するという操作を実行し、少なくとも２つのターゲットビデオを取得する。

【0051】

任意選択的に、ビデオ合成モジュールをさらに備え、
少なくとも２つのターゲットビデオを設定された順番で順序付けることと、
隣接するターゲットビデオの間に設定されたフィールド回転特殊効果を追加する方式を用いて順序付けられた後の少なくとも２つのターゲットビデオを合成することと、
合成された後の少なくとも２つのターゲットビデオをレンダリングし、最終的なビデオを取得することと、に用いられる。

【0052】

上記装置は本開示の上記すべての実施例に係る方法を実行することができ、上記方法の実行に対応する機能モジュール及び有益な効果を有する。本実施例に詳細に説明されていない技術的詳細は、本開示の上記すべての実施例に係る方法を参照すればよい。

【0053】

以下、図３を参照し、本開示の実施例を実現するための電子機器３００の構造模式図である。本開示の実施例における電子機器は、携帯電話、ノートパソコン、デジタル放送受信機、ＰＤＡ（パーソナルデジタルアシスタント）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（ポータブルメディアプレーヤー）、車載端末（たとえばカーナビゲーション端末）等の移動端末、及びデジタルＴＶ、デスクトップコンピュータ等の固定端末、又はスタンドアロンサーバ又はサーバクラスター等の様々な形態のサーバを含むが、それらに限定されない。図３に示される電子機器は一例に過ぎず、本開示の実施例の機能及び使用範囲に何らの制限をもたらすものではない。

【0054】

図３に示すように、電子機器３００は処理装置（たとえば中央プロセッサ、グラフィックプロセッサ等）３０１を含んでもよく、読み出し専用記憶装置（ＲＯＭ）３０２に記憶されるプログラム又は記憶装置３０５からランダムアクセス記憶装置（ＲＡＭ）３０３にアップロードされるプログラムに基づいて様々な適切な動作及び処理を実行することができる。ＲＡＭ ３０３には、電子機器３００の操作に必要な様々なプログラム及びデータがさらに記憶されている。処理装置３０１、ＲＯＭ ３０２及びＲＡＭ ３０３はバス３０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インタフェース３０５もバス３０４に接続される。

【0055】

通常に、たとえばタッチパネル、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロスコープ等を含む入力装置３０６、たとえば液晶ディスプレイ（ＬＣＤ）、スピーカ、発振器等を含む出力装置３０７、たとえばテープ、ハードディスク等を含む記憶装置３０８、及び通信装置３０９のような装置はＩ／Ｏインタフェース３０５に接続可能である。通信装置３０９は電子機器３００が他の機器と無線又は有線通信することを可能にすることでデータを交換する。図３は様々な装置を有する電子機器３００を示すが、すべての示された装置を実施し又は備えるように要求しないことを理解すべきである。代替的により多くの又はより少ない装置を実施し又は備えることができる。

【0056】

特に、本開示の実施例によれば、フローチャートを参照して説明した上記過程はコンピュータソフトウェアプログラムとして実現される。たとえば、本開示の実施例はコンピュータプログラム製品を含み、コンピュータ可読媒体に搭載されるコンピュータプログラムを含み、該コンピュータプログラムは語句の推薦方法を実行するためのプログラムコードを含む。このような実施例では、該コンピュータプログラムは通信装置３０９を介してネットワークからダウンロードしてインストールされてもよく、又は記憶装置３０５からインストールされてもよく、又はＲＯＭ ３０２からインストールされてもよい。該コンピュータプログラムが処理装置３０１によって実行されるとき、本開示の実施例の方法に限定される上記機能を実行する。

【0057】

なお、本開示の上記コンピュータ可読媒体はコンピュータ可読信号媒体又はコンピュータ可読記憶媒体又は上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、たとえば電気、磁気、光学、電磁、赤外線、又は半導体のシステム、装置又はデバイス、又は以上の任意の組み合わせであってもよいが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例として、１つ又は複数の導線を有する電気的接続、携帯可能なコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記任意の適当な組み合わせであってもよいが、それらに限定されない。本開示では、コンピュータ可読記憶媒体はプログラムを含む又は記憶するいかなる有形媒体であってもよく、該プログラムは命令実行システム、装置又はデバイスによって使用されてもよく又はそれらと組み合わせて使用されてもよい。本開示では、コンピュータ可読信号媒体はベースバンド中又は搬送波の一部として伝送するデータ信号を含むことができ、それにコンピュータ可読プログラムコードが搬送される。このように伝播するデータ信号は様々な形態を用いてもよく、電磁信号、光信号又は上記任意の適当な組み合わせを含むが、それらに限定されない。コンピュータ可読信号媒体はさらにコンピュータ可読記憶媒体以外のいずれかのコンピュータ可読媒体であってもよく、該コンピュータ可読信号媒体は命令実行システム、装置又はデバイスによって使用され又はそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードはいずれかの適当な媒体によって伝送でき、ワイヤー、ケーブル、ＲＦ（無線周波数）等、又は上記任意の適当な組み合わせを含むが、それらに限定されない。

【0058】

いくつかの実施形態では、クライアント、サーバは、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ハイパーテキスト伝送プロトコル）等のような、いかなる現在で知られている又は将来研究開発されるネットワークプロトコルを用いて通信することができ、且つ任意形態又は媒体のデジタルデータ通信（たとえば、通信ネットワーク）と相互接続可能である。通信ネットワークの例として、ローカルエリアネットワーク（「ＬＡＮ」）、広域ネットワーク（「ＷＡＮ」）、インターネット（たとえば、ネットワーク）及びエンドツーエンドネットワーク（たとえば、ａｄ ｈｏｃエンドツーエンドネットワーク）、及びいかなる現在で知られている又は将来研究開発されるネットワークが挙げられる。

【0059】

上記コンピュータ可読媒体は上記電子機器に含まれてもよく、単独に存在してもよく、該電子機器に組み立てられない。

【0060】

上記コンピュータ可読媒体には１つ又は複数のプログラムが搭載され、上記１つ又は複数のプログラムが該電子機器によって実行されるとき、該電子機器は、元の画像を分割して、前景領域及び背景領域を取得し、前記背景領域に対して視覚的奥行きの反復変換を行い、毎回変換して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得て、反復変換は少なくとも２回の視覚的奥行きの変換を含み、前記マルチフレーム画像を合成して、ターゲットビデオを取得する。

【0061】

本開示の操作を実行するコンピュータプログラムコードは、１つ又は複数種のプログラミング言語又はそれらの組み合わせによって作成することができ、上記プログラミング言語は、たとえばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語を含むが、それらに限定されず、「Ｃ」言語又は類似するプログラミング言語等の通常の手続き型プログラミング言語をさらに含む。プログラムコードは完全にユーザーのコンピュータで実行されてもよいし、部分的にユーザーのコンピュータで実行されてもよいし、独立したパッケージソフトウェアとして実行されてもよいし、一部がユーザーのコンピュータで一部がリモートコンピュータで実行されてもよいし、又は完全にリモートコンピュータ又はサーバで実行されてもよい。リモートコンピュータの場合は、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）等の任意種類のネットワークを介してユーザーコンピュータに接続されてもよく、又は、外部コンピュータに接続されてもよい（たとえばインターネットサービスプロバイダを用いてインターネットを介して接続する）。

【0062】

図中のフローチャート及びブロック図は、本開示の様々な実施例のシステム、方法及びコンピュータプログラム製品の実現可能な体系構造、機能及び操作を示している。この点において、フローチャート又はブロック図中の各ブロックは一つのモジュール、プログラムセクション、又はコードの一部を表すことができ、該モジュール、プログラムセクション、又はコードの一部は規定されたロジック機能を実現するための１つ又は複数の実行可能命令を含む。注意すべき点として、代替としての実施では、ブロック内に表記された機能は図中の表記と異なる順序で発生してもよい。たとえば、２つの連続するブロックは実際に基本的に並行して実行することができるが、場合によっては反対の順序で実行されてもよい。これは、関係する機能によって定められる。また、注意すべき点として、ブロック図及び／又はフローチャートの各ブロック、並びにブロック図及び／又はフローチャートのブロックの組合せは、規定された機能又は動作を実行する、ハードウェアに基づく専用システムで実現することができ、又は、専用のハードウェアとコンピュータ命令との組合せにより実現することができる。

【0063】

本開示の実施例に関するユニットはソフトウェアの形態で実現されてもよく、ハードウェアの形態で実装されてもよい。ユニットの名称はある場合に該ユニット自体への限定を構成しない。

【0064】

本明細書で説明した上記機能は少なくとも部分的に１つ又は複数のハードウェアロジック部材によって実行されてもよい。たとえば、非限定的に使用できる例示的なタイプのハードウェアロジック部材は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、オンチップシステム（ＳＯＣ）、複雑プログラマブルロジック機器（ＣＰＬＤ）等を含む。

【0065】

本開示の文脈では、機器可読媒体は有形の媒体であってもよく、それは命令実行システム、装置又は機器によって使用される又は命令実行システム、装置又は機器と組み合わせて使用するプログラムを含む又は記憶することができる。機器可読媒体は機器可読信号媒体又は機器可読記憶媒体であってもよい。機器可読媒体は電子、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置又は機器、又は上記内容の任意の適切な組み合わせを含むがそれらに制限されない。機器可読記憶媒体のより具体的な例として、１つ又は複数のワイヤーを有する電気的接続、携帯可能なコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶機器、磁気記憶装置、又は上記内容の任意の適切な組み合わせが挙げられる。

【0066】

本開示の実施例の１つ又は複数の実施例によれば、本開示の実施例は、
元の画像を分割して、前景領域及び背景領域を取得するステップと、
前記背景領域に対して視覚的奥行きの反復変換を行い、毎回変換して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得るステップと、
前記マルチフレーム画像を合成して、ターゲットビデオを取得するステップと、を含み、
前記反復変換は少なくとも２回の視覚的奥行きの変換を含む、画像をビデオに変換する方法を開示する。

【0067】

さらに、元の画像を分割して、前景領域及び背景領域を取得するステップは、
元の画像におけるターゲット物体を識別するステップと、
前記ターゲット物体が存在する領域を前景領域として分割し、前景領域及び背景領域を取得するステップであって、背景領域は元の画像における、ターゲット物体が存在する領域以外の領域である、ステップと、を含む。

【0068】

さらに、前記ターゲット物体が存在する領域を前景領域として分割し、前景領域及び背景領域を取得するステップは、
前記前景領域の中心点奥行きを取得するステップと、
前記中心点奥行きに基づいて前記前景領域の画素点に対して奥行きスムージング処理を行い、前記背景領域及び前記前景領域に対してそれぞれエッジ奥行きシャープ処理を行い、処理済みの前景領域及び背景領域を取得するステップと、を含む。

【0069】

さらに、前記背景領域に対して視覚的奥行きの反復変換を行うステップは、
設定機械学習モデルに基づき、背景領域における前景をトリミングした領域に対して画像を補完するステップと、
補完された後の背景領域に対して視覚的奥行きの反復変換を行うステップと、を含む。

【0070】

さらに、前記背景領域に対して視覚的奥行きの反復変換を行うステップは、
前記中心点奥行きに基づき、前記背景領域の画素点の奥行きに対して第１設定ステップ幅に基づいて近くから遠くへ変換するステップを含む。

【0071】

さらに、前記背景領域に対して視覚的奥行きの反復変換を行うステップは、
前記中心点奥行きに基づき、前記背景領域の画素点の奥行きに対して第２設定ステップ幅に基づいて遠くから近くへ変換するステップを含む。

【0072】

さらに、元の画像はユーザーが入力又は選択した画像であり、元の画像が少なくとも２枚含む場合、元の画像のそれぞれに対して、元の画像を分割して、前景領域及び背景領域を取得し、前記背景領域に対して視覚的奥行きの反復変換を行い、毎回変換して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得て、前記マルチフレーム画像を合成して、ターゲットビデオを取得するという操作を実行し、少なくとも２つのターゲットビデオを取得する。

【0073】

少なくとも２つのターゲットビデオを取得した後、
前記少なくとも２つのターゲットビデオを設定された順番で順序付けるステップと、
隣接するターゲットビデオの間に設定されたフィールド回転特殊効果を追加する方式を用いて順序付けられた後の少なくとも２つのターゲットビデオを合成するステップと、
合成された後の少なくとも２つのターゲットビデオをレンダリングし、最終的なビデオを取得するステップと、をさらに含む。

【0074】

さらに、前記前景領域は人物像領域を含む。

【0075】

なお、上記は本開示の選択可能な実施例及び使用される技術原理に過ぎない。当業者であれば、本開示は前記特定の実施例に限定されないことを理解でき、当業者にとって、本開示の保護範囲から逸脱することなく、複数種の顕著な変化、再調整及び代替が可能である。従って、以上の実施例によって本開示を詳細に説明したが、本開示は以上の実施例に限定されず、本開示の構想から逸脱することなく、より多くの他の等価な実施例を含むことができ、本開示の範囲は添付の特許請求の範囲によって決められる。

【図1】

【図2】

【図3】