特許 7457806 レンズ分割の実現方法、装置および関連製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-19

(45)【発行日】2024-03-28

(54)【発明の名称】レンズ分割の実現方法、装置および関連製品

(51)【国際特許分類】

   G06T 13/40 20110101AFI20240321BHJP

【ＦＩ】

G06T13/40

【請求項の数】 11

(21)【出願番号】P 2022528715

(86)(22)【出願日】2020-03-31

(65)【公表番号】

(43)【公表日】2023-01-19

(86)【国際出願番号】 CN2020082545

(87)【国際公開番号】W WO2021109376

(87)【国際公開日】2021-06-10

【審査請求日】2022-05-17

(31)【優先権主張番号】201911225211.4

(32)【優先日】2019-12-03

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】518209698

【氏名又は名称】シェンチェン センスタイム テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】リウ ウェンタオ

(72)【発明者】

【氏名】ジョン ジアユー

(72)【発明者】

【氏名】ホアン ジャンポン

(72)【発明者】

【氏名】リー ジアホワ

【審査官】岡本 俊威

(56)【参考文献】

【文献】特許第６５３８９４２（ＪＰ，Ｂ１）

【文献】特許第６４６９２７９（ＪＰ，Ｂ１）

【文献】特許第６５９５０４３（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １３／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

レンズ分割の実現方法であって、
三次元仮想モデルを取得することと、
少なくとも２つの異なるレンズ視野角で前記三次元仮想モデルをレンダリングして、少なくとも２つの異なるレンズ視野角にそれぞれ対応する仮想画像を取得することと、を含み、
前記三次元仮想モデルは、三次元仮想シーンモデルに配置されている三次元仮想人物モデルを含み、前記三次元仮想モデルを取得する前に、前記レンズ分割の実現方法は、
実画像を取得することであって、前記実画像は、実在人物画像を含むことと、
前記実在人物画像に対して特徴抽出を実行して特徴情報を取得することであって、前記特徴情報は、前記実在人物の動き情報を含むことと、
前記特徴情報に従って前記三次元仮想モデルを生成して、前記三次元仮想モデル内の前記三次元仮想人物モデルの動き情報を前記実在人物の動き情報に対応させることと、をさらに含み、
前記実画像を取得することは、
ビデオストリームを取得し、前記ビデオストリームのうちの少なくとも２フレームの画像に従って、少なくとも２フレームの前記実画像を取得することを含み、
前記実在人物画像に対して特徴抽出を実行して特徴情報を取得することは、
各フレームの前記実在人物画像に対してそれぞれ特徴抽出を実行して、対応する特徴情報を取得することを含み、
前記少なくとも２つの異なるレンズ視野角を取得することは、
背景音楽を取得することと、
前記背景音楽に対応するタイムコレクションを決定することであって、前記タイムコレクションは、少なくとも２つの期間を含むことと、
前記タイムコレクションのうちの各期間に対応するレンズ視野角を取得することと、を含み、
前記レンズ分割の実現方法は、
前記背景音楽に対してビート検出を実行して、前記背景音楽のビートコレクションを取得することであって、前記ビートコレクションは、複数のビートを含み、前記複数のビートのうちの各ビートは、１つのステージ特殊効果に対応することと、
前記ビートコレクションに対応するターゲットステージ特殊効果を前記三次元仮想モデルに追加することと、をさらに含む、
レンズ分割の実現方法。

【請求項2】

前記実画像は、さらに、実シーン画像を含み、前記三次元仮想モデルは、さらに、前記三次元仮想シーンモデルを含み、前記三次元仮想モデルを取得する前に、前記レンズ分割の実現方法は、
前記実シーン画像に従って、前記三次元仮想シーンモデルを構築することをさらに含む、
請求項１に記載のレンズ分割の実現方法。

【請求項3】

前記少なくとも２つの異なるレンズ視野角を取得することは、
前記少なくとも２フレームの前記実画像に従って、前記少なくとも２つの異なるレンズ視野角を取得することを含む、
請求項１または２に記載のレンズ分割の実現方法。

【請求項4】

前記少なくとも２つの異なるレンズ視野角を取得することは、
前記少なくとも２フレームの前記実画像にそれぞれ対応する動き情報に従って、前記少なくとも２つの異なるレンズ視野角を取得することを含む、
請求項１または２に記載のレンズ分割の実現方法。

【請求項5】

前記少なくとも２つの異なるレンズ視野角は、第１レンズ視野角と第２レンズ視野角を含み、前記少なくとも２つの異なるレンズ視野角で前記三次元仮想モデルをレンダリングして、少なくとも２つの異なるレンズ視野角にそれぞれ対応する仮想画像を取得することは、
前記第１レンズ視野角で前記三次元仮想モデルをレンダリングして、第１仮想画像を取得することと、
前記第２レンズ視野角で前記三次元仮想モデルをレンダリングして、第２仮想画像を取得することと、
前記第１仮想画像および前記第２仮想画像に従って形成される画像シーケンスを表示することと、を含む、
請求項１に記載のレンズ分割の実現方法。

【請求項6】

前記第２レンズ視野角で前記三次元仮想モデルをレンダリングして、第２仮想画像を取得することは、
前記第１レンズ視野角での前記三次元仮想モデルを平行移動または回転して、前記第２レンズ視野角での前記三次元仮想モデルを取得することと、
前記第２レンズ視野角での前記三次元仮想モデルに対応する前記第２仮想画像を取得することと、を含む、
請求項５に記載のレンズ分割の実現方法。

【請求項7】

前記第１仮想画像および前記第２仮想画像に従って形成される画像シーケンスを表示することは、
前記第１仮想画像と前記第２仮想画像の間にａフレームの仮想画像を挿入して、前記第１仮想画像が前記第２仮想画像に緩やかに切り替えるようにすることを含み、ａは、正の整数である、
請求項６に記載のレンズ分割の実現方法。

【請求項8】

レンズ分割の実現装置であって、
三次元仮想モデルを取得するように構成される、取得ユニットと、
少なくとも２つの異なるレンズ視野角で前記三次元仮想モデルをレンダリングして、少なくとも２つの異なるレンズ視野角にそれぞれ対応する仮想画像を取得するように構成される、レンズ分割ユニットと、を備え、
前記三次元仮想モデルは、三次元仮想シーンモデルに配置されている三次元仮想人物モデルを含み、前記レンズ分割の実現装置は、さらに、特徴抽出ユニットと三次元仮想モデル生成ユニットとを備え、前記取得ユニットは、さらに、三次元仮想モデルを取得する前に、実画像を取得するように構成され、前記実画像は、実在人物画像を含み、
前記特徴抽出ユニットは、前記実在人物画像に対して特徴抽出を実行して特徴情報を取得するように構成され、前記特徴情報は、前記実在人物の動き情報を含み、
前記三次元仮想モデル生成ユニットは、前記特徴情報に従って前記三次元仮想モデルを生成して、前記三次元仮想モデル内の前記三次元仮想人物モデルの動き情報を前記実在人物の動き情報に対応させるように構成され、
前記取得ユニットは、ビデオストリームを取得し、前記ビデオストリームのうちの少なくとも２フレームの画像に従って、少なくとも２フレームの前記実画像を取得するように構成され、
前記特徴抽出ユニットは、各フレームの前記実在人物画像に対してそれぞれ特徴抽出を実行して、対応する特徴情報を取得するように構成され、
前記レンズ分割の実現装置は、さらに、レンズ視野角取得ユニットを備え、前記レンズ視野角取得ユニットは、背景音楽を取得し、前記背景音楽に対応するタイムコレクションを決定し、前記タイムコレクションのうちの各期間に対応するレンズ視野角を取得するように構成され、前記タイムコレクションは、少なくとも２つの期間を含み、
前記レンズ分割の実現装置は、さらに、ビート検出ユニットとステージ特殊効果生成ユニットとを備え、前記ビート検出ユニットは、前記背景音楽に対してビート検出を実行して、前記背景音楽のビートコレクションを取得するように構成され、前記ビートコレクションは、複数のビートを含み、前記複数のビートのうちの各ビートは、１つのステージ特殊効果に対応し、
前記ステージ特殊効果生成ユニットは、前記ビートコレクションに対応するターゲットステージ特殊効果を前記三次元仮想モデルに追加するように構成される、
レンズ分割の実現装置。

【請求項9】

プロセッサ、通信インターフェースおよびメモリを備える、電子機器であって、
前記メモリは、命令を記憶するように構成され、前記プロセッサは、前記命令を実行するように構成され、前記通信インターフェースは、前記プロセッサの制御下で他の機器と通信するように構成され、前記プロセッサは、前記命令を実行するとき、請求項１ないし７のいずれか一項に記載のレンズ分割の実現方法を実現する、前記電子機器。

【請求項10】

コンピュータプログラムを記憶する、コンピュータ可読記憶媒体であって、
前記コンピュータプログラムは、ハードウェアによって実行されるとき、請求項１ないし７のいずれか一項に記載のレンズ分割の実現方法を実現する、前記コンピュータ可読記憶媒体。

【請求項11】

コンピュータに、請求項１ないし７のいずれか一項に記載の方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１９年１２月３日に中国特許局に提出された、出願番号が２０１９１１２２５２１１．４である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容は、全文を参照する方式で本願に組み込まれる。

【0002】

本願は、仮想技術分野に関し、特に、レンズ分割の実現方法、装置および関連製品に関する。

【背景技術】

【0003】

近年、人々によく知られている「初音ミク」、「洛天依」などの音楽分野における仮想アイドルの適用、またはニュースライブにおける仮想ホストの適用など、「仮想人物」は、我々の生活に頻繁に登場している。仮想人物は、実在人物を置き換えてネットワーク世界で活動でき、ユーザは、要求に応じて自力で仮想人物の外観、スタイルなどを設定できるため、仮想人物は、徐々に、人間間のコミュニケーション手段になった。

【0004】

現在、ネットワークにおける仮想人物の生成プロセスでは、通常、モーションキャプチャ技術を採用し、画像を識別する方法を介して、撮影して得た実在人物画像を分析し、それにより、実在人物の動きおよび表情を仮想人物にダイレクトして、仮想人物に、実在人物の動きおよび表情を再現させる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願実施例は、レンズ分割の実現方法、装置および関連製品を開示する。

【課題を解決するための手段】

【0006】

第１態様において、本願実施例は、レンズ分割の実現方法を提供し、前記方法は、三次元仮想モデルを取得することと、少なくとも２つの異なるレンズ視野角で三次元仮想モデルをレンダリングして、少なくとも２つの異なるレンズ視野角にそれぞれ対応する仮想画像を取得することと、を含む。

【0007】

上記の方法は、三次元仮想モデルを取得し、少なくとも２つの異なるレンズ視野角で三次元仮想モデルをレンダリングすることにより、少なくとも２つの異なるレンズ視野角にそれぞれ対応する仮想画像を取得して、ユーザが、異なるレンズ視野角での仮想画像を見ることができるようにし、ユーザに豊富な視覚体験を与える。

【0008】

本願のいくつかの代替実施例において、三次元仮想モデルは、三次元仮想シーンモデルに位置する三次元仮想人物モデルを含み、三次元仮想モデルを取得する前に、上記の方法は、実画像を取得することであって、ここで、実画像は、実在人物画像を含むことと、実在人物画像に対して特徴抽出を実行して特徴情報を取得することであって、ここで、特徴情報は、実在人物の動き情報を含むことと、特徴情報に従って三次元仮想モデルを生成して、三次元仮想モデルのうちの三次元仮想人物モデルの動き情報が実在人物の動き情報に対応させることと、をさらに含む。

【0009】

これから分かるように、収集して得た実在人物画像に対して特徴抽出を実行することにより、三次元仮想モデルを生成して、三次元仮想モデルのうちの三次元仮想人物モデルが、実在人物の顔表情および体の動きを再現させ、観客が、三次元仮想モデルに対応する仮想画像を観覧することにより、実在人物の顔表情と体の動きを知ることを容易にし、観客とライブアンカがより柔軟に対話することができるようにする。

【0010】

本願のいくつかの代替実施例において、実画像を取得することは、ビデオストリームを取得し、ビデオストリームのうちの少なくとも２フレームの画像に従って、少なくとも２フレームの実画像を取得することを含み、実在人物画像に対して特徴抽出を実行して特徴情報を取得することは、各フレームの実在人物画像に対してそれぞれ特徴抽出を実行して、対応する特徴情報を取得することを含む。

【0011】

これから分かるように、三次元仮想モデルは、収集して得たマルチフレームの実画像に従ってリアルタイムで変化して、ユーザが、異なるレンズ視野角での三次元仮想モデルの動的変化プロセスを見ることができるようにすることができる。

【0012】

本願のいくつかの代替実施例において、実画像は、さらに、実シーン画像を含み、三次元仮想モデルは、さらに、三次元仮想シーンモデルを含み、三次元仮想モデルを取得する前に、上記の方法は、実シーン画像に従って、三次元仮想シーンモデルを構築することをさらに含む。

【0013】

これから分かるように、上記の方法は、さらに、実シーン画像を使用して、三次元仮想モデルのうちの三次元仮想シーン画像を構築することができ、特定の三次元仮想シーン画像のみを選択することと比べて、三次元仮想シーン画像をより選択的にさせる。

【0014】

本願のいくつかの代替実施例において、少なくとも２つの異なるレンズ視野角を取得することは、少なくとも２フレームの実画像に従って、少なくとも２つの異なるレンズ視野角を取得することを含む。

【0015】

これから分かるように、各フレームの実画像は、１つのレンズ視野角に対応し、マルチフレームの実画像は、複数のレンズ視野角に対応するため、少なくとも２フレームの実画像に従って、少なくとも２フレームの異なるレンズ視野角を取得することができ、それにより、三次元仮想モデルのレンズ視野角のレンダリングを実現するために使用され、ユーザに豊富な視覚体験を提供する。

【0016】

本願のいくつかの代替実施例において、少なくとも２つの異なるレンズ視野角を取得することは、少なくとも２フレームの実画像にそれぞれ対応する動き情報に従って、少なくとも２つの異なるレンズ視野角を取得することを含む。

【0017】

これから分かるように、実画像内の実在人物の動き情報に従ってレンズ視野角を決定して、画像で、対応する三次元仮想人物モデルの動きを拡大して表示して、ユーザが、仮想画像を観覧することにより、実在人物の動きを知ることを容易にし、双方向性と興味を向上させることができる。

【0018】

本願のいくつかの代替実施例において、少なくとも２つの異なるレンズ視野角を取得することは、背景音楽を取得することと、背景音楽に対応するタイムコレクションを決定することであって、ここで、タイムコレクションは、少なくとも２つの期間を含むことと、タイムコレクションのうちの各期間に対応するレンズ視野角を取得することと、を含む。

【0019】

これから分かるように、上記の方法は、背景音楽を分析し、背景音楽に対応するタイムコレクションを決定して、複数の異なるレンズ視野角を取得する。このような方法を介して、レンズ視野角の多様性を向上させ、ユーザは、より豊富な視覚体験を取得することができる。

【0020】

本願のいくつかの代替実施例において、少なくとも２つの異なるレンズ視野角は、第１レンズ視野角と第２レンズ視野角とを含み、少なくとも２つの異なるレンズ視野角で三次元仮想モデルをレンダリングして、少なくとも２つの異なるレンズ視野角にそれぞれ対応する仮想画像を取得することは、第１レンズ視野角で三次元仮想モデルをレンダリングして、第１仮想画像を取得することと、第２レンズ視野角で三次元仮想モデルをレンダリングして、第２仮想画像を取得することと、第１仮想画像および第２仮想画像に従って形成された画像シーケンスを表示することと、を含む。

【0021】

これから分かるように、それぞれ第１レンズ視野角および第２レンズ視野角で三次元仮想モデルをレンダリングして、ユーザが第１レンズ視野角での三次元仮想モデルおよび第２レンズ視野角での三次元仮想モデルを観覧させて、ユーザに豊富な視覚体験を提供することができる。

【0022】

本願のいくつかの代替実施例において、第２レンズ視野角で三次元仮想モデルをレンダリングして、第２仮想画像を取得することは、第１レンズ視野角での三次元仮想モデルを平行移動または回転して、第２レンズ視野角での三次元仮想モデルを取得することと、第２レンズ視野角での三次元仮想モデルに対応する第２仮想画像を取得することと、を含む。

【0023】

これから分かるように、第１レンズ視野角での三次元仮想モデルを平行移動または回転することを介して、第２レンズ視野角での三次元仮想モデル、即ち、第２仮想画像を迅速且つ正しく取得することができる。

【0024】

本願のいくつかの代替実施例において、第１画像および第２仮想画像に従って形成された画像シーケンスを表示することは、第１仮想画像と第２仮想画像の間にａフレームの仮想画像を挿入して、第１仮想画像が第２仮想画像に緩やかに切り替えるようにすることを含み、ここで、ａは、正の整数である。

【0025】

これから分かるように、第１仮想画像と第２仮想画像の間にａフレームの仮想画像を挿入して、観客が、単一な二枚の画像（第１仮想画像および第２仮想画像）を見るようにすることではなく、第１仮想画像から第２仮想画像へのすべての変化プロセスを見るようにして、観客が、第１仮想画像から第２仮想画像への変化によって形成された視覚差の効果を適応するようにする。

【0026】

本願のいくつかの代替実施例において、方法は、背景音楽に対してビート検出を実行して、背景音楽のビートコレクションを取得することをさらに含み、ここで、ビートコレクションは、複数のビートを含み、複数のビートのうちの各ビートは、１つのステージ特殊効果に対応し、ビートコレクションに対応するターゲットステージ特殊効果を三次元仮想モデルに追加する。

【0027】

これから分かるように、音楽のビート情報に従って、仮想人物モデルが位置する仮想シーンに、対応するステージ特殊効果を追加して、観客に異なるステージ効果を表示し、観客の視聴体験を増強させる。

【0028】

第２態様において、本願実施例は、さらに、レンズ分割の実現装置を提供し、前記装置は、三次元仮想モデルを取得するように構成される、取得ユニットと、少なくとも２つの異なるレンズ視野角で三次元仮想モデルをレンダリングして、少なくとも２つの異なるレンズ視野角にそれぞれ対応する仮想画像を取得するように構成される、レンズ分割ユニットと、を備える。

【0029】

本願のいくつかの代替実施例において、三次元仮想モデルは、三次元仮想シーンモデルに位置する三次元仮想人物モデルを含み、装置は、さらに、特徴抽出ユニットと三次元仮想モデル生成ユニットとを備え、ここで、取得ユニットは、さらに、三次元仮想モデルを取得する前に、実画像を取得するように構成され、ここで、実画像は、実在人物画像を含み、特徴抽出ユニットは、実在人物画像に対して特徴抽出を実行して特徴情報を取得するように構成され、ここで、特徴情報は、実在人物の動き情報を含み、三次元仮想モデル生成ユニットは、特徴情報に従って三次元仮想モデルを生成して、三次元仮想モデル内の三次元仮想人物モデルの動き情報が実在人物の動き情報に対応させる。

【0030】

本願のいくつかの代替実施例において、取得ユニットは、ビデオストリームを取得し、ビデオストリーム内の少なくとも２フレームの画像に従って、少なくとも２フレームの実画像を取得するように構成され、特徴抽出ユニットは、各フレームの実在人物画像に対して特徴抽出を実行して、対応する特徴情報を取得するように構成される。

【0031】

本願のいくつかの代替実施例において、実画像は、さらに、実シーン画像を含み、三次元仮想モデルは、さらに、三次元仮想シーンモデルを含み、装置は、さらに、取得ユニットが三次元仮想モデルを取得する前に、実シーン画像に従って、三次元仮想シーン画像を構築するように構成される、三次元仮想シーン画像構築ユニットを備える。

【0032】

本願のいくつかの代替実施例において、装置は、さらに、少なくとも２フレームの実画像に従って、少なくとも２つの異なるレンズ視野角を取得するように構成される、レンズ視野角取得ユニットを備える。

【0033】

本願のいくつかの代替実施例において、装置は、さらに、少なくとも２フレームの実画像にそれぞれ対応する動き情報に従って、少なくとも２つの異なるレンズ視野角を取得するように構成される、レンズ視野角取得ユニットを備える。

【0034】

本願のいくつかの代替実施例において、装置は、さらに、背景音楽を取得し、背景音楽に対応するタイムコレクションを決定し、ここで、タイムコレクションは、少なくとも２つの期間を含み、タイムコレクションのうちの各期間に対応するレンズ視野角を取得するように構成される、レンズ視野角取得ユニットを備える。

【0035】

本願のいくつかの代替実施例において、少なくとも２つの異なるレンズ視野角は、第１レンズ視野角と第２レンズ視野角を含み、レンズ分割ユニットは、第１レンズ視野角で三次元仮想モデルをレンダリングして、第１仮想画像を取得し、第２レンズ視野角で三次元仮想モデルをレンダリングして、第２仮想画像を取得して、第１仮想画像および第２仮想画像に従って形成される画像シーケンスを表示するように構成される。

【0036】

本願のいくつかの代替実施例において、レンズ分割ユニットは、第１レンズ視野角での三次元仮想モデルを平行移動または回転して、第２レンズ視野角での三次元仮想モデルを取得し、第２レンズ視野角での三次元仮想モデルに対応する第２仮想画像を取得するように構成される。

【0037】

本願のいくつかの代替実施例において、レンズ分割ユニットは、第１仮想画像と第２仮想画像の間にａフレームの仮想画像を挿入して、第１仮想画像が第２仮想画像に緩やかに切り替えるようにするように構成され、ここで、ａは、正の整数である。

【0038】

本願のいくつかの代替実施例において、装置は、さらに、ビート検出ユニットとステージ特殊効果生成ユニットとを備え、ここで、ビート検出ユニットは、背景音楽に対してビート検出を実行して、背景音楽のビートコレクションを取得するように構成され、ここで、ビートコレクションは、複数のビートを含み、複数のビートのうちの各ビートは、１つのステージ特殊効果に対応し、ステージ特殊効果生成ユニットは、ビートコレクションに対応するターゲットステージ特殊効果を三次元仮想モデルに追加するように構成される。

【0039】

第３態様において、本願実施例は、電子機器を提供し、前記電子機器は、プロセッサ、通信インターフェースおよびメモリを備え、メモリは、命令を記憶するように構成され、プロセッサは、命令を実行するように構成され、通信インターフェースは、プロセッサの制御によって他の機器と通信するように構成され、ここで、プロセッサが、命令を実行するとき、電子機器が、上記の第１態様のいずれか一項の方法を実現させる。

【0040】

第４態様において、本願実施例は、コンピュータプログラムが記憶する、コンピュータ可読記憶媒体を提供し、前記コンピュータプログラムは、ハードウェアによって実行されて、上記の第１態様のいずれか一項の方法を実現する。

【0041】

第５態様において、本願実施例は、コンピュータプログラム製品を提供し、コンピュータプログラム製品が、コンピュータによって読み取り実行されるとき、上記の第１態様のいずれか一項の方法は、実行される。

【図面の簡単な説明】

【0042】

本願実施例または背景技術の技術的解決策をより明確に説明するために、以下は、本願実施例の説明で使用される図面について簡単に紹介する。以下に説明される図面は、本願のいくつかの実施例であり、当業者にとっては、創造的な作業なしに、これらの図面に従って他の図面を得ることもできることは自明である。

【図1】本願実施例による具体的な適用シーンの概略図である。

【図2】本願実施例による可能な三次元仮想モデルの概略図である。

【図3】本願実施例によるレンズ分割の実現方法のフローチャートである。

【図4】本願実施例による補間曲線の概略図である。

【図5】本願実施例による具体的な実施例のフローチャートである。

【図6】本願実施例によるレンズ分割ルールの概略図である。

【図7A】本願実施例による可能な仮想画像の効果図である。

【図7B】本願実施例による可能な仮想画像の効果図である。

【図7C】本願実施例による可能な仮想画像の効果図である。

【図7D】本願実施例による可能な仮想画像の効果図である。

【図8】本願実施例によるレンズ分割の実現装置の例示的な構造図である。

【図9】本願実施例で提供される電子機器の例示的な構造図である。

【発明を実施するための形態】

【0043】

本願実施例に使用される用語は、本願の具体的な実施例を説明するためにのみ使用され、本願を限定することを目的とするものではない。

【0044】

本願実施例によるレンズ分割の実現方法、装置および関連製品は、ソーシャル、エンターテイメントおよび教育などの複数の分野に適用でき、例えば、仮想ライブ、仮想コミュニティでソーシャル対話を実行するために使用でき、仮想コンサートを開催するためにも使用でき、教室での教育などにも適用できる。本願実施例をより容易に理解するために、以下は、仮想ライブを例として、本願実施例の具体的な適用シーンを詳細に説明する。

【0045】

仮想ライブは、ライブプラットフォームでライブアンカの代わりに仮想人物を使用してライブする方式である。仮想人物は、豊富の表現力があるため、ソーシャルネットワークの伝播環境と調和しているため、仮想ライブ業界は急速に発展している。仮想ライブのプロセスでは、通常、顔表情のキャプチャ、動きキャプチャおよび音声処理などのコンピュータ技術を使用して、ライブアンカの顔表情および動きを仮想人物モデルに適用して、観客と仮想アンカのビデオウェブサイトまたはソーシャルウェブサイトにおける対話を実現する。

【0046】

ライブコストおよびポストプロダクションのコストを節約するために、ユーザは、通常、携帯電話、タブレットなどの端末機器を直接に使用してライブする。図１を参照すると、図１は、本願実施例による具体的な適用シーンの概略図であり、図１に示されたライブプロセスでは、カメラ機器１１０は、ライブアンカを撮影し、収集された実在人物画像をネットワークを介してサーバ１２０に転送して処理し、サーバ１２０は、生成された仮想画像をユーザ端末１３０に送信し、それにより、異なる観客が、対応するユーザ端末１３０を介してすべてのライブプロセスを観覧させる。

【0047】

これから分かるように、このような方式の仮想ライブは、コストが低いが、１つのカメラ機器１１０のみライブアンカを撮影しているため、生成された仮想アンカの姿勢は、カメラ機器１１０とライブアンカ間の相対位置に関し、つまり、観客は、特定の視野角での仮想人物のみを見ることができ、この特定の視野角は、カメラ機器１１０とライブアンカ間の相対位置によって決定され、それにより、表示されたライブ効果は、不十分である。例えば、仮想ライブプロセスでは、仮想アンカの動きが硬く、レンズの切り替え画面が滑らかでなく、またはレンズの画面が単調で退屈であるなどの問題が常に発生し、それにより、観客の視覚的疲労を引き起こし、観客が、没入型の体験を体験できなくなる。

【0048】

同様に、他の適用シーンでは、例えば、ライブ教育シーンにおいて、教育プロセスで、教師は、オンライン教育の形を介して学生に知識を教えるが、このような教育方法は、通常退屈であり、ビデオ内の教師は、リアルタイムで、知識ポイントに対する学生の習得を知ることができなく、学生も、単一な視野角画面内の教師または指導資料のみを見ることができなく、学生に疲れを感じさせやすく、ビデオ指導の指導効果は、教師の現場での指導に比べて大幅に低下する。例えば、コンサートを開催するプロセスでは、天気、会場の都合により予定通りにコンサートを開催できない場合、歌手は、スタジオで仮想コンサートを開催して、実のコンサートのシーンをシミュレートし、実のコンサートのシーンを実現するために、通常、複数のカメラを設置して歌手を撮影する必要があり、このような仮想コンサートの開催方式は、動作が複雑でコストを浪費し、複数のカメラで撮影して複数のレンズでの画面を取得でき、これは、レンズの切り替えが滑らかでない問題がある可能性があり、それにより、ユーザが異なるレンズ画面の切り替えによる視覚差を適用できなくなる。

【0049】

上記の適用シーンで常に現れる、画面レンズ視野角の単一およびレンズの切り替え画面が滑らかでないなどの問題を解決するために、本願実施例は、レンズ分割を実現する方法を提供し、当該方法は、収集して得た実画像に従って、三次元仮想モデルを生成し、背景音楽または実在人物の動きに従って、複数の異なるレンズ視野角を取得し、その後、複数の異なるレンズ視野角で三次元仮想モデルをレンダリングして、複数の異なるレンズ視野角にそれぞれ対応する仮想画像を取得し、それにより、在仮想シーンで、複数の仮想カメラが三次元仮想モデルを撮影する効果をシミュレートして、観客の視聴体験を向上させる。さらに、当該方法は、背景音楽のビートを解析し、ビート情報に従って、三次元仮想モデルに、対応するステージ特殊効果を追加することを介して、観客に異なるステージ効果を表示し、さらに、観客のライブ視聴体験を増強させる。

【0050】

以下は、まず、本願実施例における実画像によって三次元仮想モデルを生成する具体的なプロセスを説明する。

【0051】

本願実施例において、三次元仮想モデルは、三次元仮想シーンに位置する三次元仮想人物モデルを含む。図２を例として、図２は、可能な三次元仮想モデルの概略図を示し、図２に示された三次元仮想モデルによれば、三次元仮想人物モデルの両手が胸に上げることを見ることができ、コントラスト効果を強調するために、図２の左上隅は、レンズ分割の実現装置によって収集して得た実画像を表示し、ここで、実在人物も両手を胸に上げる。言い換えると、三次元仮想人物モデルと実在人物の動きは、一致している。上記の図２は、一例に過ぎず、実際の用途では、レンズ分割の実現装置が収集して得た実画像は、三次元画像であってもよく、二次元画像であってもよく、実画像内の人物の数は、１つであってもよく、複数であってもよく、実在人物の動きは、両手を胸に上げることであってもよく、左足を上げることまたは他の動きであってもよく、それに対応して、実在人物画像によって生成された三次元仮想モデル内の三次元仮想人物モデルの数は、１つであってもよく、複数であってもよく、三次元仮想人物モデルの動きは、両手を胸に上げることであってもよく、左足を上げることまたは他の動きなどであってもよく、ここでは具体的な限定をしないことを理解することができる。

【0052】

本願実施例において、レンズ分割の実現装置は、実在人物を撮影して、マルチフレームの実画像Ｉ１，Ｉ２，…，Ｉｎを取得し、時間順序に従って実画像Ｉ１，Ｉ２，…，Ｉｎに対してそれぞれ特徴抽出を実行し、それにより、複数の対応する三次元仮想モデル

を取得し、ここで、ｎは、正の整数であり、実画像Ｉ１，Ｉ２，…，Ｉｎと三次元仮想モデル

との間には一対一の対応関係があり、つまり、一フレームの実画像は、１つの三次元仮想モデルを生成するために使用される。例示的に、実画像

が、三次元仮想モデル

を生成することを例として、１つの三次元仮想モデルは、以下のように取得できる。

【0053】

ステップ１において、レンズ分割の実現装置が、実画像

を取得する。

【0054】

ここで、実画像

には、実在人物画像を含み、ｉは、正の整数、

である。

【0055】

ステップ２において、レンズ分割の実現装置が、実画像

内の実在人物画像に対して特徴抽出を実行して、特徴情報を取得する。ここで、特徴情報は、実在人物の動き情報を含む。

【0056】

ここで、実画像を取得することは、ビデオストリームを取得し、ビデオストリームのうちの少なくとも２フレームの画像に従って、少なくとも２フレームの実画像を取得することを含み、それに対応して、前記実在人物画像に対して特徴抽出を実行して、特徴情報を取得することは、各フレームの前記実在人物画像に対してそれぞれ特徴抽出を実行して、対応する特徴情報を取得することを含む。

【0057】

特徴情報は、三次元仮想人物モデルの姿勢を制御するために使用され、特徴情報内の動き情報は、顔表情の特徴および体の動きの特徴を含み、顔表情の特徴は、喜び、悲しみ、驚き、恐れ、怒り、またはうんざりなどの、人物の様々な感情状態を説明するために使用され、体の動き特徴は、左手を上げる、右足を上げるまたはジャンプなどの、実在人物の動き状態を説明するために使用されることを理解されたい。さらに、特徴情報は、さらに、人物情報を含み得、ここで、人物情報は、実在人物の複数の人体キーポイントおよびそれに対応する位置情報を含み、人体キーポイントは、顔キーポイントと人体骨キーポイントとを含み、位置特徴は、実在人物の人体キーポイントの位置座標を含む。

【0058】

選択的に、レンズ分割の実現装置は、実画像

に対して画像分割を実行し、実画像

内の実在人物画像を抽出し、抽出して得た実在人物画像に対してキーポイント検出を実行して、上記の複数の人体キーポイントおよび複数の人体キーポイントの位置情報を取得する。ここで、前記人体キーポイントは、顔キーポイントと人体骨キーポイントとを含み、前記人体キーポイントは、具体的に、人体の頭の領域、首の領域、肩の領域、背骨の領域、腰の領域、臀部の領域、手首の領域、腕の領域、膝の領域、脚の領域、足首の領域および足下の領域などに位置でき、顔キーポイントおよび顔キーポイントの位置情報を分析することにより、実画像

内の実在人物の顔表情特徴を取得し、人体骨キーポイントおよび人体骨キーポイントの位置情報を分析することにより、実画像

内の実在人物の骨特徴を取得して、実在人物の体の動き特徴を取得する。

【0059】

選択的に、レンズ分割の実現装置は、実画像

をニューラルネットワークに入力して特徴抽出を実行し、複数の畳み込み層の計算の後、前記複数の人体キーポイント情報を抽出する。ここで、ニューラルネットワークは、大量のトレーニングを介して取得され、ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であってもよいし、逆伝播ニューラルネットワーク（ＢＰＮＮ：Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であってもよいし、生成的敵対的ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）またはリカレントニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などであってもよいし、ここでは具体的に限定しない。上記の人体特徴の抽出プロセスは、同じニューラルネットワークで実行でき、異なるニューラルネットワークでも実行できることに留意されたい。例えば、レンズ分割の実現装置は、ＣＮＮを使用して顔キーポイントを抽出して、人体顔表情の特徴を取得することができ、ＢＰＮＮを使用して人体骨キーポイントを抽出して、人体骨の特徴および体の動き特徴を取得することもでき、ここでは具体的に限定しない。さらに、前記三次元仮想人物モデルを駆動するための特徴情報の例は、例を挙げるためにのみ目的とし、実際の用途では、他の特徴情報も含み得、ここでは具体的に限定しない。

【0060】

ステップ３において、レンズ分割の実現装置は、特徴情報に従って、三次元仮想モデル

内の三次元仮想人物モデルを生成して、三次元仮想モデル

内の三次元仮想人物モデルが、実画像

内実在人物の動き情報に対応させる。

【0061】

選択的に、レンズ分割の実現装置は、前記特徴情報を介して、実在人物の人体キーポイントから仮想人物モデルの人体キーポイント間のマッピング関係を確立し、マッピング関係に従って、仮想人物モデルの表情および姿勢を制御して、仮想人物モデルの顔表情および体の動きが、実在人物の顔表情および体の動きと一致させる。

【0062】

選択的に、レンズ分割の実現装置は、実在人物の人体キーポイントに対して、それぞれ番号の注釈を実行して、実在人物の人体キーポイントの注釈情報を取得し、ここで、人体キーポイントと注釈情報は、一対一に対応し、実在人物の人体キーポイントの注釈情報に従って、仮想人物モデル内の人体キーポイントを注釈する。例えば、実在人物の左手の手首の注釈情報が１号であると、三次元仮想人物モデルの左手の手首の注釈情報も１号であり、実在人物の左手の腕の注釈情報が２号であると、三次元仮想人物モデルの左手の腕の注釈情報も２号である。実在人物の人体キーポイント注釈情報と三次元仮想人物モデルの人体キーポイント注釈情報をマッチングし、実在人物の人体キーポイント位置情報を対応する三次元仮想人物モデルの人体キーポイントにマッピングして、三次元仮想人物モデルが、実在人物の顔表情と体の動きを再現するようにする。

【0063】

本願実施例において、実画像

は、さらに、実シーン画像を含み、三次元仮想モデル

は、さらに、三次元仮想シーンモデルを含み、前記実画像

に従って三次元仮想モデル

を生成する方法は、実画像

内の実シーン画像に従って、三次元仮想モデル

内の三次元仮想シーンを構築することをさらに含む。

【0064】

選択的に、レンズ分割の実現装置は、まず、実画像

に対して画像分割を実行して、実画像

内の実シーン画像を取得し、実シーンの物体の位置特徴、形状特徴およびサイズ特徴などの実シーン画像内のシーン特徴を抽出し、シーン特徴に従って、三次元仮想モデル

内の三次元仮想シーンモデルを構築して、三次元仮想モデル

内の三次元仮想シーンモデルが、実画像

内の実シーン画像を高度に復元できるようにする。

【0065】

説明を容易にするために、上記では、実画像

によって三次元仮想モデル

を生成するプロセスのみを説明し、実際に、三次元仮想モデル

の生成プロセスと三次元仮想モデル

の生成プロセスは、類似しており、ここでは再び説明しない。

【0066】

三次元仮想モデル内の三次元仮想シーンモデルは、実画像内の実シーン画像に従って構築でき、ユーザがカスタマイズした三次元仮想シーンモデルであってもよく、三次元仮想モデル内の三次元仮想人物モデルの顔の特徴は、実画像内の実在人物画像の五感によって構築でき、ユーザが、カスタマイズした顔の特徴であってもよく、ここでは具体的に限定しないことに留意されたい。

【0067】

以下は、本願実施例に関する、複数の異なるレンズ視野角で三次元仮想モデル

内の各三次元仮想モデルに対してレンズ視野角のレンダリングして、観客が、同じ三次元仮想モデルが、異なるレンズ視野角での仮想画像を見ることができるようにすることに対して詳細に説明する。実画像

が生成する三次元仮想モデル

を例として、それぞれｋの異なるレンズを使用して三次元仮想モデル

をレンダリングして、ｋの異なるレンズ視野角での仮想画像

を取得し、ここで、

であり、それにより、レンズ分割の切り替え効果を実現し、その具体的なプロセスは、以下の通りである。

【0068】

図３に示されたように、図３は、本願実施例によるレンズ分割の実現方法のフローチャートである。本実施形態のレンズ分割の実現方法は、以下のステップを含むが、これに限定されない。

【0069】

Ｓ１０１において、レンズ分割の実現装置が、三次元仮想モデルを取得する。

【0070】

本願実施例において、三次元仮想モデルは、実在人物および実シーンをシミュレートするために使用され、三次元仮想モデルは、三次元仮想シーンモデルに位置する三次元仮想人物モデルを含み、三次元仮想モデルは、実画像に従って生成される。ここで、三次元仮想人物モデルは、実画像が含む実在人物画像に従って生成され、三次元仮想モデル内の三次元仮想人物モデルは、実画像内の実在人物をシミュレートするために使用され、三次元仮想人物モデルの動と実在人物の動きは対応する。三次元仮想シーンモデルは、実画像が含む実シーン画像に従って構築されてもよいし、プリセットの三次元仮想シーンモデルであってもよい。三次元仮想シーンモデルが、実シーン画像によって構築された場合、三次元仮想シーンモデルは、実画像内の実シーンをシミュレートするために使用できる。

【0071】

Ｓ１０２において、レンズ分割の実現装置が、少なくとも２つの異なるレンズ視野角を取得する。

【0072】

本願実施例において、レンズ視野角は、カメラが、物体を撮影するときにカメラに対向する撮影される物体の位置を表示するために使用される。例えば、カメラが、物体の真上で撮影するとき、物体の上面図を取得できる。カメラが、物体の真上に位置することに対応するレンズ視野角が

であると、当該カメラを使用して撮影して得た画像は、レンズ視野角

での物体、即ち物体の上面図を表示する。

【0073】

いくつかの代替実施例において、少なくとも２つの異なるレンズ視野角を取得することは、少なくとも２フレームの実画像に従って、少なくとも２つの異なるレンズ視野角を取得することを含む。ここで、実画像は、実のカメラによって撮影され得、実のカメラが実在人物に対抗する位置は、複数であり得、複数の異なる位置にある実のカメラが撮影して得た複数枚の実画像は、複数の異なるレンズ視野角での実在人物を表示する。

【0074】

別の代替実施例において、少なくとも２つの異なるレンズ視野角を取得することは、少なくとも２フレームの実画像にそれぞれ対応する動き情報に従って、少なくとも２つの異なるレンズ視野角を取得することを含む。ここで、動き情報は、実画像内の実在人物の体の動きおよび顔表情を含む。ここで、体の動きは、複数のタイプを含み、体の動きは、例えば、右手を上げる、左足を上げる、ジャンプなどの動きのうちの１つまたは複数であり得、顔表情も複数のタイプを含み、顔表情は、例えば、微笑み、涙、怒りなどの顔表情のうちの１つまたは複数であり得る。本実施例の体の動きおよび顔表情に対する例は、上記の説明に限定されない。

【0075】

本願実施例において、１つの動きまたは複数の動きの組み合わせは、１つのレンズ視野角に対応する。例えば、実在人物が、微笑み微笑んでジャンプするときに対応するレンズ視野角は、

であり、実在人物が、ジャンプするときに対応するレンズ視野角は、レンズ視野角

であってもよいし、レンズ視野角

などであってもよいし、同様に、実在人物が、微笑むときに対応するレンズ視野角は、レンズ視野角

であってもよいし、レンズ視野角

であってもよいし、レンズ視野角

などであってもよい。

【0076】

また別の代替実施例において、少なくとも２つの異なるレンズ視野角を取得することは、背景音楽を取得することと、背景音楽に対応するタイムコレクションを決定することであって、ここで、タイムコレクションは、少なくとも２つの期間を含むことと、タイムコレクションのうちの各期間に対応するレンズ視野角を取得することと、を含む。ここで、実画像は、１つのビデオストリームのうちの一フレームのまたはマルチフレームのであり得、ビデオストリームには、画像情報と背景音楽情報を含み、ここで、一フレームの画像は、一フレームの音楽に対応する。背景音楽情報は、背景音楽および対応するタイムコレクションを含み、タイムコレクションは、少なくとも２つの期間を含み、各期間は、１つのレンズ視野角に対応する。

【0077】

Ｓ１０３において、レンズ分割の実現装置が、少なくとも２つの異なるレンズ視野角で三次元仮想モデルをレンダリングして、少なくとも２つの異なるレンズ視野角にそれぞれ対応する仮想画像を取得する。

【0078】

本願実施例において、前記少なくとも２つの異なるレンズ視野角は、第１レンズ視野角と第２レンズ視野角とを含み、少なくとも２つの異なるレンズ視野角で前記三次元仮想モデルをレンダリングして、少なくとも２つの異なるレンズ視野角にそれぞれ対応する仮想画像を取得することは、Ｓ１０３１、第１レンズ視野角で三次元仮想モデルをレンダリングして、第１仮想画像を取得することと、Ｓ１０３２、第２レンズ視野角で三次元仮想モデルをレンダリングして、第２仮想画像を取得することと、を含む。

【0079】

本願実施例において、第２レンズ視野角で三次元仮想モデルをレンダリングして、第２仮想画像を取得することは、第１レンズ視野角での三次元仮想モデルを平行移動または回転して、第２レンズ視野角での三次元仮想モデルを取得することと、第２レンズ視野角での三次元仮想モデルに対応する第２仮想画像を取得することと、を含む。

【0080】

第１レンズ視野角は、実画像に従って取得されることであってもよいし、実画像に対応する動き情報に従って取得されることであってもよいし、背景音楽に対応するタイムコレクションに従って取得されることであってもよいし、同様に、第２レンズ視野角は、実画像に従って取得されることであってもよいし、実画像に対応する動き情報に従って取得されることであってもよいし、背景音楽に対応するタイムコレクションに従って取得されることであってもよいし、本願実施例では、具体的に限定しないことを理解されたい。

【0081】

Ｓ１０３３において、第１仮想画像および第２仮想画像に従って形成される画像シーケンスを表示する。

【0082】

本願実施例において、前記第１画像および第２仮想画像に従って形成された画像シーケンスを表示することは、第１仮想画像と前記第２仮想画像の間にａフレームの仮想画像を挿入して、第１仮想画像が第２仮想画像に緩やかに切り替えるようにすることを含み、ここで、ａは、正の整数である。

【0083】

選択的に、第１仮想画像と第２仮想画像との間にａフレームの仮想画像

を挿入して、第１仮想画像が、第２仮想画像に緩やかに切り替えるようにし、ここで、ａフレームの仮想画像

が挿入する時間ポイントは、

であり、時間ポイント

が形成する曲線のスロープ値は、単調減少した後単調単調増加する関数を満たし、ａは、正の整数である。

【0084】

例を挙げて説明すると、図４は、補間曲線の概略図を示し、図４に示されたように、レンズ分割の実現装置は、第１分のとき、第１仮想画像を取得し、第２分のとき、第２仮想画像を取得し、第１仮想画像は、三次元仮想モデルの正面図を表示し、第２仮想画像は、三次元仮想モデルの左側面図を表示する。観客が、滑らかなレンズ切り替え画面を見ることができるようにするために、レンズ分割の実現装置は、第１分と第２分との間に複数の時間ポイントを挿入し、各時間ポイントに一フレームの仮想画像を挿入する。例えば、１．４分のとき仮想画像Ｐ１を挿入し、第１．６５分のとき仮想画像Ｐ２を挿入し、第１．８分のとき仮想画像Ｐ３を挿入し、第１．８５分に仮想画像Ｐ４を挿入し、ここで、仮想画像Ｐ１は、三次元仮想モデルを左に３０度を回転する効果を表示し、仮想画像Ｐ２は、三次元仮想モデルを左に５０度を回転する効果を表示し、仮想画像Ｐ３および仮想画像Ｐ４は、すべて、三次元仮想モデルを左に９０度を回転する効果を表示して、観客が、単一な二枚の画像（三次元仮想モデルの正面図和三次元仮想モデルの左側面図）ではなく、三次元仮想モデルが、正面図から左側面図に徐々に変換されるすべてのプロセスを見るようにして、観客が、正面図から左側面図に切り替える視覚差の変化効果を適用できるようにする。

【0085】

本願のいくつかの代替実施例において、本願実施例で言及されたステージ特殊効果を使用して三次元仮想モデルをレンダリングして、観客に異なるステージ効果を表示することに対して詳細に説明し、具体的には、以下のステップを含む。

【0086】

ステップ１において、レンズ分割の実現装置が、背景音楽に対してビート検出を実行して、背景音楽のビートコレクションを取得する。

【0087】

ここで、ビートコレクションは、複数のビートを含み、複数のビートのうちの各ビートは、１つのステージ特殊効果に対応する。選択的に、レンズ分割の実現装置は、シェーダおよび粒子特殊効果を使用して、三次元仮想モデルをそれぞれレンダリングし、例えば、シェーダは、仮想ステージ背面のスポットライトの回転効果および仮想ステージ自体の音波効果を実現するために使用でき、粒子特殊効果は、三次元仮想モデルで花火、落ち葉、流星などと類似する視覚効果を追加するために使用される。

【0088】

ステップ２において、レンズ分割の実現装置が、ビートコレクションに対応するターゲットステージ特殊効果を三次元仮想モデルに追加する。

【0089】

上記の方法は、収集して得た実画像に従って三次元仮想モデルを生成し、収集して得た実画像、背景音楽および実在人物の動きに従って、対応するレンズ視野角の切り替えを実行して、仮想シーン内で、複数の仮想カメラが三次元仮想モデルを撮影する効果をシミュレートし、観客の視聴体験を向上させる。さらに、当該方法は、背景音楽のビートを解析し、ビート情報に従って、仮想画像に、対応するステージ特殊効果を追加することを介して、観客に異なるステージ効果を表示し、さらに、観客のライブ視聴体験を増強させる。

【0090】

上記の実施例に関するレンズ分割の実現方法を容易に理解するために、以下は、例を挙げる方式を介して、本願実施例のレンズ分割の実現方法を詳細に説明する。

【0091】

具体的な実施例の例示的なフローチャートを示す、図５を参照されたい。

【0092】

Ｓ２０１において、レンズ分割の実現装置が、実画像および背景音楽を取得し、実画像に従って第１レンズ視野角を取得する。ここで、背景音楽が鳴ると、実在人物は、背景音楽に従って動き、実のカメラは、実在人物を撮影して実画像を取得する。

【0093】

Ｓ２０２において、レンズ分割の実現装置が、実画像に従って三次元仮想モデルを生成する。ここで、三次元仮想モデルは、レンズ分割の実現装置が第１モーメントで取得したことである。

【0094】

Ｓ２０３において、レンズ分割の実現装置が、背景音楽に対してビート検出を実行して、背景音楽のビートコレクションを取得し、ビートコレクションに対応するターゲットステージ特殊効果を三次元仮想モデルに追加する。

【0095】

Ｓ２０４において、レンズ分割の実現装置が、第１レンズ視野角で三次元仮想モデルをレンダリングして、第１レンズ視野角に対応する第１仮想画像を取得する。

【0096】

Ｓ２０５において、レンズ分割の実現装置が、背景音楽に対応するタイムコレクションを決定する。

【0097】

ここで、タイムコレクションは、複数の期間を含み、複数の期間のうちの各期間は、１つのレンズ視野角に対応する。

【0098】

Ｓ２０６において、レンズ分割の実現装置が、動き情報ライブラリに動き情報が含まれるか否かを判断し、動き情報ライブラリに動き情報が含まない場合、Ｓ２０７ないしＳ２０９を実行し、動き情報ライブラリに動き情報を含む場合、Ｓ２１０ないしＳ２１２を実行する。ここで、動き情報は、実画像内の実在人物の動き情報であり、動き情報ライブラリは、複数の動き情報を含み、複数の動き情報のうちの各動き情報は、１つのレンズ視野角に対応する。

【0099】

Ｓ２０７において、レンズ分割の実現装置が、タイムコレクションに従って、第１モーメントの期間に対応する第２レンズ視野角を決定する。

【0100】

Ｓ２０８において、レンズ分割の実現装置が、第２レンズ視野角で三次元仮想モデルをレンダリングして、第２レンズ視野角に対応する第２仮想画像を取得する。

【0101】

Ｓ２０９において、レンズ分割の実現装置が、第１仮想画像および第２仮想画像に従って形成される画像シーケンスを表示する。

【0102】

Ｓ２１０において、レンズ分割の実現装置が、動き情報に従って、動き情報に対応する第３レンズ視野角を決定する。

【0103】

Ｓ２１１において、レンズ分割の実現装置が、第３レンズ視野角で三次元仮想モデルをレンダリングして、第３レンズ視野角に対応する第３仮想画像を取得する。

【0104】

Ｓ２１２において、レンズ分割の実現装置が、第１仮想画像および第３仮想画像に従って形成される画像シーケンスを表示する。

【0105】

図５に記載のレンズ分割の実現方法に従って、本願実施例は、図６に示されたレンズ分割ルールの概略図を提供し、図６に示されたレンズ分割ルールに従って、仮想画像に対してレンズ分割処理およびステージ特殊効果処理を実行して、図７Ａ－７Ｄに示された４つの仮想画像の効果図を取得することができる。

【0106】

図７Ａに示されたように、第１分のとき、レンズ分割の実現装置は、レンズ視野角Ｖ１で実在人物を撮影して、実画像

（図７Ａの左上隅に示されたように）を取得し、その後、実画像

に従って、三次元仮想モデル

を取得する。レンズ分割の実現装置は、背景音楽に対してビート検出を実行して、第１分に対応するビートがＢ１であると決定し、ビートＢ１に従って、第１分のときのステージ特殊効果

を取得し、その後、ステージ特殊効果

を三次元仮想モデル

に追加する。レンズ分割の実現装置は、プリセットのレンズ脚本に従って、第１分に対応するレンズ視野角（時間レンズ視野角と略称）がＶ１であると決定し、レンズ分割の実現装置が、第１分における実在人物の動きが、両手を胸に上げることであり、両手を胸に上げる動きは、動き情報ライブラリに含まれないこと、即ち、動きに対応するレンズ視野角（動きレンズ視野角と略称）がないことを検出した場合、レンズ分割の実現装置では、図７Ａに示された仮想画像を表示し、ここで、図７Ａに示された仮想画像と実画像

のレンズ視野角は、同じである。

【0107】

図７Ｂに示されたように、第２分では、レンズ分割の実現装置は、レンズ視野角Ｖ１で実在人物を撮影して、実画像

（図７Ｂの左上隅に示されたように）を取得し、その後、実画像

に従って、三次元仮想モデル

を取得する。レンズ分割の実現装置は、背景音楽に対してビート検出を実行して、第２分に対応するビートＢ２を決定し、ビートＢ２に従って、第２分のときのステージ特殊効果

を取得し、その後、三次元仮想モデル

にステージ特殊効果

を追加する。レンズ分割の実現装置は、プリセットのレンズ脚本に従って、第２分に対応するレンズ視野角（時間レンズ視野角と略称）がＶ２であると決定し、レンズ分割の実現装置が、第２分における実在人物の動きが、両手を上に上げることであり、両手を上にあげる動きが、動き情報ライブラリに含まれない、動きに対応するレンズ視野角（動きレンズ視野角と略称）がないと検出した場合、レンズ分割の実現装置は、三次元仮想モデル

を左上方向に回転してレンズ視野角がＶ２であるときに対応する仮想画像を取得する。これから分かるように、三次元仮想モデル

にステージ特殊効果

を追加するとき、図７Ｂに示された仮想画像は、図７Ａに示された仮想画像より照明効果が追加される。

【0108】

図７Ｃに示されたように、第３分では、レンズ分割の実現装置は、レンズ視野角Ｖ１で実在人物を撮影して、実画像

（図７Ｃの左上隅に示されたように）を取得し、その後、実画像

に従って、三次元仮想モデル

を取得する。レンズ分割の実現装置は、背景音楽に対してビート検出を実行して、第３分に対応するビートＢ３を決定し、ビートＢ３に従って、第３分のときのステージ特殊効果

を取得し、その後、三次元仮想モデル

にステージ特殊効果

を追加する。レンズ分割の実現装置は、プリセットのレンズ脚本に従って、第３分に対応するレンズ視野角（時間レンズ視野角と略称）がＶ２であると決定し、レンズ分割の実現装置が、第３分における実在人物の動きが、左足を上に上げることであり、左足を上にあげる動きに対応するレンズ視野角（動きレンズ視野角と略称）がＶ３であると検出した場合、レンズ分割の実現装置は、三次元仮想モデル

を左に回転してレンズ視野角がＶ３であるときに対応する仮想画像を取得する。これから分かるように、三次元仮想モデル

にステージ特殊効果

を追加するとき、図７Ｃに示された仮想画像と図７Ｂに示された仮想画像の照明効果は、異なり、図７Ｃに示された仮想画像には、音波効果が表示される。

【0109】

図７Ｄに示されたように、第４分では、レンズ分割の実現装置は、レンズ視野角Ｖ１で実在人物を撮影して、実画像

（図７Ｄの左上隅に示されたように）を取得し、その後、実画像

に従って、三次元仮想モデル

を取得する。レンズ分割の実現装置は、背景音楽に対してビート検出を実行して、第４分に対応するビートＢ４を決定し、ビートＢ４に従って、第４分のときのステージ特殊効果

を取得し、その後、三次元仮想モデル

にステージ特殊効果

を追加する。レンズ分割の実現装置は、プリセットのレンズ脚本に従って、第３分に対応するレンズ視野角（時間レンズ視野角と略称）がＶ４であると決定し、レンズ分割の実現装置が、第４分における実在人物の動きが、立つことであり、立つ動きに対応するレンズ視野角（動きレンズ視野角と略称）がＶ４であると検出した場合、レンズ分割の実現装置は、三次元仮想モデル

を右に回転してレンズ視野角がＶ４であるときに対応する仮想画像を取得する。これから分かるように、三次元仮想モデル

にステージ特殊効果

を追加とき、図７Ｄに示された仮想画像と図７Ｃに示された仮想画像のステージ効果が異なるようにする。

【0110】

本願実施例によるレンズ分割の実現装置は、ソフトウェア装置であってもよいしハードウェア装置であってもよいし、レンズ分割の実現装置が、ソフトウェア装置である場合、レンズ分割の実現装置は、クラウド環境における１つもコンピューティング機器で独立して配置でき、１つの端末機器で独立して配置されることもでき、レンズ分割の実現装置が、ハードウェア機器である場合、レンズ分割の実現装置の内部のユニットモジュールも、複数の分割があり、各モジュールは、ソフトウェアモジュールであってもよいしハードウェアモジュールであってもよいし、一部は、ソフトウェアモジュールであり、一部は、ハードウェアモジュールであってもよいし、本願は、それに対して限定しない。図８は、例示的な分割方式であり、図８に示されたように、図８は、本願実施例によるレンズ分割の実現装置８００であり、前記装置は、三次元仮想モデルを取得するように構成される、取得ユニット８１０と、少なくとも２つの異なるレンズ視野角で三次元仮想モデルをレンダリングして、少なくとも２つの異なるレンズ視野角にそれぞれ対応する仮想画像を取得するように構成される、レンズ分割ユニット８２０と、を備える。

【0111】

本願のいくつかの代替実施例において、三次元仮想モデルは、三次元仮想シーンモデルに配置されている三次元仮想人物モデルを含み、前記装置は、さらに、特徴抽出ユニット８３０と三次元仮想モデル生成ユニット８４０と、を備え、ここで、
取得ユニット８１０は、さらに、三次元仮想モデルを取得する前に、実画像を取得するように構成され、ここで、実画像は、実在人物画像を含み、特徴抽出ユニット８３０は、実在人物画像に対して特徴抽出を実行して特徴情報を取得するように構成され、ここで、特徴情報は、実在人物の動き情報を含み、三次元仮想モデル生成ユニット８４０は、特徴情報に従って三次元仮想モデルを生成して、三次元仮想モデル内の三次元仮想人物モデルの動き情報が実在人物の動き情報に対応させる。

【0112】

本願のいくつかの代替実施例において、取得ユニットは、ビデオストリームを取得し、ビデオストリーム内の少なくとも２フレームの画像に従って、少なくとも２フレームの実画像を取得するように構成され、特徴抽出ユニット８３０は、各フレームの実在人物画像に対してそれぞれ特徴抽出を実行して、対応する特徴情報を取得するように構成される。

【0113】

本願のいくつかの代替実施例において、実画像は、さらに、実シーン画像を含み、三次元仮想モデルは、さらに、三次元仮想シーンモデルを含み、前記装置は、さらに、取得ユニットが三次元仮想モデルを取得する前に、実シーン画像に従って、三次元仮想シーン画像を構築するように構成される、三次元仮想シーン画像構築ユニット８５０を備える。

【0114】

本願のいくつかの代替実施例において、前記装置は、さらに、少なくとも２つの異なるレンズ視野角を取得するように構成される、レンズ視野角取得ユニット８６０を備える。具体的には、いくつかの代替実施形態において、レンズ視野角取得ユニット８６０は、少なくとも２フレームの実画像に従って、少なくとも２つの異なるレンズ視野角を取得するように構成される。

【0115】

本願のいくつかの代替実施例において、レンズ視野角取得ユニット８６０は、少なくとも２フレームの実画像にそれぞれ対応する動き情報に従って、少なくとも２つの異なるレンズ視野角を取得するように構成される。

【0116】

本願のいくつかの代替実施例において、レンズ視野角取得ユニット８６０は、背景音楽を取得し、背景音楽に対応するタイムコレクションを決定し、ここで、タイムコレクションは、少なくとも２つの期間を含み、タイムコレクションのうちの各期間に対応するレンズ視野角を取得するように構成される。

【0117】

本願のいくつかの代替実施例において、少なくとも２つの異なるレンズ視野角は、第１レンズ視野角と第２レンズ視野角を含み、レンズ分割ユニット８２０は、第１レンズ視野角で三次元仮想モデルをレンダリングして、第１仮想画像を取得し、第２レンズ視野角で三次元仮想モデルをレンダリングして、第２仮想画像を取得して、第１仮想画像および第２仮想画像に従って形成される画像シーケンスを表示するように構成される。

【0118】

本願のいくつかの代替実施例において、レンズ分割ユニット８２０は、第１レンズ視野角での三次元仮想モデルを平行移動または回転して、第２レンズ視野角での三次元仮想モデルを取得し、第２レンズ視野角での三次元仮想モデルに対応する第２仮想画像を取得するように構成される。

【0119】

本願のいくつかの代替実施例において、レンズ分割ユニット８２０は、第１仮想画像と第２仮想画像の間にａフレームの仮想画像を挿入して、第１仮想画像が第２仮想画像に緩やかに切り替えるようにするように構成され、ここで、ａは、正の整数である。

【0120】

本願いくつかの代替実施例において、前記装置は、さらに、背景音楽に対してビート検出を実行して、背景音楽のビートコレクションを取得するように構成される、ビート検出ユニット８７０と、ビートコレクションに対応するターゲットステージ特殊効果を三次元仮想モデルに追加するように構成される、ステージ特殊効果生成ユニット８８０と、を備え、ここで、ビートコレクションは、複数のビートを含み、複数のビートのうちの各ビートは、１つのステージ特殊効果に対応する。

【0121】

前記レンズ分割の実現装置は収集して得た実画像に従って三次元仮想モデルを生成し、収集して得た実画像、背景音楽および実在人物の動きに従って、複数のレンズ視野角を取得し、複数のレンズ視野角を使用して三次元仮想モデルに対して対応するレンズ視野角の切り替えを実行し、それにより、仮想シーンに複数の仮想カメラが三次元仮想モデルを撮影する効果をシミュレートして、ユーザが、複数の異なるレンズ視野角での三次元仮想モデルを見ることができるようにして、観客の視聴体験を向上させる。さらに、当該装置は、背景音楽のビートを解析し、ビート情報に従って、三次元仮想モデルに、対応するステージ特殊効果を追加することを介して、観客に異なるステージ効果を表示し、さらに、観客のライブ視聴体験を増強させる。

【0122】

図９を参照して、本願実施例は、電子機器９００の例示的な構造図を提供し、前述したレンズ分割の実現装置は、電子機器９００に適用される。電子機器９００は、プロセッサ９１０、通信インターフェース９２０およびメモリ９３０を備え、ここで、プロセッサ９１０、通信インターフェース９２０およびメモリ９３０は、バス９４０を介して結合される。ここで、
プロセッサ９１０は、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）または他のプログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、トランジスタロジックデバイス、ハードウェア部品またはその任意の組み合わせであることができる。プロセッサ９１０は、本願に開示されたコンテンツで説明された様々な例示的な方法を実現または実行することができる。具体的には、プロセッサ９１０は、メモリ９３０に記憶されたプログラムコードを読み取り、通信インターフェース９２０と合わせて本願に記載の実施例におけるレンズ分割の実現装置によって実行される方法の一部またはすべてのステップを実行する。

【0123】

通信インターフェース９２０は、有線インターフェースまたは無線インターフェースであり得、他のモジュールまたは機器と通信するために使用され、有線インターフェースは、イーサネットインターフェース、コントローラーエリアネットワークインターフェース、ローカルインターネット（ＬＩＮ：Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）およびＦｌｅｘＲａｙインターフェースであり得、無線インターフェースは、セルラネットワークインターフェースであってもよいしまたはワイヤレスローカルエリアネットワークを使用するインターフェースなどであり得る。具体的には、前記通信インターフェース９２０は、入力出力機器９５０と接続され、入力出力機器９５０は、マウス、キーボード、マイクロフォンなどの他の端末機器を含み得る。

【0124】

メモリ９３０は、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリを含み得、メモリ９３０は、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ハードディスク（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはソリッドステートハードディスク（ＳＳＤ：Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性メモリ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ）も含み得、メモリ９３０は、さらに、上記のメモリの組み合わせを含み得る。メモリ９３０は、プログラムコードおよびプログラムデータを記憶することができる。ここで、プログラムコードは、取得ユニット８１０のコード、レンズ分割ユニット８２０のコード、特徴抽出ユニット８３０のコード、三次元仮想モデル生成ユニット８４０のコード、三次元仮想シーン画像構築ユニット８５０のコード、レンズ視野角取得ユニット８６０のコード、ビート検出ユニット８７０のコードおよびステージ特殊効果生成ユニット８８０のコードなどの、前記レンズ分割の実現装置８００のユニットの一部またはすべてのコードによって構成される。プログラムデータは、レンズ分割の実現装置８００の実行プロセスで生成されたデータであり、例えば、実画像データ、三次元仮想モデルデータ、レンズ視野角データ、背景音楽データおよび仮想画像データなどである。

【0125】

バス９４０は、コントローラーエリアネットワーク（ＣＡＮ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）または他の車内の各システムまたは機器間の接続を実現する内部バスであり得る。バス９４０は、アドレスバス、データバス、制御バスなどに分けることができる。表示を容易にするために、図面では、１つの太い線で表示したが、１つのバスまたは１つのタイプのバスのみあることを示すことではない。

【0126】

電子機器９００は、図９に示されたより多くまたはより少ないコンポーネントを備え、または異なるコンポーネント構成方式がある可能性があることを理解されたい。

【0127】

本願実施例は、さらに、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体は、コンピュータプログラムを記憶し、前記コンピュータプログラムは、ハードウェア（例えばプロセッサなど）によって実行されて、上記のレンズ分割の実現方法の一部またはすべてのステップを実現する。

【0128】

本願実施例は、さらに、コンピュータプログラム製品を提供し、前記コンピュータプログラム製品が、前記レンズ分割の実現装置または電子機器で実行するとき、上記のレンズ分割の実現方法の一部またはすべてのステップを実行する。

【0129】

前記実施例において、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組み合わせによって全体的または部分的に実現することができる。ソフトウェアを使用して実現する場合、コンピュータプログラム製品の形態で全体的または部分的に実現することができる。前記コンピュータプログラム製品は、１つまたは複数のコンピュータ命令を含む。コンピュータに前記コンピュータプログラム命令をロードして実行する場合、本願実施例に記載のプロセスまたは機能を全体的または部分的に生成する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または他のプログラマブル装置であり得る。前記コンピュータ命令は、コンピュータ読み取り可能な記憶媒体に記憶され、または１つのコンピュータ読み取り可能な記憶媒体から別のコンピュータ読み取り可能な記憶媒体に伝送することができ、例えば、前記コンピュータ命令は、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線）または無線（例えば、赤外線、無線、マイクロ波等）を介して、１つのＷｅｂサイト、コンピュータ、サーバまたはデータセンタから別のＷｅｂサイト、コンピュータ、サーバまたはデータセンタに伝送することができる。前記コンピュータ読み取り可能な記憶媒体は、コンピュータがアクセス可能ないずれの利用可能な媒体であり、または１つ以上の利用可能な媒体によって統合されたサーバ、データセンタなどのデータ記憶装置であることができる。前記利用可能な媒体は、磁気媒体（例えば、フロッピーディスク、メモリディスク、磁気テープ）、光学媒体（例えば、ＤＶＤ）、または半導体媒体（例えば、ＳＳＤ）などであり得る。上記の実施例では、各実施例の説明は、それぞれの重み付けがあるため、ある実施例で詳しく説明していない部分は、他の実施例の関連部分の説明を参照してもよい。

【0130】

本願で提供されたいくつかの実施例において、開示された装置は、他の方式を介して実現することもできることを理解されたい。例えば、上記で説明された装置の実施例は、例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際の実現時には別の分割方法があり、例えば、複数のユニットまたはコンポーネントを別のシステムに統合または集積してもよく、一部の特徴を無視するか実行しなくてもよい。さらに、表示または議論される相互間接結合、または直接結合、または通信接続は、いくつかのインターフェースを使用して実現することができ、装置またはユニット間の間接結合または通信接続は、電気的または他の形であってもよい。

【0131】

前記分離部品として説明されるユニットは、物理的に分離されていても、されていなくてもよく、ユニットとして表示される部品は、物理的ユニットであってもなくてもよい。つまり、１箇所に配置されてもよく、複数のネットワークユニットに分散されてもよい。実際のニーズに従って、その中の一部またはすべてのユニットを選択して、本実施例の技術案の目的を実現することができる。

【0132】

さらに、本願の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、または各ユニットが、物理的に別々に存在してもよく、または２つまたは２つ以上のユニットが１つのユニットに統合されてもよい。前記統合されたユニットは、ハードウェアの形で実装されてもよく、ソフトウェア機能ユニットの形で実装されてもよい。

【0133】

前記統合されたユニットが、ソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用される場合、コンピュータ可読記憶媒体に記憶されることができる。このような理解に基づいて、本願技術的解決策は、本質的にまたは先行技術に対して寄与する部分または前記技術的解決策のすべてまたは一部は、ソフトウェア製品の形で具現されることができ、前記コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、１台のコンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器等であり得る）に本願の各実施例に記載の方法の全部または一部のステップを実行させるためのいくつかの命令を含む。前述した記憶媒体は、例えば、Ｕディスク、モバイルハードディスク、読み取り専用メモリ、ランダムアクセスメモリ、磁気ディスクまたは光ディスク等のプログラムコードを記憶することができる様々な媒体を含む。

【0134】

上記のコンテンツは、本願実施例の選択的な実施形態に過ぎず、本願実施例の保護範囲はこれに限定されない。当業者は、本願に開示される技術的範囲内で、様々な同等な機能の修正または置換を容易に考えられ得、これらの修正または置換は、すべて本願の保護範囲に含まれるべきである。したがって、本願実施例の保護範囲は、特許請求の保護範囲を基準とするべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図8】

【図9】