特許 7592954 画面の中の背景を変更する方法、機器、記憶媒体、及びプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】画面の中の背景を変更する方法、機器、記憶媒体、及びプログラム製品

(51)【国際特許分類】

   H04N 5/272 20060101AFI20241126BHJP

   G06T 7/194 20170101ALI20241126BHJP

   H04N 21/437 20110101ALI20241126BHJP

   H04N 21/4402 20110101ALI20241126BHJP

   G06T 11/60 20060101ALI20241126BHJP

【ＦＩ】

H04N5/272

G06T7/194

H04N21/437

H04N21/4402

G06T11/60 100A

【請求項の数】 11

(21)【出願番号】P 2023532118

(86)(22)【出願日】2022-04-12

(65)【公表番号】

(43)【公表日】2023-12-06

(86)【国際出願番号】 CN2022086428

(87)【国際公開番号】W WO2022237435

(87)【国際公開日】2022-11-17

【審査請求日】2023-05-25

(31)【優先権主張番号】202110518684.4

(32)【優先日】2021-05-12

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520476341

【氏名又は名称】北京字節跳動網絡技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】チェン，インイ

(72)【発明者】

【氏名】ジアオ，シャオホイ

【審査官】櫃本 研太郎

(56)【参考文献】

【文献】特開２０１４－１９２５５７（ＪＰ，Ａ）

【文献】特開２００９－０９８７１８（ＪＰ，Ａ）

【文献】特開２０１１－０４１０４１（ＪＰ，Ａ）

【文献】特開２０１７－２１２５９２（ＪＰ，Ａ）

【文献】特開２０１０－１８３５６０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／００１４７８１（ＵＳ，Ａ１）

【文献】国際公開第２０２０／１１０１６９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２８、

２３／００、２３／４０－２３／７６、

２３／９０－２３／９５９

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０６Ｔ １／００，７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

画面の中の背景を変更する方法であって、
プリセットシーンのベース背景画像を取得するステップであり、前記ベース背景画像は、前記プリセットシーンを予め撮影して得られた画像である、ステップと、
前記プリセットシーンを現在撮影して得られた撮影画面を取得するとともに、前記ベース背景画像及び前記撮影画面に基づいて、前記プリセットシーンの現在の背景画像を決定するステップと、
前記撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換え、最終的な撮影画面を得るステップと、
を含み、
前記ベース背景画像及び前記撮影画面に基づいて、前記プリセットシーンの現在の背景画像を決定するステップは、
前記ベース背景画像のベース特徴点情報を抽出し、前記撮影画面の撮影特徴点情報を抽出するステップと、
各ベース特徴点情報と各撮影特徴点情報とのマッチング関係を決定し、前記マッチング関係に基づいて、前記撮影画面の中の前記現在の背景画像を決定するステップと、
を含み、
前記マッチング関係に基づいて、前記撮影画面の中の前記現在の背景画像を決定するステップは、
前記マッチング関係に基づいて、前記撮影画面の中の背景部分と前記ベース背景画像とを継ぎ合わせ、前記撮影画面の中の前記プリセットシーンの現在の背景画像を得るステップ、を含む、
ことを特徴とする方法。

【請求項2】

前記方法は、さらに、
前記現在の背景画像の境界を拡張し、拡張背景画像を得るステップと、
それに応じて、前記拡張背景画像に基づいて、前記撮影画面の中の拡張背景画像を、プリセット背景画像を用いて置き換えて、前記最終的な撮影画面を得るステップと、
を含む、
ことを特徴とする、請求項１に記載の方法。

【請求項3】

前記方法は、さらに、
前記拡張背景画像に対して、継ぎ目ぼかし及び光線変換のいずれかの強化処理を行い、強化背景画像を得るステップと、
それに応じて、強化背景画像に基づいて、前記撮影画面の中の拡張背景画像を、プリセット背景画像を用いて置き換え、前記最終的な撮影画面を得るステップと、
を含む、
ことを特徴とする、請求項２に記載の方法。

【請求項4】

前記撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換え、最終的な撮影画面を得るステップは、
前記現在の背景画像及び前記撮影画面に基づいて、前記撮影画面に含まれる前景画像を決定するステップと、
前記前景画像及び前記プリセット背景画像に基づき、前記最終的な撮影画面を生成するステップであり、前記最終的な撮影画面の背景は、前記プリセット背景画像であり、前記最終的な撮影画面の前景は、前記前景画像であるステップと、
を含む、
ことを特徴とする、請求項３に記載の方法。

【請求項5】

前記現在の背景画像及び前記撮影画面に基づいて、前記撮影画面に含まれる前景画像を決定するステップは、
前記現在の背景画像と前記撮影画面とをプリセット分割モデルに入力するステップであり、前記プリセット分割モデルは、前記撮影画面に含まれる前景画像を出力するために用いられる、ステップ、または、
前記現在の背景画像に基づいて決定された拡張背景画像と前記撮影画面とをプリセット分割モデルに入力するステップであり、前記プリセット分割モデルは、前記撮影画面に含まれる前景画像を出力するために用いられる、ステップ、または、
前記現在の背景画像に基づいて決定された強化背景画像と前記撮影画面とをプリセット分割モデルに入力するステップであり、前記プリセット分割モデルは前記撮影画面に含まれる前景画像を出力するために用いられる、ステップ、
を含む、
ことを特徴とする、請求項４に記載の方法。

【請求項6】

前記方法は、さらに、
前記ベース背景画像を、前記強化背景画像又は前記拡張背景画像に更新するステップ、を含む、
ことを特徴とする、請求項３に記載の方法。

【請求項7】

前記方法は、さらに、
前記最終的な撮影画面を送信するステップ、を含む、
ことを特徴とする、請求項１乃至６いずれか１項に記載の方法。

【請求項8】

画面の中の背景を変更する装置であって、
取得ユニットであり、
プリセットシーンのベース背景画像を取得し、前記ベース背景画像は、前記プリセットシーンを予め撮影して得られた画像であること、及び、
前記プリセットシーンを現在撮影して得られた撮影画面を取得すること、
に用いられる、取得ユニットと、
前記ベース背景画像及び前記撮影画面に基づいて、前記プリセットシーンの現在の背景画像を決定するために用いられる、認識ユニットと、
前記撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換え、最終的な撮影画面を得るために用いられる、背景置き換えユニットと、
を含み、
前記認識ユニットは、
前記ベース背景画像のベース特徴点情報を抽出して、前記撮影画面の撮影特徴点情報を抽出し、
各ベース特徴点情報と各撮影特徴点情報とのマッチング関係を決定して、前記マッチング関係に基づいて、前記撮影画面の中の前記現在の背景画像を決定し、
前記マッチング関係に基づいて、前記撮影画面の中の前記現在の背景画像を決定することは、
前記マッチング関係に基づいて、前記撮影画面の中の背景部分と前記ベース背景画像とを継ぎ合わせ、前記撮影画面の中の前記プリセットシーンの現在の背景画像を得る、
ことを特徴とする、装置。

【請求項9】

少なくとも１つのプロセッサおよびメモリを含む電子機器であって、
前記メモリには、コンピュータ実行命令が記憶されており、
前記少なくとも１つのプロセッサによって、前記メモリに記憶されているコンピュータ実行命令が実行されると、前記少なくとも１つのプロセッサに、請求項１乃至６いずれか１項に記載の方法を実施させる、
ことを特徴とする、電子機器。

【請求項10】

コンピュータ可読記憶媒体であって、
前記コンピュータ可読記憶媒体には、コンピュータ実行命令が記憶されており、
プロセッサによって、前記コンピュータ実行命令が実行されると、
前記プロセッサに、請求項１乃至６いずれか１項に記載の方法を実施させる、
ことを特徴とする、コンピュータ可読記憶媒体。

【請求項11】

コンピュータプログラムであって、
前記コンピュータプログラムが、プロセッサにより実行されると、
前記プロセッサに、請求項１乃至６いずれか１項に記載の方法を実施させる、
ことを特徴とする、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施例は、画像処理技術に関し、特に、画面の中の背景を変更する方法、機器、記憶媒体、及びプログラム製品に関する。

【背景技術】

【0002】

ネットワーク技術の発展につれて、現在、ネットワーク経由のライブ配信が流行っており、ライブ配信内容も増々豊富になっている。例えば、ネットワーク経由のライブ配信で、視聴者に品物情報を説明することができる。

【0003】

現在、ネットワーク経由のライブ配信をするとき、背景を設定する必要がある。例えば、キャスターの背後に映写幕又はテレビジョンを置いて、映写幕又はテレビジョンで情報を示すことができる。

【0004】

しかし、映写幕又はテレビジョンを配置する場合、撮影したライブ配信画面に光反射が発生する可能性があり、ライブ配信画面が不鮮明になる場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示の実施例は、従来の技術において、専門の機器をライブ配信背景として配置する必要があるため、ライブ配信コストは高くなり、かつライブ配信画面は専門の機器に起因して不鮮明になる可能性があるという問題を解決するために、画面の中の背景を変更する方法、機器、記憶媒体、及びプログラム製品を提供する。

【課題を解決するための手段】

【0006】

第１の態様では、本開示の実施例は、画面の中の背景を変更する方法を提供し、前記方法は、
プリセットシーンのベース背景画像を取得するステップであって、前記ベース背景画像は、前記プリセットシーンを予め撮影して得られた画像であるステップと、
前記プリセットシーンを現在撮影して得られた撮影画面を取得するとともに、前記ベース背景画像及び前記撮影画面に基づいて前記プリセットシーンの現在の背景画像を決定するステップと、
前記撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換え、最終的な撮影画面を得るステップと、を含む。

【0007】

第２の態様では、本開示の実施例は、画面の中の背景を変更する装置を提供し、前記装置は、
プリセットシーンのベース背景画像を取得し、前記ベース背景画像は、前記プリセットシーンを予め撮影して得られた画像であること、及び
前記プリセットシーンを現在撮影して得られた撮影画面を取得すること、に用いられる取得ユニットと、
前記ベース背景画像及び前記撮影画面に基づいて前記プリセットシーンの現在の背景画像を決定するために用いられる認識ユニットと、
前記撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換え、最終的な撮影画面を得るために用いられる背景置き換えユニットと、を含む。

【0008】

第３の態様では、本開示の実施例は、少なくとも１つのプロセッサとメモリとを含む電子機器を提供し、
前記メモリにはコンピュータ実行命令が記憶されており、
前記少なくとも１つのプロセッサは前記メモリに記憶されているコンピュータ実行命令を実行すると、前記少なくとも１つのプロセッサは第１の態様に記載されている画面の中の背景を変更する方法を実行する。

【0009】

第４の態様では、本開示の実施例は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体にはコンピュータ実行命令が記憶されており、プロセッサが前記コンピュータ実行命令を実行するとき、第１の態様に記載されている画面の中の背景を変更する方法が実現される。

【0010】

第５の態様では、本開示の実施例は、コンピュータプログラムを含む、コンピュータプログラム製品を提供し、前記コンピュータプログラムがプロセッサにより実行されるとき、第１の態様に記載されている画面の中の背景を変更する方法が実現される。

【0011】

第６の態様では、本開示の実施例は、コンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサにより実行されるとき、第１の態様に記載されている画面の中の背景を変更する方法が実現される。

【発明の効果】

【0012】

本開示の実施例は、画面の中の背景を変更する方法、機器、記憶媒体及びプログラム製品を提供する。前記方法は、プリセットシーンのベース背景画像を取得するステップであって、ベース背景画像は、プリセットシーンを予め撮影して得られた画像であるステップと、プリセットシーンを現在撮影して得られた撮影画面を取得するとともに、ベース背景画像及び撮影画面に基づいてプリセットシーンの現在の背景画像を決定するステップと、撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換え、最終的な撮影画面を得るステップと、を含む。本実施例により提供される解決手段において、予め収集したベース背景画像を用いて現在の撮影画面の中の現在の背景画像を認識することができ、これによって、撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換えることができ、このような手段では、プリセットシーンに特定の背景装置を配置する必要がなく、撮影画面の中の背景を必要に応じて調整することができ、撮影画面の中の背景変更の柔軟性を向上させる。

【図面の簡単な説明】

【0013】

以下、本開示の実施例や従来の技術における解決手段をより明瞭に説明するために、実施例又は従来の技術の記述において使用する必要がある図面を簡単に説明する。当然ながら、以下、記載する図面は、本開示のいくつかの実施例であり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて、他の図面を想到しうる。

【図1】１つの例示的な実施例に示されるライブ配信画面の概略図である。

【図2】他の例示的な実施例に示されるライブ配信画面の概略図である。

【図3】本願の１つの例示的な実施例に示される画面の中の背景を変更する方法のフローチャートである。

【図4】本願の１つの例示的な実施例に示されるベース背景画像の概略図である。

【図5】本願の他の例示的な実施例に示される画面の中の背景を変更する方法のフローチャートである。

【図6】本願の１つの例示的な実施例に示される背景画像の概略図である。

【図7】本願の１つの例示的な実施例に示される最終的な撮影画面生成の概略図である。

【図8】本願の１つの例示的な実施例に示される画面の中の背景を変更する装置の構造概略図である。

【図9】本願の他の例示的な実施例に示される画面の中の背景を変更する装置の構造概略図である。

【図10】本開示の実施例により提供される電子機器のハードウェア構造概略図である。

【発明を実施するための形態】

【0014】

以下に、本開示の実施例の目的、技術的解決手段及び利点をより明瞭にするために、本開示の実施例に係る図面を参照しながら、その技術的解決手段について明瞭、且つ、完全に説明する。当然ながら、記載される実施例は、本開示の実施例の一部にすぎず、そのすべての実施例ではない。当業者が本開示における実施例に基づいて創造的な労働をすることなく、獲得されたその他のすべての実施例は、いずれも本開示の保護範囲に属する。

【0015】

図１は、１つの例示的な実施例に示されるライブ配信画面の概略図である。

【0016】

図１に示すように、ライブ配信画面１１をクライアント端末に表示することができ、ライブ配信画面には、テレビジョン１２が存在している。

【0017】

情報を示すために、ライブ配信現場にテレビジョン１２を配置し、テレビジョン１２を利用してライブ配信情報を示すことができる。しかし、テレビジョンは、光反射が発生する可能性があり、ライブ配信画面が不鮮明になる場合がある。

【0018】

図２は、他の例示的な実施例に示されるライブ配信画面の概略図である。

【0019】

図２に示すように、ライブ配信画面２１をクライアント端末に表示することができ、ライブ配信画面には背景２２（斜線で示す）が存在し、背景２２は、例えば、予め設定された画像であってもよい。

【0020】

ライブ配信現場においてグリーンスクリーン２３（空白領域で示す）を配置することができ、具体的には、グリーンスクリーンを背景としてキャスターの背後に配置し、ソフトウェアを利用して画面の中のグリーンスクリーンを予め設定された画像に置き換える。

【0021】

しかし、このような手段では、ライブ配信用機材を用意する必要があるため、ライブ配信コストは高くなっている。

【0022】

本願により提供される解決手段では、上記の技術的問題を解決するために、プリセットシーンのベース背景画像を予め撮影し、当該ベース背景画像を用いて撮影画面の中の背景を認識することができ、さらに、撮影画面の中の背景を、プリセット背景画像を用いて置き換えることができる。このような手段では、グリーンスクリーンやテレビジョンなどの背景をライブ配信現場に配置する必要がないため、ライブ配信コストが低減されるとともに、画面は、テレビジョンによる光反射などの問題に起因して不鮮明になることもなくなる。

【0023】

図３は、本願の１つの例示的な実施例に示される画面の中の背景を変更する方法のフローチャートである。

【0024】

図３に示すように、本願により提供される画面の中の背景を変更する方法は、以下のステップを含む。

【0025】

ステップ３０１では、プリセットシーンのベース背景画像を取得し、ベース背景画像は、プリセットシーンを予め撮影して得られた画像である。

【0026】

本願により提供される方法は、コンピューティング能力を持つ電子機器により実行され得る。

【0027】

１つの実施形態では、当該電子機器は、例えば、コンピュータであってもよく、当該コンピュータは、例えば、ライブ配信サービスを提供するバックグラウンドサーバであってもよい。

【0028】

他の実施形態では、当該電子機器は、例えば、移動端末であってもよく、当該移動端末は、キャスターのライブ配信端末として機能することができる。

【0029】

具体的には、本願により提供される方法を電子機器に設定することにより、当該電子機器が本願により提供される方法を実行するようにさせることができる。

【0030】

さらに、電子機器は、画面背景を変更する際、ベース背景画像を取得することができる。当該ベース背景画像は、プリセットシーンを予め収集して得られた画像であり、例えば、ユーザは、ライブ配信が行われるシーンを撮影して、ベース背景画像を得ることができる。具体的には、ライブ配信時に撮影している角度から、当該ベース背景画像を撮影することができる。

【0031】

また、例えば、本願により提供される方法は、プリセットシーンにおいて録画して得られたビデオに対して背景変更を行うか、または、プリセットシーンで撮影した画像に対して背景変更を行うことができる。

【0032】

実際の応用のとき、ベース背景画像を収集する際、当該プリセットシーンには、人が現れずにライブ配信が行われているときの環境しかないようにしてもよい。

【0033】

図４は、本願の１つの例示的な実施例に示されるベース背景画像の概略図である。

【0034】

図４に示すように、ベース背景画像において、キャスターは、当該シーンでライブ配信することができ、一般的には、ライブ配信中に環境の変更がなく、ライブ配信画面の背景は、ベース背景画像とともに大きく変化することはないため、当該ベース背景画像に基づいて、ライブ配信画面の中の背景部分を認識することができる。

【0035】

ステップ３０２では、プリセットシーンを現在撮影して得られた撮影画面を取得するとともに、ベース背景画像及び撮影画面に基づいて、プリセットシーンの現在の背景画像を決定する。

【0036】

電子機器は、プリセットシーンを現在撮影して得られた撮影画面を取得することができ、当該撮影画面は、ライブで撮影されたものであってもよいし、予め撮影されたものであってもよい。当該撮影画面は、ビデオの１つのフレームの画面であってもよいし、撮影された画像であってもよい。

【0037】

撮影画面は、プリセットシーンを撮影して得られた画面であるため、当該撮影画面には、ベース背景画像の画像内容が含まれている。例えば、キャスターは、プリセットシーンでライブ配信すると、撮影画面にはキャスター及びベース背景画像の一部が含まれている。

【0038】

具体的には、撮影画面は、背景を置き換える必要がある画面であるため、電子機器は、当該撮影画面を取得して、ベース背景画像及び撮影画面に基づいて、プリセットシーンの現在の背景画像を決定することができる。

【0039】

さらに、電子機器は、ベース背景画像と撮影画面とを比較することで、撮影画面においてベース背景画像と一致する部分を認識して、現在の背景画像を得ることができる。

【0040】

ステップ３０３では、撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換え、最終的な撮影画面を得る。

【0041】

実際の応用のとき、ユーザは、さらに、プリセット背景画像を予め設定することができる。電子機器がサーバである場合、ユーザは、当該プリセット背景画像を端末によってアップロードすることができるが、電子機器がライブ配信のユーザ端末である場合、ユーザは、ライブ配信のユーザ端末において１つの画像をプリセット背景画像として選択することができる。

【0042】

電子機器は、選択されたプリセット背景画像を用いて、撮影画面の中の現在の背景画像を置き換え、最終的な撮影画面を得ることができる。具体的には、現在の背景画像を利用して、撮影画面から前景画像を引き取ると共に、前景画像をプリセット背景画像に継ぎ合わせ、最終的な撮影画面を得ることができる。

【0043】

具体的には、ユーザは、さらに、プリセット背景画像を変更することもでき、これによって、ライブ配信中に必要に応じてライブ配信背景を変更することができる。例えば、ユーザは品物Ａを紹介するとき、品物Ａの紹介情報が含まれる写真をプリセット背景画像として選択することができ、ユーザは品物Ｂを紹介するとき、品物Ｂの紹介情報が含まれる写真をプリセット背景画像として選択することができる。このような手段を利用すると、ユーザは必要に応じてライブ配信背景画像を調整することができる。

【0044】

電子機器がサーバである場合、当該サーバは、背景が更新された最終的な撮影画面を各ユーザ端末に送信することができ、これによって、ユーザは、背景が置き換えられた最終的な撮影画面を視聴することができる。

【0045】

電子機器がライブ配信端末である場合、ライブ配信端末は、背景が更新された最終的な撮影画面をサーバに送信することができ、サーバから最終的な撮影画面をユーザ端末に送信すると、ユーザは、背景が置き換えられた最終的な撮影画面を視聴することができる。

【0046】

本願により提供される画面の中の背景を変更する方法は、プリセットシーンのベース背景画像を取得するステップであり、ベース背景画像は、プリセットシーンを予め撮影して得られた画像であるステップと、プリセットシーンを現在撮影して得られた撮影画面を取得するとともに、ベース背景画像及び撮影画面に基づいてプリセットシーンの現在の背景画像を決定するステップと、撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換え、最終的な撮影画面を得るステップと、を含む。本願により提供される方法は、予め収集したベース背景画像を用いて現在の撮影画面の中の現在の背景画像を認識することができ、これによって、撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換えることができる。このような方法においては、プリセットシーンに特定の背景装置を配置する必要がなく、撮影画面の中の背景を必要に応じて調整することができ、撮影画面の中の背景変更の柔軟性を向上させる。

【0047】

図５は、本願の他の例示的な実施例に示される画面の中の背景を変更する方法のフローチャートである。

【0048】

図５に示すように、本願により提供される画面の中の背景を変更する方法は、以下のステップを含む。

【0049】

ステップ５０１では、プリセットシーンのベース背景画像を取得し、前記ベース背景画像は、前記プリセットシーンを予め撮影して得られた画像である。

【0050】

ステップ５０１とステップ３０１とは、実施形態及び原理が類似するため、ここで繰り返して説明しない。

【0051】

ステップ５０２では、プリセットシーンを現在撮影して得られた撮影画面を取得する。

【0052】

ステップ５０２及びステップ３０２では、撮影画面の取得手段が類似するため、ここで繰り返して説明しない。

【0053】

ステップ５０３では、ベース背景画像のベース特徴点情報を抽出し、撮影画面の撮影特徴点情報を抽出する。

【0054】

電子機器は、ベース背景画像に基づいて、撮影画面において現在の背景画像を認識することができる。具体的には、ベース背景画像と撮影画面との特徴点情報を、それぞれ抽出することができる。

【0055】

具体的には、抽出されたベース特徴点情報は、ベース背景画像の特徴を表すことができ、抽出された撮影特徴点情報、は撮影画面の特徴を表すことができ、これによって、特徴点情報を利用して、撮影画面においてベース背景画像と一致する部分を認識し、さらに、現在の背景画像を認識することができる。

【0056】

さらに、電子機器は、スケール不変特徴変換（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ、ＳＩＦＴ）の方法を利用して、ベース背景画像と撮影画面との特徴を抽出し、それによって、ベース背景画像のベース特徴点情報、及び、撮影画面の撮影特徴点情報を得ることができる。

【0057】

ステップ５０４では、各ベース特徴点情報と各撮影特徴点情報とのマッチング関係を決定し、マッチング関係に基づいて撮影画面の中の現在の背景画像を決定する。

【0058】

実際の応用のとき、電子機器は、ベース特徴点情報と撮影特徴点情報とを照合することにより、各ベース特徴点情報と各撮影特徴点情報とのマッチング関係を決定することができる。例えば、ベース特徴点情報Ａ１と撮影特徴点情報Ａ２とを照合して、ベース特徴点情報Ｂ１と撮影特徴点情報Ｂ２とを照合する。

【0059】

ＳＩＦＴの方法に従って特徴点情報を抽出する場合、抽出された各特徴点情報は、画像の安定した局所特徴を表すことができる。これによって、ＳＩＦＴ特徴点に基づいて、安定したマッチング結果を得ることができる。

【0060】

具体的には、電子機器は、マッチング関係に基づいて、撮影画面において現在の背景画像を決定することができる。

【0061】

さらに、電子機器は、各ベース特徴点情報と各撮影特徴点情報とのマッチング関係に基づいて、ベース背景画像と撮影画面との位置対応関係を決定することができる。例えば、ベース背景画像の画素点Ｐ１が撮影画面の画素点Ｐ２と一致する場合、当該画素点Ｐ２は、背景部分であり、この２つの画素点間の位置は、対応関係があることを理解することができる。

【0062】

実際の応用のとき、電子機器は、ベース背景画像と撮影画面との位置対応関係に基づいて、撮影画面の中の背景部分を決定することができ、さらに、撮影画面の中の背景部分とベース背景画像とを継ぎ合わせ、撮影画面におけるプリセットシーンの現在の背景画像を得ることができる。

【0063】

プリセットシーンを現在撮影するときのカメラ位置と、ベース背景画像を収集するときのカメラ位置とは完全に同じではない可能性があるため、撮影画面の中の背景部分とベース背景画像とは、完全に重なり合わない可能性がある。このため、ベース背景画像と撮影画面とを継ぎ合わせて、サイズがより大きい背景画像を得ることができる。

【0064】

例えば、プリセットシーンを現在撮影するときのカメラ位置が、ベース背景画像を収集するときのカメラ位置よりすこし高い場合には、撮影画面の上側部分の画像内容をベース背景画像に継ぎ合わせ、サイズがより大きい、継ぎ合わせた背景画像を得ることができる。

【0065】

図６は、本願の１つの例示的な実施例に示される背景画像の概略図である。

【0066】

図６に示すように、ベース背景画像は６１に示されており、撮影画面６２において背景部分６３を認識すると、６３と６１とを継ぎ合わせ、現在の背景画像６４を得ることができる。

【0067】

ステップ５０４の後に、ステップ５０７及びステップ５１０を実行することができ、それによって、現在の背景画像に基づいて、最終的な撮影画面を直接に生成する。

【0068】

ステップ５０５では、現在の背景画像の境界を拡張し、拡張背景画像を得る。

【0069】

１つの選択的な実施形態では、本願により提供される解決手段により、さらに、現在の背景画像の境界を拡張し、拡張背景画像を得ることができる。

【0070】

このような実施形態では、カメラの角度が変化すると、本願により提供される方法は、拡張背景画像に基づいて、撮影画面において背景部分を正確に認識することができる。

【0071】

このような実施形態では、前記拡張背景画像に基づいて、前記撮影画面の中の拡張背景画像を、プリセット背景画像を用いて置き換え、前記最終的な撮影画面を得ることができる。具体的には、拡張背景画像に基づいて、撮影画面において背景部分を認識し、前景画像を抽出し、そして、前景画像を利用して、最終的な撮影画面を生成することができる。

【0072】

ステップ５０５の後に、ステップ５０８及びステップ５１０を実行することができ、それによって、拡張背景画像に基づいて、最終的な撮影画面を生成する。

【0073】

ステップ５０６では、拡張背景画像に対して、継ぎ目ぼかし及び光線変換のいずれかの強化処理を行い、強化背景画像を得る。

【0074】

１つの選択的な実施形態では、本願により提供される方法は、さらに、拡張背景画像に対してさらなる強化処理を行い、強化背景画像を得ることができる。それによって、強化背景画像は、撮影画面の中の背景部分とより近似するものとなり、強化背景画像に基づいて、撮影画面において背景部分を正確に認識することができる。

【0075】

このような実施形態では、前記強化背景画像に基づいて、前記撮影画面の中の強化背景画像を、プリセット背景画像を用いて置き換え、前記最終的な撮影画面を得ることができる。具体的には、強化背景画像に基づいて、撮影画面において背景部分を認識し、前景画像を抽出し、そして、前景画像を利用して最終的な撮影画面を生成することができる。

【0076】

具体的には、拡張背景画像に対して継ぎ目ぼかし処理を行い、画像の中の継ぎ目の位置での遷移をより自然にすることができる。また、拡張背景画像に対して光線変化処理を行い、画像の輝度を高めることもでき、さらに、画像のテクスチャ特徴を強化することもできる。

【0077】

具体的に、電子機器は、現在の背景画像及び撮影画面に基づいて、撮影画面に含まれる前景画像を決定することができる。具体的には、現在の背景画像に基づいて撮影画面の中の前景画像を直接に抽出することができ、また、現在の背景画像に基づいて決定された拡張背景画像を利用して、撮影画面の中の前景画像を抽出することもできる。さらに、現在の背景画像に基づいて決定された強化背景画像を利用して、撮影画面の中の前景画像を抽出することもできる。

【0078】

ステップ５０６の後に、ステップ５０９及びステップ５１０を実行することができる。それによって、強化背景画像に基づいて、最終的な撮影画面を生成する。

【0079】

ステップ５０７では、現在の背景画像と撮影画面とをプリセット分割モデルに入力し、プリセット分割モデルは、撮影画面に含まれる前景画像を出力するために用いられる。

【0080】

電子機器には、背景画像と撮影画面とに基づいて、撮影画面に含まれる前景画像を出力することができるモデルを配置することができ、当該モデルは、予め訓練して得ることができる。例えば、プリセットモデルを予め構築して、それを訓練し、プリセット分割モデルを得ることができ、当該プリセットモデルにおける特徴抽出ネットワークは、例えば、ｍｏｂｉｌｅｎｅｔネットワーク（移動端末ニューラルネットワーク）であってもよい。

【0081】

ｍｏｂｉｌｅｎｅｔネットワークを利用して、プリセットモデルを構築すると、モデルのサイズをより小さくすることができ、その結果、当該モデルを移動端末側に適用することができる。

【0082】

１つの選択的な実施形態において、電子機器は、現在の背景画像と撮影画面とをプリセット分割モデルに入力することができ、プリセット分割モデルは、前景画像を出力することができる。

【0083】

ステップ５０８では、現在の背景画像に基づいて決定された拡張背景画像及び撮影画面をプリセット分割モデルに入力し、プリセット分割モデルは、撮影画面に含まれる前景画像を出力するために用いられる。

【0084】

電子機器には、背景画像と撮影画面とに基づいて撮影画面に含まれる前景画像を出力することができるモデルを配置することができる。当該モデルは、予め訓練して得ることができ、例えば、プリセットモデルを予め構築して、それを訓練し、プリセット分割モデルを得ることができる。当該プリセットモデルにおける特徴抽出ネットワークは、例えば、ｍｏｂｉｌｅｎｅｔネットワークであってもよい。

【0085】

ｍｏｂｉｌｅｎｅｔネットワークを利用してプリセットモデルを構築すると、モデルのサイズをより小さくすることができ、その結果、当該モデルを移動端末側に適用することができる。

【0086】

１つの選択的な実施形態において、電子機器は、拡張背景画像と撮影画面とをプリセット分割モデルに入力することができ、プリセット分割モデルは、前景画像を出力することができる。

【0087】

ステップ５０９では、現在の背景画像に基づいて決定された強化背景画像及び撮影画面をプリセット分割モデルに入力し、プリセット分割モデルは、撮影画面に含まれる前景画像を出力するために用いられる。

【0088】

電子機器には、背景画像と撮影画面とに基づいて、撮影画面に含まれる前景画像を出力することができるモデルを配置することができる。当該モデルは、予め訓練して得ることができ、例えば、プリセットモデルを予め構築して、それを訓練し、プリセット分割モデルを得ることができる。当該プリセットモデルにおける特徴抽出ネットワークは、例えば、ｍｏｂｉｌｅｎｅｔネットワークであってもよい。

【0089】

ｍｏｂｉｌｅｎｅｔネットワークを利用してプリセットモデルを構築すると、モデルのサイズをより小さくすることができ、その結果、当該モデルを移動端末側に適用することができる。

【0090】

１つの選択的な実施形態において、電子機器は、強化背景画像と撮影画面とをプリセット分割モデルに入力することができ、プリセット分割モデルは、前景画像を出力することができる。

【0091】

ステップ５１０では、前景画像及びプリセット背景画像に基づいて、最終的な撮影画面を生成し、最終的な撮影画面の背景は、プリセット背景画像であり、最終的な撮影画面の前景は、前景画像である。

【0092】

具体的には、電子機器は、前景画像と取得したプリセット背景画像を融合することで、最終的な撮影画面を得ることができる。このような手段を用いて画面の中の背景をより好適に撮影することができ、また、本願に係る方法に基づいて、撮影画面の中の背景部分を正確に認識することができ、それによって、正確な前景画像を抽出することができ、さらに、鮮明な最終的な撮影画面を得ることができる。

【0093】

図７は、本願の１つの例示的な実施例に示される最終的な撮影画面生成の概略図である。

【0094】

図７に示すように、電子機器は、撮影画面から前景画像７１を抽出することができ、そして、前景画像７１とプリセット背景画像７２とを融合することができ、前景画像７１を前景として、プリセット背景画像７２を背景として、最終的な撮影画面７３を得る。

【0095】

１つの選択的な実施形態において、本願により提供される方法は、さらに、以下のステップを含んでもよい。

【0096】

ステップ５１１では、ベース背景画像を強化背景画像又は拡張背景画像に更新する。

【0097】

電子機器は、引き続き、撮影画面に対して背景を変更するとき、更新されたベース背景画像に基づいて処理することができ、拡張背景画像及び強化背景画像は、いずれも現在の撮影画角に基づいて拡張した画像であるため、カメラを回転すると、更新されたベース背景画像に基づいて撮影画面から依然として背景部分を正確に認識することができ、それによって、正確な前景画像を抽出することができる。

【0098】

ステップ５１２では、最終的な撮影画面を送信する。

【0099】

本実施例により提供される方法は、ライブ配信端末により実現されることができ、当該ライブ配信端末は、ユーザが選択したプリセット背景画像を用いて、当該ライブ配信端末が収集した撮影画面の中の背景部分を置き換えることができる。それによって、背景変更の効果が実現される。

【0100】

具体的に、ライブ配信端末は、撮影画面の中の背景を変更した後、得られた最終的な撮影画面をサーバにアップロードすることができ、サーバから最終的な撮影画面を各ユーザ端末に送信すると、ユーザは、各自が持っている端末を使用して、最終的な撮影画面を視聴することができる。

【0101】

図８は、本願の１つの例示的な実施例に示される画面の中の背景を変更する装置の構造概略図である。

【0102】

図８に示すように、本願により提供される画面の中の背景を変更する装置８００は、
プリセットシーンのベース背景画像を取得し、前記ベース背景画像は、前記プリセットシーンを予め撮影して得られた画像であること、及び
前記プリセットシーンを現在撮影して得られた撮影画面を取得すること、
に用いられる、取得ユニット８１０と、
前記ベース背景画像及び前記撮影画面に基づいて、前記プリセットシーンの現在の背景画像を決定するために用いられる、認識ユニット８２０と、
前記撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換え、最終的な撮影画面を得るために用いられる、背景置き換えユニット８３０と、を含む。

【0103】

本願により提供される、画面の中の背景を変更する装置は、プリセットシーンのベース背景画像を取得し、ベース背景画像は、プリセットシーンを予め撮影して得られた画像であり、かつ、プリセットシーンを現在撮影して得られた撮影画面を取得することに用いられる取得ユニットと、ベース背景画像及び撮影画面に基づいて、プリセットシーンの現在の背景画像を決定するために用いられる認識ユニットと、撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換え、最終的な撮影画面を得るために用いられる背景置き換えユニットと、を含む。本願により提供される装置は、予め収集したベース背景画像を用いて現在の撮影画面の中の現在の背景画像を認識することができ、これによって、撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換えることができる。このような手段では、プリセットシーンに特定の背景装置を配置する必要がなく、撮影画面の中の背景を必要に応じて調整することができ、撮影画面の中の背景変更の柔軟性を向上させる。

【0104】

図９は、本願の他の例示的な実施例に示される画面の中の背景を変更する装置の構造概略図である。

【0105】

図９に示すように、上記の実施例に基づいて、本願により提供される画面の中の背景を変更する装置９００において、１つの選択的な実施形態で、前記認識ユニット８２０は、
前記ベース背景画像のベース特徴点情報を抽出し、前記撮影画面の撮影特徴点情報を抽出するために用いられる特徴抽出モジュール８２１と、
各ベース特徴点情報と各撮影特徴点情報とのマッチング関係を決定するために用いられるマッチングモジュール８２２と、
前記マッチング関係に基づいて、前記撮影画面の中の前記現在の背景画像を決定するために用いられる背景決定モジュール８２３と、を含む。

【0106】

１つの選択的な実施形態では、前記背景決定モジュール８２３は、具体的に、
前記マッチング関係に基づいて、前記撮影画面の中の背景部分と前記ベース背景画像とを継ぎ合わせ、前記撮影画面の中の前記プリセットシーンの現在の背景画像を得るために用いられる。

【0107】

１つの選択的な実施形態では、前記背景決定モジュール８２３は、さらに、
前記現在の背景画像の境界を拡張し、拡張背景画像を得るために用いられ、
それに応じて、前記背景置き換えユニット８３０は、具体的に、
前記拡張背景画像に基づいて、前記撮影画面の中の拡張背景画像を、プリセット背景画像を用いて置き換え、前記最終的な撮影画面を得るために用いられる。

【0108】

１つの選択的な実施形態では、前記背景置き換えユニット８３０は、具体的に、
拡張背景画像に対して、
継ぎ目ぼかし及び光線変換のいずれかの強化処理を行い、強化背景画像を得るために用いられ、
それに応じて、前記背景置き換えユニット８３０は、具体的に、
強化背景画像に基づき、前記撮影画面の中の拡張背景画像を、プリセット背景画像を用いて置き換え、前記最終的な撮影画面を得るために用いられる。

【0109】

１つの選択的な実施形態では、前記背景置き換えユニット８３０は、
前記現在の背景画像及び前記撮影画面に基づいて、前記撮影画面に含まれる前景画像を決定するために用いられる前景決定モジュール８３１と、
前記前景画像及び前記プリセット背景画像に基づいて、前記最終的な撮影画面を生成するために用いられる画面生成モジュール８３２と、を含み、
前記最終的な撮影画面の背景は、前記プリセット背景画像であり、前記最終的な撮影画面の前景は、前記前景画像である。

【0110】

１つの選択的な実施形態では、前記前景決定モジュール８３１は、具体的に、
前記現在の背景画像と前記撮影画面とをプリセット分割モデルに入力し、前記プリセット分割モデルは、前記撮影画面に含まれる前景画像を出力するために用いられること、
または、前記現在の背景画像に基づいて決定された拡張背景画像と前記撮影画面とをプリセット分割モデルに入力し、前記プリセット分割モデルは、前記撮影画面に含まれる前景画像を出力するために用いられること、
または、前記現在の背景画像に基づいて決定された強化背景画像と前記撮影画面とをプリセット分割モデルに入力し、前記プリセット分割モデルは、前記撮影画面に含まれる前景画像を出力するために用いられること、に用いられる。

【0111】

１つの選択的な実施形態では、前記装置は、さらに、
前記ベース背景画像を、前記強化背景画像又は前記拡張背景画像に更新するために用いられる更新ユニット８４０を含む。

【0112】

１つの選択的な実施形態では、前記装置は、さらに、
前記最終的な撮影画面を送信するために用いられる送信ユニット８５０を含む。

【0113】

本実施例により提供される機器は、上記の方法の実施例に係る技術的解決手段を実行するために使用されてよく、その実現原理及び技術的効果が類似するため、本実施例は、ここで繰り返して説明しない。

【0114】

本実施例は、さらに、コンピュータプログラムを含む、コンピュータプログラム製品を提供し、前記コンピュータプログラムがプロセッサにより実行されるとき、上記のいずれか１項に記載されている画面の中の背景を変更する方法が実現される。

【0115】

本実施例は、さらに、コンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサにより実行されるとき、上記のいずれか１項に記載されている画面の中の背景を変更する方法が実現される。

【0116】

図１０を参照すると、図１０は、本開示の実施例を実現するために適した電子機器１０００の構造概略図を示しており、当該電子機器１０００は、端末機器又はサーバにすることができる。端末機器は、携帯電話、ノートブックコンピュータ、デジタル放送受信機、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡと略称）、タブレットコンピュータ（Ｐｏｒｔａｂｌｅ Ａｎｄｒｏｉｄ Ｄｅｖｉｃｅ、ＰＡＤと略称）、携帯型マルチメディアプレーヤー（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ、ＰＭＰと略称）、車載端末（例えば、車載ナビゲーション端末）などのモバイル端末、及び、デジタルＴＶ、デスクトップコンピュータなどの固定端末を含むことができるが、それらに限定されない。図１０に示される電子機器は、単なる一例であり、本開示の実施例の機能及び使用範囲にいかなる制限も課すべきでない。

【0117】

図１０に示すように、電子機器１０００は、処理装置（中央処理装置やグラフィックプロセッサなど）１００１を含むことができ、当該処理装置は、読み取り専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭと略称）１００２に記憶されたプログラム、または、記憶装置１００８からランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭと略称）１００３にロードされたプログラムに従って、さまざまな適切な動作及び処理を実行することができる。ＲＡＭ１００３には、電子機器１０００の操作に必要なさまざまなプログラム及びデータも記憶されている。処理装置１００１、ＲＯＭ１００２、及びＲＡＭ１００３は、バス１００４を介して、互いに接続されている。入力／出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、Ｉ／Ｏと略称）インタフェース１００５も、バス１００４に接続されている。

【0118】

通常、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む、入力装置１００６と、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤと略称）、スピーカー、バイブレータなどを含む出力装置１００７と、磁気テープやハードディスクなどを含む記憶装置１００８と、通信装置１００９とは、Ｉ／Ｏインタフェース１００５に接続されてよい。通信装置１００９は、電子機器１０００が他のデバイスと無線又は有線で通信して、データを交換することを可能にし得る。図１０は、さまざまなデバイスを備える電子機器１０００を示すが、図示されたデバイスのすべてが実施又は配置される必要があるわけではないことを理解すべきである。代替的に、より多くの又は少ないデバイスが、実施又は配置され得る。

【0119】

特に、本開示の実施例によれば、フローチャートを参照して説明されている上記のプロセスは、コンピュータソフトウェアプログラムとして実施され得る。例えば、本開示の実施例は、コンピュータ可読媒体に搭載されているコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムは、フローチャートに示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信装置１００９を介してネットワークからダウンロード及びインストールされるか、または、記憶装置１００８からインストールされるか、または、ＲＯＭ１００２からインストールされ得る。当該コンピュータプログラムは、処理装置１００１により実行されると、本開示の実施例に係る方法で限定されている上記の機能を実行する。

【0120】

なお、本開示に記載されたコンピュータ可読媒体は、コンピュータ可読信号媒体、又はコンピュータ可読記憶媒体、又は上記２つの任意の組み合わせであり得る。コンピュータ可読記憶媒体は、例えば、電気的、磁気的、光学的、電磁的、赤外線、又は半導体のシステム、装置又はデバイス、あるいは、上記の任意の組み合わせにすることができるが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例として、１本又は複数のワイヤを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭと略称）、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭと略称）、消去可能プログラマブル読み取り専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ又はフラッシュメモリと略称）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭと略称）、光ストレージデバイス、磁気メモリコンポーネント、または、上記の任意の適切な組み合わせを含み得るが、それらに限定されない。本開示では、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって使用されるか、または、それらに組み合わせて使用できるプログラムを含む又は記憶する、任意の有形媒体であり得る。本開示では、コンピュータ可読信号媒体は、ベースバンドで、または、搬送波の一部として伝播される、データ信号を含むことができ、その中にコンピュータ可読プログラムコードが搭載されている。このような伝播されたデータ信号は、電磁信号、光信号、または上記の任意の適切な組み合わせを含むが、それらに限定されない多くの形をとることができる。コンピュータ可読信号媒体は、さらに、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体にすることができ、当該コンピュータ可読信号媒体は、命令実行システム、装置、またはデバイスによって使用されるか、または、それらに組み合わせて使用するためのプログラムを送信、伝播、または伝送することができる。コンピュータ可読媒体に含まれたプログラムコードは、電線、光ファイバケーブル、ＲＦ（無線周波数）などを含むが、それらに限定されない任意の適切な媒体、または、上記の任意の適切な組み合わせを使用して伝送することができる。

【0121】

上記のコンピュータ可読媒体は、上記の電子機器に含まれていてもよく、または、当該電子機器に組み立てられずに単独で存在していてもよい。

【0122】

上記のコンピュータ可読媒体には、１つ又は複数のコンピュータプログラムが保管されており、上記の１つ又は複数のコンピュータプログラムが当該電子機器により実行されると、当該電子機器は、上記の実施例に示される方法を実行する。

【0123】

本開示の操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」言語又はそれに類似するプログラミング言語などの従来の手続き型プログラミング言語と、を含む１つ又は複数のプログラミング言語、あるいは、それらの組み合わせで書くことができる。プログラムコードは、完全にユーザのコンピュータ上で、一部はユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、一部はユーザのコンピュータ上で、一部はリモートコンピュータ上で、または、完全にリモートコンピュータ又はサーバ上で実行できる。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク(Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮと略称)やワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮと略称)など、あらゆる種類のネットワークを介して、ユーザのコンピュータに接続されてよく、もしくは、外部コンピュータに接続されてもよい（例えば、インターネットサービスプロバイダーを使用してインターネット経由で接続する）。

【0124】

図面のフローチャート及びブロック図は、本開示の様々な実施例によるシステム、方法、及びコンピュータプログラム製品によって実現可能なアーキテクチャ、機能、及び操作を示している。これに関して、フローチャート又はブロック図の各ブロックは、指定される論理的機能を実現するための１つ又は複数の実行可能な命令を含むモジュール、グログラムセグメント、又はコードの一部を表すことができる。いくつかの代替の実現では、ブロックに示されている機能は、図に示されている順序と異なる順序で実行できることにも注意すべきである。例えば、連結して表示される２つのブロックは、実際には、基本的に並行して実行できるが、または、関連する機能に応じて、ブロックが逆の順序で実行される場合もある。なお、ブロック図及び／又はフローチャートの各ブロック、及び、ブロック図及び／又はフローチャートのブロックの組み合わせは、指定される機能又は操作を実行する専用のハードウェアベースのシステムを使用して実現することができ、または、専用のハードウェアとコンピュータ命令の組み合わせを使用して実現することもできる。

【0125】

本開示の実施例に記載されたユニットは、ソフトウェアで実現することができ、または、ハードウェアで実現することもできる。これらのユニットの名称は、特定の状況下でのユニット自体を制限する目的ではない場合があり、例えば、第１の取得ユニットは、「少なくとも２つのインターネットプロトコルアドレスを取得するユニット」と記載してもよい。

【0126】

本明細書で上記に説明された機能は、少なくとも部分的に、１つ又は複数のハードウェアロジックコンポーネントによって実行され得る。例えば、使用できるハードウェアロジックコンポーネントの例示的なタイプとして、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡと略称）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣと略称）、特定用途向け標準部品（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｔ、ＡＳＳＰと略称）、システムオンチップ（Ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ、ＳＯＣと略称）、複雑なプログラマブルロジックデバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＣＰＬＤと略称）など、を含むことができるが、それらに限定されない。

【0127】

本開示のコンテキストでは、コンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって使用されるか、また、はそれらに組み合わせて使用できるプログラムを含む又は記憶する有形媒体であり得る。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であり得る。コンピュータ可読媒体は、電気的、磁気的、光学的、電磁的、赤外線、又は半導体のシステム、装置又はデバイス、あるいは、上記の任意の組み合わせにすることができるが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例として、１本又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光ストレージデバイス、磁気メモリコンポーネント、または、上記の任意の適切な組み合わせを含み得る。

【0128】

第１の態様では、本開示の１つ又は複数の実施例に従って、画面の中の背景を変更する方法を提供する。前記方法は、
プリセットシーンのベース背景画像を取得するステップであって、前記ベース背景画像は、前記プリセットシーンを予め撮影して得られた画像であるステップと、
前記プリセットシーンを現在撮影して得られた撮影画面を取得するとともに、前記ベース背景画像及び前記撮影画面に基づいて前記プリセットシーンの現在の背景画像を決定するステップと、
前記撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換え、最終的な撮影画面を得るステップと、を含む。

【0129】

本開示の１つ又は複数の実施例に従って、前記ベース背景画像及び前記撮影画面に基づいて前記プリセットシーンの現在の背景画像を決定するステップは、
前記ベース背景画像のベース特徴点情報を抽出し、前記撮影画面の撮影特徴点情報を抽出するステップと、
各ベース特徴点情報と各撮影特徴点情報とのマッチング関係を決定し、前記マッチング関係に基づいて、前記撮影画面の中の前記現在の背景画像を決定するステップと、を含む。

【0130】

本開示の１つ又は複数の実施例に従って、前記マッチング関係に基づき前記撮影画面において前記現在の背景画像を決定するステップは、
前記マッチング関係に基づいて、前記撮影画面の中の背景部分と前記ベース背景画像とを継ぎ合わせ、前記撮影画面の中の前記プリセットシーンの現在の背景画像を得るステップを含む。

【0131】

本開示の１つ又は複数の実施例に従って、前記方法は、さらに、
前記現在の背景画像の境界を拡張し、拡張背景画像を得るステップと、
それに応じて、前記拡張背景画像に基づいて、前記撮影画面の中の拡張背景画像を、プリセット背景画像を用いて置き換え、前記最終的な撮影画面を得るステップと、を含む。

【0132】

本開示の１つ又は複数の実施例に従って、前記方法は、さらに、
拡張背景画像に対して、
継ぎ目ぼかし及び光線変換のいずれかの強化処理を行い、強化背景画像を得るステップと、
それに応じて、強化背景画像に基づいて、前記撮影画面の中の拡張背景画像を、プリセット背景画像を用いて置き換え、前記最終的な撮影画面を得るステップと、を含む。

【0133】

本開示の１つ又は複数の実施例に従って、前記撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換え、最終的な撮影画面を得るステップは、
前記現在の背景画像及び前記撮影画面に基づいて、前記撮影画面に含まれる前景画像を決定するステップと、
前記前景画像及び前記プリセット背景画像に基づいて、前記最終的な撮影画面を生成するステップであり、前記最終的な撮影画面の背景は前記プリセット背景画像であり、前記最終的な撮影画面の前景は前記前景画像であるステップと、を含む。

【0134】

本開示の１つ又は複数の実施例に従って、前記現在の背景画像及び前記撮影画面に基づいて、前記撮影画面に含まれる前景画像を決定するステップは、
前記現在の背景画像と前記撮影画面とをプリセット分割モデルに入力するステップであり、前記プリセット分割モデルは前記撮影画面に含まれる前景画像を出力するために用いられるステップ、
または、前記現在の背景画像に基づいて決定された拡張背景画像と前記撮影画面とをプリセット分割モデルに入力するステップであり、前記プリセット分割モデルは前記撮影画面に含まれる前景画像を出力するために用いられるステップ、
または、前記現在の背景画像に基づいて決定された強化背景画像と前記撮影画面とをプリセット分割モデルに入力するステップであり、前記プリセット分割モデルは前記撮影画面に含まれる前景画像を出力するために用いられるステップ、を含む。

【0135】

本開示の１つ又は複数の実施例に従って、前記方法は、さらに、
前記ベース背景画像を前記強化背景画像又は前記拡張背景画像に更新するステップ、を含む。

【0136】

本開示の１つ又は複数の実施例に従って、前記方法は、さらに、
前記最終的な撮影画面を送信するステップ、を含む。

【0137】

第２の態様では、本開示の１つ又は複数の実施例に従って、画面の中の背景を変更する装置を提供する。前記装置は、
プリセットシーンのベース背景画像を取得し、前記ベース背景画像は、前記プリセットシーンを予め撮影して得られた画像であること、及び
前記プリセットシーンを現在撮影して得られた撮影画面を取得すること、に用いられる取得ユニットと、
前記ベース背景画像及び前記撮影画面に基づいて、前記プリセットシーンの現在の背景画像を決定するために用いられる認識ユニットと、
前記撮影画面の中の現在の背景画像を、プリセット背景画像を用いて置き換え、最終的な撮影画面を得るために用いられる背景置き換えユニットと、を含む。

【0138】

本開示の１つ又は複数の実施例に従って、前記認識ユニットは、
前記ベース背景画像のベース特徴点情報を抽出し、前記撮影画面の撮影特徴点情報を抽出するために用いられる特徴抽出モジュールと、
各ベース特徴点情報と各撮影特徴点情報とのマッチング関係を決定するために用いられるマッチングモジュールと、
前記マッチング関係に基づいて前記撮影画面の中の前記現在の背景画像を決定するために用いられる背景決定モジュールと、を含む。

【0139】

本開示の１つ又は複数の実施例に従って、前記背景決定モジュールは、具体的に、
前記マッチング関係に基づいて、前記撮影画面の中の背景部分と前記ベース背景画像とを継ぎ合わせ、前記撮影画面の中の前記プリセットシーンの現在の背景画像を得るために用いられる。

【0140】

本開示の１つ又は複数の実施例に従って、前記背景決定モジュールは、さらに、
前記現在の背景画像の境界を拡張し、拡張背景画像を得るために用いられ、
それに応じて、前記背景置き換えユニットは、具体的に、
前記拡張背景画像に基づいて、前記撮影画面の中の拡張背景画像を、プリセット背景画像を用いて置き換え、前記最終的な撮影画面を得るために用いられる。

【0141】

本開示の１つ又は複数の実施例に従って、前記背景置き換えユニットは、具体的に、
拡張背景画像に対して、
継ぎ目ぼかし及び光線変換のいずれかの強化処理を行い、強化背景画像を得るために用いられ、
それに応じて、前記背景置き換えユニットは、具体的に、
強化背景画像に基づき、前記撮影画面の中の拡張背景画像を、プリセット背景画像を用いて置き換え、前記最終的な撮影画面を得るために用いられる。

【0142】

本開示の１つ又は複数の実施例に従って、前記背景置き換えユニットは、
前記現在の背景画像及び前記撮影画面に基づいて、前記撮影画面に含まれる前景画像を決定するために用いられる前景決定モジュールと、
前記前景画像及び前記プリセット背景画像に基づいて、前記最終的な撮影画面を生成するために用いられる画面生成モジュールと、を含み、
前記最終的な撮影画面の背景は、前記プリセット背景画像であり、前記最終的な撮影画面の前景は、前記前景画像である。

【0143】

本開示の１つ又は複数の実施例に従って、前記前景決定モジュールは、具体的に、
前記現在の背景画像と前記撮影画面とをプリセット分割モデルに入力し、前記プリセット分割モデルは、前記撮影画面に含まれる前景画像を出力するために用いられること、
または、前記現在の背景画像に基づいて決定された拡張背景画像と前記撮影画面とを、プリセット分割モデルに入力し、前記プリセット分割モデルは、前記撮影画面に含まれる前景画像を出力するために用いられること、
または、前記現在の背景画像に基づいて決定された強化背景画像と前記撮影画面とを、プリセット分割モデルに入力し、前記プリセット分割モデルは前記撮影画面に含まれる前景画像を出力するために用いられること、に用いられる。

【0144】

本開示の１つ又は複数の実施例に従って、前記装置は、さらに、
前記ベース背景画像を前記強化背景画像又は前記拡張背景画像に更新するために用いられる更新ユニットを含む。

【0145】

本開示の１つ又は複数の実施例に従って、前記装置は、さらに、
前記最終的な撮影画面をサーバに送信するために用いられる送信ユニットを含む。

【0146】

第３の態様では、本開示の１つ又は複数の実施例に従って、少なくとも１つのプロセッサとメモリとを含む電子機器を提供し、
前記メモリにはコンピュータ実行命令が記憶されており、
前記少なくとも１つのプロセッサが、前記メモリに記憶されているコンピュータ実行命令を実行すると、前記少なくとも１つのプロセッサが、上記の第１の態様及び第１の態様の様々な可能な設計に記載されている画面の中の背景を変更する方法を実行する。

【0147】

第４の態様では、本開示の１つ又は複数の実施例に従って、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体にはコンピュータ実行命令が記憶されており、プロセッサが、前記コンピュータ実行命令を実行するとき、上記の第１の態様及び第１の態様の様々な可能な設計に記載されている画面の中の背景を変更する方法が実現される。

【0148】

第５の態様では、本開示の１つ又は複数の実施例に従って、コンピュータプログラムを含む、コンピュータプログラム製品を提供し、前記コンピュータプログラムが、プロセッサにより実行されるとき、上記のいずれか１項に記載されている画面の中の背景を変更する方法が実現される。

【0149】

第６の態様では、本開示の１つ又は複数の実施例に従って、コンピュータプログラムを提供し、前記コンピュータプログラムが、プロセッサにより実行されるとき、上記のいずれか１項に記載されている画面の中の背景を変更する方法が実現される。

【0150】

上記した説明は、本開示のいくつかの好ましい実施例に関する説明、及び、適用される技術的原理に関する説明にすぎない。当業者は、本開示の実施例に係る発明範囲は、上記の技術的特徴の特定の組み合わせによって形成される解決手段に限定されず、上記の発明構想から逸脱することなく、上記の技術的特徴、又は、それらの同等の特徴の任意の組み合わせによって形成される他の解決手段、例えば、上記特徴を、本開示で開示される（ただし、これに限定されない）同様の機能を有する技術的特徴に置き換えることによって形成される解決手段もカバーすべきであること、を理解すべきである。

【0151】

なお、特定の順序で各操作について説明したが、これらの操作は示されている特定の順序又は順番に実行されることを要求するものと理解されるべきではない。マルチタスクや並列処理は、一定の環境下では有利である場合がある。同様に、上記の説明には、いくつかの具体的な実現の詳細が含まれるが、これらは、本開示の範囲を限定するものとして解釈されるべきではない。個々の実施例のコンテキストにおいて説明される特定の特徴は、単一の実施例において組み合わせて、実現されてもよい。逆に、単一の実施例のコンテキストにおいて説明される様々な特徴は、複数の実施例において、単独で又は任意の適切なサブ組合せで実現されてもよい。

【0152】

本主題は、構造的特徴及び／又は方法的論理動作に固有の言語を用いて説明されてきたが、添付の特許請求の範囲に限定される主題は、必ずしも、上記の特定の特徴又は動作に限定されないことが理解されるべきである。逆に、上記の特定の特徴及び動作は、特許請求の範囲を実施するための例示的な形態にすぎない。

【0153】

本願は、２０２１年５月１２日に提出した、出願番号が２０２１１０５１８６８４．４で、発明の名称が「画面の中の背景を変更する方法、機器、記憶媒体及びプログラム製品」である中国特許出願について優先権を主張し、その全ての内容は、援用によって本願に組み合わせられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】