特許 7540073 ビデオ撮影方法、装置、機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-16

(45)【発行日】2024-08-26

(54)【発明の名称】ビデオ撮影方法、装置、機器及び記憶媒体

(51)【国際特許分類】

   H04N 5/262 20060101AFI20240819BHJP

   G06T 7/00 20170101ALI20240819BHJP

   G06T 7/60 20170101ALI20240819BHJP

   G06V 10/82 20220101ALI20240819BHJP

【ＦＩ】

H04N5/262 010

G06T7/00 350C

G06T7/60 180B

G06V10/82

【請求項の数】 16

(21)【出願番号】P 2023503179

(86)(22)【出願日】2021-08-30

(65)【公表番号】

(43)【公表日】2023-08-15

(86)【国際出願番号】 SG2021050519

(87)【国際公開番号】W WO2022055424

(87)【国際公開日】2022-03-17

【審査請求日】2023-01-17

(31)【優先権主張番号】202010937922.0

(32)【優先日】2020-09-09

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521388058

【氏名又は名称】レモン インコーポレイテッド

【氏名又は名称原語表記】Ｌｅｍｏｎ Ｉｎｃ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ルウ，ジション

(72)【発明者】

【氏名】チェン，ジリ

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２０２０－０４８０２５（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０２９０４２５（ＣＮ，Ａ）

【文献】特開２０１４－１３１２８１（ＪＰ，Ａ）

【文献】中国特許出願公開第１１１０９３０２６（ＣＮ，Ａ）

【文献】中国特許出願公開第１０９２８６７６０（ＣＮ，Ａ）

【文献】特開２０１５－０６０３６６（ＪＰ，Ａ）

【文献】特開２０１４－０９６７５７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０２３２７４３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ７／９０

Ｇ０６Ｔ １１／００ －１７／３０

Ｇ０６Ｔ １９／００ －１９／２０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｈ０４Ｎ ５／２２２－ ５／２８

Ｈ０４Ｎ ５／９１ － ５／９５６

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

(57)【特許請求の範囲】

【請求項1】

ビデオ撮影方法であって、端末機器に適用され、前記端末機器はカメラを含み、前記方法は、
前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を分割して、ターゲット分割結果を得るステップと、
前記ターゲット分割結果を表示するステップと、
前記ターゲット分割結果を調整するトリガー操作に応答して、調整後の前記ターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成するステップと、を含み、
前記した、調整後の前記ターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成するステップは、
同時位置決め地図作成（ＳＬＡＭ）技術によって前記ターゲット分割結果を前記カメラが撮影した実際の環境に置き、前記調整後のターゲット分割結果と前記カメラが撮影した前記実際の環境とを融合することを有する、
ビデオ撮影方法。

【請求項2】

前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を分割して、ターゲット分割結果を得るステップの前に、前記方法は、
前記収集画面に表示されている物体が位置する画面領域に予め設定されたカーソルが含まれる場合、前記物体が前記分割対象物であると特定するステップをさらに含む請求項１に記載の方法。

【請求項3】

前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を分割して、ターゲット分割結果を得るステップは、
前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を予め分割し、予め分割結果を得るステップと、
前記予め分割結果を表示するステップと、
前記予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、前記分割対象物を分割して、前記ターゲット分割結果を得るステップと、を含む請求項１又は２に記載の方法。

【請求項4】

前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を予め分割し、予め分割結果を得るステップは、
前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、第１分割モデルに基づいて前記分割対象物を予め分割し、予め分割結果を得るステップを含み、前記第１分割モデルは複数の訓練画像に基づいてニューラルネットワークを訓練して得られ、各訓練画像は複数の物体を含み、
前記予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、前記分割対象物を分割して、前記ターゲット分割結果を得るステップは、
前記予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、前記分割対象物を分割して、ターゲット分割結果を得て、第２分割モデルに基づいて前記分割対象物を分割して、ターゲット分割結果を得るステップを含み、前記第２分割モデルは複数の訓練画像に基づいてニューラルネットワークを訓練して得られ、各訓練画像は複数の物体を含み、
前記第１分割モデルの分割速度は予め設定された分割速度よりも速く、前記第１分割モデルの分割精度は前記第２分割モデルよりも小さい請求項３に記載の方法。

【請求項5】

前記予め分割結果を表示するステップは、
前記予め分割結果に対してストロークを行うステップと、
前記予め分割結果のストロークを表示するステップと、を含む請求項３又は４に記載の方法。

【請求項6】

前記予め分割結果のストロークを表示するステップは、
前記分割対象物の一部が前記分割対象物以外の他の物体により被覆される場合、前記分割対象物の被覆された部分のストロークを第１表示状態で表示し、前記分割対象物の被覆されていない部分のストロークを第２表示状態で表示するステップを含み、前記第１表示状態及び前記第２表示状態の表示属性は異なる請求項５に記載の方法。

【請求項7】

前記第１表示状態は半透明表示状態であり、前記第２表示状態は優性表示状態である請求項６に記載の方法。

【請求項8】

ターゲット分割結果を調整するトリガー操作に応答して、調整後のターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成するステップは、
前記ターゲット分割結果が位置する表示領域に対するトリガー操作を検出した場合、前記カメラの視野範囲内において、前記実際の環境に前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在するか否かを検出するステップと、
前記実際の環境に、前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在する場合、前記ターゲット分割結果を前記平面に置くステップと、
前記実際の環境に、前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在しない場合、前記ターゲット分割結果を空間に置くステップであって、前記空間における置き位置と前記カメラとの間の距離は第２予め設定された距離とされるステップと、を含む請求項３～７のいずれか１項に記載の方法。

【請求項9】

前記予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、前記分割対象物を分割して、前記ターゲット分割結果を得るステップの後に、前記方法は、
ユーザによる前記ターゲット分割結果が位置する表示領域に対するトリガー操作を検出した場合、前記ユーザが前記ターゲット分割結果を確認したと特定し、且つ、前記カメラの視野範囲内において、前記実際の環境に前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在するか否かを検出するステップを実行するステップをさらに含む請求項８に記載の方法。

【請求項10】

ユーザによる前記ターゲット分割結果が位置する表示領域に対する前記トリガー操作は、前記ターゲット分割結果を予め設定された時間ドラッグした後に前記ターゲット分割結果を解放する操作を含む請求項９に記載の方法。

【請求項11】

前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を分割して、ターゲット分割結果を得るステップの前に、前記方法は、
撮影機能のトリガー操作に応答して、前記分割対象物の分割過程での画面を収集するステップをさらに含み、前記画面は前記カメラが撮影した前記実際の環境を含み、
前記ターゲット分割結果を調整するトリガー操作に応答して、調整後の前記ターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成するステップは、
前記分割対象物の分割過程での画面に基づいて、前記ビデオを生成するステップを含む請求項１～７のいずれか１項に記載の方法。

【請求項12】

前記ターゲット分割結果を調整するトリガー操作に応答して、調整後の前記ターゲット分割結果と前記カメラが撮影した実際の環境とを融合することで、ビデオを生成するステップは、
撮影機能のトリガー操作、及び前記ターゲット分割結果を調整するトリガー操作に応答して、調整後の前記ターゲット分割結果及び融合対象のビデオシーンに基づいて、前記ビデオを生成するステップを含み、前記融合対象のビデオシーンは前記カメラが撮影した実際の環境以外のビデオシーンである請求項１～７のいずれか１項に記載の方法。

【請求項13】

前記ターゲット分割結果を調整する前記トリガー操作は、
縮小、拡大、移動、及び回転のうちの少なくとも１つを含む請求項１～１２のいずれか１項に記載の方法。

【請求項14】

ビデオ撮影装置であって、
端末機器のカメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を分割して、ターゲット分割結果を得ることに用いられる分割モジュールと、
前記ターゲット分割結果を表示することに用いられる表示モジュールと、
前記ターゲット分割結果を調整するトリガー操作に応答して、調整後の前記ターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成することに用いられる融合モジュールと、を含み、
前記調整後のターゲット分割結果と前記融合対象のビデオシーンとを融合することで前記ビデオを生成することは、
同時位置決め地図作成（ＳＬＡＭ）技術によって前記ターゲット分割結果を前記カメラが撮影した実際の環境に置き、前記調整後のターゲット分割結果と前記カメラが撮影した前記実際の環境とを融合することを有する、
ビデオ撮影装置。

【請求項15】

電子機器であって、少なくとも１つのプロセッサ及びメモリを含み、
前記メモリはコンピュータ実行コマンドを記憶し、
前記少なくとも１つのプロセッサは前記メモリに記憶されたコンピュータ実行コマンドを実行して、前記少なくとも１つのプロセッサは請求項１～１３のいずれか１項に記載の方法を実行する電子機器。

【請求項16】

コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にコンピュータ実行コマンドが記憶されており、プロセッサが前記コンピュータ実行コマンドを実行するときに、請求項１～１３のいずれか１項に記載の方法を実現するコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は２０２０年９月９日に提出された中国特許出願第２０２０１０９３７９２２．０の優先権を主張し、該中国特許出願の全内容は本願の一部として引用により本願に組み込まれる。

【0002】

本開示の実施例はビデオ撮影方法、装置、機器及び記憶媒体に関する。

【背景技術】

【0003】

インターネットの発展に伴い、短いビデオが徐々に人々に好まれるようになり、短いビデオを撮影し、インターネットプラットフォームにアップロードして共有することを好む人はますます増えている。

【0004】

現状では、短いビデオ作成の実現手段は、短いビデオ撮影類アプリケーションに予め設定された添加効果、例えばステッカーを選択し、その後、短いビデオを作成することである。

【0005】

しかしながら、発明者は、従来のビデオ撮影には、短いビデオの作成方法が単一であり、ユーザが固定の添加効果を選択して短いビデオを作成することしかできず、ユーザエクスペリエンスが悪いという技術的問題が少なくとも存在していることを発見した。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本開示の実施例はビデオ撮影方法、装置、機器及び記憶媒体を提供し、それによって、短いビデオの作成方法が単一であり、ユーザが固定の添加オブジェクトを選択して短いビデオを作成することしかできず、ユーザエクスペリエンスが悪いという問題を解決する。

【課題を解決するための手段】

【0007】

第１態様では、本開示の実施例はビデオ撮影方法を提供し、端末機器に適用され、前記方法は、前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を分割して、ターゲット分割結果を得るステップと、前記ターゲット分割結果を表示するステップと、前記ターゲット分割結果を調整するトリガー操作に応答して、調整後の前記ターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成するステップと、を含む。

【0008】

第２態様では、本開示の実施例はビデオ撮影装置を提供し、端末機器のカメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を分割して、ターゲット分割結果を得ることに用いられる第１分割モジュールと、前記ターゲット分割結果を表示することに用いられる表示モジュールと、前記ターゲット分割結果を調整するトリガー操作に応答して、調整後の前記ターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成することに用いられるビデオ生成モジュールと、を含む。

【0009】

第３態様では、本開示の実施例は電子機器を提供し、少なくとも１つのプロセッサ及びメモリを含み、前記メモリはコンピュータ実行コマンドを記憶し、前記少なくとも１つのプロセッサは前記メモリに記憶されたコンピュータ実行コマンドを実行して、前記少なくとも１つのプロセッサは上記の第１態様及び第１態様の様々な可能性のある設計に記載のビデオ撮影方法を実行する。

【0010】

第４態様では、本開示の実施例はコンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体にコンピュータ実行コマンドが記憶されており、プロセッサが前記コンピュータ実行コマンドを実行するときに、上記の第１態様及び第１態様の様々な可能性のある設計に記載のビデオ撮影方法を実現する。

【0011】

本実施例はビデオ撮影方法、装置、機器及び記憶媒体を提供し、該方法は、カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、分割対象物を分割して、ターゲット分割結果を得て、ターゲット分割結果を表示し、ターゲット分割結果を調整するトリガー操作に応答して、調整後のターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成する。本実施例はビデオ撮影過程で、分割対象物をリアルタイムに分割することができ、分割対象物をオフラインで分割する手段に比べて、ビデオ撮影時間を短縮し、ビデオ撮影過程での顕著な物体分割の時効性を向上させることができ、また、ターゲット分割結果を調整するトリガー操作に応答して、調整後のターゲット分割結果と融合対象のビデオシーンとを融合することによって、ターゲット分割結果をリアルタイムに編集し、リアルタイムに分割した物体に対してビデオ作成を行うことができ、それによりユーザに新しいビデオの作成方法を提供し、ユーザエクスペリエンスを向上させる効果を奏する。

【0012】

本開示の実施例又は知られている技術の技術的解決手段をより明確に説明するために、以下、実施例又は知られている技術の説明に使用される必要がある図面を簡単に紹介し、明らかなように、以下に説明される図面は本開示のいくつかの実施例であり、当業者にとって、創造的な労働を必要とせずに、これらの図面に基づいて他の図面を取得することができる。

【図面の簡単な説明】

【0013】

【図1】図１は知られている技術のビデオ撮影の例示図である。

【図2】図２は本開示の実施例に係るビデオ撮影方法のフローチャート１である。

【図3】図３は端末機器の収集画面の１つの模式図を示す。

【図4】図４は端末機器を移動することによって分割対象物を予め設定されたカーソルと位置合わせする１つの模式図を示す。

【図5】図５は予め設定されたカーソルの位置を移動することによって予め設定されたカーソルを分割対象物と位置合わせする１つの模式図を示す。

【図6】図６は本開示の実施例に係るビデオ撮影方法のフローチャート２である。

【図7A】図７Ａは第１分割モデル、第２分割モデルによって分割する模式図１を示す。

【図7B】図７Ｂは第１分割モデル、第２分割モデルによって分割する模式図２を示す。

【図8】図８は予め分割結果のストロークを破線で表示する１つの模式図を示す。

【図9】図９は、分割対象物の被覆された部分のストロークを優性表示の方式で表示し、被覆されていない部分のストロークを半透明表示の方式で表示する１つの模式図を示す。

【図10】図１０は本開示の実施例に係るビデオ撮影方法のフローチャート３である。

【図11A】図１１Ａはユーザが収集画面にターゲット分割結果を選択してドラッグする１つの模式図を示す。

【図11B】図１１Ｂはユーザが他の物体により被覆されていない分割対象物の部分をドラッグする１つの模式図を示す。

【図12】図１２は本開示の実施例に係るビデオ撮影装置の構造ブロック図である。

【図13】図１３は本開示の実施例に係る電子機器のハードウェアの構造模式図である。

【発明を実施するための形態】

【0014】

本開示の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本開示の実施例の図面を参照しながら、本開示の実施例の技術的解決手段を明確で、完全に説明し、明らかなように、説明される実施例は本開示の一部の実施例に過ぎず、全部の実施例ではない。本開示の実施例に基づいて、当業者が創造的労働を必要とせずに取得するすべての他の実施例はいずれも本開示の保護範囲に属する。

【0015】

図１に参照されるように、図１は知られている技術のビデオ撮影の例示図である。知られている技術では、複数の物体に対して顕著な物体分割を行うことは、複数の物体を含む画面を撮影し、次に画像処理アルゴリズムで撮影した画像に対して顕著な物体分割を行うことである。

【0016】

また、ユーザは短いビデオを撮影するときに、短いビデオ撮影類アプリケーションに予め設定された添加効果、例えばステッカーを選択し、その後、短いビデオを生成する。この短いビデオの作成方法はユーザにとって、単一であり、ユーザが固定の添加効果を選択して短いビデオに添加することしかできず、ユーザエクスペリエンスが悪い。

【0017】

本開示の実施例は新しいビデオの作成方法を提供し、カメラが収集する画面に顕著な物体分割をリアルタイムに行い、ターゲット分割物をリアルタイムに編集し、さらにリアルタイムに分割及び編集した顕著な物体に対して短いビデオ作成を行うことによって、上記の問題を解決する。

【0018】

図２に参照されるように、図２は本開示の実施例に係るビデオ撮影方法のフローチャート１である。本実施例の方法は端末機器に適用でき、該ビデオ撮影方法は、以下のＳ２０１～Ｓ２０３を含む。

【0019】

Ｓ２０１、カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、分割対象物を分割して、ターゲット分割結果を得る。

【0020】

本実施例では、端末機器がカメラを起動した後に、カメラの収集画面に複数の物体が提示されるようになり、ユーザは複数の物体からそのうちの１つの物体を分割対象物として選択することができる。ユーザが分割対象物を選択した後に、分割対象物を分割するステップを実行し、それによりターゲット分割結果を得る。

【0021】

選択的に、ユーザが本実施例のビデオ撮影過程の操作ステップを理解しやすくするために、端末機器の撮影インタフェースに提示情報を表示してもよく、それによって端末機器に分割対象物を入力することをユーザに提示する。

【0022】

図３に参照されるように、図３は端末機器の収集画面の１つの模式図を示す。例示的に、ユーザは端末機器のカメラを開くと、収集画面には「物体と位置合わせて走査し、ドラッグしてコピーする」という提示語が現れ、それによって、端末機器に分割対象物を入力し、分割対象物をコピーすることをユーザに提示する。

【0023】

Ｓ２０２、ターゲット分割結果を表示する。

【0024】

具体的には、カメラの収集画面にターゲット分割結果を表示する。ターゲット分割結果は収集画面における他の物体と異なる表示方式で表示することができる。

【0025】

Ｓ２０３、ターゲット分割結果を調整するトリガー操作に応答して、調整後のターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成する。

【0026】

本実施例では、ターゲット分割結果を調整するトリガー操作は、縮小、拡大、移動、及び回転のうちの少なくとも１つを含む。具体的には、ユーザはスクリーンをタッチする方式で縮小、拡大、移動、及び回転等の操作を行うことができる。

【0027】

選択的に、融合対象のビデオシーンはカメラが撮影した実際の環境であってもよく、ここでのカメラはフロントカメラであるか、リアカメラであるかを制限しない。

【0028】

具体的には、調整後のターゲット分割結果と融合対象のビデオシーンとを融合することは、同時位置決め地図作成（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ、ＳＬＡＭ）技術、即ち同時ローカリゼーションとマッピング（Ｃｏｎｃｕｒｒｅｎｔ Ｍａｐｐｉｎｇ ａｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ、ＣＭＬ）技術によって、ターゲット分割結果をカメラが撮影した実際の環境に置き、調整後のターゲット分割結果とカメラが撮影した実際の環境とを融合することであってもよい。

【0029】

本開示の実施例は、カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、分割対象物を分割して、ターゲット分割結果を得て、ターゲット分割結果を表示し、ターゲット分割結果を調整するトリガー操作に応答して、調整後のターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成する。本実施例はビデオ撮影過程で、分割対象物をリアルタイムに分割することができ、分割対象物を予めオフラインで分割してステッカーとして短いビデオに添加する手段に比べて、ビデオ撮影時間を短縮し、ビデオ撮影過程での顕著な物体分割の時効性を向上させることができ、また、ターゲット分割結果を調整するトリガー操作に応答して、調整後のターゲット分割結果と融合対象のビデオシーンとを融合することによって、ターゲット分割結果をリアルタイムに編集し、リアルタイムに分割した物体に対してビデオ作成を行うことができ、それによりユーザに新しいビデオの作成方法を提供し、ユーザエクスペリエンスを向上させる効果を奏する。

【0030】

本開示の一実施例では、上記図２の実施例に基づき、分割対象物を特定する過程で、ユーザが所望の切り抜き領域を選択しやすくし、切り抜き精度を向上させるために、収集画面に表示されている物体が位置する画面領域に予め設定されたカーソルが含まれるか否かを検出することができ、収集画面に表示されている物体が位置する画面領域に予め設定されたカーソルが含まれる場合、現在の画面領域に表示されている物体が分割対象物であると特定する。

【0031】

選択的に、予め設定されたカーソルは収集画面における任意の領域位置を、予め設定されたカーソルが位置する位置として選択することができる。

【0032】

選択可能な実施形態では、予め設定されたカーソルの位置を固定してもよく、端末機器を移動することによって、予め設定されたカーソルを分割対象物と位置合わせする。例示的に、予め設定されたカーソルの位置を端末機器の表示スクリーンの中心位置として固定することができる。図４に参照されるように、図４は端末機器を移動することによって分割対象物を予め設定されたカーソルと位置合わせする１つの模式図を示す。

【0033】

別の選択可能な実施形態では、予め設定されたカーソルの位置を固定しなくてもよく、予め設定されたカーソルの位置を移動することによって、予め設定されたカーソルを分割対象物と位置合わせする。図５に参照されるように、図５は予め設定されたカーソルの位置を移動することによって予め設定されたカーソルを分割対象物と位置合わせする１つの模式図を示す。理解すべきであるように、図３、図４及び図５に示されるボックス状のカーソルは例示的な説明であり、カーソルの具体的な表示方式を限定しない。

【0034】

図５に示される実施形態に基づき、誤認識を回避するために、予め設定されたカーソルが収集画面に表示されている物体と予め設定された時間以上位置合わせすることを検出した場合、収集画面における予め設定されたカーソルが位置合わせする物体が分割対象物であると特定することができる。選択的に、予め設定された時間は３～５ｓに設定されてもよく、理解すべきであるように、当業者は実際のニーズに基づいて予め設定された時間を設定することができ、本開示はこれを具体的に限定しない。

【0035】

具体的には、収集画面に表示されている物体が位置する画面領域に予め設定されたカーソルが含まれるか否かを検出するステップは、予め設定されたカーソルの収集画面での座標位置を特定するステップと、収集画面に表示されている物体が位置する画面領域に含まれる座標位置を特定し、座標位置の範囲を得るステップと、予め設定されたカーソルの座標位置と収集画面に表示されている物体の座標位置の範囲とを比較するステップと、予め設定されたカーソルの座標位置が収集画面に表示されている物体の座標位置の範囲内にある場合、収集画面に現在表示されている物体が分割対象物であると特定するステップと、を含む。

【0036】

例示的に、予め設定されたカーソルの座標位置と収集画面に表示されている物体の座標位置の範囲とを比較するときに、座標位置の範囲は横座標範囲及び縦座標範囲を含み、予め設定されたカーソルの座標位置は横座標及び縦座標を含み、予め設定されたカーソルの横座標が収集画面に表示されている物体の横座標範囲内にあるか否か、及び予め設定されたカーソルの縦座標が収集画面に表示されている物体の縦座標範囲内にあるか否かをそれぞれ判定し、予め設定されたカーソルの横座標が収集画面に表示されている物体の横座標範囲内にあり、且つ予め設定されたカーソルの縦座標が収集画面に表示されている物体の縦座標範囲内にある場合、収集画面に現在表示されている物体が分割対象物であると特定する。

【0037】

図６に参照されるように、図６は本開示の実施例に係るビデオ撮影方法のフローチャート２である。図２に示される実施例に基づき、Ｓ２０１は具体的に以下のＳ６０１～Ｓ６０３を含む。

【0038】

Ｓ６０１、カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、分割対象物を予め分割し、予め分割結果を得る。

【0039】

本実施例では、端末機器は分割対象物を選択する入力イベントを受信し、該入力イベントはユーザが選択した分割対象物を含む。端末機器は該入力イベントに応答して、カメラの収集画面に提示されている複数の物体のうち分割対象物を予め分割し、予め分割は粗粒度分割であると理解でき、予め分割は分割対象物を迅速に分割することを目的とし、したがって、予め分割は分割対象物の大まかな輪郭を分割することであってもよい。

【0040】

Ｓ６０２、予め分割結果を表示する。

【0041】

本実施例では、予め分割結果をカメラの収集画面に表示することができ、それによって、ユーザが予め分割結果に所望の分割対象物が含まれるか否かを確認しやすくする。

【0042】

Ｓ６０３、予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、分割対象物を分割して、ターゲット分割結果を得る。

【0043】

本実施例では、分割対象物の分割は細粒度分割であると理解でき、分割対象物を精確に分割することを目的とし、したがって、ターゲット分割結果の分割精度は予め分割結果の分割精度よりも大きい。

【0044】

ステップＳ６０２で予め分割結果を表示すると、ユーザは該予め分割結果を直感的に見ることができ、それにより、該予め分割結果にユーザが所望の分割対象物が含まれるか否かを確認しやすい。予め分割結果が位置する表示領域内でユーザがトリガー操作を行った場合、ユーザが予め分割結果を確認したことを示し、さらに分割対象物に対して細粒度分割を行う操作をトリガーし、それによって精度がより高いターゲット分割結果を得る。

【0045】

本実施例では、予め分割結果を確認するトリガー操作は、ユーザがスクリーンをタッチし、例えば予め分割結果をクリックし、予め分割結果の表示領域でスライドする等の操作によって実現されてもよく、音声制御の方式で実現されてもよく、エアジェスチャー制御の方式で実現されてもよい。

【0046】

本開示の実施例は、カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、分割対象物を予め分割し、予め分割結果を得て、予め分割結果を表示し、予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、分割対象物を分割して、ターゲット分割結果を得る。分割対象物に対して予め分割を行ったため、顕著な物体分割の時効性を確保し、その後、分割対象物に対して精細な分割を行って、分割精度が予め分割結果よりも大きいターゲット分割結果を得ることによって、顕著な物体分割の品質を確保することができ、それにより時効性及び分割品質を両立させる。

【0047】

本開示の一実施例では、上記図２の実施例に基づき、時効性及び分割品質に対する確保は異なる顕著な物体分割アルゴリズムによって実現されてもよい。

【0048】

具体的には、カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、分割対象物を予め分割し、予め分割結果を得るステップは、カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、第１顕著な物体分割アルゴリズムに基づいて分割対象物を予め分割し、予め分割結果を得るステップを含む。

【0049】

具体的には、予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、分割対象物を分割して、ターゲット分割結果を得るステップは、予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、第２顕著な物体分割アルゴリズムに基づいて分割対象物を分割して、ターゲット分割結果を得るステップを含む。

【0050】

第１顕著な物体分割アルゴリズムの分割速度は予め設定された分割速度よりも速く、第１顕著な物体分割アルゴリズムの分割精度は第２顕著な物体分割アルゴリズムよりも小さい。第１顕著な物体分割アルゴリズム、及び第２顕著な物体分割アルゴリズムは知られている顕著な物体分割アルゴリズムから選択されてもよく、分割速度が予め設定された分割速度よりも速い顕著な物体分割アルゴリズムであれば、第１顕著な物体分割アルゴリズムとすることができ、且つそのうちの一方の顕著な物体分割アルゴリズムの分割速度が速く、他方の顕著な物体分割アルゴリズムの分割品質が高い顕著な物体分割アルゴリズムであれば、本開示の実施例に適用でき、本開示は、第１顕著な物体分割アルゴリズム、及び第２顕著な物体分割アルゴリズムの具体的なタイプを制限しない。

【0051】

選択的に、本実施例では、予め設定された分割速度は、知られている顕著な物体分割方法によって達成できる分割速度の平均値に基づいて特定されてもよい。

【0052】

本開示の別の実施例では、上記図２の実施例に基づき、時効性及び分割品質に対する確保はさらに、ニューラルネットワークを訓練して得られたモデルによって実現されてもよい。

【0053】

図７Ａに参照されるように、図７Ａは第１分割モデル、第２分割モデルによって分割する模式図１を示す。

【0054】

具体的には、カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、分割対象物を予め分割し、予め分割結果を得るステップは、カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、第１分割モデルに基づいて分割対象物を予め分割し、予め分割結果を得るステップを含み、第１分割モデルは複数の訓練画像に基づいてニューラルネットワークを訓練して得られ、各訓練画像は複数の物体を含み、訓練画像における複数の物体は任意の物体であってもよい。

【0055】

具体的には、予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、分割対象物を分割して、ターゲット分割結果を得るステップは、予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、分割対象物を分割して、ターゲット分割結果を得て、第２分割モデルに基づいて分割対象物を分割して、ターゲット分割結果を得るステップを含み、第２分割モデルは複数の訓練画像に基づいてニューラルネットワークを訓練して得られ、各訓練画像は複数の物体を含む。

【0056】

第１分割モデルの分割速度は予め設定された分割速度よりも速く、第１分割モデルの分割精度は第２分割モデルよりも小さい。

【0057】

本実施例では、予め設定された分割速度は同様に、知られている顕著な物体分割方法によって達成できる分割速度の平均値に基づいて特定されてもよい。

【0058】

選択的に、第２分割モデルの分割速度を向上させるために、第２分割モデルはさらに、予め分割結果に基づき、二次分割を行ってもよい。図７Ｂに参照されるように、図７Ｂは第１分割モデル、第２分割モデルによって分割する模式図２を示す。具体的には、カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、第１分割モデルに基づいて分割対象物を予め分割し、予め分割結果を得るステップと、予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、予め分割結果に基づき、第２分割モデルに基づいて予め分割結果に対して再分割を行って、ターゲット分割結果を得るステップと、を含む。

【0059】

本開示の一実施例では、予め分割結果を表示するステップは、予め分割結果に対してストロークを行うステップと、予め分割結果のストロークを表示するステップと、を含む。

【0060】

選択的に、ストロークは、色付きの線、破線、実線等の異なる形態の線で表示することができ、これに対して、本開示は特に制限しない。図８に参照されるように、図８は予め分割結果のストロークを破線で表示する１つの模式図を示す。

【0061】

具体的には、予め分割結果のストロークを表示するステップは、分割対象物の一部が分割対象物以外の他の物体により被覆される場合、分割対象物の被覆された部分のストロークを第１表示状態で表示し、分割対象物の被覆されていない部分のストロークを第２表示状態で表示するステップを含み、第１表示状態及び第２表示状態の表示属性は異なる。

【0062】

本実施例では、表示属性は優性表示、半透明表示及び透明表示を含む。第１表示状態の表示属性は表示属性のうちの任意の表示属性であってもよく、第２表示状態の表示属性も表示属性のうちの任意の表示属性であってもよく、第１表示状態及び第２表示状態の表示属性が異なることを確保すればよい。

【0063】

例示的に、第１表示状態は半透明表示状態であってもよく、第２表示状態は優性表示状態であってもよい。図９に参照されるように、図９は、分割対象物の被覆された部分のストロークを優性表示の方式で表示し、被覆されていない部分のストロークを半透明表示の方式で表示する１つの模式図を示す。

【0064】

選択的に、分割対象物の輪郭境界を検出し、輪郭境界をストロークの形態で表示した後に、本実施例の方法は、輪郭境界が安定するか否かを検出するステップと、輪郭境界が安定しない場合、輪郭境界に対して安定性処理を行うステップと、をさらに含んでもよい。輪郭境界が安定するか否かは、ストロークに点滅が存在するか否か、及び複数の物体の間でジャンプする等の現象によって特定され得る。予め分割過程で、予め分割過程はリアルタイムに行われ、ストロークに点滅が存在せず、且つ複数の物体の間でジャンプしない場合、輪郭境界が安定すると見なされる。輪郭境界に対して安定性処理を行うことは、顕著な物体分割アルゴリズムの分割時間により実現されてもよく、即ち、予め分割結果の輪郭境界が安定しない場合、ユーザは予め分割結果を確認せず、予め分割結果の輪郭境界が安定になった後に、予め分割結果を確認するようにしてもよい。

【0065】

本開示の実施例は予め分割結果に対してストロークを行い、予め分割結果のストロークを表示し、それによって、ユーザは予め分割結果が予期の分割効果に合致するか否かを確認しやすくすることができる。

【0066】

図１０に参照されるように、図１０は本開示の実施例に係るビデオ撮影方法のフローチャート３である。本実施例では、上記のいずれか実施例に基づき、Ｓ２０３は、以下のＳ１００１～Ｓ１００３を含む。

【0067】

Ｓ１００１、ターゲット分割結果が位置する表示領域に対するトリガー操作を検出した場合、カメラの視野範囲内において、実際の環境にカメラとの間の距離が第１予め設定された距離範囲内にある平面が存在するか否かを検出する。

【0068】

本実施例では、検出する平面はターゲット分割結果を置くことに用いられる平面であり、それは、収集画面における任意の平面、例えば壁、テーブルの表面、地面、キャビネットの表面等の空間における任意の平面であってもよい。

【0069】

例示的に、第１予め設定された距離を５メートルとすると、本ステップは、端末機器のカメラの視野範囲内において、カメラとの間の距離が５メートル以下の平面を検出する。

【0070】

Ｓ１００２、実際の環境に、カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在する場合、ターゲット分割結果を平面に置く。

【0071】

例示的に、カメラとの距離が５メートルの視野範囲内に、ターゲット分割結果を置くことに用いることができる平面を検出した場合、直接ターゲット分割結果を検出した平面に置く。

【0072】

選択的に、ターゲット分割結果を検出した平面に置くときに、ターゲット分割結果と平面との接触面シャドウを表示してもよく、それによって、よりよい表示効果を取得する。如何に接触面シャドウを表示するかについては、知られている技術の紹介を参照すればよく、ここで、詳細に紹介しない。

【0073】

Ｓ１００３、実際の環境に、カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在しない場合、ターゲット分割結果を空間に置き、空間における置き位置とカメラとの間の距離は第２予め設定された距離とされる。

【0074】

例示的に、第２予め設定された距離を０．５メートルとすると、本ステップは、カメラとの距離が５メートルの視野範囲内に、ターゲット分割結果を置くことに用いることができる平面を検出しない場合、直接ターゲット分割結果をカメラとの距離が０．５メートルの空間に置き、ここで、具体的な置き位置を制限せず、置き位置が撮影部材との距離が０．５メートルである条件を満たせばよい。

【0075】

理解すべきであるように、ステップＳ１００２及びステップＳ１００３の実行順序を制限しない。

【0076】

本開示の一実施例では、予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、分割対象物を分割して、ターゲット分割結果を得るステップの後、本実施例の方法は、ユーザによるターゲット分割結果が位置する表示領域に対するトリガー操作を検出した場合、ユーザがターゲット分割結果を確認したと特定し、且つ、カメラの視野範囲内において、実際の環境にカメラとの間の距離が第１予め設定された距離範囲内にある平面が存在するか否かを検出するステップを実行するステップをさらに含む。

【0077】

本実施例では、予め分割結果が位置する表示領域内で行われたトリガー操作は、ユーザがスクリーンをタッチすることによってトリガーされてもよく、ユーザがエアジェスチャー操作によってトリガーされてもよい。

【0078】

具体的には、ユーザによるターゲット分割結果が位置する表示領域に対するトリガー操作は、ターゲット分割結果を予め設定された時間ドラッグした後にターゲット分割結果を解放する操作を含む。

【0079】

例示的に、ユーザが収集画面にターゲット分割結果を選択し、ターゲット分割結果をドラッグすると、ユーザがターゲット分割結果を確認し、ターゲット分割結果とカメラが撮影した実際のシーンとを融合する操作を実行しようとすることを確認したと見なされる。

【0080】

図１１Ａに参照されるように、図１１Ａはユーザが収集画面にターゲット分割結果を選択してドラッグする１つの模式図を示す。

【0081】

本実施例の１つの状況では、分割対象物の一部が分割対象物以外の他の物体により被覆される場合、ユーザは他の物体により被覆されていない分割対象物の部分に対応する領域をドラッグする必要があり、ユーザがターゲット分割結果を確認し、ターゲット分割結果と融合対象のビデオシーンとを融合する操作を実行しようとすることを確認したと見なされる。理解できるように、ユーザが優性表示部分に対応する分割対象物をドラッグすると、ユーザがターゲット分割結果を確認し、ターゲット分割結果と融合対象のビデオシーンとを融合する操作を実行しようとすることを確認したと見なされる。

【0082】

図１１Ｂに参照されるように、図１１Ｂはユーザが他の物体により被覆されていない分割対象物の部分をドラッグする１つの模式図を示す。

【0083】

選択的に、ユーザはターゲット分割結果をドラッグする過程で、ターゲット分割結果に対して回転、スケーリング、移動等の操作を行ってターゲット分割結果の置き角度を調整することができ、検出した平面角度と適応するターゲット角度に調整し、ユーザが指を解放した後に、調整後のターゲット分割結果を検出した平面に置く。

【0084】

本開示の実施例は、ユーザがターゲット分割結果を予め設定された時間ドラッグした後にターゲット分割結果を解放する操作を検出すると、ユーザがターゲット分割結果を確認したと見なし、ターゲット分割結果と融合対象のビデオシーンとを融合する操作を実行し始め、それによって、ユーザがターゲット分割結果を確認するステップとターゲット分割結果をカメラが収集した実際の環境に置くステップとを１つの操作ステップによって完了し、ユーザの操作を簡略化させ、ビデオ撮影過程全体の時間を短縮し、ビデオ撮影の効率及びユーザ操作効率を向上させる効果を達成することができ、さらにユーザエクスペリエンスを向上させる。

【0085】

本開示の一実施例では、カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、分割対象物を分割して、ターゲット分割結果を得るステップの前に、本実施例の方法は、撮影機能のトリガー操作に応答して、分割対象物の分割過程での画面を収集するステップをさらに含み、画面はカメラが撮影した実際の環境を含み、対応して、ターゲット分割結果を調整するトリガー操作に応答して、調整後のターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成するステップは、分割対象物の分割過程での画面に基づいて、ビデオを生成するステップを含む。

【0086】

本実施例では、撮影機能のトリガー操作は、端末機器がカメラを起動して収集画面に入ると、撮影機能をトリガーすると理解されてもよく、カメラは、分割過程全体、及びユーザがターゲット分割物を調整し、調整後のターゲット分割物と融合対象のビデオシーンとを融合する過程を撮影し、ビデオを生成する。例えば、図９を参照し続け、リアカメラの状態下で、カメラが収集した物体はネコ及び人物を含み、人物は分割対象物であり、人物を分割し、人物を調整する過程全体を撮影し、ビデオを生成する。

【0087】

本実施例では、端末機器の撮影機能のトリガー操作は、収集画面における撮影ボタン（図３、図４、図５、図８、図９、図１１Ａ、図１１Ｂにおける収集画面下方の円形アイコン）に対するタッチ操作であってもよい。

【0088】

具体的に、ユーザは収集画面における撮影ボタンをクリックすることによって端末機器の撮影機能をトリガーするようにしてもよく、ユーザは音声制御によって端末機器の撮影機能をトリガーするようにしてもよく、ユーザはエアジェスチャー操作によって端末機器の撮影機能をトリガーするようにしてもよい。

【0089】

本開示の別の実施例では、ターゲット分割結果を調整するトリガー操作に応答して、調整後のターゲット分割結果とカメラが撮影した実際の環境とを融合することで、ビデオを生成するステップは、撮影機能のトリガー操作、及びターゲット分割結果を調整するトリガー操作に応答して、調整後のターゲット分割結果及び融合対象のビデオシーンに基づいて、ビデオを生成するステップを含み、融合対象のビデオシーンはカメラが撮影した実際の環境以外のビデオシーンである。

【0090】

本実施例では、ユーザが撮影機能をトリガーすると、端末機器はターゲット分割結果、即ち、切り抜かれた分割対象物の画面に基づいて、ビデオを生成する。撮影機能のトリガー操作は、端末機器がカメラを起動して収集画面に入った後に、撮影機能をトリガーせず、ターゲット分割結果を分割し、且つユーザがターゲット分割結果を調整した後に、撮影機能をトリガーすると理解されてもよく、調整後のターゲット分割結果と融合対象のビデオシーンとを融合し、ビデオを生成する。例えば、図９を参照し続け、リアカメラの状態下で、カメラが収集した物体はネコ及び人物を含み、人物は分割対象物であり、人物を分割した後に、カメラをフロントカメラにし、フロントカメラが撮影した画面と人物を融合するようにしてもよい。

【0091】

上記実施例のビデオ撮影方法に対応して、図１２は本開示の実施例に係るビデオ撮影装置の構造ブロック図である。説明しやすくするために、本開示の実施例に関連する部分のみを示す。図１２に参照されるように、前記装置は、分割モジュール１２０、表示モジュール１２１及び融合モジュール１２２を含み、分割モジュール１２０は、端末機器のカメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、分割対象物を分割して、ターゲット分割結果を得ることに用いられ、表示モジュール１２１は、ターゲット分割結果を表示することに用いられ、融合モジュール１２２は、ターゲット分割結果を調整するトリガー操作に応答して、調整後のターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成することに用いられる。

【0092】

本開示の一実施例では、前記装置は、収集画面に表示されている物体が位置する画面領域に予め設定されたカーソルが含まれる場合、表示されている物体が分割対象物であると特定することに用いられる特定モジュール１２３をさらに含む。

【0093】

本開示の一実施例では、分割モジュール１２０は、具体的に、カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、分割対象物を予め分割し、予め分割結果を得ること、予め分割結果を表示すること、及び、予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、分割対象物を分割して、ターゲット分割結果を得ることに用いられる。

【0094】

本開示の一実施例では、分割モジュール１２０は、具体的に、前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、第１分割モデルに基づいて前記分割対象物を予め分割し、予め分割結果を得ることに用いられ、前記第１分割モデルは複数の訓練画像に基づいてニューラルネットワークを訓練して得られ、各訓練画像は複数の物体を含み、及び、前記予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、前記分割対象物を分割して、ターゲット分割結果を得て、第２分割モデルに基づいて前記分割対象物を分割して、ターゲット分割結果を得ることに用いられ、前記第２分割モデルは複数の訓練画像に基づいてニューラルネットワークを訓練して得られ、各訓練画像は複数の物体を含み、前記第１分割モデルの分割速度は予め設定された分割速度よりも速く、前記第１分割モデルの分割精度は前記第２分割モデルよりも小さい。

【0095】

本開示の一実施例では、表示モジュール１２１は、具体的に、前記予め分割結果に対してストロークを行うこと、及び、前記予め分割結果のストロークを表示することに用いられる。

【0096】

本開示の一実施例では、表示モジュール１２１は、具体的に、前記分割対象物の一部が前記分割対象物以外の他の物体により被覆される場合、前記分割対象物の被覆された部分のストロークを第１表示状態で表示し、前記分割対象物の被覆されていない部分のストロークを第２表示状態で表示することに用いられ、前記第１表示状態及び前記第２表示状態の表示属性は異なる。

【0097】

本開示の一実施例では、前記第１表示状態は半透明表示状態であり、前記第２表示状態は優性表示状態である。

【0098】

本開示の一実施例では、融合モジュール１２２は、具体的に、前記ターゲット分割結果が位置する表示領域に対するトリガー操作を検出した場合、前記カメラの視野範囲内において、実際の環境に前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在するか否かを検出すること、前記実際の環境に、前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在する場合、前記ターゲット分割結果を前記平面に置くこと、及び、前記実際の環境に、前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在しない場合、前記ターゲット分割結果を空間に置くことであって、前記空間における置き位置と前記カメラとの間の距離は第２予め設定された距離とされることに用いられる。

【0099】

本開示の一実施例では、特定モジュール１２３はさらに、ユーザによる前記ターゲット分割結果が位置する表示領域に対するトリガー操作を検出した場合、前記ユーザが前記ターゲット分割結果を確認したと特定し、且つ、前記カメラの視野範囲内において、前記実際の環境に前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在するか否かを検出するステップを実行することに用いられる。

【0100】

本開示の一実施例では、ユーザによる前記ターゲット分割結果が位置する表示領域に対する前記トリガー操作は、前記ターゲット分割結果を予め設定された時間ドラッグした後に前記ターゲット分割結果を解放する操作を含む。

【0101】

本開示の一実施例では、該装置は、撮影機能のトリガー操作に応答して、前記分割対象物の分割過程での画面を収集することに用いられる収集モジュール１２４をさらに含み、前記画面は前記カメラが撮影した実際の環境を含み、融合モジュール１２３は、具体的に、前記分割対象物の分割過程での画面に基づいて、前記ビデオを生成することに用いられる。

【0102】

本開示の一実施例では、融合モジュール１２３は、具体的に、撮影機能のトリガー操作、及び前記ターゲット分割結果を調整するトリガー操作に応答して、調整後の前記ターゲット分割結果及び融合対象のビデオシーンに基づいて、前記ビデオを生成することに用いられ、前記融合対象のビデオシーンは前記カメラが撮影した実際の環境以外のビデオシーンである。

【0103】

本開示の一実施例では、前記ターゲット分割結果を調整する前記トリガー操作は、縮小、拡大、移動、及び回転のうちの少なくとも１つを含む。

【0104】

本実施例に係るビデオ撮影装置は、上記方法実施例の技術的解決手段を実行することに用いることができ、その実現原理及び技術的効果は類似し、本実施例はここで繰り返して説明しない。

【0105】

図１３に参照されるように、本開示の実施例を実現するための電子機器１３０の構造模式図を示し、該電子機器１３０は端末機器又はサーバであってもよい。端末機器は、携帯電話、ノートパソコン、デジタル放送受信機、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡと略称）、タブレットＰＣ（Ｐｏｒｔａｂｌｅ Ａｎｄｒｏｉｄ Ｄｅｖｉｃｅ、ＰＡＤと略称）、ポータブルマルチメディアプレーヤー（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ、ＰＭＰと略称）、車載端末（例えば車載ナビゲーション端末）等の移動端末、及びデジタルＴＶ、デスク型コンピュータ等の固定端末を含んでもよいが、それらに限定されない。図１３に示される電子機器は単に１つの例であり、本開示の実施例の機能及び使用範囲に何らの制限を与えるべきではない。

【0106】

図１３に示すように、電子機器１３０は処理装置（例えば、中央プロセッサ、グラフィックプロセッサ等）１３１を含んでもよく、それは、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭと略称）１３２に記憶されたプログラム又は記憶装置１３８からランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭと略称）１３３にロードされたプログラムに基づいて、各種の適当な動作及び処理を実行することができる。ＲＡＭ１３３には、電子機器１３０の操作に必要な各種のプログラム及びデータがさらに記憶されている。処理装置１３１、ＲＯＭ１３２及びＲＡＭ１３３はバス１３４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インタフェース１３５もバス１３４に接続される。

【0107】

通常、例えばタッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロ等を含む入力装置１３６、例えば液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤと略称）、スピーカ、発振器等を含む出力装置１３７、例えばテープ、ハードディスク等を含む記憶装置１３８、及び通信装置１３９は、Ｉ／Ｏインタフェース１３５に接続され得る。通信装置１３９は、電子機器１３０が他の機器と無線又は有線通信を行ってデータを交換することを許可することができる。図１３に様々な装置を有する電子機器１３０が示されているが、理解すべきであるように、示されたすべての装置を実施し又は備えることを要求しない。代替的に、より多い又はより少ない装置を実施し又は備えるようにしてもよい。

【0108】

特に、本開示の実施例に基づいて、フローチャートを参照して説明した上記の過程はコンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例はコンピュータプログラム製品を含み、それはコンピュータ可読媒体に搭載されたコンピュータプログラムを含み、該コンピュータプログラムはフローチャートに示された方法を実行するためのプログラムコードを含む。このような実施例では、該コンピュータプログラムは通信装置１３９によってネットワークからダウンロード及びインストールされ、又は記憶装置１３８からインストールされ、又はＲＯＭ１３２からインストールされるようにしてもよい。該コンピュータプログラムが処理装置１３１により実行されるときに、本開示の実施例の方法に限定された上記機能を実行する。

【0109】

なお、本開示の上記のコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体又は上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置又はデバイス、又は以上の任意の組み合わせであってもよいが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例は、１つ又は複数の導線を有する電気的接続、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせを含んでもよいが、それらに限定されない。本開示では、コンピュータ可読記憶媒体は、プログラムを含む、又は記憶する任意の有形媒体であってもよく、該プログラムはコマンド実行システム、装置又はデバイスにより使用されてもよく、又はそれらと組み合わせて使用されてもよい。本開示では、コンピュータ可読信号媒体は、ベースバンドに、又は搬送波の一部として伝播されるデータ信号を含んでもよく、それはコンピュータ可読プログラムコードを有する。このような伝播データ信号は、電磁信号、光信号又は上記の任意の適切な組み合わせを含むが、それらに限定されない複数の形態を取ることができる。コンピュータ可読信号媒体はさらに、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、該コンピュータ可読信号媒体は、コマンド実行システム、装置又はデバイスにより使用され又はそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、ワイヤー、ケーブル、ＲＦ（無線周波数）等、又は上記の任意の適切な組み合わせを含むが、それらに限定されない任意の適切な媒体により伝送されてもよい。

【0110】

上記コンピュータ可読媒体は上記電子機器に含まれるものであってもよく、単独で存在し、該電子機器に組み立てられないものであってもよい。

【0111】

上記コンピュータ可読媒体に１つ又は複数のプログラムが搭載され、上記１つ又は複数のプログラムが該電子機器により実行されるときに、該電子機器は上記実施例に示された方法を実行する。

【0112】

１つ又は複数のプログラミング言語又はそれらの組み合わせによって、本開示の操作を実行するためのコンピュータプログラムコードを作成することができ、上記プログラミング言語は、オブジェクト指向のプログラミング言語－例えばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋を含み、通常の手続き型プログラミング言語－例えば「Ｃ」言語又は類似のプログラミング言語をさらに含む。プログラムコードは、完全にユーザコンピュータ上で実行されてもよく、部分的にユーザコンピュータ上で実行されてもよく、独立した１つのソフトウェアパッケージとして実行されてもよく、部分的にユーザコンピュータ上で実行されて部分的にリモートコンピュータ上で実行されてもよく、又は完全にリモートコンピュータ又はサーバ上で実行されてもよい。リモートコンピュータに関わる状況では、リモートコンピュータは、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮと略称）又はワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮと略称）を含む任意のネットワークを介してユーザコンピュータに接続でき、又は、外部コンピュータに接続できる（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続する）。

【0113】

図面のフローチャート及びブロック図は、本開示の各実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能な体系構造、機能及び操作を示している。この点では、フローチャート又はブロック図の各ボックスは１つのモジュール、プログラムセグメント、又はコードの一部を示すことができ、該モジュール、プログラムセグメント、又はコードの一部は、規定のロジック機能を実現するための実行可能な１つ又は複数のコマンドを含む。なお、代替としてのいくつかの実現形態において、ボックス内に表記された機能は、図面の表記と異なる順序で発生してもよい。例えば、２つの連続するボックスは実際に基本的に並行して実行することができるが、場合によっては反対の順序で実行されてもよく、これは関わる機能によって定められる。なお、ブロック図及び／又はフローチャートの各ボックス、及びブロック図及び／又はフローチャートのボックスの組み合わせは、規定の機能又は操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、又は専用ハードウェアとコンピュータコマンドとの組み合わせによって実現されてもよい。

【0114】

本開示の実施例に関わるユニットはソフトウェアの方式で実現されてもよく、ハードウェアの方式で実現されてもよい。ユニットの名称はある状況で該ユニット自体に対する限定を構成せず、例えば、第１取得ユニットは、さらに「少なくとも２つのインターネットプロトコルアドレスを取得するユニット」として説明されてもよい。

【0115】

本明細書で上記した機能は、少なくとも部分的に１つ又は複数のハードウェアロジック部材によって実行することができる。例えば、非限定的に、使用できる例示的なハードウェアロジック部材は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複雑なプログラマブルロジック機器（ＣＰＬＤ）等を含む。

【0116】

本開示のコンテキストでは、機械可読媒体は有形の媒体であってもよく、それは、コマンド実行システム、装置又は機器により使用され又はコマンド実行システム、装置又は機器と組み合わせて使用されるプログラムを含むか、記憶することができる。機械可読媒体は機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁、赤外線、又は半導体のシステム、装置又は機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例は、１つ又は複数の線に基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光学記憶機器、磁気記憶機器、又は上記内容の任意の適切な組み合わせを含む。

【0117】

第１態様では、本開示の１つ又は複数の実施例によれば、ビデオ撮影方法を提供し、端末機器に適用され、端末機器はカメラを含み、前記方法は、前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を分割して、ターゲット分割結果を得るステップと、前記ターゲット分割結果を表示するステップと、前記ターゲット分割結果を調整するトリガー操作に応答して、調整後の前記ターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成するステップと、を含む。

【0118】

本開示の１つ又は複数の実施例によれば、前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を分割して、ターゲット分割結果を得るステップの前に、前記方法は、前記収集画面に表示されている物体が位置する画面領域に予め設定されたカーソルが含まれる場合、前記物体が前記分割対象物であると特定するステップをさらに含む。

【0119】

本開示の１つ又は複数の実施例によれば、前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を分割して、ターゲット分割結果を得るステップは、前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を予め分割し、予め分割結果を得るステップと、前記予め分割結果を表示するステップと、前記予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、前記分割対象物を分割して、前記ターゲット分割結果を得るステップと、を含む。

【0120】

本開示の１つ又は複数の実施例によれば、前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を予め分割し、予め分割結果を得るステップは、前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、第１分割モデルに基づいて前記分割対象物を予め分割し、予め分割結果を得るステップを含み、前記第１分割モデルは複数の訓練画像に基づいてニューラルネットワークを訓練して得られ、各訓練画像は複数の物体を含み、前記予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、前記分割対象物を分割して、前記ターゲット分割結果を得るステップは、前記予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、前記分割対象物を分割して、ターゲット分割結果を得て、第２分割モデルに基づいて前記分割対象物を分割して、ターゲット分割結果を得るステップを含み、前記第２分割モデルは複数の訓練画像に基づいてニューラルネットワークを訓練して得られ、各訓練画像は複数の物体を含み、前記第１分割モデルの分割速度は予め設定された分割速度よりも速く、前記第１分割モデルの分割精度は前記第２分割モデルよりも小さい。

【0121】

本開示の１つ又は複数の実施例によれば、前記予め分割結果を表示するステップは、前記予め分割結果に対してストロークを行うステップと、前記予め分割結果のストロークを表示するステップと、を含む。

【0122】

本開示の１つ又は複数の実施例によれば、前記予め分割結果のストロークを表示するステップは、前記分割対象物の一部が前記分割対象物以外の他の物体により被覆される場合、前記分割対象物の被覆された部分のストロークを第１表示状態で表示し、前記分割対象物の被覆されていない部分のストロークを第２表示状態で表示するステップを含み、前記第１表示状態及び前記第２表示状態の表示属性は異なる。

【0123】

本開示の１つ又は複数の実施例によれば、前記第１表示状態は半透明表示状態であり、前記第２表示状態は優性表示状態である。

【0124】

本開示の１つ又は複数の実施例によれば、前記ターゲット分割結果を実際の環境に置くステップをさらに含む。

【0125】

本開示の１つ又は複数の実施例によれば、ターゲット分割結果を調整するトリガー操作に応答して、調整後のターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成するステップは、前記ターゲット分割結果が位置する表示領域に対するトリガー操作を検出した場合、前記カメラの視野範囲内において、実際の環境に前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在するか否かを検出するステップと、前記実際の環境に、前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在する場合、前記ターゲット分割結果を前記平面に置くステップと、前記実際の環境に、前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在しない場合、前記ターゲット分割結果を空間に置くステップであって、前記空間における置き位置と前記カメラとの間の距離は第２予め設定された距離とされるステップと、を含む。

【0126】

本開示の１つ又は複数の実施例によれば、前記予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、前記分割対象物を分割して、前記ターゲット分割結果を得るステップの後に、前記方法は、ユーザによる前記ターゲット分割結果が位置する表示領域に対するトリガー操作を検出した場合、前記ユーザが前記ターゲット分割結果を確認したと特定し、且つ、前記カメラの視野範囲内において、前記実際の環境に前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在するか否かを検出するステップを実行するステップをさらに含む。

【0127】

本開示の１つ又は複数の実施例によれば、ユーザによる前記ターゲット分割結果が位置する表示領域に対する前記トリガー操作は、前記ターゲット分割結果を予め設定された時間ドラッグした後に前記ターゲット分割結果を解放する操作を含む。

【0128】

本開示の１つ又は複数の実施例によれば、前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を分割して、ターゲット分割結果を得るステップの前に、前記方法は、撮影機能のトリガー操作に応答して、前記分割対象物の分割過程での画面を収集するステップをさらに含み、前記画面は前記カメラが撮影した実際の環境を含み、前記ターゲット分割結果を調整するトリガー操作に応答して、調整後の前記ターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成するステップは、前記分割対象物の分割過程での画面に基づいて、前記ビデオを生成するステップを含む。

【0129】

本開示の１つ又は複数の実施例によれば、前記ターゲット分割結果を調整するトリガー操作に応答して、調整後の前記ターゲット分割結果と前記カメラが撮影した実際の環境とを融合することで、ビデオを生成するステップは、撮影機能のトリガー操作、及び前記ターゲット分割結果を調整するトリガー操作に応答して、調整後の前記ターゲット分割結果及び融合対象のビデオシーンに基づいて、前記ビデオを生成するステップを含み、前記融合対象のビデオシーンは前記カメラが撮影した実際の環境以外のビデオシーンである。

【0130】

本開示の１つ又は複数の実施例によれば、前記ターゲット分割結果を調整する前記トリガー操作は、縮小、拡大、移動、及び回転のうちの少なくとも１つを含む。

【0131】

第２態様では、本開示の１つ又は複数の実施例によれば、ビデオ撮影装置を提供し、端末機器のカメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、前記分割対象物を分割して、ターゲット分割結果を得ることに用いられる分割モジュールと、前記ターゲット分割結果を表示することに用いられる表示モジュールと、前記ターゲット分割結果を調整するトリガー操作に応答して、調整後の前記ターゲット分割結果と融合対象のビデオシーンとを融合することで、ビデオを生成することに用いられる融合モジュールと、を含む。

【0132】

本開示の１つ又は複数の実施例によれば、前記装置は、収集画面に表示されている物体が位置する画面領域に予め設定されたカーソルが含まれる場合、表示されている物体が分割対象物であると特定することに用いられる特定モジュールをさらに含む。

【0133】

本開示の１つ又は複数の実施例によれば、分割モジュールは、具体的に、カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、分割対象物を予め分割し、予め分割結果を得ること、予め分割結果を表示すること、及び、予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、分割対象物を分割して、ターゲット分割結果を得ることに用いられる。

【0134】

本開示の１つ又は複数の実施例によれば、分割モジュールは、具体的に、前記カメラの収集画面に提示されている複数の物体から分割対象物を選択する入力イベントに応答して、第１分割モデルに基づいて前記分割対象物を予め分割し、予め分割結果を得ることに用いられ、前記第１分割モデルは複数の訓練画像に基づいてニューラルネットワークを訓練して得られ、各訓練画像は複数の物体を含み、及び、前記予め分割結果が位置する表示領域内で行われたトリガー操作に応答して、前記分割対象物を分割して、ターゲット分割結果を得て、第２分割モデルに基づいて前記分割対象物を分割して、ターゲット分割結果を得ることに用いられ、前記第２分割モデルは複数の訓練画像に基づいてニューラルネットワークを訓練して得られ、各訓練画像は複数の物体を含み、前記第１分割モデルの分割速度は予め設定された分割速度よりも速く、前記第１分割モデルの分割精度は前記第２分割モデルよりも小さい。

【0135】

本開示の１つ又は複数の実施例によれば、表示モジュールは、具体的に、前記予め分割結果に対してストロークを行うこと、及び、前記予め分割結果のストロークを表示することに用いられる。

【0136】

本開示の１つ又は複数の実施例によれば、表示モジュールは、具体的に、前記分割対象物の一部が前記分割対象物以外の他の物体により被覆される場合、前記分割対象物の被覆された部分のストロークを第１表示状態で表示し、前記分割対象物の被覆されていない部分のストロークを第２表示状態で表示することに用いられ、前記第１表示状態及び前記第２表示状態の表示属性は異なる。

【0137】

本開示の１つ又は複数の実施例によれば、前記第１表示状態は半透明表示状態であり、前記第２表示状態は優性表示状態である。

【0138】

本開示の１つ又は複数の実施例によれば、融合モジュールは、具体的に、前記ターゲット分割結果が位置する表示領域に対するトリガー操作を検出した場合、前記カメラの視野範囲内において、実際の環境に前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在するか否かを検出すること、前記実際の環境に、前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在する場合、前記ターゲット分割結果を前記平面に置くこと、及び、前記実際の環境に、前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在しない場合、前記ターゲット分割結果を空間に置くことであって、前記空間における置き位置と前記カメラとの間の距離は第２予め設定された距離とされることに用いられる。

【0139】

本開示の１つ又は複数の実施例によれば、特定モジュールはさらに、ユーザによる前記ターゲット分割結果が位置する表示領域に対するトリガー操作を検出した場合、前記ユーザが前記ターゲット分割結果を確認したと特定し、且つ、前記カメラの視野範囲内において、前記実際の環境に前記カメラとの間の距離が第１予め設定された距離範囲内にある平面が存在するか否かを検出するステップを実行することに用いられる。

【0140】

本開示の１つ又は複数の実施例によれば、ユーザによる前記ターゲット分割結果が位置する表示領域に対する前記トリガー操作は、前記ターゲット分割結果を予め設定された時間ドラッグした後に前記ターゲット分割結果を解放する操作を含む。

【0141】

本開示の１つ又は複数の実施例によれば、該装置は、撮影機能のトリガー操作に応答して、前記分割対象物の分割過程での画面を収集することに用いられる収集モジュールをさらに含み、前記画面は前記カメラが撮影した実際の環境を含み、融合モジュールは、具体的に、前記分割対象物の分割過程での画面に基づいて、前記ビデオを生成することに用いられる。

【0142】

本開示の１つ又は複数の実施例によれば、融合モジュールは、具体的に、撮影機能のトリガー操作、及び前記ターゲット分割結果を調整するトリガー操作に応答して、調整後の前記ターゲット分割結果及び融合対象のビデオシーンに基づいて、前記ビデオを生成することに用いられ、前記融合対象のビデオシーンは前記カメラが撮影した実際の環境以外のビデオシーンである。

【0143】

本開示の１つ又は複数の実施例によれば、前記ターゲット分割結果を調整する前記トリガー操作は、縮小、拡大、移動、及び回転のうちの少なくとも１つを含む。

【0144】

第３態様では、本開示の１つ又は複数の実施例によれば、電子機器を提供し、少なくとも１つのプロセッサ及びメモリを含み、前記メモリはコンピュータ実行コマンドを記憶し、前記少なくとも１つのプロセッサは前記メモリに記憶されたコンピュータ実行コマンドを実行して、前記少なくとも１つのプロセッサは上記の第１態様及び第１態様の様々な可能性のある設計に記載の方法を実行する。

【0145】

第４態様では、本開示の１つ又は複数の実施例によれば、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体にコンピュータ実行コマンドが記憶されており、プロセッサが前記コンピュータ実行コマンドを実行するときに、上記の第１態様及び第１態様の様々な可能性のある設計に記載の方法を実現する。

【0146】

以上の説明は本開示の選択可能な実施例及び使用される技術原理の説明に過ぎない。当業者が理解すべきであるように、本開示に関わる開示範囲は、上記の技術的特徴の特定の組み合わせによる技術的解決手段に限定されず、同時に、上記開示の発想を逸脱することなく、上記技術的特徴又はその同等の特徴を任意に組み合わせて形成する他の技術的手段を含むべきである。例えば、上記特徴と本開示に開示されている（これに限定されない）類似の機能を有する技術的特徴とを互いに置き換えて形成される技術的解決手段が挙げられる。

【0147】

また、特定の順序で各操作を説明したが、これらの操作が示された特定の順序又はシーケンシャルな順序で実行されることを要求すると理解されるべきではない。場合によっては、マルチタスク及び並列処理は有利である可能性がある。同様に、上記の説明にいくつかの具体的な実現の細部が含まれるが、これらは本開示の範囲の制限として解釈されるべきではない。単独の実施例のコンテキストに説明されるいくつかの特徴は、単一の実施例において組み合わせて実現されてもよい。逆に、単一の実施例のコンテキストに説明される様々な特徴は、単独で、又は任意の適切なサブコンビネーションの方式で複数の実施例において実現されてもよい。

【0148】

構造特徴及び／又は方法ロジック動作に特定の言語で本主題を説明したが、添付の特許請求の範囲に限定された主題は以上に説明された特定の特徴又は動作に限定されるものではないと理解すべきである。逆に、以上に説明された特定の特徴及び動作は特許請求の範囲を実現する例示的な形態に過ぎない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】