特許 7213342 映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-18

(45)【発行日】2023-01-26

(54)【発明の名称】映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体

(51)【国際特許分類】

   H04N 5/265 20060101AFI20230119BHJP

   H04N 19/91 20140101ALI20230119BHJP

【ＦＩ】

H04N5/265

H04N19/91

【請求項の数】 9

(21)【出願番号】P 2021523609

(86)(22)【出願日】2019-10-24

(65)【公表番号】

(43)【公表日】2022-01-17

(86)【国際出願番号】 CN2019113117

(87)【国際公開番号】W WO2020093879

(87)【国際公開日】2020-05-14

【審査請求日】2021-04-30

(31)【優先権主張番号】201811326170.3

(32)【優先日】2018-11-08

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】518031631

【氏名又は名称】北京微播視界科技有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｍｉｃｒｏｌｉｖｅ Ｖｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ

【住所又は居所原語表記】Ｒｏｏｍ ４０８， ４Ｆ Ｎｏ．５１， Ｚｈｉｃｈｕｎ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００８０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】唐 志新

【審査官】西谷 憲人

(56)【参考文献】

【文献】特開２０１４－１９２５５７（ＪＰ，Ａ）

【文献】特開２０１５－０２７０５５（ＪＰ，Ａ）

【文献】特開２００２－１１２２６９（ＪＰ，Ａ）

【文献】特開２０１３－２５８５３２（ＪＰ，Ａ）

【文献】特開２００８－３０６３９４（ＪＰ，Ａ）

【文献】特開２００４－３１０８８１（ＪＰ，Ａ）

【文献】特開２００６－０３３７５５（ＪＰ，Ａ）

【文献】特開２０１６－１１９５９４（ＪＰ，Ａ）

【文献】特開２０１５－０５３７４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２６５

Ｈ０４Ｎ １９／９１

(57)【特許請求の範囲】

【請求項1】

第１の映像を取得するステップと、
リアルタイムで撮像された第２の映像データを収集するステップと、
前記第２の映像データを１回目の符号化して、符号化映像を得るステップと、
前記第１の映像と前記符号化映像とを合成して、合成映像データを得るステップと、
前記合成映像データを２回目の符号化して、対象映像を得るステップと、
を含み、
前記２回目の符号化のコードレートは、前記１回目の符号化のコードレートより小さい、
映像合成方法。

【請求項2】

前記第２の映像データを１回目に符号化して、符号化映像を得るステップは、第１の符号化方式を用いて、前記第２の映像データを１回目に符号化して、前記符号化映像を得るステップを含み、
前記合成映像データを２回目に符号化して、対象映像を得るステップは、第２の符号化方式を用いて、前記合成映像データを２回目に符号化して、前記対象映像を得るステップを含み、
前記第１の符号化方式と前記第２の符号化方式は、異なる、
請求項１に記載の方法。

【請求項3】

前記２回目の符号化の解像度は、前記１回目の符号化の解像度以下である、
請求項１に記載の方法。

【請求項4】

第１の符号化方式を用いて、前記第２の映像データを１回目に符号化して、前記符号化映像を得るステップは、第１のエントロピー符号化方式を用いて、前記第２の映像データをリアルタイムで符号化して、前記符号化映像を得るステップを含む、
請求項２に記載の方法。

【請求項5】

前記第２の符号化方式を用いて、前記合成映像データを２回目に符号化して、前記対象映像を得るステップは、第２のエントロピー符号化方式を用いて、前記合成映像データを非リアルタイムで符号化して、合成対象映像を得るステップを含む、
請求項２に記載の方法。

【請求項6】

前記第２の映像データの時間長は、前記第１の映像の時間長と等しい、
請求項１に記載の方法。

【請求項7】

第１の映像を取得するように構成される取得モジュールと、
リアルタイムで撮像された第２の映像データを収集するように構成される収集モジュールと、
前記第２の映像データを１回目に符号化して、符号化映像を得るように構成される第１の符号化モジュールと、
前記第１の映像と前記符号化映像とを合成して、合成映像データを得るように構成される映像合成モジュールと、
前記合成映像データを２回目に符号化して、対象映像を得るように構成される第２の符号化モジュールと、
を含み、
前記２回目の符号化のコードレートは、前記１回目の符号化のコードレートより小さい、
映像合成装置。

【請求項8】

メモリとプロセッサを含むコンピュータ機器であって、
プロセッサによって実行されるコンピュータプログラムが前記メモリに記憶され、前記プロセッサが前記コンピュータプログラムを実行すると、請求項１乃至６のいずれか一項に記載の方法のステップを実施する、コンピュータ機器。

【請求項9】

コンピュータプログラムがプロセッサによって実行されると、請求項１乃至６のいずれか一項に記載の方法のステップを実施するコンピュータプログラムが記憶される、コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータ技術分野に関する。特には、映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体に関する。

【0002】

本願は、２０１８年１１月８日に中国国家知的財産権局に出願された中国特許出願第２０１８１１３２６１７０．３号に基づく優先権を主張するものであり、該中国特許手段の開示のすべてがここに取り込まれている。

【背景技術】

【0003】

スマート端末技術の発展に伴い、日常動作や生活を記録するために、携帯電話、タブレット、等のスマート端末を利用して映像を撮影することが多くなっている。一般に、携帯電話、タブレット、等のインテリジェント端末の記憶スペースは固定であるが、撮影映像の数が多くなるにつれて、インテリジェント端末の記憶スペースが不足するため、撮影された映像を保存することができなくなることが不可避である。したがって、撮影された映像と保存したい既存の映像とを合成して、スマート端末蓄積スペースを節約する必要がある。

【0004】

従来の関連技術では、映像符号化器を用いて、撮影された映像と保存したい既存の映像とを合成し、一般的に、映像符号化器に採用されている圧縮アルゴリズムにおける圧縮が比較的に高い。しかし、合成対象映像データの大きさが一定であることを保証する条件で、高い圧縮比により、多くの映像画面ロスとなり、映像画面の鮮鋭度が低くなってしまう。

【発明の概要】

【0005】

これに基づき、上記の課題に対して、映像合成方法、装置、コンピュータ機器、及びコンピュータ読み取り可能な記憶媒体を提供する必要がある。

【0006】

本開示の第１態様による映像合成方法は、
第１の映像を取得するステップと、
リアルタイムで撮像された第２の映像データを収集するステップと、
前記第２の映像データを１回目の符号化して符号化映像を得るステップと、
前記第１の映像と前記符号化映像とを合成して合成映像データを得るステップと、
前記合成映像データを２回目の符号化して、対象映像を得るステップと、
を含む。

【0007】

本開示の態様によると、前記第２の映像データを１回目の符号化して符号化映像を得るステップは、第１の符号化方式を用いて、前記第２の映像データを１回目の符号化して、前記符号化映像を得るステップを含み、前記合成映像データを２回目の符号化して、対象映像を得るステップは、第２の符号化方式を用いて、前記合成映像データを２回目の符号化して、前記対象映像を得るステップを含み、前記第１の符号化方式と前記第２の符号化方式とが異なる。

【0008】

本開示の態様によると、前記合成映像データを２回目の符号化して、対象映像を得るステップは、前記２回目の符号化のコードレートが、前記１回目の符号化のコードレートより小さい。

【0009】

本開示の態様によると、前記２回目の符号化の解像度は、前記１回目の符号化の解像度以下である。

【0010】

本開示の態様によると、第１の符号化方式を用いて、前記第２の映像データを１回目の符号化して、前記符号化映像を得るステップは、第１のエントロピー符号化方式を用いて、前記第２の映像データをリアルタイム符号化して、前記符号化映像を得るステップを含む。

【0011】

本開示の態様によると、前記第２の符号化方式を用いて、前記合成映像データを２回目の符号化して、前記対象映像を得るステップは、第２のエントロピー符号化方式を用いて、前記合成映像データを非リアルタイム符号化して、前記合成対象映像を得るステップを含む。

【0012】

本開示の態様によると、前記第２の映像の時間長は、前記第１の映像の時間長と等しい。

【0013】

本開示の第２態様による映像合成装置は、
第１の映像を取得するように構成される取得モジュールと、
リアルタイムで撮像された第２の映像データを収集するように構成される収集モジュールと、
前記第２の映像データを１回目の符号化して符号化映像を得るように構成される第１の符号化モジュールと、
前記第１の映像と前記符号化映像とを合成して合成映像データを得るように構成される映像合成モジュールと、
前記合成映像データを２回目の符号化して対象映像を得るように構成される第２の符号化モジュールと、を含む。

【0014】

本開示の第３態様によるメモリとプロセッサを含むコンピュータ機器であって、前記メモリにコンピュータプログラムが記憶され、前記プロセッサが前記コンピュータプログラムを実行すると、前記コンピュータ機器に本開示の第１態様による方法の以下のステップを実現させる。
第１の映像を取得するステップと、
リアルタイムで撮像された第２の映像データを収集するステップと、
前記第２の映像データを１回目の符号化して符号化映像を得るステップと、
前記第１の映像と前記符号化映像とを合成して合成映像データを得るステップと、
前記合成映像データを２回目の符号化して、対象映像を得るステップ、
である。

【0015】

本開示の第４態様によるコンピュータ読み取り可能な記憶媒体には、プロセッサによって実行されると、本開示の第１態様による方法の以下のステップを実現するコンピュータプログラムが記憶される。
第１の映像を取得するステップと、
リアルタイムで撮像された第２の映像データを収集するステップと、
前記第２の映像データを１回目の符号化して符号化映像を得るステップと、
前記第１の映像と前記符号化映像とを合成して合成映像データを得るステップと、
前記合成映像データを２回目の符号化して、対象映像を得るステップ、
である。

【0016】

本実施形態に係る映像合成方法、装置、コンピュータ機器、及びコンピュータ読み取り可能な記憶媒体により、対象映像画面ロスが少なく、映像画面の明瞭度が高く、なる。

【図面の簡単な説明】

【0017】

【図1】図１は、本開示の実施形態に係る映像合成システムのユースケース図である。

【図2】図２は、本開示の実施形態に係る映像合成方法の流れを示したフローチャートである。

【図3】図３は、本開示の実施形態に係るアプリケーションインターフェースの概略図である。

【図4】図４は、本開示の他の実施形態に係る映像合成方法の流れを模式的に示す図である。

【図5】図５は、本開示の実施形態に係る映像合成装置の概略構成図である。

【図6】図６は、本開示の実施形態に係るコンピュータ機器の構成図である。

【発明を実施するための形態】

【0018】

本開示の実施形態の目的、技術案、及び利点をより明確にするため、以下、本開示の実施形態の技術的特徴について、本開示における図面と組み合わせて明確かつ一義的に説明する。このように、本開示の実施形態は、すべての実施形態ではなく、本開示の一部の形態であることは明らかである。本開示における実施形態に基づいて、当業者が、創造的な労働なしに得られるあらゆる他の実施形態は、本開示の範囲に属するものである。

【0019】

本開示の実施形態に係る映像合成方法は、図１に示す映像合成システムのユースケースに適用することが可能である。ただし、コンピュータ機器１１０は、スマートフォン、タブレット、ノートパソコン、デスクトップパソコン、又はパーソナルデジタルアシスタント等の映像撮影や処理機能を有する電子機器であってもよいし、本開示の実施形態は、コンピュータ機器１１０の具体的な態様に限定されない。なお、コンピュータ機器１１０は、各種アプリケーション（例えばアプリケーション１１１）の動作をサポートしてもよい。また、アプリケーション１１１は、コンピュータ機器１１０の画像収集装置により合成対象映像の映像素材を取得し、映像データ素材を合成して対応する映像を得て、その得られた映像をアプリケーション１１１のインターフェースを介して出力することができる。また、アプリケーション１１１は、映像、画像などの素材処理アプリケーションであってもよいし、ブラウザアプリケーションなどであってもよい。本開示の実施形態のアプリケーション１１１の具体的な形式は、限定されない。

【0020】

なお、本開示の実施形態に係る映像合成方法は、実行主体が映像合成装置であって、コンピュータ機器となる一部又は全部を、ソフトウェア、ハードウェア、又はソフトハードウェアの組み合わせによって実現してもよい。

【0021】

本開示の目的、技術案、及び利点をより明らかにするため、下記の実施形態により、図面を結合して、本開示の実施形態における技術的思想を更に詳細に説明する。なお、ここで述べる具体的な実施形態は本開示のみを解釈するためのものであり、本開示を限定するものではない。

【0022】

図２は、本開示の実施形態に係る映像合成方法の流れを示したフローチャートである。本開示の実施形態は、コンピュータ機器が第１の合成映像データを符号化して第２の合成映像を得る具体的な手順に関する。図２に示すように、この映像合成方法は、下記のＳ１０１～Ｓ１０５を含む。

【0023】

Ｓ１０１において、第１の映像を取得する。

【0024】

本開示の一実施形態において、前記第１の映像は、コンピュータ機器がローカルに記憶する映像、コンピュータ機器が予め撮影し保持しているローカル映像、コンピュータ機器が予めダウンロードし保持しているローカル映像であってもよいし、クラウド側が記憶している映像であってもよいが、本開示の実施形態は何ら限定されるものではない。

【0025】

なお、コンピュータ機器は、受信したタップ指示に従って第１の映像を取得することができ、取得された第１の映像は、任意の１つのローカル映像であってもよいが、本開示の実施形態について何ら限定されるものではない。

【0026】

Ｓ１０２において、リアルタイムで撮影された第２の映像データを収集する。

【0027】

本開示の一実施形態において、コンピュータ機器は、受信した撮影指示に従って、第２の映像データをリアルタイムで撮影することができる。また、上述した撮影コマンドは、ユーザがコンピュータ機器上の撮影ボタン（例えば、ハードウェアボタン、仮想ボタン、インタラクションインターフェース、など）を押下することによって生成され得る。なお、コンピュータ機器がアプリケーションを開いた後のインターフェースは、例えば図３に示すインターフェースであってもよく、当該アプリケーションがスプリットビュー機能を有していてもよい。図３に示すように、ローカル映像再生エリア及び撮影映像再生エリアの位置は、アプリケーションにより予め設定されている。

【0028】

例えば、図３を参照すると、ユーザは、アプリケーションを開いて、右側のローカル映像再生領域をクリックして、ローカルに保存された一つの映像を選択可能とし、撮影ボタンを押したままで左側の撮影映像再生領域からリアルタイムで撮影された映像を収集することを可能とし、撮影時間長が第１の映像の時間長に等しい場合に、自動的に撮影を終了する。あるいは、第１の映像の時間長よりも撮影時間長が短い場合、撮影ボタンを離すようにしてもよく、その際、第１の小映像の撮影が終了し、再び撮影ボタンを押したままで、第２の小映像の撮影が始まり、撮影された最後の小映像の時間長と以前の全ての小映像の撮影の時間長の和が第１の映像の時間長に相当するまで、自動的に撮影が終了する。

【0029】

また、第２の映像の時間長と第１の映像の時間長とは等しい。

【0030】

また、ユーザは、第２の映像を撮影する過程において、第２の映像の時間長が第１の映像の時間長に等しくなるまでコンピュータ機器における撮影ボタンを一度に押下することができ、撮影が自動的に終了する。なお、ユーザは、コンピュータ機器における撮影ボタンを複数回押下して、リアルタイムで撮影された第２の映像データを得ることができ、複数回のボタン撮影ボタンの時間長の和が、第１の映像の時間長に等しい。例えば、第１の映像の時間長が６分であり、ユーザが撮影ボタンを３回押すことによりリアルタイムで撮影された第２の映像データを得て、１回目に撮影ボタンを押す時間長が１分であり、終了後、１回目の撮影後に２回目に撮影ボタンを押す時間長が２分であれば、３回目に撮影ボタンを押してから今度の撮影の時間長が３分である時に、撮影が自動的に終了する。また、前記第２の映像データの解像度及びコードレートは、コンピュータ機器に第２の映像データに対応のソフトウェアを撮影する初期値に基づいて決定されてよく、前記第２の映像データを撮影するソフトウェアの決定後に、前記第２の映像データの解像度及びコードレートを決定することができる。

【0031】

Ｓ１０３において、第２の映像データを１回目に符号化して、符号化映像を得る。

【0032】

具体的には、コンピュータ機器は、第２の映像データをリアルタイムで撮影する過程において、リアルタイムで撮影された第２の映像データを１回目に符号化して、符号化映像を得る。

【0033】

なお、前記１回目の符号化は、特定の圧縮技術としては、ある映像フォーマットのファイルを別の映像フォーマットファイルに変換する方式を表すことができる。

【0034】

Ｓ１０４において、第１の映像と符号化映像とを合成して、合成映像データを得る。

【0035】

なお、符号化映像を得た後、コンピュータ機器に自動的に第１の映像と符号化映像を合成させて合成映像データを生成することができる。その過程において、コンピュータ機器は、アプリケーションプログラムのインターフェースに、合成済み映像データのパーセントを表現可能なロードデータの文様を表示し、かつ、そのロード度を表示させることができる。

【0036】

Ｓ１０５において、合成映像データを２回目に符号化して、対象映像を得る。

【0037】

本開示の一実施形態において、コンピュータ機器は、合成映像データを２回目に符号化して、対象映像を得ることができる。なお、対象映像の時間長と合成映像の時間長とは等しくてもよい。また、前記２回目の符号化は、ある映像フォーマットのファイルを別の映像フォーマットファイルに変換する方式を、特定の圧縮技術として表すことができる。また、ユーザのニーズに応じて対象映像の解像度やコードレートを自ら決定してもよい。

【0038】

なお、合成映像データを得た後に、コンピュータ機器は、合成映像データを自動的に２回目に符号化することができる。同時に、２回目の符号化が完了すると、コンピュータ機器は、符号化された対象映像を再生することができる。

【0039】

本実施形態に係る映像合成方法により、コンピュータ機器で得られる対象映像画面の損失が少なく、映像画面の解像度が高くなる。

【0040】

図４は、本開示の他の実施形態に係る、ステップＳ１０１、Ｓ１０２、Ｓ１０３１、Ｓ１０４、Ｓ１０５１を具体的に含む映像合成方法の流れを説明する図であり、ステップＳ１０１、Ｓ１０２、Ｓ１０４は前記内容と同様であるので、説明を省略する。

【0041】

Ｓ１０３１において、第１の符号化方式を用いて、第２の映像データを１回目に符号化して、符号化映像を得る。

【0042】

具体的に、コンピュータ機器は、第２の映像データをリアルタイムで撮影する過程において、第１の符号化方式を用いて、リアルタイムで撮影される第２の映像データを第１に可逆符号化して、符号化映像を得る。

【0043】

なお、１回目の符号化で得られた符号化映像の鮮鋭度は、リアルタイムで撮影された第２の映像の鮮鋭度と一致であることができる。

【0044】

Ｓ１０５１において、第２の符号化方式を用いて、合成映像データを２回目に符号化して、対象符号化映像を得る。

【0045】

ただし、第１の符号化方式と第２の符号化方式とは異なるものである。

【0046】

また、２回目の符号化におけるコードレートは、１回目の符号化におけるコードレートよりも小さく、２回目の符号化における解像度は、１回目の符号化における解像度以下である。

【0047】

本開示の一実施形態において、コンピュータ機器は、第２の符号化方式を用いて、合成映像データを第２に可逆符号化して、対象画像を得て、２回目の符号化のコードレートは１回目の符号化のコードレートよりも小さく、２回目の符号化の解像度は１回目の符号化の解像度以下である。

【0048】

本開示の実施形態によれば、２回目の符号化の解像度及びコードレートは、それぞれ対象の映像の解像度及びコードレートと等しくてもよい。

【0049】

本実施形態に係る映像合成方法において、コンピュータ機器は、第１の符号化方式を用いて、第２の映像データを第１に可逆符号化して、１回目の符号化により符号化映像の解像度とリアルタイムで撮影された第２の映像の解像度とできるだけ等しくして、第２の符号化方式を用いて、１回目の符号化後に得られた符号化映像を１回目の符号化よりもコードレートが小さく１回目の符号化の解像度以下の２回目の符号化の解像度を用いた２回目の符号化して、対象符号化映像を得ることができる。その方法は、得られる対象符号化映像ファイルが小さい場合に、対象符号化映像画面の欠落を防ぎ、対象符号化映像画面の解像度を高く保つことができる。

【0050】

ある一実施形態では、前記第１の符号化方式を用いて、第２の映像データを１回目に符号化し、符号化映像を得る前記ステップは、第１のエントロピー符号化方式を用いて、第２の映像データがリアルタイムで符号化され、符号化映像が得られるステップ含む。

【0051】

本開示の一実施形態において、コンピュータ機器は、リアルタイムで撮影された第２の映像データを、第１のエントロピー符号化方式を用いてリアルタイムで符号化して、符号化映像を得ることができる。また、前記エントロピー符号化方式は、エントロピー原理に従って、何の情報も消失しない符号化であることを表すことができる。また、前記第１のエントロピー符号化方式は、シャノン符号化、ハフマン符号化、算術符号化、又はゴロム符号化等であってもよいが、限定されてはいない。

【0052】

なお、前記リアルタイム符号化は、符号化映像の全フレーム数が一定で、且つ、符号化の速度が一定であることを表すことができる。

【0053】

本実施形態に係る映像合成方法において、コンピュータ機器は、第１のエントロピー符号化方式を用いて第２の映像データをリアルタイムで符号化し、符号化のコードレートが大きく保たれる場合に、映像画面の欠落を防ぎ、得られる符号化映像の解像度を高く保つ。

【0054】

本開示の実施形態では、上述の第２の符号化方式を用いて、合成映像データを２回目に符号化して、対象映像を得るステップは、第２のエントロピー符号化方式を用いて合成映像データを非リアルタイムで符号化し、対象映像を得るステップを含む。

【0055】

本開示の一実施形態において、コンピュータ機器は、第２のエントロピー符号化方式を用いて、１回目の符号化で得られた合成映像データを非リアルタイムで符号化して、対象映像を得る。また、前記第２のエントロピー符号化方式は、シャノン符号化、ハフマン符号化、算術符号化、又はゴロム符号化等であってもよいが、本実施形態に限定されてはいない。また、前記ノンリアルタイム符号化は、符号化映像データの総フレーム数が一定であることを示すものであってもよく、符号化の速度に何ら限定されず、符号化映像データの総時間長のみを考慮する必要がある。また、非リアルタイム符号化の符号化速度は、リアルタイム符号化の符号化速度よりも遅くてもよい。

【0056】

本実施形態において、コンピュータ機器は、第２のエントロピー符号化方式を用いて、合成映像データを非リアルタイムで符号化することで、映像符号化のコードレートが小さい場合、得られる対象映像の画面ロスが少なく、鮮明性が高いことを保証することができる映像合成方法を提供する。

【0057】

なお、図２～図４のフローチャートの各ステップは、矢印の指示に従って順次に表示されているが、必ずしも、矢印の指示に従って順次実行される必要はない。また、本明細書中で明示的に説明されていなければ、これらのステップの実行は、厳密な順序に限定されず、他の順序で実行されてもよい。また、図２～図４の少なくとも一部のステップが、複数のサブステップ又は複数のフェーズを含んでいてもよく、これらサブステップ又はフェーズは、必ずしも同一のタイミングで実行完了する必要はなく、異なるタイミングで実行されてもよい。これらのサブステップ又はフェーズの実行順序も必ずしも順次に行われる必要はなく、他のステップ、又は他のステップのサブステップ、もしくはフェーズの少なくとも一部と、順次または交互に実行されてもよい。

【0058】

映像合成装置の具体的な記述については、上述した映像合成方法に関する説明を参照することができ、説明を省略する。前記コンピュータ機器の映像合成装置の各ブロックの全部又は一部は、ソフトウェア、ハードウェア、及び、それらの組み合わせにより実現され得る。前記の各モジュールは、コンピュータ機器のうちプロセッサとハードウェア的に内藏あるいは独立されていてもよいし、コンピュータ機器のメモリにソフトウェア的に記憶されており、プロセッサが前記の各モジュールに対応する動作を呼び出し、実行するようにしてもよい。

【0059】

図５は、一実施形態に係る映像合成装置の構成図である。図５に示すように、この装置は、取得モジュール１１と、収集モジュール１２と、第１の符号化モジュール１３と、映像合成モジュール１４と、第２の符号化モジュール１５とを含むことができる。

【0060】

本開示の一実施形態において、取得モジュール１１は、第１の映像を取得することができる。

【0061】

収集モジュール１２は、リアルタイムで撮像された第２の映像データを収集することができる。

【0062】

第１の符号化モジュール１３は、第２の映像データを１回目に符号化して、符号化映像を得ることができる。

【0063】

映像合成モジュール１４は、第１の映像と符号化映像とを合成して、合成映像データを得ることができる。

【0064】

第２の符号化モジュール１５は、合成映像データを２回目に符号化して、対象映像を得ることができる。

【0065】

また、第２の映像の時間長と第１の映像の時間長とは、等しい。

【0066】

本実施形態に係る映像合成装置は、上述した方法の実施形態を実行することができ、その原理や技術効果を同様とすることができ、説明を省略する。

【0067】

また、本開示の他の実施形態は、映像合成装置を提供する。図５に示す映像合成装置と異なり、第１の符号化モジュール１３が、第１の符号化方式を用いて第２の映像データを１回目に符号化して、符号化映像を得ることができ、第２の符号化モジュール１５が第２の符号化方式を用いて合成映像データを２回目に符号化して、対象映像を得ることができる。ここで、２回目の符号化のコードレートは、１回目の符号化のコードレートよりも小さい。また、２回目の符号化の解像度は、１回目の符号化の解像度以下である。

【0068】

本実施形態に係る映像合成装置は、上述した方法の実施形態を実行することができ、その原理や技術効果を同様とすることができ、説明を省略する。

【0069】

また、図５を参照しながら、図５に示す実施形態の上で、第１の符号化モジュール１３は、さらに、第１のエントロピー符号化方式を用いて、第２の映像データをリアルタイムで符号化して合成映像データを得ることができる。

【0070】

本実施形態に係る映像合成装置は、上述した方法の実施形態を実行することができ、その原理や技術効果を同様とすることができ、説明を省略する。

【0071】

本開示の実施形態では、第２の符号化モジュール１５は、さらに、第２のエントロピー符号化方式を用いて、合成映像データを非リアルタイムで符号化して、対象映像を得ることができる。

【0072】

本実施形態に係る映像合成装置は、上述した方法の実施形態を実行することができ、その原理や技術効果を同様とすることができ、説明を省略する。

【0073】

一実施形態において、図６に示すような内部構造図を実現することができるコンピュータ機器が提供される。コンピュータ機器は、システムバスを介して接続されるプロセッサと、メモリと、ネットワークインターフェースと、表示パネルと、入力装置と、を含む。その中で、このコンピュータ機器のプロセッサは、演算及び制御能力を提供するものである。このコンピュータ機器のメモリは、不揮発性の記憶媒体と、内部メモリとを含む。この不揮発性記憶媒体には、オペレーティングシステム及びコンピュータプログラムが記憶される。この内部メモリは、不揮発性記憶媒体におけるオペレーティングシステムおよびコンピュータプログラムの実行に対する環境を提供する。このコンピュータ機器のネットワークインターフェースは、外部の端末とネットワーク接続を介して通信するためのものである。このコンピュータプログラムは、プロセッサによって実行されることで、本開示の映像合成方法を実現する。このコンピュータ機器の表示パネルは、液晶ディスプレイあるいは電子インクディスプレイであってよい。このコンピュータ機器の入力装置は、表示画面に被せられるタッチ層であってもよいし、コンピュータ機器筐体に設けられたキー、トラックボール、またはタッチパッドであってもよいし、外部のキーボード、タッチパッド、またはマウス、等であってもよい。

【0074】

当業者であれば、図６に示した構成は、単なる本開示に係る一部の構成のブロックに過ぎず、本開示に係る構成を適用するコンピュータ機器に限定されるものではなく、具体的なコンピュータ機器は、図示した部品より多くまたは少なく、あるいは、何らかの部品を組み合わせたり、異なる部品の配置を有したりすることが可能であることが分かる。

【0075】

本開示の実施形態において、コンピュータプログラムを格納するメモリと、コンピュータプログラムを実行すると以下のステップが実現されるプロセッサと、を含むコンピュータ機器が提供される。
第１の映像を取得するステップと、
リアルタイムで撮像された第２の映像データを収集するステップと、
前記第２の映像データを１回目の符号化して符号化映像を得るステップと、
前記第１の映像と前記符号化映像とを合成して合成映像データを得るステップと、
前記合成映像データを２回目の符号化して、対象映像を得るステップ、である。

【0076】

一実施形態において、プロセッサによって実行される時に下記の方法のことを実現するコンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体が提供される。
第１の映像を取得するステップと、
リアルタイムで撮像された第２の映像データを収集するステップと、
前記第２の映像データを１回目の符号化して符号化映像を得るステップと、
前記第１の映像と前記符号化映像とを合成して合成映像データを得るステップと、
前記合成映像データを２回目の符号化して、対象映像を得るステップと、を含む。

【0077】

当業者であれば、コンピュータプログラムによって関連するハードウェアを指令することにより、上述の実施形態の方法の全部又は一部の流れを実現することは理解できる。コンピュータプログラムは、一つの不揮発性のコンピュータ読み取り可能な記憶媒体に記憶されていてもよく、コンピュータプログラムの実行時に、上述した各方法の実施形態の流れが含まれていてもよい。なお、本明細書に開示する各実施形態で用いられるメモリや、ストレージ、データベース、その他のメディアに対する参照は、不揮発性及び／又は揮発性メモリも含み得る。不揮発性メモリは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、ＥＰＲＯＭ（Ｅｌｅｃｔｒｏ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（ＥＥＰＲＯＭ）、またはフラッシュメモリを備えることができる。揮発性メモリは、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）又は外部キャッシュメモリを含むことができる。なお、説明のため限定されず、ＲＡＭは、例えば、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、デュアルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、エンハンスメント型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期リンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、ダイレクトバス（Ｒａｍｂｕｓ）ＲＡＭ（ＤＲＲＡＭ）メモリ、ダイレクトバス・ダイナミックＲＡＭ（ＤＲＤＲＲＡＭ）メモリ、及び、バスダイナミックＲＡＭ（ＲＤＲＡＭ）メモリ、等、様々な形式で得ることができる。

【0078】

以上、前記の実施形態は、本開示のいくつかの実施形態を表現しているだけであり、その説明は具体的であり、説明は詳細なものであるが、本開示の特許請求の範囲を制限するものとは理解されない。なお、当業者にとって、本開示の技術的範囲を逸脱することなく、いくつかの変形、改良を加えることも可能である。従って、本開示特許の保護範囲は、
添付請求項に準ずるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】