IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 北京微播視界科技有限公司の特許一覧

特表2022-506305映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体
<>
  • 特表-映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体 図1
  • 特表-映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体 図2
  • 特表-映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体 図3
  • 特表-映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体 図4
  • 特表-映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体 図5
  • 特表-映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-17
(54)【発明の名称】映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体
(51)【国際特許分類】
   H04N 5/265 20060101AFI20220107BHJP
   H04N 19/91 20140101ALI20220107BHJP
【FI】
H04N5/265
H04N19/91
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021523609
(86)(22)【出願日】2019-10-24
(85)【翻訳文提出日】2021-04-30
(86)【国際出願番号】 CN2019113117
(87)【国際公開番号】W WO2020093879
(87)【国際公開日】2020-05-14
(31)【優先権主張番号】201811326170.3
(32)【優先日】2018-11-08
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】518031631
【氏名又は名称】北京微播視界科技有限公司
【氏名又は名称原語表記】Beijing Microlive Vision Technology Co., Ltd
【住所又は居所原語表記】Room 408, 4F No.51, Zhichun Road, Haidian District Beijing 100080 China
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】唐 志新
【テーマコード(参考)】
5C023
5C159
【Fターム(参考)】
5C023AA11
5C023BA11
5C023CA03
5C023DA08
5C159ME01
(57)【要約】
本開示は、映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体に関する。この方法は、第1の映像を取得するステップと、リアルタイムで撮像された第2の映像データを収集するステップと、前記第2の映像データを1回目の符号化して符号化映像を得るステップと、前記第1の映像と前記符号化映像とを合成して合成映像データを得るステップと、前記合成映像データを2回目の符号化して、対象映像を得るステップ、を含む。この方法で得られる対象映像画面ロスが少なく、映像画面の明瞭度が高くになる。
【選択図】図2
【特許請求の範囲】
【請求項1】
第1の映像を取得するステップと、
リアルタイムで撮像された第2の映像データを収集するステップと、
前記第2の映像データを1回目の符号化して、符号化映像を得るステップと、
前記第1の映像と前記符号化映像とを合成して、合成映像データを得るステップと、
前記合成映像データを2回目の符号化して、対象映像を得るステップと、
を含む、映像合成方法。
【請求項2】
前記第2の映像データを1回目に符号化して、符号化映像を得るステップは、第1の符号化方式を用いて、前記第2の映像データを1回目に符号化して、前記符号化映像を得るステップを含み、
前記合成映像データを2回目に符号化して、対象映像を得るステップは、第2の符号化方式を用いて、前記合成映像データを2回目に符号化して、前記対象映像を得るステップを含み、
前記第1の符号化方式と前記第2の符号化方式は、異なる、
請求項1に記載の方法。
【請求項3】
前記2回目の符号化のコードレートは、前記1回目の符号化のコードレートより小さい、
請求項1に記載の方法。
【請求項4】
前記2回目の符号化の解像度は、前記1回目の符号化の解像度以下である、
請求項3に記載の方法。
【請求項5】
第1の符号化方式を用いて、前記第2の映像データを1回目に符号化して、前記符号化映像を得るステップは、第1のエントロピー符号化方式を用いて、前記第2の映像データをリアルタイムで符号化して、前記符号化映像を得るステップを含む、
請求項2に記載の方法。
【請求項6】
前記第2の符号化方式を用いて、前記合成映像データを2回目に符号化して、前記対象映像を得るステップは、第2のエントロピー符号化方式を用いて、前記合成映像データを非リアルタイムで符号化して、合成対象映像を得るステップを含む、
請求項2に記載の方法。
【請求項7】
前記第2の映像の時間長は、前記第1の映像の時間長と等しい、
請求項1に記載の方法。
【請求項8】
第1の映像を取得するように構成される取得モジュールと、
リアルタイムで撮像された第2の映像データを収集するように構成される収集モジュールと、
前記第2の映像データを1回目に符号化して、符号化映像を得るように構成される第1の符号化モジュールと、
前記第1の映像と前記符号化映像とを合成して、合成映像データを得るように構成される映像合成モジュールと、
前記合成映像データを2回目に符号化して、対象映像を得るように構成される第2の符号化モジュールと、
を含む、映像合成装置。
【請求項9】
メモリとプロセッサを含むコンピュータ機器であって、
プロセッサによって実行されるコンピュータプログラムが前記メモリに記憶され、前記プロセッサが前記コンピュータプログラムを実行すると、請求項1乃至7のいずれか一項に記載の方法のステップを実施する、コンピュータ機器。
【請求項10】
コンピュータプログラムがプロセッサによって実行されると、請求項1乃至7のいずれか一項に記載の方法のステップを実施するコンピュータプログラムが記憶される、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、コンピュータ技術分野に関する。特には、映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体に関する。
【0002】
本願は、2018年11月8日に中国国家知的財産権局に出願された中国特許出願第201811326170.3号に基づく優先権を主張するものであり、該中国特許手段の開示のすべてがここに取り込まれている。
【背景技術】
【0003】
スマート端末技術の発展に伴い、日常動作や生活を記録するために、携帯電話、タブレット、等のスマート端末を利用して映像を撮影することが多くなっている。一般に、携帯電話、タブレット、等のインテリジェント端末の記憶スペースは固定であるが、撮影映像の数が多くなるにつれて、インテリジェント端末の記憶スペースが不足するため、撮影された映像を保存することができなくなることが不可避である。したがって、撮影された映像と保存したい既存の映像とを合成して、スマート端末蓄積スペースを節約する必要がある。
【0004】
従来の関連技術では、映像符号化器を用いて、撮影された映像と保存したい既存の映像とを合成し、一般的に、映像符号化器に採用されている圧縮アルゴリズムにおける圧縮が比較的に高い。しかし、合成対象映像データの大きさが一定であることを保証する条件で、高い圧縮比により、多くの映像画面ロスとなり、映像画面の鮮鋭度が低くなってしまう。
【発明の概要】
【0005】
これに基づき、上記の課題に対して、映像合成方法、装置、コンピュータ機器、及びコンピュータ読み取り可能な記憶媒体を提供する必要がある。
【0006】
本開示の第1態様による映像合成方法は、
第1の映像を取得するステップと、
リアルタイムで撮像された第2の映像データを収集するステップと、
前記第2の映像データを1回目の符号化して符号化映像を得るステップと、
前記第1の映像と前記符号化映像とを合成して合成映像データを得るステップと、
前記合成映像データを2回目の符号化して、対象映像を得るステップと、
を含む。
【0007】
本開示の態様によると、前記第2の映像データを1回目の符号化して符号化映像を得るステップは、第1の符号化方式を用いて、前記第2の映像データを1回目の符号化して、前記符号化映像を得るステップを含み、前記合成映像データを2回目の符号化して、対象映像を得るステップは、第2の符号化方式を用いて、前記合成映像データを2回目の符号化して、前記対象映像を得るステップを含み、前記第1の符号化方式と前記第2の符号化方式とが異なる。
【0008】
本開示の態様によると、前記合成映像データを2回目の符号化して、対象映像を得るステップは、前記2回目の符号化のコードレートが、前記1回目の符号化のコードレートより小さい。
【0009】
本開示の態様によると、前記2回目の符号化の解像度は、前記1回目の符号化の解像度以下である。
【0010】
本開示の態様によると、第1の符号化方式を用いて、前記第2の映像データを1回目の符号化して、前記符号化映像を得るステップは、第1のエントロピー符号化方式を用いて、前記第2の映像データをリアルタイム符号化して、前記符号化映像を得るステップを含む。
【0011】
本開示の態様によると、前記第2の符号化方式を用いて、前記合成映像データを2回目の符号化して、前記対象映像を得るステップは、第2のエントロピー符号化方式を用いて、前記合成映像データを非リアルタイム符号化して、前記合成対象映像を得るステップを含む。
【0012】
本開示の態様によると、前記第2の映像の時間長は、前記第1の映像の時間長と等しい。
【0013】
本開示の第2態様による映像合成装置は、
第1の映像を取得するように構成される取得モジュールと、
リアルタイムで撮像された第2の映像データを収集するように構成される収集モジュールと、
前記第2の映像データを1回目の符号化して符号化映像を得るように構成される第1の符号化モジュールと、
前記第1の映像と前記符号化映像とを合成して合成映像データを得るように構成される映像合成モジュールと、
前記合成映像データを2回目の符号化して対象映像を得るように構成される第2の符号化モジュールと、を含む。
【0014】
本開示の第3態様によるメモリとプロセッサを含むコンピュータ機器であって、前記メモリにコンピュータプログラムが記憶され、前記プロセッサが前記コンピュータプログラムを実行すると、前記コンピュータ機器に本開示の第1態様による方法の以下のステップを実現させる。
第1の映像を取得するステップと、
リアルタイムで撮像された第2の映像データを収集するステップと、
前記第2の映像データを1回目の符号化して符号化映像を得るステップと、
前記第1の映像と前記符号化映像とを合成して合成映像データを得るステップと、
前記合成映像データを2回目の符号化して、対象映像を得るステップ、
である。
【0015】
本開示の第4態様によるコンピュータ読み取り可能な記憶媒体には、プロセッサによって実行されると、本開示の第1態様による方法の以下のステップを実現するコンピュータプログラムが記憶される。
第1の映像を取得するステップと、
リアルタイムで撮像された第2の映像データを収集するステップと、
前記第2の映像データを1回目の符号化して符号化映像を得るステップと、
前記第1の映像と前記符号化映像とを合成して合成映像データを得るステップと、
前記合成映像データを2回目の符号化して、対象映像を得るステップ、
である。
【0016】
本実施形態に係る映像合成方法、装置、コンピュータ機器、及びコンピュータ読み取り可能な記憶媒体により、対象映像画面ロスが少なく、映像画面の明瞭度が高く、なる。
【図面の簡単な説明】
【0017】
図1図1は、本開示の実施形態に係る映像合成システムのユースケース図である。
図2図2は、本開示の実施形態に係る映像合成方法の流れを示したフローチャートである。
図3図3は、本開示の実施形態に係るアプリケーションインターフェースの概略図である。
図4図4は、本開示の他の実施形態に係る映像合成方法の流れを模式的に示す図である。
図5図5は、本開示の実施形態に係る映像合成装置の概略構成図である。
図6図6は、本開示の実施形態に係るコンピュータ機器の構成図である。
【発明を実施するための形態】
【0018】
本開示の実施形態の目的、技術案、及び利点をより明確にするため、以下、本開示の実施形態の技術的特徴について、本開示における図面と組み合わせて明確かつ一義的に説明する。このように、本開示の実施形態は、すべての実施形態ではなく、本開示の一部の形態であることは明らかである。本開示における実施形態に基づいて、当業者が、創造的な労働なしに得られるあらゆる他の実施形態は、本開示の範囲に属するものである。
【0019】
本開示の実施形態に係る映像合成方法は、図1に示す映像合成システムのユースケースに適用することが可能である。ただし、コンピュータ機器110は、スマートフォン、タブレット、ノートパソコン、デスクトップパソコン、又はパーソナルデジタルアシスタント等の映像撮影や処理機能を有する電子機器であってもよいし、本開示の実施形態は、コンピュータ機器110の具体的な態様に限定されない。なお、コンピュータ機器110は、各種アプリケーション(例えばアプリケーション111)の動作をサポートしてもよい。また、アプリケーション111は、コンピュータ機器110の画像収集装置により合成対象映像の映像素材を取得し、映像データ素材を合成して対応する映像を得て、その得られた映像をアプリケーション111のインターフェースを介して出力することができる。また、アプリケーション111は、映像、画像などの素材処理アプリケーションであってもよいし、ブラウザアプリケーションなどであってもよい。本開示の実施形態のアプリケーション111の具体的な形式は、限定されない。
【0020】
なお、本開示の実施形態に係る映像合成方法は、実行主体が映像合成装置であって、コンピュータ機器となる一部又は全部を、ソフトウェア、ハードウェア、又はソフトハードウェアの組み合わせによって実現してもよい。
【0021】
本開示の目的、技術案、及び利点をより明らかにするため、下記の実施形態により、図面を結合して、本開示の実施形態における技術的思想を更に詳細に説明する。なお、ここで述べる具体的な実施形態は本開示のみを解釈するためのものであり、本開示を限定するものではない。
【0022】
図2は、本開示の実施形態に係る映像合成方法の流れを示したフローチャートである。本開示の実施形態は、コンピュータ機器が第1の合成映像データを符号化して第2の合成映像を得る具体的な手順に関する。図2に示すように、この映像合成方法は、下記のS101~S105を含む。
【0023】
S101において、第1の映像を取得する。
【0024】
本開示の一実施形態において、前記第1の映像は、コンピュータ機器がローカルに記憶する映像、コンピュータ機器が予め撮影し保持しているローカル映像、コンピュータ機器が予めダウンロードし保持しているローカル映像であってもよいし、クラウド側が記憶している映像であってもよいが、本開示の実施形態は何ら限定されるものではない。
【0025】
なお、コンピュータ機器は、受信したタップ指示に従って第1の映像を取得することができ、取得された第1の映像は、任意の1つのローカル映像であってもよいが、本開示の実施形態について何ら限定されるものではない。
【0026】
S102において、リアルタイムで撮影された第2の映像データを収集する。
【0027】
本開示の一実施形態において、コンピュータ機器は、受信した撮影指示に従って、第2の映像データをリアルタイムで撮影することができる。また、上述した撮影コマンドは、ユーザがコンピュータ機器上の撮影ボタン(例えば、ハードウェアボタン、仮想ボタン、インタラクションインターフェース、など)を押下することによって生成され得る。なお、コンピュータ機器がアプリケーションを開いた後のインターフェースは、例えば図3に示すインターフェースであってもよく、当該アプリケーションがスプリットビュー機能を有していてもよい。図3に示すように、ローカル映像再生エリア及び撮影映像再生エリアの位置は、アプリケーションにより予め設定されている。
【0028】
例えば、図3を参照すると、ユーザは、アプリケーションを開いて、右側のローカル映像再生領域をクリックして、ローカルに保存された一つの映像を選択可能とし、撮影ボタンを押したままで左側の撮影映像再生領域からリアルタイムで撮影された映像を収集することを可能とし、撮影時間長が第1の映像の時間長に等しい場合に、自動的に撮影を終了する。あるいは、第1の映像の時間長よりも撮影時間長が短い場合、撮影ボタンを離すようにしてもよく、その際、第1の小映像の撮影が終了し、再び撮影ボタンを押したままで、第2の小映像の撮影が始まり、撮影された最後の小映像の時間長と以前の全ての小映像の撮影の時間長の和が第1の映像の時間長に相当するまで、自動的に撮影が終了する。
【0029】
また、第2の映像の時間長と第1の映像の時間長とは等しい。
【0030】
また、ユーザは、第2の映像を撮影する過程において、第2の映像の時間長が第1の映像の時間長に等しくなるまでコンピュータ機器における撮影ボタンを一度に押下することができ、撮影が自動的に終了する。なお、ユーザは、コンピュータ機器における撮影ボタンを複数回押下して、リアルタイムで撮影された第2の映像データを得ることができ、複数回のボタン撮影ボタンの時間長の和が、第1の映像の時間長に等しい。例えば、第1の映像の時間長が6分であり、ユーザが撮影ボタンを3回押すことによりリアルタイムで撮影された第2の映像データを得て、1回目に撮影ボタンを押す時間長が1分であり、終了後、1回目の撮影後に2回目に撮影ボタンを押す時間長が2分であれば、3回目に撮影ボタンを押してから今度の撮影の時間長が3分である時に、撮影が自動的に終了する。また、前記第2の映像データの解像度及びコードレートは、コンピュータ機器に第2の映像データに対応のソフトウェアを撮影する初期値に基づいて決定されてよく、前記第2の映像データを撮影するソフトウェアの決定後に、前記第2の映像データの解像度及びコードレートを決定することができる。
【0031】
S103において、第2の映像データを1回目に符号化して、符号化映像を得る。
【0032】
具体的には、コンピュータ機器は、第2の映像データをリアルタイムで撮影する過程において、リアルタイムで撮影された第2の映像データを1回目に符号化して、符号化映像を得る。
【0033】
なお、前記1回目の符号化は、特定の圧縮技術としては、ある映像フォーマットのファイルを別の映像フォーマットファイルに変換する方式を表すことができる。
【0034】
S104において、第1の映像と符号化映像とを合成して、合成映像データを得る。
【0035】
なお、符号化映像を得た後、コンピュータ機器に自動的に第1の映像と符号化映像を合成させて合成映像データを生成することができる。その過程において、コンピュータ機器は、アプリケーションプログラムのインターフェースに、合成済み映像データのパーセントを表現可能なロードデータの文様を表示し、かつ、そのロード度を表示させることができる。
【0036】
S105において、合成映像データを2回目に符号化して、対象映像を得る。
【0037】
本開示の一実施形態において、コンピュータ機器は、合成映像データを2回目に符号化して、対象映像を得ることができる。なお、対象映像の時間長と合成映像の時間長とは等しくてもよい。また、前記2回目の符号化は、ある映像フォーマットのファイルを別の映像フォーマットファイルに変換する方式を、特定の圧縮技術として表すことができる。また、ユーザのニーズに応じて対象映像の解像度やコードレートを自ら決定してもよい。
【0038】
なお、合成映像データを得た後に、コンピュータ機器は、合成映像データを自動的に2回目に符号化することができる。同時に、2回目の符号化が完了すると、コンピュータ機器は、符号化された対象映像を再生することができる。
【0039】
本実施形態に係る映像合成方法により、コンピュータ機器で得られる対象映像画面の損失が少なく、映像画面の解像度が高くなる。
【0040】
図4は、本開示の他の実施形態に係る、ステップS101、S102、S1031、S104、S1051を具体的に含む映像合成方法の流れを説明する図であり、ステップS101、S102、S104は前記内容と同様であるので、説明を省略する。
【0041】
S1031において、第1の符号化方式を用いて、第2の映像データを1回目に符号化して、符号化映像を得る。
【0042】
具体的に、コンピュータ機器は、第2の映像データをリアルタイムで撮影する過程において、第1の符号化方式を用いて、リアルタイムで撮影される第2の映像データを第1に可逆符号化して、符号化映像を得る。
【0043】
なお、1回目の符号化で得られた符号化映像の鮮鋭度は、リアルタイムで撮影された第2の映像の鮮鋭度と一致であることができる。
【0044】
S1051において、第2の符号化方式を用いて、合成映像データを2回目に符号化して、対象符号化映像を得る。
【0045】
ただし、第1の符号化方式と第2の符号化方式とは異なるものである。
【0046】
また、2回目の符号化におけるコードレートは、1回目の符号化におけるコードレートよりも小さく、2回目の符号化における解像度は、1回目の符号化における解像度以下である。
【0047】
本開示の一実施形態において、コンピュータ機器は、第2の符号化方式を用いて、合成映像データを第2に可逆符号化して、対象画像を得て、2回目の符号化のコードレートは1回目の符号化のコードレートよりも小さく、2回目の符号化の解像度は1回目の符号化の解像度以下である。
【0048】
本開示の実施形態によれば、2回目の符号化の解像度及びコードレートは、それぞれ対象の映像の解像度及びコードレートと等しくてもよい。
【0049】
本実施形態に係る映像合成方法において、コンピュータ機器は、第1の符号化方式を用いて、第2の映像データを第1に可逆符号化して、1回目の符号化により符号化映像の解像度とリアルタイムで撮影された第2の映像の解像度とできるだけ等しくして、第2の符号化方式を用いて、1回目の符号化後に得られた符号化映像を1回目の符号化よりもコードレートが小さく1回目の符号化の解像度以下の2回目の符号化の解像度を用いた2回目の符号化して、対象符号化映像を得ることができる。その方法は、得られる対象符号化映像ファイルが小さい場合に、対象符号化映像画面の欠落を防ぎ、対象符号化映像画面の解像度を高く保つことができる。
【0050】
ある一実施形態では、前記第1の符号化方式を用いて、第2の映像データを1回目に符号化し、符号化映像を得る前記ステップは、第1のエントロピー符号化方式を用いて、第2の映像データがリアルタイムで符号化され、符号化映像が得られるステップ含む。
【0051】
本開示の一実施形態において、コンピュータ機器は、リアルタイムで撮影された第2の映像データを、第1のエントロピー符号化方式を用いてリアルタイムで符号化して、符号化映像を得ることができる。また、前記エントロピー符号化方式は、エントロピー原理に従って、何の情報も消失しない符号化であることを表すことができる。また、前記第1のエントロピー符号化方式は、シャノン符号化、ハフマン符号化、算術符号化、又はゴロム符号化等であってもよいが、限定されてはいない。
【0052】
なお、前記リアルタイム符号化は、符号化映像の全フレーム数が一定で、且つ、符号化の速度が一定であることを表すことができる。
【0053】
本実施形態に係る映像合成方法において、コンピュータ機器は、第1のエントロピー符号化方式を用いて第2の映像データをリアルタイムで符号化し、符号化のコードレートが大きく保たれる場合に、映像画面の欠落を防ぎ、得られる符号化映像の解像度を高く保つ。
【0054】
本開示の実施形態では、上述の第2の符号化方式を用いて、合成映像データを2回目に符号化して、対象映像を得るステップは、第2のエントロピー符号化方式を用いて合成映像データを非リアルタイムで符号化し、対象映像を得るステップを含む。
【0055】
本開示の一実施形態において、コンピュータ機器は、第2のエントロピー符号化方式を用いて、1回目の符号化で得られた合成映像データを非リアルタイムで符号化して、対象映像を得る。また、前記第2のエントロピー符号化方式は、シャノン符号化、ハフマン符号化、算術符号化、又はゴロム符号化等であってもよいが、本実施形態に限定されてはいない。また、前記ノンリアルタイム符号化は、符号化映像データの総フレーム数が一定であることを示すものであってもよく、符号化の速度に何ら限定されず、符号化映像データの総時間長のみを考慮する必要がある。また、非リアルタイム符号化の符号化速度は、リアルタイム符号化の符号化速度よりも遅くてもよい。
【0056】
本実施形態において、コンピュータ機器は、第2のエントロピー符号化方式を用いて、合成映像データを非リアルタイムで符号化することで、映像符号化のコードレートが小さい場合、得られる対象映像の画面ロスが少なく、鮮明性が高いことを保証することができる映像合成方法を提供する。
【0057】
なお、図2図4のフローチャートの各ステップは、矢印の指示に従って順次に表示されているが、必ずしも、矢印の指示に従って順次実行される必要はない。また、本明細書中で明示的に説明されていなければ、これらのステップの実行は、厳密な順序に限定されず、他の順序で実行されてもよい。また、図2図4の少なくとも一部のステップが、複数のサブステップ又は複数のフェーズを含んでいてもよく、これらサブステップ又はフェーズは、必ずしも同一のタイミングで実行完了する必要はなく、異なるタイミングで実行されてもよい。これらのサブステップ又はフェーズの実行順序も必ずしも順次に行われる必要はなく、他のステップ、又は他のステップのサブステップ、もしくはフェーズの少なくとも一部と、順次または交互に実行されてもよい。
【0058】
映像合成装置の具体的な記述については、上述した映像合成方法に関する説明を参照することができ、説明を省略する。前記コンピュータ機器の映像合成装置の各ブロックの全部又は一部は、ソフトウェア、ハードウェア、及び、それらの組み合わせにより実現され得る。前記の各モジュールは、コンピュータ機器のうちプロセッサとハードウェア的に内藏あるいは独立されていてもよいし、コンピュータ機器のメモリにソフトウェア的に記憶されており、プロセッサが前記の各モジュールに対応する動作を呼び出し、実行するようにしてもよい。
【0059】
図5は、一実施形態に係る映像合成装置の構成図である。図5に示すように、この装置は、取得モジュール11と、収集モジュール12と、第1の符号化モジュール13と、映像合成モジュール14と、第2の符号化モジュール15とを含むことができる。
【0060】
本開示の一実施形態において、取得モジュール11は、第1の映像を取得することができる。
【0061】
収集モジュール12は、リアルタイムで撮像された第2の映像データを収集することができる。
【0062】
第1の符号化モジュール13は、第2の映像データを1回目に符号化して、符号化映像を得ることができる。
【0063】
映像合成モジュール14は、第1の映像と符号化映像とを合成して、合成映像データを得ることができる。
【0064】
第2の符号化モジュール15は、合成映像データを2回目に符号化して、対象映像を得ることができる。
【0065】
また、第2の映像の時間長と第1の映像の時間長とは、等しい。
【0066】
本実施形態に係る映像合成装置は、上述した方法の実施形態を実行することができ、その原理や技術効果を同様とすることができ、説明を省略する。
【0067】
また、本開示の他の実施形態は、映像合成装置を提供する。図5に示す映像合成装置と異なり、第1の符号化モジュール13が、第1の符号化方式を用いて第2の映像データを1回目に符号化して、符号化映像を得ることができ、第2の符号化モジュール15が第2の符号化方式を用いて合成映像データを2回目に符号化して、対象映像を得ることができる。ここで、2回目の符号化のコードレートは、1回目の符号化のコードレートよりも小さい。また、2回目の符号化の解像度は、1回目の符号化の解像度以下である。
【0068】
本実施形態に係る映像合成装置は、上述した方法の実施形態を実行することができ、その原理や技術効果を同様とすることができ、説明を省略する。
【0069】
また、図5を参照しながら、図5に示す実施形態の上で、第1の符号化モジュール13は、さらに、第1のエントロピー符号化方式を用いて、第2の映像データをリアルタイムで符号化して合成映像データを得ることができる。
【0070】
本実施形態に係る映像合成装置は、上述した方法の実施形態を実行することができ、その原理や技術効果を同様とすることができ、説明を省略する。
【0071】
本開示の実施形態では、第2の符号化モジュール15は、さらに、第2のエントロピー符号化方式を用いて、合成映像データを非リアルタイムで符号化して、対象映像を得ることができる。
【0072】
本実施形態に係る映像合成装置は、上述した方法の実施形態を実行することができ、その原理や技術効果を同様とすることができ、説明を省略する。
【0073】
一実施形態において、図6に示すような内部構造図を実現することができるコンピュータ機器が提供される。コンピュータ機器は、システムバスを介して接続されるプロセッサと、メモリと、ネットワークインターフェースと、表示パネルと、入力装置と、を含む。その中で、このコンピュータ機器のプロセッサは、演算及び制御能力を提供するものである。このコンピュータ機器のメモリは、不揮発性の記憶媒体と、内部メモリとを含む。この不揮発性記憶媒体には、オペレーティングシステム及びコンピュータプログラムが記憶される。この内部メモリは、不揮発性記憶媒体におけるオペレーティングシステムおよびコンピュータプログラムの実行に対する環境を提供する。このコンピュータ機器のネットワークインターフェースは、外部の端末とネットワーク接続を介して通信するためのものである。このコンピュータプログラムは、プロセッサによって実行されることで、本開示の映像合成方法を実現する。このコンピュータ機器の表示パネルは、液晶ディスプレイあるいは電子インクディスプレイであってよい。このコンピュータ機器の入力装置は、表示画面に被せられるタッチ層であってもよいし、コンピュータ機器筐体に設けられたキー、トラックボール、またはタッチパッドであってもよいし、外部のキーボード、タッチパッド、またはマウス、等であってもよい。
【0074】
当業者であれば、図6に示した構成は、単なる本開示に係る一部の構成のブロックに過ぎず、本開示に係る構成を適用するコンピュータ機器に限定されるものではなく、具体的なコンピュータ機器は、図示した部品より多くまたは少なく、あるいは、何らかの部品を組み合わせたり、異なる部品の配置を有したりすることが可能であることが分かる。
【0075】
本開示の実施形態において、コンピュータプログラムを格納するメモリと、コンピュータプログラムを実行すると以下のステップが実現されるプロセッサと、を含むコンピュータ機器が提供される。
第1の映像を取得するステップと、
リアルタイムで撮像された第2の映像データを収集するステップと、
前記第2の映像データを1回目の符号化して符号化映像を得るステップと、
前記第1の映像と前記符号化映像とを合成して合成映像データを得るステップと、
前記合成映像データを2回目の符号化して、対象映像を得るステップ、である。
【0076】
一実施形態において、プロセッサによって実行される時に下記の方法のことを実現するコンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体が提供される。
第1の映像を取得するステップと、
リアルタイムで撮像された第2の映像データを収集するステップと、
前記第2の映像データを1回目の符号化して符号化映像を得るステップと、
前記第1の映像と前記符号化映像とを合成して合成映像データを得るステップと、
前記合成映像データを2回目の符号化して、対象映像を得るステップと、を含む。
【0077】
当業者であれば、コンピュータプログラムによって関連するハードウェアを指令することにより、上述の実施形態の方法の全部又は一部の流れを実現することは理解できる。コンピュータプログラムは、一つの不揮発性のコンピュータ読み取り可能な記憶媒体に記憶されていてもよく、コンピュータプログラムの実行時に、上述した各方法の実施形態の流れが含まれていてもよい。なお、本明細書に開示する各実施形態で用いられるメモリや、ストレージ、データベース、その他のメディアに対する参照は、不揮発性及び/又は揮発性メモリも含み得る。不揮発性メモリは、ROM(Read Only Memory ROM)、プログラマブルROM(PROM)、EPROM(Electro Programmable ROM)、EEPROM(EEPROM)、またはフラッシュメモリを備えることができる。揮発性メモリは、RAM(RandomAccessMemory)又は外部キャッシュメモリを含むことができる。なお、説明のため限定されず、RAMは、例えば、スタティックRAM(SRAM)、ダイナミックRAM(DRAM)、同期DRAM(SDRAM)、デュアルデータレートSDRAM(DDRSDRAM)、エンハンスメント型SDRAM(ESDRAM)、同期リンク(Synchlink)DRAM(SLDRAM)、ダイレクトバス(Rambus)RAM(DRRAM)メモリ、ダイレクトバス・ダイナミックRAM(DRDRRAM)メモリ、及び、バスダイナミックRAM(RDRAM)メモリ、等、様々な形式で得ることができる。
【0078】
以上、前記の実施形態は、本開示のいくつかの実施形態を表現しているだけであり、その説明は具体的であり、説明は詳細なものであるが、本開示の特許請求の範囲を制限するものとは理解されない。なお、当業者にとって、本開示の技術的範囲を逸脱することなく、いくつかの変形、改良を加えることも可能である。従って、本開示特許の保護範囲は、
添付請求項に準ずるべきである。
図1
図2
図3
図4
図5
図6
【国際調査報告】