特許 6543644 ビデオ処理方法、装置、プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6543644

(24)【登録日】2019年6月21日

(45)【発行日】2019年7月10日

(54)【発明の名称】ビデオ処理方法、装置、プログラム及び記録媒体

(51)【国際特許分類】

   H04N 21/854 20110101AFI20190628BHJP

   H04N 21/234 20110101ALI20190628BHJP

【ＦＩ】

   H04N21/854

   H04N21/234

【請求項の数】11

【全頁数】18

(21)【出願番号】特願2016-560471(P2016-560471)

(86)(22)【出願日】2016年7月29日

(65)【公表番号】特表2018-519679(P2018-519679A)

(43)【公表日】2018年7月19日

(86)【国際出願番号】CN2016092175

(87)【国際公開番号】WO2017181551

(87)【国際公開日】20171026

【審査請求日】2016年9月29日

(31)【優先権主張番号】201610258583.7

(32)【優先日】2016年4月22日

(33)【優先権主張国】CN

【前置審査】

(73)【特許権者】

【識別番号】516180667

【氏名又は名称】北京小米移動軟件有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人 ユニアス国際特許事務所

(72)【発明者】

【氏名】李 志▲剛▼

(72)【発明者】

【氏名】▲孫▼ 恒

(72)【発明者】

【氏名】▲張▼ 洋

【審査官】 富樫 明

(56)【参考文献】

【文献】 国際公開第２０１６／０６１２６１（ＷＯ，Ａ１）

【文献】 特開２００１−３０９４８３（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０２４４７５（ＷＯ，Ａ１）

【文献】 特表２０１３−５３４７９１（ＪＰ，Ａ）

【文献】 橋本 浩二, 外1名，複数ビデオソースの動的な構成を可能とするライブ中継用ミキサ，情報処理学会論文誌, [online]，日本，情報処理学会，２０１６年 １月１５日，第57巻, 第1号，pp.157-171

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

カメラを有する移動端末に実現されるビデオ処理方法であって、
他の複数の移動端末各々から送信される多重ビデオ画像を受信し、ローカルのビデオ画像を収集するステップと、
前記ローカルのビデオ画像、及び前記多重ビデオ画像を表示するステップと、
ユーザから入力されたターゲットビデオ画像の選択命令を獲得するステップと、
前記多重ビデオ画像のモードを判断し、前記多重ビデオ画像がＰＩＰモードに属する場合、前記多重ビデオ画像に対して重ね合わせ処理を行い、前記多重ビデオ画像がモニタリングモードに属する場合、前記多重ビデオ画像に対してスティッチング処理を行うステップと、
他のクライアントに前記ターゲットビデオ画像を送信するステップと、
を含み、
ここで、前記ビデオ画像の選択命令には、ターゲットビデオ画像の識別子が含まれており、前記ターゲットビデオ画像は、前記ローカルのビデオ画像及び前記多重ビデオ画像のうちの少なくとも１つのパスのビデオ画像であり、
前記ターゲットビデオ画像が前記多重ビデオ画像である場合、前記他のクライアントに前記ターゲットビデオ画像を送信するステップは、処理された前記多重ビデオ画像を前記他のクライアントに送信するステップを含むことを特徴とするビデオ処理方法。

【請求項2】

前記方法は、
ユーザから入力されたターゲットビデオ画像の切り替え命令を獲得すると、切り替えられたターゲットビデオ画像を他のクライアントに送信するステップをさらに含むことを特徴とする請求項１に記載のビデオ処理方法。

【請求項3】

前記ターゲットビデオ画像の選択命令、及び前記ターゲットビデオ画像の切り替え命令は、音声制御命令であることを特徴とする請求項２に記載のビデオ処理方法。

【請求項4】

前記方法は、
他の複数の移動端末各々から送信される複数のオーディオ情報を受信するステップと、
前記複数のオーディオ情報に対して平滑化処理を行ってターゲットオーディオ情報を得るステップと、
他のクライアントに前記ターゲットオーディオ情報を送信するステップと、
をさらに含むことを特徴とする請求項２に記載のビデオ処理方法。

【請求項5】

カメラを有する移動端末に実現されるビデオ処理装置であって、
他の複数の移動端末各々から送信される多重ビデオ画像を受信するように構成される第１の受信モジュールと、
ローカルのビデオ画像を収集するように構成される収集モジュールと、
前記第１の受信モジュールにより受信された前記多重ビデオ画像、及び収集された前記ローカルのビデオ画像を表示するように構成される表示モジュールと、
ユーザから入力されたターゲットビデオ画像の選択命令を獲得するように構成される獲得モジュールと、
他のクライアントに前記ターゲットビデオ画像を送信するように構成され、前記多重ビデオ画像のモードを判断し、前記多重ビデオ画像がＰＩＰモードに属する場合、前記多重ビデオ画像に対して重ね合わせ処理を行い、前記多重ビデオ画像がモニタリングモードに属する場合、前記多重ビデオ画像に対してスティッチング処理を行い、前記ターゲットビデオ画像が前記多重ビデオ画像である場合、処理された前記多重ビデオ画像を前記他のクライアントに送信する第１の送信モジュールと、
を含み、
ここで、前記ビデオ画像の選択命令には、ターゲットビデオ画像の識別子が含まれており、前記ターゲットビデオ画像は、前記表示モジュールにより表示された前記ローカルのビデオ画像及び前記多重ビデオ画像のうちの少なくとも１つのパスのビデオ画像であることを特徴とするビデオ処理装置。

【請求項6】

前記装置は、
ユーザから入力されたターゲットビデオ画像の切り替え命令を獲得すると、切り替えられたターゲットビデオ画像を他のクライアントに送信するように構成される獲得送信モジュールをさらに含むことを特徴とする請求項５に記載のビデオ処理装置。

【請求項7】

前記ターゲットビデオ画像の選択命令、及び前記ターゲットビデオ画像の切り替え命令は、音声制御命令であることを特徴とする請求項６に記載のビデオ処理装置。

【請求項8】

前記装置は、
他の複数の移動端末各々から送信される複数のオーディオ情報を受信するように構成される第２の受信モジュールと、
前記第２の受信モジュールにより受信された前記複数のオーディオ情報に対して平滑化処理を行って、ターゲットオーディオ情報を得るように構成される処理モジュールと、
前記処理モジュールにより得られた前記ターゲットオーディオ情報を他のクライアントに送信するように構成される第２の送信モジュールと、
をさらに含むことを特徴とする請求項６に記載のビデオ処理装置。

【請求項9】

カメラを有する移動端末に実現されるビデオ処理装置であって、
プロセッサと、
前記プロセッサにより実行可能な命令を記憶するためのメモリと、
を含み、
前記プロセッサは、
他の複数の移動端末各々から送信される多重ビデオ画像を受信し、ローカルのビデオ画像を収集し、
前記ローカルのビデオ画像、及び前記多重ビデオ画像を表示し、
ユーザから入力されたターゲットビデオ画像の選択命令を獲得し、
前記多重ビデオ画像のモードを判断し、前記多重ビデオ画像がＰＩＰモードに属する場合、前記多重ビデオ画像に対して重ね合わせ処理を行い、前記多重ビデオ画像がモニタリングモードに属する場合、前記多重ビデオ画像に対してスティッチング処理を行い、
他のクライアントに前記ターゲットビデオ画像を送信するように構成され、
ここで、前記ビデオ画像の選択命令には、ターゲットビデオ画像の識別子が含まれており、前記ターゲットビデオ画像は、前記ローカルのビデオ画像及び前記多重ビデオ画像のうちの少なくとも１つのパスのビデオ画像であり、
前記ターゲットビデオ画像が前記多重ビデオ画像である場合、前記他のクライアントに前記ターゲットビデオ画像を送信することは、処理された前記多重ビデオ画像を前記他のクライアントに送信することを特徴とするビデオ処理装置。

【請求項10】

プロセッサに実行されることにより、請求項１から請求項４のいずれかに記載の方法を実現する記録媒体に記録されたプログラム。

【請求項11】

請求項１０に記載のプログラムが記録された記録媒体。

【発明の詳細な説明】

【相互参照】

【0001】

本願は、出願番号がＣＮ２０１６１０２５８５８３．７であって、出願日が２０１６年４月２２日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。

【技術分野】

【0002】

本発明は、通信技術分野に関するものであって、特に、ビデオ処理方法、装置、プログラム及び記録媒体に関するものである。

【背景技術】

【0003】

ビデオライブ中継は、インターネット、及びストリーミングミディア技術を利用してライブ中継することであり、ビデオは、画像、文字、音などの豊かな要素が融合されているため、その音と形状が豊かであり、効果が非常によく、ますますインターネットの主流の表現方式になって来た。

【0004】

一方、携帯電話のビデオライブ中継は、スマートフォンを利用してリアルタイムの撮影を実現し、所在地で発生した事件をいつでもどこでもスマートフォンを通じて複数の観衆に共有する。しかしながら、現在の携帯電話のビデオライブ中継は、その内容が比較的単一であり、ユーザ体験が悪い。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、関連技術に存在する問題を克服するために、ビデオ処理方法、装置、プログラム及び記録媒体を提供する。

【課題を解決するための手段】

【0006】

本発明の実施例の第１の局面によると、ビデオ処理方法を提供し、当該方法は、
複数の移動端末各々から送信される多重ビデオ画像を受信するステップと、
前記多重ビデオ画像を表示するステップと、
ユーザから入力されたターゲットビデオ画像の選択命令を獲得するステップと、
他のクライアントに前記ターゲットビデオ画像を送信するステップと、
を含み、
ここで、前記ビデオ画像の選択命令には、ターゲットビデオ画像の識別子が含まれており、前記ターゲットビデオ画像は、多重ビデオ画像のうちの少なくとも１つのパスのビデオ画像である。

【0007】

１つの実施例において、前記多重ビデオ画像を表示するステップ以前に、
ローカルのビデオ画像を収集するステップをさらに含み、
前記多重ビデオ画像を表示するステップは、
前記ローカルのビデオ画像、及び前記多重ビデオ画像を表示するステップを含む。

【0008】

１つの実施例において、ターゲットビデオ画像が多重ビデオ画像である場合、前記他のクライアントに前記ターゲットビデオ画像を送信するステップは、
ターゲットビデオ画像のうちの多重ビデオ画像に対して重ね合わせ処理またはスティッチング処理を行い、処理されたビデオ画像を他のクライアントに送信するステップを含む。

【0009】

１つの実施例において、前記方法は、
ユーザから入力されたターゲットビデオ画像の切り替え命令を獲得すると、切り替えられたターゲットビデオ画像を他のクライアントに送信するステップをさらに含む。

【0010】

１つの実施例において、前記ターゲットビデオ画像の選択命令、及び前記ターゲットビデオ画像の切り替え命令は、音声制御命令である。

【0011】

１つの実施例において、前記方法は、
複数の移動端末各々から送信される複数のオーディオ情報を受信するステップと、
前記複数のオーディオ情報に対して平滑化処理を行ってターゲットオーディオ情報を得るステップと、
他のクライアントに前記ターゲットオーディオ情報を送信するステップと、
をさらに含む。

【0012】

本発明の実施例の第２の局面によると、ビディオ処理装置を提供し、当該装置は、
複数の移動端末各々から送信される多重ビデオ画像を受信するように構成される第１の受信モジュールと、
前記第１の受信モジュールにより受信された前記多重ビデオ画像を表示するように構成される表示モジュールと、
ユーザから入力されたターゲットビデオ画像の選択命令を獲得するように構成される獲得モジュールと、
他のクライアントに前記ターゲットビデオ画像を送信するように構成される第１の送信モジュールと、
を含み、
ここで、前記ビデオ画像の選択命令には、ターゲットビデオ画像の識別子が含まれており、前記ターゲットビデオ画像は、前記表示モジュールにより表示された多重ビデオ画像のうちの少なくとも１つのパスのビデオ画像である。

【0013】

１つの実施例において、前記装置は、
前記表示モジュールが前記多重ビデオ画像を表示する前に、ローカルのビデオ画像を収集するように構成される収集モジュールをさらに含み、
ここで、前記表示モジュールは、前記ローカルのビデオ画像、及び前記多重ビデオ画像を表示するように構成される。

【0014】

１つの実施例において、ターゲットビデオ画像が多重ビデオ画像である場合、前記第１の送信モジュールは、
ターゲットビデオ画像のうちの多重ビデオ画像に対して重ね合わせ処理またはスティッチング処理を行い、他のクライアントに処理されたビデオ画像を送信するように構成される。

【0015】

１つの実施例において、前記装置は、
ユーザから入力されたターゲットビデオ画像の切り替え命令を獲得すると、切り替えられたターゲットビデオ画像を他のクライアントに送信するように構成される獲得送信モジュールをさらに含む。

【0016】

１つの実施例において、前記ターゲットビデオ画像の選択命令、及び前記ターゲットビデオ画像の切り替え命令は、音声制御命令である。

【0017】

１つの実施例において、前記装置は、
複数の移動端末各々から送信される複数のオーディオ情報を受信するように構成される第２の受信モジュールと、
前記第２の受信モジュールにより受信された前記複数のオーディオ情報に対して平滑化処理を行って、ターゲットオーディオ情報を得るように構成される処理モジュールと、
前記処理モジュールにより得られた前記ターゲットオーディオ情報を他のクライアントに送信するように構成される第２の送信モジュールと、
をさらに含む。

【0018】

本発明の実施例の第３の局面によると、ビディオ処理装置を提供し、当該装置は、
プロセッサと、
前記プロセッサにより実行可能な命令を記憶するためのメモリと、
を含み、
前記プロセッサは、
複数の移動端末各々から送信される多重ビデオ画像を受信し、
前記多重ビデオ画像を表示し、
ユーザから入力されたターゲットビデオ画像の選択命令を獲得し、
他のクライアントに前記ターゲットビデオ画像を送信するように構成され、
ここで、前記ビデオ画像の選択命令には、ターゲットビデオ画像の識別子が含まれており、前記ターゲットビデオ画像は、多重ビデオ画像のうちの少なくとも１つのパスのビデオ画像である。
本発明の実施例に係る第４の局面によると、プロセッサに実行されることにより、前記方法を実現する記録媒体に記録されたプログラムを提供する。
本発明の実施例に係る第５の局面によると、前記プログラムが記録された記録媒体を提供する。

【発明の効果】

【0019】

本発明の実施例に係る技術案は、下記の有益な効果を有する。

【0020】

複数の移動端末から送信された多重ビデオ画像を表示し、ユーザから入力されたターゲットビデオ画像の選択命令を獲得した後、他のクライアントにターゲットビデオ画像を送信することができ、実現過程において、多重ビデオ画像からいずれかのビデオ画像を選択してライブ中継のためのターゲットビデオ画像にすることによって、ビデオライブ中継の内容を豊かにすることができ、ユーザの体験を大幅に向上させる。

【0021】

複数の移動端末各々から送信される多重ビデオ画像を受信するときにローカルのビデオ画像を収集してもよく、ローカルのビデオ画像、及び多重ビデオ画像を表示して、ビデオのライブ中継時に、ローカルのビデオ画像、及び多重ビデオ画像からいずれかのビデオ画像を選択してターゲットビデオ画像にすることによって、ビデオライブ中継の内容を大幅に豊かにすることができ、ユーザの体験を向上させる。

【0022】

ターゲットビデオ画像のうちの多重ビデオ画像に対して重ね合わせ処理またはスティッチング処理を行うことによって、ビデオライブ中継の内容量、鮮明度またはスタイルを向上させ、ライブ中継効果を向上させる。

【0023】

ユーザから入力されたターゲットビデオ画像の切り替え命令を獲得したとき、切り替えられたターゲットビデオ画像を他のクライアントに送信することによって、ビデオ画像の切り替えを実現し、ユーザの体験を大幅に向上させる。

【0024】

ターゲットビデオ画像の選択命令、及び上記ターゲットビデオ画像の切り替え命令が音声制御命令であってもよいため、ユーザがターゲットビデオ画像を選択したり、ターゲットビデオ画像を切り替えたりするのに便利を提供する。

【0025】

受信した複数のオーディオ情報に対して平滑化処理を行って、鮮明なターゲットビデオ情報が得られ、その後、他のクライアントに鮮明なターゲットオーディオ情報を送信することによって、ユーザのビデオライブ中継体験を向上させる。

【0026】

以上の一般的な記述と、以下の詳細の記述は、ただ例示的なものであって、本発明を限定するものではないことを理解すべきである。

【図面の簡単な説明】

【0027】

ここの図面は、明細書に組み入れて本明細書の一部分を構成し、本発明に合致する実施例を例示するとともに、明細書とともに本発明の原理を解釈するために用いられる。

【図1】１つの例示的な実施例に係るビデオ処理方法のフローチャートである。

【図2】１つの例示的な実施例に係るビデオ処理方法の場面図である。

【図3】１つの例示的な実施例に係る別のビデオ処理方法のフローチャートである。

【図4】１つの例示的な実施例に係る別のビデオ処理方法のフローチャートである。

【図5】１つの例示的な実施例に係る別のビデオ処理方法のフローチャートである。

【図6A】１つの例示的な実施例に係るターゲットビデオ画像のうちの多重ビデオ画像を処理するフローチャートである。

【図6B】１つの例示的な実施例に係る多重ビデオ画像に対してスティッチング処理を行う画面模式図である。

【図6C】１つの例示的な実施例に係る多重ビデオ画像に対して重ね合わせ処理を行う画面模式図である。

【図7】１つの例示的な実施例に係るビデオ処理装置のブロック図である。

【図8】１つの例示的な実施例に係る別のビデオ処理装置のブロック図である。

【図9】１つの例示的な実施例に係る別のビデオ処理装置のブロック図である。

【図10】１つの例示的な実施例に係る別のビデオ処理装置のブロック図である。

【図11】１つの例示的な実施例に係るビデオ処理装置に適用されるブロック図である。

【発明を実施するための形態】

【0028】

ここで、例示的な実施例について詳細に説明し、その例示は図面に示される。以下、図面に関連して説明する際に、特別な説明がない限り、異なる図面での同一符号は、同一または類似な要素を示す。以下の例示的な実施例で記載する実施例は、本発明に一致する全ての実施例を代表するわけではない。かえって、それらは、添付される特許請求の範囲で詳細に記載される本発明の一部の態様に一致する装置、及び方法の例に過ぎない。

【0029】

図１は、１つの例示的な実施例に係るビデオ処理方法のフローチャートであり、図１に示されたように、当該ビデオ処理方法は、移動端末に適用され、当該移動端末は、携帯電話を含むがこれに限定されず、当該ビデオ処理方法は、下記のステップＳ１０１〜Ｓ１０４を含む。

【0030】

ステップＳ１０１において、複数の移動端末各々から送信される多重ビデオ画像を受信する。

【0031】

当該実施例において、複数の移動端末のうちの１つの移動端末をライブ中継移動端末にすることができ、当該ライブ中継移動端末は、近距離無線通信技術、例えばワイファイ（Ｗｉｆｉ）共有を通じて残りの複数の移動端末からの多重ビデオ画像を受信することができる。

【0032】

ここで、移動端末は、携帯電話であってもよく、複数の移動端末からの多重ビデオ画像は、同一の時間、異なる場面のビデオ画像、同一の時間、異なる角度のビデオ画像、及び同一の時間、異なる場面、異なる角度のビデオ画像のうちの少なくとも１つを含むがそれらに限定されない。

【0033】

ステップＳ１０２において、多重ビデオ画像を表示する。

【0034】

ライブ中継移動端末は、多重ビデオ画像を受信した後、多重ビデオ画像を表示することができる。

【0035】

ステップＳ１０３において、ユーザから入力されたターゲットビデオ画像の選択命令を獲得する。

【0036】

当該ビデオ画像の選択命令には、ターゲットビデオ画像の識別子が含まれており、ここで、ターゲットビデオ画像は、多重ビデオ画像のうちの少なくとも１つのパスのビデオ画像である。すなわち、アンカーは、多重ビデオ画像から少なくとも１つのパスのビデオ画像を選択してライブ中継することができる。

【0037】

ステップＳ１０４において、他のクライアントにターゲットビデオ画像を送信する。

【0038】

当該実施例において、ライブ中継移動端末は、ユーザから入力されたターゲットビデオ画像の選択命令を獲得した後、他のクライアントにターゲットビデオ画像を送信してビデオライブ中継を実現することができる。

【0039】

下記に、図２と合わせて本発明に対して例示的な説明を行い、図２に示されたように、ライブ中継携帯電話２１は、携帯電話２２、携帯電話２３、携帯電話２４、及び携帯電話２５からの４つのパスのビデオ画像を受信し、当該４つのパスのビデオ画像を表示し、アンカーが携帯電話２２のビデオ画像をライブ中継しようとする場合、携帯電話２１は、携帯電話２２のビデオ画像の識別子を獲得した後、サーバを通じて他のクライアントに携帯電話２２のビデオ画像を送信してビデオライブ中継を実現することができる。これから分かるように、当該実施例は、複数の移動端末からの多重ビデオ画像を受信することによって、豊かなビデオ内容を獲得することができ、そのうちのいずれかのビデオ内容を選択してライブ中継することができ、ユーザの体験を大幅に向上させる。

【0040】

上記のビデオ処理方法の実施例においては、複数の移動端末から送信された多重ビデオ画像を表示し、ユーザから入力されたターゲットビデオ画像の選択命令を獲得した後、他のクライアントにターゲットビデオ画像を送信することができ、実現過程において、多重ビデオ画像からいずれかのビデオ画像を選択してライブ中継のためのターゲットビデオ画像にすることによって、ビデオライブ中継の内容を豊かにすることができ、ユーザの体験を大幅に向上させる。

【0041】

図３は、１つの例示的な実施例に係る別のビデオ処理方法のフローチャートであり、図３に示されたように、当該方法は、下記のステップを含む。

【0042】

ステップＳ３０１において、複数の移動端末各々から送信される多重ビデオ画像を受信する。

【0043】

ステップＳ３０２において、ローカルのビデオ画像を収集する。

【0044】

当該実施例において、複数の移動端末各々から送信される多重ビデオ画像を受信するときに、ローカルのビデオ画像を収集してもよい。

【0045】

ステップＳ３０３において、ローカルのビデオ画像、及び多重ビデオ画像を表示する。

【0046】

ステップＳ３０４において、ユーザから入力されたターゲットビデオ画像の選択命令を獲得する。

【0047】

ここで、当該ターゲットビデオ画像の選択命令は、音声制御命令であってもよい。当該ビデオ画像の選択命令には、ターゲットビデオ画像の識別子が含まれてもよく、ここで、ターゲットビデオ画像は、多重ビデオ画像のうちの少なくとも１つのパスのビデオ画像である。すなわち、アンカーは、多重ビデオ画像のうちの少なくとも１つのパスのビデオ画像を選択してライブ中継することができる。

【0048】

ステップＳ３０５において、他のクライアントにターゲットビデオ画像を送信する。

【0049】

ターゲットビデオ画像が多重ビデオ画像である場合、ターゲットビデオ画像のうちの多重ビデオ画像に対して重ね合わせ処理またはスティッチング処理を行い、処理されたビデオ画像を他のクライアントに送信することができる。

【0050】

上記のビデオ処理方法の実施例においては、複数の移動端末各々から送信される多重ビデオ画像を受信するときにローカルのビデオ画像を収集してもよく、ローカルのビデオ画像、及び多重ビデオ画像を表示して、ビデオのライブ中継時に、ローカルのビデオ画像、及び多重ビデオ画像からいずれかのビデオ画像を選択してターゲットビデオ画像にすることによって、ビデオライブ中継の内容を大幅に豊かにすることができ、ユーザの体験を向上させる。

【0051】

図４は、１つの例示的な実施例に係る別のビデオ処理方法のフローチャートであり、図４に示されたように、ステップＳ１０４以降に当該方法は、下記のステップを含む。

【0052】

ステップＳ１０５において、ユーザから入力されたターゲットビデオ画像の切り替え命令を獲得すると、切り替えられたターゲットビデオ画像を他のクライアントに送信する。

【0053】

ここで、当該ターゲットビデオ画像の切り替え命令は、音声制御命令であってもよい。

【0054】

図２に示された４つのビデオ画像を例として説明すると、前にライブ中継していたビデオ画像がビデオ画像１であるが、このときユーザがビデオ画像３をライブ中継しようとする場合、アンカーが「ビデオ画像３に切り替え」という音声切り替え命令を出した後、ライブ中継携帯電話２１は、当該音声切り替え命令を獲得し、他のクライアントにビデオ画像３を送信してビデオ画像３をライブ中継することができる。

【0055】

上記のビデオ処理方法の実施例においては、ユーザから入力されたターゲットビデオ画像の切り替え命令を獲得したときに、切り替えられたターゲットビデオ画像を他のクライアントに送信することによって、ビデオ画像の切り替えを実現し、ユーザの体験を大幅に向上させる。

【0056】

図５は、１つの例示的な実施例に係る別のビデオ処理方法のフローチャートであり、図５に示されたように、図４に示された実施例を基礎とした上で、当該方法は、下記のステップをさらに含んでもよい。

【0057】

ステップＳ５０１において、複数の移動端末各々から送信される複数のオーディオ情報を受信する。

【0058】

当該実施例において、複数の移動端末各々から送信される多重ビデオ画像を受信する以外に、複数の移動端末各々から送信される複数のオーディオ情報をさらに受信することができる。

【0059】

ステップＳ５０２において、複数のオーディオ情報に対して平滑化処理を行って、ターゲットオーディオ情報を得る。

【0060】

当該実施例において、複数のオーディオ情報に対して平滑化処理を行ってノイズを除去することによって、ターゲットオーディオ情報の鮮明度を向上させることができる。

【0061】

ステップＳ５０３において、他のクライアントにターゲットオーディオ情報を送信する。

【0062】

上記の実施例は、受信した複数のオーディオ情報に対して平滑化処理を行って、鮮明なターゲットビデオ情報を得、その後に他のクライアントに鮮明なターゲットオーディオ情報を送信することによって、ユーザのビデオライブ中継の体験を向上させる。

【0063】

図６Ａは、１つの例示的な実施例に係るターゲットビデオ画像のうちの多重ビデオ画像に対して処理を実行するフローチャートであり、図６Ａに示されたように、当該過程は、下記のステップを含む。

【0064】

ステップＳ６０１において、多重ビデオ画像の間に重合画像が存在するか否かを判断し、重合画像が存在する場合、ステップＳ６０２を実行し、そうではない場合、ステップＳ６０３を実行する。

【0065】

当該実施例において、２台の携帯電話のビデオ収集角度が重合すると、収集された２つのパスのビデオ画像の間に重合画像が存在することになる。

【0066】

ステップＳ６０２において、重合画像を除去する。

【0067】

ステップＳ６０３において、多重ビデオ画像が属するモードを判断し、多重ビデオ画像がモニタリングモードに属する場合、ステップＳ６０４を実行し、多重ビデオ画像がＰＩＰ（Ｐｉｃｔｕｒｅ ｉｎ Ｐｉｃｔｕｒｅ）モードに属する場合、ステップＳ６０５を実行する。

【0068】

当該実施例において、機械学習アルゴリズムまたは神経網アルゴリズムを通じて、多重ビデオ画像の内容に基づいて多重ビデオ画像に対応する活動類型を識別し、その後、活動類型に基づいて、多重ビデオ画像が属するモードを特定することができる。

【0069】

例えば、多重ビデオ画像の内容に基づいて、現在の活動が競技活動であるかそれともお祭り活動であるか識別することができ、競技活動の場合、多重ビデオ画像がＰＩＰ モードに属すると特定することができ、お祭り活動の場合、多重ビデオ画像がモニタリングモードに属すると特定することができる。

【0070】

活動類型に基づいて多重ビデオ画像が属するモードを特定することによって、実現方式が簡単であり、正確率が高い。

【0071】

ステップＳ６０４において、多重ビデオ画像に対してスティッチング処理を行い、操作を終了する。

【0072】

当該実施例において、多重ビデオ画像がモニタリングモードに属すると特定した後、多重ビデオ画像に対してスティッチング処理を行うことができる。

【0073】

例えば、現在の活動がお祭り活動である場合、同一の時間、異なる場面の多重ビデオ画像を一幅の画像にスティッチングすることができ、図６Ｂに示されたように、場面Ａと場面Ｂの２つのパスのビデオ画像を一幅の画像にスティッチングすることによって、お祭り活動をライブ中継する目的を達成する。

【0074】

ステップＳ６０５において、多重ビデオ画像に対して重ね合わせ処理を行い、操作を終了する。

【0075】

当該実施例において、多重ビデオ画像がＰＩＰモードに属すると特定した後、多重ビデオ画像に対して重ね合わせ処理を行うことができる。

【0076】

例えば、現在の活動が競技活動である場合、１つのパスのビデオ画像を別の１つのパスのビデオ画像に重ね合わせてＰＩＰの形式を形成し、図６Ｃに示されたように、ビデオ画像Ｃをビデオ画像Ｄに重ね合わせることによって、競技活動をライブ中継する目的を達成する。

【0077】

上記のビデオ処理方法の実施例においては、多重ビデオ画像が属するモードに基づいて、多重ビデオ画像に対してスティッチング処理を行うかまたは重ね合わせ処理を行うかを決め、実現方式が柔軟であり、適切性が強く、ライブ中継効果がより良い。

【0078】

上記のビデオ処理方法の実施例に対応して、本発明は、ビデオ処理装置の実施例をさらに提供する。

【0079】

図７は、１つの例示的な実施例に係るビデオ処理装置のブロック図であり、図７に示されたように、ビデオ処理装置は、第１の受信モジュール７１、表示モジュール７２、獲得モジュール７３、及び第１の送信モジュール７４を含む。

【0080】

第１の受信モジュール７１は、複数の移動端末各々から送信される多重ビデオ画像を受信するように構成される。

【0081】

当該実施例において、複数の移動端末のうちの１つの移動端末をライブ中継移動端末にすることができ、当該ライブ中継移動端末は、近距離無線通信技術、例えばワイファイ（Ｗｉｆｉ）共有を通じて残りの複数の移動端末からの多重ビデオ画像を受信することができる。

【0082】

ここで、複数の移動端末からの多重ビデオ画像は、同一の時間、異なる場面のビデオ画像、同一の時間、異なる角度のビデオ画像、及び同一の時間、異なる場面、異なる角度のビデオ画像のうちの少なくとも１つを含むがそれらに限定されない。

【0083】

表示モジュール７２は、第１の受信モジュール７１により受信された多重ビデオ画像を表示するように構成される。

【0084】

獲得モジュール７３は、ユーザから入力されたターゲットビデオ画像の選択命令を獲得するように構成され、当該ビデオ画像の選択命令には、ターゲットビデオ画像の識別子が含まれており、ターゲットビデオ画像は、表示モジュール７２により表示された多重ビデオ画像のうちの少なくとも１つのパスのビデオ画像である。

【0085】

第１の送信モジュール７４は、他のクライアントにターゲットビデオ画像を送信するように構成される。

【0086】

当該実施例において、ユーザから入力されたターゲットビデオ画像の選択命令を獲得した後、第１の送信モジュール７４を通じて他のクライアントにターゲットビデオ画像を送信して、ビデオライブ中継を実現することができる。

【0087】

１つの実施例において、ターゲットビデオ画像が多重ビデオ画像である場合、第１の送信モジュール７４は、ターゲットビデオ画像のうちの多重ビデオ画像に対して重ね合わせ処理またはスティッチング処理を行い、処理されたビデオ画像を他のクライアントに送信するように構成されてもよい。

【0088】

図７に示された装置は、上記の図１に示された方法のフローを実現するためのものであり、関連する内容の記述は同じであり、ここで余計な説明はしない。

【0089】

上記のビデオ処理装置の実施例は、複数の移動端末から送信された多重ビデオ画像を表示し、ユーザから入力されたターゲットビデオ画像の選択命令を獲得した後、他のクライアントにターゲットビデオ画像を送信することができ、実現過程において、多重ビデオ画像からいずれかのビデオ画像を選択してライブ中継のためのターゲットビデオ画像にすることによって、ビデオライブ中継の内容を豊かにすることができ、ユーザの体験を大幅に向上させる。

【0090】

図８は、１つの例示的な実施例に係る別のビデオ処理装置のブロック図であり、図８に示されたように、上記の図７に示された実施例を基礎とした上で、当該装置は、収集モジュール７５をさらに含んでもよい。

【0091】

収集モジュール７５は、表示モジュール７２が多重ビデオ画像を表示する以前に、ローカルのビデオ画像を収集するように構成される。

【0092】

当該実施例において、複数の移動端末各々から送信される多重ビデオ画像を受信するときに、ローカルのビデオ画像を収集してもよい。

【0093】

ここで、表示モジュール７２は、ローカルのビデオ画像、及び多重ビデオ画像を表示するように構成される。

【0094】

図８に示された装置は、上記の図３に示された方法のフローを実現するためのものであり、関連する内容の記述は同じであり、ここで余計な説明はしない。

【0095】

上記のビデオ処理装置の実施例においては、複数の移動端末各々から送信される多重ビデオ画像を受信するときにローカルのビデオ画像を収集してもよく、ローカルのビデオ画像、及び多重ビデオ画像を表示して、ビデオのライブ中継時に、ローカルのビデオ画像、及び多重ビデオ画像からいずれかのビデオ画像を選択してターゲットビデオ画像にすることによって、ビデオライブ中継の内容を大幅に豊かにすることができ、ユーザの体験を向上させる。

【0096】

図９は、１つの例示的な実施例に係る別のビデオ処理装置のブロック図であり、図９に示されたように、上記の図７に示された実施例を基礎とした上で、当該装置は、獲得送信モジュール７６をさらに含んでもよい。

【0097】

獲得送信モジュール７６は、ユーザから入力されたターゲットビデオ画像の切り替え命令を獲得すると、切り替えられたターゲットビデオ画像を他のクライアントに送信するように構成される。

【0098】

ここで、当該ターゲットビデオ画像の切り替え命令は、音声制御命令であってもよい。

【0099】

図２に示された４つのビデオ画像を例として説明すると、前にライブ中継していたビデオ画像がビデオ画像１であるが、このときユーザがビデオ画像３をライブ中継しようとする場合、アンカーが「ビデオ画像３に切り替え」という音声切り替え命令を出した後、ライブ中継携帯電話２１は、当該音声切り替え命令を獲得し、他のクライアントにビデオ画像３を送信してビデオ画像３をライブ中継することができる。

【0100】

図９に示された装置は、上記の図４に示された方法のフローを実現するためのものであり、関連する内容の記述は同じであり、ここで余計な説明はしない。

【0101】

上記のビデオ処理方法の実施例においては、ユーザから入力されたターゲットビデオ画像の切り替え命令を獲得したときに、切り替えられたターゲットビデオ画像を他のクライアントに送信することによって、ビデオ画像の切り替えを実現し、ユーザの体験を大幅に向上させる。

【0102】

図１０は、１つの例示的な実施例に係る別のビデオ処理装置のブロック図であり、図１０に示されたように、上記の図９に示された実施例を基礎とした上で、当該装置は、第２の受信モジュール７７、処理モジュール７８、及び第２の送信モジュール７９をさらに含んでもよい。

【0103】

第２の受信モジュール７７は、複数の移動端末各々から送信される複数のオーディオ情報を受信するように構成される。

【0104】

当該実施例において、複数の移動端末各々から送信される多重ビデオ画像を受信する以外に、複数の移動端末各々から送信される複数のオーディオ情報をさらに受信することができる。

【0105】

処理モジュール７８は、第２の受信モジュール７８により受信された複数のオーディオ情報に対して平滑化処理を行って、ターゲットオーディオ情報を得るように構成される。

【0106】

当該実施例において、複数のオーディオ情報に対して平滑化処理を行ってノイズを除去することによって、ターゲットオーディオ情報の鮮明度を向上させることができる。

【0107】

第２の送信モジュール７９は、処理モジュール７８により得られたターゲットオーディオ情報を他のクライアントに送信するように構成される。

【0108】

図１０に示された装置は、上記の図５に示された方法のフローを実現するためのものであり、関連する内容の記述は同じであり、ここで余計な説明はしない。

【0109】

上記の実施例は、受信した複数のオーディオ情報に対して平滑化処理を行って、鮮明なターゲットビデオ情報を得、その後に他のクライアントに鮮明なターゲットオーディオ情報を送信することによって、ユーザのビデオライブ中継体験を向上させる。

【0110】

上記実施例の装置に関して、その各モジュール、サブモジュールが動作を実行する具体的な方式は、既に関連する当該方法実施例で詳細に説明したため、ここで詳細な説明は省略する。

【0111】

図１１は、１つの例示的な実施例に係るビデオ処理装置に適用されるブロック図である。例えば、装置１１００は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療設備、フィットネス装置、ＰＤＡなどである。

【0112】

図１１を参照すると、装置１１００は、プロセスアセンブリ１１０２、メモリ１１０４、電源アセンブリ１１０６、マルチメディアアセンブリ１１０８、オーディオアセンブリ１１１０、入出力（Ｉ／Ｏ）インタフェース１１１２、センサアセンブリ１１１４、及び通信アセンブリ１１１６のような１つ或いは複数のアセンブリを含んでもよい。

【0113】

プロセスアセンブリ１１０２は、一般的には装置１１００の全体の動作を制御するものであり、例えば、表示、電話呼び出し、データ通信、カメラ操作、及び記録操作と関連する操作を制御する。プロセスアセンブリ１１０２は、１つ以上のプロセッサ１１２０を含み、これらによって命令を実行することにより、上記の方法の全部、或は一部のステップを実現するようにしてもよい。なお、プロセスアセンブリ１１０２は、１つ以上のモジュールを含んでプロセスアセンブリ１１０２と他のアセンブリの間のインタラクションを容易にしてもよい。例えば、プロセスアセンブリ１１０２は、マルチメディアモジュールを含んでマルチメディアアセンブリ１１０８とプロセスアセンブリ１１０２の間のインタラクションを容易にしてもよい。

【0114】

メモリ１１０４は、各種類のデータを記憶することにより装置１１００の動作を支援するように構成される。これらのデータの例は、装置１１００において操作されるいずれのアプリケーションプログラム又は方法の命令、連絡対象データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ１１０４は、いずれかの種類の揮発性メモリ、不揮発性メモリ記憶デバイスまたはそれらの組み合わせによって実現されてもよく、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクである。

【0115】

電源アセンブリ１１０６は、装置１１００の各アセンブリに電力を供給する。電源アセンブリ１１０６は、電源管理システム、１つ或いは複数の電源、及び装置１１００のための電力の生成、管理、及び割り当てに関連する他のアセンブリを含んでもよい。

【0116】

マルチメディアアセンブリ１１０８は、上記装置１１００とユーザの間に１つの出力インタフェースを提供するスクリーンを含む。部分実施例において、スクリーンは、液晶モニター（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含むことにより、スクリーンはタッチスクリーンを実現することができ、ユーザからの入力信号を受信することができる。タッチパネルは、１つ以上のタッチセンサを含み、タッチ、スライド、及びタッチパネル上のジェスチャを検出することができる。上記タッチセンサは、タッチ、或はスライド動作の境界だけでなく、上記タッチ、或はスライド操作に係る継続時間、及び圧力も検出できる。部分実施例において、マルチメディアアセンブリ１１０８は、１つのフロントカメラ、及び／又はリアカメラを含む。装置１１００が例えば撮影モード、或はビデオモード等の操作モードにある場合、フロントカメラ、及び／又はリアカメラは外部からマルチメディアデータを受信できる。フロントカメラとリアカメラのそれぞれは、１つの固定型の光レンズ系、或は可変焦点距離と光学ズーム機能を有するものであってもよい。

【0117】

オーディオアセンブリ１１１０は、オーディオ信号を入出力するように構成される。例えば、オーディオアセンブリ１１１０は、１つのマイク（ＭＩＣ）を含み、装置１１００が例えば呼出しモード、記録モード、及び音声認識モード等の操作モードにある場合、マイクは外部のオーディオ信号を受信することができる。受信されたオーディオ信号は、さらにメモリ１１０４に記憶されたり、通信アセンブリ１１１６を介して送信されたりする。部分実施例において、オーディオアセンブリ１１１０は、オーディオ信号を出力するための１つのスピーカーをさらに含む。

【0118】

Ｉ／Ｏインタフェース１１１２は、プロセスアセンブリ１１０２と周辺インタフェースモジュールの間にインタフェースを提供するものであり、上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボタン、ボリュームボタン、起動ボタン、ロッキングボタンを含んでもよいが、これらに限定されない。

【0119】

センサアセンブリ１１１４は、装置１１００に各方面の状態に対する評価を提供するための１つ以上のセンサを含む。例えば、センサアセンブリ１１１４は、装置１１００のＯＮ／ＯＦＦ状態、装置１１００のディスプレイとキーパッドのようなアセンブリの相対的な位置決めを検出できる。また、センサアセンブリ１１１４は、装置１１００、或いは装置１１００の１つのアセンブリの位置変更、ユーザと装置１１００とが接触しているか否か、装置１１００の方位、又は加速／減速、装置１１００の温度の変化を検出できる。センサアセンブリ１１１４は、何れの物理的接触がない状態にて付近の物体の存在を検出するための近接センサを含んでもよい。センサアセンブリ１１１４は、撮影アプリケーションに適用するため、ＣＭＯＳ、又はＣＣＤ画像センサのような光センサを含んでもよい。部分実施例において、当該センサアセンブリ１１１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、及び温度センサをさらに含んでもよい。

【0120】

通信アセンブリ１１１６は、装置１１００と他の機器の間に有線、又は無線形態の通信を提供する。装置１１００は、例えばＷｉＦｉ、２Ｇ、３Ｇ、或はこれらの組み合わせのような、通信規格に基づいた無線ネットワークに接続されてもよい。１つの例示的な実施例において、通信アセンブリ１１１６は、放送チャンネルを介して外部の放送管理システムからの放送信号、又は放送に関連する情報を受信する。１つの例示的な実施例において、上記通信アセンブリ１１１６は、近距離無線通信（ＮＦＣ）モジュールをさらに含むことにより、近距離通信をプッシュする。例えば、ＮＦＣモジュールは、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ＢＴ（Ｂｌｕｅｔｏｏｔｈ）技術、及び他の技術に基づいて実現できる。

【0121】

例示的な実施例において、装置１１００は、１つ以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。

【0122】

例示的な実施例において、命令を含むコンピュータ読取り可能な非一時的な記録媒体、例えば命令を含むメモリ１１０４をさらに提供し、装置１１００のプロセッサ１１２０により上記命令を実行して上記方法を実現する。例えば、上記コンピュータ読取り可能な非一時的な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶デバイス等である。

【0123】

当業者は、明細書に対する理解、及び明細書に記載された発明に対する実施を通じて、本発明の他の実施形態を容易に得ることができる。本発明は、本発明に対する任意の変形、用途、または適応的な変化を含み、このような変形、用途、または適応的な変化は、本発明の一般的な原理に従い、本発明では開示していない本技術分野の公知の知識、または通常の技術手段を含む。明細書と実施例は、ただ例示的なものであって、本発明の本当の範囲と主旨は、以下の特許請求の範囲によって示される。

【0124】

本発明は、上記で記述し、図面で図示した特定の構成に限定されず、その範囲を離脱しない状況で、様様な修正と変更を実現できる。本発明の範囲は、添付される特許請求の範囲のみにより限定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10】

【図11】