(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-18
(45)【発行日】2024-10-28
(54)【発明の名称】ビデオデータ処理方法、装置と電子機器
(51)【国際特許分類】
H04N 21/438 20110101AFI20241021BHJP
H04N 21/442 20110101ALI20241021BHJP
【FI】
H04N21/438
H04N21/442
(21)【出願番号】P 2022570710
(86)(22)【出願日】2021-05-25
(86)【国際出願番号】 CN2021095884
(87)【国際公開番号】W WO2021238940
(87)【国際公開日】2021-12-02
【審査請求日】2022-11-18
(31)【優先権主張番号】202010457827.0
(32)【優先日】2020-05-26
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】517372494
【氏名又は名称】維沃移動通信有限公司
【氏名又は名称原語表記】VIVO MOBILE COMMUNICATION CO., LTD.
【住所又は居所原語表記】No.1, vivo Road, Chang’an, Dongguan,Guangdong 523863, China
(74)【代理人】
【識別番号】100099759
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100196601
【氏名又は名称】酒井 祐市
(72)【発明者】
【氏名】黄 江民
【審査官】醍醐 一貴
(56)【参考文献】
【文献】特開2007-208384(JP,A)
【文献】特表2015-524188(JP,A)
【文献】中国特許出願公開第108184166(CN,A)
【文献】特開2009-212842(JP,A)
【文献】前田 慎司、三浦 紳,IPTVサービスにおけるパケットロス環境下のデコーダ制御方式,第76回(平成26年)全国大会講演論文集(3) ネットワーク セキュリティ,一般社団法人情報処理学会,2014年03月11日,PP.3-19~3-20
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
(57)【特許請求の範囲】
【請求項1】
電子機器に用いられるビデオデータ処理方法であって、
ターゲットビデオフレームを構成する第一のデータパケットを受信することと、
前記ターゲットビデオフレームが破損フレームである場合に、第二のデータパケットのパケットロス率に基づいて、前記第一のデータパケットをデコーディングするかどうかを決定することとを含み、
ここで、前記第二のデータパケットは、前記電子機器が前記第一のデータパケットを受信する前の所定時間帯内に受信したデータパケットであり、
前記の、第二のデータパケットのパケットロス率に基づいて、前記第一のデータパケットをデコーディングするかどうかを決定することは、
前記第二のデータパケットのパケットロス率が予め設定される閾値よりも大きい場合に、前記第一のデータパケットを廃棄することと、
前記第二のデータパケットの前記パケットロス率が前記予め設定される閾値以下である場合に、前記第一のデータパケットをデコーディングすることとを含み、
又は、
前記の、第二のデータパケットのパケットロス率に基づいて、前記第一のデータパケットをデコーディングするかどうかを決定することは、
前記第二のデータパケットのパケットロス率に基づいて、前記ターゲットビデオフレームの破損程度を決定することと、
前記破損程度が第一の条件を満たす場合に、前記第一のデータパケットをデコーディングすることと、
前記破損程度が第二の条件を満たす場合に、前記第一のデータパケットを廃棄することとを含む、ビデオデータ処理方法。
【請求項2】
前記第一のデータパケットは、N個のデータパケットを含み、
前記の、第一のデータパケットを受信した後に、前記方法は、
前記N個のデータパケットのうちのターゲットデータパケットのデータパケット番号が不連続であると決定される場合に、前記ターゲットビデオフレームが破損フレームであると決定することをさらに含み、
ここで、前記ターゲットデータパケットは、前記ターゲットビデオフレームの終了データパケットであり、Nは、正の整数である、請求項1に記載の方法。
【請求項3】
前記パケットロス率は、パケットロス数と第一の数との比であり、前記パケットロス数は、第二の数と前記第一の数との差であり、前記第一の数は、送信端が送信した前記第二のデータパケットに対応する第一のビデオフレームのデータパケット数であり、前記第二の数は、前記第二のデータパケットのデータパケット数である、請求項1又は2に記載の方法。
【請求項4】
ビデオデータ処理装置であって、受信モジュールと実行モジュールとを含み、
前記受信モジュールは、ターゲットビデオフレームを構成する第一のデータパケットを受信するために用いられ、
前記実行モジュールは、前記受信モジュールによって受信された前記ターゲットビデオフレームが破損フレームである場合に、第二のデータパケットのパケットロス率に基づいて、前記第一のデータパケットをデコーディングするかどうかを決定するために用いられ、
ここで、前記第二のデータパケットは、前記第一のデータパケットを受信する前の所定時間帯内に受信したデータパケットであり、
前記実行モジュールは、具体的に、
前記受信モジュールによって受信された前記第二のデータパケットのパケットロス率が予め設定される閾値よりも大きい場合に、前記第一のデータパケットを廃棄し、
前記受信モジュールによって受信された前記第二のデータパケットの前記パケットロス率が前記予め設定される閾値以下である場合に、前記第一のデータパケットをデコーディングするために用いられ、
又は、
前記実行モジュールは、具体的に、
第二のデータパケットのパケットロス率に基づいて、前記ターゲットビデオフレームの破損程度を決定し、
前記破損程度が第一の条件を満たす場合に、前記第一のデータパケットをデコーディングし、
前記破損程度が第二の条件を満たす場合に、前記第一のデータパケットを廃棄するために用いられる、ビデオデータ処理装置。
【請求項5】
前記第一のデータパケットは、N個のデータパケットを含み、
前記実行モジュールは、前記N個のデータパケットのうちのターゲットデータパケットのデータパケット番号が不連続であると決定される場合に、前記ターゲットビデオフレームが破損フレームであると決定するためにも用いられ、
ここで、前記ターゲットデータパケットは、前記ターゲットビデオフレームの終了データパケットであり、Nは、正の整数である、請求項4に記載の装置。
【請求項6】
前記パケットロス率は、パケットロス数と第一の数との比であり、前記パケットロス数は、第二の数と前記第一の数との差であり、前記第一の数は、送信端が送信した前記第二のデータパケットに対応する第一のビデオフレームのデータパケット数であり、前記第二の数は、前記第二のデータパケットのデータパケット数である、請求項4又は5に記載の装置。
【請求項7】
電子機器であって、プロセッサと、メモリと、前記メモリに記憶され、且つ前記プロセッサ上で運行できるプログラム又は命令とを含み、前記プログラム又は命令が前記プロセッサにより実行される時、請求項1から3のいずれか1項に記載のビデオデータ処理方法のステップを実現する、ことを特徴とする電子機器。
【請求項8】
可読記憶媒体であって、前記可読記憶媒体にはプログラム又は命令が記憶され、前記プログラム又は命令がプロセッサにより実行される時、請求項1から3のいずれか1項に記載のビデオデータ処理方法のステップを実現する、ことを特徴とする可読記憶媒体。
【請求項9】
コンピュータプログラム製品であって、前記プログラム製品が不揮発性記憶媒体に記憶され、前記プログラム製品が少なくとも一つのプロセッサによって実行されることにより請求項1から3のいずれか1項に記載のビデオデータ処理方法を実現する、ことを特徴とするコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本出願は、2020年05月26日に中国で提出された中国特許出願番号202010457827.0の優先権を主張しており、同出願の内容のすべては、ここに参照として取り込まれる。
【0002】
本出願は、通信技術分野に属し、具体的にビデオデータ処理方法、装置と電子機器に関する。
【背景技術】
【0003】
電子機器技術の発展に伴い、電子機器(例えば携帯電話、タブレットパソコンなど)の機能がますます多くなり、ユーザは、電子機器を用いてリアルタイムビデオ伝送(例えば、ビデオ通話、ビデオ生中継など)を行うことができる。送信端電子機器と受信端電子機器との間でリアルタイムビデオ伝送を行うプロセスにおいて、送信端は、受信端にビデオデータパケットを送信し、受信端は、ビデオデータパケットを受信した後に、ビデオデータパケットをデコーディングすることによって、受信端のディスプレイにビデオインタフェースが表示される。
【0004】
関連技術では、ネットワーク環境と帯域幅リソースが不十分であるシナリオにおいて、受信端によって受信されたビデオデータパケットにパケットロス現象が発生するため、受信端は、ビデオデータパケットを受信した後に、一般的には強制デコーディング方式に従って受信されたビデオデータパケットを強制的にデコーディングする。
【0005】
このように、ビデオデータパケットのパケットロスが深刻である時、ビデオデータ品質が比較的悪いため、それによって受信端のディスプレイに表示されるビデオに大面積のぼやけが現れ、ユーザのビデオ視聴体験に影響を与える。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本出願の実施例の目的は、ビデオデータのパケットロスが深刻である時、ユーザのビデオ視聴体験への影響を解決できるビデオデータ処理方法、装置と電子機器を提供することにある。
【課題を解決するための手段】
【0007】
上記技術問題を解決するために、本出願は、以下のように実現される。
【0008】
第一の態様によれば、本出願の実施例は、ビデオデータ処理方法を提供し、この方法は、電子機器が、ターゲットビデオフレームを構成する第一のデータパケットを受信することと、この電子機器が、上記ターゲットビデオフレームが破損フレームである場合に、第二のデータパケットのパケットロス率に基づいて、上記第一のデータパケットをデコーディングするかどうかを決定することとを含み、ここで、上記第二のデータパケットは、上記電子機器が上記第一のデータパケットを受信する前の所定時間帯内に受信したデータパケットである。
【0009】
第二の態様によれば、本出願の実施例は、ビデオデータ処理装置を提供し、前記装置は、受信モジュールと実行モジュールとを含み、上記受信モジュールは、ターゲットビデオフレームを構成する第一のデータパケットを受信するために用いられ、上記実行モジュールは、上記受信モジュールによって受信された上記ターゲットビデオフレームが破損フレームであると決定される場合に、第二のデータパケットのパケットロス率に基づいて、上記第一のデータパケットをデコーディングするかどうかを決定するために用いられ、ここで、上記第二のデータパケットは、上記電子機器が上記第一のデータパケットを受信する前の所定時間帯内に受信したデータパケットである。
【0010】
第三の態様によれば、本出願の実施例は、電子機器を提供し、この電子機器は、プロセッサと、メモリと、前記メモリに記憶され、且つ前記プロセッサ上で運行できるプログラム又は命令とを含み、前記プログラム又は命令が前記プロセッサにより実行される時、第一の態様に記載の方法のステップを実現する。
【0011】
第四の態様によれば、本出願の実施例は、可読記憶媒体を提供し、前記可読記憶媒体にはプログラム又は命令が記憶され、前記プログラム又は命令がプロセッサにより実行される時、第一の態様に記載の方法のステップを実現する。
【0012】
第五の態様によれば、本出願の実施例は、チップを提供し、前記チップは、プロセッサと通信インターフェースとを含み、前記通信インターフェースは、前記プロセッサと結合され、前記プロセッサは、プログラム又は命令を運行し、第一の態様に記載の方法を実現するために用いられる。
【発明の効果】
【0013】
本出願の実施例では、電子機器が第一のデータパケットを受信した後に、この第一のデータパケットによって構成されるターゲットビデオフレームが破損フレームであると判定する場合に、第二のデータパケットが、電子機器が第一のデータパケットを受信する前の所定時間帯内に受信されたデータパケットであり、且つデータパケットのパケットロス率が、現在のネットワーク環境の品質を示すことができるため、電子機器は、直接にこの第二のデータパケットのパケットロス率に基づいて、第一のデータパケットをデコーディングするかどうかを決定することができ、即ち電子機器は、ターゲットビデオフレームが現在のネットワーク環境で最適なビデオ効果を提示することができるように、第二のデータパケットのパケットロスの状況に基づいて、ターゲットビデオフレームの処理方式を柔軟に調整することができ、それによってユーザのビデオ効果体験を向上させる。例えば、データパケットのパケットロスが比較的多い時、破損フレームを解析せず、電子機器のディスプレイに大面積のぼやけが現れることを回避し、逆に、データパケットのパケットロスが比較的少ない時、破損フレームをデコーディングして再生することで、電子機器のディスプレイに局所的なぼやけだけが現れるようにする。
【図面の簡単な説明】
【0014】
【
図1】本出願の実施例に関わる通信システムの一つの可能な構造概略図である。
【
図2】本出願の実施例によるビデオデータ処理方法のフローチャート概略図のその一である。
【
図3】本出願の実施例によるビデオデータ処理方法のフローチャート概略図のその二である。
【
図4】本発明の実施例によるビデオデータ処理装置の構造概略図である。
【
図5】本発明の実施例による電子機器の構造概略図である。
【発明を実施するための形態】
【0015】
以下は、本出願の実施例における添付図面を結び付けながら、本出願の実施例における技術案を明瞭且つ完全に記述し、明らかに、記述された実施例は、本出願の一部の実施例であり、すべての実施例ではない。本出願における実施例に基づき、当業者が創造的な労力を払わない前提で得られたすべての他の実施例は、いずれも本出願の保護範囲に属する。
【0016】
本出願の明細書と特許請求の範囲における用語である「第一の」、「第二の」などは、類似している対象を区別するものであり、特定の順序又は前後手順を記述するためのものではない。理解すべきこととして、このように使用されるデータは、適切な場合に交換可能であり、それにより本出願の実施例は、ここで図示又は記述されたもの以外の順序で実施されることが可能である。なお、明細書及び請求項における「及び/又は」は、接続される対象の少なくともそのうちの一つを表し、キャラクタである「/」は、一般的には前後関連対象が「又は」の関係であることを表す。
【0017】
以下は、本出願の実施例に出現された名詞について以下のような解釈を行う。
【0018】
1、パケットロス率
パケットロス率とは、データ伝送プロセスにおいて、送信されたデータパケットに対して、紛失したデータパケットの数が占める割合をいう。
【0019】
説明すべきこととして、パケットロスとは、一つのデータパケット全体の紛失を指し、このデータパケットの一部のデータ紛失ではない。
【0020】
ここでは、上記ターゲットビデオフレームにおける第一のデータパケットを送信する前に、送信端電子機器は、データパケットに番号を事前識別しておく方式で、受信端電子機器がパケットロス現象の有無を検出することを容易にすることができる。例えば、送信端電子機器が受信端に10個のデータパケットを含む1フレームのデータを送信する時、送信前にこの上記10個のデータパケットに1-10の番号が順に付けられ、受信端電子機器は、上記1フレームのデータを受信した時、この1フレームのデータにおけるデータパケットに番号1、4、5、10の4つのデータパケットしかないことを検出した場合に、電子機器は、番号に基づいてこのフレームのデータにパケットロス現象が存在し、パケットロス率が(10-4)/10×100%=60%であると決定することができる。
【0021】
2、データパケットとビデオフレーム
ビデオは、若干の静止画面から構成され、電子機器は、単位時間内に、高速、連続的に上記若干の静止画面(例えば、再生ビデオの1秒あたりのフレームレートは24フレーム/秒である)を再生し、最終的にビデオ画面を生成する。
【0022】
上記ビデオ伝送のプロセスにおいて、このビデオにおけるビデオデータが比較的に多いため、電子機器は、一般的には一つの統一された通信プロトコル(例えば、TCP/IPプロトコル)を予め設定しておき、受信端と送信端は、いずれもこの通信プロトコルに基づいてデータ伝送を行う。具体的には、送信端は、通信プロトコルに基づいて、伝送しようとするビデオデータを若干のデータパケットに分け、その後、上記若干のデータパケットをグルーピングしてパッケージングし、各組のデータパケットを一つのビデオフレームとしてパッケージングし、各ビデオフレームにX個のデータパケットが含まれ、伝送を行い、デコーディングプロセスにおいて、電子機器は、データパケットをビデオフレームの伝送順序に従って順にデコーディングし、最終的に所定フレームレートに従って受信端でビデオを再生する。
【0023】
以下では、図面を結び付けながら、具体的な実施例及びその応用シナリオによって、本出願の実施例によるビデオデータ処理方法を詳細に説明する。
【0024】
図1は、本出願の実施例によるビデオデータ処理案に使用される通信システム概略図である。この通信システムは、少なくとも二つの電子機器a(図には2台のみが示されている)とサーバbとを含み、ここで、
上記少なくとも二つの電子機器がリアルタイムビデオ通話を行うプロセスにおいて、送信端は、リアルタイムビデオデータをパッケージングし、ビデオデータパケットを得て、そして受信端にこのビデオデータパケットを送信し、受信端は、ビデオデータパケットを受信した後に、ビデオデータパケットをデコーディングすることによって、受信端のディスプレイ上にビデオインタフェースが表示される。
【0025】
説明すべきこととして、本出願の実施例によるビデオデータ処理方法は、受信端に適用される。
【0026】
本出願の実施例によるビデオデータ処理方法は、ビデオ通話シナリオ又は生中継シナリオに適用することができ、以下は、ビデオ通話シナリオを例にして説明する。
【0027】
関連技術では、ビデオ通話のプロセスにおいて、ネットワーク環境が比較的悪いと、電子機器が受信したビデオデータパケットにパケットロス現象が発生し、電子機器は、一般的には所定処理ポリシーに従って処理する。
【0028】
ここで、上記所定処理ポリシーは、一般的には以下のような二つを含む。
【0029】
第一の処理ポリシー:強制デコーディング方式であって、即ち電子機器は、受信されたビデオデータパケットにパケットロス現象が存在することを検出した場合に、受信されたビデオデータパケットを強制的にデコーディングして再生する。このように、電子機器が受信したビデオデータパケットのパケットロスが深刻である時、電子機器のディスプレイに大面積のぼやけが現れ、ユーザの通話効果と使用体験に深刻な影響を与える。
【0030】
第二の処理ポリシー:非デコーディング方式であって、即ち電子機器は、受信されたビデオデータパケットにパケットロス現象が存在することを検出した場合に、受信されたビデオデータパケットを廃棄し、このビデオデータパケットをデコーディングせず、この時、電子機器のディスプレイ画面には、引っかかり現象が発生する。このように、電子機器が受信したビデオデータパケットのパケットロスが深刻である時、電子機器に頻繁な引っかかり現象が発生し、それによってユーザの通話品質と体験が著しく低下する。
【0031】
本出願の実施例では、電子機器は、第一のデータパケットを受信した後に、第一のデータパケットにおけるターゲットビデオフレームが破損フレームであるかどうかを判定し、ターゲットデータパケットが破損フレームである時、電子機器は第二のデータパケットのパケットロス率に基づいて、電子機器が位置するネットワーク環境に適合する処理方式を選択して第一のデータパケットを処理し、即ち、第一のデータパケットをデコーディングするか又は第一のデータパケットをデコーディングしない。このように、最終的に電子機器のディスプレイで再生されるビデオは、電子機器が、受信された第一のデータパケットが軽微なパケットロス現象を備える時にも正常なビデオ通話が依然として可能であることを確保できるとともに、第一のデータパケットのパケットロス現象があまりにも深刻である時、表示効果があまりにも悪く、ユーザに不快な体験を与えることを回避することもできる。例えば、データパケットのパケットロスが比較的多い時、破損フレームを解析せず、電子機器のディスプレイに大面積のぼやけが現れることを回避し、逆に、データパケットのパケットロスが比較的少ない時、破損フレームをデコーディングして再生することで、電子機器のディスプレイに局所的なぼやけだけが現れるようにする。
【0032】
図2に示すように、本出願の実施例は、ビデオデータ処理方法を提供し、この方法は、ステップ201とステップ202とを含む。
【0033】
ステップ201:ビデオデータ処理装置は、ターゲットビデオフレームを構成する第一のデータパケットを受信する。
【0034】
本出願の実施例では、上記第一のデータパケットには、複数のデータパケットが含まれてもよい。
【0035】
本出願の実施例では、上記ターゲットビデオフレームは、一つのビデオフレームであってもよく、複数のビデオフレームであってもよく、本出願の実施例は、これを限定しない。
【0036】
例示的には、ビデオデータ処理装置は、第一のデータパケットを受信する時、第一のデータパケットの終了データパケットを受信したかどうかを検出することによって、この第一のデータパケットの受信が完了しているかどうかを判定することができる。
【0037】
ステップ202:ビデオデータ処理装置は、上記ターゲットビデオフレームが破損フレームである場合に、第二のデータパケットのパケットロス率に基づいて、上記第一のデータパケットをデコーディングするかどうかを決定する。
【0038】
本出願の実施例では、上記破損フレームは、パケットロス現象が存在するターゲットビデオフレームである。
【0039】
本出願の実施例では、ビデオデータ処理装置は、第二のデータパケットのパケットロス率を計算する前に、まずターゲットビデオフレームが破損フレームであるかどうかを決定する必要があり、ターゲットビデオフレームが破損フレームではなく、即ちビデオデータ処理装置がこのターゲットデータパケットにおけるすべてのデータパケットを受信した場合に、ビデオデータ処理装置は、その後の第二のデータパケットのパケットロス率を計算し、さらに処理ポリシーを決定するステップを行う必要がなく、直接にこのターゲットビデオフレームをデコーディングしてもよい。
【0040】
選択的に、本出願の実施例では、上記パケットロス率は、パケットロス数と第一の数との比である。ここで、上記パケットロス数は、第二の数と上記第一の数との差であり、上記第一の数は、送信端が送信した上記第二のデータパケットに対応する第一のビデオフレームのデータパケット数であり、上記ターゲット数は、上記第二のデータパケットのデータパケット数である。
【0041】
選択的に、本出願の実施例では、ビデオデータ処理装置は、第二のデータパケットのパケットロス率に基づいて、第一のデータパケットに対して異なる処理ポリシー(例えば、デコーディング又は廃棄)を実行してもよい。具体的には、上記ターゲットビデオフレームが破損フレームである場合に、ビデオデータ処理装置は、第二のデータパケットのパケットロス率を取得し、この第二のデータパケットのパケットロス率に基づいて上記第一の処理ポリシー(即ち強制デコーディング方式)と上記第二の処理ポリシー(即ち非デコーディング方式)から一つを選択して実行してもよい。
【0042】
本出願の実施例では、上記第二のデータパケットは、上記ビデオデータ処理装置が上記第一のデータパケットを受信する前の所定時間帯内に受信したデータパケットである。
【0043】
選択的に、本出願の実施例では、上記所定時間帯の下限は、予め定義されたものであってもよく、ビデオデータ処理装置が履歴ネットワーク環境に基づいて決定したものであってもよく、本出願の実施例は、これを限定しない。
【0044】
例示的には、上記所定時間帯の下限と第一のデータパケットの終了データパケットの受信時刻との間隔は、所定間隔であってもよい。ここで、上記所定間隔は、所定時間間隔であってもよく、所定データフレーム数の間隔であってもよい。
【0045】
説明すべきこととして、上記所定間隔は、予め定義されたものであってもよく、電子機器がデータパケットの受信の履歴状況によって決定したものであってもよい。さらに、上記所定時間帯の下限と第一のデータパケットの終了データパケットの受信時刻との間の間隔が所定最大間隔を超えた時、第二のデータパケットのパケットロス率は、現在のネットワーク環境の優劣を正確に反映することができず、さらに上記第一のデータパケットの処理ポリシーを正確に決定することができないため、上記所定間隔は、この所定最大間隔よりも小さい値となる。
【0046】
一例では、上記第二のデータパケットは、電子機器が上記第一のデータパケットを受信する前の数個前のデータパケットであってもよく、上記第二のデータパケットは、ターゲットビデオフレームよりも1フレーム前又は数フレーム前のビデオフレームのデータパケットであってもよい。即ち、上記所定間隔が0である時、上記第二のデータパケットは、第一のデータパケットの隣接データパケットであってもよい。
【0047】
一例では、第二のデータパケットと第一のデータパケットとの間のデータパケットは、一つ又は若干のデータフレームを構成することができ、このデータフレームは、完全なデータフレームであってもよく、破損フレームであってもよい。理解できるように、第二のデータパケットと第一のデータパケットとの間のデータフレームが少ないほど、電子機器が第二のデータパケットのパケットロス率によって決定される処理ポリシーに基づいて第一のデータパケットを処理した後に、ディスプレイにおける再生効果が良くなる。
【0048】
一例では、上記第二のデータパケットは、第一のデータパケットを含んでもよく、即ち第二のデータパケットに対応するビデオフレームには、上記ターゲットビデオフレームが含まれる。例えば、フレームレートが24フレーム/秒であるビデオを例にして、所定時間帯が2秒であり、xフレーム目のビデオフレームが破損フレームであれば、電子機器がこのxフレーム目のビデオフレームに対応するデータパケットの処理ポリシーを決定する時、xフレーム目のビデオフレーム及びxフレーム目のビデオフレームの前の48フレームにおけるすべてのデータパケットのパケットロス率の状況に基づいて、xフレーム目のビデオフレームに対応するデータパケットの処理ポリシーを決定する。
【0049】
このように、ビデオデータ処理装置によって選択された第二のデータパケットが第二のデータパケットに近いほど、現在のネットワーク環境状態を反映することができ、さらに最終的に決定される処理ポリシーの正確度が高くなる。
【0050】
選択的に、本出願の実施例では、上記所定時間帯の時間長は、予め定義されたものであってもよく、ビデオデータ処理装置が履歴ネットワーク環境に基づいて決定したものであってもよく、本出願の実施例は、これを限定しない。
【0051】
一例では、ビデオデータ処理装置がビデオのリアルタイム伝送を行う前に、ビデオデータ処理装置は、複数の時間帯を設定してもよく、そして、ビデオのリアルタイム伝送プロセスにおいて、ビデオデータ処理装置は、第一のデータパケットのパケットロスを検出した場合に、上記複数の時間帯から一つの時間帯を所定時間帯として選択し、そして、この所定時間帯に基づいて第二のデータパケットを決定してもよい。
【0052】
さらに、上記複数の時間帯のうちの各時間帯は、一種の伝送シナリオに対応し、各種のシナリオに対応する影響要因が異なる。ここで、上記の影響要因は、伝送ネットワーク品質、ハードウェアパラメータ、実際シナリオ環境などの少なくとも一つを含む。
【0053】
このように、ビデオデータ処理装置は、現在の伝送シナリオに最も適合する一種の所定時間帯を選択して、最終的に第一のデータパケットの処理ポリシーを決定することができ、それによって最終的に得られる処理ポリシーは、現在の伝送シナリオにおけるビデオ再生の効果が最も高い処理ポリシーとなる。
【0054】
選択的に、本出願の実施例では、ビデオデータ処理装置が位置するビデオのリアルタイム伝送シナリオの変化速度が、ビデオ伝送速度に比べて、比較的に遅いため、ビデオデータ処理装置は、ターゲットビデオフレームに近いビデオフレームのパケットロス率に基づいて、ターゲットビデオフレームが位置するビデオのリアルタイム伝送シナリオの伝送環境を決定することにより、ターゲットビデオフレームに対応する第一のデータパケットの処理ポリシーを決定することができる。言い換えれば、上記所定時間帯は、ビデオデータ処理装置が第一のデータパケットの処理ポリシーを決定する時に必要なバランス時間帯であると考えられる。
【0055】
例示的には、上記所定時間帯は、ターゲットビデオフレームが伝送プロセスにおいて受ける影響要因に関連してもよい。ここで、上記影響要因は、伝送ネットワーク品質、ハードウェアパラメータ、実際シナリオ環境などを含んでもよく、上記パケットロス率は、電子機器が上記影響要因によるターゲットビデオフレーム伝送プロセスへの影響の大きさを評価する重要なパラメータであり、パケットロス率と上記影響の大きさは比例関係にあり、即ち、パケットロス率が大きいほど、影響が大きくなり、パケットロス率が小さいほど、影響が小さくなる。
【0056】
例を挙げて説明すると、ビデオデータ処理装置は、3つの異なるネットワーク速度で、パケットロス率を決定するための時間帯を常時調整し、そしてビデオデータ処理装置は、ターゲットビデオフレームのディスプレイにおけるぼやけの割合を自動的に記録し、ある時間帯を超えた時とある時間帯未満の時、ぼやけの割合がいずれも所定ぼやけ面積よりも高い場合に、この時間帯がこのネットワーク速度での所定時間帯であると考えられる。
【0057】
例1では、ユーザが携帯電話を用いてビデオ通話を行うことを例にして、ビデオ通話のプロセスにおいて、受信端携帯電話がビデオフレーム1(即ち上記ターゲットビデオフレーム)のデータパケット1(即ち上記第一のデータパケット)を受信した後に、ネットワーク伝送速度が遅く、ネットワーク品質が悪いため、受信端携帯電話は、受信されたビデオフレーム1にパケットロス現象が発生し、破損フレームであることを確認する。この時、携帯電話によってこの前に予め設定された検出時間3秒(即ち上記所定時間帯)に基づいて、受信端携帯電話は、ビデオフレーム1及びビデオフレーム1よりも3秒前のデータパケットのパケットロス率(第二のデータパケットのパケットロス率)を計算し、このパケットロス率に基づいて上記データパケット1の処理ポリシーを決定する。
【0058】
本出願の実施例によるビデオデータ処理方法では、ビデオデータ処理装置は、第一のデータパケットを受信した後に、第一のデータパケットにおけるターゲットビデオフレームが破損フレームであるかどうかを判定し、ターゲットデータパケットが破損フレームである時、ビデオデータ処理装置は第二のデータパケットのパケットロス率に基づいて、ビデオデータ処理装置が位置するネットワーク環境に適合する処理方式を選択して第一のデータパケットを処理し、即ち、第一のデータパケットをデコーディングするか又は第一のデータパケットをデコーディングしない。このように、最終的にビデオデータ処理装置ディスプレイで再生されるビデオは、ビデオデータ処理装置が、受信された第一のデータパケットが軽微なパケットロス現象を備える時にも正常なビデオ通話が依然として可能であることを確保できるとともに、第一のデータパケットのパケットロス現象があまりにも深刻である時、表示効果があまりにも悪く、ユーザに不快な体験を与えることを回避することもできる。例えば、データパケットのパケットロスが比較的多い時、破損フレームを解析せず、電子機器のディスプレイに大面積のぼやけが現れることを回避し、逆に、データパケットのパケットロスが比較的少ない時、破損フレームをデコーディングして再生することで、電子機器のディスプレイに局所的なぼやけだけが現れるようにする。
【0059】
選択的に、本出願の実施例では、
図3に示すように、上記ステップ202において、本出願の実施例によるビデオデータ処理方法は、以下のようなステップA1又はステップA2を含んでもよい。
【0060】
ステップA1:第二のデータパケットのパケットロス率が予め設定される閾値よりも大きい場合に、ビデオデータ処理装置は、上記第一のデータパケットを廃棄する。
【0061】
ステップA2:上記パケットロス率が上記予め設定される閾値以下である場合に、ビデオデータ処理装置は、上記第一のデータパケットをデコーディングする。
【0062】
例示的には、上記予め設定される閾値は、ビデオデータ処理装置が異なるパケットロス率と最終的にディスプレイに表示される表示状況に基づいて予め得られたリファレンス閾値である。ここで、上記予め設定される閾値は、ビデオデータ処理装置によって予め設定されたものであってもよく、ユーザがカスタマイズして設定したものであってもよい。
【0063】
一例では、ビデオデータ処理装置には、複数のパケットロス率閾値が予め記憶されており、各パケットロス率閾値は、一つのぼやけの割合に対応する。このように、ビデオデータ処理装置は、第二のデータパケットのパケットロス率を取得した後に、ユーザがビデオを視聴する時に許容可能なぼやけの割合と合わせて、上記複数のパケットロス率閾値から、ユーザがビデオを視聴する時に許容可能なぼやけの割合に適合するパケットロス率閾値を、上記予め設定される閾値として選択する。
【0064】
例示的には、第二のデータパケットのパケットロス率が予め設定される閾値よりも大きい時、第一のデータパケットのパケットロス率が大きすぎると考えられ、この時、ビデオデータ処理装置は、第一のデータパケットを解析した後に、ディスプレイ全体の面積に対して、ディスプレイに表示されるぼやけの面積が占める割合が大きすぎ、画面全体が乱雑になりすぎ、ユーザの画面視聴の効果に深刻な影響を与える。そのため、ビデオデータ処理装置は、上記第一のデータパケットを解析せず、即ち上記第一のデータパケットを廃棄する。
【0065】
さらに、上述した、上記第一のデータパケットを廃棄することとは、上記第一のデータパケットを放棄し、第一のデータパケットにおけるデータをデコーディングしないことをいう。
【0066】
さらに、ビデオデータ処理装置が上記第一のデータパケットに対するデコーディングを廃棄した後に、ビデオデータ処理装置のディスプレイには、ターゲットビデオフレームよりも1フレーム前のデコーディングされたビデオが継続的に表示される。実際の応用では、ディスプレイには、画面引っかかりが表示される。
【0067】
例示的には、第二のデータパケットのパケットロス率が予め設定される閾値以下である時、第一のデータパケットのパケットロス率が予め設定される範囲内であると考えられ、この時、ビデオデータ処理装置は、第一のデータパケットを解析した後に、データパケットのパケットロスが発生するが、ディスプレイ全体の面積に対して、最終的にディスプレイに表示されるぼやけの面積が占める割合がユーザの許容可能な範囲内であり、この第一のデータパケットにおける大部分のデータは完全に受信可能であり、ユーザの視聴体験に影響を与えないため、ビデオデータ処理装置は、上記第一のデータパケットをデコーディングする。
【0068】
さらに、ビデオデータ処理装置が上記第一のデータパケットをデコーディングした後に、ビデオデータ処理装置のディスプレイには、ターゲットビデオフレームのデコーディングされたビデオが表示される。実際の応用では、ディスプレイには画面の中に軽微なぼやけがあるように表示される。
【0069】
例2:上記例1を結び付けて、ビデオフレーム1及びビデオフレーム1よりも3秒前のデータパケットのパケットロス率が予め設定される閾値よりも小さい時、携帯電話は、ビデオフレーム1をデコーディングせず、この時、携帯電話のディスプレイには、ビデオフレーム1の前のビデオフレームの発生した静止画面が表示され、ビデオフレーム1及びビデオフレーム1よりも3秒前のデータパケットのパケットロス率が予め設定される閾値よりも大きい時、携帯電話は、ビデオフレーム1をデコーディングし、この時、ディスプレイには、ビデオフレーム1をデコーディングした後の画面1が表示され、この画面1には、軽微なぼやけがあるが、ユーザが主なコンテンツを視聴することに影響を与えない。
【0070】
このように、ビデオデータ処理装置は、現在の伝送環境を結び付けてユーザの視聴習慣に合うビデオ表示方式を決定することができ、パケットロス率が大きすぎる時、ビデオデータ処理装置は、第一のデータパケットに対するデコーディングを放棄し、引っかかり画面の形式でビデオインタフェースを表示し、それによってビデオインタフェースのクリーンさが維持され、ユーザの視聴の快適さを向上させ、一方、パケットロス率が比較的小さい時、ビデオデータ処理装置は、この第一のデータパケットを表示し、それによってユーザの視聴の快適さに影響を与えることなく、ユーザがビデオリアルタイムインタフェースを継続的に視聴することを最大限確保することができる。
【0071】
選択的に、本出願の実施例では、上記ステップ202において、本出願の実施例によるビデオデータ処理方法は、以下のようなステップB1とステップB2、又は、ステップB1とステップB3を含んでもよい。
【0072】
ステップB1:ビデオデータ処理装置は、上記第二のデータパケットのパケットロス率に基づいて、上記ターゲットビデオフレームの破損程度を決定する。
【0073】
ステップB2:上記破損程度が第一の条件を満たす場合に、ビデオデータ処理装置は、上記第一のデータパケットをデコーディングする。
【0074】
ステップB3:上記破損程度が第二の条件を満たす場合に、ビデオデータ処理装置は、上記第一のデータパケットを廃棄する。
【0075】
例示的には、上記ターゲットビデオフレームの破損程度は、上記ビデオデータ処理装置が第一のデータパケットをデコーディングするか又はデコーディングしない時の判断根拠である。
【0076】
例示的には、上記ターゲットビデオフレームの破損程度は、第二のデータパケットのパケットロス率の大きさに比例し、即ち、上記ターゲットビデオフレームの破損程度は、第二のデータパケットのパケットロス率に基づいて定量化されることができる。第二のデータパケットのパケットロス率が大きいほど、ビデオデータ処理装置は、上記ターゲットビデオフレームの破損程度が深刻であると判定し、逆に、第二のデータパケットのパケットロス率が小さいほど、ビデオデータ処理装置は、上記ターゲットビデオフレームの破損程度が軽微であると判定する。
【0077】
例示的には、上記第一の条件は、ターゲットビデオフレームの破損程度が所定破損程度以下であることを含み、上記第二の条件は、ターゲットビデオフレームの破損程度が所定破損程度よりも大きいことを含む。
【0078】
このように、ビデオデータ処理装置は、第二のデータパケットのパケットロス率に基づいて第一のデータパケットの破損程度を判定し、さらに第一のデータパケットの処理ポリシーを決定することができ、それによってユーザは、最適なリアルタイムビデオ伝送の視聴効果を得ることができる。
【0079】
選択的に、本出願の実施例では、上記第一のデータパケットは、N個のデータパケットを含む。その上では、上記ステップ201の後に、本出願の実施例によるビデオデータ処理方法は、以下のようなステップCをさらに含んでもよい。
【0080】
ステップC:電子機器が上記N個のデータパケットのうちのターゲットデータパケットのデータパケット番号が不連続であると決定される場合に、上記ターゲットビデオフレームが破損フレームであると決定する。
【0081】
ここで、上記ターゲットデータパケットは、上記ターゲットビデオフレームの終了データパケットであり、Nは、正の整数である。
【0082】
例示的には、ビデオデータ処理装置は、上記第一のデータパケットの処理ポリシーを決定する前に、ターゲットビデオフレームの受信が完了しているかどうかを先行して判断する必要があり、受信完了と確認すれば、さらに上記ターゲットビデオフレームが破損フレームであると決定する。
【0083】
一例では、送信端は、ビデオデータを送信する前に、第一のデータパケットをパッケージングする時、すでに第一のデータパケットにおけるすべてのデータのために異なる番号識別子を記述したとともに、終了データパケットと開始データパケットを明記している。ここで、上記番号識別子は、連続した番号識別子である。そのため、ビデオデータ処理装置は、終了データパケットを識別するだけでこのターゲットデータフレームの受信が完了したことを確認できるとともに、ビデオデータ処理装置は、上記番号識別子の番号が連続しているかどうかによって、パケットロス現象の有無を検出することを容易にすることができ、即ち、このターゲットデータフレームが破損フレームであるかどうかを検出する。
【0084】
説明すべきこととして、いくつかのターゲットビデオフレームには、終了データパケットの紛失現象が存在する可能性があるが、各フレームデータに対していずれも終了データパケットと開始データパケットをパッケージングするため、終了データパケットが紛失しても、電子機器は、次のフレームの開始データパケットを識別することによって異なるビデオフレームにおけるデータパケットを分割することもできる。電子機器は、終了データパケットと開始データパケットとも紛失した場合に、ビデオデータ処理装置が異なるビデオフレームデータを区別し、識別することができるまで、一つ前のビデオフレームを処理する処理ポリシーに従ってこのターゲットビデオフレームを処理する。
【0085】
選択的に、本出願の実施例では、ビデオのリアルタイム伝送プロセスにおいて、ターゲットビデオフレームの前に伝送されたデータパケットの総伝送時間が上記予め設定される時間帯よりも小さい時、ビデオデータ処理装置は、予め設定される処理ポリシーを用いてターゲットビデオフレームをデコーディングする。
【0086】
例示的には、所定時間帯がSである時、ビデオデータ処理装置がビデオ伝送を開始する開始時刻T0から現在のビデオフレームの終了データパケットの時刻T1までの時間帯がS以下である場合に、ビデオデータ処理装置は、予め設定される処理ポリシーに基づいてT0からT1までの時間帯内に受信したデータパケットを処理する。即ち、ビデオデータ処理装置は、T0からT2(ここで、T0からT2までの時間長をSとする)までの時間帯内に受信したデータパケットの処理ポリシーを、強制デコーディング方式(即ち上記第一の処理ポリシー)又は非デコーディング方式(即ち上記第二の処理ポリシー)に設定することができる。
【0087】
例示的には、上記予め設定される処理ポリシーは、ユーザがカスタマイズしたものであってもよく、電子機器によって予め設定されるものであってもよく、本出願の実施例は、これを制限しない。
【0088】
説明すべきこととして、本出願の実施例では、上記各方法の図面に示すビデオデータ処理方法は、いずれも本出願の実施例のうちの一つの図面と組み合わせる例示的説明である。具体的に実現される時、上記各方法の図面に示すビデオデータ処理方法は、上記実施例に示す他の組合せ可能ないずれかの図面と組み合わせて実現することもでき、ここでこれ以上説明しない。
【0089】
説明すべきこととして、本出願の実施例によるビデオデータ処理方法では、実行本体は、ビデオデータ処理装置、又はこのビデオデータ処理装置におけるビデオデータ処理方法のロードを実行するための制御モジュールであってもよい。本出願の実施例では、ビデオデータ処理装置がビデオデータ処理方法のロードを実行することを例にして、本出願の実施例によるビデオデータ処理方法を説明する。
【0090】
図4は、本出願の実施例によるビデオデータ処理装置を実現する可能な構造概略図であり、
図4に示すように、ビデオデータ処理装置600は、受信モジュール601と実行モジュール602とを含み、ここで、上記受信モジュール601は、ターゲットビデオフレームを構成する第一のデータパケットを受信するために用いられ、上記実行モジュール602は、上記受信モジュール601によって受信された上記ターゲットビデオフレームが破損フレームである場合に、第二のデータパケットのパケットロス率に基づいて、上記第一のデータパケットをデコーディングするかどうかを決定するために用いられ、ここで、上記第二のデータパケットは、上記電子機器が上記第一のデータパケットを受信する前の所定時間帯内に受信したデータパケットである。
【0091】
選択的に、本出願の実施例では、上記実行モジュール602は、具体的に、上記受信モジュール601によって受信された上記第二のデータパケットのパケットロス率が予め設定される閾値よりも大きい場合に、上記第一のデータパケットを廃棄するために用いられ、具体的に、上記受信モジュール601によって受信された上記パケットロス率が上記予め設定される閾値以下である場合に、上記第一のデータパケットをデコーディングするためにも用いられる。
【0092】
選択的に、本出願の実施例では、上記実行モジュール602は、具体的に、第二のデータパケットのパケットロス率に基づいて、上記ターゲットビデオフレームの破損程度を決定し、上記破損程度が第一の条件を満たす場合に、上記第一のデータパケットをデコーディングし、上記破損程度が第二の条件を満たす場合に、上記第一のデータパケットを廃棄するために用いられる。
【0093】
選択的に、本出願の実施例では、上記第一のデータパケットは、N個のデータパケットを含み、上記実行モジュール602は、上記N個のデータパケットのうちのターゲットデータパケットのデータパケット番号が不連続であると決定される場合に、上記ターゲットビデオフレームが破損フレームであると決定するためにも用いられ、ここで、上記ターゲットデータパケットは、上記ターゲットビデオフレームの終了データパケットであり、Nは、正の整数である。
【0094】
選択的に、本出願の実施例では、上記パケットロス率は、パケットロス数と第一の数との比であり、上記パケットロス数は、第二の数と上記第一の数との差であり、上記第一の数は、送信端が送信した上記第二のデータパケットに対応する第一のビデオフレームのデータパケット数であり、上記ターゲット数は、上記第二のデータパケットのデータパケット数である。
【0095】
本出願の実施例におけるビデオデータ処理装置は、装置であってもよく、端末における部品、集積回路、又はチップであってもよい。この装置は、モバイル電子機器であってもよく、非モバイル電子機器であってもよい。例示的には、モバイル電子機器は、携帯電話、タブレットパソコン、ノートパソコン、パームトップコンピュータ、車載電子機器、ウェアラブルデバイス、ウルトラモバイルパーソナルコンピュータ(ultra-mobile personal computer、UMPC)、ネットブック又はパーソナルデジタルアシスタント(personal digital assistant、PDA)などであってもよく、非モバイル電子機器は、サーバ、ネットワーク接続型ストレージ(Network Attached Storage、NAS)、パーソナルコンピュータ(personal computer、PC)、テレビ(television、TV)、預入支払機又はセルフサービス機などであってもよく、本出願の実施例に対して具体的に限定しない。
【0096】
本出願の実施例におけるビデオデータ処理装置は、オペレーティングシステムを有する装置であってもよい。このオペレーティングシステムは、アンドロイド(登録商標)(Android(登録商標))オペレーティングシステムであってもよく、iOSオペレーティングシステムであってもよく、他の可能なオペレーティングシステムであってもよく、本出願の実施例は具体的に限定しない。
【0097】
本出願の実施例によるビデオデータ処理装置は、
図2から
図3の方法の実施例によるビデオデータ処理装置によって実現される各プロセスを実現することができ、説明の繰り返しを回避するために、ここでこれ以上説明しない。
【0098】
本出願の実施例によるビデオデータ処理装置は、第一のデータパケットを受信した後に、第一のデータパケットにおけるターゲットビデオフレームが破損フレームであるかどうかを判定し、ターゲットデータパケットが破損フレームである時、ビデオデータ処理装置は第二のデータパケットのパケットロス率に基づいて、ビデオデータ処理装置が位置するネットワーク環境に適合する処理方式を選択して第一のデータパケットを処理し、即ち、第一のデータパケットをデコーディングするか又は第一のデータパケットをデコーディングしない。このように、最終的にビデオデータ処理装置のディスプレイで再生されるビデオは、ビデオデータ処理装置が、受信された第一のデータパケットが軽微なパケットロス現象を備える時にも正常なビデオ通話が依然として可能であることを確保できるとともに、第一のデータパケットのパケットロス現象があまりにも深刻である時、表示効果があまりにも悪く、ユーザに不快な体験を与えることを回避することもできる。例えば、データパケットのパケットロスが比較的多い時、破損フレームを解析せず、電子機器のディスプレイに大面積のぼやけが現れることを回避し、逆に、データパケットのパケットロスが比較的少ない時、破損フレームをデコーディングして再生することで、電子機器のディスプレイに局所的なぼやけだけが現れるようにする。
【0099】
選択的に、本出願の実施例は、電子機器をさらに提供し、プロセッサ1010と、メモリ1009と、メモリ1009に記憶され、且つ前記プロセッサ1010上で運行できるプログラム又は命令とを含み、このプログラム又は命令がプロセッサ1010によって実行される時、上記ビデオデータ処理方法の実施例の各プロセスを実現し、且つ同じ技術的効果を達することができる。説明の繰り返しを回避するために、ここでこれ以上説明しない。
【0100】
注意すべきこととして、本出願の実施例における電子機器は、以上に記載のモバイル電子機器と非モバイル電子機器を含む。
【0101】
図5は、実現本出願の実施例の電子機器のハードウェア構造概略図である。
【0102】
この電子機器1000は、無線周波数ユニット1001、ネットワークモジュール1002、オーディオ出力ユニット1003、入力ユニット1004、センサ1005、表示ユニット1006、ユーザ入力ユニット1007、インターフェースユニット1008、メモリ1009、及びプロセッサ1010などの部品を含むが、それらに限らない。
【0103】
当業者であれば理解できるように、電子機器1000は、各部品に給電する電源(例えば、電池)をさらに含んでもよく、電源は、電源管理システムを介してプロセッサ1010にロジック的に接続されてもよく、それにより電源管理システムによって充放電管理及び消費電力管理などの機能を実現することができる。
図5に示す電子機器構造は、電子機器に対する限定を構成せず、電子機器は、図示された部材の数よりも多く又は少ない部品、又はいくつかの部品の組み合わせ、又は異なる部品の配置を含んでもよく、ここでこれ以上説明しない。
【0104】
ここで、無線周波数ユニット1001は、ターゲットビデオフレームを構成する第一のデータパケットを受信するために用いられ、上記プロセッサ1010は、上記無線周波数ユニット1001によって受信された上記ターゲットビデオフレームが破損フレームである場合に、第二のデータパケットのパケットロス率に基づいて、上記第一のデータパケットをデコーディングするかどうかを決定するためにも用いられ、ここで、上記第二のデータパケットは、上記電子機器が上記第一のデータパケットを受信する前の所定時間帯内に受信したデータパケットである。
【0105】
選択的に、上記プロセッサ1010は、具体的に、上記プロセッサ1010によって受信された上記第二のデータパケットのパケットロス率が予め設定される閾値よりも大きい場合に、上記第一のデータパケットを廃棄するために用いられ、具体的に、上記プロセッサ1010によって受信された上記パケットロス率が上記予め設定される閾値以下である場合に、上記第一のデータパケットをデコーディングするためにも用いられる。
【0106】
選択的に、上記プロセッサ1010は、具体的に、第二のデータパケットのパケットロス率に基づいて、上記ターゲットビデオフレームの破損程度を決定するために用いられ、上記プロセッサ1010によって決定された上記破損程度が第一の条件を満たす場合には、具体的に、上記第一のデータパケットをデコーディングするために用いられ、上記プロセッサ1010によって決定された上記破損程度が第二の条件を満たす場合に、上記第一のデータパケットを廃棄するために用いられる。
【0107】
選択的に、上記第一のデータパケットは、N個のデータパケットを含み、上記プロセッサ1010は、上記N個のデータパケットのうちのターゲットデータパケットのデータパケット番号を決定する場合に、上記ターゲットビデオフレームが破損フレームであると決定するためにも用いられ、ここで、上記ターゲットデータパケットは、上記ターゲットビデオフレームの終了データパケットであり、Nは、正の整数である。
【0108】
選択的に、上記パケットロス率は、パケットロス数と第一の数との比であり、上記パケットロス数は、第二の数と上記第一の数との差であり、上記第一の数は、送信端が送信した上記第二のデータパケットに対応する第一のビデオフレームのデータパケット数であり、上記ターゲット数は、上記第二のデータパケットのデータパケット数である。
【0109】
本出願の実施例による電子機器では、電子機器は、第一のデータパケットを受信した後に、第一のデータパケットにおけるターゲットビデオフレームが破損フレームであるかどうかを判定し、ターゲットデータパケットが破損フレームである時、電子機器は第二のデータパケットのパケットロス率に基づいて、ビデオデータ処理装置が位置するネットワーク環境に適合する処理方式を選択して第一のデータパケットを処理し、即ち、第一のデータパケットをデコーディングするか又は第一のデータパケットをデコーディングしない。このように、最終的にビデオデータ処理装置のディスプレイで再生されるビデオは、電子機器が、受信された第一のデータパケットが軽微なパケットロス現象を備える時にも正常なビデオ通話が依然として可能であることを確保できるとともに、第一のデータパケットのパケットロス現象があまりにも深刻である時、表示効果があまりにも悪く、ユーザに不快な体験を与えることを回避することもできる。例えば、データパケットのパケットロスが比較的多い時、破損フレームを解析せず、電子機器のディスプレイに大面積のぼやけが現れることを回避し、逆に、データパケットのパケットロスが比較的少ない時、破損フレームをデコーディングして再生することで、電子機器のディスプレイに局所的なぼやけだけが現れるようにする。
【0110】
本出願の実施例は、可読記憶媒体をさらに提供し、前記可読記憶媒体にはプログラム又は命令が記憶されており、このプログラム又は命令がプロセッサにより実行される時、上記ビデオデータ処理方法の実施例の各プロセスを実現し、且つ同じ技術的効果を達することができる。説明の繰り返しを回避するために、ここでこれ以上説明しない。
【0111】
ここで、前記プロセッサは、上記実施例に記載の電子機器におけるプロセッサである。前記可読記憶媒体は、コンピュータ可読記憶媒体、例えばコンピュータリードオンリーメモリ(Read-Only Memory、ROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、磁気ディスク又は光ディスクなどを含む。
【0112】
本出願の実施例は、チップをさらに提供し、前記チップは、プロセッサと通信インターフェースとを含み、前記通信インターフェースは、前記プロセッサと結合され、前記プロセッサは、プログラム又は命令を運行し、上記ビデオデータ処理方法の実施例の各プロセスを実現するために用いられ、且つ同じ技術的効果を達することができる。説明の繰り返しを回避するために、ここでこれ以上説明しない。
【0113】
理解すべきこととして、本出願の実施例に言及されたチップは、システムレベルチップ、システムチップ、チップシステム又はシステムオンチップなどと呼ばれてもよい。
【0114】
説明すべきこととして、本明細書では、用語である「含む」、「包含」又はその他の任意の変形は、非排他的な「含む」を意図的にカバーするものであり、それによって一連の要素を含むプロセス、方法、物品又は装置は、それらの要素を含むだけではなく、明確にリストアップされていない他の要素も含み、又はこのようなプロセス、方法、物品又は装置に固有の要素も含む。それ以上の制限がない場合に、「……を一つ含む」という文章で限定された要素について、この要素を含むプロセス、方法、物品又は装置には他の同じ要素も存在することが排除されるものではない。なお、指摘すべきこととして、本出願の実施の形態における方法と装置の範囲は、図示又は討論された順序で機能を実行することに限らず、関わる機能に基づいて基本的に同時である方式又は逆の順序で機能を実行することを含んでもよく、例えば記述されたものとは異なる手順で、記述された方法を実行することができるとともに、様々なステップを追加、省略又は組み合わせることができる。また、いくつかの例を参照して記述された特徴は、他の例で組み合わせられることができる。
【0115】
以上の実施の形態の記述によって、当業者であればはっきりと分かるように、上記実施例の方法は、ソフトウェアと必要な汎用ハードウェアプラットフォームの形態によって実現されてもよい。無論、ハードウェアによって実現されてもよいが、多くの場合、前者は、より好適な実施の形態である。このような理解を踏まえて、本出願の技術案は、実質には又は従来の技術に寄与した部分がソフトウェア製品の形式によって具現化されてもよい。このコンピュータソフトウェア製品は、一つの記憶媒体(例えばROM/RAM、磁気ディスク、光ディスク)に記憶され、一台の端末(携帯電話、コンピュータ、サーバ、エアコン、又はネットワーク機器などであってもよい)に本出願の各実施例に記載の方法を実行させるための若干の命令を含む。
【0116】
以上は、図面を結び付けながら、本出願の実施例を記述したが、本出願は、上記の具体的な実施の形態に限らない。上記の具体的な実施の形態は、例示的なものに過ぎず、制限性のあるものではない。当業者は、本出願の示唆で、本出願の趣旨と請求項が保護する範囲から逸脱しない限り、多くの形式を行うこともでき、それらはいずれも本出願の保護範囲に属する。