(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-01
(54)【発明の名称】オーディオ再生方法、装置、電子装置および記憶媒体
(51)【国際特許分類】
H04L 7/00 20060101AFI20240725BHJP
【FI】
H04L7/00 160
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024507963
(86)(22)【出願日】2021-08-09
(85)【翻訳文提出日】2024-02-07
(86)【国際出願番号】 CN2021111435
(87)【国際公開番号】W WO2023015404
(87)【国際公開日】2023-02-16
(81)【指定国・地域】
(71)【出願人】
【識別番号】523465850
【氏名又は名称】シェンチェン ティーシーエル ニュー テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】SHENZHEN TCL NEW TECHNOLOGY CO.,LTD.
(74)【代理人】
【識別番号】100118256
【氏名又は名称】小野寺 隆
(74)【代理人】
【識別番号】100166338
【氏名又は名称】関口 正夫
(72)【発明者】
【氏名】チャン ジンリャン
【テーマコード(参考)】
5K047
【Fターム(参考)】
5K047AA01
5K047DD01
(57)【要約】
本開示は、オーディオ再生方法、装置、電子装置および記憶媒体を開示し、オーディオ再生方法が、端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含むことと、前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータのデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録することと、前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得することと、前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、前記デコード開始調整時間と前記デコード実際処理時間とに基づいて前記オーディオデータの参考再生時間を特定することと、時間変化に基づいて前記参考再生時間を調整することと、調整された参考再生時間が希望再生時間に達すると、端末装置に応じてオーディオデータが再生されることと、調整されたオーディオデータのオーディオ再生時間を希望再生時間以下にして、オーディオデータを同期再生できるようにすることと、を含む。
【選択図】
図2
【特許請求の範囲】
【請求項1】
オーディオ再生方法であって、
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含むことと、
各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録することと、
前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得することと、
各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、
前記デコード開始調整時間と前記デコード実際処理時間とに基づいて前記オーディオデータの参考再生時間を特定し、前記参考再生時間が前記希望再生時間の以下であることと、
時間変化に基づいて前記参考再生時間を更新することと、
調整された参考再生時間が希望再生時間に達すると、前記端末装置に応じて前記オーディオデータが再生されることと、を含む、
ことを特徴とするオーディオ再生方法。
【請求項2】
前記オーディオデータが、現在オーディオデータを含み、前記オーディオデータに対応する基準オフセット時間を取得することは、
少なくとも1フレームの履歴オーディオデータをサンプリングし、前記履歴オーディオデータが前記現在オーディオデータと同じデータタイプであることと、
各フレームの履歴オーディオデータに対するデコード処理後の履歴参考再生時間と履歴希望再生時間とをそれぞれ取得することと、
前記履歴参考再生時間と前記履歴希望再生時間に基づいて、各フレームの履歴オーディオデータのオフセット時間をそれぞれ特定することと、
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定することと、を含む、
ことを特徴とする請求項1に記載のオーディオ再生方法。
【請求項3】
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定することは、
少なくとも1つの前記オフセット時間の平均値を特定し、平均オフセット時間を取得することと、
前記平均オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定することと、を含む、
ことを特徴とする請求項2に記載のオーディオ再生方法。
【請求項4】
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定することは、
少なくとも1つの前記オフセット時間の平均値を特定し、平均オフセット時間を取得することと、
前記平均オフセット時間の整数を取って、前記履歴オーディオデータに対応する平均整数オフセット時間を取得することと、
前記平均整数オフセット時間を前記現在オーディオデータの基準オフセット時間に特定することと、を含む、
ことを特徴とする請求項2に記載のオーディオ再生方法。
【請求項5】
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定することは、
少なくとも1つの前記オフセット時間の整数を取って、少なくとも1つの整数オフセット時間を取得することと、
少なくとも1つの前記整数オフセット時間に基づいて、各フレームのオーディオデータの整数平均オフセット時間を特定することと、
前記整数平均オフセット時間を前記現在オーディオデータの基準オフセット時間に特定することと、を含む、
ことを特徴とする請求項2に記載のオーディオ再生方法。
【請求項6】
少なくとも1フレームの履歴オーディオデータをサンプリングすることは、
所定周波数に基づいて、履歴オーディオデータを取得し、前記履歴オーディオデータが少なくとも1フレームことと、
前記少なくとも1フレームの履歴オーディオデータをサンプリングすることと、を含む、
ことを特徴とする請求項2に記載のオーディオ再生方法。
【請求項7】
前記基準オフセット時間が実際オフセット時間を含み、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することは、
前記オーディオデータの予約処理時間を取得することと、
前記予約処理時間と前記デコード実際処理時間に基づいて、前記オーディオデータの実際オフセット時間を特定することと、
前記実際オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、を含む、
ことを特徴とする請求項1に記載のオーディオ再生方法。
【請求項8】
前記オーディオデータの予約処理時間を取得することは、
前記オーディオデータのデコード開始参考時間と、前記希望再生時間に基づいて、前記オーディオデータの予約処理時間を特定することを含む、
ことを特徴とする請求項7に記載のオーディオ再生方法。
【請求項9】
前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することは、
前記オーディオデータの予約処理時間を取得することと、
前記予約処理時間と前記デコード実際処理時間に基づいて、前記オーディオデータの実際オフセット時間を特定することと、
前記基準オフセット時間と前記実際オフセット時間に基づいて、前記オーディオデータの誤差オフセット時間を特定することと、
前記基準オフセット時間と前記誤差オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、を含む、
ことを特徴とする請求項1に記載のオーディオ再生方法。
【請求項10】
各フレームのオーディオデータに対するデコード処理のデコード実際処理時間を記録することは、
水晶振動に基づいてタイミングフィードバックを行い、前記オーディオデータのデコード開始時間とデコード終了時間をそれぞれ取得することと、
前記デコード開始時間と、前記デコード終了時間に基づいて、前記オーディオデータのデコード実際処理時間を特定することを含む、
ことを特徴とする請求項1に記載のオーディオ再生方法。
【請求項11】
前記デコード開始調整時間と前記デコード実際処理時間に基づいて、前記オーディオデータの参考再生時間を特定することは、
前記オーディオデータに対するデコード処理のデコード開始時間とデコード終了時間を取得することと、
前記デコード開始調整時間と、前記デコード開始時間に基づいて、前記オーディオデータのベース参考再生時間を特定することと、
前記ベース参考再生時間と、前記デコード終了時間に基づいて、前記オーディオデータの参考再生時間を特定することと、を含む、
ことを特徴とする請求項1に記載のオーディオ再生方法。
【請求項12】
前記オーディオデータに対応する希望再生時間を取得することは、
前記オーディオデータから前記オーディオデータの希望再生時間を直接抽出することを含む、
ことを特徴とする請求項1に記載のオーディオ再生方法。
【請求項13】
前記オーディオデータに対応する基準オフセット時間を取得することは、
前記オーディオデータのオーディオデータタイプを識別することと、
マッピング関係セットを取得し、前記マッピング関係セットが、所定オーディオデータタイプと所定基準オフセット時間とのマッピング関係を含むことと、
前記マッピング関係セットと前記オーディオデータタイプに基づいて、前記オーディオデータに対応する基準オフセット時間を取得することと、を含む、
ことを特徴とする請求項1に記載のオーディオ再生方法。
【請求項14】
オーディオ再生装置であって、
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含むデコードモジュールと、
各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録する記録モジュールと、
前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得する取得モジュールと、
各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する調整モジュールと、
前記デコード開始調整時間と、前記デコード実際処理時間に基づいて、前記オーディオデータの参考再生時間を特定する特定モジュールと、
時間変化に基づいて前記参考再生時間を更新するタイミングモジュールと、
調整された参考再生時間が希望再生時間に達すると、端末装置に応じて前記オーディオデータを再生する再生モジュールと、を含む、
ことを特徴とするオーディオ再生装置。
【請求項15】
前記オーディオデータが、現在オーディオデータを含み、前記取得モジュールは、
少なくとも1フレームの履歴オーディオデータをサンプリングし、前記履歴オーディオデータが前記現在オーディオデータと同じデータタイプであるサンプリングユニットと、
各フレームの履歴オーディオデータに対するデコード処理後の履歴参考再生時間と履歴希望再生時間とをそれぞれ取得する第一取得ユニットと、
前記履歴参考再生時間と前記希望再生時間に基づいて、各フレームの履歴オーディオデータのオフセット時間をそれぞれ特定する第一特定ユニットと、
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定する第二特定ユニットと、を含む、
ことを特徴とする請求項14に記載のオーディオ再生装置。
【請求項16】
前記第二特定ユニットは、
少なくとも1つの前記オフセット時間の平均値を特定し、平均オフセット時間を取得する第一特定サブユニットと、
前記平均オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定する第二特定サブユニットと、を含む、
ことを特徴とする請求項15に記載のオーディオ再生装置。
【請求項17】
前記基準オフセット時間が実際オフセット時間を含み、前記調整モジュールは、
前記オーディオデータの予約処理時間を取得する第二取得ユニットと、
前記予約処理時間と前記デコード実際処理時間に基づいて、前記オーディオデータの実際オフセット時間を特定する第三特定ユニットと、
前記実際オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する第三取得ユニットと、を含む、
ことを特徴とする請求項14に記載のオーディオ再生装置。
【請求項18】
前記第二取得ユニットは、
前記オーディオデータのデコード開始参考時間と、前記希望再生時間に基づいて、前記オーディオデータの予約処理時間を特定する第三特定サブユニットを含む、
ことを特徴とする請求項17に記載のオーディオ再生装置。
【請求項19】
メモリと、プロセッサと、メモリ上に格納されプロセッサで実行可能なコンピュータプログラムとを含む電子装置であって、プロセッサがプログラムを実行すると、
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含むことと、
各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録することと、
前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得することと、
各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、
前記デコード開始調整時間と、前記デコード実際処理時間に基づいて、前記オーディオデータの参考再生時間を特定することと、
時間変化に基づいて参考再生時間を更新することと、
調整された参考再生時間が希望再生時間に達すると、前記端末装置に応じて前記オーディオデータが再生されることと、を実現する、
ことを特徴とする電子装置。
【請求項20】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含むことと、
各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録することと、
前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得することと、
各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、
前記デコード開始調整時間と、前記デコード実際処理時間に基づいて、前記オーディオデータの参考再生時間を特定することと、
時間変化に基づいて前記参考再生時間を更新することと、
調整された参考再生時間が希望再生時間に達すると、前記端末装置に応じて前記オーディオデータが再生されることと、を実現する、
ことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、表示制御の技術分野に関するものであり、具体的には、オーディオ再生方法、装置、電子装置及び記憶媒体に関するものである。
【背景技術】
【0002】
オーディオ再生技術の急速な発展に伴い、オーディオプレーヤーの種類がますます多くなり、オーディオ同期技術がオーディオ再生の重要な基礎であり、オーディオ同期再生を保証するために、オーディオサーバはオーディオデータを送信する前に、オーディオプレーヤーに接続されているシステムの基準時間を校正する必要がある。
【0003】
しかし、オーディオプレーヤーは、オーディオデータを受信した後、オーディオデータに対するデコードなどのバックエンドのデータ処理を行う必要があるため、再生する前にオーディオデータの処理のためにデコード時間を確保する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
異なるオーディオデータのバックエンドのデコード処理時間の統一と特定が難しくて、しかも、一部のオーディオデータのデータ量が膨大で、デコード処理の時間が長くて、デコード処理のレートによる製品のハードウェアの要求が高いので、ハードウェア性能がボトルネックに達した後、オーディオの希望再生時間とオーディオプレーヤーの位置する装置の端末の参考時間とを正確に同期できないことにより、オーディオの再生には、音画非同期、ドロップフレームや再生遅れなどの現象が発生しやすくなってしまう。
【課題を解決するための手段】
【0005】
本発明の実施例は、バックエンドデコード処理の予約時間を増加させ、オーディオ再生の同期を達成することができるオーディオ再生方法、装置、電子装置及び記憶媒体を提供する。
【0006】
本発明の実施例によって提供されるオーディオ再生方法は、
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含むことと、
各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録することと、
前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得することと、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、
前記デコード開始調整時間と、前記デコード実際処理時間に基づいて、前記オーディオデータの参考再生時間を特定することと、
時間変化に基づいて参考再生時間を更新することと、
調整された参考再生時間が希望再生時間に達すると、端末装置に応じてオーディオデータが再生されることと、を含む。
【0007】
相応的に、本発明の実施例によって提供されるオーディオ再生装置は、
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含むデコードモジュールと、
各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録する記録モジュールと、
前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得する取得モジュールと、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する調整モジュールと、
前記デコード開始調整時間と、前記デコード実際処理時間に基づいて、前記オーディオデータの参考再生時間を特定する特定モジュールと、
時間変化に基づいて参考再生時間を更新するタイミングモジュールと、
調整された参考再生時間が希望再生時間に達すると、端末装置に応じて前記オーディオデータが再生される再生モジュールと、を含む。
【0008】
選択的に、本願のいくつかの実施例において、前記オーディオデータが、現在オーディオデータを含み、前記取得モジュールは、
少なくとも1フレームの履歴オーディオデータをサンプリングし、前記履歴オーディオデータが前記現在オーディオデータと同じデータタイプであるサンプリングユニットと、
各フレームの履歴オーディオデータに対するデコード処理後の履歴参考再生時間と希望再生時間とをそれぞれ取得する第一取得ユニットと、
前記履歴参考再生時間と前記希望再生時間に基づいて、各フレームの履歴オーディオデータのオフセット時間をそれぞれ特定する第一特定ユニットと、
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定する第二特定ユニットと、を含む。
【0009】
選択的に、本願のいくつかの実施例において、第二特定ユニットは、
少なくとも1つの前記オフセット時間の平均値を特定し、平均オフセット時間を取得する第一特定サブユニットと、
前記平均オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定する第二特定サブユニットと、を含む。
【0010】
選択的に、本願のいくつかの実施例において、前記第二特定ユニットは、
少なくとも1つの前記オフセット時間の平均値を特定し、平均オフセット時間を取得することと、
前記平均オフセット時間の整数を取って、前記履歴オーディオデータに対応する平均整数オフセット時間を取得することと、
前記平均整数オフセット時間を前記現在オーディオデータの基準オフセット時間に特定することと、さらに用いられる。
【0011】
選択的に、本願のいくつかの実施例において、第二特定ユニットは、
前記少なくとも1つの前記オフセット時間の整数を取って、少なくとも1つの整数オフセット時間を取得することと、
前記少なくとも1つの整数オフセット時間に基づいて、前記少なくとも1つフレームのオーディオデータの各フレームのオーディオデータの整数平均オフセット時間を特定することと、
前記整数平均オフセット時間を前記現在オーディオデータの基準オフセット時間に特定することと、さらに用いられる。
【0012】
選択的に、本願のいくつかの実施例において、サンプリングユニットは、
所定周波数に基づいて、履歴オーディオデータを取得し、前記履歴オーディオデータが少なくとも1フレームの履歴オーディオデータを含むことと、
前記少なくとも1フレームの履歴オーディオデータをサンプリングすることと、さらに用いられる。
【0013】
選択的に、本願のいくつかの実施例において、前記基準オフセット時間が実際オフセット時間を含み、前記調整モジュールは、
前記オーディオデータの予約処理時間を取得する第二取得ユニットと、
前記予約処理時間と前記デコード実際処理時間に基づいて、前記オーディオデータの実際オフセット時間を特定する第三特定ユニットと、
前記実際オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する第三取得ユニットと、を含む。
【0014】
選択的に、本願のいくつかの実施例において、前記第二取得ユニットは、
前記オーディオデータのデコード開始参考時間と、前記希望再生時間に基づいて、前記オーディオデータの予約処理時間を特定する第三特定サブユニットを含む。
【0015】
選択的に、本願のいくつかの実施例において、前記第二取得ユニットは、
前記オーディオデータの予約処理時間を取得することと、
前記予約処理時間と前記デコード実際処理時間に基づいて、前記オーディオデータの実際オフセット時間を特定することと、
前記基準オフセット時間と前記実際オフセット時間に基づいて、前記オーディオデータの誤差オフセット時間を特定することと、
前記基準オフセット時間と前記誤差オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、さらに用いられる。
【0016】
選択的に、本願のいくつかの実施例において、記録モジュールは、
水晶振動に基づいてタイミングフィードバックを行い、前記オーディオデータのデコード開始時間とデコード終了時間をそれぞれ取得することと、
前記デコード開始時間と、前記デコード終了時間に基づいて、前記オーディオデータのデコード実際処理時間を特定することと、さらに用いられる。
【0017】
選択的に、本願のいくつかの実施例において、特定モジュールは、
前記オーディオデータに対するデコード処理のデコード開始時間とデコード終了時間を取得することと、
前記デコード開始調整時間と、前記デコード開始時間に基づいて、前記オーディオデータのベース参考再生時間を特定することと、
前記ベース参考再生時間と、前記デコード終了時間に基づいて、前記オーディオデータの参考再生時間を特定することと、に用いられる。
【0018】
選択的に、本願のいくつかの実施例において、取得モジュールは、
前記オーディオデータから前記オーディオデータの希望再生時間を直接抽出することに用いられる。
【0019】
選択的に、本願のいくつかの実施例において、取得モジュールは、
前記オーディオデータのオーディオデータタイプを識別することと、
マッピング関係セットを取得し、前記マッピング関係セットが、所定オーディオデータタイプと所定基準オフセット時間とのマッピング関係を含むことと、
前記マッピング関係セットと前記オーディオデータタイプに基づいて、前記オーディオデータに対応する基準オフセット時間を取得することと、さらに用いられる。
【発明の効果】
【0020】
本願の実施例は、オーディオデータの参考再生時間を小さくすることにより、参考再生時間を時間とともに変化させ、変化後に希望再生時間に達した後、オーディオデータを再生する、すなわち、オーディオデータの参考再生時間が希望再生時間を満たした後、オーディオデータを同期に再生することができる。このうち、参考再生時間はデコード開始参考時間を小さくすることによって小さくなるが、オーディオデータのデコード実際処理時間は影響や制限を受けない。したがって、オーディオデータに対応する参考再生時間を小さくすることは、オーディオデータのデコード処理に十分なデコード時間を提供し、かつ、デコード処理の時間が長すぎるためにオーディオデータの再生に音画非同期、ドロップフレーム、または再生遅れなどの現象が発生することを回避する。
【図面の簡単な説明】
【0021】
以下、添付図面と結び付けて、本願の具体的な実施形態について詳細に説明することにより、本願の技術案及びその発明の効果を明らかにする。
【
図1】本発明によって提供されるオーディオ再生方法のシーン模式図である。
【
図2】本発明によって提供されるオーディオ再生方法のフロー模式図である。
【
図3】本発明によって提供されるオーディオ再生方法のほかのフロー模式図である。
【
図4】本発明によって提供されるオーディオ再生方法のほかのフロー模式図である。
【
図5】本発明によって提供されるオーディオ再生装置の概略構成図である。
【
図6】本発明によって提供される電子装置の概略構成図である。
【発明を実施するための形態】
【0022】
本願の目的の実現、機能的な特徴及び利点については、実施例と添付図面を参照してさらに説明する。
ここに記載された具体的な実施例は、単に本出願を解釈するためのものであって、本出願を限定するためのものではないことを理解すべきである。
【0023】
本願は、オーディオ再生方法、装置、電子装置及び記憶媒体を提供する。具体的には、本発明の実施例で提供されるオーディオ再生方法は、端末装置またはサーバを含む電子装置によって実行されることができる。そのうち、端末装置はテレビ、携帯電話、ノート、デスクトップ又はタブレット等であってよい。サーバは、スタンドアロンの物理サーバであってもよく、複数の物理サーバで構成されるサーバクラスタや分散システムであってもよく、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウドファンクション、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、コンテンツ配信ネットワーク(CDN、Content Delivery Network)、ビッグデータや人工知能プラットフォームなどの基礎的なクラウドコンピューティングサービスを提供するクラウドサーバなどであり、有線または無線通信を介して直接または間接的に接続することができる。
【0024】
具体的には、本願の実施例は、端末装置とサーバが音声再生方法を共同で実行することを例として説明する。端末装置とサーバとの間では、有線ネットワーク、無線ネットワーク又はブロードキャストの形式でデータ伝送を行うことができ、端末装置とサーバに加えて、音声再生方法を補助的に実行する他の装置を追加することもでき、ここでは、他の装置のタイプについては限定しない。このうち、端末装置とサーバが共同で音声再生方法を実行する具体的な手順は、以下のとおりである。
【0025】
端末装置は、サーバから再生するオーディオデータセット(オーディオデータパケット)を受信し、その後、端末装置内のプロセッサは、受信したオーディオデータセットをデコード処理し、そして、各フレームオーディオデータのデコード開始参考時間と、各フレームオーディオデータのデコード実際処理時間を記録する。また、端末装置は、オーディオデータから、各フレームオーディオデータの基準オフセット時間と希望再生時間を取得し、その後、各フレームのオーディオデータに対して、基準オフセット時間に基づいてデコード開始参考時間の調整を行い、デコード開始調整時間を取得する。そして、デコード開始調整時間とデコード実際処理時間に基づいて、オーディオデータのデコード処理終了の参考再生時間を特定する。最後に、参考再生時間が時間とともに変化した後、参考再生時間が希望再生時間に等しい場合、端末装置によってオーディオデータを再生する。ここで、端末装置がテレビである場合は、追加のオーディオプレーヤーを使用することなく、オーディオデータを直接に再生することができる。
【0026】
ここで、オーディオデータの参考時間(例えばデコード開始参考時間)は、端末装置の参考時計に同期される。参考時計は、ネットワークタイムプロトコル(NTP,Network Time Protocol)によって正確時刻に調整同期される。正確時刻のソースは、国際標準時(UTC,Universal Time Coordinated)である。例えば、端末装置の参考時計が北京時間を示すとき、端末装置がオーディオデータのデコードの開始時刻が北京時間の6時であれば、デコード開始参考時間も6時である。
【0027】
参考再生時間は、オーディオデータのデコード後に再生可能な時間であり、理論上には、この参考再生時間も北京時間に同期にされる。すなわち、オーディオデータのデコード後の北京時間は、オーディオデータの参考再生時間である。しかし、参考時計のタイミングは、データ伝送後に更新されることにより取得され、データ伝送には時間消費があるため、参考時計のタイミングには時間誤差がある。そのため、本願の実施例ではデコード開始参考時間とデコードのデコード実際処理時間に基づいて、参考再生時間を特定する。その中で、デコード実際処理時間は水晶振動のフィードバックによってタイミングされているので、時間の記録は非常に正確であるため、オーディオデータデコード処理後の実際の参考再生時間を取得することができ、その際、取得された参考再生時間のタイムスタンプは、参考時計のタイムスタンプに同期されないが、参考再生時間の増加は時間(北京時間)に応じて増加する。例えば、オーディオデータデコード処理の後の参考再生時間が8時ちょうどの場合、北京時間は8時1分になり、すなわち、参考再生時間は北京時間のタイムスタンプと同じではない。
【0028】
ここで、オーディオデータの参考再生時間が希望再生時間に等しい場合、オーディオデータが再生できるが、オーディオデータのデコード処理に時間がかかり、オーディオデータのデコード後の参考再生時間は、オーディオデータに対応する希望再生時間を超えることが多いので、オーディオデータのデコード処理後の参考再生時間を戻し調整し、それにより、希望再生時間に同期とするか、参考再生時間が時間とともに増加したあとに希望再生時間に同期してから、オーディオデータを再生することである。
【0029】
ここで、ネットワーク時間プロトコル(NTP,Network Time Protocol)は、コンピュータの時刻同期化のために使用され、コンピュータにサーバやクロックソース(例えば、クオーツ時計、GPSなど)を同期化させることができ、高精度の時刻修正(LAN上では標準との差が1ミリ秒未満、WAN上では数十ミリ秒)を提供できる。ここで、NTPは、原子時計、天文台、衛星、またはインターネットなどの取得時間ソースからUTCを取得してもよい。
【0030】
ここで、希望再生時間は、オーディオデータの希望再生時間であり、例えば表示時間ラベル(PTS,Presentation Time Stamp)である。オーディオデータの希望再生時間と端末の参考再生時間とが同期される場合、オーディオデータが再生される。すなわち、オーディオデータの希望再生時間と国際標準時刻とが同期され、オーディオデータの希望再生時間が端末の参考再生時間より遅れる場合、オーディオデータが正確に再生できない、例えば、音画非同期、ドロップフレームや再生遅れなどの現象が発生してしまう。
【0031】
本願の実施例は、オーディオデータの参考再生時間を小さくすることにより、参考再生時間を時間とともに変化させ、変化後に希望再生時間に達した後、オーディオデータを再生する、すなわち、オーディオデータの参考再生時間が希望再生時間を満たした後、オーディオデータを同期に再生することができる。このうち、参考再生時間はデコード開始参考時間を小さくすることによって小さくなるが、オーディオデータのデコード実際処理時間は影響や制限を受けない。したがって、オーディオデータに対応する参考再生時間を小さくすることは、オーディオデータのデコード処理に十分なデコード時間を提供し、かつ、デコード処理の時間が長すぎるためにオーディオデータの再生に音画非同期、ドロップフレーム、または再生遅れなどの現象が発生することを回避する。
【0032】
以下、それぞれに詳しく説明する。なお、以下の実施例の説明順序は、実施例の優先順位を限定するものではない。
図2は、本発明によって提供されるオーディオ再生方法のフロー模式図である。このオーディオ再生方法の具体的な流れは、以下のようになる。
【0033】
ステップ101:端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含む。
【0034】
ここで、端末装置によって受信され、再生するオーディオデータは、多くの場合、符号化されて圧縮されたデータである。例えば、デジタルテレビでは、伝送されるパケットTLVがISDB S3規格のパケットであり、4Kスーパーハイビジョン番組に対応するTLVパケットが、一般的に番組内容のデータ量が非常に大きいため、伝送効率を向上させるために、一般的には、オーディオデータを符号化して圧縮すると、端末装置が受信したオーディオデータが、デコードされる圧縮データであり、端末装置が、オーディオデータをデコードしてからオーディオデータの再生を行うことができる。
【0035】
ステップ102:各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録する。
【0036】
ここで、デコード開始参考時間とは、端末装置の参考時計に同期され、すなわち、オーディオデータのデコード処理が開始されるとき、参考時計の時間が、オーディオデータのデコード開始参考時間である。
ここで、オーディオデータのデコード実際処理時間は、オーディオデータデコード処理にかかった実際の時間である。
【0037】
ここで、オーディオデータのデコード実際処理時間が、ハードウェア計時装置によって正確に計時することができ、すなわち、選択的に、本願のいくつかの実施例において、「各フレームのオーディオデータに対するデコード処理に対するデコード実際処理時間を記録する」ことは、
水晶振動に基づいてタイミングフィードバックを行い、前記オーディオデータのデコード開始時間とデコード終了時間をそれぞれ取得することと、
前記デコード開始時間と、前記デコード終了時間に基づいて、前記オーディオデータのデコード実際処理時間を特定することを含む。
【0038】
例えば、水晶振動子のフィードバックにより時間を計ることができる。例えば、発振器が使用され、端末装置の電源が入った時、0時0分0秒から時間を計り、時間を計る過程が27M水晶振動によるタイミングフィードバックであり、その中で、発振器による時間を計るのは比較的に正確である。
【0039】
ここで、オーディオデータのデコード開始時に計時し、デコード開始時間を取得し、オーディオデータのデコード終了時に、オーディオデータのデコード終了時間を取得し、デコード終了時間とデコード開始時間の差によって、オーディオデータのデコードのデコード実際処理時間を取得できる。
【0040】
ステップ103:前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得する。
【0041】
ここで、オーディオデータの参考再生時間が希望再生時間より大きい場合、オーディオデータが正確に再生できなく、音画非同期、ドロップフレーム、再生遅れなどの現象が発生するため、オーディオデータの参考再生時間を調整する必要がある。すなわち、音声データ再生の調整は、参考再生時間のデータに参考して、参考時計に対応するデータを調整しない、すなわち、端末の表示時間を調整していない。
【0042】
ここで、基準オフセット時間が、オーディオデータの参考再生時間と希望再生時間の差により特定されてもよく、参考再生時間を前記差までにバックし、調整された参考再生時間が希望再生時間以下になるようにする。
【0043】
ここで、オーディオデータのデコード時間はミリ秒レベルなので、参考時間の調整も人体が感知しにくいミリ秒の差である。例えば、オーディオデータの元参考再生時間が7時500msの場合、すなわち、端末装置の参考時計の表示時間が7時ちょうどで、基準オフセット時間が200msなので、調整後の参考再生時間が7時300msであり、この時に、参考時計の表示時間が7時ちょうどで、200msというミリ秒レベルの調整がユーザーにより感知しにくいが、200msの時間がオーディオデコードにとって無視できないため、元参考再生時間が希望再生時間を超えると、オーディオデータが正確に再生されないので、その分の基準オフセット時間を調整することで、参考再生時間を調整して、オーディオデータを再生可能にし、オーディオデータのデコードに十分な時間を提供し、ハードウェア製品の性能要件を軽減し、ユーザーがこの時間の違いを感知しにくい。
【0044】
本願の実施例において、現在オーディオデータの基準オフセット時間が、過去の履歴データのオフセット状況に基づいて決定してもよい。すなわち、選択的に、いくつかの実施例において、「前記オーディオデータに対応する基準オフセット時間を取得する」ことは、具体的には、
少なくとも1フレームの履歴オーディオデータをサンプリングし、前記履歴オーディオデータが前記現在オーディオデータと同じデータタイプであることと、
各フレームの履歴オーディオデータに対するデコード処理後の履歴参考再生時間と履歴希望再生時間とをそれぞれ取得することと、
前記履歴参考再生時間と履歴希望再生時間に基づいて、各フレームの履歴オーディオデータのオフセット時間をそれぞれ特定することと、
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定することと、を含む。
【0045】
ここで、同じデータタイプの履歴オーディオデータのオフセット時間の取得に基づいて、現在オーディオデータの参考再生時間が調整すべき基準オフセット時間が推測され、現在オーディオデータのデータタイプと同じ履歴オーディオデータがサンプリングされているため、基準オフセット時間の取得が正確である。
【0046】
基準オフセット時間の正確性を保証するために、サンプリングされる履歴オーディオデータは、ある周波数に応じて交換することができ、すなわち、いくつかの実施例において、「少なくとも1フレームの履歴オーディオデータをサンプリングする」ことは、具体的には、
所定周波数に基づいて、履歴オーディオデータを取得し、前記履歴オーディオデータが少なくとも1フレームの履歴オーディオデータを含むことと、
前記少なくとも1フレームの履歴オーディオデータをサンプリングすることと、を含む。
【0047】
ここで、異なるまたは新しい履歴オーディオデータは、基準オフセット時間の取得の参考として、一定の適時性と正確性を備えている。
【0048】
ここで、履歴オーディオデータに対応するオフセット時間を平均演算にすることにより、現在オーディオデータの基準オフセットを特定し、すなわち、選択的に、いくつかの実施例において、「少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定する」ことは、具体的には、
少なくとも1つの前記オフセット時間の平均値を特定し、平均オフセット時間を取得することと、
前記平均オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定することと、を含む。
【0049】
ここで、平均値は現在オーディオデータと同じデータタイプである履歴オーディオデータの全体的なオフセットを示しており、この全体的なオフセットは、現在オーディオデータの参考再生時間の調整範囲を反映できるので、履歴オーディオデータの平均オフセット時間を現在オーディオデータの基準オフセット時間とすることは、ある程度の正確性と参考価値がある。
【0050】
ここで、デコード時間はミリ秒レベルであるので、計算効率を向上させるために、1ミリ秒単位以下の時間を無視することができるので、オフセット時間に対して整数レベルのオフセット値の調整を行うことができ、すなわち、選択的に、いくつかの実施例において、「少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定する」ことは、具体的には、
少なくとも1つの前記オフセット時間の平均値を特定し、平均オフセット時間を取得することと、
前記平均オフセット時間の整数を取って、前記履歴オーディオデータに対応する平均整数オフセット時間を取得することと、
前記平均整数オフセット時間を前記現在オーディオデータの基準オフセット時間に特定することと、を含む。
【0051】
ここで、整数を取る方式とは、小数から整数に変換の方式であってもよく、例えば、小数点以下の数値を1に調整し、調整後の参考再生時間を希望再生時間より小さくして、オーディオデータがスムーズに再生できるようにする。
【0052】
ここで、整数の基準オフセット時間から、オーディオデータ参考再生時間の調整区間を直観的に知ることができる。
【0053】
ここで、デコード時間はミリ秒レベルであるので、計算効率を向上させるために、1ミリ秒単位以下の時間を無視することができ、すなわち、各オフセット時間の整数部分のみを基準オフセット時間の選択の考慮要素とすることができ、各オフセット時間を先に整数を取り、これらのオフセット時間の平均値を計算する。すなわち、選択的に、いくつかの実施例において、「少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定する」ことは、具体的には、
前記少なくとも1つの前記オフセット時間の整数を取って、少なくとも1つの整数オフセット時間を取得することと、
前記少なくとも1つの整数オフセット時間に基づいて、前記少なくとも1つフレームのオーディオデータの各フレームのオーディオデータの整数平均オフセット時間を特定することと、
前記整数平均オフセット時間を前記現在オーディオデータの基準オフセット時間に特定することと、を含む。
【0054】
ここで、調整された参考再生時間が希望再生時間以下であることを保証するために、各オフセット時間を小数から整数に変換してもよい。たとえば、各オフセットデータの小数点以下のデータを1に調整すると、すなわち整数部分が1ms増加する。
【0055】
ここで、基準オフセット時間は、現在オーディオデータのデータタイプと同じ履歴オーディオデータの基本的なオフセットデータまたは全体的なオフセットを示しているので、参考再生時間に対する基準オフセット時間の調整によって、参考再生時間を希望再生時間以下に調整することが大体できる。
【0056】
ここで、前記基準オフセット時間が平均値の取得に基づいて取得したものであり、それぞれのオーディオデータオフセット時間の平均値が、そのオーディオデータセット全体のオフセットを表しているので、前記方式で取得した基準オフセット時間は、参考再生時間の調整ニーズをある程度に満足することができる。
【0057】
しかし、より高い精度が要求されるオーディオデータについては、基準オフセット時間に加えて、オーディオデータに対応する実際オフセット時間に基づいて、オーディオデータの基準オフセット時間の調整に基づいてまだ存在する誤差オフセット時間を特定し、基準オフセット時間と誤差オフセット時間に基づいて、オーディオデータの参考再生時間を同時に調整することもできる。すなわち、選択的に、いくつかの実施例において、「前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する」ことは、
前記オーディオデータの予約処理時間を取得することと、
前記予約処理時間と前記デコード実際処理時間に基づいて、前記オーディオデータの実際オフセット時間を特定することと、
前記基準オフセット時間と前記実際オフセット時間に基づいて、前記オーディオデータの誤差オフセット時間を特定することと、
前記基準オフセット時間と前記誤差オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、を含む。
【0058】
ここで、基準オフセット時間が履歴オーディオデータのオフセット時間の平均値から計算されるので、基準オフセット時間による参考再生時間の調整を行っても誤差があるので、実際オフセット時間と基準オフセット時間により誤差オフセット時間を特定し、そして、参考再生時間が基準オフセット時間に基づいて調整した後、さらに誤差オフセット時間による調整を行うと、オーディオデータの参考再生時間調整の精度が向上し、調整後の参考再生時間が希望再生時間以下になることが保証される。
【0059】
例えば、基準オフセット時間が整数であると精度が失われるので、精度の要求を満たすためには、各フレームのオーディオデータに対応する実際のオーディオデータを特定し、実際のオーディオデータと基準オフセット時間に基づいて誤差オフセット時間を特定し、そして、基準オフセット時間に基づいて参考再生時間を調整したうえで、誤差オフセット時間に基づいてさらに調整する。
【0060】
ここで、より高い精度が要求されるオーディオデータについては、オーディオデータのデコード後の実際オフセット時間により調整され、基準オフセット時間はさらに実際オフセット時間を含む。すなわち、選択的に、いくつかの実施例において、「前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する」ことは、
前記オーディオデータの予約処理時間を取得することと、
前記予約処理時間と前記デコード実際処理時間に基づいて、前記オーディオデータの実際オフセット時間を特定することと、
前記実際オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、を含む。
【0061】
ここで、オーディオデータのデコード後かつオーディオデータが出力される前に、オーディオデータの実際オフセット時間に基づいて、オーディオデータのデコード開始参考時間を調整する。
【0062】
ここで、予約処理時間が、オーディオデータのデコードのために予約された処理時間であり、予約処理時間の取得が、デコード開始参考時間と希望再生時間に従って取得してもよい。すなわち、選択的に、本願のいくつかの実施例において、「オーディオデータの予約処理時間を取得する」ことは、
前記オーディオデータのデコード開始参考時間と、前記希望再生時間に基づいて、前記オーディオデータの予約処理時間を特定することを含む。
【0063】
ここで、希望再生時間とデコード開始参考時間の差に基づいてオーディオデータの予約処理時間が取得でき、予約処理時間とデコード実際処理時間の比較に基づいてオーディオデータデコードの実際オフセット時間が取得できる。
【0064】
ここで、オーディオデータの希望再生時間は、オーディオデータのデータ情報から直接抽出できる。すなわち、選択的に、いくつかの実施例において、「前記オーディオデータに対応する希望再生時間を取得する」ことは、具体的には、
前記オーディオデータから前記オーディオデータの希望再生時間を直接抽出することを含む。
【0065】
ここで、オーディオデータの基準オフセット時間が、オーディオデータのタイプに基づいて決定してもよい。すなわち、選択的に、いくつかの実施例において、「前記オーディオデータに対応する基準オフセット時間を取得する」ことは、具体的には、
前記オーディオデータのオーディオデータタイプを識別することと、
マッピング関係セットを取得し、前記マッピング関係セットが、所定オーディオデータタイプと所定基準オフセット時間とのマッピング関係を含むことと、
前記マッピング関係セットと前記オーディオデータタイプに基づいて、前記オーディオデータに対応する基準オフセット時間を取得することと、を含む。
【0066】
ここで、マッピング関係セットが、従来の履歴オーディオデータのタイプとオフセット時間の関係にもとづいて特定してもよい。例えば、履歴オーディオデータのタイプとオフセット時間の統計にもとづいて、オーディオデータのデータタイプに対応する基準オフセット時間を統合特定する。
【0067】
ステップ104:前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する。
【0068】
ここで、オーディオデータデコード処理前のデコード開始参考時間とデコード処理後の参考再生時間は同じタイムライン上にある。すなわち、デコード開始参考時間の変化が参考再生時間の変化をもたらすので、デコード処理を開始したデコード開始参考時間の調整は、デコード処理後の参考再生時間の調整に相当する。
【0069】
ここで、
図3を参照する。
図3は、本発明の実施例における参考再生時間調整のフロー模式図であるであり、オーディオデータ処理開始時のデコード開始参考時間に対して調整を行うことができ、例えば、デコード開始参考時間に対して戻し調整を行った後に、オーディオデータ処理後の最終的な参考再生時間に対しても変更調整を行う。すなわち、デコード開始参考時間の調整後に、最終的な参考再生時間に対して更新調整を行うことに相当し、具体的には次のとおりである。
ステップ111:オーディオデータパケット(TLV stream)であるオーディオデータセットを取得する。
ステップ112:オーディオデータパケット中のオーディオデータのデコードを開始する際に、オーディオデータデコード開始時の端末装置の参考時計のリアルタイム時間(すなわちオーディオデータのデコード開始参考時間)とデコード実際処理時間を記録する。
ステップ113:オーディオデータに対応する希望再生時間を取得する。
ステップ114:基準オフセット時間と誤差オフセット時間に基づいてデコード開始参考時間を調整することで、調整したデコード開始調整時間とデコード実際処理時間の和(すなわち参考再生時間)が、オーディオデータに対応する希望再生時間の以下になる。
ステップ115:調整後(すなわちオーディオデータデコード後)の参考再生時間を継続のタイミング更新をして、参考再生時間をオーディオデータに対応する希望再生時間に変化させ、このときオーディオデータを再生する。
【0070】
ここで、オーディオデータのデコード開始時に、デコード開始参考時間を調整することにより、オーディオデータを再生するハードウェアデバイスが希望再生時間以下の1つの参考再生時間を取得することができる。すなわち、デコード開始参考時間の調整後、デコード後にハードウェアデバイスによって取得される参考再生時間が、調整後の参考再生時間である。
【0071】
ステップ105:前記デコード開始調整時間と前記デコード実際処理時間とに基づいて前記オーディオデータの参考再生時間を特定し、前記参考再生時間が前記希望再生時間の以下である。
【0072】
ここで、オーディオデータのデコード開始参考時間とデコード実際処理時間の和がオーディオデータデコード後の参照時間であり、履歴オーディオデータのオフセット時間を参照するため、現在オーディオデータの開始参照時間を調整することで、オーディオデータデコード後の参考再生時間がオーディオデータの希望再生時間以下になる。
【0073】
ここで、オーディオデータデコード処理前の時間情報とデコード処理後の時間情報に基づいてオーディオデータの参考再生時間を特定する。すなわち、選択的に、いくつかの実施例において、「前記デコード開始調整時間と前記デコード実際処理時間に基づいて、前記オーディオデータの参考再生時間を特定する」ことは、具体的には、
前記オーディオデータに対するデコード処理のデコード開始時間とデコード終了時間を取得することと、
前記デコード開始調整時間と、前記デコード開始時間に基づいて、前記オーディオデータのベース参考再生時間を特定することと、
前記ベース参考再生時間と、前記デコード終了時間に基づいて、前記オーディオデータの参考再生時間を特定することと、を含む。
【0074】
ここで、デコード開始調整時間とデコード開始時間の差により、オーディオデータのベース参考再生時間を取得でき、ベース参考再生時間とデコード終了時間の和により、オーディオデータの参考再生時間を取得できる。すなわち、参考再生時間とデコード開始調整時間の差は、デコード終了時間とデコード開始時間の差に等しい。
【0075】
ここで、ベース参考再生時間によって参考再生時間を取得することにより、基準オフセット時間の調整をオーディオデータのデコード開始時に調整できる。すなわち、オーディオデータのデコード開始参考時間を調整する。
【0076】
ここで、オーディオデータのデコード開始前のベース参考再生時間を調整することにより、調整後のデコード開始調整時間を最終的な参考再生時間に同期作用させることができる。
【0077】
ステップ106:時間変化に基づいて前記参考再生時間を更新する。
【0078】
ここで、参考再生時間はオーディオデータの参考再生時間であり、参考再生時間が希望再生時間に達すると、オーディオデータを再生することができる。
【0079】
ここで、履歴オーディオデータのオフセット時間により、現在オーディオデータの基準オフセット時間が推測できるので、基準オフセット時間により参考再生時間に戻し調整を行うことで、参考再生時間が、参考時計の時間内に同期されなく、希望再生時間の時間より以下になるように調整した。
【0080】
ステップ107:調整された参考再生時間が希望再生時間に達すると、端末装置に応じてオーディオデータが再生される。
【0081】
ここで、参考再生時間の計時が続けると、参考再生時間に対応するタイムスタンプが希望再生時間のタイムスタンプと同じになった後、オーディオデータを再生することができ、オーディオデータのデコードがミリ秒レベルであるため、調整された参考再生時間と希望再生時間の時間差もミリ秒レベルであるべきである。
【0082】
ここで、オーディオデータセットの各オーディオデータの希望再生時間に対応するタイムスタンプの差は、比較的に一定であるため、調整後の各オーディオデータに対応する参考再生時間の差も、比較的に一定であり、オーディオの連続再生が可能である。
【0083】
ここで、
図4を参照する。本願の実施例において、基準オフセット時間によるオーディオデータの参考再生時間の調整の具体的なプロセスは以下のとおりである。
【0084】
ステップ121:オーディオデータセット、すなわちオーディオデータパケット(TLV stream)を取得し、オーディオデータセットからオーディオデータのデコード開始参考時間のタイムスタンプを取得し、デコード開始参考時間のタイムスタンプを検証し、タイムスタンプデータの有効性を判断し、有効であればステップ122に進み、無効であれば、引き続きステップ121に実行する。
【0085】
ステップ122:オーディオデータセットから各フレームオーディオデータの希望再生時間のタイムスタンプを取得し、希望再生時間のタイムスタンプを検証し、タイムスタンプデータの有効性を判断し、有効であればステップ123に進み、無効であれば、引き続きステップ122に実行する。
【0086】
ステップ123:オーディオデータデコードのデコード開始時間を記録し、そして、デコード開始時間のタイムスタンプを検証し、タイムスタンプデータの有効性を判断し、有効であればステップ124に進み、無効であれば、引き続きステップ123に実行する。
ステップ124:ベース参考再生時間を取得する。
ステップ125:基準オフセット時間に基づいてベース参考再生時間を調整する(実質的にはデコード開始参考時間の調整)。
ステップ126:実際オフセット時間を取得する。
ステップ127:基準オフセット時間と実際オフセット時間に基づいて、参考再生時間の誤差オフセット時間を特定し、基準オフセット時間が調整した上で、誤差オフセット時間に基づいてベース参考再生時間に引き続き調整を行い(実質的にはデコード開始参考時間に調整を行う)、ベース参考再生調整時間を取得し、ベース参考再生調整時間の有効性を検証し、無効であればステップ127に進み、有効であればステップ128に進む。
ステップ128:ベース参考再生調整時間をオーディオ再生のハードウェアデバイスに更新し、デコード実際処理時間に伴って調整後の参考再生時間を特定する。
【0087】
ここで、調整過程において、まず基準オフセット時間に基づいてデコード開始参考時間の調整を行い、その後、デコード実際処理時間に基づいて、調整後の誤差オフセット時間を特定する。その後、誤差オフセット時間に基づいて調整を続けることで、デコード開始参考時間の調整の正確性、すなわちオーディオデータの最終的な参考再生時間の正確性が向上する。
【0088】
本願の実施例は、オーディオデータの参考再生時間を小さくすることにより、参考再生時間を時間とともに変化させ、変化後に希望再生時間に達した後、オーディオデータを再生する、すなわち、オーディオデータの参考再生時間が希望再生時間を満たした後、オーディオデータを同期に再生することができる。このうち、参考再生時間はデコード開始参考時間を小さくすることによって小さくなるが、オーディオデータのデコード実際処理時間は影響や制限を受けない。したがって、オーディオデータに対応する参考再生時間を小さくすることは、オーディオデータのデコード処理に十分なデコード時間を提供し、かつ、デコード処理の時間が長すぎるためにオーディオデータの再生に音画非同期、ドロップフレーム、または再生遅れなどの現象が発生することを回避する。
【0089】
本開示に記載されたオーディオ再生方法をより良く実施するために、本開示は、前記オーディオ再生方法によるオーディオ再生装置も提供する。ここで、名詞の意味は上述のオーディオ再生方法におけるものと同じであり、具体的な実現の詳細は方法の実施例における説明を参照してもよい。
【0090】
図5を参照する。
図5は、本願に提供されるオーディオ再生装置の概略構成図であり、デコードモジュール201、記録モジュール202、取得モジュール203、調整モジュール204、特定モジュール205、タイミングモジュール206、および再生モジュール207が含まれる。具体的には次のとおりである。
デコードモジュール201には、端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含む。
ここで、端末装置によって受信され、再生するオーディオデータは、多くの場合、符号化されて圧縮されたデータである。例えば、デジタルテレビでは、伝送されるパケットTLVがISDB S3規格のパケットであり、4Kスーパーハイビジョン番組に対応するTLVパケットが、一般的に番組内容のデータ量が非常に大きいため、伝送効率を向上させるために、一般的には、オーディオデータを符号化して圧縮すると、端末装置が受信したオーディオデータが、デコードされる圧縮データであり、端末装置が、オーディオデータをデコードしてからオーディオデータの再生を行うことができる。
記録モジュール202には、各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録する。
ここで、デコード開始参考時間とは、端末装置の参考時計に同期され、すなわち、オーディオデータのデコード処理が開始されるとき、参考時計の時間が、オーディオデータのデコード開始参考時間である。
ここで、オーディオデータのデコード実際処理時間は、オーディオデータデコード処理にかかった実際の時間である。
【0091】
選択的に、本願のいくつかの実施例において、記録モジュール202は、
水晶振動に基づいてタイミングフィードバックを行い、前記オーディオデータのデコード開始時間とデコード終了時間をそれぞれ取得することと、
前記デコード開始時間と、前記デコード終了時間に基づいて、前記オーディオデータのデコード実際処理時間を特定することと、に用いられる。
【0092】
ここで、参照時間は、参考時計の時刻を受信して更新されるが、データ送信及び更新の過程で時間消費を伴うため、参照時間に基づいてオーディオデータの実際デコード時間を取得することは不正確であるため、本願では水晶振動の計時装置に基づいてオーディオデータの実際デコード時間の計時を実現し、水晶振動フィードバックによる計時処理を用いた方が正確である。
【0093】
取得モジュール203には、前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得する。
【0094】
ここで、オーディオデータの参考再生時間が希望再生時間より大きい場合、オーディオデータが正確に再生できなく、音画非同期、ドロップフレーム、再生遅れなどの現象が発生するため、オーディオデータの参考再生時間を調整する必要がある。すなわち、音声データ再生の調整は、参考再生時間のデータに参考して、参考時計に対応するデータを調整しない、すなわち、端末の表示時間を調整していない。
【0095】
ここで、基準オフセット時間が、オーディオデータの参考再生時間と希望再生時間の差により特定されてもよく、参考再生時間を前記差までにバックし、調整された参考再生時間が希望再生時間以下になるようにする。
【0096】
ここで、オーディオデータのデコード時間はミリ秒レベルなので、参考時間の調整も人体が感知しにくいミリ秒の差である。例えば、オーディオデータの元参考再生時間が7時500msの場合、すなわち、端末装置の参考時計の表示時間が7時ちょうどで、基準オフセット時間が200msなので、調整後の参考再生時間が7時300msであり、この時に、参考時計の表示時間が7時ちょうどで、200msというミリ秒レベルの調整がユーザーにより感知しにくいが、200msの時間がオーディオデコードにとって無視できないため、元参考再生時間が希望再生時間を超えると、オーディオデータが正確に再生されないので、その分の基準オフセット時間を調整することで、参考再生時間を調整して、オーディオデータを再生可能にし、オーディオデータのデコードに十分な時間を提供し、ハードウェア製品の性能要件を軽減し、ユーザーがこの時間の違いを感知しにくい。
【0097】
選択的に、本願のいくつかの実施例において、前記オーディオデータが、現在オーディオデータを含み、前記取得モジュール203は、
少なくとも1フレームの履歴オーディオデータをサンプリングし、前記履歴オーディオデータが前記現在オーディオデータと同じデータタイプであるサンプリングユニットと、
各フレームの履歴オーディオデータに対するデコード処理後の履歴参考再生時間と希望再生時間とをそれぞれ取得する第一取得ユニットと、
前記履歴参考再生時間と前記希望再生時間に基づいて、各フレームの履歴オーディオデータのオフセット時間をそれぞれ特定する第一特定ユニットと、
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定する第二特定ユニットと、を含む。
【0098】
ここで、同じデータタイプの履歴オーディオデータのオフセット時間の取得に基づいて、現在オーディオデータの参考再生時間が調整すべき基準オフセット時間が推測され、現在オーディオデータのデータタイプと同じ履歴オーディオデータがサンプリングされているため、基準オフセット時間の取得が正確である。
【0099】
選択的に、本願のいくつかの実施例において、第二特定ユニットは、
少なくとも1つの前記オフセット時間の平均値を特定し、平均オフセット時間を取得する第一特定サブユニットと、
前記平均オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定する第二特定サブユニットと、を含む。
【0100】
ここで、平均値は現在オーディオデータと同じデータタイプである履歴オーディオデータの全体的なオフセットを示しており、この全体的なオフセットは、現在オーディオデータの参考再生時間の調整範囲を反映できるので、履歴オーディオデータの平均オフセット時間を現在オーディオデータの基準オフセット時間とすることは、ある程度の正確性と参考価値がある。
【0101】
選択的に、本願のいくつかの実施例において、前記第二特定ユニットは、
少なくとも1つの前記オフセット時間の平均値を特定し、平均オフセット時間を取得することと、
前記平均オフセット時間の整数を取って、前記履歴オーディオデータに対応する平均整数オフセット時間を取得することと、
前記平均整数オフセット時間を前記現在オーディオデータの基準オフセット時間に特定することと、さらに用いられる。
【0102】
選択的に、本願のいくつかの実施例において、第二特定ユニットは、
前記少なくとも1つの前記オフセット時間の整数を取って、少なくとも1つの整数オフセット時間を取得することと、
前記少なくとも1つの整数オフセット時間に基づいて、前記少なくとも1つフレームのオーディオデータの各フレームのオーディオデータの整数平均オフセット時間を特定することと、
前記整数平均オフセット時間を前記現在オーディオデータの基準オフセット時間に特定することと、さらに用いられる。
【0103】
選択的に、本願のいくつかの実施例において、サンプリングユニットは、
所定周波数に基づいて、履歴オーディオデータを取得し、前記履歴オーディオデータが少なくとも1フレームの履歴オーディオデータを含むことと、
前記少なくとも1フレームの履歴オーディオデータをサンプリングすることと、さらに用いられる。
【0104】
選択的に、本願のいくつかの実施例において、取得モジュール203は、
前記オーディオデータから前記オーディオデータの希望再生時間を直接抽出することに用いられる。
【0105】
選択的に、本願のいくつかの実施例において、取得モジュール203は、
前記オーディオデータのオーディオデータタイプを識別することと、
マッピング関係セットを取得し、前記マッピング関係セットが、所定オーディオデータタイプと所定基準オフセット時間とのマッピング関係を含むことと、
前記マッピング関係セットと前記オーディオデータタイプに基づいて、前記オーディオデータに対応する基準オフセット時間を取得することと、さらに用いられる。
【0106】
調整モジュール204には、前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する。
【0107】
ここで、デコード開始参考時間の調整は、基準オフセット時間に基づいて調整してもよく、実際オフセット時間に基づいて調整してもよく、または、基準オフセット時間の調整に基づいて、誤差オフセット時間の調整を行うことで、参考再生時間の調整の正確性を保証できる。
【0108】
選択的に、本願のいくつかの実施例において、前記基準オフセット時間が実際オフセット時間を含み、前記調整モジュール204は、
前記オーディオデータの予約処理時間を取得する第二取得ユニットと、
前記予約処理時間と前記デコード実際処理時間に基づいて、前記オーディオデータの実際オフセット時間を特定する第三特定ユニットと、
前記実際オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する第三取得ユニットと、を含む。
【0109】
選択的に、本願のいくつかの実施例において、前記第二取得ユニットは、
前記オーディオデータのデコード開始参考時間と、前記希望再生時間に基づいて、前記オーディオデータの予約処理時間を特定する第三特定サブユニットを含む。
【0110】
選択的に、本願のいくつかの実施例において、前記第二取得ユニットは、
前記オーディオデータの予約処理時間を取得することと、
前記予約処理時間と前記デコード実際処理時間に基づいて、前記オーディオデータの実際オフセット時間を特定することと、
前記基準オフセット時間と前記実際オフセット時間に基づいて、前記オーディオデータの誤差オフセット時間を特定することと、
前記基準オフセット時間と前記誤差オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、さらに用いられる。
【0111】
特定モジュール205には、前記デコード開始調整時間と、前記デコード実際処理時間に基づいて、前記オーディオデータの参考再生時間を特定する。
【0112】
選択的に、本願のいくつかの実施例において、特定モジュール205は、
前記オーディオデータに対するデコード処理のデコード開始時間とデコード終了時間を取得することと、
前記デコード開始調整時間と、前記デコード開始時間に基づいて、前記オーディオデータのベース参考再生時間を特定することと、
前記ベース参考再生時間と、前記デコード終了時間に基づいて、前記オーディオデータの参考再生時間を特定することと、に用いられる。
【0113】
タイミングモジュール206には、時間変化に基づいて参考再生時間を更新する。
【0114】
再生モジュール207には、調整された参考再生時間が希望再生時間に達すると、端末装置に応じて前記オーディオデータが再生される。
【0115】
本実施例において、まず、デコードモジュール201が、端末装置によって取得されたオーディオデータに対してデコード処理を行い、同時に、記録モジュール202が、オーディオデータデコード処理前のデコード開始参考再生時間とデコードプロセスのデコード実際処理時間を記録し、次に、取得モジュール203が、オーディオデータの中から、各フレームオーディオデータの希望再生時間と各フレームオーディオデータに対応する基準オフセット時間とを抽出し、そして、調整モジュール204が、基準オフセット時間に基づいて、デコード開始参考再生時間を調整することで(小さくに調整する)、デコード開始調整時間が参考時計の時間に同期されない、そして、特定モジュール204が、デコード開始調整時間とデコード実際処理時間に基づいて、オーディオデータデコード処理後の参考再生時間(すなわち、参考再生時間が、デコード開始調整時間とデコード実際処理時間に基づいて特定し、参考時計の時間に同期されない)を特定し、同時に、タイミングモジュール206が、調整された参考再生時間を再タイミングし、再タイミングされた参考再生時間に対応する現在の時間がオーディオデータの希望再生時間に等しいとき、再生モジュール207が、対応するオーディオデータを再生する。本願の実施例は、オーディオデータの参考再生時間を小さくすることにより、参考再生時間を時間とともに変化させ、変化後に希望再生時間に達した後、オーディオデータを再生する、すなわち、オーディオデータの参考再生時間が希望再生時間を満たした後、オーディオデータを同期に再生することができる。このうち、参考再生時間はデコード開始参考時間を小さくすることによって小さくなるが、オーディオデータのデコード実際処理時間は影響や制限を受けない。したがって、オーディオデータに対応する参考再生時間を小さくすることは、オーディオデータのデコード処理に十分なデコード時間を提供し、かつ、デコード処理の時間が長すぎるためにオーディオデータの再生に音画非同期、ドロップフレーム、または再生遅れなどの現象が発生することを回避する。
【0116】
また、本願は電子装置を提供し、
図6に示されるように、本願に関する電子装置の構造概略図を示し、具体的には以下のように説明する。
この電子装置は、1つまたは1つ以上の処理コアのプロセッサ401、1つまたは1つ以上のコンピュータ可読記憶媒体のメモリ402、電源403、および入力ユニット404などの構成要素を含んでもよい。当業者であれば、
図6に示された電子装置構造は、電子装置の限定を構成するものではなく、図示よりも多くまたは少ない構成要素を含むか、または、いくつかの構成要素を組み合わせるか、または、異なる構成要素の配置を含むことができることが理解されたい。この中には、
プロセッサ401は、この電子装置の制御センターであり、様々なインターフェースおよび回線を利用して、全体電子装置の各部を接続し、メモリ402内に格納されたソフトウェアプログラムおよび/またはモジュールを実行または実行し、メモリ402内に格納されたデータを呼び出すことによって、電子装置の様々な機能および処理データを実行することで、電子装置全体を監視する。選択的に、プロセッサ401は、1つまたは複数の処理コアを含んでもよい。好ましくは、プロセッサ401は、オペレーティングシステム、ユーザインタフェース、およびアプリケーションプログラムなどを主に処理するアプリケーションプロセッサと、無線通信を主に処理する変復調プロセッサとを統合してもよい。なお、上述の変復調プロセッサは、プロセッサ401に統合されなくてもよい。
メモリ402は、ソフトウェアプログラムおよびモジュールを格納するために使用されてもよく、プロセッサ401は、メモリ402に格納されたソフトウェアプログラムとモジュールを実行することで、様々な機能アプリケーションおよびデコード処理を実行する。メモリ402は、主に、オペレーティングシステム、少なくとも1つの機能(例えば、音声再生機能、画像再生機能など)に必要なアプリケーションプログラムなどを記憶することができる記憶プログラム領域と、記憶データ領域とを含むことができる。格納データ領域は、電子装置の使用に応じて作成されたデータ等を格納してもよい。また、メモリ402は、高速ランダムアクセスメモリを含んでもよく、さらに、少なくとも1つの磁気ディスク記憶装置、フラッシュメモリ装置、または他の揮発性固体記憶装置のような不揮発性メモリを含んでもよい。相応的に、メモリ402は、プロセッサ401によるメモリ402へのアクセスを提供するメモリコントローラをさらに含んでもよい。
電子装置は、様々な構成要素に電力を供給する電源403を含み、好ましくは、電源403は、電力管理システムを介してプロセッサ401に論理的に接続され、それによって、電力管理システムを介して充電、放電、および電力消費の管理のような機能を実現することができる。電源403は、1つまたは1つ以上の直流電源または交流電源、再充電システム、電源障害検出回路、電源変換器またはインバータ、電源状態インジケータなどの任意の構成要素を含んでもよい。
【0117】
この電子装置は、入力ユニット404を含んでもよく、この入力ユニット404が、入力された数字または文字情報を受信し、ユーザー設定および機能制御に関連するキーボード、マウス、操作レバー、光学式またはトラックボールの信号入力を生成するために使用される。
【0118】
図示していないが、電子装置には表示部なども含まれていてもよいので、ここでは説明しない。具体的に本実施例において、電子装置のプロセッサ401は、以下の命令に従って、1つまたは1つ以上のアプリケーションプログラムのプロセスに対応する実行可能ファイルをメモリ402にロードし、メモリ402に格納されたアプリケーションプログラムをプロセッサ401が実行することにより、以下のように様々な機能を実現する。
【0119】
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含む。各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録する。前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得する。前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する。前記デコード開始調整時間と前記デコード実際処理時間とに基づいて前記オーディオデータの参考再生時間を特定し、前記参考再生時間が前記希望再生時間の以下である。時間変化に基づいて前記参考再生時間を更新する。調整された参考再生時間が希望再生時間に達すると、端末装置に応じてオーディオデータが再生される。
【0120】
以上の各動作の具体的な実施案は、前述の実施例を参照し、ここでは重複するものが説明しない。
オーディオデータの参考再生時間を小さくすることにより、参考再生時間を時間とともに変化させ、変化後に希望再生時間に達した後、オーディオデータを再生する、すなわち、オーディオデータの参考再生時間が希望再生時間を満たした後、オーディオデータを同期に再生することができる。このうち、参考再生時間はデコード開始参考時間を小さくすることによって小さくなるが、オーディオデータのデコード実際処理時間は影響や制限を受けない。したがって、オーディオデータに対応する参考再生時間を小さくすることは、オーディオデータのデコード処理に十分なデコード時間を提供し、かつ、デコード処理の時間が長すぎるためにオーディオデータの再生に音画非同期、ドロップフレーム、または再生遅れなどの現象が発生することを回避する。
【0121】
当業者であれば、上述した実施例の様々な方法におけるステップの全部または一部は、コンピュータ可読記憶媒体に記憶され、プロセッサによってロードおよび実行される命令によって、または関連するハードウェアを制御する命令によって実行されることができることを理解されたい。
【0122】
そのため、本願は、本明細書に記載されたオーディオ再生方法のいずれかにおけるステップを実行するためにプロセッサによってロードされることができる複数の命令を格納した記憶媒体を提供する。たとえば、この命令は次のようなステップを実行できる。
【0123】
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含む。各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録する。前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得する。前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する。前記デコード開始調整時間と前記デコード実際処理時間とに基づいて前記オーディオデータの参考再生時間を特定し、前記参考再生時間が前記希望再生時間の以下である。時間変化に基づいて前記参考再生時間を更新する。調整された参考再生時間が希望再生時間に達すると、端末装置に応じてオーディオデータが再生される。
以上の各動作の具体的な実施案は、前述の実施例を参照し、ここでは重複するものが説明しない。
【0124】
ここで、記憶媒体は、読み出し専用メモリ(ROM、Read Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、磁気ディスク、または光ディスクなどを含んでもよい。
【0125】
この記憶媒体に記憶された命令は、本明細書で提供されたいずれかのオーディオ再生方法におけるステップを実行することができるので、本明細書で提供されたいずれかのオーディオ再生方法によって達成され得る有益な効果を達成することができ、詳細には前述の実施例を参照してここでは説明しない。
本明細書で提供されるオーディオ再生方法、装置、電子装置、および記憶媒体については以上のように詳細に説明し、本明細書では具体的な例を用いて本発明の原理および実施例について説明したが、上記実施例の説明は、本発明の方法およびその中核的な考え方の理解を助けるためにのみ使用されるものである、同時に、当業者にとっては、本発明の考え方に基づいて、具体的な実施例及び適用範囲に変更点があることから、本明細書の内容は本発明の制限と理解すべきではない。
以上に述べたのは本出願の好ましい実施例のみであり、これによって本出願の特許範囲を制限するものではなく、本出願の説明書及び添付図面の内容を利用して行う等価な構造若しくはフローの変換、又は直接若しくは間接的にその他の関連する技術分野での運用は、いずれも本出願の特許保護範囲に含まれるのと同じである。
【手続補正書】
【提出日】2024-02-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
オーディオ再生方法であって、
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含むことと、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録することと、
前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得することと、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、
前記デコード開始調整時間と前記デコード実際処理時間とに基づいて前記オーディオデータの参考再生時間を特定し、前記参考再生時間が前記希望再生時間の以下であることと、
時間変化に基づいて前記参考再生時間を更新
して、調整された参考再生時間を取得することと、
調整された参考再生時間が希望再生時間に達すると、前記端末装置に応じて前記オーディオデータが再生されることと、を含む、
ことを特徴とするオーディオ再生方法。
【請求項2】
前記オーディオデータが、現在オーディオデータを含み、前記オーディオデータに対応する基準オフセット時間を取得することは、
少なくとも1フレームの履歴オーディオデータをサンプリングし、前記履歴オーディオデータが前記現在オーディオデータと同じデータタイプであることと、
前記少なくとも1フレームの履歴オーディオデータの各フレームの履歴オーディオデータに対するデコード処理後の履歴参考再生時間と履歴希望再生時間とをそれぞれ取得することと、
前記履歴参考再生時間と前記履歴希望再生時間に基づいて、
前記少なくとも1フレームの履歴オーディオデータの各フレームの履歴オーディオデータのオフセット時間をそれぞれ特定することと、
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定することと、を含む、
ことを特徴とする請求項1に記載のオーディオ再生方法。
【請求項3】
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定することは、
少なくとも1つの前記オフセット時間の平均値を特定し、平均オフセット時間を取得することと、
前記平均オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定することと、を含む、
ことを特徴とする請求項2に記載のオーディオ再生方法。
【請求項4】
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定することは、
少なくとも1つの前記オフセット時間の平均値を特定し、平均オフセット時間を取得することと、
前記平均オフセット時間の整数を取って、前記履歴オーディオデータに対応する平均整数オフセット時間を取得することと、
前記平均整数オフセット時間を前記現在オーディオデータの基準オフセット時間に特定することと、を含む、
ことを特徴とする請求項2に記載のオーディオ再生方法。
【請求項5】
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定することは、
少なくとも1つの前記オフセット時間の整数を取って、少なくとも1つの整数オフセット時間を取得することと、
少なくとも1つの前記整数オフセット時間に基づいて、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータの整数平均オフセット時間を特定することと、
前記整数平均オフセット時間を前記現在オーディオデータの基準オフセット時間に特定することと、を含む、
ことを特徴とする請求項2に記載のオーディオ再生方法。
【請求項6】
少なくとも1フレームの履歴オーディオデータをサンプリングすることは、
所定周波数に基づいて、履歴オーディオデータを取得し、前記履歴オーディオデータが少なくとも1フレーム
の履歴オーディオデータであることと、
前記少なくとも1フレームの履歴オーディオデータをサンプリングすることと、を含む、
ことを特徴とする請求項2に記載のオーディオ再生方法。
【請求項7】
前記基準オフセット時間が実際オフセット時間を含み、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することは、
前記オーディオデータの予約処理時間を取得することと、
前記予約処理時間と前記デコード実際処理時間に基づいて、前記オーディオデータの実際オフセット時間を特定することと、
前記実際オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、を含む、
ことを特徴とする請求項1に記載のオーディオ再生方法。
【請求項8】
前記オーディオデータの予約処理時間を取得することは、
前記オーディオデータのデコード開始参考時間と、前記希望再生時間に基づいて、前記オーディオデータの予約処理時間を特定することを含む、
ことを特徴とする請求項7に記載のオーディオ再生方法。
【請求項9】
前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することは、
前記オーディオデータの予約処理時間を取得することと、
前記予約処理時間と前記デコード実際処理時間に基づいて、前記オーディオデータの実際オフセット時間を特定することと、
前記基準オフセット時間と前記実際オフセット時間に基づいて、前記オーディオデータの誤差オフセット時間を特定することと、
前記基準オフセット時間と前記誤差オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、を含む、
ことを特徴とする請求項1に記載のオーディオ再生方法。
【請求項10】
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対するデコード処理のデコード実際処理時間を記録することは、
水晶振動に基づいてタイミングフィードバックを行い、前記オーディオデータのデコード開始時間とデコード終了時間をそれぞれ取得することと、
前記デコード開始時間と、前記デコード終了時間に基づいて、前記オーディオデータのデコード実際処理時間を特定することを含む、
ことを特徴とする請求項1に記載のオーディオ再生方法。
【請求項11】
前記デコード開始調整時間と前記デコード実際処理時間に基づいて、前記オーディオデータの参考再生時間を特定することは、
前記オーディオデータに対するデコード処理のデコード開始時間とデコード終了時間を取得することと、
前記デコード開始調整時間と、前記デコード開始時間に基づいて、前記オーディオデータのベース参考再生時間を特定することと、
前記ベース参考再生時間と、前記デコード終了時間に基づいて、前記オーディオデータの参考再生時間を特定することと、を含む、
ことを特徴とする請求項1に記載のオーディオ再生方法。
【請求項12】
前記オーディオデータに対応する希望再生時間を取得することは、
前記オーディオデータから前記オーディオデータの希望再生時間を直接抽出することを含む、
ことを特徴とする請求項1に記載のオーディオ再生方法。
【請求項13】
前記オーディオデータに対応する基準オフセット時間を取得することは、
前記オーディオデータのオーディオデータタイプを識別することと、
マッピング関係セットを取得し、前記マッピング関係セットが、所定オーディオデータタイプと所定基準オフセット時間とのマッピング関係を含むことと、
前記マッピング関係セットと前記オーディオデータタイプに基づいて、前記オーディオデータに対応する基準オフセット時間を取得することと、を含む、
ことを特徴とする請求項1に記載のオーディオ再生方法。
【請求項14】
オーディオ再生装置であって、
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含むデコードモジュールと、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録する記録モジュールと、
前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得する取得モジュールと、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する調整モジュールと、
前記デコード開始調整時間と、前記デコード実際処理時間に基づいて、前記オーディオデータの参考再生時間を特定する特定モジュールと、
時間変化に基づいて前記参考再生時間を更新
して、調整された参考再生時間を取得するタイミングモジュールと、
調整された参考再生時間が希望再生時間に達すると、端末装置に応じて前記オーディオデータを再生する再生モジュールと、を含む、
ことを特徴とするオーディオ再生装置。
【請求項15】
前記オーディオデータが、現在オーディオデータを含み、前記取得モジュールは、
少なくとも1フレームの履歴オーディオデータをサンプリングし、前記履歴オーディオデータが前記現在オーディオデータと同じデータタイプであるサンプリングユニットと、
前記少なくとも1フレームの履歴オーディオデータの各フレームの履歴オーディオデータに対するデコード処理後の履歴参考再生時間と履歴希望再生時間とをそれぞれ取得する第一取得ユニットと、
前記履歴参考再生時間と前記希望再生時間に基づいて、
前記少なくとも1フレームの履歴オーディオデータの各フレームの履歴オーディオデータのオフセット時間をそれぞれ特定する第一特定ユニットと、
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定する第二特定ユニットと、を含む、
ことを特徴とする請求項14に記載のオーディオ再生装置。
【請求項16】
前記第二特定ユニットは、
少なくとも1つの前記オフセット時間の平均値を特定し、平均オフセット時間を取得する第一特定サブユニットと、
前記平均オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定する第二特定サブユニットと、を含む、
ことを特徴とする請求項15に記載のオーディオ再生装置。
【請求項17】
前記基準オフセット時間が実際オフセット時間を含み、前記調整モジュールは、
前記オーディオデータの予約処理時間を取得する第二取得ユニットと、
前記予約処理時間と前記デコード実際処理時間に基づいて、前記オーディオデータの実際オフセット時間を特定する第三特定ユニットと、
前記実際オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する第三取得ユニットと、を含む、
ことを特徴とする請求項14に記載のオーディオ再生装置。
【請求項18】
前記第二取得ユニットは、
前記オーディオデータのデコード開始参考時間と、前記希望再生時間に基づいて、前記オーディオデータの予約処理時間を特定する第三特定サブユニットを含む、
ことを特徴とする請求項17に記載のオーディオ再生装置。
【請求項19】
メモリと、プロセッサと、メモリ上に格納されプロセッサで実行可能なコンピュータプログラムとを含む電子装置であって、プロセッサがプログラムを実行すると、
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含むことと、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録することと、
前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得することと、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、
前記デコード開始調整時間と、前記デコード実際処理時間に基づいて、前記オーディオデータの参考再生時間を特定することと、
時間変化に基づいて参考再生時間を更新
して、調整された参考再生時間を取得することと、
調整された参考再生時間が希望再生時間に達すると、前記端末装置に応じて前記オーディオデータが再生されることと、を実現する、
ことを特徴とする電子装置。
【請求項20】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含むことと、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録することと、
前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得することと、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、
前記デコード開始調整時間と、前記デコード実際処理時間に基づいて、前記オーディオデータの参考再生時間を特定することと、
時間変化に基づいて前記参考再生時間を更新
して、調整された参考再生時間を取得することと、
調整された参考再生時間が希望再生時間に達すると、前記端末装置に応じて前記オーディオデータが再生されることと、を実現する、
ことを特徴とするコンピュータ可読記憶媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0006
【補正方法】変更
【補正の内容】
【0006】
本発明の実施例によって提供されるオーディオ再生方法は、
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含むことと、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録することと、
前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得することと、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得することと、
前記デコード開始調整時間と、前記デコード実際処理時間に基づいて、前記オーディオデータの参考再生時間を特定することと、
時間変化に基づいて参考再生時間を更新して、調整された参考再生時間を取得することと、
調整された参考再生時間が希望再生時間に達すると、端末装置に応じてオーディオデータが再生されることと、を含む。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
相応的に、本発明の実施例によって提供されるオーディオ再生装置は、
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含むデコードモジュールと、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録する記録モジュールと、
前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得する取得モジュールと、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する調整モジュールと、
前記デコード開始調整時間と、前記デコード実際処理時間に基づいて、前記オーディオデータの参考再生時間を特定する特定モジュールと、
時間変化に基づいて参考再生時間を更新して、調整された参考再生時間を取得するタイミングモジュールと、
調整された参考再生時間が希望再生時間に達すると、端末装置に応じて前記オーディオデータが再生される再生モジュールと、を含む。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】変更
【補正の内容】
【0008】
選択的に、本願のいくつかの実施例において、前記オーディオデータが、現在オーディオデータを含み、前記取得モジュールは、
少なくとも1フレームの履歴オーディオデータをサンプリングし、前記履歴オーディオデータが前記現在オーディオデータと同じデータタイプであるサンプリングユニットと、
前記少なくとも1フレームの履歴オーディオデータの各フレームの履歴オーディオデータに対するデコード処理後の履歴参考再生時間と希望再生時間とをそれぞれ取得する第一取得ユニットと、
前記履歴参考再生時間と前記希望再生時間に基づいて、前記少なくとも1フレームの履歴オーディオデータの各フレームの履歴オーディオデータのオフセット時間をそれぞれ特定する第一特定ユニットと、
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定する第二特定ユニットと、を含む。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0035
【補正方法】変更
【補正の内容】
【0035】
ステップ102:前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録する。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0037
【補正方法】変更
【補正の内容】
【0037】
ここで、オーディオデータのデコード実際処理時間が、ハードウェア計時装置によって正確に計時することができ、すなわち、選択的に、本願のいくつかの実施例において、「前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対するデコード処理に対するデコード実際処理時間を記録する」ことは、
水晶振動に基づいてタイミングフィードバックを行い、前記オーディオデータのデコード開始時間とデコード終了時間をそれぞれ取得することと、
前記デコード開始時間と、前記デコード終了時間に基づいて、前記オーディオデータのデコード実際処理時間を特定することを含む。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0044
【補正方法】変更
【補正の内容】
【0044】
本願の実施例において、現在オーディオデータの基準オフセット時間が、過去の履歴データのオフセット状況に基づいて決定してもよい。すなわち、選択的に、いくつかの実施例において、「前記オーディオデータに対応する基準オフセット時間を取得する」ことは、具体的には、
少なくとも1フレームの履歴オーディオデータをサンプリングし、前記履歴オーディオデータが前記現在オーディオデータと同じデータタイプであることと、
前記少なくとも1フレームの履歴オーディオデータの各フレームの履歴オーディオデータに対するデコード処理後の履歴参考再生時間と履歴希望再生時間とをそれぞれ取得することと、
前記履歴参考再生時間と履歴希望再生時間に基づいて、前記少なくとも1フレームの履歴オーディオデータの各フレームの履歴オーディオデータのオフセット時間をそれぞれ特定することと、
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定することと、を含む。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0077
【補正方法】変更
【補正の内容】
【0077】
ステップ106:時間変化に基づいて前記参考再生時間を更新して、調整された参考再生時間を取得する。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0090
【補正方法】変更
【補正の内容】
【0090】
図5を参照する。
図5は、本願に提供されるオーディオ再生装置の概略構成図であり、デコードモジュール201、記録モジュール202、取得モジュール203、調整モジュール204、特定モジュール205、タイミングモジュール206、および再生モジュール207が含まれる。具体的には次のとおりである。
デコードモジュール201には、端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含む。
ここで、端末装置によって受信され、再生するオーディオデータは、多くの場合、符号化されて圧縮されたデータである。例えば、デジタルテレビでは、伝送されるパケットTLVがISDB S3規格のパケットであり、4Kスーパーハイビジョン番組に対応するTLVパケットが、一般的に番組内容のデータ量が非常に大きいため、伝送効率を向上させるために、一般的には、オーディオデータを符号化して圧縮すると、端末装置が受信したオーディオデータが、デコードされる圧縮データであり、端末装置が、オーディオデータをデコードしてからオーディオデータの再生を行うことができる。
記録モジュール202には、
前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録する。
ここで、デコード開始参考時間とは、端末装置の参考時計に同期され、すなわち、オーディオデータのデコード処理が開始されるとき、参考時計の時間が、オーディオデータのデコード開始参考時間である。
ここで、オーディオデータのデコード実際処理時間は、オーディオデータデコード処理にかかった実際の時間である。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】0097
【補正方法】変更
【補正の内容】
【0097】
選択的に、本願のいくつかの実施例において、前記オーディオデータが、現在オーディオデータを含み、前記取得モジュール203は、
少なくとも1フレームの履歴オーディオデータをサンプリングし、前記履歴オーディオデータが前記現在オーディオデータと同じデータタイプであるサンプリングユニットと、
前記少なくとも1フレームの履歴オーディオデータの各フレームの履歴オーディオデータに対するデコード処理後の履歴参考再生時間と希望再生時間とをそれぞれ取得する第一取得ユニットと、
前記履歴参考再生時間と前記希望再生時間に基づいて、前記少なくとも1フレームの履歴オーディオデータの各フレームの履歴オーディオデータのオフセット時間をそれぞれ特定する第一特定ユニットと、
少なくとも1つの前記オフセット時間に基づいて、前記現在オーディオデータの基準オフセット時間を特定する第二特定ユニットと、を含む。
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】0113
【補正方法】変更
【補正の内容】
【0113】
タイミングモジュール206には、時間変化に基づいて参考再生時間を更新して、調整された参考再生時間を取得する。
【手続補正12】
【補正対象書類名】明細書
【補正対象項目名】0119
【補正方法】変更
【補正の内容】
【0119】
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含む。前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録する。前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得する。前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する。前記デコード開始調整時間と前記デコード実際処理時間とに基づいて前記オーディオデータの参考再生時間を特定し、前記参考再生時間が前記希望再生時間の以下である。時間変化に基づいて前記参考再生時間を更新して、調整された参考再生時間を取得する。調整された参考再生時間が希望再生時間に達すると、端末装置に応じてオーディオデータが再生される。
【手続補正13】
【補正対象書類名】明細書
【補正対象項目名】0123
【補正方法】変更
【補正の内容】
【0123】
端末装置で再生されるオーディオデータセットをデコード処理し、前記オーディオデータセットが少なくとも1フレームのオーディオデータを含む。前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対するデコード処理のデコード開始参考時間と、デコード実際処理時間とを記録する。前記オーディオデータに対応する基準オフセット時間と希望再生時間とを取得する。前記少なくとも1フレームのオーディオデータの各フレームのオーディオデータに対して、前記基準オフセット時間に基づいて前記デコード開始参考時間を調整し、デコード開始調整時間を取得する。前記デコード開始調整時間と前記デコード実際処理時間とに基づいて前記オーディオデータの参考再生時間を特定し、前記参考再生時間が前記希望再生時間の以下である。時間変化に基づいて前記参考再生時間を更新して、調整された参考再生時間を取得する。調整された参考再生時間が希望再生時間に達すると、端末装置に応じてオーディオデータが再生される。
以上の各動作の具体的な実施案は、前述の実施例を参照し、ここでは重複するものが説明しない。
【国際調査報告】