(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-04
(54)【発明の名称】マルチメディア処理方法、装置、デバイスおよび媒体
(51)【国際特許分類】
H04N 21/4728 20110101AFI20240528BHJP
【FI】
H04N21/4728
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023574809
(86)(22)【出願日】2022-05-27
(85)【翻訳文提出日】2023-12-05
(86)【国際出願番号】 CN2022095452
(87)【国際公開番号】W WO2022257777
(87)【国際公開日】2022-12-15
(31)【優先権主張番号】202110637048.3
(32)【優先日】2021-06-08
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】521431088
【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司
【氏名又は名称原語表記】Beijing Zitiao Network Technology Co., Ltd.
【住所又は居所原語表記】0207, 2/F, Building 4, Zijin Digital Park, Haidian District, Beijing,P. R. China
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】チェン,コジュン
(72)【発明者】
【氏名】ヤン,ジンション
(72)【発明者】
【氏名】シュイ,ウェンミン
(72)【発明者】
【氏名】ジォン,シアン
(72)【発明者】
【氏名】ドゥ,チュンサイ
(72)【発明者】
【氏名】ジャオ,リ
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164MA01S
5C164MA06S
5C164TC13S
5C164UB41S
5C164UD44P
5C164YA11
(57)【要約】
本開示は、マルチメディア処理方法、装置、デバイスおよび媒体を開示する。前記マルチメディア処理方法は、ターゲットマルチメディアコンテンツに対応する初期テキストコンテンツを表示するステップと、関連マルチメディアコンテンツのトリガ操作に応答して、関連マルチメディアコンテンツを再生するステップと、を含み、ここで、関連マルチメディアコンテンツは、ターゲットマルチメディアコンテンツのうち、ターゲットテキストコンテンツに関連するフラグメントを含み、ターゲットテキストコンテンツは初期テキストコンテンツから抽出される。
【特許請求の範囲】
【請求項1】
ターゲットマルチメディアコンテンツに対応する初期テキストコンテンツを表示するステップと、
関連マルチメディアコンテンツのトリガ操作に応答して、前記関連マルチメディアコンテンツを再生するステップと、を含み、
前記関連マルチメディアコンテンツは、前記ターゲットマルチメディアコンテンツのうち、ターゲットテキストコンテンツに関連するフラグメントを含み、前記ターゲットテキストコンテンツは前記初期テキストコンテンツから抽出される、ことを特徴とするマルチメディア処理方法。
【請求項2】
前記ターゲットテキストコンテンツは、前記初期テキストコンテンツから抽出された少なくとも2つの連続テキストフラグメントを含む、ことを特徴とする請求項1に記載の方法。
【請求項3】
前記関連マルチメディアコンテンツのトリガ操作に応答して、前記関連マルチメディアコンテンツを再生するステップは、
前記関連マルチメディアコンテンツのトリガ操作に応答して、前記ターゲットマルチメディアコンテンツのうち各連続テキストフラグメントの関連時間帯に対応するマルチメディアフラグメントを、前記ターゲットテキストコンテンツのうち、前記少なくとも2つの連続テキストフラグメントの関連時間帯の前記ターゲットマルチメディアコンテンツにおける順序に従ってジャンプして再生することを含む、ことを特徴とする請求項2に記載の方法。
【請求項4】
前記ターゲットテキストコンテンツに基づいて前記関連マルチメディアコンテンツを決定するステップをさらに含む、ことを特徴とする請求項1に記載の方法。
【請求項5】
前記ターゲットテキストコンテンツに基づいて前記関連マルチメディアコンテンツを決定するステップは、
前記ターゲットテキストコンテンツの関連時間帯に基づいて前記関連マルチメディアコンテンツを生成することを含み、前記ターゲットテキストコンテンツの関連時間帯は、前記ターゲットテキストコンテンツに対応する音声情報の前記ターゲットマルチメディアコンテンツにおける時間帯を特徴付けるために使用される、ことを特徴とする請求項4に記載の方法。
【請求項6】
前記ターゲットテキストコンテンツの関連時間帯に基づいて前記関連マルチメディアコンテンツを生成するステップは、
前記関連時間帯の数が複数である場合に、複数の関連時間帯の前記ターゲットマルチメディアコンテンツにおける順序に従って、前記複数の関連時間帯の各々に対応する複数のマルチメディアフラグメントをスプライシングし、前記関連マルチメディアコンテンツを生成することを含む、ことを特徴とする請求項5に記載の方法。
【請求項7】
前記ターゲットテキストコンテンツの関連時間帯に基づいて前記関連マルチメディアコンテンツを生成するステップは、
前記ターゲットテキストコンテンツの関連テキストのステートメント完全性に基づいて、前記ターゲットテキストコンテンツの関連時間帯を調整すること、
調整後の関連時間帯に基づいて前記関連マルチメディアコンテンツを生成すること、を含む、ことを特徴とする請求項5に記載の方法。
【請求項8】
前記関連テキストは、前記初期テキストコンテンツにおける前記ターゲットテキストコンテンツに対応するテキストである、ことを特徴とする請求項7に記載の方法。
【請求項9】
前記関連マルチメディアコンテンツはマルチメディア概要であり、前記マルチメディア概要は少なくとも2つのサブマルチメディア概要を含み、各サブマルチメディア概要は1つの概要タイプに対応し、前記概要タイプの数は少なくとも2つである、ことを特徴とする請求項1に記載の方法。
【請求項10】
前記関連マルチメディアコンテンツのトリガ操作に応答して、前記関連マルチメディアコンテンツを再生するステップは、
前記関連マルチメディアコンテンツのトリガ操作に応答して、前記トリガ操作に対応するターゲット概要タイプを決定すること、
前記ターゲット概要タイプに対応するターゲットサブマルチメディア概要を取得して前記ターゲットサブマルチメディア概要を再生すること、または、前記マルチメディア概要を取得し、前記マルチメディア概要における前記ターゲット概要タイプの時間帯に基づいて前記マルチメディア概要を再生することを含む、ことを特徴とする請求項9に記載の方法。
【請求項11】
前記ターゲットテキストコンテンツはターゲットテキスト概要であり、前記ターゲットテキスト概要は少なくとも1つの概要タイプの概要を含み、
前記方法は、
前記関連マルチメディアコンテンツの再生タイムライン上に、前記ターゲットテキスト概要に対応する概要タイプの標識を関連して表示するステップをさらに含む、ことを特徴とする請求項1に記載の方法。
【請求項12】
前記関連マルチメディアコンテンツの再生タイムライン上に、前記ターゲットテキスト概要に対応する概要タイプの標識を関連して表示するステップは、
前記関連マルチメディアコンテンツの再生タイムライン上の前記ターゲットテキスト概要に対応する関連時点で、前記ターゲットテキスト概要に対応する概要タイプの標識を表示することを含む、ことを特徴とする請求項11に記載の方法。
【請求項13】
前記ターゲットテキスト概要に対応する関連時点は前記ターゲットテキスト概要の関連時間帯の内の1つの時点である、ことを特徴とする請求項12に記載の方法。
【請求項14】
前記関連マルチメディアコンテンツの再生過程中、前記関連マルチメディアコンテンツの再生プログレスに対応するターゲットテキストコンテンツを順次強調表示するステップをさらに含む、ことを特徴とする請求項1に記載の方法。
【請求項15】
ユーザによる前記関連マルチメディアコンテンツに対するダウンロード操作を受信し、前記関連マルチメディアコンテンツをダウンロードして記憶するステップをさらに含む、ことを特徴とする請求項1に記載の方法。
【請求項16】
前記初期テキストコンテンツを表示するステップは、
リストページのトリガ操作に応答して、前記初期テキストコンテンツを表示することを含み、前記リストページに複数のマルチメディアコンテンツの要約情報が表示される、ことを特徴とする請求項1に記載の方法。
【請求項17】
ターゲットマルチメディアコンテンツに対応する初期テキストコンテンツを表示するように構成されたテキスト表示モジュールと、
関連マルチメディアコンテンツのトリガ操作に応答して、前記関連マルチメディアコンテンツを再生するように構成されたマルチメディア再生モジュールと、を備え、
前記関連マルチメディアコンテンツは、前記ターゲットマルチメディアコンテンツのうち、ターゲットテキストコンテンツに関連するフラグメントを含み、前記ターゲットテキストコンテンツは前記初期テキストコンテンツから抽出される、ことを特徴とするマルチメディア処理装置。
【請求項18】
プロセッサと、
前記プロセッサが実行可能な命令を記憶するように設定されたメモリとを備え、
前記プロセッサは、前記メモリから前記実行可能命令を読み出し、前記命令を実行して上記請求項1~16のいずれか1項に記載のマルチメディア処理方法を実施するように構成される、電子機器。
【請求項19】
コンピュータプログラムを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムは上記請求項1~16のいずれか1項に記載のマルチメディア処理方法を実施するために使用される、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2021年06月08日に中国特許庁に出願され、出願番号202110637048.3の中国特許出願の優先権を主張し、そのすべての内容は参照により本明細書に組み込まれる。
【0002】
本開示は、会議識別の技術分野に関し、例えば、マルチメディア処理方法、装置、デバイスおよび媒体に関する。
【背景技術】
【0003】
マルチメディア技術の絶え間ない発展に伴い、オンラインコミュニケーションは、コミュニケーション効率及び情報保持において優れた性能を有するため、日常生活及びオフィス生活においてますます使用されるようになっている。
【0004】
いくつかの関連製品では、オンラインコミュニケーションのプロセスを記録してマルチメディアファイルを生成し、オンラインコミュニケーション終了後に再度内容を確認することができる。しかし、通信時間が長い場合、マルチメディアファイルを再生して内容を確認するのは時間がかかり、通信から重要な情報を得るには非効率的である。
【発明の概要】
【課題を解決するための手段】
【0005】
本開示は、マルチメディア処理方法、装置、デバイスおよび媒体を提供する。
【0006】
本開示はマルチメディア処理方法を提供し、前記方法は、
ターゲットマルチメディアコンテンツに対応する初期テキストコンテンツを表示するステップと、
関連マルチメディアコンテンツのトリガ操作に応答して、前記関連マルチメディアコンテンツを再生するステップと、を含み、
ここで、前記関連マルチメディアコンテンツは、前記ターゲットマルチメディアコンテンツのうち、ターゲットテキストコンテンツに関連するフラグメントを含み、前記ターゲットテキストコンテンツは前記初期テキストコンテンツから抽出される。
【0007】
本開示は、マルチメディア処理装置をさらに提供し、前記装置は、
ターゲットマルチメディアコンテンツに対応する初期テキストコンテンツを表示するように構成されたテキスト表示モジュールと、
関連マルチメディアコンテンツのトリガ操作に応答して、前記関連マルチメディアコンテンツを再生するように構成されたマルチメディア再生モジュールと、を備え、
ここで、前記関連マルチメディアコンテンツは、前記ターゲットマルチメディアコンテンツのうち、ターゲットテキストコンテンツに関連するフラグメントを含み、前記ターゲットテキストコンテンツは前記初期テキストコンテンツから抽出される。
【0008】
本開示は、電子機器をさらに提供し、前記電子機器は、プロセッサと、前記プロセッサの実行可能命令を記憶するメモリとを備え、前記プロセッサは、前記メモリから前記実行可能命令を読み出し、前記命令を実行して上記マルチメディア処理方法を実施するように構成される。
【0009】
本開示は、コンピュータ可読記憶媒体をさらに提供し、前記記憶媒体はコンピュータプログラムを記憶し、前記コンピュータプログラムは上記マルチメディア処理方法を実行するために使用される。
【図面の簡単な説明】
【0010】
【
図1】本開示の実施例が提供するマルチメディア処理方法の概略フローチャートである。
【
図2】本開示の実施例が提供するマルチメディアの再生の概略図である。
【
図3】本開示の実施例が提供する別のマルチメディア処理方法の概略フローチャートである。
【
図4】本開示の実施例が提供するマルチメディア処理装置の構造概略図である。
【
図5】本開示の実施例が提供する電子機器の構造概略図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照しながら本開示の実施例を説明する。添付図面に本開示のいくつかの実施例が示されているが、本開示は様々な形態で実施され得、これらの実施例は本開示を理解する目的で使用される。本開示の添付図面および実施例は例示作用のみを目的とする。
【0012】
本開示の方法実施形態に記載の複数のステップは、異なる順序で、および/または並行して実行されてもよいことを理解されたい。さらに、方法実施形態は、ステップを追加するか、および/または示されるステップを省略することができる。本開示の範囲はこの点について特に限定されない。
【0013】
本明細書で使用される用語「含む」およびその変形は開放的であり、すなわち「含むが、これに限定されない」を意味する。用語「に基づく」は、「少なくとも一部に基づく」を意味する。用語「一実施例」は「少なくとも1つの実施例」を意味し、用語「別の実施例」は「少なくとも1つの他の実施例」を意味し、用語「いくつかの実施例」は「少なくともいくつかの実施例」を意味する。他の用語の関連する定義は以下の説明において示される。
【0014】
本開示で言及される「第1」、「第2」などの概念は、異なる装置、モジュールまたはユニットを区別するために使用され、これらの装置、モジュールまたはユニットによって実行される機能の順序または相互依存性を定義するために使用されない。
【0015】
本開示で言及される「1つ」、「複数」の修飾は、限定的ではなく例示的なものであることに留意されたく、当業者は、文脈上別段の明示がないかぎり、「1つまたは複数」と理解されるべきである。
【0016】
本開示の実施形態中の複数の装置間で相互作用するメッセージまたは情報の名称は説明の目的でのみ使用され、それらのメッセージまたは情報の範囲を限定することを意図するものではない。
【0017】
図1は、本開示の実施例が提供するマルチメディア処理方法の概略フローチャートであり、該方法はマルチメディア処理装置によって実行され得、該装置はソフトウェアおよび/またはハードウェアを使用して実現され、一般に電子機器に統合されてもよい。
図1に示すように、該方法は、以下のステップを含む。
【0018】
ステップ101、ターゲットマルチメディアコンテンツに対応する初期テキストコンテンツを表示する。
【0019】
ターゲットマルチメディアコンテンツは、複数のユーザ間のコミュニケーション過程を記録するマルチメディアコンテンツ、例えば会議を記録するためのマルチメディアコンテンツであってもよく、本実施例ではターゲットマルチメディアコンテンツのフォーマットが特に限定されなく、例えばターゲットマルチメディアコンテンツのフォーマットはオーディオおよび/またはビデオであってもよい。初期テキストコンテンツはターゲットマルチメディアコンテンツを識別および処理した後のテキストコンテンツ、例えばターゲットメディアコンテンツを音声識別して得られたテキストコンテンツであってもよい。
【0020】
本開示の実施例では、端末装置は、ターゲットマルチメディアコンテンツに対応する初期テキストコンテンツを取得し、表示インターフェースのテキスト領域に該初期テキストコンテンツを表示することができる。選択可能に、該表示インターフェースに、上記ターゲットマルチメディアコンテンツを表示するためのマルチメディア領域がさらに設定されてもよい。
【0021】
ステップ102、関連マルチメディアコンテンツのトリガ操作に応答して、関連マルチメディアコンテンツを再生し、ここで、関連マルチメディアコンテンツは、ターゲットマルチメディアコンテンツのうち、ターゲットテキストコンテンツに関連するフラグメントを含み、ターゲットテキストコンテンツは初期テキストコンテンツから抽出される。
【0022】
ターゲットテキストコンテンツは、初期テキストコンテンツに基づいて抽出および処理して生成されたキーコンテンツであってもよく、例えば、初期テキストコンテンツが会議字幕である場合、ターゲットテキストコンテンツは、会議字幕から抽出された会議主要コンテンツ、すなわち会議概要であってもよい。関連マルチメディアコンテンツは、ターゲットマルチメディアコンテンツのうち、ターゲットテキストコンテンツに関連するマルチメディアフラグメントであってもよく、例えば、ターゲットテキストコンテンツが会議概要である場合、関連マルチメディアコンテンツはマルチメディア概要、例えばオーディオフォーマットおよび/またはビデオフォーマットの会議概要であってもよい。
【0023】
本開示の実施例では、端末装置は内蔵の検出手順またはアルゴリズムによってユーザのトリガ操作を検出することができ、ユーザによる関連マルチメディアコンテンツのトリガ操作を受信した後、予め生成された関連マルチメディアコンテンツを取得し、該関連マルチメディアコンテンツを再生することができる。例えば、上記初期テキストコンテンツが位置する表示インターフェースのプリセット領域で該関連マルチメディアコンテンツを再生してもよく、1つの新しい表示インターフェースを開き、該新しい表示インターフェースで該関連マルチメディアコンテンツを再生してもよく、該新しい表示インターフェースは上記初期テキストコンテンツが位置する表示インターフェースで浮遊して表示されてもよい。
【0024】
関連マルチメディアコンテンツのトリガ操作は、上記初期テキストコンテンツの表示インターフェースに設定された設定ボタンまたは設定情報のトリガ操作であってもよく、本実施例では、関連マルチメディアコンテンツのトリガ操作方式が限定されなく、例えばクリック操作および/またはホバー操作であってもよい。上記設定ボタンおよび設定情報は実際の状況に応じて設定され、例えば設定ボタンはターゲットテキストコンテンツ周囲に設定された1つのボタンであってもよい。
【0025】
例示的に、
図2は本開示の実施例が提供するマルチメディアの再生の概略図であり、例えば
図2に示すように、会議シナリオを例にすると、初期テキストコンテンツは会議字幕であり、ターゲットテキストコンテンツは会議概要であり、ターゲットマルチメディアコンテンツは会議ビデオであり、関連マルチメディアコンテンツはマルチメディア概要であり、
図2は第1表示インターフェース10を示し、第1表示インターフェース10中の第1領域11に会議概要が表示され、第1領域11の頂部に会議ビデオが表示され、第2領域12に会議字幕が表示され、第1表示インターフェース10の最も下部に会議ビデオまたは会議オーディオの再生タイムラインが表示されてもよい。第2表示インターフェース20は第1表示インターフェース10の上面に浮遊して表示されてもよく、第2表示インターフェース20が表示される場合、第1表示インターフェース10は暗く表示されて第2表示インターフェース20を強調してもよい。第1表示インターフェース10にボタン13が設定されてもよく、ユーザが該ボタン13をトリガすると、第2表示インターフェース20中の第1領域21にマルチメディア概要が再生され、第2表示インターフェース20にマルチメディア概要の再生タイムラインが表示される。上記ボタン13の設定位置は一例に過ぎない。
【0026】
本開示の実施例が提供するマルチメディア処理ソリューションは、ターゲットマルチメディアコンテンツに対応する初期テキストコンテンツを表示するステップと、関連マルチメディアコンテンツのトリガ操作に応答して、関連マルチメディアコンテンツを再生するステップと、を含み、ここで、関連マルチメディアコンテンツは、ターゲットマルチメディアコンテンツのうち、ターゲットテキストコンテンツに関連するフラグメントを含み、ターゲットテキストコンテンツは初期テキストコンテンツから抽出される。上記技術的解決策により、初期テキストコンテンツに基づいてターゲットテキストコンテンツおよび対応の関連マルチメディアコンテンツを生成し、ユーザがトリガ操作を実行すると、該関連マルチメディアコンテンツを再生することができ、ユーザが関連マルチメディアコンテンツを視聴することにより初期テキストコンテンツの部分コンテンツ(例えば、重要コンテンツ)を迅速に理解することができ、時間を節約し、ユーザが初期テキストコンテンツを理解するのに役たち、ひいてはユーザの体験効果を向上させることができる。
【0027】
いくつかの実施例では、初期テキストコンテンツを表示するステップは、リストページのトリガ操作に応答して、前記初期テキストコンテンツを表示し、ここで、前記リストページに複数のマルチメディアコンテンツの要約情報が表示される。リストページは複数のリスト項目を含むページであってもよく、各リスト項目は1つのマルチメディアコンテンツに対応し、例えば、リスト項目はマルチメディアコンテンツの要約情報を表示してもよく、マルチメディアコンテンツの要約情報に加えて、リスト項目はマルチメディアコンテンツの番号または録画日などを表示してもよく、本実施例では特に限定されない。ユーザはリストページのうちターゲットマルチメディアコンテンツに対応するリスト項目を選択することにより、リストページのトリガ操作を実現し、端末装置は該トリガ操作に応答して該ターゲットマルチメディアコンテンツに対応する初期テキストコンテンツを表示する。
【0028】
いくつかの実施例では、ターゲットテキストコンテンツは、初期テキストコンテンツから抽出された少なくとも2つの連続テキストフラグメントを含む。選択可能に、関連マルチメディアコンテンツのトリガ操作に応答して、関連マルチメディアコンテンツを再生するステップは、関連マルチメディアコンテンツのトリガ操作に応答して、ターゲットマルチメディアコンテンツのうち各連続テキストフラグメントの関連時間帯に対応するマルチメディアフラグメントを、ターゲットテキストコンテンツのうち少なくとも2つの連続テキストフラグメントの関連時間帯のターゲットマルチメディアコンテンツにおける順序に従ってジャンプして再生する。
【0029】
上記ターゲットテキストコンテンツは、少なくとも2つの連続テキストフラグメントを含み、連続テキストフラグメントは、初期テキストコンテンツから抽出されたテキストフラグメントであってもよく、ここでの連続的に特徴付けて抽出されたテキストフラグメント間に前後の相関関係を有し、すなわち、この方式では、ターゲットテキストコンテンツは一体的な全体と見なされ、そこに含まれる複数のテキストフラグメントは連続するものと見なされる。例えば、ターゲットテキストコンテンツが会議概要である場合、会議概要は複数の概要を含む可能性があり、ここで会議概要を全体として後続処理する。
【0030】
連続テキストフラグメントの関連時間帯とは、連続テキストフラグメントに対応するマルチメディアフラグメントのターゲットマルチメディアコンテンツにおける時間帯を指し、該関連時間帯は開始時刻および終了時刻を含んでもよい。
【0031】
本開示の実施例では、端末装置は関連マルチメディアコンテンツのトリガ操作を受信した後、関連マルチメディアコンテンツを再生し、再生過程で、ターゲットマルチメディアコンテンツのうち各連続テキストフラグメントの関連時間端に対応するマルチメディアフラグメントを、少なくとも2つの連続テキストフラグメントの関連時間帯のターゲットマルチメディアコンテンツにおける順序に従ってジャンプして再生する。すなわち、ターゲットマルチメディアコンテンツ中の少なくとも2つの連続テキストフラグメントに対応する関連マルチメディアコンテンツの一部を順次再生し、ひいては関連マルチメディアコンテンツを再生してもよい。このようにすれば、ターゲットマルチメディアコンテンツの表示インターフェースにターゲットマルチメディアコンテンツのうちターゲットテキストコンテンツに対応するフラグメントを直接ジャンプして再生することができるので、ユーザが会議焦点を迅速に理解でき、時間を節約することができる。
【0032】
いくつかの実施例では、マルチメディア処理方法は、ターゲットテキストコンテンツに基づいて関連マルチメディアコンテンツを決定するステップをさらに含んでもよい。選択可能に、ターゲットテキストコンテンツに基づいて関連マルチメディアコンテンツを決定するステップは、ターゲットテキストコンテンツの関連時間帯に基づいて関連マルチメディアコンテンツを生成することを含み、ここで、ターゲットテキストコンテンツの関連時間帯はターゲットテキストコンテンツに対応する音声情報のターゲットマルチメディアコンテンツにおける時間帯を特徴付けるために使用される。
【0033】
ターゲットテキストコンテンツは初期テキストコンテンツから抽出されたが、初期テキストコンテンツと同一ではないので、ターゲットテキストコンテンツの関連時間帯とは、上記初期テキストコンテンツにおけるターゲットテキストコンテンツに対応するテキストの音声情報のターゲットマルチメディアコンテンツにおける時間帯を指す。本実施例では、ターゲットテキストコンテンツの関連時間帯に基づいて上記関連マルチメディアコンテンツを生成することができ、ここで、関連マルチメディアコンテンツは別個のマルチメディアファイルであってもよい。関連マルチメディアコンテンツは端末装置またはサーバーによって生成されてもよく、本実施例では特に限定されない。
【0034】
選択可能に、ターゲットテキストコンテンツの関連時間帯に基づいて関連マルチメディアコンテンツを生成するステップは、関連時間帯の数が複数である場合、複数の関連時間帯のターゲットマルチメディアコンテンツにおける順序に従って、複数の関連時間帯の各々に対応する複数のマルチメディアフラグメントをスプライシングして関連マルチメディアコンテンツを生成することを含む。各関連時間帯に基づいてターゲットマルチメディアコンテンツからマルチメディアフラグメントを切り取った後、複数の関連時間帯のターゲットマルチメディアコンテンツにおける順序に従って、上記切り取った複数のマルチメディアフラグメントをスプライシングして関連マルチメディアコンテンツを得ることができる。
【0035】
選択可能に、ターゲットテキストコンテンツの関連時間帯に基づいて関連マルチメディアコンテンツを生成するステップは、ターゲットテキストコンテンツの関連テキストのステートメント完全性に応じて、ターゲットテキストコンテンツの関連時間帯を調整すること、調整後の関連時間帯に基づいて関連マルチメディアコンテンツを生成することを含む。ここで、関連テキストは、初期テキストコンテンツにおけるターゲットテキストコンテンツに対応するテキストである。
【0036】
ターゲットテキストコンテンツは初期テキストコンテンツを処理することによって得られ、初期テキストコンテンツはターゲットマルチメディアコンテンツ中の音声情報を音声識別して得られるので、ターゲットテキストコンテンツの関連テキストとは、初期テキストコンテンツにおけるターゲットテキストコンテンツに対応するテキストを指し、例えば、ターゲットテキストコンテンツが会議概要である場合、会議概要の関連テキストは、会議概要に対応する字幕テキストであってもよい。ターゲットテキストコンテンツの関連テキストは上記関連時間帯に対応する。
【0037】
ターゲットテキストコンテンツの関連テキストが不完全である可能性があるため、本開示の実施例では、端末装置は音声アクティビティ検出アルゴリズム(Voice Activity Detection、VAD)および/または意味検出アルゴリズムに従って、ターゲットテキストコンテンツの関連テキストを検出し、ステートメント完全性および一貫性に従ってターゲットテキストコンテンツの関連時間帯を拡張処理する。ここで、拡張処理とは例えば、関連時間帯に対応する開始時刻を前方にシフトさせ、および/または、関連時間帯に対応する終了時刻を後方にシフトさせることを指す。その後、拡張処理後の関連時間帯に基づいて関連マルチメディアコンテンツを生成する。拡張処理後の関連時間帯はターゲット時間帯と呼ばれ、複数のターゲット時間帯のターゲットマルチメディアコンテンツにおける順序に従って、複数のターゲット時間帯の各々に対応する複数のマルチメディアフラグメントをスプライシングして関連マルチメディアコンテンツを生成する。このようにして、関連時間帯を拡張操作してターゲット時間帯を得ることにより、切り取ったマルチメディアフラグメントに対応するターゲットコンテンツの完全性を確保することに基づいて、文脈情報を提供することができる。
【0038】
例示的に、ターゲットテキストコンテンツが会議概要である場合、1つの会議概要の関連時間帯は10S~20Sであり、10Sの時点が1つの完全センテンスまたは段落の中間であることが検出によって決定されると、前方に5S拡張し、すなわち、最終的に決定された拡張処理後の時間帯は5S~20Sである。
【0039】
選択可能に、マルチメディア概要の生成過程で、マルチメディアフラグメントをスプライシングする際に、声音および画面を処理してフェードインとフェードアウト効果を付加し、後続の再生においてフラグメント切り取りによって引き起こされる可能性のある唐突を回避し、ユーザの閲覧効果を向上させることができる。
【0040】
上記方法では、ターゲットテキストコンテンツの関連テキストに従って、重要情報を含む関連マルチメディアコンテンツをスプライシングにより凝縮して生成することができ、または、ステートメントの完全性を考慮して、拡張処理後の関連時間帯に従って上記関連マルチメディアコンテンツを生成することができ、重要情報の完全性を確保し、ユーザは関連マルチメディアコンテンツを閲覧することにより焦点を迅速に理解することができ、ユーザが焦点を理解するのに寄与する。
【0041】
いくつかの実施例では、関連マルチメディアコンテンツはマルチメディア概要であり、マルチメディア概要は少なくとも2つのサブマルチメディア概要を含み、各サブマルチメディア概要は1つの概要タイプに対応し、概要タイプの数は少なくとも2つである。選択可能に、関連マルチメディアコンテンツのトリガ操作に応答して、関連マルチメディアコンテンツを再生するステップは、関連マルチメディアコンテンツのトリガ操作に応答して、トリガ操作に対応するターゲット概要タイプを決定すること、ターゲット概要タイプに対応するターゲットサブマルチメディア概要を取得してターゲットサブマルチメディア概要を再生すること、または、マルチメディア概要を取得し、ターゲット概要タイプに基づいてマルチメディア概要中の時間帯でマルチメディア概要を再生することを含む。
【0042】
本実施例では、ターゲットテキストコンテンツがテキスト概要である場合、概要タイプは複数であり、本開示の実施例中の概要タイプは議題、会議事項、議論、結論およびToDoタスクなどを含んでもよく、各概要タイプは、無制限に複数のテキスト概要を含み得る。本開示の実施例では、各概要タイプごとに対応するサブマルチメディア概要を生成し、つまりマルチメディア概要は複数のサブマルチメディア概要を含んでもよく、複数のサブマルチメディア概要はそれぞれ複数の概要タイプに対応する。サブマルチメディア概要の生成方式は上記完全なマルチメディア概要の生成方式と同じであり、本明細書では繰り返さない。
【0043】
本開示の実施例では、ユーザによる関連マルチメディアコンテンツのトリガ操作を受信した後、該トリガ操作は1つの概要タイプのサブマルチメディア概要を再生するために使用され、まず再生トリガ操作に対応するターゲット概要タイプを決定し、ターゲット概要タイプに対応するターゲットサブマルチメディア概要を取得し、概要再生インターフェースで該ターゲットサブマルチメディア概要を再生する。または、ターゲット概要タイプを決定した後、完全なマルチメディア概要を取得し、ターゲット概要タイプに従ってマルチメディア概要の時間帯、すなわちターゲットサブマルチメディア概要のマルチメディア概要における時間帯で、対応する時間帯から再生してもよい。
【0044】
例示的に、例えば、
図2に示すように、第1表示インターフェース10における各概要タイプの近傍に、ユーザが該概要タイプに対応するサブマルチメディア概要のみを再生可能とするためのボタン13が設けられてもよい。
【0045】
上記方法では、関連マルチメディアコンテンツはマルチメディア概要であり、異なる概要タイプに対して対応するサブマルチメディア概要を生成することができ、ユーザが1つの概要タイプのみに対してそのサブマルチメディア概要を再生することをサポートし、マルチメディア概要の表示柔軟性が向上し、ユーザが会議の焦点を絞って理解することがより助長され、ひいてはユーザの体験効果を向上させることができる。
【0046】
いくつかの実施例では、ターゲットテキストコンテンツはターゲットテキスト概要であり、ターゲットテキスト概要は少なくとも1つの概要タイプの概要を含み、マルチメディア処理方法は、関連マルチメディアコンテンツの再生タイムライン上に、ターゲットテキスト概要に対応する概要タイプの標識を関連付けて表示することをさらに含んでもよい。選択可能に、関連マルチメディアコンテンツの再生タイムライン上にターゲットテキスト概要に対応する概要タイプの標識を関連付けて表示することは、関連マルチメディアコンテンツの再生タイムライン上のターゲットテキスト概要に対応する関連時点で、ターゲットテキスト概要に対応する概要タイプの標識を表示することを含む。ここで、ターゲットテキスト概要に対応する関連時点はターゲットテキスト概要の関連時間帯中の任意の時点である。
【0047】
ターゲットテキストコンテンツがターゲットテキスト概要である場合、ターゲットテキスト概要は1つまたは複数の概要タイプの概要を含んでもよい。本開示の実施例では、関連マルチメディアコンテンツに関して、まず対応するターゲットテキスト概要に含まれる各概要の概要タイプを決定し、関連マルチメディアコンテンツの再生タイムライン上に、ターゲットテキスト概要に対応する関連時点または関連時間区間で対応する概要タイプの標識を表示する。上記概要タイプの標識は、概要タイプを特徴付けるために使用され、本実施例では、概要タイプの特徴付け形式が限定されなく、例えばテキスト、字幕またはグラフィック表現を使用してもよい。ターゲットテキスト概要に対応する関連時点は実際の状況に応じて設定されてもよく、例えば、ターゲットテキスト概要の関連時間帯の初期時点、中間時点または終了時点を該関連時点として設定してもよいし、または、初期時点からのある時間帯、初期時点と終了時点間のある時点からのある時間帯、または初期時点と終了時点間のある時点から終了時点までのある時間帯を関連時間区間として設定してもよい。
【0048】
上記方法では、ターゲットテキストコンテンツがターゲットテキスト概要である場合、端末装置は異なる概要の概要タイプの標識を表示してユーザに対応する概要タイプを提示してもよく、これはユーザの実際のニーズに適合し、ユーザが会議焦点を理解する効率を向上させることができる。
【0049】
いくつかの実施例では、マルチメディア処理方法は、関連マルチメディアコンテンツの再生過程で、関連マルチメディアコンテンツの再生プログレスに対応するターゲットテキストコンテンツを順次強調表示するステップをさらに含んでもよい。
【0050】
本開示の実施例では、端末装置はターゲットテキストコンテンツを表示し、関連マルチメディアコンテンツの再生過程で、関連マルチメディアコンテンツの再生プログレスに対応する関連時間帯を順次決定し、ひいてはターゲットテキストコンテンツにおける再生プログレスに対応するテキストコンテンツを決定し、該再生プログレスに対応するテキストコンテンツを強調表示してもよい。本開示の実施例では、強調表示方式が特に限定されなく、他の会議概要と区別できる任意の可能な表示方式であってもよく、例えば、強調表示、太字表示および下線追加のうちの少なくとも1つを含むが、これらに限定されない。
【0051】
例示的に、
図2を参照すると、第2表示インターフェース20中の第2領域22に会議概要を表示してもよい。
図2に示すように、再生タイムラインから分かるように、マルチメディア概要の再生プログレスが中間にあり、概要タイプが会議事項である会議概要は再生プログレスに対応し、下線追加により強調表示する。
【0052】
上記方法では、関連マルチメディアコンテンツを再生することに基づいて、ターゲットテキストコンテンツを表示し、関連マルチメディアコンテンツの再生過程でターゲットテキストコンテンツ関連インタラクティブ表示がサポートされるため、ユーザがターゲットテキストコンテンツと関連マルチメディアコンテンツ間の関係を直感的に理解することができ、ユーザのインタラクティブ体験効果を向上させることができる。
【0053】
いくつかの実施例では、マルチメディア処理方法は、ユーザによる関連マルチメディアコンテンツのダウンロード操作を受信して、関連マルチメディアコンテンツをダウンロードして記憶するステップをさらに含んでもよい。
【0054】
クライアントはユーザの操作を検出し、ユーザによる関連マルチメディアコンテンツのダウンロード操作を受信し、関連マルチメディアコンテンツをダウンロードして該関連マルチメディアコンテンツのファイルを記憶することができる。ここで、ダウンロード操作は、ユーザが関連マルチメディアコンテンツの表示インターフェースで設定ボタンまたは設定情報をトリガする操作であってもよい。
【0055】
例えば、
図2を参照すると、ユーザが第2表示20の右下隅の「ダウンロードマルチメディア」のボタンをクリックすると、マルチメディア概要をダウンロードして記憶することができる。さらに、
図2を参照すると、ユーザが概要再生インターフェースの「ドキュメントエクスポート」をクリックすると、ユーザが使用するために会議概要のテキストファイルをエクスポートすることができる。
【0056】
上記方法では、関連マルチメディアコンテンツはユーザがそのファイルをダウンロードすることをサポートするので、ユーザは実際のニーズに応じて該ファイルを使用することができ、ユーザの体験効果を向上させることができる。
【0057】
図3は、本開示の実施例が提供する別のマルチメディア処理方法の概略フローチャートであり、本実施例は上記実施例に基づいて、上記マルチメディア処理方法を最適化する。
図3に示すように、該方法は、以下のステップを含む。
【0058】
ステップ201、初期テキストコンテンツを表示する。
【0059】
初期テキストコンテンツはターゲットマルチメディアコンテンツに対応する。
【0060】
ステップ202、ターゲットテキストコンテンツに基づいて関連マルチメディアコンテンツを決定する。
【0061】
関連マルチメディアコンテンツは、ターゲットマルチメディアコンテンツのうち、ターゲットテキストコンテンツに関連するフラグメントを含み、ターゲットテキストコンテンツは初期テキストコンテンツから抽出される。
【0062】
ステップ202はステップ201の前または後に実行されてもよく、本実施例では特に限定されない。
【0063】
選択可能に、ターゲットテキストコンテンツに基づいて関連マルチメディアコンテンツを決定するステップは、ターゲットテキストコンテンツの関連時間帯に基づいて関連マルチメディアコンテンツを生成することを含み、ここで、ターゲットテキストコンテンツの関連時間帯はターゲットテキストコンテンツに対応する音声情報のターゲットマルチメディアコンテンツにおける時間帯を特徴付けるために使用される。
【0064】
選択可能に、ターゲットテキストコンテンツの関連時間帯に基づいて関連マルチメディアコンテンツを生成することは、関連時間帯の数が複数である場合、複数の関連時間帯に従ってターゲットマルチメディアコンテンツにおける順序に従って複数の関連時間帯の各々に対応する複数のマルチメディアフラグメントをスプライシングして、関連マルチメディアコンテンツを生成することを含む。
【0065】
選択可能に、ターゲットテキストコンテンツの関連時間帯に基づいて関連マルチメディアコンテンツを生成することは、ターゲットテキストコンテンツの関連テキストのステートメント完全性に応じて、ターゲットテキストコンテンツの関連時間帯を調整すること、調整後の関連時間帯に基づいて関連マルチメディアコンテンツを生成すること、を含む。ここで、関連テキストは初期テキストコンテンツにおけるターゲットテキストコンテンツに対応するテキストである。
【0066】
ステップ203、関連マルチメディアコンテンツのトリガ操作に応答して、関連マルチメディアコンテンツを再生する。
【0067】
ターゲットテキストコンテンツは、初期テキストコンテンツから抽出された少なくとも2つの連続テキストフラグメントを含む。
【0068】
選択可能に、関連マルチメディアコンテンツのトリガ操作に応答して、関連マルチメディアコンテンツを再生することは、関連マルチメディアコンテンツのトリガ操作に応答して、ターゲットマルチメディアコンテンツのうち各連続テキストフラグメントの関連時間帯に対応するマルチメディアフラグメントを、ターゲットテキストコンテンツ中の少なくとも2つの連続テキストフラグメントの関連時間帯のターゲットマルチメディアコンテンツにおける順序に従ってジャンプして再生することを含む。
【0069】
いくつかの実施例では、関連マルチメディアコンテンツはマルチメディア概要であり、マルチメディア概要は少なくとも2つのサブマルチメディア概要を含み、各サブマルチメディア概要は1つの概要タイプに対応し、概要タイプの数は少なくとも2つである。
【0070】
選択可能に、関連マルチメディアコンテンツのトリガ操作に応答して、関連マルチメディアコンテンツを再生することは、関連マルチメディアコンテンツのトリガ操作に応答して、トリガ操作に対応するターゲット概要タイプを決定すること、ターゲット概要タイプに対応するターゲットサブマルチメディア概要を取得してターゲットサブマルチメディア概要を再生すること、または、マルチメディア概要を取得し、ターゲット概要タイプに基づいてマルチメディア概要中の時間帯でマルチメディア概要を再生することを含む。
【0071】
ステップ203の後に、ステップ204および/またはステップ205を実行してもよく、本実施例では特に限定されない。
【0072】
ステップ204、関連マルチメディアコンテンツの再生過程で、関連マルチメディアコンテンツの再生プログレスに対応するターゲットテキストコンテンツを順次強調表示する。
【0073】
ステップ205、ユーザによる関連マルチメディアコンテンツのダウンロード操作を受信し、関連マルチメディアコンテンツをダウンロードして記憶する。
【0074】
本実施例では、ターゲットテキストコンテンツはターゲットテキスト概要であり、ターゲットテキスト概要は少なくとも1つの概要タイプの概要を含み、マルチメディア処理方法は、関連マルチメディアコンテンツの再生タイムライン上にターゲットテキスト概要に対応する概要タイプの標識を関連して表示する。選択可能に、関連マルチメディアコンテンツの再生タイムライン上にターゲットテキスト概要に対応する概要タイプの標識を関連して表示することは、関連マルチメディアコンテンツの再生タイムライン上のターゲットテキスト概要に対応する関連時点で、ターゲットテキスト概要に対応する概要タイプの標識を表示することを含む。選択可能に、ターゲットテキスト概要に対応する関連時点はターゲットテキスト概要の関連時間帯中の任意の時点である。
【0075】
本開示の実施例が提供するマルチメディア処理ソリューションは、初期テキストコンテンツを表示し、初期テキストコンテンツから抽出されたターゲットテキストコンテンツに基づいて関連マルチメディアコンテンツを決定し、関連マルチメディアコンテンツのトリガ操作に応答して、関連マルチメディアコンテンツを再生し、関連マルチメディアコンテンツの再生過程で、関連マルチメディアコンテンツの再生プログレスに対応するターゲットテキストコンテンツを順次強調表示し、ユーザによる関連マルチメディアコンテンツのダウンロード操作を受信し、関連マルチメディアコンテンツをダウンロードして記憶する。上記技術的解決策により、初期テキストコンテンツに基づいてターゲットテキストコンテンツおよび対応の関連マルチメディアコンテンツを生成し、ユーザがトリガ操作を行ったとき該関連マルチメディアコンテンツを再生することができ、ユーザは関連マルチメディアコンテンツを視聴して初期テキストコンテンツの焦点を迅速に理解することができ、時間を節約し、ユーザが初期テキストコンテンツを理解するのに役たち、ひいてはユーザの体験効果を向上させることができ、ターゲットテキストコンテンツは関連マルチメディアコンテンツの再生プログレスに従って強調表示され、ユーザはターゲットテキストコンテンツと関連マルチメディアコンテンツ間の関係を直感的に理解することができ、ユーザのインタラクティブ体験効果を向上させることができる。
【0076】
図4は、本開示の実施例が提供するマルチメディア処理装置の構造概略図であり、該装置はソフトウェアおよび/またはハードウェアによって実現され、一般に電子機器に統合されてもよい。
図4に示すように、該装置は、
ターゲットマルチメディアコンテンツに対応する初期テキストコンテンツを表示するように構成されたテキスト表示モジュール301と、関連マルチメディアコンテンツのトリガ操作に応答して、前記関連マルチメディアコンテンツを再生するように構成されたマルチメディア再生モジュール302とを備え、ここで、前記関連マルチメディアコンテンツは、前記ターゲットマルチメディアコンテンツのうち、ターゲットテキストコンテンツに関連するフラグメントを含み、前記ターゲットテキストコンテンツは前記初期テキストコンテンツから抽出される。
【0077】
選択可能に、前記ターゲットテキストコンテンツは、前記初期テキストコンテンツから抽出された少なくとも2つの連続テキストフラグメントを含む。
【0078】
選択可能に、前記マルチメディア再生モジュール302は、
関連マルチメディアコンテンツのトリガ操作に応答して、前記ターゲットマルチメディアコンテンツのうち各連続テキストフラグメントの関連時間帯に対応するマルチメディアフラグメントを、前記ターゲットテキストコンテンツのうち、前記少なくとも2つの連続テキストフラグメントの関連時間帯の前記ターゲットマルチメディアコンテンツにおける順序に従ってジャンプして再生するように構成される。
【0079】
選択可能に、前記装置は、関連マルチメディア生成モジュールをさらに備え、
前記ターゲットテキストコンテンツに基づいて前記関連マルチメディアコンテンツを決定するように構成される。
【0080】
選択可能に、前記関連マルチメディア生成モジュールは、
前記ターゲットテキストコンテンツの関連時間帯に基づいて関連マルチメディアコンテンツを生成し、ここで、前記ターゲットテキストコンテンツの関連時間帯は前記ターゲットテキストコンテンツに対応する音声情報のターゲットマルチメディアコンテンツにおける時間帯を特徴付けるために使用される。
【0081】
選択可能に、前記関連マルチメディア生成モジュールは、
前記関連時間帯の数が複数である場合に、複数の関連時間帯の前記ターゲットマルチメディアコンテンツにおける順序に従って、前記複数の関連時間帯の各々に対応する複数のマルチメディアフラグメントをスプライシングして前記関連マルチメディアコンテンツを生成するように構成される。
【0082】
選択可能に、前記関連マルチメディア生成モジュールは、
前記ターゲットテキストコンテンツの関連テキストのステートメント完全性に基づいて、前記ターゲットテキストコンテンツの関連時間帯を調整し、前記調整後の関連時間帯に基づいて前記関連マルチメディアコンテンツを生成するように構成される。
【0083】
選択可能に、前記関連テキストは、前記初期テキストコンテンツにおける前記ターゲットテキストコンテンツに対応するテキストである。
【0084】
選択可能に、前記関連マルチメディアコンテンツはマルチメディア概要であり、前記マルチメディア概要は少なくとも2つのサブマルチメディア概要を含み、各前記サブマルチメディア概要は1つの概要タイプに対応し、前記概要タイプの数は少なくとも2つである。
【0085】
選択可能に、前記マルチメディア再生モジュール302は、
関連マルチメディアコンテンツのトリガ操作に応答して、前記トリガ操作に対応するターゲット概要タイプを決定し、前記ターゲット概要タイプに対応するターゲットサブマルチメディア概要を取得して前記ターゲットサブマルチメディア概要を再生するか、または、前記マルチメディア概要を取得し、前記マルチメディア概要における前記ターゲット概要タイプの時間帯に基づいて前記マルチメディア概要を再生するように構成される。
【0086】
選択可能に、前記ターゲットテキストコンテンツはターゲットテキスト概要であり、前記ターゲットテキスト概要は少なくとも1つの概要タイプの概要を含み、前記装置は標識モジュールをさらに備え、
前記関連マルチメディアコンテンツの再生タイムライン上に、前記ターゲットテキスト概要に対応する概要タイプの標識を関連して表示するように構成される。
【0087】
選択可能に、前記標識モジュールは、
前記関連マルチメディアコンテンツの再生タイムライン上の前記ターゲットテキスト概要に対応する関連時点で、前記ターゲットテキスト概要に対応する概要タイプの標識を表示するように構成される。
【0088】
選択可能に、前記ターゲットテキスト概要に対応する関連時点は、前記ターゲットテキスト概要の関連時間帯中の任意の時点である。
【0089】
選択可能に、前記装置は強調表示モジュールをさらに備え、
前記関連マルチメディアコンテンツの再生過程で、前記関連マルチメディアコンテンツの再生プログレスに対応するターゲットテキストコンテンツを順次強調表示するように構成される。
【0090】
選択可能に、前記装置は概要ダウンロードモジュールをさらに備え、
ユーザによる前記関連マルチメディアコンテンツに対するダウンロード操作を受信し、前記関連マルチメディアコンテンツをダウンロードして記憶するように構成される。
【0091】
選択可能に、前記テキスト表示モジュール301は、
リストページのトリガ操作に応答して、前記初期テキストコンテンツを表示し、前記リストページに複数のマルチメディアコンテンツの要約情報が表示されるように構成される。
【0092】
本開示の実施例が提供するマルチメディア処理装置は、本開示の任意の実施例が提供するマルチメディア処理方法を実行することができ、方法に対応する機能モジュールおよび効果を有する。
【0093】
本開示の実施例は、コンピュータプログラム/命令を含むコンピュータプログラム製品を提供し、該コンピュータプログラム/命令がプロセッサによって実行されると本開示の任意の実施例が提供するマルチメディア処理方法を実現する。
【0094】
図5は、本開示の実施例が提供する電子機器の構造概略図である。以下、本開示の実施例の実現に適した電子機器400の構造概略図を示す
図5を参照する。本開示の実施例中の電子機器400は、携帯電話、ノートパソコン、デジタル放送受信機、パーソナルデジタルアシスタント(Personal Digital Assistant、PDA)、タブレットコンピュータ(PAD)、ポータブルマルチメディアプレーヤ(Portable Media Player、PMP)、車載端末(例えば車載ナビゲーション端末)などのモバイル端末、およびデジタルTV(Television、TV)、デスクトップパソコンなどを含むが、これらに限定されない。
図5に示す電子機器400は単なる一例であり、本開示の実施例の機能および使用範囲を何ら限定するものではない。
【0095】
図5に示すように、電子機器400は、読み取り専用メモリ(Read-Only Memory、ROM)402に記憶されたプログラムまたは記憶装置408からランダムアクセスメモリ(Random Access Memory、RAM)403にロードされたプログラムに従って様々な適切な動作および処理を実行し得る処理装置(例えば中央プロセッサ、グラフィックプロセッサなど)401を備える。RAM403は、電子機器400の動作に必要な複数のプログラムおよびデータをさらに記憶する。処理装置401、ROM402およびRAM403はバス404を介して互いに接続される。入力/出力(Input/Output、I/O)インターフェース405もバス404に接続される。
【0096】
通常、I/Oインターフェース405には、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープなどの入力装置406、液晶ディスプレイ(Liquid Crystal Display,LCD)、スピーカ、バイブレータなどの出力装置407、磁気テープ、ハードディスクなどの記憶装置408、および通信装置409が接続される。通信装置409は、電子機器400が他の装置と無線または有線通信してデータを交換できるようにすることができる。
図5には様々な装置を備えた電子機器400を図示しているが、図示されたすべての装置を実装または具備する必要はない。代替的に、より多くのまたはより少ない装置を実装または具備してもよい。
【0097】
本開示の実施例によれば、フローチャートを参照して上記したプロセスは、コンピュータソフトウェアプログラムとして実装されてもよい。例えば、本開示の実施例は、非一過性のコンピュータ可読媒体上に担持されるコンピュータプログラムを含むコンピュータプログラム製品を提供し、前記コンピュータプログラムはフローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例では、前記コンピュータプログラムは、通信装置409を介してネットワークからダウンロードされ、インストールされてもよく、または記憶装置408からインストールされてもよく、またはROM402からインストールされてもよい。このコンピュータプログラムが処理装置401によって実行されると、本開示の実施例のマルチメディア処理方法において定義された上記機能が実現される。
【0098】
なお、本開示に記載のコンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体または上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は例えば電気、磁気、光、電磁気、赤外線、または半導体のシステム、装置またはデバイス、または任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体の例は、1つまたは複数の導線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、RAM、ROM、消去可能プログラマブル読み取り専用メモリ(Erasable Programmable Read-Only Memory,EPROMまたはフラッシュメモリ)、光ファイバー、ポータブルコンパクトディスク読み取り専用メモリ(Compact Disc Read-Only Memory,CD-ROM)、光記憶デバイス、磁気記憶デバイス、または上記の任意適切な組み合わせであってもよいが、これらに限定されない。本開示では、コンピュータ可読記憶媒体は、プログラムを含むまたは記憶する任意の有形媒体であってもよく、このプログラムが命令実行システム、装置またはデバイスによって使用される、または組み合わせて使用されてもよい。本開示では、コンピュータ可読信号媒体は、ベースバンドで、またはキャリアの一部として伝搬されるデータ信号を含んでもよく、コンピュータ可読プログラムコードが担持される。このような伝搬データ信号は、電磁信号、光信号または上記の任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体は、命令実行システム、装置またはデバイスによって使用される、または組み合わせて使用されるプログラムを送信、伝搬または転送するコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよい。コンピュータ可読媒体に含まれるプログラムコードは、ワイヤ、光ファイバケーブル、無線周波数(Radio Frequency,RF)など、または上記の任意の適切な組み合わせなどの任意の適切な媒体によって転送されてもよいが、これらに限定されない。
【0099】
いくつかの実施形態では、クライアント、サーバーは、ハイパーテキスト・トランスファー・プロトコル(HyperText Transfer Protocol、HTTP)などの任意の現在既知または将来開発されるネットワークプロトコルを使用して通信してもよく、任意形式または媒体のデジタルデータ通信(例えば、通信ネットワーク)と相互接続してもよい。通信ネットワークの例としては、ローカルエリアネットワーク(「Local Area Network,LAN」)、ワイドエリアネットワーク(「Wide Area Network,WAN」)、インターネットワーク(例えば、インターネット)およびエンドツーエンドネットワーク(例えば、ad hocエンドツーエンドネットワーク)、および任意の現在既知または将来開発されるネットワークが挙げられる。
【0100】
上記コンピュータ可読媒体は、上記電子機器に含まれてもよく、または前記電子機器に組み込まれずに別体であってもよい。
【0101】
上記コンピュータ可読媒体は、1つまたは複数のプログラムを格納しており、上記1つまたは複数のプログラムが電子機器によって実行されると、前記電子機器に、ターゲットマルチメディアコンテンツに対応する初期テキストコンテンツを表示させるステップと、関連マルチメディアコンテンツのトリガ操作に応答して、前記関連マルチメディアコンテンツを再生するステップとを実行させ、前記関連マルチメディアコンテンツは、前記ターゲットマルチメディアコンテンツのうち、ターゲットテキストコンテンツに関連するフラグメントを含み、前記ターゲットテキストコンテンツは前記初期テキストコンテンツから抽出される。
【0102】
1つまたは複数のプログラミング言語またはその組み合わせで、本開示の動作を実行するためのコンピュータプログラムコードを記述することができ、上記プログラミング言語は、オブジェクト指向プログラミング言語(Java、Smalltalk、C++など)、および従来の手続き型プログラミング言語(「C」言語または類似のプログラミング言語)を含むが、これらに限定されない。プログラムコードは、完全にユーザのコンピュータ上で実行してもよく、部分的にユーザのコンピュータ上で実行してもよく、スタンドアロンソフトウェアパッケージとして実行してもよく、部分的にユーザのコンピュータ上で実行し、部分的にリモートコンピュータ上で実行してもよく、または完全にリモートコンピュータまたはサーバー上で実行してもよい。リモートコンピュータの場合、リモートコンピュータは、LANまたはWANなどのあらゆる種類のネットワークを介してユーザのコンピュータに接続されてもよいし、または、外部コンピュータに接続されてもよい(例えばインターネットサービスプロバイダを使用してインターネットを介して接続される)。
【0103】
添付図面のフローチャートおよびブロック図は、本開示の様々な実施例に従ったシステム、方法およびコンピュータプログラム製品の可能なアーキテクチャ、機能および動作を示す。この点で、フローチャートまたはブロック図の各ボックスは、1つのモジュール、プログラムセグメント、またはコードの一部を表す場合があり、このモジュール、プログラムセグメント、またはコードの一部は指定された論理機能を実装するための1つまたは複数の実行可能命令を含む。また、代替としてのいくつかの実装では、ボックス内に示された機能は、添付図面に示された順序と異なる順序で発生する可能性もあることに留意されたい。例えば、連続して表現された2つのボックスは実際には実質的に並行して実行されることがあり、関連する機能によって、逆の順序で実行されることもある。また、ブロック図および/またはフローチャート中の各ボックス、およびブロック図および/またはフローチャート中のボックスの組み合わせは、指定された機能または操作を実行する専用のハードウェアベースのシステムで実装されてもよいし、または専用ハードウェアとコンピュータ命令の組み合わせで実装されてもよいことに留意されたい。
【0104】
本開示の実施例において説明されるユニットはソフトウェアによって実装されてもよく、ハードウェアによって実装されてもよい。ここで、ユニットの名称は、所与の状況におけるユニット自身の限定を構成するものではない。
【0105】
本明細書において上記した機能は少なくとも部分的に、1つまたは複数のハードウェア論理構成要素によって実行されてもよい。例えば、非限定的に、使用され得る例示的なハードウェア論理構成要素は、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array,FPGA)、特定用途向け集積回路(Application Specific Integrated Circuit,ASIC)、特定用途向け標準製品(Application Specific Standard Parts,ASSP)、システムオンチップ(System on Chip,SOC)、複合プログラマブル論理デバイス(Complex Programmable Logic Device,CPLD)などを含む。
【0106】
本開示の文脈において、機器可読媒体は、命令実行システム、装置またはデバイスによって使用される、または命令実行システム、装置またはデバイスと組み合わせて使用されるプログラムを含むまたは記憶する有形の媒体であってもよい。機器可読媒体は、機器可読信号媒体または機器可読記憶媒体であってもよい。機器可読媒体は、電子、磁気、光学、電磁、赤外線、または半導体システム、装置またはデバイス、またはこれらの任意の適切な組み合わせを含むが、これらに限定されない。機器可読記憶媒体の例は、1つまたは複数のワイヤに基づく電気的接続、ポータブル機器ディスク、ハードディスク、RAM、ROM、EPROMまたはフラッシュメモリ、光ファイバー、CD-ROM、光学記憶装置、磁気記憶装置、またはこれらの任意の適切な組み合わせが挙げられる。
【0107】
本開示の1つまたは複数の実施例によれば、本開示は、マルチメディア処理方法を提供し、
ターゲットマルチメディアコンテンツに対応する初期テキストコンテンツを表示するステップと、
関連マルチメディアコンテンツのトリガ操作に応答して、前記関連マルチメディアコンテンツを再生するステップと、を含み、
ここで、前記関連マルチメディアコンテンツは、前記ターゲットマルチメディアコンテンツのうち、ターゲットテキストコンテンツに関連するフラグメントを含み、前記ターゲットテキストコンテンツは前記初期テキストコンテンツから抽出される。
【0108】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理方法では、前記ターゲットテキストコンテンツは、前記初期テキストコンテンツから抽出された少なくとも2つの連続テキストフラグメントを含み。
【0109】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理方法では、関連マルチメディアコンテンツのトリガ操作に応答して、前記関連マルチメディアコンテンツを再生するステップは、
関連マルチメディアコンテンツのトリガ操作に応答して、前記ターゲットマルチメディアコンテンツのうち各連続テキストフラグメントの関連時間帯に対応するマルチメディアフラグメントを、前記ターゲットテキストコンテンツのうち前記少なくとも2つの連続テキストフラグメントの関連時間帯の前記ターゲットマルチメディアコンテンツにおける順序に従ってジャンプして再生する。
【0110】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理方法では、前記方法は、
前記ターゲットテキストコンテンツに基づいて前記関連マルチメディアコンテンツを決定するステップをさらに含む。
【0111】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理方法では、前記ターゲットテキストコンテンツに基づいて前記関連マルチメディアコンテンツを決定するステップは、
前記ターゲットテキストコンテンツの関連時間帯に基づいて関連マルチメディアコンテンツを生成することを含み、ここで、前記ターゲットテキストコンテンツの関連時間帯は前記ターゲットテキストコンテンツに対応する音声情報のターゲットマルチメディアコンテンツにおける時間帯を特徴付けるために使用される。
【0112】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理方法では、前記ターゲットテキストコンテンツの関連時間帯に基づいて関連マルチメディアコンテンツを生成するステップは、
前記関連時間帯の数が複数である場合に、複数の関連時間帯の前記ターゲットマルチメディアコンテンツにおける順序に従って、前記複数の関連時間帯の各々に対応する複数のマルチメディアフラグメントをスプライシングして前記関連マルチメディアコンテンツを生成することを含む。
【0113】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理方法では、前記ターゲットテキストコンテンツの関連時間帯に基づいて関連マルチメディアコンテンツを生成するステップは、
前記ターゲットテキストコンテンツの関連テキストのステートメント完全性に基づいて、前記ターゲットテキストコンテンツの関連時間帯を調整すること、
前記調整後の関連時間帯に基づいて前記関連マルチメディアコンテンツを生成することを含む。
【0114】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理方法では、前記関連テキストは、前記初期テキストコンテンツにおける前記ターゲットテキストコンテンツに対応するテキストである。
【0115】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理方法では、前記関連マルチメディアコンテンツはマルチメディア概要であり、前記マルチメディア概要は少なくとも2つのサブマルチメディア概要を含み、各前記サブマルチメディア概要は1つの概要タイプに対応し、前記概要タイプの数は少なくとも2つである。
【0116】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理方法では、関連マルチメディアコンテンツのトリガ操作に応答して、前記関連マルチメディアコンテンツを再生するステップは、
関連マルチメディアコンテンツのトリガ操作に応答して、前記トリガ操作に対応するターゲット概要タイプを決定すること、
前記ターゲット概要タイプに対応するターゲットサブマルチメディア概要を取得して前記ターゲットサブマルチメディア概要を再生すること、または、前記マルチメディア概要を取得し、前記マルチメディア概要における前記ターゲット概要タイプの時間帯に基づいて前記マルチメディア概要を再生することを含む。
【0117】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理方法では、前記ターゲットテキストコンテンツはターゲットテキスト概要であり、前記ターゲットテキスト概要は少なくとも1つの概要タイプの概要を含み、
前記方法は、
前記関連マルチメディアコンテンツの再生タイムライン上に、前記ターゲットテキスト概要に対応する概要タイプの標識を関連して表示するステップをさらに含む。
【0118】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理方法では、前記関連マルチメディアコンテンツの再生タイムライン上に、前記ターゲットテキスト概要に対応する概要タイプの標識を関連して表示するステップは、
前記関連マルチメディアコンテンツの再生タイムライン上の前記ターゲットテキスト概要に対応する関連時点で、前記ターゲットテキスト概要に対応する概要タイプの標識を表示することを含む。
【0119】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理方法では、前記ターゲットテキスト概要に対応する関連時点は、前記ターゲットテキスト概要の関連時間帯中の任意の時点である。
【0120】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理方法では、前記方法は、
前記関連マルチメディアコンテンツの再生過程で、前記関連マルチメディアコンテンツの再生プログレスに対応するターゲットテキストコンテンツを順次強調表示するステップをさらに含む。
【0121】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理方法では、前記方法は、
ユーザによる前記関連マルチメディアコンテンツに対するダウンロード操作を受信し、前記関連マルチメディアコンテンツをダウンロードして記憶するステップをさらに含む。
【0122】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理方法では、前記初期テキストコンテンツを表示するステップは、
リストページのトリガ操作に応答して、前記初期テキストコンテンツを表示することを含み、ここで、前記リストページに複数のマルチメディアコンテンツの要約情報が表示される。
【0123】
本開示の1つまたは複数の実施例によれば、本開示はマルチメディア処理装置を提供し、
ターゲットマルチメディアコンテンツに対応する初期テキストコンテンツを表示するように構成されたテキスト表示モジュールと、
関連マルチメディアコンテンツのトリガ操作に応答して、前記関連マルチメディアコンテンツを再生するように構成されたマルチメディア再生モジュール、を備え、
ここで、前記関連マルチメディアコンテンツは、前記ターゲットマルチメディアコンテンツのうち、ターゲットテキストコンテンツに関連するフラグメントを含み、前記ターゲットテキストコンテンツは前記初期テキストコンテンツから抽出される。
【0124】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理装置では、前記ターゲットテキストコンテンツは、前記初期テキストコンテンツから抽出された少なくとも2つの連続テキストフラグメントを含む。
【0125】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理装置では、前記マルチメディア再生モジュールは、
関連マルチメディアコンテンツのトリガ操作に応答して、前記ターゲットマルチメディアコンテンツのうち各連続テキストフラグメントの関連時間帯に対応するマルチメディアフラグメントを、前記ターゲットテキストコンテンツのうち前記少なくとも2つの連続テキストフラグメントの関連時間帯の前記ターゲットマルチメディアコンテンツにおける順序に従ってジャンプして再生する。
【0126】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理装置では、前記装置は関連マルチメディア生成モジュールをさらに備え、
前記ターゲットテキストコンテンツに基づいて前記関連マルチメディアコンテンツを決定するように構成される。
【0127】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理装置では、前記関連マルチメディア生成モジュールは、
前記ターゲットテキストコンテンツの関連時間帯に基づいて関連マルチメディアコンテンツを生成するように構成され、ここで、前記ターゲットテキストコンテンツの関連時間帯は、前記ターゲットテキストコンテンツに対応する音声情報のターゲットマルチメディアコンテンツにおける時間帯を特徴付けるために使用される。
【0128】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理装置では、前記関連マルチメディア生成モジュールは、
前記関連時間帯の数が複数である場合に、複数の関連時間帯の前記ターゲットマルチメディアコンテンツにおける順序に従って、前記複数の関連時間帯の各々に対応する複数のマルチメディアフラグメントをスプライシングして前記関連マルチメディアコンテンツを生成するように構成される。
【0129】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理装置では、前記関連マルチメディア生成モジュールは、
前記ターゲットテキストコンテンツの関連テキストのステートメント完全性に基づいて、前記ターゲットテキストコンテンツの関連時間帯を調整し、
前記調整後の関連時間帯に基づいて前記関連マルチメディアコンテンツを生成するように構成される。
【0130】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理装置では、前記関連テキストは、前記初期テキストコンテンツにおける前記ターゲットテキストコンテンツに対応するテキストである。
【0131】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理装置では、前記関連マルチメディアコンテンツはマルチメディア概要であり、前記マルチメディア概要は少なくとも2つのサブマルチメディア概要を含み、各前記サブマルチメディア概要は1つの概要タイプに対応し、前記概要タイプの数は少なくとも2つである。
【0132】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理装置では、前記マルチメディア再生モジュールは、
関連マルチメディアコンテンツのトリガ操作に応答して、前記トリガ操作に対応するターゲット概要タイプを決定し、
前記ターゲット概要タイプに対応するターゲットサブマルチメディア概要を取得して前記ターゲットサブマルチメディア概要を再生し、
または、前記マルチメディア概要を取得し、前記マルチメディア概要における前記ターゲット概要タイプの時間帯に基づいて前記マルチメディア概要を再生するように構成される。
【0133】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理装置では、前記ターゲットテキストコンテンツはターゲットテキスト概要であり、前記ターゲットテキスト概要は少なくとも1つの概要タイプの概要を含み、
前記装置は標識モジュールをさらに備え、
前記関連マルチメディアコンテンツの再生タイムライン上に、前記ターゲットテキスト概要に対応する概要タイプの標識を関連して表示するように構成される。
【0134】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理装置では、前記標識モジュールは、
前記関連マルチメディアコンテンツの再生タイムライン上の前記ターゲットテキスト概要に対応する関連時点で、前記ターゲットテキスト概要に対応する概要タイプの標識を表示するように構成される。
【0135】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理装置では、前記ターゲットテキスト概要に対応する関連時点は、前記ターゲットテキスト概要の関連時間帯中の任意の時点である。
【0136】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理装置では、前記装置は強調表示モジュールをさらに備え、
前記関連マルチメディアコンテンツの再生過程で、前記関連マルチメディアコンテンツの再生プログレスに対応するターゲットテキストコンテンツを順次強調表示するように構成される。
【0137】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理装置では、前記装置は概要ダウンロードモジュールをさらに備え、
ユーザによる前記関連マルチメディアコンテンツに対するダウンロード操作を受信し、前記関連マルチメディアコンテンツをダウンロードして記憶するように構成される。
【0138】
本開示の1つまたは複数の実施例によれば、本開示が提供するマルチメディア処理装置では、前記テキスト表示モジュールは、
リストページのトリガ操作に応答して、前記初期テキストコンテンツを表示するように構成され、ここで、前記リストページに複数のマルチメディアコンテンツの要約情報が表示される。
【0139】
本開示の1つまたは複数の実施例によれば、本開示は電子機器を提供し、
プロセッサと、
前記プロセッサが実行可能な命令を記憶したメモリとを備え、
前記プロセッサは、前記メモリから前記実行可能命令を読み出し、前記命令を実行して本開示が提供するいずれか1つのマルチメディア処理方法を実施するように構成される。
【0140】
本開示の1つまたは複数の実施例によれば、本開示はコンピュータ可読記憶媒体を提供し、前記記憶媒体はコンピュータプログラムを記憶し、前記コンピュータプログラムは本開示が提供するいずれか1つのマルチメディア処理方法を実施するために使用される。
【0141】
さらに、各動作は特定の順序を用いて描かれているが、これは、動作が示された特定の順序または順次実行されることを要求するものとして解釈されるべきではない。特定の環境において、マルチタスクおよび並行処理は有利であり得る。同様に、いくつかの実装の詳細が上記の議論に含まれているが、これらは、本開示の範囲を限定するものとして解釈されるべきではない。単一実施例の文脈で説明した特定の特徴は、単一の実施例において組み合わせて実装することもできる。逆に、単一の実施例の文脈で説明した様々な特徴も、個別に、または任意の適切なサブコンビネーションで、複数の実施例で実施することができる。
【国際調査報告】