(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-20
(54)【発明の名称】インタラクティブ情報処理方法、装置、機器、及び媒体
(51)【国際特許分類】
H04N 21/8547 20110101AFI20230912BHJP
H04N 7/15 20060101ALI20230912BHJP
G06F 16/44 20190101ALI20230912BHJP
【ＦＩ】
H04N21/8547
H04N7/15 150
G06F16/44
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023511951
(86)(22)【出願日】2021-09-07
(85)【翻訳文提出日】2023-02-16
(86)【国際出願番号】 CN2021116826
(87)【国際公開番号】W WO2022068533
(87)【国際公開日】2022-04-07
(31)【優先権主張番号】202011057348.6
(32)【優先日】2020-09-29
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】521431088
【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｚｉｔｉａｏ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】０２０７， ２／Ｆ， Ｂｕｉｌｄｉｎｇ ４， Ｚｉｊｉｎ Ｄｉｇｉｔａｌ Ｐａｒｋ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ，Ｐ． Ｒ． Ｃｈｉｎａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】楊晶生
(72)【発明者】
【氏名】陳可蓉
(72)【発明者】
【氏名】劉敬暉
(72)【発明者】
【氏名】熊梦園
(72)【発明者】
【氏名】鄭翔
(72)【発明者】
【氏名】銭程
(72)【発明者】
【氏名】韓暁
(72)【発明者】
【氏名】趙立
【テーマコード（参考）】
5B175
5C164
【Ｆターム（参考）】
5B175DA07
5C164FA10
5C164MA06S
5C164MC06P
5C164PA43
5C164SB04S
5C164SC11S
5C164VA00P
5C164YA08
5C164YA11
(57)【要約】
【課題】
本開示の実施例は、インタラクティブ情報処理方法、装置、電子機器、及び記憶媒体を開示する。
【解決手段】
本方法は、マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立することと、前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出することと、を含む。
【選択図】 図１
本開示の実施例は、インタラクティブ情報処理方法、装置、電子機器、及び記憶媒体を開示する。
【解決手段】
本方法は、マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立することと、前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出することと、を含む。
【選択図】 図１
【特許請求の範囲】
【請求項1】
インタラクティブ情報処理方法であって、マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立することと、
前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出することと、を含む、
方法。
【請求項2】
前記方法は、さらに、前記マルチメディアデータストリームのオーディオビデオフレームを取得し、前記オーディオビデオフレームに対応する発言ユーザーのユーザー身分標識を確定することと、
前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することと、
を含む、請求項１に記載の方法。
【請求項3】
前記オーディオビデオフレームはオーディオフレームを含み、前記マルチメディアデータストリームのオーディオビデオフレームを取得し、前記オーディオビデオフレームに対応する発言ユーザーのユーザー身分標識を確定することは、
前記オーディオフレームに対して声紋識別を行うことにより、発言ユーザーのユーザー身分標識を確定する方式と、
前記オーディオフレームが属するクライアントのクライアント標識を確定し、前記クライアント標識に基づいて発言ユーザーのユーザー身分標識を確定する方式と、
のうちの少なくとも１つの方式を含む、
請求項２に記載の方法。
【請求項4】
前記オーディオビデオフレームはオーディオフレームを含み、前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することは、
前記オーディオフレームに対して音声文字変換処理を行うことにより、前記オーディオフレームに対応する文字記述を得て、前記文字記述及び前記ユーザー身分標識に基づいて前記展示テキスト中の第１展示テキストを生成すること、
を含む、請求項２に記載の方法。
【請求項5】
前記オーディオビデオフレームはビデオフレームを含み、前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することは、
前記ビデオフレームに対して文字認識を行うことにより、前記ビデオフレームにおける文字を得て、前記文字及び前記ユーザー身分標識に基づいて前記展示テキスト中の第２展示テキストを生成すること、
を含む、請求項２に記載の方法。
【請求項6】
前記オーディオフレームに対して音声文字変換処理を行うことにより、前記オーディオフレームに対応する文字記述を得て、前記文字記述及び前記ユーザー身分標識に基づいて前記展示テキスト中の第１展示テキストを生成することは、オーディオフレームに対応する文字記述、オーディオフレームが現在対応するタイムスタンプ、及び、前記オーディオフレームが属する発言ユーザーのユーザー身分標識を確定することと、
前記ユーザー身分標識、タイムスタンプ、及び、前記文字記述に基づいて、前記展示テキスト中の展示コンテンツを生成することと、
を含む、請求項４に記載の方法。
【請求項7】
前記展示コンテンツのパッケージに少なくとも１つの段落が含まれ、前記オーディオフレームに対して音声文字変換処理を行うことにより、前記オーディオフレームに対応する文字記述を得て、前記文字記述及び前記ユーザー身分標識に基づいて前記展示テキスト中の第１展示テキストを生成することは、
前記オーディオフレームに基づいて、音声文字変換処理を行う過程において、隣り合うオーディオフレーム間の間隔時間長が予め設定された間隔時間長閾値以上であると検出し、且つ、
次のオーディオフレームが属するユーザー身分標識が変化しないことに応答し、前記次のオーディオフレームに基づいて、前記展示コンテンツ中の次の段落を生成すること、
を含む、請求項６に記載の方法。
【請求項8】
前記ビデオフレームに対して文字認識を行うことにより、展示テキスト中の第２展示テキストを得ることは、前記ビデオフレームに少なくとも１つのユニフォーム・リソース・ロケータＵＲＬアドレスが含まれると確定することに応答し、前記少なくとも１つのＵＲＬアドレスに基づいて、前記第２展示テキスト中の第１展示コンテンツを生成すること、
を含む、請求項５に記載の方法。
【請求項9】
前記ビデオフレームに対して文字認識を行うことにより、展示テキスト中の第２展示テキストを得ることは、前記ビデオフレームに文字が含まれると確定することに応答し、前記文字に基づいて、第２展示テキスト中の第２展示コンテンツを確定すること、
を含む、請求項５に記載の方法。
【請求項10】
前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することは、前記オーディオビデオフレームに基づいて、前記展示テキスト中の第３展示テキストを確定し、前記第３展示テキスト中のターゲットコンテンツをトリガしたと検出した時に、前記第１展示テキストから前記ターゲットコンテンツに対応するコンテンツを確定して、区別して表示し、前記第３展示テキストに少なくとも１つのキーワード、少なくとも１つのキーセンテンスのうちの少なくとも１つが含まれること、
を含む、請求項４に記載の方法。
【請求項11】
前記展示テキストは第２展示テキストを含み、前記方法は、さらに、
前記展示テキスト及び前記マルチメディアデータストリームをターゲットページに展示すること、を含み、
前記展示テキスト及び前記マルチメディアデータストリームをターゲットページに展示することは、
前記展示テキスト中の前記第１展示テキスト、前記第２展示テキスト、前記第３展示テキスト及び録画ビデオをそれぞれ前記ターゲットページにおける予め設定された展示エリア内に展示すること、
を含む、請求項１０に記載の方法。
【請求項12】
前記方法は、さらに、前記第１展示テキスト、前記第２展示テキスト、及び、前記第３展示テキスト中の展示コンテンツに基づいて、前記第１展示テキスト、前記第２展示テキスト、及び、前記第３展示テキストの表示ページでのエリア占有率を確定すること、
を含む、請求項１１に記載の方法。
【請求項13】
前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することは、前記オーディオビデオフレームにおけるオーディオ情報に対応するオリジナル言語タイプを取得することと、
前記ユーザー身分標識、前記オーディオビデオフレーム、及び、前記オーディオビデオフレームに対応するオリジナル言語タイプに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することと、
を含む、請求項２に記載の方法。
【請求項14】
前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することは、ターゲット言語タイプを確定し、前記オーディオビデオフレームをオーディオビデオフレームに対応するオリジナル言語タイプから前記ターゲット言語タイプに対応する文字記述に変換することと、
前記文字記述及びユーザー身分標識に基づいて、前記展示テキストを生成することと、
を含む、請求項２に記載の方法。
【請求項15】
前記ターゲット言語タイプを確定することは、現在クライアントに使用される履歴言語タイプを取得し、前記履歴言語タイプに基づいてターゲット言語タイプを確定すること、
を含む、請求項１４に記載の方法。
【請求項16】
前記履歴言語タイプは少なくとも１つであり、前記履歴言語タイプに基づいてターゲット言語タイプを確定することは、
各履歴言語タイプの使用頻度に基づいて、少なくとも１つの履歴言語タイプからターゲット言語タイプを確定する方式と、
現在クライアントに設けられた言語タイプをターゲット言語タイプとする方式と、
現在クライアントのログインアドレスに基づいて、ターゲット言語タイプを確定する方式と、
のうちの少なくとも１つの方式を含む、
請求項１５に記載の方法。
【請求項17】
前記位置対応関係はタイムスタンプ同期関連関係を含み、前記マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立することは、
前記展示テキスト中のタイムスタンプ及び前記マルチメディアデータストリームのタイムスタンプに基づいて、前記展示テキストと前記マルチメディアデータストリームとの間のタイムスタンプ同期関連関係を確立すること、
を含む、請求項１に記載の方法。
【請求項18】
前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出することは、前記位置対応関係に基づいて、前記展示テキストにマルチメディアデータストリームに対応する展示コンテンツを区別して表示すること、
を含む、請求項１に記載の方法。
【請求項19】
前記マルチメディアデータストリーム及び前記展示テキストがターゲットページに表示され、前記ターゲットページに制御コントロールがさらに含まれ、
前記方法は、さらに、
前記制御コントロールに基づいて前記マルチメディアデータストリーム及び前記展示テキストに現在展示されるコンテンツを同時に調整することと、
前記制御コントロールに対応する調整精度が前記マルチメディアデータストリームにおいて録画ビデオの進行を調整する調整コントロールの調整精度より大きくすること、
を含む、請求項１に記載の方法。
【請求項20】
前記方法は、さらに、前記ターゲットページにおける制御コントロールをトリガしたトリガ操作を検出したことに応答し、前記制御コントロールにおいて対応する再生タイムスタンプを取得し、前記再生タイムスタンプに基づいて、前記マルチメディアデータストリームを前記再生タイムスタンプに対応する再生位置にジャンプするように調整することと、
前記展示テキストに前記再生タイムスタンプに対応するビデオフレームの展示テキストコンテンツを区別して表示することと、
を含む、請求項１９に記載の方法。
【請求項21】
前記方法は、さらに、ターゲットページにおける前記展示テキスト中の展示コンテンツをトリガしたトリガ操作を検出したことに応答し、前記展示コンテンツに対応するタイムスタンプに基づいて、前記マルチメディアデータストリームを前記タイムスタンプに対応するビデオフレームにジャンプするように調節すること、
前記マルチメディアデータストリームに対するトリガ操作を検出したことに応答し、前記トリガ操作に対応するマルチメディアデータストリームの再生タイムスタンプを取得し、前記再生タイムスタンプに基づいて前記展示テキスト中の前記再生タイムスタンプに対応する展示コンテンツにジャンプすること、
のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項22】
前記方法は、さらに、ターゲットページにおける編集コントロールに対するトリガ操作を検出したことに応答し、権限編集リストを表示し、前記権限編集リストに基づいて各インタラクティブユーザーのユーザー権限を確定し、前記ユーザー権限はユーザーの前記ターゲットページに呈出されるコンテンツに対するアクセス権限を表すために用いられ、前記権限編集リストに少なくとも１つの前記インタラクティブユーザーのユーザー権限が含まれること、
を含む、請求項１に記載の方法。
【請求項23】
前記方法は、さらに、ターゲットページにおける共有コントロールをトリガしたトリガ操作を検出したことに応答し、ターゲットページに対応するターゲット標識を生成し、前記ターゲット標識を共有対象となるユーザーへ送信し、前記共有対象となるユーザーに前記ターゲット標識に基づいて前記ターゲットページを取得させること、
を含む、請求項１に記載の方法。
【請求項24】
前記方法は、さらに、検索コンテンツ編集コントロールに編集された検索コンテンツを取得し、前記展示テキストから前記検索コンテンツに対応する少なくとも１つのターゲットコンテンツを取得し、各ターゲットコンテンツが前記検索コンテンツと同様であることと、
前記展示テキストに前記少なくとも１つのターゲットコンテンツを区別して表示し、前記マルチメディアデータストリームに対応する制御コントロールに前記少なくとも１つのターゲットコンテンツに対応するオーディオビデオフレームをマークすることと、
を含む、請求項２に記載の方法。
【請求項25】
前記マルチメディアデータストリームに対応する制御コントロールに前記少なくとも１つのターゲットコンテンツに対応するオーディオビデオフレームをマークすることは、前記各ターゲットコンテンツに対応する再生タイムスタンプを確定し、前記再生タイムスタンプに基づいて、前記マルチメディアデータストリームに対応する制御コントロールに前記各ターゲットコンテンツに対応するオーディオビデオフレームをマークすること、
を含む、請求項２４に記載の方法。
【請求項26】
前記方法は、さらに、前記各ターゲットコンテンツをトリガしたトリガ操作を検出したことに応答し、前記各ターゲットコンテンツのターゲット再生タイムスタンプを確定することと、
前記ターゲット再生タイムスタンプに対応するマークを前記制御コントロールに区別して表示することと、
を含む、請求項２４に記載の方法。
【請求項27】
インタラクティブ情報展示方法であって、マルチメディアデータストリームに基づいて生成される展示テキストをターゲットページの第１展示エリアに展示することと、
前記マルチメディアデータストリームを前記ターゲットページの第２展示エリアに展示することと、を含み、
前記展示テキストと前記マルチメディアデータストリームとの間に位置対応関係を有する、
方法。
【請求項28】
前記方法は、さらに、前記マルチメディアデータストリームのビデオフレームに対応するコンテンツを前記ターゲットページの第３展示エリアに展示することと、
前記マルチメディアデータストリームのオーディオビデオフレームにおけるキーワード及びキーセンテンスのうちの少なくとも１つを前記ターゲットページの第４展示エリアに展示することと、を含み、
前記オーディオビデオフレームは前記ビデオフレームを含む、
請求項２７に記載の方法。
【請求項29】
前記方法は、さらに、前記マルチメディアデータストリームの再生過程において、前記展示テキストと前記マルチメディアデータストリームとの間の位置対応関係に基づいて、順に現在再生進行に対応する展示テキスト中の展示コンテンツを区別して展示すること、
を含む、請求項２７に記載の方法。
【請求項30】
前記方法は、さらに、前記マルチメディアデータストリームの再生進行に対するトリガ操作に応答し、前記位置対応関係に基づいて前記展示テキストの展示コンテンツに対してジャンプ展示を行うこと、又は
前記展示テキストの展示コンテンツに対するトリガ操作に応答し、前記位置対応関係に基づいて前記マルチメディアデータストリームの再生進行に対してジャンプ展示を行うこと、
を含む、請求項２７に記載の方法。
【請求項31】
インタラクティブ情報処理装置であって、マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立するように構成される対応関係確立モジュールと、
前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出するように構成されるコンテンツ呈出モジュールと、
を含む、装置。
【請求項32】
少なくとも１つのプロセッサと、少なくとも１つのプログラムを記憶するために用いられる記憶装置と、を含み、
前記少なくとも１つのプログラムが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１～３０のいずれか一項に記載の方法を実行させる、
電子機器。
【請求項33】
コンピュータ実行可能な命令を格納している記憶媒体であって、前記コンピュータ実行可能な命令がコンピュータプロセッサにより実行されると、
請求項１～３０のいずれか一項に記載の方法をコンピュータに実施させる、
記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０２０年０９月２９日に中国専利局に提出された出願番号が２０２０１１０５７３４８．６である中国特許出願に対して優先権を主張するものであり、該出願の全ての内容を引用により本願に援用する。
【0002】
本開示の実施例はコンピュータデータ処理の技術分野に関し、例えば、インタラクティブ情報処理方法、装置、機器及び媒体に関する。
【背景技術】
【0003】
現在、ユーザーはマルチメディアデータストリームに基づいて相応するオーディオビデオフレームを閲覧してもよいし、マルチメディアデータストリームが変換したテキスト情報に基づいて相応するコンテンツを閲覧してもよい。
【0004】
上記方式により、閲覧されたマルチメディアデータストリームとテキスト情報とはお互いに独立したものであり、テキストのコンテンツに基づいて相応するマルチメディアデータストリームに素早く位置決めることができず、ユーザーがマルチメディアデータストリームからテキストコンテンツに対応するビデオフレームを探索する必要があるため、探索効率が低く、ユーザー体験が悪いという技術的問題がある。
【発明の概要】
【0005】
本開示の実施例は、マルチメディアデータストリームと展示テキストとの間の位置連動を実現し、閲読の便利性及び効率性の技術効果を向上させるインタラクティブ情報処理方法、装置、機器、及び媒体を提供する。
【0006】
本開示の実施例は、
マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立することと、
前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出することと、を含む、インタラクティブ情報処理方法を提供する。
マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立することと、
前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出することと、を含む、インタラクティブ情報処理方法を提供する。
【0007】
本開示の実施例は、
マルチメディアデータストリームに基づいて生成される展示テキストをターゲットページの第１展示エリアに展示することと、
前記マルチメディアデータストリームを前記ターゲットページの第２展示エリアに展示することと、を含み、
前記展示テキストと前記マルチメディアデータストリームとの間に位置対応関係を有する、インタラクティブ情報展示方法を提供する。
マルチメディアデータストリームに基づいて生成される展示テキストをターゲットページの第１展示エリアに展示することと、
前記マルチメディアデータストリームを前記ターゲットページの第２展示エリアに展示することと、を含み、
前記展示テキストと前記マルチメディアデータストリームとの間に位置対応関係を有する、インタラクティブ情報展示方法を提供する。
【0008】
本開示の実施例は、
マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立するように構成される対応関係確立モジュールと、
前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出するように構成されるコンテンツ呈出モジュールと、を含む、
インタラクティブ情報処理装置をさらに提供する。
マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立するように構成される対応関係確立モジュールと、
前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出するように構成されるコンテンツ呈出モジュールと、を含む、
インタラクティブ情報処理装置をさらに提供する。
【0009】
本開示の実施例は、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するように構成される記憶装置と、を含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサに本開示の実施例のいずれかに記載のインタラクティブ情報処理方法を実現させる、
電子機器をさらに提供する。
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するように構成される記憶装置と、を含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサに本開示の実施例のいずれかに記載のインタラクティブ情報処理方法を実現させる、
電子機器をさらに提供する。
【0010】
本開示の実施例は、コンピュータ実行可能な命令を含む記憶媒体であって、
前記コンピュータ実行可能な命令がコンピュータプロセッサにより実行される時に、本開示の実施例のいずれかに記載のインタラクティブ情報処理方法を実行するように構成される、
記憶媒体をさらに提供する。
前記コンピュータ実行可能な命令がコンピュータプロセッサにより実行される時に、本開示の実施例のいずれかに記載のインタラクティブ情報処理方法を実行するように構成される、
記憶媒体をさらに提供する。
【図面の簡単な説明】
【0011】
図面を通して、同一又は類似の符号は同一又は類似の要素を表す。図面は模式的であり、原本と要素は必ずしも比例して描かれていないと理解されるべきである。
【0012】
【図1】本開示の一実施例に係るインタラクティブ情報処理方法のフローチャートである。
【図2】本開示の別の実施例に係るインタラクティブ情報処理方法のフローチャートである。
【図3】本開示の実施例に係るターゲットページの模式図である。
【図4】本開示の別の実施例に係るインタラクティブ情報処理方法のフローチャートである。
【図5】本願の一実施例に係るターゲットコンテンツと時間軸におけるマークとが対応して表示される構造模式図である。
【図6】本願の一実施例に係るターゲットコンテンツをトリガした後に、時間軸におけるマークが強調表示される模式図である。
【図7】本開示の別の実施例に係るインタラクティブ情報処理方法のフローチャートである。
【図8】本開示の一実施例に係るインタラクティブ情報展示方法のフローチャートである。
【図9】本開示の一実施例に係るインタラクティブ情報処理装置の構造模式図である。
【図10】本開示の一実施例に係る電子機器の構造模式図である。
【発明を実施するための形態】
【0013】
以下、図面を参照しながら本開示の実施例についてより詳しく説明する。図面に本開示のいくつかの実施例が示されるが、本開示は、様々な形式で実現でき、ここで記述される実施例に限定されるものと解釈されるべきではない。逆に、これらの実施例を提供するのは、本開示を徹底的且つ完全に理解するためである。本開示の図面及び実施例は、例示的な作用として用いられるものに過ぎず、本開示の保護範囲を限定するためのものではないと理解されるべきである。
【0014】
本開示の方法の実施形態に記載される各ステップは、異なる順序で実行されてもよいし、及び／又は、並行に実行されてもよいと理解されるべきである。また、方法の実施形態は、追加のステップ及び／又は実行が省略されて示されたステップを含んでもよい。本開示の範囲は、この点で制限されない。
【0015】
本発明で使用される「含む」という用語及びその変形は、開放的な包含であり、即ち、「含むが、これらに限定されない」。「基づく」という用語は、「少なくとも部分的に基づく」という意味である。「１つの実施例」という用語は、「少なくとも１つの実施例」を表す。「別の実施例」という用語は、「少なくとも１つの別の実施例」を表す。「いくつかの実施例」という用語は、「少なくともいくつかの実施例」を表す。他の用語の関連定義は、以下の記述で与えられている。
【0016】
なお、本開示に言及される「第１」、「第２」などの概念は、異なる装置、モジュール又はユニットを区別するためのものに過ぎず、これらの装置、モジュール又はユニットが実行する機能の順序又は相互依存関係を限定するためのものではない。
【0017】
なお、本開示に言及される「１つ」、「複数」という修飾は、模式的なものであり、限定的なものではなく、当業者は、本明細書で特に明記されていない限り、「１つ又は複数」と理解すべきである。
【0018】
図１は、本開示の一実施例に係るインタラクティブ情報処理方法のフローチャートであり、本開示の実施例は、マルチメディアデータストリームと展示テキストとの間の位置連動を確立することにより、展示テキスト又はマルチメディアデータストリームをトリガした時に、展示テキストとマルチメディアデータストリームとの連動を実現するケースに適用されている。この方法は、インタラクティブ情報処理装置により実行されてもよく、この装置は、ソフトウェア及び／又はハードウェアの形式により実現されてもよく、例えば、電子機器により実現されてもよく、この電子機器は、モバイル端末、ＰＣ端末、又はサーバなどであってもよい。本実施例に係る方法は、クライアントにより実行されてもよく、サーバにより実行されてもよく、又は、両者が合わさって実行されてもよい。
【0019】
図１のように、本実施例の方法は、以下のことを含む。
【0020】
Ｓ１１０、マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立する。
【0021】
ここで、マルチメディアデータストリームは、リアルタイムインタラクティブ対話インターフェイスに対応するオーディオビデオストリームデータであってもよいし、リアルタイムインタラクティブインターフェイスを録画した後に、録画ビデオにおけるビデオストリームデータであってもよい。リアルタイムインタラクティブインターフェイスは、リアルタイムインタラクティブ適用シーンにおけるいずれかの対話インターフェイスである。リアルタイムインタラクティブシーンは、ネイティブプログラム又はｗｅｂプログラムなどにより実現された対話アプリケーションなどのインターネット及びコンピュータ手段により実現されることができる。マルチメディアデータストリームのオーディオフレームを処理し、例えば、オーディオ情報を抽出してマルチメディアデータストリームに対応するテキスト情報を得て、テキスト情報をターゲットページに表示することができる。相応的に、ターゲットページに表示されるテキスト情報は展示テキストである。展示テキストとマルチメディアデータストリームとの間の同期連動の効果を実現するために、展示テキストとマルチメディアデータストリームとの間の位置対応関係を確立することができる。位置対応関係は、タイムスタンプに基づいて確定された位置対応関係であってもよい。例えば、いくつかの適用シーンにおいて、展示テキストは、マルチメディアデータストリームにおける音声に対して音声識別を行って得られたものであってもよい。これらの適用シーンにおいて、展示テキスト中のある段落の文字に対応する音声のマルチメディアデータストリームでの位置に基づいて、この段落の文字のタイムスタンプとして、この段落の文字とそれに対応する音声との間の位置対応関係を確立することができる。
【0022】
Ｓ１２０、前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出する。
【0023】
例えば、位置対応関係が確立された展示テキストとマルチメディアデータストリームをターゲットページに表示することができる。そして、ある部分の展示テキストに対するトリガ操作（例えば、クリックなど）を検出した時に、位置対応関係により前記展示テキストに対応するビデオフレームを表示することができる。
【0024】
本開示の実施例の技術案については、マルチメディアデータストリームと展示テキストとの間の位置対応関係を確立することにより、展示テキストのターゲットコンテンツをトリガしたと検出した時に、マルチメディアデータストリームをターゲットコンテンツに対応するビデオフレームにジャンプすることにより、ユーザーにビデオフレーム及びターゲットコンテンツと結び付けて発言ユーザーの発言情報を理解させやすくし、対話効率の技術効果を向上させる。
【0025】
図２は、本開示の別の実施例に係るインタラクティブ情報処理方法のフローチャートである。上記実施例を踏まえて、マルチメディアデータストリームに基づいて相応する展示テキストを生成して、展示テキストとマルチメディアデータストリームとの間の位置対応関係を確立することができる。そのうち、上記実施例と同様又は相応する技術用語について、ここでは説明を省略する。
【0026】
図２に示すように、前記方法は、以下のことを含む。
【0027】
Ｓ２１０、マルチメディアデータストリームのオーディオビデオフレームを取得し、前記オーディオビデオフレームに対応する発言ユーザーのユーザー身分標識を確定する。
【0028】
ここで、マルチメディアデータストリームとは、リアルタイムインタラクティブインターフェイスから取得されたデータストリームである。複数のユーザーがインターネット又はコンピュータ手段に基づいて実現された、複数人でのビデオ会議、生放送などのインタラクティブシーンをリアルタイムインタラクティブシーンとする。リアルタイムインタラクティブの後に、会議コンテンツを簡単にリプレイするか、又は。ある１つ又はいくつかの発言ユーザーが発表した言葉に対応する核心思想を確定するために、リアルタイムインタラクティブの過程において、リアルタイムインタラクティブシーンをレコーディングし、例えば、ビデオ会議コンテンツをレコーディングすることができる。レコーディングされたリアルタイムインタラクティブシーンを録画ビデオとする。相応的に、マルチメディアデータストリームは録画ビデオに基づいて取得されたものである。録画ビデオには各発言ユーザーのオーディオ情報のみならず、ビデオ情報が含まれ、即ち、マルチメディアデータストリームに対応するオーディオフレーム及びビデオフレームが含まれる。ユーザー身分標識は、各ユーザーの身分を表すために用いられる。
【0029】
例えば、マルチメディアデータストリームのオーディオフレーム及びビデオフレームに基づいて、オーディオ情報が属する端末に対応するユーザーを確定し、オーディオフレーム及び／又はビデオフレームに対応する発言ユーザーのユーザー身分標識を確定することができる。
【0030】
Ｓ２２０、前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成する。
【0031】
ここで、マルチメディアデータストリームのオーディオ情報、即ち、オーディオフレームに基づいて、オーディオフレームに対応する文字記述を確定することができる。マルチメディアデータストリームのビデオフレームは、インタラクティブユーザーが共有したドキュメント、又は、共有したスクリーンなどであってもよい。ビデオフレームに基づいて、表示インターフェイスにおける文字情報及び／又はリンクなどの情報を確定することができる。オーディオフレーム及びビデオフレームに基づいて、録画ビデオに対応する展示テキストを確定することができる。対応関係は、マルチメディアデータストリームのタイムスタンプと展示テキスト中のタイムスタンプとの間の対応する関係であってもよい。ターゲットページは、クライアントに表示されるページであってもよい。このページにマルチメディアデータストリーム及び展示テキストが含まれてもよい。
【0032】
例えば、マルチメディアデータストリームのオーディオフレーム及びビデオフレームを処理し、各オーディオフレーム及び／又はビデオフレームに対応する文字記述を得ることができる。前記ユーザー身分標識、及び、各オーディオビデオフレームに対応するタイムスタンプに基づいて、マルチメディアデータストリームに対応する展示テキストを生成する。展示テキストとマルチメディアデータストリームとの間の連動性を実現するために、マルチメディアデータストリームと展示テキストとの間の位置対応の関係を確立することができる。例えば、マルチメディアデータストリームが録画ビデオに基づいて取得されたものであり、ターゲットページにおける録画ビデオのプログレスバーをトリガしたと検出した時に、現在ビデオフレームに対応する再生時刻を確定し、展示テキストに再生時刻に対応するテキストコンテンツを区別して表示することができる。
【0033】
Ｓ２３０、マルチメディアデータストリームのオーディオビデオフレームを取得し、前記オーディオビデオフレームに対応する発言ユーザーのユーザー身分標識を確定する。
【0034】
Ｓ２４０、前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出する。
【0035】
本開示の実施例の技術案については、マルチメディアデータストリームとのオーディオビデオフレームを処理することにより、マルチメディアデータストリームに対応するテキスト情報を生成し、ターゲットページに表示し、ターゲットページに表示されるテキスト情報とマルチメディアデータストリームとの間の位置対応関係により、マルチメディアデータストリームと展示テキストとの間のタイムスタンプ同期関連関係を実現し、ユーザーによるテキストの閲読とビデオの閲覧との同期性を向上させ、ユーザー体験の技術効果を向上させる。
【0036】
本実施例において、マルチメディアデータストリームのオーディオビデオフレームに基づいて、オーディオフレームに対応する発言ユーザーのユーザー身分標識を確定することは、オーディオフレームに対して声紋識別を行うことにより、発言ユーザーのユーザー身分標識を確定すること、及び／又は、オーディオフレームが属するクライアントのクライアント標識を確定し、クライアント標識に基づいて発言ユーザーのユーザー身分標識を確定すること、を含む。
【0037】
通常、声紋識別は生物識別の１種であり、発言ユーザーの音波特性により身分認識を行う技術に用いられる。各発言ユーザーの言語はユニークな声紋を有するので、これによって、異なる身分の発言ユーザーを確定することができる。もちろん、各発言ユーザーが属するクライアントの標識を収集し、クライアントの標識に基づいて発言ユーザーのユーザー身分標識を確定してもよい。
【0038】
例えば、マルチメディアデータストリームにおけるオーディオフレームに対して音波特性処理を行い、処理結果に基づき、各発言ユーザーのユーザー身分標識を確定することができる。通常、クライアントには対応するクライアントアカウント又はクライアントＩＤがあり、異なるクライアントを区別する。従って、各発言ユーザーが属するクライアントを取得することにより、クライアントの標識に基づいて、各発言ユーザーに対応するユーザー身分標識を確定することができる。ただし、あるクライアントが同時に複数のユーザーと一緒に会議に出席して発言した場合、複数のユーザーは、クライアントＩＤにより区別されることができない。よって、さらに、各ユーザーの音声データに対して声紋識別を行い、それぞれの人の音声がユニークな声紋を有するので、それに基づき、異なるユーザーを区別することができる。その後、クライアントＩＤ－ユーザーＡ、クライアントＩＤ－ユーザーＢとマークされることにより、同じクライアントにおける異なる発言ユーザーの身分情報、即ち、ユーザー身分標識を区別することができる。
【0039】
本実施例において、異なる発言ユーザーの身分標識情報を確定し、各発言ユーザーのオーディオ情報を文字に変換した後に、文字コンテンツに対応する発言ユーザーを確定でき、他のユーザーにこの発言コンテンツに対応する発言ユーザーが表現した核心思想を確定させやすく、対話効率を向上させる技術効果に達する。
【0040】
上記技術案を踏まえて、ユーザー身分標識及びオーディオビデオフレームに基づいて展示テキストを生成することは、オーディオフレームに対して音声文字変換処理を行うことにより、オーディオフレームに対応する文字記述を得て、文字記述及びユーザー身分標識に基づいて展示テキスト中の第１展示テキストを生成することと、ビデオフレームに対して文字認識を行うことにより、ビデオフレーム中の文字を得て、文字及びユーザー身分標識に基づいて展示テキスト中の第２展示テキストを生成することと、を含む。
【0041】
例えば、音声文字変換モジュールに基づいて、録画ビデオにおけるオーディオフレームを相応する文字記述に変換することができる。文字記述、オーディオに対応する発言ユーザーの身分標識に基づいて、展示テキスト中の第１展示テキストを生成することができる。つまり、展示テキストに少なくとも１つの展示テキストが含まれ、各展示テキストに相応するコンテンツを展示することができる。例えば、第１展示テキストに展示されるコンテンツは、オーディオフレームに基づいて生成された文字であってもよい。ビデオフレームに基づいてビデオ画像中の文字を確定した後に、ビデオフレーム中の文字に基づいて、展示テキスト中の第２展示テキストを確定し、即ち、第２展示テキストに展示されるものはビデオ画像中のコンテンツである。例示的に、発言ユーザーＡがスクリーンを共有した場合、スクリーン中の文字コンテンツを識別し、文字コンテンツを第２展示テキストに展示することができる。
【0042】
なお、オーディオフレーム及びビデオフレームを処理した後のコンテンツを同じテキストに統合して展示することができる場合、第１展示テキストと第２展示テキストとは同様である。
【0043】
本実施例において、オーディオビデオフレームに対応するコンテンツを展示テキストに展示し、直観的に録画ビデオにおける各発言ユーザーのオーディオフレームを相応する文字に展示することができ、発言ユーザーによる発言コンテンツの確定の便利性を向上させる。
【0044】
上記技術案を踏まえて、オーディオフレームに対して音声文字変換処理を行い、オーディオフレームに対応する文字記述を得て、文字記述及びユーザー身分標識に基づいて、展示テキスト中の第１展示テキストを生成することは、オーディオフレームに対応する文字記述、オーディオフレームが現在対応するタイムスタンプ、及び、オーディオフレームが属する発言ユーザーのユーザー身分標識を確定することと、ユーザー身分標識、タイムスタンプ、及び文字記述に基づいて展示テキスト中の１つの展示コンテンツを生成することと、を含む。
【0045】
なお、展示テキストには少なくとも１つの展示コンテンツがあり、発言ユーザーが発言する時に、発言ユーザーの音声情報を相応する文字記述に変換し、この発言ユーザーの音声情報の発言のタイムスタンプ、及び、音声情報に対応する文字情報に基づいて、第１展示テキスト中の１つの展示コンテンツを生成することができる。
【0046】
例えば、連続的なオーディオフレームに対して、且つ、連続的なオーディオフレームが同一発言ユーザーに属する時に、このオーディオフレームに対応する文字記述、このオーディオフレームに対応するユーザー身分標識、及び、この連続的なオーディオフレームに対応するタイムスタンプを確定し、第１展示テキスト中の１つの展示コンテンツを生成することができる。
【0047】
なお、第１展示テキストには複数の展示コンテンツが含まれてもよく、各展示コンテンツは、発言ユーザー身分標識、発言タイムスタンプ及び具体的な発言コンテンツを含み、各展示コンテンツの間に対応するユーザー身分標識は、同じでも異なってもよいが、各コンテンツに対応するタイムスタンプは異なる。
【0048】
展示テキスト中の展示コンテンツの閲読性を向上させるために、１つの展示コンテンツに少なくとも２つの展示段落が含まれてもよい。例えば、オーディオフレームに対して音声文字変換処理を行うことにより、オーディオフレームに対応する文字記述を得て、文字記述及びユーザー身分標識に基づいて展示テキスト中の第１展示テキストを生成することは、オーディオフレームに基づいて音声文字変換処理を行う過程において、隣り合うオーディオフレーム間の間隔時間長が予め設定された間隔時間長閾値以上であり、且つ、次のオーディオフレームが属するユーザー身分標識が変化しないことを検出した場合、次のオーディオフレームに基づいて、この展示コンテンツ中の次の段落を生成することを含む。
【0049】
つまり、オーディオフレームに対して音声文字変換処理を行う時に、隣り合う２つのオーディオフレーム間の間隔時間長を取得することができる。間隔時間長が予め設定された間隔時間長閾値より小さいと、２つのオーディオフレームの間は連続的なオーディオフレームであることを意味する。間隔時間長が予め設定された間隔時間長閾値以上であり、且つ、次のオーディオフレームが属するユーザー身分標識が変化しないと、発言ユーザーが変化しなくて、発言過程にストップがあるに過ぎないことを意味する。次のオーディオフレームに対応するコンテンツに基づいて、次のオーディオフレームに対応するコンテンツを展示コンテンツ中の次の段落に生成するかを確定することができる。即ち、次のオーディオフレームに対応する発言コンテンツを検出した後に、直前のいくつかのオーディオフレームに対応する発言コンテンツと結び付けるとともに語意分析を行い、分析結果により、発言コンテンツを１つの段落又は２つの段落としてもよい。このようにすることで、他のユーザーに発言ユーザーの発言コンテンツを理解させやすく、発言コンテンツに対する理解の効率性を向上させることができる。
【0050】
第１展示テキスト中の展示コンテンツに対応する発言ユーザーを素早く確定するために、ユーザーの身分標識を確定するのみならず、各発言ユーザーに対応するユーザーアバターであってもよく、ユーザーアバターに基づいて、展示テキスト中の文字コンテンツに対応する発言ユーザーをより素早く確定することができる。例えば、ユーザー身分標識に対応するユーザー画像を取得し、ユーザー画像、ユーザー身分標識、タイムスタンプ及び文字記述に基づいて展示テキスト中の１つの展示コンテンツを生成することができる。
【0051】
各展示コンテンツは、ユーザーのアバター、発言タイムスタンプ（録画ビデオにおける発言ユーザーが発言したタイムスタンプに対応する）、オーディオ情報に対応する文字を含んでもよいと理解することができる。
【0052】
もちろん、マルチメディアデータストリームがスクリーンを共有する時に対応するビデオフレームである場合、共有スクリーン中のコンテンツを取得することができ、例えば、ビデオフレームに対して文字認識を行い、展示テキスト中の第２展示テキストを得ることができる。例えば、ビデオフレームに少なくとも１つのユニフォーム・リソース・ロケータＵＲＬアドレスが含まれると、少なくとも１つのＵＲＬアドレスに基づいて、第２展示テキスト中の第１展示コンテンツを生成し、ビデオフレームに文字が含まれると、文字に基づいて、第２展示テキスト中の第２展示コンテンツを確定する。
【0053】
つまり、マルチメディアデータストリームを取得した後に、音声文字変換モジュールに基づいて、メディアデータストリームのオーディオフレームを処理し、オーディオ情報に対応する文字記述を得ることができる。マルチメディアデータストリームにおいて、発言ユーザーが共有したスクリーンコンテンツ、ドキュメント及びリンクなどの情報を取得しやすくするために、録画ビデオ中の各ビデオフレームに対して文字認識を行うことにより、ビデオフレーム中の文字及びリンクを取得することができる。文字、リンク、発言ユーザーの身分標識、及び、このコンテンツに対応するタイムスタンプに基づいて、展示テキスト中の第２展示テキスト中の展示コンテンツとする。
【0054】
実際の応用過程において、ユーザーがキーワードによってターゲットコンテンツを選別するケースがあるので、オーディオビデオ情報に基づいて展示テキストを生成する過程において、前記オーディオビデオフレームに基づいて、前記展示テキスト中の第３展示テキストを確定して、前記第３展示テキスト中のターゲットコンテンツをトリガしたと検出した時に、第１展示テキストから前記ターゲットコンテンツに対応するコンテンツを確定して区別して表示し、前記第３展示テキストには、少なくとも１つのキーワード及び／又はキーセンテンスが含まれることをさらに含む。
【0055】
つまり、オーディオビデオフレームを相応する文字に変換する過程において、変換した後の文字コンテンツに対してキーワード及び／又はキーセンテンスの抽出を行い、展示テキスト中の第３展示テキストとしてもよい。本実施例において、キーワード及び／又はキーセンテンスを抽出するとは、展示テキスト中のコンテンツに対して単語分割処理を行って少なくとも１つの単語を得て、各単語に対応するワードベクトルを確定することができることであってもよい。各単語に対応するワードベクトルにより、平均ワードベクトルを確定し、各単語のワードベクトルと平均ワードベクトルとの間の類似度値を算出し、類似度値が予め設定された値より大きい単語をキーワードとする。同じ方式により、テキスト中のキーセンテンスを抽出することができる。第３展示テキスト中の各キーワード及び／又はキーセンテンスと第１展示テキストとの間の関係を確立し、キーワード又はキーセンテンスをトリガした時に、第１展示テキストからキーワードの第１展示テキストでの位置を素早く確定することができる。展示テキストとマルチメディアデータストリームとは確立した位置対応関係のため、第１展示テキスト中のキーワードが属するセンテンスをトリガした時に、録画ビデオは属するセンテンスのタイムスタンプに基づいて前記タイムスタンプに対応するマルチメディアデータストリームを再生することを実現することができる。
【0056】
実際の応用過程において、合理的なレイアウトを実現し、ターゲットページにおける各エリアに対応する展示コンテンツを素早く確定するようにすることは、各展示テキスト中の展示コンテンツに基づいて、各展示テキストの表示ページでのエリア占有率を確定することであってもよい。
【0057】
例えば、各展示テキスト中の展示コンテンツの量により、各展示テキストの表示ページで占めるエリア比率を動的に確定し、例えば、展示コンテンツが多いほど、ターゲットページで占めるエリアが大きくなる。
【0058】
前記展示テキスト中の第１展示テキスト、第２展示テキスト、第３展示テキスト、及び、マルチメディアデータストリームをそれぞれ前記ターゲットページにおける予め設定された展示エリア内に展示し、ここで、第１展示テキストの予め設定された展示エリアは前記録画ビデオの予め設定された展示エリアより大きく、前記録画ビデオの予め設定された展示エリアは前記第２展示テキストの予め設定された展示エリアより大きく、第２展示テキストの展示エリアは前記第３展示テキストの展示エリアより大きい。
【0059】
つまり、第１展示エリアは、主にマルチメディアデータストリームに対応するテキストデータを展示するために用いられるので、コンテンツが比較的多く、ターゲットページから多いエリアを取得して第１展示テキストを展示することができる。第２展示エリアの面積が、第１展示エリアの面積より小さく、マルチメディアデータストリーム、例えば、録画ビデオを展示するために用いられ、第３展示エリアの展示面積が、第２展示エリアの展示面積より小さく、マルチメディアデータストリーム中のビデオフレームに対応するコンテンツを展示するために用いられ、第４展示エリアは、第３展示テキストを展示するエリアであり、マルチメディアデータストリームから抽出したキーワード及び／又はキーセンテンスを展示するために用いられる。マルチメディアデータストリームに対応する文字は一般的に多いので、それをターゲットページに大きく表示することができ、ユーザーに閲読させやすく、キーワード又はキーセンテンスのコンテンツは比較的少ないので、表示ページにおける表示エリアをできるだけ小さくしてもよい。
【0060】
ターゲットページに展示されるコンテンツを明確に理解するために、図３に示すように、ターゲットページは、コントロール１、コントロール２、コントロール３、及びコントロール４を含んでもよい。コントロール１は、第１展示テキストを展示するコントロールであり、このテキストエリア内に各発言ユーザーに対応する発言コンテンツが表示されてもよい。コントロール２は、録画ビデオを展示するコントロールであり、コントロール内に録画ビデオが入られてもよい。コントロール３は、第２展示テキストを展示するコントロールであり、このコントロールに共有したドキュメント、共有したリンクなどの情報が表示されてもよい。コントロール４は、第３展示テキストを展示するコントロールであり、このコントロールに録画ビデオ及び第１展示テキストに対応するキーワード又はキーセンテンスが表示されてもよい。
【0061】
図４は、本開示の別の実施例に係るインタラクティブ情報処理方法のフローチャートである。上記実施例を踏まえて、マルチメディアデータストリームにおいて各発言ユーザーが発言する時に使用する言語タイプが現在ユーザーの一致度に適合しないケースがある。例示的に、録画ビデオにおいて、各発言ユーザーが使用する言語タイプは英語及び中国語である。現在ユーザーが使用する言語タイプが日本語であると、展示テキスト及び録画ビデオ中のコンテンツを閲読できないか又は聞き取れないことがある。このような状況を減らすために、ターゲットユーザー（現在使用ユーザー）に対応するターゲット言語タイプを予め確定することができる。そのうち、上記実施例と同様又は相応する用語の解釈について、ここでは説明を省略する。
【0062】
図４に示すように、方法は、以下のことを含む。
【0063】
Ｓ４１０、マルチメディアデータストリームにおけるオーディオビデオフレームに基づいて、オーディオビデオフレームに対応する発言ユーザーのユーザー身分標識を確定する。
【0064】
Ｓ４２０、ターゲット言語タイプを確定し、オーディオビデオフレームをターゲット言語タイプに対応する文字記述に変換する。
【0065】
ここで、マルチメディアデータストリームのオーディオビデオフレームを相応する言語タイプに変換し、変換された言語タイプをターゲット言語タイプとする。例えば、録画ビデオフレームのオーディオフレームを言語タイプが日本語であるように変換する必要があると、ターゲット言語タイプは日本語であってもよい。
【0066】
本実施例において、ターゲット言語タイプを確定するとは、現在クライアントに使用される履歴言語タイプを取得し、履歴言語タイプに基づいてターゲット言語タイプを確定することであってもよい。
【0067】
例えば、現在クライアントに選択された履歴言語タイプを取得し、例えば、その前にこのクライアントに使用された言語タイプを取得する。ターゲット言語タイプは、履歴言語タイプに基づいて確定されたものである。
【0068】
本実施例において、履歴言語タイプに基づいてターゲット言語タイプを確定することは、各履歴言語タイプの使用頻度、前回のオーディオフレーム文字変換の時に採用する言語タイプ、現在クライアントに設けられた言語タイプ、現在クライアントのログインアドレス、ログインアドレスに基づいてターゲット言語タイプを確定すること、のうちの少なくとも１つの方式を含む。
【0069】
例えば、現在クライアントに使用された履歴言語タイプの頻度を取得し、使用頻度が最高の言語タイプをターゲット言語タイプとしてもよい。例えば、現在クライアントに使用される履歴言語タイプは中国語５回、英語２回、日本語３回を含み、各履歴言語タイプの使用頻度に基づいて、中国語をターゲット言語タイプとしてもよい。又は、前回のオーディオフレーム文字変換の時に採用する言語タイプを取得し、前回に使用された言語タイプをターゲット言語タイプとしてもよい。又は、現在クライアントにデフォルト言語タイプが設けられるかを確定し、デフォルト言語タイプがあれば、設けられた言語タイプをターゲット言語タイプとしてもよい。又は、現在クライアントのログインアドレスを取得し、このログインアドレスが属するエリアを確定し、例えば、中国であると、中国語をターゲット言語タイプとしてもよい。ログインアドレスが属するエリアは英国であると、英語をターゲット言語タイプとしてもよい。
【0070】
なお、ユーザーが言語タイプ選択コントロールをトリガしないと、各発言ユーザーのオリジナル言語タイプを取得し、オーディオ情報を直接にオリジナル言語タイプと同じる訳文データに翻訳することにより、ユーザー身分標識及び訳文データを展示テキスト中の展示コンテンツとしてもよい。ここで、発言ユーザーのオリジナル言語タイプは、例えば、発言ユーザーが発言する時に使用する言語タイプであってもよい。
【0071】
上記技術案を踏まえて、ユーザーに対応する言語タイプをタイムリーに調整させやすくするために、表示インターフェイスに、言語タイプ設定コントロールがさらに含まれる。例えば、引き続き図３を参照すると、言語タイプ選択コントロール５をトリガしたと検出した時に、言語選択リストをポップアップし、リストに少なくとも１つの言語タイプが含まれ、ユーザーは、それから自身との一致度が高い言語タイプを選択し、ターゲット言語タイプとしてもよい。ターゲット言語タイプを選択した後に、ターゲットページにおける展示テキストは、ターゲット言語タイプに対応する展示テキストを展示することができる。
【0072】
Ｓ４３０、文字記述及びユーザー身分標識に基づいて展示テキストを生成し、展示テキストとマルチメディアデータストリームとの間の位置対応関係を確立し、展示テキスト及びマルチメディアデータストリームをターゲットページに展示する。
【0073】
例えば、テキスト記述及びユーザー身分標識、各オーディオビデオフレームに対応する文字記述に基づいて、録画ビデオに対応する展示テキストを生成する。
【0074】
本開示の実施例の技術案については、予め設定されるターゲット言語タイプを取得することにより、録画ビデオに対応する展示テキストをターゲット言語タイプに対応する文字記述に表示することができ、ユーザーが、展示テキストを閲読する便利性を向上させるのみならず、展示テキストに基づいて録画ビデオ中の相応位置に位置決めることができる。さらに、展示テキストに基づいて閲読する過程において、ページにおける言語タイプ選択コントロールに基づいて、ターゲット言語タイプを更新し、ユーザーとの間の一致度及びユーザー体験の技術効果をさらに向上させる。
【0075】
上記技術案を踏まえて、前記方法は、検索コンテンツ編集コントロールに編集された検索コンテンツを取得し、前記展示テキストから前記検索コンテンツに対応するターゲットコンテンツを取得し、各ターゲットコンテンツが前記検索コンテンツと同様であることと、前記展示テキストに前記ターゲットコンテンツを区別して表示し、前記マルチメディアデータストリームに対応する制御コントロールに前記ターゲットコンテンツに対応するオーディオビデオフレームをマークすることと、をさらに含む。ここで、前記制御コントロールは、前記マルチメディアデータストリームの再生時間軸と関連して展示される。ターゲットコンテンツのタイムスタンプに基づいて、制御コントロールにターゲットコンテンツに対応するオーディオビデオフレームの位置をマークする。
【0076】
ここで、検索コンテンツ編集コントロールは、ターゲットページに表示され、検索コンテンツを編集するように構成されるコントロールであってもよい。ターゲットページには、異なる言語タイプの音声情報に基づいて生成される展示テキストが含まれてもよい。サーバは、検索コンテンツ編集コントロールに編集された検索コンテンツを取得し、取得された検索コンテンツをターゲットコンテンツとしてもよい。例えば、検索コンテンツ編集コントロールに編集された検索コンテンツは「アルゴリズム」であり、サーバが取得したターゲットコンテンツはアルゴリズムである。区別して表示するとは、ターゲットコンテンツを他のコンテンツに区別する方式により太字表示することであってもよい。制御コントロールにマークするとは、ターゲットコンテンツに対応するオーディオビデオフレームをマークし、例えば、図５を参照すると、ターゲットコンテンツに対応するオーディオビデオフレームを確定した後に、オーディオビデオフレームの制御コントロールでの位置を確定し、位置の下方にドット又は三角でマークすることができる。予め確立された関連関係に基づいて、ターゲットコンテンツのマルチメディアデータストリームに対応するオーディオビデオフレームを確定し、制御コントロールに前記ターゲットコンテンツに対応するオーディオビデオフレームをマークする。このように、ユーザーにターゲットコンテンツの展示テキストでの位置、及び、マルチメディアデータストリームでの位置を明確に理解させる。
【0077】
なお、検索コンテンツ編集コントロールにおいて、ターゲットコンテンツの数を表示してもよく、例えば、図５を参照すると、検索コンテンツ編集コントロールに表示された合計数は１２である。
【0078】
また、ターゲットコンテンツの数は１つ以上であってもよく、相応的に、時間軸におけるマークの数も１つ以上であってもよく、図３を参照すると、ターゲットコンテンツの数は１２であり、時間軸におけるマークも１２である。もちろん、ユーザーに現在トリガされるターゲットコンテンツがすべてのターゲットコンテンツのうちの何番目であるかを確定させやすくするために、検索コンテンツ編集コントロールに現在トリガされるターゲットコンテンツに対応する順番も表示される。
【0079】
本実施例において、前記マルチメディアデータストリームに対応する制御コントロールに前記ターゲットコンテンツに対応するオーディオビデオフレームをマークすることは、前記ターゲットコンテンツに対応する再生タイムスタンプを確定し、前記再生タイムスタンプに基づいて前記マルチメディアデータストリームに対応する制御コントロールに前記ターゲットコンテンツに対応するビデオ再生時刻をマークすることを含む。
【0080】
例えば、ターゲットコンテンツに対応する再生タイムスタンプを確定でき、再生タイムスタンプに基づいて、対応するマルチメディアデータストリームを確定でき、制御コントロールに再生タイムスタンプに対応する位置でマークすることができる。
【0081】
本実施例において、前記方法は、ターゲットコンテンツをトリガしたと検出した場合、前記ターゲットコンテンツのターゲット再生タイムスタンプを確定することと、前記ターゲット再生タイムスタンプに対応するマークを区別して表示することと、をさらに含む。
【0082】
例えば、ユーザーは、ターゲットコンテンツをトリガでき、ターゲットコンテンツをトリガした時に、ターゲットコンテンツに対応するターゲット再生タイムスタンプを確定し、ターゲット再生タイムスタンプに対応するマークを他のマークと区別して表示してもよい。区別して表示するとは、色で区別して表示し、ハイライト表示するなどのことであってもよい。
【0083】
例示的に、図６を参照し、ユーザーが、マーク１に対応するターゲットコンテンツをトリガした時に、マーク１のターゲットコンテンツに対応するターゲット再生タイムスタンプを確定でき、ターゲット再生タイムスタンプに基づいて、それの時間軸に対応するマークはマーク２に対応するマークであると確定でき、このマークを強調表示することができる。
【0084】
図７は、本開示の別の実施例に係るインタラクティブ情報処理方法のフローチャートである。上記実施例を踏まえて、クライアント表示インターフェイスに展示されるコンテンツを確定した後に、ターゲットページにおけるコントロールをトリガした時に、相応する操作を実行することができる。そのうち、上記実施例と同様又は相応する名詞用語について、ここでは、説明を省略する。
【0085】
図７に記載のように、前記方法は、以下のことを含む。
【0086】
Ｓ５１０、マルチメディアデータストリームのオーディオビデオフレームに基づいて、オーディオビデオフレームに対応する発言ユーザーのユーザー身分標識を確定する。
【0087】
Ｓ５２０、ユーザー身分標識及びオーディオビデオフレームに基づいて、展示テキストを生成する。
【0088】
Ｓ５３０、展示テキストとマルチメディアデータストリームとの間の位置対応関係を確立する。
【0089】
Ｓ５４０、位置対応関係に基づいて、展示テキスト及び展示テキストに対応するマルチメディアデータストリームを呈出する。
【0090】
Ｓ５５０、ターゲットページにおける展示テキスト中の展示コンテンツをトリガしたと検出した場合、展示コンテンツに対応するタイムスタンプに基づいて、マルチメディアデータストリームをタイムスタンプに対応するビデオフレームにジャンプするように調節し、及び／又は、マルチメディアデータストリームに対するトリガ操作を検出した場合、トリガ操作に対応するマルチメディアデータストリームの再生タイムスタンプを取得し、再生タイムスタンプに基づいて、展示テキスト中の再生タイムスタンプに対応する展示コンテンツにジャンプする。
【0091】
なお、ターゲットページに展示されるマルチメディアデータストリームと展示テキストとの間に一定の位置連動関係があるので、ターゲットページにおけるマルチメディアデータストリームと展示テキストとの間の同期表示を実現することができる。
【0092】
例示的に、引き続き図４を参照し、ターゲットページにおける第１展示テキスト中の発言用Ａｎｄｙに対応する展示コンテンツをトリガしたと検出した時に、展示コンテンツに対応するタイムスタンプ００：００：０５に基づいて、マルチメディアデータストリームのプログレスバーはタイムスタンプが００：００：０５の対応する再生時刻にジャンプすることができる。即ち、ユーザーがコントロール１中のサブコントロール６をトリガした時に、マルチメディアデータストリームのプログレスバーがサブコントロール６に対応するタイムスタンプの再生時刻にジャンプすることができる。相応的に、マルチメディアデータストリームにおけるプログレスバーをトリガしたと検出した時に、マルチメディアデータストリームの再生時刻を確定でき、マルチメディアデータストリームの現在再生時刻に基づいて、展示テキスト中の現在再生時刻に対応する文字記述にジャンプし、文字とマルチメディアデータストリームとの間の連動を実現することができる。
【0093】
上記方案を踏まえて、なお、前記位置対応関係に基づいて、前記展示テキストにマルチメディアデータストリームに対応する展示コンテンツを区別して表示する。
【0094】
例えば、マルチメディアデータストリームは、録画ビデオであってもよく、録画ビデオが再生される過程において、現在ビデオフレームに対応するテキストコンテンツを展示テキストに区別して表示し、ユーザーに現在ビデオフレームの展示テキストでの具体的な位置を理解させることができ、ユーザーに閲読させやすい技術効果がある。
【0095】
本実施例において、区別して表示するとは、テキスト中の他のコンテンツに区別する方式により現在ビデオフレームに対応するテキストコンテンツを呈出することであってもよい。現在ビデオフレームに対応するテキストコンテンツを呈出するとは、呈出エリア及び／又は呈出スタイルであってもよいが、これに限定されない。呈出エリアは、ターゲットページにおけるユーザーに注目させることができる呈出エリアであってもよい。呈出スタイルは、現在ビデオフレームに対応するテキストコンテンツをハイライト表示し、太字表示し、フォント色と他のコンテンツのフォント色とを区別するように表示することのうちの任意の少なくとも１種であってもよい。
【0096】
マルチメディアデータストリームに対する正確調節を実現するために、ターゲットページに制御コントロールがさらに含まれてもよい。図３を参照すると、制御コントロール７も、マルチメディアデータストリームの現在再生時刻を調整するように設定されてもよい。正確調節を実現するために、制御コントロール７に対応するプログレスバー長さが、マルチメディアデータストリーム中のプログレスバー長さより大きい。マルチメディアデータストリームに対応する再生時間長は一定であるので、プログレスバーの長さが長いほど、対応する変化量が小さくなり、即ち、対応する調節精度が高くなっている。従って、コントロール７に対応するプログレスバー長さが、マルチメディアデータストリームに対応するプログレスバーより大きいので、コントロール７に対応する調整精度がマルチメディアデータストリームにおけるマルチメディアデータストリームの進行の調整コントロールの調整精度より大きい。
【0097】
例えば、ターゲットページにおける制御コントロールをトリガしたと検出した場合、制御コントロールに対応する再生タイムスタンプを取得し、再生タイムスタンプに基づいて、マルチメディアデータストリームを再生タイムスタンプに対応する再生位置にジャンプするように調整し、展示テキストに再生タイムスタンプに対応するビデオフレームの展示テキストコンテンツを区別して表示する。
【0098】
例えば、ターゲットページにおける制御コントロールをトリガしたと検出した場合、制御コントロール中のプログレスバーに対応する再生時刻を取得し、即ち、制御コントロール中のプログレスバーが移動した位置をドラッグし、この位置はマルチメディアデータストリームの再生タイムスタンプに対応してもよい。再生タイムスタンプに基づいて、前記マルチメディアデータストリームを前記再生タイムスタンプに対応するオーディオビデオフレームにジャンプするとともに、前記ビデオフレームの展示テキストでの対応する展示コンテンツを確定する。
【0099】
なお、マルチメディアデータストリームの再生過程において、ユーザーに、現在ビデオフレームに対応するテキストコンテンツを確定させやすく、即ち、展示テキストから現在ビデオフレームに対応するテキストコンテンツを素早く確定するため。例えば、マルチメディアデータストリームの再生過程において、現在オーディオビデオフレームに対応する再生タイムスタンプに基づいて、再生タイムスタンプの展示テキストに対応する展示コンテンツを確定し、コンテンツを区別して表示し、例えば、ハイライト表示する。このように、展示テキストから現在ビデオフレームに対応する展示コンテンツに素早く位置決めることができ、ユーザーによる閲読の便利性及び効率性の技術効果を向上させる。
【0100】
例えば、ターゲットページにおける編集コントロールをトリガしたと検出した場合、権限編集リストを表示し、前記権限編集リストに基づいて、各インタラクティブユーザーのユーザー権限を確定する。前記ユーザー権限は、閲読権限及び編集権限を含む。閲読権限は、テキスト情報及びビデオ情報を閲読する権限である。編集権限は、テキスト中の情報を編集する権限である。
【0101】
なお、ターゲットページには、編集コントロールがさらに含まれる。ユーザーが権限編集コントロールをトリガした場合、編集権限に対応するプルダウンメニューを表示し、ユーザーは、メニューから各発言ユーザーのユーザー権限を編集することができる。ユーザー権限は、閲読権限及び編集権限を含んでもよい。閲読権限は、ターゲットページにおけるビデオ又は展示テキストのみを閲覧又は閲読できるが、そのコンテンツを編集できない権限である。編集権限を有するユーザーはターゲットページにおける展示テキストのコンテンツを編集するのみならず、それを他のユーザーへ共有することができる。このように、異なるユーザーに対して、相応する権限を設定して、内部資源の流出を効果的に回避することができる。
【0102】
例示的に、引き続き図３を参照すると、ターゲットページにおける編集コントロール８をトリガしたと検出した時に、権限編集リストをポップアップし、権限編集リストに基づいて、各インタラクティブユーザーの権限を編集することができる。
【0103】
なお、実際の応用過程において、マルチメディアデータストリーム及び対応する展示テキストを他のユーザーに共有する必要がある場合、ターゲットページにおける共有コントロールにより実現されることができる。例えば、ターゲットページにおける共有コントロールをトリガしたと検出した時に、現在ページに対応するターゲットリンクを生成し、前記ターゲットリンクを共有対象となるユーザーへ送信し、前記共有対象となるユーザーに、前記ターゲットリンクに基づいて前記マルチメディアデータストリーム及び前記展示テキストを閲覧させる。
【0104】
ここで、共有コントロールはターゲットページに含まれたマルチメディアデータストリーム及び展示テキストを他のユーザーのコントロールに共有することができる。
【0105】
例えば、ターゲットページにおける共有コントロールをトリガしたと検出した時に、ターゲットページにおけるコンテンツに基づいて相応するリンクを生成し、このリンクを他のユーザーに送信することができる。他のユーザーがこのリンクを受信した時に、このリンクに基づいてマルチメディアデータストリーム及び展示テキストを含む、ターゲットページを取得することができる。
【0106】
例示的に、引き続き図３を参照すると、ターゲットページにおける共有コントロール９をトリガしたと検出した時に、ターゲットページに対応するターゲットリンクを生成し、ターゲットリンクを他のユーザーへ送信し、他のユーザーにこのリンクに基づいて、ターゲットページにおけるマルチメディアデータストリーム及び展示テキストを閲覧させることができる。
【0107】
上記技術案を踏まえて、なお、他のユーザーにマルチメディアデータストリーム中の各インタラクティブユーザー及び総人数を明確させるために、各インタラクティブユーザーのアバター及び総人数標識を表示し、例えば、コントロール１０に対応する位置に表示してもよく、さらに、このマルチメディアデータストリームの司会者を表示し、例えば、コントロール１１に対応する位置に表示してもよい。
【0108】
【0109】
Ｓ８１０、マルチメディアデータストリームに基づいて生成される展示テキストをターゲットページの第１展示エリアに展示する。
【0110】
Ｓ８２０、前記マルチメディアデータストリームを前記ターゲットページの第２展示エリアに展示する。
【0111】
ここで、前記展示テキストと前記マルチメディアデータストリームとの間は位置対応関係を有する。
【0112】
上記技術案を踏まえて、前記方法は、前記マルチメディアデータストリームのビデオフレームに対応するコンテンツを前記ターゲットページの第３展示エリアに展示することと、前記マルチメディアデータストリームのオーディオビデオフレーム中のキーワード及びキーセンテンスのうちの少なくとも１つを前記ターゲットページの第４展示エリアに展示することと、をさらに含む。ここで、前記オーディオビデオフレームは前記ビデオフレームを含む。
【0113】
上記技術案を踏まえて、前記方法は、前記マルチメディアデータストリームの再生過程において、前記展示テキストと前記マルチメディアデータストリームとの間の位置対応関係に基づいて、順に現在再生進行に対応する展示テキスト中の展示コンテンツを区別して展示することをさらに含む。区別して展示するとは、色で区別して展示し、ハイライト展示する、などのことであってもよい。
【0114】
上記技術案を踏まえて、前記方法は、前記マルチメディアデータストリームの再生進行に対するトリガ操作に応答し、前記位置対応関係に基づいて、前記展示テキストの展示コンテンツに対してジャンプ展示を行うこと、又は、前記展示テキストの展示コンテンツに対するトリガ操作に応答し、前記位置対応関係に基づいて、前記マルチメディアデータストリームの再生進行に対してジャンプ展示を行うこと、をさらに含む。
【0115】
【0116】
ここで、対応関係確立モジュール６１０は、マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立するように構成される。コンテンツ呈出モジュール６２０は、前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出するように構成される。上記各技術案を踏まえて、前記装置は、マルチメディアデータストリームのオーディオビデオフレームを取得し、前記オーディオビデオフレームに対応する発言ユーザーのユーザー身分標識を確定するように構成されるユーザー身分標識取得モジュールと、前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成するように構成される展示テキスト確定モジュールと、をさらに含む。
【0117】
上記各技術案を踏まえて、前記装置は、オーディオフレームに対して声紋識別を行うことにより、発言ユーザーのユーザー身分標識を確定し、及び／又は、前記オーディオフレームが属するクライアントのクライアント標識を確定し、前記クライアント標識に基づいて、発言ユーザーのユーザー身分標識を確定するように構成される情報確定モジュールをさらに含む。
【0118】
上記各技術案を踏まえて、前記装置は、
オーディオフレームに対して音声文字変換処理を行うことにより、オーディオフレームに対応する文字記述を得て、前記文字記述及び前記ユーザー身分標識に基づいて、展示テキスト中の第１展示テキストを生成するように構成される第１テキスト展示モジュールをさらに含む。
オーディオフレームに対して音声文字変換処理を行うことにより、オーディオフレームに対応する文字記述を得て、前記文字記述及び前記ユーザー身分標識に基づいて、展示テキスト中の第１展示テキストを生成するように構成される第１テキスト展示モジュールをさらに含む。
【0119】
上記各技術案を踏まえて、前記装置は、ビデオフレームに対して文字認識を行うことにより、前記ビデオフレームにおける文字を得て、前記文字及び前記ユーザー身分標識に基づいて展示テキスト中の第２展示テキストを生成するように構成される第２テキスト展示モジュールをさらに含む。
【0120】
上記各技術案を踏まえて、前記第１展示テキスト確定モジュールは、さらに、オーディオフレームに対応する文字記述、オーディオフレームが現在対応するタイムスタンプ、及び、前記オーディオフレームが属する発言ユーザーのユーザー身分標識を確定し、前記ユーザー身分標識、タイムスタンプ及び前記文字記述に基づいて、前記展示テキスト中の１つの展示コンテンツを生成するように構成される。
【0121】
上記各技術案を踏まえて、各展示コンテンツのパッケージには少なくとも１つの段落が含まれ、第１テキスト展示モジュールは、オーディオフレームに基づいて音声文字変換処理を行う過程において、隣り合うオーディオフレーム間の間隔時間長が予め設定された間隔時間長閾値以上であり、且つ、次のオーディオフレームが属するユーザー身分標識が変化しないと検出した場合、前記次のオーディオフレームに基づいて前記展示コンテンツ中の次の段落を生成するように構成される。
【0122】
上記各技術案を踏まえて、前記装置は、前記ビデオフレームに少なくとも１つのＵＲＬアドレスが含まれると、前記少なくとも１つのＵＲＬアドレスに基づいて、第２展示テキスト中の第１展示コンテンツを生成するように構成される第２テキスト展示モジュール、をさらに含む。
【0123】
上記各技術案を踏まえて、前記装置は、さらに、前記ビデオフレームに文字が含まれると、前記文字に基づいて第２展示テキスト中の第２展示コンテンツを確定するように構成される第２テキスト展示モジュール、をさらに含む。
【0124】
上記各技術案を踏まえて、展示テキスト確定モジュールは、前記オーディオビデオフレームに基づいて、前記展示テキスト中の第３展示テキストを確定し、前記第３展示テキスト中のターゲットコンテンツをトリガしたと検出した時に、第１展示テキストから前記ターゲットコンテンツに対応するコンテンツを確定して、区別して表示し、前記第３展示テキストに少なくとも１つのキーワード及び／又はキーセンテンスが含まれるように構成される。
【0125】
上記各技術案を踏まえて、前記展示テキスト及び録画ビデオをターゲットページに展示することは、前記展示テキスト中の第１展示テキスト、第２展示テキスト、第３展示テキスト、及び録画ビデオを、それぞれ前記ターゲットページにおける予め設定された展示エリア内に展示することを含む。
【0126】
上記各技術案を踏まえて、前記装置は、各展示テキスト中の展示コンテンツに基づいて、各展示テキストの表示ページでのエリア占有率を確定するように構成されるエリア占有率確定モジュールを含む。
【0127】
上記各技術案を踏まえて、前記装置は、さらに、前記オーディオ情報に対応するオリジナル言語タイプを取得し、前記ユーザー身分標識、前記オーディオビデオフレーム、及び前記オーディオビデオフレームに対応するオリジナル言語タイプに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成するように構成される前記展示テキスト確定モジュールを含む。
【0128】
上記各技術案を踏まえて、前記展示テキスト確定モジュールは、ターゲット言語タイプを確定し、前記オーディオビデオフレームをオーディオビデオフレームに対応するオリジナル言語タイプから前記ターゲット言語タイプに対応する文字記述に変換し、前記文字記述及びユーザー身分標識に基づいて、前記展示テキストを生成するように構成される。
【0129】
上記各技術案を踏まえて、前記ターゲット言語タイプ確定モジュールは、現在クライアントに使用される履歴言語タイプを取得し、前記履歴言語タイプに基づいてターゲット言語タイプを確定するように構成される。
【0130】
上記各技術案を踏まえて、前記履歴言語タイプに基づいてターゲット言語タイプを確定することは、
各履歴言語タイプの使用頻度に基づいて、履歴言語タイプからターゲット言語タイプを確定する方式と、
現在クライアントに設けられた言語タイプをターゲット言語タイプとする方式と、
現在クライアントのログインアドレスに基づいて、ターゲット言語タイプを確定する方式と、のうちの少なくとも１つの方式を含む。
各履歴言語タイプの使用頻度に基づいて、履歴言語タイプからターゲット言語タイプを確定する方式と、
現在クライアントに設けられた言語タイプをターゲット言語タイプとする方式と、
現在クライアントのログインアドレスに基づいて、ターゲット言語タイプを確定する方式と、のうちの少なくとも１つの方式を含む。
【0131】
上記各技術案を踏まえて、前記位置対応関係はタイムスタンプ同期関連関係を含み、前記モジュールは、さらに、前記展示テキスト中のタイムスタンプ及び前記マルチメディアデータストリームのタイムスタンプに基づいて、前記展示テキストと前記マルチメディアデータストリームとの間のタイムスタンプ同期関連関係を確立するように構成される。
【0132】
上記各技術案を踏まえて、前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出することは、前記位置対応関係に基づいて、前記展示テキストにマルチメディアデータストリームに対応する展示コンテンツを区別して表示することを含む。
【0133】
上記各技術案を踏まえて、前記マルチメディアデータストリーム及び前記展示テキストがターゲットページに表示され、前記ターゲットページに制御コントロールがさらに含まれ、前記装置は、前記制御コントロールに基づいて、前記録画ビデオ及び前記展示テキストに現在展示されるコンテンツを同時に調整し、前記制御コントロールに対応する調整精度が、前記録画ビデオにおいて録画ビデオの進行を調整する調整コントロールの調整精度より大きくする制御モジュールをさらに含む。
【0134】
上記各技術案を踏まえて、前記装置は、
前記ターゲットページにおける制御コントロールをトリガしたと検出した場合、前記制御コントロールにおいて対応する再生タイムスタンプを取得し、前記再生タイムスタンプに基づいて前記マルチメディアデータストリームを前記再生タイムスタンプに対応する再生位置にジャンプするように調整し、前記展示テキストに前記再生タイムスタンプに対応するビデオフレームの展示テキストコンテンツを区別して表示するように構成される、制御モジュール、をさらに含む。
前記ターゲットページにおける制御コントロールをトリガしたと検出した場合、前記制御コントロールにおいて対応する再生タイムスタンプを取得し、前記再生タイムスタンプに基づいて前記マルチメディアデータストリームを前記再生タイムスタンプに対応する再生位置にジャンプするように調整し、前記展示テキストに前記再生タイムスタンプに対応するビデオフレームの展示テキストコンテンツを区別して表示するように構成される、制御モジュール、をさらに含む。
【0135】
上記各技術案を踏まえて、前記装置は、
ターゲットページにおける前記展示テキスト中の展示コンテンツをトリガしたと検出した場合、前記展示コンテンツに対応するタイムスタンプに基づいて、前記録画ビデオを前記タイムスタンプに対応するビデオフレームにジャンプするように調節し、及び／又は、
前記録画ビデオに対するトリガ操作を検出した場合、前記トリガ操作に対応する録画ビデオの再生タイムスタンプを取得し、前記再生タイムスタンプに基づいて、前記展示テキスト中の前記再生タイムスタンプに対応する展示コンテンツにジャンプするように構成されるジャンプモジュールをさらに含む。
ターゲットページにおける前記展示テキスト中の展示コンテンツをトリガしたと検出した場合、前記展示コンテンツに対応するタイムスタンプに基づいて、前記録画ビデオを前記タイムスタンプに対応するビデオフレームにジャンプするように調節し、及び／又は、
前記録画ビデオに対するトリガ操作を検出した場合、前記トリガ操作に対応する録画ビデオの再生タイムスタンプを取得し、前記再生タイムスタンプに基づいて、前記展示テキスト中の前記再生タイムスタンプに対応する展示コンテンツにジャンプするように構成されるジャンプモジュールをさらに含む。
【0136】
上記各技術案を踏まえて、前記装置は、ターゲットページにおける編集コントロールに対するトリガ操作を検出した場合、権限編集リストを表示し、前記権限編集リストに基づいて各インタラクティブユーザーのユーザー権限を確定し、前記ユーザー権限は、ユーザーの前記ターゲットページに呈出されるコンテンツに対するアクセス権限を表すために用いられるように構成される権限編集モジュール、をさらに含む。
【0137】
上記各技術案を踏まえて、前記装置は、ターゲットページにおける共有コントロールをトリガしたと検出した場合、ターゲットページに対応するターゲット標識を生成し、前記ターゲット標識を共有対象となるユーザーへ送信し、前記共有対象となるユーザーに前記ターゲット標識に基づいて前記ターゲットページを取得させるように構成されるターゲットページ共有モジュール、をさらに含む。
【0138】
上記技術案を踏まえて、前記装置は、検索コンテンツ編集コントロールに編集された検索コンテンツを取得し、前記展示テキストから前記検索コンテンツに対応するターゲットコンテンツを取得し、各ターゲットコンテンツは前記検索コンテンツと同様であり、前記展示テキストに前記ターゲットコンテンツを区別して表示し、前記マルチメディアデータストリームに対応する制御コントロールに前記ターゲットコンテンツに対応するオーディオビデオフレームをマークするように構成される検索モジュール、をさらに含む。
【0139】
上記各技術案を踏まえて、前記検索モジュールは、さらに、前記ターゲットコンテンツに対応する再生タイムスタンプを確定し、前記再生タイムスタンプに基づいて前記マルチメディアデータストリームに対応する制御コントロールに前記ターゲットコンテンツに対応するオーディオビデオフレームをマークするように構成される。
【0140】
上記各技術案を踏まえて、前記装置は、ターゲットコンテンツをトリガしたと検出した場合、前記ターゲットコンテンツのターゲット再生タイムスタンプを確定し、前記ターゲット再生タイムスタンプに対応するマークを前記制御コントロールに区別して表示するように構成される区別表示モジュール、をさらに含む。
【0141】
本開示の実施例の技術案については、録画ビデオと展示テキストとの間の位置対応関係を確立することにより、録画ビデオと展示テキストとの間の位置連動を実現し、ユーザーによるテキスト及び録画ビデオの閲読の効率性及び便利性の技術効果を向上させる。
【0142】
本開示の実施例に係るインタラクティブ情報処理装置は、本開示のいずれかの実施例に係るインタラクティブ情報処理方法を実行でき、方法の実行に対応する機能モジュール及び有益効果を備える。
【0143】
なお、上記装置が備える各ユニット及びモジュールは、機能ロジックに従って分割されたものに過ぎず、上記分割に限定されるものではなく、相応する機能を実現できれば良い。また、各機能ユニットの具体的な名称も、互いに区別しやすいものに過ぎず、本開示の実施例の保護範囲を制限するためのものではない。
【0144】
以下、図１０を参照し、これは、本開示の実施例を実現するために適用される電子機器（例えば、図１０における端末機器又はサーバ）７００の構造模式図を示している。本開示の実施例における端末機器は、携帯電話機、ノートパソコン、デジタル放送受信機、ＰＤＡ（パーソナルデジタルアシスタント）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（ポータブルマルチメディアプレイヤー）、車載端末（例えば、車載ナビゲーション端末）等のようなモバイル端末、及び、デジタルＴＶ、デスクトップ型コンピュータ等のような固定端末を含んでもよいが、これらに限定されない。図１０に示す電子機器は一例に過ぎず、本開示の実施例の機能及び使用範囲に何らかの制限を与えるものではない。
【0145】
図１０に示すように、電子機器７００は、処理装置（例えば、中央プロセッサ、グラフィックプロセッサなど）７０１を備えてもよく、前記処理装置７０１は、読み出し専用メモリ（ＲＯＭ）７０２に記憶されたプログラム、又は、記憶装置７０６からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたプログラムに基づいて、様々な適当な動作及び処理を実行することができる。ＲＡＭ７０３には、電子機器７００の操作に必要な様々なプログラム及びデータがさらに記憶されている。処理装置７０１、ＲＯＭ７０２及びＲＡＭ７０３は、バス７０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェイス７０５もバス７０４に接続されている。
【0146】
通常、例えば、タッチパネル、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープなどを含む入力装置７０６、例えば、液晶ディスプレイ（ＬＣＤ）、スピーカ、バイブレータなどを含む出力装置７０７、例えば、磁気テープ、ハードディスクなどを含む記憶装置７０６、及び通信装置７０９は、Ｉ／Ｏインターフェイス７０５に接続することができる。通信装置７０９は、電子機器７００が他の機器と無線又は有線通信してデータを交換することを可能にする。図１０は、様々な装置を備える電子機器７００を示すが、全ての示された装置を実施又は具備することは必要ではない。代わりに、より多い又はより少ない装置を実施又は具備してもよいと理解されるべきである。
【0147】
特に、本開示の実施例により、上記フローチャートを参照して記述した過程は、コンピュータソフトウェアプログラムとして実現されることができる。例えば、本開示の実施例は、非一時的コンピュータ可読媒体に担持されたコンピュータプログラムを含むコンピュータプログラム製品を含み、このコンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例において、このコンピュータプログラムは、通信装置７０９により、ネットワークからダウンロードされてインストールされてもよいし、記憶装置７０６からインストールされてもよいし、ＲＯＭ７０２からインストールされてもよい。このコンピュータプログラムが処理装置７０１により実行されると、本開示の実施例の方法で限定される上記機能を実行する。
【0148】
本開示の実施例に係る電子機器は、上記実施例に係るインタラクティブ情報処理方法と同じ発明思想に属しており、本実施例で詳しく説明されていない技術詳細は、上記実施例を参照することができ、本実施例は上記実施例と同じ有益効果を有する。
【0149】
本開示の実施例は、コンピュータプログラムが記憶され、このプログラムがプロセッサにより実行される時に上記実施例に係るインタラクティブ情報処理方法を実現するコンピュータ記憶媒体を提供する。
【0150】
なお、本開示に記載のコンピュータ可読媒体は、コンピュータ可読信号媒体であってもよいし、コンピュータ可読記憶媒体であってもよいし、上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、又は、半導体のシステム、装置、又はデバイス、あるいは、以上の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例は、１つ又は複数のリード線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は、上記の任意の適当な組み合わせを含んでもよいが、これらに限定されない。本開示において、コンピュータ可読記憶媒体は、命令実行システム、装置又はデバイスに使用され得る、又は、それと合わせて使用され得るプログラムを含有又は記憶する有形的な媒体であってもよい。本開示において、コンピュータ可読信号媒体は、ベースバンドで又は搬送波の一部として伝搬されるデータ信号を含んでもよく、その中にコンピュータ可読プログラムコードが担持されている。このような伝搬されるデータ信号は、様々な形式を採用することができ、電磁信号、光信号、又は、上記の任意の適当な組み合わせを含んでもよいが、これらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、このコンピュータ可読信号媒体は、命令実行システム、装置、又はデバイスに使用される、又は、それと合わせて使用されるプログラムを送信、伝搬、又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、任意の適当な媒体で伝送でき、電線、光ケーブル、ＲＦ（無線周波数）など、又は、上記の任意の適当な組み合わせを含んでもよいが、これらに限定されない。
【0151】
いくつかの実施形態において、クライアント、サーバは、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ハイパーテキストトランスファープロトコル）のような、任意の現在知られている又は将来研究開発されるネットワークプロトコルを利用して通信することができ、且つ、任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続できる。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、ネットワークオフネットワーク（例えば、インターネット）、及びピアツーピアネットワーク（例えば、ａｄ ｈｏｃピアツーピアネットワーク）、及び任意の現在知られている又は将来研究開発されるネットワークを含む。
【0152】
上記コンピュータ可読媒体は、上記電子機器に含まれるものであってもよいし、単独で存在してこの電子機器に取り付けられていないものであってもよい。
【0153】
上記コンピュータ可読媒体に１つ又は複数のプログラムが担持され、上記１つ又は複数のプログラムがこの電子機器により実行されると、この電子機器は、
マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立し、
前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出する。
マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立し、
前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出する。
【0154】
１種又は複数種のプログラミング言語又はその組み合わせで本開示の操作を実行するためのコンピュータプログラムコードを記述することができ、上記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋のようなオブジェクト指向プログラミング言語を含み、「Ｃ」言語のような通常の手続型プログラミング言語又は類似するプログラミング言語をさらに含むが、これらに限定されない。プログラムコードは、完全にユーザーのコンピュータで実行されてもよいし、部分的にユーザーのコンピュータで実行されてもよいし、１つの独立したソフトウェアパッケージとして実行されてもよいし、部分的にユーザーのコンピュータで部分的にリモートコンピュータで実行されてもよいし、完全にリモートコンピュータ又はサーバで実行されてもよい。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザーのコンピュータに接続することができ、又は、外部コンピュータに（例えば、インターネットサービスプロバイダを利用してインターネットを介して）接続することができる。
【0155】
図面におけるフローチャート及びブロック図は、本開示の様々な実施例によるシステム、方法、及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能及び操作を図示している。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムブロック、又はコードの一部を表すことができ、このモジュール、プログラムブロック、又はコードの一部は、所定のロジック機能を実現するための１つ又は複数の実行可能命令を含む。なお、代替としてのいくつかの実現において、ブロックに記載された機能は、図面に記載された順序と異なる順序で発生してもよい。例えば、接続されるように示された２つのブロックは、関する機能によって、実際には、ほぼ並行して実行してもよいし、逆の順序で実行してもよい。なお、ブロック図及び／又はフローチャートにおける各ブロック、及び、ブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行する専用のハードウェアに基づくシステムで実現してもよいし、専用のハードウェアとコンピュータ命令との組み合わせで実現してもよい。
【0156】
本開示に記載の実施例に係るユニットは、ソフトウェアの方式で実現されてもよいし、ハードウェアの方式で実現されてもよい。ここで、ユニット・モジュールの名称は、ある場合に、このユニット自体を限定するものではなく、例えば、対応関係確立モジュールは、「タイムスタンプ同期関連関係確立モジュール」と記述されてもよい。
【0157】
以上、本文に記載の機能は、少なくとも部分的に１つ又は複数のハードウェアロジックコンポーネントにより実行されてもよい。例えば、非限定的に、使用可能な例示的なタイプのハードウェアロジックコンポーネントは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準パーツ（ＡＳＳＰ）、システムオンチップのシステム（ＳＯＣ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）などを含む。
【0158】
本開示の明細書において、機器可読媒体は、命令実行システム、装置、又はデバイスに使用される、又は、命令実行システム、装置、又はデバイスと合わせて使用されるプログラムを含有又は記憶できる有形的な媒体であってもよい。機器可読媒体は、機器可読信号媒体又は機器可読記憶媒体であってもよい。機器可読媒体は、電子、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、又は、上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。機器可読記憶媒体のより具体的な例は、１つ又は複数の線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記内容の任意の適当な組み合わせを含む。
【0159】
本開示の１つ又は複数の実施例により、［例１］は、
マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立することと、
前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出することと、を含む、インタラクティブ情報処理方法を提供する。
マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立することと、
前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出することと、を含む、インタラクティブ情報処理方法を提供する。
【0160】
本開示の１つ又は複数の実施例により、［例２］は、
例えば、マルチメディアデータストリームのオーディオビデオフレームを取得し、前記オーディオビデオフレームに対応する発言ユーザーのユーザー身分標識を確定することと、
前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、マルチメディアデータストリームのオーディオビデオフレームを取得し、前記オーディオビデオフレームに対応する発言ユーザーのユーザー身分標識を確定することと、
前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0161】
本開示の１つ又は複数の実施例により、［例３］は、
例えば、前記マルチメディアデータストリームのオーディオビデオフレームを取得し、前記オーディオビデオフレームに対応する発言ユーザーのユーザー身分標識を確定することは、
オーディオフレームに対して声紋識別を行うことにより、発言ユーザーのユーザー身分標識を確定すること、及び／又は、
前記オーディオフレームが属するクライアントのクライアント標識を確定し、前記クライアント標識に基づいて発言ユーザーのユーザー身分標識を確定することを含む、ことをさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記マルチメディアデータストリームのオーディオビデオフレームを取得し、前記オーディオビデオフレームに対応する発言ユーザーのユーザー身分標識を確定することは、
オーディオフレームに対して声紋識別を行うことにより、発言ユーザーのユーザー身分標識を確定すること、及び／又は、
前記オーディオフレームが属するクライアントのクライアント標識を確定し、前記クライアント標識に基づいて発言ユーザーのユーザー身分標識を確定することを含む、ことをさらに含む、インタラクティブ情報処理方法を提供する。
【0162】
本開示の１つ又は複数の実施例により、［例４］は、
例えば、前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することは、
オーディオフレームに対して音声文字変換処理を行うことにより、オーディオフレームに対応する文字記述を得て、前記文字記述及び前記ユーザー身分標識に基づいて展示テキスト中の第１展示テキストを生成することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することは、
オーディオフレームに対して音声文字変換処理を行うことにより、オーディオフレームに対応する文字記述を得て、前記文字記述及び前記ユーザー身分標識に基づいて展示テキスト中の第１展示テキストを生成することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0163】
本開示の１つ又は複数の実施例により、［例５］は、
例えば、前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することは、
ビデオフレームに対して文字認識を行うことにより、前記ビデオフレームにおける文字を得て、前記文字及び前記ユーザー身分標識に基づいて展示テキスト中の第２展示テキストを生成することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することは、
ビデオフレームに対して文字認識を行うことにより、前記ビデオフレームにおける文字を得て、前記文字及び前記ユーザー身分標識に基づいて展示テキスト中の第２展示テキストを生成することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0164】
本開示の１つ又は複数の実施例により、［例６］は、
例えば、前記オーディオフレームに対して音声文字変換処理を行うことにより、オーディオフレームに対応する文字記述を得て、前記文字記述及び前記ユーザー身分標識に基づいて展示テキスト中の第１展示テキストを生成することは、
オーディオフレームに対応する文字記述、オーディオフレームが現在対応するタイムスタンプ、及び前記オーディオフレームが属する発言ユーザーのユーザー身分標識を確定することと、
前記ユーザー身分標識、タイムスタンプ、及び前記文字記述に基づいて前記展示テキスト中の１つの展示コンテンツを生成することと、を含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記オーディオフレームに対して音声文字変換処理を行うことにより、オーディオフレームに対応する文字記述を得て、前記文字記述及び前記ユーザー身分標識に基づいて展示テキスト中の第１展示テキストを生成することは、
オーディオフレームに対応する文字記述、オーディオフレームが現在対応するタイムスタンプ、及び前記オーディオフレームが属する発言ユーザーのユーザー身分標識を確定することと、
前記ユーザー身分標識、タイムスタンプ、及び前記文字記述に基づいて前記展示テキスト中の１つの展示コンテンツを生成することと、を含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0165】
本開示の１つ又は複数の実施例により、［例７］は、
例えば、各展示コンテンツのパッケージに少なくとも１つの段落が含まれ、前記オーディオフレームに対して音声文字変換処理を行うことにより、オーディオフレームに対応する文字記述を得て、前記文字記述及び前記ユーザー身分標識に基づいて展示テキスト中の第１展示テキストを生成することは、
オーディオフレームに基づいて音声文字変換処理を行う過程において、隣り合うオーディオフレーム間の間隔時間長が予め設定された間隔時間長閾値以上であり、且つ、次のオーディオフレームが属するユーザー身分標識が変化しないと検出した場合、前記次のオーディオフレームに基づいて前記展示コンテンツ中の次の段落を生成することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、各展示コンテンツのパッケージに少なくとも１つの段落が含まれ、前記オーディオフレームに対して音声文字変換処理を行うことにより、オーディオフレームに対応する文字記述を得て、前記文字記述及び前記ユーザー身分標識に基づいて展示テキスト中の第１展示テキストを生成することは、
オーディオフレームに基づいて音声文字変換処理を行う過程において、隣り合うオーディオフレーム間の間隔時間長が予め設定された間隔時間長閾値以上であり、且つ、次のオーディオフレームが属するユーザー身分標識が変化しないと検出した場合、前記次のオーディオフレームに基づいて前記展示コンテンツ中の次の段落を生成することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0166】
本開示の１つ又は複数の実施例により、［例８］は、
例えば、前記ビデオフレームに対して文字認識を行うことにより、展示テキスト中の第２展示テキストを得ることは、
前記ビデオフレームに少なくとも１つのＵＲＬアドレスが含まれると、前記少なくとも１つのＵＲＬアドレスに基づいて、第２展示テキスト中の第１展示コンテンツを生成することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記ビデオフレームに対して文字認識を行うことにより、展示テキスト中の第２展示テキストを得ることは、
前記ビデオフレームに少なくとも１つのＵＲＬアドレスが含まれると、前記少なくとも１つのＵＲＬアドレスに基づいて、第２展示テキスト中の第１展示コンテンツを生成することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0167】
本開示の１つ又は複数の実施例により、［例９］は、
例えば、前記ビデオフレームに対して文字認識を行うことにより、展示テキスト中の第２展示テキストを得ることは、前記ビデオフレームに文字が含まれると、前記文字に基づいて、第２展示テキスト中の第２展示コンテンツを確定することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記ビデオフレームに対して文字認識を行うことにより、展示テキスト中の第２展示テキストを得ることは、前記ビデオフレームに文字が含まれると、前記文字に基づいて、第２展示テキスト中の第２展示コンテンツを確定することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0168】
本開示の１つ又は複数の実施例により、［例１０］は、
例えば、前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することは、
前記オーディオビデオフレームに基づいて、前記展示テキスト中の第３展示テキストを確定し、前記第３展示テキスト中のターゲットコンテンツをトリガしたと検出した時に、第１展示テキストから前記ターゲットコンテンツに対応するコンテンツを確定して、区別して表示し、前記第３展示テキストに少なくとも１つのキーワード及び／又はキーセンテンスが含まれることを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することは、
前記オーディオビデオフレームに基づいて、前記展示テキスト中の第３展示テキストを確定し、前記第３展示テキスト中のターゲットコンテンツをトリガしたと検出した時に、第１展示テキストから前記ターゲットコンテンツに対応するコンテンツを確定して、区別して表示し、前記第３展示テキストに少なくとも１つのキーワード及び／又はキーセンテンスが含まれることを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0169】
本開示の１つ又は複数の実施例により、［例１１］は、
例えば、前記展示テキスト及び録画ビデオをターゲットページに展示することは、前記展示テキスト中の第１展示テキスト、第２展示テキスト、第３展示テキスト、及び録画ビデオをそれぞれ前記ターゲットページにおける予め設定された展示エリア内に展示することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記展示テキスト及び録画ビデオをターゲットページに展示することは、前記展示テキスト中の第１展示テキスト、第２展示テキスト、第３展示テキスト、及び録画ビデオをそれぞれ前記ターゲットページにおける予め設定された展示エリア内に展示することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0170】
本開示の１つ又は複数の実施例により、［例１２］は、
例えば、各展示テキスト中の展示コンテンツに基づいて、各展示テキストの表示ページでのエリア占有率を確定すること、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、各展示テキスト中の展示コンテンツに基づいて、各展示テキストの表示ページでのエリア占有率を確定すること、をさらに含む、インタラクティブ情報処理方法を提供する。
【0171】
本開示の１つ又は複数の実施例により、［例１３］は、
例えば、前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することは、
前記オーディオ情報に対応するオリジナル言語タイプを取得することと、
前記ユーザー身分標識、前記オーディオビデオフレーム、及び前記オーディオビデオフレームに対応するオリジナル言語タイプに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することと、を含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することは、
前記オーディオ情報に対応するオリジナル言語タイプを取得することと、
前記ユーザー身分標識、前記オーディオビデオフレーム、及び前記オーディオビデオフレームに対応するオリジナル言語タイプに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することと、を含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0172】
本開示の１つ又は複数の実施例により、［例１４］は、
例えば、前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することは、
ターゲット言語タイプを確定し、前記オーディオビデオフレームをオーディオビデオフレームに対応するオリジナル言語タイプから前記ターゲット言語タイプに対応する文字記述に変換することと、
前記文字記述及びユーザー身分標識に基づいて、前記展示テキストを生成することと、を含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記ユーザー身分標識及び前記オーディオビデオフレームに基づいて、前記マルチメディアデータストリームに対応する展示テキストを生成することは、
ターゲット言語タイプを確定し、前記オーディオビデオフレームをオーディオビデオフレームに対応するオリジナル言語タイプから前記ターゲット言語タイプに対応する文字記述に変換することと、
前記文字記述及びユーザー身分標識に基づいて、前記展示テキストを生成することと、を含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0173】
本開示の１つ又は複数の実施例により、［例１５］は、
例えば、前記ターゲット言語タイプを確定することは、
現在クライアントに使用される履歴言語タイプを取得し、前記履歴言語タイプに基づいてターゲット言語タイプを確定することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記ターゲット言語タイプを確定することは、
現在クライアントに使用される履歴言語タイプを取得し、前記履歴言語タイプに基づいてターゲット言語タイプを確定することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0174】
本開示の１つ又は複数の実施例により、［例１６］は、
例えば、前記履歴言語タイプに基づいてターゲット言語タイプを確定することは、
各履歴言語タイプの使用頻度に基づいて、履歴言語タイプからターゲット言語タイプを確定する方式と、
現在クライアントに設けられた言語タイプをターゲット言語タイプとする方式と、
現在クライアントのログインアドレスに基づいて、ターゲット言語タイプを確定する方式と、のうちの少なくとも１つの方式を含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記履歴言語タイプに基づいてターゲット言語タイプを確定することは、
各履歴言語タイプの使用頻度に基づいて、履歴言語タイプからターゲット言語タイプを確定する方式と、
現在クライアントに設けられた言語タイプをターゲット言語タイプとする方式と、
現在クライアントのログインアドレスに基づいて、ターゲット言語タイプを確定する方式と、のうちの少なくとも１つの方式を含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0175】
本開示の１つ又は複数の実施例により、［例１７］は、
例えば、前記位置対応関係はタイムスタンプ同期関連関係を含み、前記マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立することは、
前記展示テキスト中のタイムスタンプ及び前記マルチメディアデータストリームのタイムスタンプに基づいて、前記展示テキストと前記マルチメディアデータストリームとの間のタイムスタンプ同期関連関係を確立することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記位置対応関係はタイムスタンプ同期関連関係を含み、前記マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立することは、
前記展示テキスト中のタイムスタンプ及び前記マルチメディアデータストリームのタイムスタンプに基づいて、前記展示テキストと前記マルチメディアデータストリームとの間のタイムスタンプ同期関連関係を確立することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0176】
本開示の１つ又は複数の実施例により、［例１８］は、
例えば、前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出することは、
前記位置対応関係に基づいて、前記展示テキストにマルチメディアデータストリームに対応する展示コンテンツを区別して表示することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出することは、
前記位置対応関係に基づいて、前記展示テキストにマルチメディアデータストリームに対応する展示コンテンツを区別して表示することを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0177】
本開示の１つ又は複数の実施例により、［例１９］は、
例えば、前記マルチメディアデータストリーム及び前記展示テキストがターゲットページに表示され、前記ターゲットページに制御コントロールがさらに含まれ、前記方法は、
前記制御コントロールに基づいて、前記録画ビデオ及び前記展示テキストに現在展示されるコンテンツを同時に調整し、
前記制御コントロールに対応する調整精度が前記録画ビデオにおいて録画ビデオの進行を調整する調整コントロールの調整精度より大きくすること、をさらに含むインタラクティブ情報処理方法を提供する。
例えば、前記マルチメディアデータストリーム及び前記展示テキストがターゲットページに表示され、前記ターゲットページに制御コントロールがさらに含まれ、前記方法は、
前記制御コントロールに基づいて、前記録画ビデオ及び前記展示テキストに現在展示されるコンテンツを同時に調整し、
前記制御コントロールに対応する調整精度が前記録画ビデオにおいて録画ビデオの進行を調整する調整コントロールの調整精度より大きくすること、をさらに含むインタラクティブ情報処理方法を提供する。
【0178】
本開示の１つ又は複数の実施例により、［例２０］は、
例えば、前記ターゲットページにおける制御コントロールをトリガしたと検出した場合、前記制御コントロールにおいて対応する再生タイムスタンプを取得し、前記再生タイムスタンプに基づいて前記マルチメディアデータストリームを前記再生タイムスタンプに対応する再生位置にジャンプするように調整することと、前記展示テキストに前記再生タイムスタンプに対応するビデオフレームの展示テキストコンテンツを区別して表示すること、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記ターゲットページにおける制御コントロールをトリガしたと検出した場合、前記制御コントロールにおいて対応する再生タイムスタンプを取得し、前記再生タイムスタンプに基づいて前記マルチメディアデータストリームを前記再生タイムスタンプに対応する再生位置にジャンプするように調整することと、前記展示テキストに前記再生タイムスタンプに対応するビデオフレームの展示テキストコンテンツを区別して表示すること、をさらに含む、インタラクティブ情報処理方法を提供する。
【0179】
本開示の１つ又は複数の実施例により、［例２１］は、
例えば、ターゲットページにおける前記展示テキスト中の展示コンテンツをトリガしたと検出した場合、前記展示コンテンツに対応するタイムスタンプに基づいて、前記録画ビデオを前記タイムスタンプに対応するビデオフレームにジャンプするように調節すること、及び／又は、
前記録画ビデオに対するトリガ操作を検出した場合、前記トリガ操作に対応する録画ビデオの再生タイムスタンプを取得し、前記再生タイムスタンプに基づいて前記展示テキスト中の前記再生タイムスタンプに対応する展示コンテンツにジャンプすること、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、ターゲットページにおける前記展示テキスト中の展示コンテンツをトリガしたと検出した場合、前記展示コンテンツに対応するタイムスタンプに基づいて、前記録画ビデオを前記タイムスタンプに対応するビデオフレームにジャンプするように調節すること、及び／又は、
前記録画ビデオに対するトリガ操作を検出した場合、前記トリガ操作に対応する録画ビデオの再生タイムスタンプを取得し、前記再生タイムスタンプに基づいて前記展示テキスト中の前記再生タイムスタンプに対応する展示コンテンツにジャンプすること、をさらに含む、インタラクティブ情報処理方法を提供する。
【0180】
本開示の１つ又は複数の実施例により、［例２２］は、
例えば、ターゲットページにおける編集コントロールに対するトリガ操作を検出した場合、権限編集リストを表示し、前記権限編集リストに基づいて各インタラクティブユーザーのユーザー権限を確定し、前記ユーザー権限は、ユーザーの前記ターゲットページに呈出されるコンテンツに対するアクセス権限を表すために用いられること、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、ターゲットページにおける編集コントロールに対するトリガ操作を検出した場合、権限編集リストを表示し、前記権限編集リストに基づいて各インタラクティブユーザーのユーザー権限を確定し、前記ユーザー権限は、ユーザーの前記ターゲットページに呈出されるコンテンツに対するアクセス権限を表すために用いられること、をさらに含む、インタラクティブ情報処理方法を提供する。
【0181】
本開示の１つ又は複数の実施例により、［例２３］は、
例えば、ターゲットページにおける共有コントロールをトリガしたと検出した場合、ターゲットページに対応するターゲット標識を生成し、前記ターゲット標識を共有対象となるユーザーへ送信し、前記共有対象となるユーザーに前記ターゲット標識に基づいて前記ターゲットページを取得させる、ことをさらに含むインタラクティブ情報処理方法を提供する。
例えば、ターゲットページにおける共有コントロールをトリガしたと検出した場合、ターゲットページに対応するターゲット標識を生成し、前記ターゲット標識を共有対象となるユーザーへ送信し、前記共有対象となるユーザーに前記ターゲット標識に基づいて前記ターゲットページを取得させる、ことをさらに含むインタラクティブ情報処理方法を提供する。
【0182】
本開示の１つ又は複数の実施例により、［例２４］は、
例えば、検索コンテンツ編集コントロールに編集された検索コンテンツを取得し、前記展示テキストから前記検索コンテンツに対応するターゲットコンテンツを取得し、各ターゲットコンテンツが前記検索コンテンツと同様であることと、
前記展示テキストに前記ターゲットコンテンツを区別して表示し、前記マルチメディアデータストリームに対応する制御コントロールに前記ターゲットコンテンツに対応するオーディオビデオフレームをマークすることと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、検索コンテンツ編集コントロールに編集された検索コンテンツを取得し、前記展示テキストから前記検索コンテンツに対応するターゲットコンテンツを取得し、各ターゲットコンテンツが前記検索コンテンツと同様であることと、
前記展示テキストに前記ターゲットコンテンツを区別して表示し、前記マルチメディアデータストリームに対応する制御コントロールに前記ターゲットコンテンツに対応するオーディオビデオフレームをマークすることと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0183】
本開示の１つ又は複数の実施例により、［例２５］は、
例えば、前記マルチメディアデータストリームに対応する制御コントロールに前記ターゲットコンテンツに対応するオーディオビデオフレームをマークすることは、
前記ターゲットコンテンツに対応する再生タイムスタンプを確定し、前記再生タイムスタンプに基づいて前記マルチメディアデータストリームに対応する制御コントロールに前記ターゲットコンテンツに対応するオーディオビデオフレームをマークすることを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、前記マルチメディアデータストリームに対応する制御コントロールに前記ターゲットコンテンツに対応するオーディオビデオフレームをマークすることは、
前記ターゲットコンテンツに対応する再生タイムスタンプを確定し、前記再生タイムスタンプに基づいて前記マルチメディアデータストリームに対応する制御コントロールに前記ターゲットコンテンツに対応するオーディオビデオフレームをマークすることを含むこと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0184】
本開示の１つ又は複数の実施例により、［例２６］は、
例えば、ターゲットコンテンツをトリガしたと検出した場合、前記ターゲットコンテンツのターゲット再生タイムスタンプを確定することと、
前記ターゲット再生タイムスタンプに対応するマークを前記制御コントロールに区別して表示することと、をさらに含む、インタラクティブ情報処理方法を提供する。
例えば、ターゲットコンテンツをトリガしたと検出した場合、前記ターゲットコンテンツのターゲット再生タイムスタンプを確定することと、
前記ターゲット再生タイムスタンプに対応するマークを前記制御コントロールに区別して表示することと、をさらに含む、インタラクティブ情報処理方法を提供する。
【0185】
本開示の１つ又は複数の実施例により、［例２７］は、
マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立するために用いられる対応関係確立モジュールと、
前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出するために用いられるコンテンツ呈出モジュールと、を含む、インタラクティブ情報処理装置を提供する。
マルチメディアデータストリームに基づいて生成される展示テキストと前記マルチメディアデータストリームとの間の位置対応関係を確立するために用いられる対応関係確立モジュールと、
前記位置対応関係に基づいて、前記展示テキスト及び前記展示テキストに対応するマルチメディアデータストリームを呈出するために用いられるコンテンツ呈出モジュールと、を含む、インタラクティブ情報処理装置を提供する。
【0186】
なお、特定の順番で各操作を記述したが、これらの操作を示された特定の順番又は正方向順番で実行する必要があると理解されるべきではない。一定の環境において、マルチタスク及び並行処理が有利である可能性がある。同様に、以上の検討には複数の具体的な実現詳細が含まれているが、これらは、本開示の範囲を限定するものと理解されるべきではない。単独の実施例のコンテキストに記述された一部の特徴は、組み合わせて単一の実施例で実現されてもよい。逆に、単一の実施例のコンテキストに記述された様々な特徴は、単独で、又は、任意の適当なサブ組み合わせの方式で複数の実施例で実現されてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【国際調査報告】