(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-15
(45)【発行日】2024-10-23
(54)【発明の名称】議事録のインタラクション方法、装置、機器及び媒体
(51)【国際特許分類】
H04N 21/235 20110101AFI20241016BHJP
G06F 3/0481 20220101ALI20241016BHJP
G06F 3/16 20060101ALI20241016BHJP
G06F 3/0484 20220101ALI20241016BHJP
G06F 3/0485 20220101ALI20241016BHJP
G06F 3/14 20060101ALI20241016BHJP
H04N 21/231 20110101ALI20241016BHJP
G10L 15/00 20130101ALI20241016BHJP
G10L 15/22 20060101ALI20241016BHJP
【FI】
H04N21/235
G06F3/0481
G06F3/16 650
G06F3/16 620
G06F3/0484
G06F3/0485
G06F3/14 350B
H04N21/231
G10L15/00 200U
G10L15/22 460Z
(21)【出願番号】P 2023511564
(86)(22)【出願日】2021-11-15
(86)【国際出願番号】 CN2021130620
(87)【国際公開番号】W WO2022105710
(87)【国際公開日】2022-05-27
【審査請求日】2023-02-14
(31)【優先権主張番号】202011296610.2
(32)【優先日】2020-11-18
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】521431088
【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司
【氏名又は名称原語表記】Beijing Zitiao Network Technology Co., Ltd.
【住所又は居所原語表記】0207, 2/F, Building 4, Zijin Digital Park, Haidian District, Beijing,P. R. China
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】チェン,クゥーロン
(72)【発明者】
【氏名】ヤン,ジンシォン
(72)【発明者】
【氏名】ヂォン,シャン
(72)【発明者】
【氏名】ドゥ,チュンサイ
(72)【発明者】
【氏名】ゴン,シンユン
【審査官】大西 宏
(56)【参考文献】
【文献】特開2006-268800(JP,A)
【文献】特開2011-209731(JP,A)
【文献】特開2015-061194(JP,A)
【文献】特開2016-062196(JP,A)
【文献】特開2018-063699(JP,A)
【文献】特開2019-061594(JP,A)
【文献】米国特許出願公開第2016/0124593(US,A1)
【文献】国際公開第2014/073092(WO,A1)
【文献】国際公開第2005/027092(WO,A1)
【文献】中国特許出願公開第107451110(CN,A)
【文献】中国特許出願公開第110365933(CN,A)
【文献】中国特許出願公開第111258521(CN,A)
【文献】中国特許出願公開第111541859(CN,A)
【文献】鈴木 泰山,音声認識技術の活用による国会審議映像検索システムの実現,情報処理学会 研究報告 音声言語情報処理(SLP) 2014-SLP-103 [online],日本,情報処理学会,2014年10月24日,pp.1-4
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/15
H04N 21/00 -21/858
G06F 3/048- 3/04895
G06F 3/16
G06F 3/14 - 3/153
G10L 15/00 -17/26
(57)【特許請求の範囲】
【請求項1】
議事録のインタラクション方法であって、
ユーザーによる議事録表示インターフェースにおける議事録に対するインタラクショントリガー操作を受け付けるステップであって、前記議事録表示インターフェースには、会議オーディオ・ビデオ、前記会議オーディオ・ビデオの会議字幕及び前記議事録が表示されるステップと、
前記議事録の関連時間帯に基づいて、前記会議オーディオ・ビデオを再生し、前記会議字幕にお
いて前記議事録
に関連する関連字幕を強調表示するステップであって、前記議事録の関連時間帯は、前記議事録の関連字幕に対応する会議音声の、前記会議オーディオ・ビデオにおける時間帯を表すために用いられるステップと、を含むことを特徴とする、方法。
【請求項2】
前記会議オーディオ・ビデオを音声認識して、前記会議オーディオ・ビデオの会議字幕を決定するステップと、
所定の議事録生成規則に基づいて前記会議字幕に対してテキスト処理を行って、議事録を生成するステップと、をさらに含むことを特徴とする、請求項1に記載の方法。
【請求項3】
議事録と、前記会議字幕
上の関連字幕と、前記関連字幕の前記会議オーディオ・ビデオにおける関連時間帯との間の対応関係を確立するステップであって、前記議事録は前記関連字幕に基づいて生成され、前記関連時間帯は、前記関連字幕に対応する音声情報の、前記会議オーディオ・ビデオにおける時間帯を表すために用いられるステップをさらに含むことを特徴とする、請求項1に記載の方法。
【請求項4】
前記対応関係に基づいて、前記議事録の関連時間帯及び前記議事録の関連字幕を決定するステップをさらに含むことを特徴とする、請求項3に記載の方法。
【請求項5】
前記議事録の関連時間帯に基づいて、前記会議オーディオ・ビデオを再生し、前記会議字幕
において前記議事録
に関連する関連字幕を強調表示するステップは、
前記議事録の関連時間帯における開始時間で前記会議オーディオ・ビデオを再生し、終了時間で前記会議オーディオ・ビデオの再生を停止させるステップと、
前記会議字幕を前記議事録の関連字幕の位置にスキップさせ、前記議事録の関連字幕を設定方式で強調表示するステップと、を含むことを特徴とする、請求項1に記載の方法。
【請求項6】
前記設定方式は、ハイライト、太字及び下線追加のうちの少なくとも1つを含むことを特徴とする、請求項5に記載の方法。
【請求項7】
前記議事録表示インターフェースにおいて前記議事録を関連付け、対応する関連付け時点を表示するステップをさらに含むことを特徴とする、請求項1に記載の方法。
【請求項8】
前記関連付け時点は、前記議事録の関連時間帯における開始時間であることを特徴とする、請求項7に記載の方法。
【請求項9】
ユーザーによる第1の削除トリガー操作を受け付けて、第1の削除対象となる議事録及び前記第1の削除対象となる議事録の関連付け時点を削除するステップをさらに含むことを特徴とする、請求項7に記載の方法。
【請求項10】
ユーザーによる第2の削除トリガー操作を受け付けて、第2の削除対象となる議事録を削除し、前記第2の削除対象となる議事録の関連付け時点に基づいて、新たな議事録を追加するステップをさらに含むことを特徴とする、請求項7に記載の方法。
【請求項11】
ユーザーによる修正対象となる議事録に対する修正トリガー操作を受け付けるステップと、
前記修正対象となる議事録及び/又は前記修正対象となる議事録の関連付け時点を修正するステップと、をさらに含むことを特徴とする、請求項8に記載の方法。
【請求項12】
ユーザーによる前記会議字幕
上のターゲット字幕に対する議事録追加トリガー操作を受け付けるステップと、
議事録追加インターフェースを表示するステップであって、前記議事録追加インターフェースには少なくとも1つの議事録追加コンポーネントが含まれ、1つの議事録追加コンポーネントは、1つのタイプの議事録に対応するステップと、
ユーザーによる前記議事録追加コンポーネントに対するトリガー操作を受け付けて、前記ターゲット字幕を前記議事録追加コンポーネントに対応するタイプのターゲット議事録として追加するステップと、をさらに含むことを特徴とする、請求項1に記載の方法。
【請求項13】
前記ターゲット字幕の関連時間帯の開始時間を、前記ターゲット議事録のターゲット関連付け時点とし、前記ターゲット関連付け時点と前記ターゲット議事録とを関連付けて表示するステップをさらに含むことを特徴とする、請求項12に記載の方法。
【請求項14】
権限ユーザーによる議事録表示操作を受け付けるステップであって、前記権限ユーザーは、編集権限を有するユーザーであるステップと、
前記権限ユーザーの履歴議事録表示データに基づいて、対応する前記会議オーディオ・ビデオに関する投稿対象となる議事録セットを表示するステップと、をさらに含むことを特徴とする、請求項1に記載の方法。
【請求項15】
1つの前記権限ユーザーは、1つの前記投稿対象となる議事録セットに対応し、前記投稿対象となる議事録セットには、少なくとも1つの投稿対象となる議事録が含まれることを特徴とする、請求項14に記載の方法。
【請求項16】
ターゲット権限ユーザーによるターゲット投稿対象となる議事録に対する投稿トリガー操作を受け付けるステップと、
他の権限ユーザー及び非権限ユーザーが投稿後の議事録を閲覧するように、前記ターゲット投稿対象となる議事録を投稿するステップであって、前記非権限ユーザーは、編集権限を有しないユーザーであるステップと、をさらに含むことを特徴とする、請求項14に記載の方法。
【請求項17】
ユーザーによる検索キーワードに対する検索トリガー操作を受け付けるステップと、
前記会議字幕及び前記議事録における、前記検索キーワードに基づいて検索してヒットしたターゲットキーワードを強調表示するステップと、をさらに含むことを特徴とする、請求項1に記載の方法。
【請求項18】
前記会議オーディオ・ビデオの再生時間軸での、前記ターゲットキーワードが所在する時間点に対応する位置に、検索ヒット提示識別子を表示するステップ、をさらに含むことを特徴とする、請求項17に記載の方法。
【請求項19】
ユーザーによる前記会議字幕及び/又は前記議事録に対する翻訳トリガー操作を受け付けるステップと、
前記会議字幕及び前記議事録を初期言語からターゲット言語に翻訳するステップと、をさらに含むことを特徴とする、請求項1に記載の方法。
【請求項20】
前記議事録及び前記会議オーディオ・ビデオにおける会議ビデオは、同一の表示窓に表示されることを特徴とする、請求項1に記載の方法。
【請求項21】
前記会議ビデオは、前記表示窓の上部領域に表示されることを特徴とする、請求項20に記載の方法。
【請求項22】
ユーザーによる前記表示窓に対するスクロール操作を受け付けて、前記表示窓における前記会議ビデオ及び前記議事録をスクロール表示するステップをさらに含むことを特徴とする、請求項20又は21に記載の方法。
【請求項23】
前記表示窓のスクロール中に、前記会議ビデオが前記議事録表示インターフェースの外にシフトされた場合、前記議事録表示インターフェースに前記会議ビデオのビデオ小窓を表示するステップをさらに含むことを特徴とする、請求項22に記載の方法。
【請求項24】
前記ビデオ小窓と前記表示窓は、互いに遮蔽していないことを特徴とする、請求項23に記載の方法。
【請求項25】
ユーザーによる前記ビデオ小窓における操作可能コントロールに対するトリガー操作を受け付けて、前記ビデオ小窓に対して前記操作可能コントロールに対応するターゲット操作を実行するステップをさらに含むことを特徴とする、請求項23に記載の方法。
【請求項26】
前記操作可能コントロールは、終了コントロール、一時停止コントロール及び閉じコントロールのうちの少なくとも1つを含み、前記操作可能コントロールに対応するターゲット操作は、終了・スキップ操作、再生一時停止操作及び閉じ操作のうちの少なくとも1つを含むことを特徴とする、請求項25に記載の方法。
【請求項27】
前記議事録は、議題、アジェンダ、議論、結論及び予定タスクのうちの少なくとも1つのタイプを含むことを特徴とする、請求項1に記載の方法。
【請求項28】
議事録の表示方法であって、
情報表示インターフェースに第1の領域及び第2の領域を表示するステップと、
前記第1の領域に議事録を表示し、前記第2の領域に会議字幕を表示するステップと、
ユーザーによる前記第2の領域に表示される会議字幕上のターゲット字幕に対するトリガー操作に応答して、議事録追加インターフェースを表示するステップであって、前記議事録追加インターフェースには少なくとも1つの議事録追加コンポーネントが含まれ、1つの議事録追加コンポーネントは、1つのタイプの議事録に対応するステップと、を含むことを特徴とする、方法。
【請求項29】
前記情報表示インターフェースは、前記第1の領域及び前記第2の領域とは異なる第3の領域をさらに含み、前記第3の領域は、前記会議字幕に対応する会議マルチメディアコンテンツを提示するために用いられることを特徴とする、請求項28に記載の方法。
【請求項30】
前記第1の領域に、議事録及び議事録の関連付け時点を関連付けて表示するステップをさらに含むことを特徴とする、請求項28に記載の方法。
【請求項31】
ユーザーによる前記第2の領域に表示される会議字幕
上のターゲット字幕に対するトリガー操作に応答して、操作可能ボタンが含まれる表示ボックスを表示するステップであって、前記表示ボックスには議事録ボタンが含まれるステップと、
ユーザーによる前記議事録ボタンに対するトリガー操作に応答して、前記議事録追加インターフェースを表示するステップと、をさらに含むことを特徴とする、請求項
28に記載の方法。
【請求項32】
ユーザーによる前記議事録追加コンポーネントに対するトリガー操作に応答して、前記ターゲット字幕を前記議事録追加コンポーネントに対応するタイプのターゲット議事録として追加して、前記第1の領域に前記ターゲット議事録を表示するステップをさらに含むことを特徴とする、請求項
28又は
31に記載の方法。
【請求項33】
前記ターゲット字幕の関連時間帯に基づいて前記ターゲット議事録のターゲット関連付け時点を決定し、前記第1の領域に前記ターゲット関連付け時点と前記ターゲット議事録とを関連付けて表示するステップをさらに含むことを特徴とする、請求項
32に記載の方法。
【請求項34】
前記会議
マルチメディアコンテンツは会議ビデオを含み、前記方法は、
前記会議ビデオがスクロール操作によって前記第1の領域の外にシフトされたことに応答して、議事録表示インターフェースにビデオ小窓を表示して、前記ビデオ小窓を介して会議ビデオを再生し続けるステップをさらに含むことを特徴とする、請求項29に記載の方法。
【請求項35】
議事録のインタラクション装置であって、
ユーザーによる議事録表示インターフェースにおける議事録に対するインタラクショントリガー操作を受け付ける議事録トリガーモジュールであって、前記議事録表示インターフェースには、会議オーディオ・ビデオ、前記会議オーディオ・ビデオの会議字幕及び前記議事録が表示される議事録トリガーモジュールと、
前記議事録の関連時間帯に基づいて、前記会議オーディオ・ビデオを再生し、前記会議字幕にお
いて前記議事録
に関連する関連字幕を強調表示する関連付けインタラクションモジュールと、を含むことを特徴とする、装置。
【請求項36】
議事録の表示装置であって、
情報表示インターフェースに第1の領域及び第2の領域を表示する第1の表示モジュールと、
前記第1の領域に議事録を表示し、前記第2の領域に会議字幕を表示する第2の表示モジュールと、を含
み、
前記第2の表示モジュールはさらに、ユーザーによる前記第2の領域に表示される会議字幕上のターゲット字幕に対するトリガー操作に応答して、議事録追加インターフェースを表示し、前記議事録追加インターフェースには少なくとも1つの議事録追加コンポーネントが含まれ、1つの議事録追加コンポーネントは、1つのタイプの議事録に対応することを特徴とする、装置。
【請求項37】
プロセッサーと、
前記プロセッサーが実行可能な指令を記憶するメモリと、
を含む電子機器であって、
前記プロセッサーは、前記メモリから前記実行可能な指令を読み取って、前記指令を実行することで、請求項1~27のいずれか一項に記載の議事録のインタラクション方法、又は請求項28~3
4の何れか一項に記載の議事録の表示方法を実現する、ことを特徴とする電子機器。
【請求項38】
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラムは、請求項1~27のいずれか一項に記載の議事録のインタラクション方法、又は請求項28~3
4のいずれか一項に記載の議事録の表示方法を実行するために用いられる、ことを特徴とする、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は2020年11月18日にて提出された、出願番号が202011296610.2であり、出願名称が「議事録のインタラクション方法、装置、機器及び媒体」である中国特許出願の優先権を主張して、その全ての内容は、援用により本出願に組み込まれる。
【0002】
本開示は、会議認識の技術分野に関し、特に、議事録のインタラクション方法、装置、機器及び媒体に関している。
【背景技術】
【0003】
インテリジェントデバイス及びマルチメディア技術の継続的な発展に伴い、インテリジェントデバイスによるオンライン会議は、コミュニケーション効率及び情報保留などの面での顕著な表現のため、日常生活及びオフィス生活にますます多く応用されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
いくつかの関連製品において、オンライン会議の会議過程を録画して、会議が終了した後、会議コンテンツを振り返るためのマルチメディアファイルを生成することができる。ところが、いくつかの会議期間が長いシーンでは、マルチメディアファイルを再生するように会議コンテンツを振り返ることは、より多くの時間を要する恐れがあり、それに応じて、会議の重要な情報の取得効率は低い。
【0005】
本開示は、上記の技術問題又は少なくともその一部を解决するために、議事録のインタラクション方法、装置、機器及び媒体を提供する。
【課題を解決するための手段】
【0006】
本開示の実施例は、議事録のインタラクション方法を提供し、前記方法は、
ユーザーによる議事録表示インターフェースにおける議事録に対するインタラクショントリガー操作を受け付けるステップであって、前記議事録表示インターフェースには、会議オーディオ・ビデオ、前記会議オーディオ・ビデオの会議字幕及び前記議事録が表示されるステップと、
前記議事録の関連時間帯に基づいて、前記会議オーディオ・ビデオを再生し、前記会議字幕における前記議事録の関連字幕を強調表示するステップと、を含む。
【0007】
本開示の実施例は、議事録のインタラクション装置をさらに提供し、前記装置は、
ユーザーによる議事録表示インターフェースにおける議事録に対するインタラクショントリガー操作を受け付ける議事録トリガーモジュールであって、前記議事録表示インターフェースには、会議オーディオ・ビデオ、前記会議オーディオ・ビデオの会議字幕及び前記議事録が表示される議事録トリガーモジュールと、
前記議事録の関連時間帯に基づいて、前記会議オーディオ・ビデオを再生し、前記会議字幕における前記議事録の関連字幕を強調表示する関連付けインタラクションモジュールと、を含む。
【0008】
本開示の実施例は、電子機器をさらに提供し、前記電子機器は、プロセッサーと、前記プロセッサーが実行可能な指令を記憶するためのメモリと、を含み、前記プロセッサーは、前記メモリから前記実行可能な指令を読み取って、前記指令を実行することで、本開示の実施例によって提供される議事録のインタラクション方法を実現する。
【0009】
本開示の実施例は、コンピュータ可読記憶媒体をさらに提供し、前記記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムは、本開示の実施例によって提供される議事録のインタラクション方法を実行するために使用される。
【発明の効果】
【0010】
本開示の実施例によって提供される技術案は、従来技術に比べると、以下の利点を有し、即ち、本開示の実施例によって提供される議事録のインタラクション解決策によれば、ユーザーによる議事録表示インターフェースにおける議事録に対するインタラクショントリガー操作を受け付け、議事録表示インターフェースには、会議オーディオ・ビデオ、会議オーディオ・ビデオの会議字幕及び議事録が表示され、議事録の関連時間帯に基づいて会議オーディオ・ビデオを再生し、会議字幕における議事録の関連字幕を強調表示する。上記の技術案を採用して、ユーザーは、議事録表示インターフェースにおいて、議事録に対するインタラクショントリガーによって、会議オーディオ・ビデオ及び会議字幕における関連コンテンツの関連付けインタラクションを実現することができ、ユーザーのインタラクションエクスペリエンス効果を向上させ、議事録、会議オーディオ・ビデオ及び会議字幕という三者の間の関連付けインタラクションによって、ユーザーは三者の間の関係を直観的に了解し、会議コンテンツをより正確に理解することができる。
【図面の簡単な説明】
【0011】
本開示の各実施例の上記及び他の特徴、利点、並びに態様は、添付の図面と併せて以下の具体的な実施形態を参照することによってより明らかになる。図面全体を通して、同一又は類似の符号は、同一又は類似の要素を示す。ここで、図面は、概略的なものであり、部品及び要素は必ずしも一定の縮尺で描かれているわけではない。
【0012】
【
図1】本開示の実施例による議事録のインタラクション方法の概略フローチャートである。
【
図2】本開示の実施例による議事録表示インターフェースの概略図である。
【
図3】本開示の実施例による別の議事録表示インターフェースの概略図である。
【
図4】本開示の実施例による別の議事録表示インターフェースの概略図である。
【
図5】本開示の実施例による議事録のインタラクション装置の構成概略図である。
【
図6】本開示の実施例による電子機器の構成概略図である。
【発明を実施するための形態】
【0013】
以下、図面を参照しながら本開示の実施例についてより詳しく説明する。本開示のいくつかの実施例は図面に示されているが、本開示は様々な形態で実現されることができ、本明細書に記載の実施例に制限されるものと解釈されるべきではなく、むしろ、これらの実施例は本開示をより深くかつ完全に理解するために提供されることを理解されたい。また、本開示の図面及び実施例は、例示的な目的のためにのみ使用され、本開示の保護範囲を制限することを意図するものではないことは理解されるべきである。
【0014】
ここで、本開示の方法の実施形態に記載される各ステップは、異なる順序に従って実行され、及び/又は並行して実行されることが理解されるべきである。また、方法の実施形態は、追加のステップを含み、及び/又は図示されるステップの実行を省略し得る。本開示の範囲はこの点に関して限定されない。
【0015】
本明細書で使用される「含む」という用語及びその変形は、自由形式の包含、即ち、「含むがこれらに限定されない」という意味である。「に基づく」という用語は、「少なくとも部分的に基づく」という意味である。「一実施例」という用語は、「少なくとも1つの実施例」を意味し、「別の実施例」という用語は、「少なくとも1つの別の実施形態」を意味し、「いくつかの実施例」という用語は、「少なくともいくつかの実施例」を意味する。他の用語の関連する定義は、以下で説明される。
【0016】
ここで、本開示で言及される「第1」、「第2」などの概念は、異なる装置、モジュール又はユニットを区別するためにのみ使用され、これらの装置、モジュール、又はユニットによって実行される機能の順序又は相互依存関係を限定することを意図するものでもない。
【0017】
ここで、本開示に言及される「1つ」、「複数」という修飾は限定的なものではなく、概略的なものであり、当業者であれば理解できるように、明細書において明らかに指摘されない限り、「1つ又は複数」として理解されるべきである。
【0018】
本開示の実施形態における複数の装置の間でやり取りされるメッセージ又は情報の名称は、これらのメッセージ又は情報の範囲を限定することを意図するものではなく、説明する目的のためだけである。
【0019】
図1は、本開示の実施例による議事録のインタラクション方法の概略フローチャートであり、当該方法は議事録のインタラクション装置によって実行され、当該装置は、ソフトウェア及び/又はハードウェアで実現されてもよく、一般的に、電子機器に集積されてもよい。
図1に示すように、当該方法は、以下のステップを含む。
ステップ101:ユーザーによる議事録表示インターフェースにおける議事録に対するインタラクショントリガー操作を受け付け、議事録表示インターフェースには会議オーディオ・ビデオ、会議オーディオ・ビデオの会議字幕及び議事録が表示される。
【0020】
議事録表示インターフェースは、事前生成された議事録を表示するインターフェースであり、議事録表示インターフェースには、会議オーディオ・ビデオ、会議オーディオ・ビデオの会議字幕及び議事録などの会議に関するコンテンツをそれぞれ表示するためのオーディオ・ビデオ領域、字幕領域及び議事録表示領域などの領域が設けられる。インタラクショントリガー操作とは、議事録をトリガーする操作であり、その具体的な方式を限定しなく、例えば、インタラクショントリガー操作は、議事録に対するクリック操作、及び/又はホバリング操作であってもよい。
【0021】
本開示の実施例における議事録は、会議オーディオ・ビデオを処理することで生成された会議の主なコンテンツであり、議事録のタイプは複数であってもよく、本開示の実施例において、議事録は、議題、アジェンダ、議論、結論及び予定タスクなどのうちの少なくとも1つのタイプを含み、各タイプは何れも複数の議事録を含んでもよく、その数は限定されていない。会議オーディオ・ビデオは、会議を記録するオーディオ及び/又はビデオであり、会議オーディオ・ビデオは、会議オーディオ及び/又は会議ビデオを含み、具体的に限定されていない。会議字幕は、会議オーディオ・ビデオに対して音声認識及び処理を行った後、得られたテキストコンテンツである。
【0022】
本開示の実施例において、議事録のインタラクション方法は、会議オーディオ・ビデオに対して音声認識を行って、会議オーディオ・ビデオの会議字幕を決定するステップと、会議字幕に対してテキスト処理を行って、議事録を生成するステップと、をさらに含んでもよい。会議が完了した後、会議過程を記録した会議オーディオ・ビデオを取得し、会議オーディオ・ビデオに対して音声認識(Automatic Speech Recognition、ASR)技術によって、会議オーディオ・ビデオの音声情報を認識し、音声情報をテキストコンテンツに変換することで、会議オーディオ・ビデオの会議字幕を取得することができる。本開示の実施例において、音声認識技術を具体的に限定していなく、例えば、ランダムモデル方法又は人工ニューラルネットワークの方法などを採用してもよい。その後、所定の議事録生成規則に基づいて会議字幕を処理して、議事録を生成することができる。議事録のタイプは複数であるため、議事録生成規則について、異なるタイプの議事録を生成することに対応するように、議事録のタイプに応じて複数の規則を設定してもよい。
【0023】
上記の議事録の生成は、クライアントやサーバーによって実行されてもよく、具体的に限定されていない。議事録を生成した後、クライアントは、議事録を取得し、議事録表示インターフェースに会議オーディオ・ビデオ、会議オーディオ・ビデオの会議字幕及び議事録を表示することができる。
【0024】
本開示の実施例において、ユーザーが議事録表示インターフェースにおけるコンテンツを閲覧している時、クライアントは、ユーザーによる議事録のうちの1つに対するインタラクショントリガー操作を受け付けることができる。
【0025】
例示的に、
図2は、本開示の実施例による議事録表示インターフェースの概略図であり、
図2に示すように、議事録表示インターフェース10における第1の領域11には議事録が表示され、第1の領域11の上部には会議ビデオが表示され、第2の領域12には会議字幕が表示され、議事録表示インターフェース10の最も下方には会議オーディオが表示され、具体的に、会議オーディオの時間軸を含んでもよい。
図2は、議題、アジェンダ、議論、結論及び予定タスクという5つのタイプの議事録を示し、議題には3つの議事録が含まれる。
図2の矢印は、1番目の議事録に対するインタラクショントリガー操作を示すことができる。
【0026】
図2の会議字幕は、会議に参加する異なるユーザーに基づいて、字幕スニペット
に分割することができ、図には、ユーザー1、ユーザー2及びユーザー3という3つのユーザーの字幕スニペットが示される。
図2において、議事録表示インターフェース10の上部には、会議タイトルである「チーム振り返り会議」及び会議の関連コンテンツがさらに表示され、図において、「2019.12.20午前10:00」は、会議の開始時間を示し、「1h30m30s」は、会議時間が1時間30分20秒であることを示し、「16」は、参加者数を示す。ここで、
図2の議事録表示インターフェース10は、一例にすぎず、含まれる各コンテンツの位置も例示であり、具体的な位置及び表示方式について、実際状況に応じて設定すればよい。
【0027】
ステップ102:議事録の関連時間帯に基づいて会議オーディオ・ビデオを再生し、会議字幕における議事録の関連字幕を強調表示する。
【0028】
議事録は、会議字幕を処理することで得られ、会議字幕は、会議オーディオ・ビデオにおける音声情報に対して音声認識を行うことで得られるので、議事録の関連字幕は、議事録に対応する字幕であり、議事録の関連時間帯は、関連字幕に対応するオリジナル会議音声の、会議オーディオ・ビデオにおける時間帯であり、当該関連時間帯は、開始時間及び終了時間を含む。
【0029】
本開示の実施例において、議事録のインタラクション方法はさらに、議事録と、会議字幕における関連字幕と、関連字幕の会議オーディオ・ビデオにおける関連時間帯との間の対応関係を確立するステップを含み、議事録は、関連字幕に基づいて生成され、関連時間帯は、関連字幕に対応する音声情報の、会議オーディオ・ビデオにおける時間帯を表す為に使用される。議事録を生成した後、各議事録と、議事録の会議字幕における対応する関連字幕と、関連字幕の会議オーディオ・ビデオにおける関連時間帯との間の対応関係を確立し、以降の使用のために当該対応関係を記憶する。
【0030】
任意選択で、議事録のインタラクション方法は、対応関係に基づいて、議事録の関連時間帯及び議事録の関連字幕を決定するステップをさらに含むことができる。ユーザーによる議事録に対するインタラクショントリガー操作を受け付けた後、対応関係を検索して、現在の議事録に対応する関連時間帯及び関連字幕を決定する。
【0031】
具体的に、議事録の関連時間帯に基づいて会議オーディオ・ビデオを再生し、会議字幕における議事録の関連字幕を強調表示するステップは、議事録の関連時間帯における開始時間で会議オーディオ・ビデオを再生し、終了時間で会議オーディオ・ビデオの再生を停止させるステップと、会議字幕を議事録の関連字幕の位置にスキップさせ、所定方式で議事録の関連字幕を強調表示するステップと、を含むことができる。任意選択で、所定方式は、会議字幕の他の部分と区別できる任意の実行可能な表示方式であってもよく、例えば、ハイライト、太字及び下線追加のうちの少なくとも1つを含むが、これらに限定されていない。
【0032】
現在の議事録の関連時間帯及び関連字幕を決定した後、関連時間帯における開始時間で会議オーディオ・ビデオを再生し、終了時間で再生を停止させ、さらに、会議字幕を関連字幕の位置にスキップさせ、関連字幕を強調表示することができる。本開示の実施例において、強調表示の具体的な方式を限定していなく、例えば所定方式は、ハイライト、太字及び下線追加などを含む。
【0033】
本開示の実施例による議事録のインタラクション解決策において、ユーザーによる議事録表示インターフェースにおける議事録に対するインタラクショントリガー操作を受け付け、議事録表示インターフェースには会議オーディオ・ビデオ、会議オーディオ・ビデオの会議字幕及び議事録が表示され、議事録の関連時間帯に基づいて会議オーディオ・ビデオを再生し、会議字幕における議事録の関連字幕を強調表示する。上記の技術案を採用して、ユーザーは、議事録表示インターフェースにおいて、議事録に対するインタラクショントリガーによって、会議オーディオ・ビデオ及び会議字幕における関連コンテンツの関連付けインタラクションを実現することができ、ユーザーのインタラクションエクスペリエンス効果を向上させ、議事録、会議オーディオ・ビデオ及び会議字幕という三者の間の関連付けインタラクションによって、ユーザーは、三者の間の関係を直観的に了解することができ、これは、会議コンテンツをより正確に理解するのに役立つ。
【0034】
いくつかの実施例において、本開示の実施例による議事録のインタラクション方法は、議事録表示インターフェースにおいて、議事録を関連付けて、対応する関連付け時点を表示するステップをさらに含んでもよい。関連付け時点は、議事録の関連時間帯に基づいて決定され、例えば、議事録の関連時間帯における開始時間である。具体的に、議事録表示インターフェースに議事録を表示する時、議事録を関連付けて、対応する関連付け時点を表示する。任意選択で、関連付け時点は、議事録の関連時間帯における終了時間を含んでもよく、即ち、議事録を関連付けるとともに、関連時間帯の開始時間及び終了時間を表示する。
【0035】
例示的に、
図2を参照して、議題タイプでの3つの議事録は、「00:05」、「00:11」及び「00:39」という関連付け時点をそれぞれ表示する。上記の関連付け時点の表示によって、ユーザーは、議事録の、会議オーディオ・ビデオにおける関連位置を了解することができる。
【0036】
いくつかの実施例において、本開示の実施例による議事録のインタラクション方法は、ユーザーによる第1の削除トリガー操作を受け付けて、第1の削除対象となる議事録及び第1の削除対象となる議事録の関連付け時点を削除するステップをさらに含むことができる。任意選択で、議事録のインタラクション方法は、ユーザーによる第2の削除トリガー操作を受け付けて、第2の削除対象となる議事録を削除し、第2の削除対象となる議事録の関連付け時点に基づいて新たな議事録を追加するステップをさらに含むことができる。
【0037】
第1の削除トリガー操作及び第2の削除トリガー操作は何れも、議事録を削除するトリガー操作を示すが、2つの削除トリガー操作の対象が異なり、第1の削除トリガー操作は、議事録及び議事録の関連付け時点を対象とし、第2の削除トリガー操作は、議事録のみを対象とする。ユーザーによる第1の削除トリガー操作を受け付けた後、第1の削除トリガー操作に対応する第1の削除対象となる議事録及び第1の削除対象となる議事録の関連付け時点を削除する。ユーザーによる第2の削除トリガー操作を受け付けた後、第2の削除トリガー操作に対応する第2の削除対象となる議事録を削除し、削除前の第2の削除対象となる議事録の代わりとして、保留される第2の削除対象となる議事録の関連付け時点に基づいて新たな議事録を編集して追加する。
【0038】
いくつかの実施例において、本開示の実施例による議事録のインタラクション方法は、ユーザーによる修正対象となる議事録に対する修正トリガー操作を受け付けるステップと、修正対象となる議事録及び/又は修正対象となる議事録の関連付け時点を修正するステップと、をさらに含むことができる。修正トリガー操作は、議事録の修正を実現するためのトリガー操作として理解されてもよく、具体的に、トリガー操作の形態を限定していない。修正対象となる議事録は、複数の議事録のうちの何れか1つであり、ユーザーによる修正対象となる議事録に対する修正トリガー操作を受け付けた後、修正対象となる議事録を修正し、及び/又は、修正対象となる議事録の関連付け時点を修正する。
【0039】
本開示の実施例において、議事録は、ユーザーが実際状況に応じて削除及び修正を行うことをサポートし、削除及び修正のコンテンツは柔軟であり、現在の解決策よりも、ユーザーの実際ニーズに適合し、削除及び修正によって議事録の正確さを向上させ、さらに、ユーザーのエクスペリエンス効果を向上させる。
【0040】
いくつかの実施例において、本開示の実施例による議事録のインタラクション方法は、ユーザーによる会議字幕におけるターゲット字幕に対する議事録追加トリガー操作を受け付けるステップと、議事録追加インターフェースを表示するステップであって、議事録追加インターフェースには少なくとも1つの議事録追加コンポーネントが含まれ、1つの議事録追加コンポーネントが1つのタイプの議事録に対応するステップと、ユーザーによる議事録追加コンポーネントに対するトリガー操作を受け付けて、ターゲット字幕を議事録追加コンポーネントに対応するタイプのターゲット議事録として追加するステップと、をさらに含むことができる。任意選択で、議事録のインタラクション方法は、ターゲット字幕の関連時間帯の開始時間をターゲット議事録のターゲット関連付け時点とし、ターゲット関連付け時点とターゲット議事録とを関連付けて表示するステップをさらに含むことができる。
【0041】
議事録追加トリガー操作とは、議事録追加を行うためのトリガー操作であり、具体的に、会議字幕において機能し、本開示の実施例において、当該議事録追加トリガー操作の具体的な形態を限定していなく、例えば、字幕に対してクリック操作やフローティング操作を行う。ユーザーによるターゲット字幕に対する議事録追加トリガー操作を受け付けた後、議事録追加インターフェースを表示し、議事録追加インターフェースには複数の議事録追加コンポーネントが表示され、議事録追加コンポーネントは、議事録を追加するために使用され、各議事録追加コンポーネントは1つのタイプの議事録に対応し、ユーザーによるそのうちの1つの議事録追加コンポーネントに対するトリガーを受け付けた場合、ターゲット字幕を当該議事録追加コンポーネントに対応するタイプのターゲット議事録として追加する。その後、ターゲット字幕の関連時間帯の開始時間をターゲット議事録の関連付け時点、即ち、ターゲット関連付け時点とし、議事録表示インターフェースに上記の追加されたターゲット議事録及びターゲット関連付け時点を表示する。
【0042】
例示的に、
図3は、本開示の実施例による別の議事録表示インターフェースの概略図であり、
図3に示すように、議事録表示インターフェース10における第2の領域12内に会議字幕を表示し、会議字幕において、ユーザー2の字幕の一部はトリガーされ、議事録追加トリガー操作に対応するターゲット字幕は、背景色が付加された字幕である。ターゲット字幕がトリガーされた後、図中の議事録追加インターフェース14を表示することができ、議事録追加インターフェース14には複数の議事録追加コンポーネントが表示され、図には、議題コンポーネント、アジェンダコンポーネント、議論コンポーネント、結論コンポーネント及び予定タスクコンポーネントという5つの議事録追加コンポーネントをそれぞれ表示する。
【0043】
任意選択で、ターゲット字幕がトリガーされた後、
図3に示すように、操作可能ボタンの表示ボックス13を表示してもよく、表示ボックス13には、議事録ボタン、編集ボタン及びコメントボタンを左から右にそれぞれ表示し、ユーザーは、何れか1つの操作可能ボタンをトリガーすることで、ターゲット字幕に対応する操作を実現することができ、例えば、ユーザーは、コメントボタンをトリガーした後、ターゲット字幕に対してコメントする。議事録ボタンは、そのうちの1つのボタンであり、ユーザーは、議事録ボタンをトリガーした後、表示ボックス13の下方に議事録追加インターフェース14を表示し、
図3のジェスチャーカーソルは、ユーザーによる議事録ボタンに対するトリガーを示す。例えば、ユーザーがアジェンダコンポーネントでトリガーした後、
図3のターゲット字幕は、タイプがアジェンダであるターゲット議事録として追加され、図中の第1の領域11におけるアジェンダの下方にターゲット議事録、及びその関連付け時点を表示する。
【0044】
本開示の実施例において、ユーザーが会議字幕に基づいて議事録を追加することをサポートし、追加方式は柔軟であり、自動に生成された議事録が正確ではない場合、手動で追加することで、議事録の正確さを向上させることができる。
【0045】
いくつかの実施例において、本開示の実施例による議事録のインタラクション方法は、権限ユーザーによる議事録表示操作を受け付けるステップであって、権限ユーザーが編集権限を有するユーザーであるステップと、権限ユーザーの履歴議事録表示データに基づいて、対応する会議オーディオ・ビデオに関する投稿対象となる議事録セットを表示するステップと、をさらに含むことができる。1つの権限ユーザーは、1つの投稿対象となる議事録セットに対応し、投稿対象となる議事録セットには少なくとも1つの投稿対象となる議事録が含まれる。
【0046】
権限ユーザーは、議事録のうちの少なくとも一部に対して編集、修正及び/又は削除などの操作を行うことができるユーザーとして理解され、権限ユーザーの数は複数であってもよく、具体的に限定していない。議事録表示操作は、自動に生成された議事録を表示する操作であり、履歴議事録表示データとは、所定の履歴時間帯内の異なる会議オーディオ・ビデオが権限ユーザーに表示される議事録データであり、即ち、現在の権限ユーザーについての異なる会議オーディオ・ビデオの投稿対象となる議事録セットの履歴データである。所定の履歴時間帯は、実際状況に応じて設定すればよく、例えば、所定の履歴時間帯は、前日又は前週であってもよい。投稿対象となる議事録とは、他のユーザーが見ることができなく、権限ユーザーのみが閲覧できる、投稿されていない議事録である。
【0047】
本開示の実施例において、権限ユーザーによる議事録表示操作を受け付けた場合、当該権限ユーザーの履歴議事録表示データを取得し、履歴議事録表示データに基づいて、会議オーディオ・ビデオに対して自動に生成された投稿対象となる議事録を処理し、現在の権限ユーザーに対応する投稿対象となる議事録セットを取得し、当該投稿対象となる議事録セットを表示する。異なる権限ユーザーの投稿対象となる議事録セットは異なっている。
【0048】
例えば、権限ユーザーAについて、現在の会議オーディオ・ビデオの投稿対象となる議事録セットには投稿対象となる議事録1、2及び3が含まれ、権限ユーザーBについて、現在の会議オーディオ・ビデオの投稿対象となる議事録セットには投稿対象となる議事録3、4及び5が含まれ、権限ユーザーA及び権限ユーザーBにおいて、1つの投稿対象となる議事録3のみが同じであり、その他は何れも異なっている。
【0049】
本開示の実施例において、自動に生成された議事録は、異なる権限ユーザーに対して、その履歴データに基づいて個性的に表示することができ、それにより、表示された議事録は、各権限ユーザーの編集習慣又はユーザー画像により適合し、議事録表示の柔軟性を向上させる。
【0050】
いくつかの実施例において、本開示の実施例による議事録のインタラクション方法は、ターゲット権限ユーザーによるターゲット投稿対象となる議事録に対する投稿トリガー操作を受け付けるステップと、他の権限ユーザー及び非権限ユーザーが投稿後の議事録を閲覧するように、ターゲット投稿対象となる議事録を投稿するステップであって、非権限ユーザーが編集権限を有しないユーザーであるステップと、をさらに含むことができる。
【0051】
非権限ユーザーは、上記の権限ユーザーと異なり、議事録に対して編集などの操作を行う権限を有しなく、議事録を閲覧するしかできない。投稿トリガー操作は、投稿対象となる議事録を投稿するトリガー操作である。具体的に、ターゲット権限ユーザーによるターゲット投稿対象となる議事録に対する投稿トリガー操作を受け付けた後、当該ターゲット投稿対象となる議事録を投稿し、他の権限ユーザー及び非権限ユーザーは何れも議事録表示インターフェースで、投稿後の議事録を閲覧することができる。そして、投稿後の議事録は、他の権限ユーザーの再投稿をサポートしなく、他の権限ユーザーが削除、修正及び追加などの操作を行うことのみをサポートする。本開示の実施例において、権限ユーザーは、議事録を投稿することで、編集された議事録を全てのユーザーが閲覧できるようにする。
【0052】
いくつかの実施例において、本開示の実施例による議事録のインタラクション方法は、ユーザーによる検索キーワードに対する検索トリガー操作を受け付けるステップと、会議字幕及び/又は議事録における、検索キーワードに基づいて検索してヒットしたターゲットキーワードを強調表示するステップと、をさらに含む。任意選択で、議事録のインタラクション方法は、会議オーディオ・ビデオの再生時間軸での、ターゲットキーワードが所在する時間点の対応位置に検索ヒット提示識別子を表示するステップをさらに含む。
【0053】
検索キーワードは、ユーザーが現在入力している、検索操作の実行対象となるキーワードであってもよい。検索トリガー操作は、検索のためのトリガー操作であり、具体的な形態は限定されず、例えば、事前配置された検索ボタンをトリガーしてもよい。ターゲットキーワードは、検索キーワードと同じ又は類似するキーワードである。ユーザーによる検索キーワードに対する検索トリガー操作を受け付けた後、会議字幕及び/又は議事録に対して検索操作を行い、マッチング度がマッチング度の閾値より大きいワードを、検索してヒットしたターゲットキーワードとして決定し、所定方式でターゲットキーワードを強調表示する。本開示の実施例は所定方式を限定していなく、例えば、所定方式はハイライト、太字及び下線追加のうちの少なくとも1つを採用してもよい。
【0054】
ターゲットキーワードを決定した後、さらに、ターゲットキーワードの会議オーディオ・ビデオにおける時間点を決定し、会議オーディオ・ビデオの再生時間軸での、ターゲットキーワードが所在する時間点の対応位置に検索ヒット提示識別子を表示し、検索ヒット提示識別子は、現在位置の対応する字幕が検索でヒットしたことをユーザーに提示し、検索ヒット提示識別子の具体的な表現形態を限定していなく、例えば、ドットで検索ヒット提示識別子を示す。
【0055】
例示的に、
図3を参照して、議事録表示インターフェース10において、第1の領域11の上方には検索領域15が表示され、ユーザーは、検索キーワードを検索領域15に入力して、検索ボタンをトリガーし、検索キーワードに対する検索操作を実行し、検索が完了した後、会議字幕及び/又は議事録における、ヒットしたターゲットキーワードを強調表示し、議事録表示インターフェース10において、底部の会議オーディオの再生時間軸の下方のドットは、検索ヒット提示識別子を示す。
【0056】
本開示の実施例において、議事録及び/又は会議字幕は検索機能をサポートすることができ、検索後のキーワードは、議事録、会議字幕、会議オーディオ・ビデオと関連付けてインタラクションすることができ、それにより、ユーザーは、検索結果の異なるコンテンツ間の対応関係を直観的かつ迅速に了解することができ、ユーザーの検索エクスペリエンス効果を向上させる。
【0057】
いくつかの実施例において、本開示の実施例による議事録のインタラクション方法は、ユーザーによる会議字幕及び/又は議事録に対する翻訳トリガー操作を受け付けるステップと、会議字幕及び/又は議事録を初期言語からターゲット言語に翻訳するステップと、をさらに含むことができる。
【0058】
翻訳トリガー操作は、会議字幕及び/又は議事録に対して異なる言語の間の翻訳を行うためのトリガー操作である。ユーザーによる会議字幕及び/又は議事録に対する翻訳トリガー操作を受け付けた後、会議字幕及び/又は議事録を現在の初期言語からターゲット言語に翻訳し、ターゲット言語は、ユーザーが指定した翻訳言語であり、複数の種類を含んでもよく、具体的に限定していない。
【0059】
例示的に、
図3を参照して、議事録表示インターフェース10には翻訳ボタン16が表示され、ユーザーは翻訳ボタン16をトリガーした場合、議事録表示インターフェース10における全てのテキストに対する翻訳を実行してもよいし、的を絞るように、会議字幕又は議事録に対する翻訳を実行してもよく、具体的に、初期言語をターゲット言語に翻訳し、例えば、会議字幕及び議事録を中国語から英語に翻訳する。
【0060】
本開示の実施例において、議事録及び/又は会議字幕は翻訳機能をサポートすることができ、異なる言語に対するユーザーの翻訳ニーズを満たすことができ、ユーザーが議事録及び/又は会議字幕のコンテンツをよりよく了解するのに有利である。
【0061】
いくつかの実施例において、議事録及び会議オーディオ・ビデオにおける会議ビデオは同じ表示窓に表示され、会議ビデオは、表示窓の上部領域に表示される。例示的に、
図2を参照して、議事録表示インターフェース10において、議事録及び会議ビデオは、第1の領域11に表示され、第1の領域11は表示窓11であり、会議ビデオは表示窓11の上部領域に表示される。
【0062】
いくつかの実施例において、本開示の実施例による議事録のインタラクション方法は、ユーザーによる表示窓に対するスクロール操作を受け付け、表示窓における会議ビデオ及び議事録をスクロール表示するステップをさらに含むことができる。議事録の数は、複数であってもよく、議事録の数が多すぎると、議事録の一部は、隠されるため、ユーザーによる表示窓に対するスクロール操作を受け付け、表示窓をスクロールさせることで、隠される議事録を表示することができる。
【0063】
例示的に、
図3を参照して、議事録表示インターフェース10における表示窓11は、複数の議事録を表示することができ、ユーザーは、隠された議事録を閲覧する必要がある場合、より多くの議事録を表示するために、表示窓11においてスクロール操作を行うことができる。例示的に、
図4は、本開示の実施例による別の議事録表示インターフェースの概略図であり、
図4において、スクロール後の表示窓11には、隠された議事録が表示されると同時に、会議ビデオは、表示窓の外にシフトされる。表示窓11の右側には、スクロールバー及びスライダーも設けられ、スライダーを下へスライドさせるようにドラッグすることで、表示窓11に対するスクロール操作をトリガーし、
図3及び
図4において、スライダーの位置が異なり、表示窓11がスクロールされていることを示すことができる。任意選択で、表示窓11において、マウスホイールのスクロールを直接的に行うことで、スクロール操作をトリガーしてもよい。
【0064】
上記の解決策において、議事録及び会議ビデオを表示する表示窓は、より多くの隠された議事録が表示されるように、ユーザーの実際ニーズに応じてスクロール表示されることができ、これにより、ユーザーは、より多くの議事録を閲覧することができ、議事録の表示効果を向上させる。
【0065】
任意選択で、議事録のインタラクション方法は、表示窓のスクロール中に、会議ビデオが表示窓の外にシフトされた場合、議事録表示インターフェースに会議ビデオのビデオ小窓を表示するステップをさらに含むことができる。任意選択で、ビデオ小窓と表示窓は互いに遮蔽していないことができる。
【0066】
ビデオ小窓は、フローティング窓であってもよく、当該フローティング窓は、例えば議事録表示インターフェースのスクリーン領域内に表示されてもよい。ビデオ小窓の具体的な位置について、実際状況に応じて設定されてもよく、例えば、ビデオ小窓の位置は、表示窓における議事録を遮蔽しない任意の位置であってもよい。具体的に、表示窓のスクロール中に、会議ビデオは、表示窓の上部領域に設けられるため、スクロールされることにつれて、会議ビデオは表示窓の外にシフトされ、会議ビデオが表示窓の外にシフトされたことが検出された後、ユーザーが会議ビデオを引き続いて閲覧できるように、会議ビデオのビデオ小窓を議事録表示インターフェースに表示することができる。
【0067】
例示的に、
図4を参照して、ビデオ小窓20は、議事録表示インターフェース10の右下に表示され、議事録を遮蔽することがなく、会議字幕への影響も小さい。
【0068】
上記の解決策において、スクロール操作により会議ビデオが表示窓の外にシフトされ、即ち、隠された後、ビデオ小窓を設置することで、ユーザーに会議ビデオを閲覧させて続けることができ、ユーザーの議事録に対する閲覧に影響を与えることなく、議事録及び会議ビデオの表示効果をさらに向上させることができる。
【0069】
任意選択で、議事録のインタラクション方法は、ユーザーによるビデオ小窓における操作可能コントロールに対するトリガー操作を受け付けて、ビデオ小窓に対して操作可能コントロールに対応するターゲット操作を実行するステップをさらに含むことができる。任意選択で、操作可能コントロールは、終了コントロール、一時停止コントロール及び閉じコントロールのうちの少なくとも1つを含み、操作可能コントロールに対応するターゲット操作は、終了・スキップ操作、再生一時停止操作及び閉じ操作のうちの少なくとも1つを含む。
【0070】
操作可能コントロールは、事前配置された、ビデオ小窓を具体的に操作するためのコントロールであり、操作可能コントロールは複数含まれてもよく、具体的に、実際状況に応じて設定することができる。本開示の実施例における操作可能コントロールは、終了コントロール、一時停止コントロール及び閉じコントロールなどのうちの少なくとも1つを含み、各操作可能コントロールに対応する操作は異なっている。議事録表示インターフェースにビデオ小窓を表示した後、操作可能コントロールをユーザーに表示することができ、ユーザーによるビデオ小窓における操作可能コントロールに対するトリガー操作、例えばクリック操作を受け付けた場合、ビデオ小窓に対して対応するターゲット操作を実行することができる。ユーザーによる終了コントロールに対するトリガー操作を受け付けた後、ビデオ小窓を終了して表示窓を上部領域にスキップさせることができ、ユーザーによる一時停止コントロールに対するトリガー操作を受け付けた後、ビデオ小窓における会議ビデオの再生を一時停止させることができ、ユーザーによる閉じコントロールに対するトリガー操作を受け付けた後、当該ビデオ小窓を閉じることができる。
【0071】
例示的に、
図4を参照して、議事録表示インターフェース10におけるビデオ小窓20には、ビデオ小窓20の左上の終了コントロール、ビデオ小窓20の中間の一時停止コントロール及びビデオ小窓20の右上の閉じコントロールという3つの操作可能コントロールがそれぞれ表示され、ユーザーは、何れか1つの操作可能コントロールをトリガーすることで、ビデオ小窓20に対応する操作を実現する。任意選択で、ユーザーによる終了コントロールに対するトリガー操作を受け付けた後、ビデオ小窓を終了し、表示窓を、会議ビデオを表示できる表示インターフェースにスキップさせる。
【0072】
本開示の実施例において、議事録表示インターフェースに会議ビデオのビデオ小窓を表示した後、操作可能コントロールを設定することで、ユーザーによるビデオ小窓に対する様々な操作をサポートすることができ、ユーザーは実際ニーズに応じてビデオ小窓を表示又は閉じることができるようにしてもよく、ビデオ小窓のインタラクションエクスペリエンス効果をさらに向上させる。
【0073】
また、
図3を参照して、議事録表示インターフェース10にはキーワード表示領域17及びシェアボタン18などが配置されてもよく、ユーザーがそのうちの1つのボタンをトリガーすると、対応する操作を実行することができる。例示的に、当該キーワード表示領域17には、「創新」、「寸法」、「フレーム」、「部材」及び「レトロニム」という5つのキーワードがそれぞれ表示され、キーワードは、会議字幕及び議事録に対してキーワードを抽出することで得られ、ユーザーはそのうちの1つのキーワードをトリガーすると、会議字幕及び議事録における当該キーワードは強調表示され、例えば、「創新」をトリガーすると、会議字幕及び議事録における「創新」は何れも強調表示される。ユーザーはシェアボタン18をトリガーすると、議事録表示インターフェース10全体を他のユーザーにシェアすることができる。
【0074】
図3及び
図4を参照して、会議オーディオは議事録表示インターフェース10の底部又は上部に表示されてもよく、具体的に限定していなく、実際状況に応じて設定されてもよい。また、
図4を参照して、会議オーディオの時間軸には、会議字幕に対する字幕インタラクション提示識別子が表示されてもよく、図面において、字幕インタラクション提示識別子における1つのコメント提示識別子及び表情提示識別子を左から右へ表示する。
【0075】
なお、本開示の実施例では、
図2、
図3及び
図4における議事録表示インターフェースは、一例に過ぎず、議事録表示インターフェースを限定するものではなく、議事録表示インターフェースについて、実際状況及びユーザーのニーズに応じて、様々な状況の配置を行うことができる。
【0076】
本開示の実施例による議事録のインタラクション方法によれば、ユーザーは、議事録表示インターフェースにおいて、議事録に対するインタラクショントリガーによって、会議オーディオ・ビデオ及び会議字幕における関連コンテンツの関連付けインタラクションを実現することができ、現在の議事録インタラクションに比べると、ユーザーのインタラクションエクスペリエンス効果を向上させ、議事録、会議オーディオ・ビデオ及び会議字幕という三者の間の関連付けインタラクションによって、ユーザーは、三者の間の関係を直観的に了解することができ、これは、会議コンテンツをより正確に理解するのに役立つ。また、本開示の実施例における議事録は、ユーザーが削除、修正、追加、投稿、検索及び翻訳などの操作を行うことをサポートし、インタラクション機能はより多様であり、ユーザーの多様なニーズを満たすのに有利であり、議事録の数が多すぎる場合、窓をスクロールさせることで、隠された議事録を表示し、また、会議ビデオが隠されている場合、ビデオ小窓を介して、ユーザーに会議ビデオを閲覧させ続けることができ、シームレスに繋がって、会議ビデオに対するユーザーの閲覧効果を向上させる。
【0077】
図5は、本開示の実施例による議事録のインタラクション装置の構成概略図であり、当該装置は、ソフトウェア及び/又はハードウェアによって実現され、一般的に、電子機器に集積されることができる。
図5に示すように、当該装置は、
ユーザーによる議事録表示インターフェースにおける議事録に対するインタラクショントリガー操作を受け付ける議事録トリガーモジュール301であって、前記議事録表示インターフェースには、会議オーディオ・ビデオ、前記会議オーディオ・ビデオの会議字幕及び前記議事録が表示される議事録トリガーモジュール301と、
前記議事録の関連時間帯に基づいて、前記会議オーディオ・ビデオを再生し、前記会議字幕における前記議事録の関連字幕を強調表示する関連付けインタラクションモジュール302と、を含む。
【0078】
好ましくは、前記装置は、議事録生成モジュールをさらに含み、前記議事録生成モジュールは、具体的に、
前記会議オーディオ・ビデオに対して音声認識を行って、前記会議オーディオ・ビデオの会議字幕を決定し、
前記会議字幕に対してテキスト処理を行って、議事録を生成するように構成される。
【0079】
好ましくは、前記装置は、対応関係モジュールをさらに含み、前記対応関係モジュールは、具体的に、
議事録と、前記会議字幕における関連字幕と、前記関連字幕の前記会議オーディオ・ビデオにおける関連時間帯との間の対応関係を確立するように構成され、
前記議事録は、前記関連字幕に基づいて生成され、前記関連時間帯は、前記関連字幕に対応する音声情報の、前記会議オーディオ・ビデオでの時間帯を表す。
【0080】
好ましくは、前記装置は、関連情報決定モジュールをさらに含み、前記関連情報決定モジュールは、具体的に、
前記対応関係に基づいて、前記議事録の関連時間帯及び前記議事録の関連字幕を決定するように構成される。
【0081】
好ましくは、前記関連付けインタラクションモジュール302は具体的に、
前記議事録の関連時間帯における開始時間で前記会議オーディオ・ビデオを再生し、終了時間で前記会議オーディオ・ビデオの再生を停止させ、
前記会議字幕を前記議事録の関連字幕の位置にスキップさせ、前記議事録の関連字幕を所定方式で強調表示するように構成される。
【0082】
好ましくは、前記設定方式は、ハイライト、太字及び下線追加のうちの少なくとも1つを含む。
【0083】
好ましくは、前記装置は、関連付け時点モジュールをさらに含み、前記関連付け時点モジュールは、具体的に、
前記議事録表示インターフェースにおいて、前記議事録を関連付けて、対応する関連付け時点を表示するように構成される。
【0084】
好ましくは、前記関連付け時点は、前記議事録の関連時間帯における開始時間である。
【0085】
好ましくは、前記装置は、第1の削除モジュールをさらに含み、前記第1の削除モジュールは、具体的に、
ユーザーによる第1の削除トリガー操作を受け付けて、第1の削除対象となる議事録及び前記第1の削除対象となる議事録の関連付け時点を削除するように構成される。
【0086】
好ましくは、前記装置は、第2の削除モジュールをさらに含み、前記第2の削除モジュールは、具体的に、
ユーザーによる第2の削除トリガー操作を受け付けて、第2の削除対象となる議事録を削除し、前記第2の削除対象となる議事録の関連付け時点に基づいて、新たな議事録を追加するように構成される。
【0087】
好ましくは、前記装置は、修正モジュールをさらに含み、前記修正モジュールは、具体的に、
ユーザーによる修正対象となる議事録に対する修正トリガー操作を受け付け、
前記修正対象となる議事録及び/又は前記修正対象となる議事録の関連付け時点を修正するように構成される。
【0088】
好ましくは、前記装置は、追加モジュールをさらに含み、前記追加モジュールは、具体的に、
ユーザーによる前記会議字幕におけるターゲット字幕に対する議事録追加トリガー操作を受け付け、
議事録追加インターフェースを表示し、前記議事録追加インターフェースには、少なくとも1つの議事録追加コンポーネントが含まれ、1つの議事録追加コンポーネントは、1つのタイプの議事録に対応し、
ユーザーによる前記議事録追加コンポーネントに対するトリガー操作を受け付けて、前記ターゲット字幕を前記議事録追加コンポーネントに対応するタイプのターゲット議事録として追加するように構成される。
【0089】
好ましくは、前記追加モジュールは具体的に、
前記ターゲット字幕の関連時間帯における開始時間を、前記ターゲット議事録のターゲット関連付け時点とし、前記ターゲット関連付け時点と前記ターゲット議事録とを関連付けて表示するように構成される。
【0090】
好ましくは、前記装置は、議事録プッシュモジュールをさらに含み、前記議事録プッシュモジュールは、具体的に、
編集権限を有するユーザーである権限ユーザーの議事録表示操作を受け付け、
前記権限ユーザーの履歴議事録表示データに基づいて、対応する前記会議オーディオ・ビデオに関する投稿対象となる議事録セットを表示するように構成される。
【0091】
好ましくは、1つの前記権限ユーザーは、1つの前記投稿対象となる議事録セットに対応し、前記投稿対象となる議事録セットには少なくとも1つの投稿対象となる議事録が含まれる。
【0092】
好ましくは、前記装置は、投稿モジュールをさらに含み、前記投稿モジュールは、具体的に、
ターゲット権限ユーザーによるターゲット投稿対象となる議事録に対する投稿トリガー操作を受け付け、
他の権限ユーザー及び非権限ユーザーが投稿後の議事録を閲覧するように、前記ターゲット投稿対象となる議事録を投稿するように構成され、
前記非権限ユーザーは、編集権限を有しないユーザーである。
【0093】
好ましくは、前記装置は、検索モジュールをさらに含み、前記検索モジュールは、具体的に、
ユーザーによる検索キーワードに対する検索トリガー操作を受け付け、
前記会議字幕及び前記議事録における、前記検索キーワードに基づいて検索してヒットしたターゲットキーワードを強調表示するように構成される。
【0094】
好ましくは、前記検索モジュールは具体的に、
前記会議オーディオ・ビデオの再生時間軸での、前記ターゲットキーワードが所在する時間点に対応する位置に、検索ヒット提示識別子を表示するように構成される。
【0095】
好ましくは、前記装置は、翻訳モジュールをさらに含み、前記翻訳モジュールは、具体的に、
ユーザーによる前記会議字幕及び/又は前記議事録に対する翻訳トリガー操作を受け付け、
前記会議字幕及び前記議事録を初期言語からターゲット言語に翻訳するように構成される。
【0096】
好ましくは、前記議事録及び前記会議オーディオ・ビデオにおける会議ビデオは、同一の表示窓に表示され、前記会議ビデオは、前記表示窓の上部領域に表示される。
【0097】
好ましくは、前記装置は、スクロール表示モジュールをさらに含み、前記スクロール表示モジュールは、具体的に、
ユーザーによる前記表示窓に対するスクロール操作を受け付けて、前記表示窓における前記会議ビデオ及び前記議事録をスクロール表示するように構成される。
【0098】
好ましくは、前記装置は、ビデオ小窓モジュールをさらに含み、前記ビデオ小窓モジュールは、具体的に、
前記表示窓のスクロール中に、前記会議ビデオが前記議事録表示インターフェースの外にシフトされた場合、前記議事録表示インターフェースに前記会議ビデオのビデオ小窓を表示するように構成される。
【0099】
好ましくは、前記ビデオ小窓と前記表示窓は、互いに遮蔽していない。
【0100】
好ましくは、前記ビデオ小窓モジュールはさらに、
ユーザーによる前記ビデオ小窓における操作可能コントロールに対するトリガー操作を受け付けて、前記ビデオ小窓に対して前記操作可能コントロールに対応するターゲット操作を実行するように構成される。
【0101】
好ましくは、前記操作可能コントロールは、終了コントロール、一時停止コントロール及び閉じコントロールのうちの少なくとも1つを含み、前記操作可能コントロールに対応するターゲット操作は、終了・スキップ操作、再生一時停止操作及び閉じ操作のうちの少なくとも1つを含む。
【0102】
好ましくは、前記議事録は、議題、アジェンダ、議論、結論及び予定タスクのうちの少なくとも1つのタイプを含む。
【0103】
本開示の実施例による議事録のインタラクション装置は、本開示の任意の実施例による議事録のインタラクション方法を実行することができ、方法の実行に対応する機能モジュール及び有益な効果を具備している。
【0104】
図6は、本開示の実施例による電子機器の構成概略図である。以下、具体的に
図6を参照して、本開示の実施例における電子機器400を実現するのに適している構成概略図を示す。本開示の実施例における電子機器400は、例えば携帯電話、ノートパソコン、デジタル放送受信機、PDA(携帯情報端末)、PAD(タブレットコンピューター)、PMP(ポータブルメディアプレーヤー)、車載端末(例えば、車載ナビゲーション端末)などのモバイル端末、及び、例えばデジタルTV、デスクトップコンピュータなどの固定端末を含むが、これらに限定されていない。
図6に示す電子機器は、一例に過ぎず、本開示の実施例の機能及び使用範囲に任意の制限を与えるべきではない。
【0105】
図6に示すように、電子機器400は、読み取り専用メモリ(ROM)402に記憶されるプログラム、又は記憶装置408からランダムアクセスメモリ(RAM)403にロードされたプログラムに従って、様々な適切な動作及び処理を実行する処理装置(例えば、中央演算処理装置、グラフィックス処理装置など)401を含むことができる。RAM403には、電子機器400の操作に必要な様々なプログラム及びデータがさらに記憶される。処理装置401、ROM402及びRAM403は、バス404によって互いに接続される。入力/出力(I/O)インターフェース405もバス404に接続される。
【0106】
一般的に、I/Oインターフェース405には、例えば、タッチスクリーン、タッチパネル、キーボード、マウス、カメラ、マイク、加速度計、ジャイロなどを含む入力装置406、例えば、液晶ディスプレイ(LCD)、スピーカ、振動器などを含む出力装置407、例えば、磁気テープ、ハードディスクなどを含む記憶装置408、及び通信装置409が接続されることができる。通信装置409は、電子機器400が他の装置と無線又は有線で通信してデータを交換することを可能にする。
図6は、様々な装置を有する電子機器400を示すが、ここで、示される全ての装置を実施又は具備することが要求されていない。代わりとして、より多くの又は少ない装置を実施又は具備してもよい。
【0107】
特に、本開示の実施例によれば、以上、フローチャートを参照して記載される過程は、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例は、非一時的なコンピュータ可読媒体上に担持されるコンピュータプログラムを有するコンピュータプログラム製品を含み、当該コンピュータプログラムは、フローチャートの方法を実行するためのプログラムコードを含む。このような実施例において、当該コンピュータプログラムは、通信装置409を介してネットワークからダウンロードされて、インストールされ、又は記憶装置408からインストールされ、或いはROM402からインストールされる。当該コンピュータプログラムは処理装置401によって実行されるときに、本開示の実施例の方法で限定される上記の機能を実行する。
【0108】
なお、本開示の実施例に記載のコンピュータ可読媒体は、コンピュータ可読信号媒体、又はコンピュータ可読記憶媒体、又は上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、若しくは半導体のシステム、装置、若しくはデバイス、又は任意の以上の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例としては、1つ又は複数のワイヤを有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能なプログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせを含むことができるが、これらに限定されない。本開示の実施例では、コンピュータ可読記憶媒体は、指令実行システム、装置、又はデバイスによって使用され、又はこれらと組み合わせて使用されることができるプログラムを含むか、又は記憶する任意の有形媒体であってもよい。本開示の実施例では、コンピュータ可読信号媒体は、ベースバンドで、又は搬送波の一部として伝搬されるデータ信号を含むことができ、当該データ信号にコンピュータ可読のプログラムコードが担持される。このように伝搬されるデータ信号は、多種の形式を採用することができ、電磁信号、光信号、又は上記の任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体を除いた任意のコンピュータ可読媒体であってもよく、当該コンピュータ可読信号媒体は、指令実行システム、装置、又はデバイスによって使用され、又はこれらと組み合わせて使用されるためのプログラムを送信、伝搬、若しくは伝送することができる。コンピュータ可読媒体上に含まれるプログラムコードは、任意の適切な媒体によって伝送されることができ、媒体は、電線、光ファイバケーブル、RF(無線周波数)など、上記の任意の適切な組み合わせを含むが、これらに限定されない。
【0109】
いくつかの実施形態において、クライアントやサーバーは、例えばHTTP(Hyper Text Transfer Protocol、ハイパーテキストトランスファープロトコル)のような、現在既知又は将来開発しようとする任意のネットワークプロトコルを使用して通信することができ、任意の形態又は媒体のデジタルデータ通信(例えば、通信ネットワーク)と相互接続されることができる。通信ネットワークの例は、ローカルネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、ワールドワイドウェブ(例えば、インターネット)及びエンドツーエンドネットワーク(例えば、adhocエンドツーエンドネットワーク)、及び現在既知又は将来開発しようとする任意のネットワークを含む。
【0110】
上記のコンピュータ可読媒体は、上記の電子機器に含まれてもよいし、当該電子機器に配置されず、個別に存在してもよい。
【0111】
上記のコンピュータ可読媒体には1つ又は複数のプログラムが担持され、上記の1つ又は複数のプログラムは、当該電子機器によって実行されるときに、ユーザーによる議事録表示インターフェースにおける議事録に対するインタラクショントリガー操作を受け付けるステップであって、前記議事録表示インターフェースには、会議オーディオ・ビデオ、前記会議オーディオ・ビデオの会議字幕及び前記議事録が表示されるステップと、前記議事録の関連時間帯に基づいて、前記会議オーディオ・ビデオを再生し、前記会議字幕における前記議事録の関連字幕を強調表示するステップと、を当該電子機器に実行させる。
【0112】
本開示の操作を実行するためのコンピュータプログラムコードは、1種若しくは多種のプログラミング言語又はそれらの組み合わせで作成されることができ、上記プログラミング言語は、例えばJava、Smalltalk、C++のようなオブジェクト指向プログラミング言語を含み、例えば「C」言語のような従来の手続き型プログラミング言語又は類似のプログラミング言語をさらに含むが、これらに限定されていない。プログラムコードは、完全にユーザーコンピュータで実行されてもよく、部分的にユーザーコンピュータで実行されてもよく、1つの独立したパッケージソフトとして実行されてもよく、一部がユーザーコンピュータで、他の一部がリモートコンピュータで実行されてもよく、又は完全にリモートコンピュータ又はサーバーで実行されてもよい。リモートコンピュータが関与する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)を含む、任意のタイプのネットワークを介して、ユーザーコンピュータに接続されてもよく、又は、外部コンピュータに接続されてもよい(例えばインターネットサービスプロバイダーを使用してインターネットを介して接続される)。
【0113】
図面におけるフローチャート及びブロック図は、本出願の様々な実施例のシステム、方法及びコンピュータプログラム製品に従って実現可能な体系アーキテクチャ、機能及び操作を示す。この点について、フローチャート又はブロック図における各ブロックは、1つのモジュール、プログラムセグメント、又はコードの一部を代表することができ、当該モジュール、プログラムセグメント、又はコードの一部は、所定の論理機能を実現するための1つ又は複数の実行可能な指令を含む。なお、いくつかの代替の実現において、ブロックに示されている機能は、図に示されている順序とは異なる順序に従って発生してもよい。例えば、連続的に示される2つのブロックは実際には、基本的に並行して実行されてもよく、ある場合、逆の順序に従って実行されてもよく、関連する機能に応じて決定される。また、ブロック図及び/又はフローチャートにおける各ブロック、並びにブロック図及び/又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用のハードウェアによるシステムで実現されてもよいし、又は専用ハードウェアとコンピュータ指令との組み合わせで実現されてもよい。
【0114】
本開示の実施例に記述されたユニットは、ソフトウェアの方式で実現されてもよいし、ハードウェアの方式で実現されてもよい。ユニットの名称は、ある場合、当該ユニット自身への限定を構成しない。
【0115】
本明細書で上記に説明された機能は、少なくとも部分的に1つ又は複数のハードウェアロジック部材によって実行されてもよい。例えば、利用できるハードウェアロジック部材の例示的なタイプは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、コンプレックスプログラマブルロジックデバイス(CPLD)などを含むが、これらに限定されない。
【0116】
本開示の明細書において、機械可読媒体は、指令実行システム、装置又はデバイスによって、又はそれらと組み合わせて使用されてもよいプログラムを含むか、又は記憶する有形媒体であってもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置又はデバイス、或いは上記の内容の任意の適切な組み合わせを含むが、これらに限定されない。機械可読記憶媒体のより具体的な例は、1つ又は複数のワイヤによる電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクト磁気ディスク読み取り専用メモリ(CD-ROM)、光記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。
【0117】
本開示の1つ又は複数の実施例によれば、本開示は、
ユーザーによる議事録表示インターフェースにおける議事録に対するインタラクショントリガー操作を受け付けるステップであって、前記議事録表示インターフェースには、会議オーディオ・ビデオ、前記会議オーディオ・ビデオの会議字幕及び前記議事録が表示されるステップと、
前記議事録の関連時間帯に基づいて、前記会議オーディオ・ビデオを再生し、前記会議字幕における前記議事録の関連字幕を強調表示するステップと、
を含む議事録のインタラクション方法を提供する。
【0118】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
前記会議オーディオ・ビデオに対して音声認識を行って、前記会議オーディオ・ビデオの会議字幕を決定するステップと、
前記会議字幕に対してテキスト処理を行って、議事録を生成するステップと、をさらに含む。
【0119】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
議事録と、前記会議字幕における関連字幕と、前記関連字幕の前記会議オーディオ・ビデオにおける関連時間帯との間の対応関係を確立するステップであって、前記議事録は前記関連字幕に基づいて生成され、前記関連時間帯は、前記関連字幕に対応する音声情報の、前記会議オーディオ・ビデオでの時間帯を表すステップをさらに含む。
【0120】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
前記対応関係に基づいて、前記議事録の関連時間帯及び前記議事録の関連字幕を決定するステップをさらに含む。
【0121】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法において、前記議事録の関連時間帯に基づいて、前記会議オーディオ・ビデオを再生し、前記会議字幕における前記議事録の関連字幕を強調表示するステップは、
前記議事録の関連時間帯における開始時間で前記会議オーディオ・ビデオを再生し、終了時間で前記会議オーディオ・ビデオの再生を停止させるステップと、
前記会議字幕を前記議事録の関連字幕の位置にスキップさせ、前記議事録の関連字幕を所定方式で強調表示するステップと、をさらに含む。
【0122】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法において、前記設定方式は、ハイライト、太字及び下線追加のうちの少なくとも1つを含む。
【0123】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
前記議事録表示インターフェースにおいて、前記議事録を関連付けて、対応する関連付け時点を表示するステップをさらに含む。
【0124】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法において、前記関連付け時点は、前記議事録の関連時間帯における開始時間である。
【0125】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
ユーザーによる第1の削除トリガー操作を受け付けて、第1の削除対象となる議事録及び前記第1の削除対象となる議事録の関連付け時点を削除するステップをさらに含む。
【0126】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
ユーザーによる第2の削除トリガー操作を受け付けて、第2の削除対象となる議事録を削除し、前記第2の削除対象となる議事録の関連付け時点に基づいて、新たな議事録を追加するステップをさらに含む。
【0127】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
ユーザーによる修正対象となる議事録に対する修正トリガー操作を受け付けるステップと、
前記修正対象となる議事録及び/又は前記修正対象となる議事録の関連付け時点を修正するステップと、をさらに含む。
【0128】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
ユーザーによる前記会議字幕におけるターゲット字幕に対する議事録追加トリガー操作を受け付けるステップと、
議事録追加インターフェースを表示するステップであって、前記議事録追加インターフェースには少なくとも1つの議事録追加コンポーネントが含まれ、1つの議事録追加コンポーネントが1つのタイプの議事録に対応するステップと、
ユーザーによる前記議事録追加コンポーネントに対するトリガー操作を受け付けて、前記ターゲット字幕を前記議事録追加コンポーネントに対応するタイプのターゲット議事録として追加するステップと、をさらに含む。
【0129】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
前記ターゲット字幕の関連時間帯の開始時間を、前記ターゲット議事録のターゲット関連付け時点とし、前記ターゲット関連付け時点と前記ターゲット議事録とを関連付けて表示するステップをさらに含む。
【0130】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
権限ユーザーによる議事録表示操作を受け付けるステップであって、前記権限ユーザーが編集権限を有するユーザーであるステップと、
前記権限ユーザーの履歴議事録表示データに基づいて、対応する前記会議オーディオ・ビデオに関する投稿対象となる議事録セットを表示するステップと、をさらに含む。
【0131】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法において、1つの前記権限ユーザーは、1つの前記投稿対象となる議事録セットに対応し、前記投稿対象となる議事録セットには少なくとも1つの投稿対象となる議事録が含まれる。
【0132】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
ターゲット権限ユーザーによるターゲット投稿対象となる議事録に対する投稿トリガー操作を受け付けるステップと、
他の権限ユーザー及び非権限ユーザーが投稿後の議事録を閲覧するように、前記ターゲット投稿対象となる議事録を投稿するステップであって、前記非権限ユーザーが編集権限を有しないユーザーであるステップと、をさらに含む。
【0133】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
ユーザーによる検索キーワードに対する検索トリガー操作を受け付けるステップと、
前記会議字幕及び前記議事録における、前記検索キーワードに基づいて検索してヒットしたターゲットキーワードを強調表示するステップと、をさらに含む。
【0134】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
前記会議オーディオ・ビデオの再生時間軸での、前記ターゲットキーワードが所在する時間点に対応する位置に、検索ヒット提示識別子を表示するステップをさらに含む。
【0135】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
ユーザーによる前記会議字幕及び/又は前記議事録に対する翻訳トリガー操作を受け付けるステップと、
前記会議字幕及び前記議事録を初期言語からターゲット言語に翻訳するステップと、をさらに含む。
【0136】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法において、前記議事録及び前記会議オーディオ・ビデオにおける会議ビデオは、同一の表示窓に表示され、前記会議ビデオは、前記表示窓の上部領域に表示される。
【0137】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
ユーザーによる前記表示窓に対するスクロール操作を受け付けて、前記表示窓における前記会議ビデオ及び前記議事録をスクロール表示するステップをさらに含む。
【0138】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
前記表示窓のスクロール中に、前記会議ビデオが前記表示窓の外にシフトされた場合、前記議事録表示インターフェースに前記会議ビデオのビデオ小窓を表示するステップをさらに含む。
【0139】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法において、前記ビデオ小窓と前記表示窓は、互いに遮蔽していない。
【0140】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法は、
ユーザーによる前記ビデオ小窓における操作可能コントロールに対するトリガー操作を受け付けて、前記ビデオ小窓に対して前記操作可能コントロールに対応するターゲット操作を実行するステップをさらに含む。
【0141】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法において、前記操作可能コントロールは、終了コントロール、一時停止コントロール及び閉じコントロールのうちの少なくとも1つを含み、前記操作可能コントロールに対応するターゲット操作は、終了・スキップ操作、再生一時停止操作及び閉じ操作のうちの少なくとも1つを含む。
【0142】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション方法において、前記議事録は、議題、アジェンダ、議論、結論及び予定タスクのうちの少なくとも1つのタイプを含む。
【0143】
本開示の1つ又は複数の実施例によれば、本開示は、
ユーザーによる議事録表示インターフェースにおける議事録に対するインタラクショントリガー操作を受け付ける議事録トリガーモジュールであって、前記議事録表示インターフェースには、会議オーディオ・ビデオ、前記会議オーディオ・ビデオの会議字幕及び前記議事録が表示される議事録トリガーモジュールと、
前記議事録の関連時間帯に基づいて、前記会議オーディオ・ビデオを再生し、前記会議字幕における前記議事録の関連字幕を強調表示する関連付けインタラクションモジュールと、
を含む議事録のインタラクション装置を提供する。
【0144】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記装置は、議事録生成モジュールをさらに含み、前記議事録生成モジュールは、具体的に、
前記会議オーディオ・ビデオに対して音声認識を行って、前記会議オーディオ・ビデオの会議字幕を決定し、
前記会議字幕に対してテキスト処理を行って、議事録を生成するように構成される。
【0145】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記装置は、対応関係モジュールをさらに含み、前記対応関係モジュールは、具体的に、
議事録と、前記会議字幕における関連字幕と、前記関連字幕の前記会議オーディオ・ビデオにおける関連時間帯との間の対応関係を確立するように構成され、前記議事録は、前記関連字幕に基づいて生成され、前記関連時間帯は、前記関連字幕に対応する音声情報の、前記会議オーディオ・ビデオでの時間帯を表す。
【0146】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記装置は、関連情報決定モジュールをさらに含み、前記関連情報決定モジュールは、具体的に、
前記対応関係に基づいて、前記議事録の関連時間帯及び前記議事録の関連字幕を決定するように構成される。
【0147】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記関連付けインタラクションモジュールは具体的に、
前記議事録の関連時間帯における開始時間で前記会議オーディオ・ビデオを再生し、終了時間で前記会議オーディオ・ビデオの再生を停止させ、
前記会議字幕を前記議事録の関連字幕の位置にスキップさせ、前記議事録の関連字幕を所定方式で強調表示するように構成される。
【0148】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記設定方式は、ハイライト、太字及び下線追加のうちの少なくとも1つを含む。
【0149】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記装置は、関連付け時点モジュールをさらに含み、前記関連付け時点モジュールは、具体的に、
前記議事録表示インターフェースにおいて、前記議事録を関連付けて、対応する関連付け時点を表示するように構成される。
【0150】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記関連付け時点は、前記議事録の関連時間帯における開始時間である。
【0151】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記装置は、第1の削除モジュールをさらに含み、前記第1の削除モジュールは、具体的に、
ユーザーによる第1の削除トリガー操作を受け付けて、第1の削除対象となる議事録及び前記第1の削除対象となる議事録の関連付け時点を削除するように構成される。
【0152】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記装置は、第2の削除モジュールをさらに含み、前記第2の削除モジュールは、具体的に、
ユーザーによる第2の削除トリガー操作を受け付けて、第2の削除対象となる議事録を削除し、前記第2の削除対象となる議事録の関連付け時点に基づいて、新たな議事録を追加するように構成される。
【0153】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記装置は、修正モジュールをさらに含み、前記修正モジュールは、具体的に、
ユーザーによる修正対象となる議事録に対する修正トリガー操作を受け付け、
前記修正対象となる議事録及び/又は前記修正対象となる議事録の関連付け時点を修正するように構成される。
【0154】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記装置は、追加モジュールをさらに含み、前記追加モジュールは、具体的に、
ユーザーによる前記会議字幕におけるターゲット字幕に対する議事録追加トリガー操作を受け付け、
議事録追加インターフェースを表示し、前記議事録追加インターフェースには少なくとも1つの議事録追加コンポーネントが含まれ、1つの議事録追加コンポーネントが1つのタイプの議事録に対応し、
ユーザーによる前記議事録追加コンポーネントに対するトリガー操作を受け付けて、前記ターゲット字幕を前記議事録追加コンポーネントに対応するタイプのターゲット議事録として追加するように構成される。
【0155】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記追加モジュールは具体的に、
前記ターゲット字幕の関連時間帯の開始時間を、前記ターゲット議事録のターゲット関連付け時点とし、前記ターゲット関連付け時点と前記ターゲット議事録とを関連付けて表示する。
【0156】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記装置は、議事録プッシュモジュールをさらに含み、前記議事録プッシュモジュールは、具体的に、
編集権限を有するユーザーである権限ユーザーの議事録表示操作を受け付け、
前記権限ユーザーの履歴議事録表示データに基づいて、対応する前記会議オーディオ・ビデオに関する投稿対象となる議事録セットを表示するように構成される。
【0157】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、1つの前記権限ユーザーは、1つの前記投稿対象となる議事録セットに対応し、前記投稿対象となる議事録セットには少なくとも1つの投稿対象となる議事録が含まれる。
【0158】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記装置は、投稿モジュールをさらに含み、前記投稿モジュールは、具体的に、
ターゲット権限ユーザーによるターゲット投稿対象となる議事録に対する投稿トリガー操作を受け付け、
他の権限ユーザー及び非権限ユーザーが投稿後の議事録を閲覧するように、前記ターゲット投稿対象となる議事録を投稿するように構成され、
前記非権限ユーザーは、編集権限を有しないユーザーである。
【0159】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記装置は、検索モジュールをさらに含み、前記検索モジュールは、具体的に、
ユーザーによる検索キーワードに対する検索トリガー操作を受け付け、
前記会議字幕及び前記議事録における、前記検索キーワードに基づいて検索してヒットしたターゲットキーワードを強調表示するように構成される。
【0160】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記検索モジュールは具体的に、
前記会議オーディオ・ビデオの再生時間軸での、前記ターゲットキーワードが所在する時間点に対応する位置に、検索ヒット提示識別子を表示するように構成される。
【0161】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記装置は、翻訳モジュールをさらに含み、前記翻訳モジュールは、具体的に、
ユーザーによる前記会議字幕及び/又は前記議事録に対する翻訳トリガー操作を受け付け、
前記会議字幕及び前記議事録を初期言語からターゲット言語に翻訳するように構成される。
【0162】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記議事録及び前記会議オーディオ・ビデオにおける会議ビデオは、同一の表示窓に表示され、前記会議ビデオは、前記表示窓の上部領域に表示される。
【0163】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記装置は、スクロール表示モジュールをさらに含み、前記スクロール表示モジュールは、具体的に、
ユーザーによる前記表示窓に対するスクロール操作を受け付けて、前記表示窓における前記会議ビデオ及び前記議事録をスクロール表示するように構成される。
【0164】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記装置は、ビデオ小窓モジュールをさらに含み、前記ビデオ小窓モジュールは、具体的に、
前記表示窓のスクロール中に、前記会議ビデオが前記表示窓の外にシフトされた場合、前記議事録表示インターフェースに前記会議ビデオのビデオ小窓を表示するように構成される。
【0165】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記ビデオ小窓と前記表示窓は、互いに遮蔽していない。
【0166】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記ビデオ小窓モジュールはさらに、
ユーザーによる前記ビデオ小窓における操作可能コントロールに対するトリガー操作を受け付けて、前記ビデオ小窓に対して前記操作可能コントロールに対応するターゲット操作を実行するように構成される。
【0167】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記操作可能コントロールは終了コントロール、一時停止コントロール及び閉じコントロールのうちの少なくとも1つを含み、前記操作可能コントロールに対応するターゲット操作は終了・スキップ操作、再生一時停止操作及び閉じ操作のうちの少なくとも1つを含む。
【0168】
本開示の1つ又は複数の実施例によれば、本開示による議事録のインタラクション装置において、前記議事録は、議題、アジェンダ、議論、結論及び予定タスクのうちの少なくとも1つのタイプを含む。
【0169】
本開示の1つ又は複数の実施例によれば、本開示は、
プロセッサーと、
前記プロセッサーが実行可能な指令を記憶するメモリと、
を含む電子デバイスであって、
前記プロセッサーは、前記メモリから前記実行可能な指令を読み取って、前記指令を実行することで、本開示によって提供される何れか1項に記載の議事録のインタラクション方法を実現する電子機器を提供する。
【0170】
本開示の1つ又は複数の実施例によれば、本開示は、コンピュータ可読記憶媒体を提供し、前記記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムは、本開示によって提供される何れか1項に記載の議事録のインタラクション方法を実行するために使用される。
【0171】
以上の記載は、本開示の好適な実施例、及び適用される技術原理への説明のみである。当業者であれば理解できるように、本開示に係る開示範囲は、上記の技術特徴の特定の組み合わせによる技術案に限定されず、その同時、上記の開示の構想から逸脱することなく、上記の技術特徴又はその等価特徴に対して任意に組み合わせを行うことで形成された他の技術案、例えば、上記の特徴と、本開示に開示された(これに限定されない)類似機能を有する技術特徴とを互いに置き換えることで形成された技術案も含まれるべきである。
【0172】
特定の順序を採用して各操作を記載したが、示される特定の順番、又は順序に従ってこれらの操作を順に実行することを要求するものとして解釈されるべきではない。特定の環境で、マルチタスク及び並行処理は有利である可能性がある。同様に、以上の論述には、いくつかの具体的な実現の詳細が含まれるが、本開示の範囲に対する限定として解釈されるべきではない。単一の実施例の文脈で説明されるいくつかの特徴は、組み合わせて、単一の実施例で実現されてもよい。逆に、単一の実施例の文脈で説明される様々な特徴は、別々に、又は任意の適切なサブ組み合わせの形態で、複数の実施例で実現されてもよい。
【0173】
構成特徴及び/又は方法の論理動作に固有の言語で、本主題を説明したが、添付の特許請求の範囲で限定される主題は、上記の特定の特徴又は動作に限定されないことを理解すべきである。むしろ、上述した特定の特徴及び動作は、特許請求の範囲を実現するための単なる例示的な形態である。