(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-15
(45)【発行日】2023-02-24
(54)【発明の名称】コースウェア記録方法及び装置、コースウェア再生方法及び装置、インテリジェントインタラクティブタブレット、並びに記憶媒体
(51)【国際特許分類】
H04N 21/854 20110101AFI20230216BHJP
H04N 21/231 20110101ALI20230216BHJP
G11B 27/00 20060101ALI20230216BHJP
G06F 3/14 20060101ALI20230216BHJP
【FI】
H04N21/854
H04N21/231
G11B27/00 B
G06F3/14 310B
(21)【出願番号】P 2021529807
(86)(22)【出願日】2019-11-22
(86)【国際出願番号】 CN2019120273
(87)【国際公開番号】W WO2020108402
(87)【国際公開日】2020-06-04
【審査請求日】2021-05-26
(31)【優先権主張番号】201811440867.3
(32)【優先日】2018-11-29
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】515034703
【氏名又は名称】広州視源電子科技股▲分▼有限公司
【氏名又は名称原語表記】GUANGZHOU SHIYUAN ELECTRONICS CO., LTD.
【住所又は居所原語表記】No.6,4th Yunpu Road,Huangpu District,Guangzhou,Guangdong P.R.CHINA
(73)【特許権者】
【識別番号】518298061
【氏名又は名称】▲広▼州▲視▼▲叡▼▲電▼子科技有限公司
【氏名又は名称原語表記】GUANGZHOU SHIRUI ELECTRONICS CO., LTD.
【住所又は居所原語表記】No.192,Kezhu Road,Science Park Guangzhou,Guang Dong,China
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】凌 江▲華▼
【審査官】大西 宏
(56)【参考文献】
【文献】特開平10-240329(JP,A)
【文献】特開平11-259237(JP,A)
【文献】特開2005-260513(JP,A)
【文献】特開2009-294625(JP,A)
【文献】特開2009-302952(JP,A)
【文献】特開2011-253306(JP,A)
【文献】特開2013-223086(JP,A)
【文献】特表2018-517916(JP,A)
【文献】欧州特許出願公開第02535787(EP,A2)
【文献】中国特許出願公開第101316356(CN,A)
【文献】中国特許出願公開第105120195(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/10
H04N 7/14 - 7/173
H04N 7/20 - 7/56
H04N 21/00 -21/858
G06F 3/14 - 3/153
G11B 27/00 -27/06
(57)【特許請求の範囲】
【請求項1】
コースウェアの記録をトリガするための命令を受信した場合、コースウェアの記録機能を起動するステップと、
記録プロセスにおけるコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データを記録するステップと、
コースウェアの記録機能の終了をトリガするための命令を受信した場合、記録されたコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データの記録時間を前記記録プロセスのタイムラインにマッピングし、前記タイムラインに従って前記コースウェア、ユーザオーディオデータ及びユーザ動作データを関連付けて保存し、前記記録プロセスの記録ファイルを生成するステップと、を含み、
前記コースウェアのページには、可動要素が表示され、
前記ユーザ動作データは、ユーザ命令、ユーザ命令の開始時間及び持続時間、ユーザ命令により指向される要素の識別子、並びにユーザ命令の動作中に生成されたデータストリームを含み、
前記ユーザ命令は、可動要素の移動をトリガするためのドラッグ命令を含み、
前記記録プロセスにおいてドラッグ命令が受信された場合、記録されたデータストリームは、前記ドラッグ命令に応答して可動要素によりコースウェアのページにおいて生成された移動軌跡の開始位置パラメータ及び終了位置パラメータを含
み、
前記移動軌跡が直線の移動軌跡であるか否かを決定するステップ、をさらに含み、
前記移動軌跡が非直線の移動軌跡である場合、記録されたデータストリームは、前記移動軌跡の開始位置と終了位置との間の1つ以上の目標位置パラメータ、及び隣接する各2つの目標位置パラメータ間の移動時間をさらに含み、
連続する各3つの目標位置パラメータのうち、1組の隣接する2つの目標位置パラメータにより示される位置点の所在する直線の傾きと、もう1組の隣接する2つの目標位置パラメータにより示される位置点の所在する直線の傾きとの差の絶対値は、所定の閾値よりも大きい、コースウェア記録方法。
【請求項2】
前記1つ以上の目標位置パラメータを取得するステップは、
前記移動軌跡における1つ以上の位置点に対応する位置パラメータを取得するステップと、
フィルタリングアルゴリズムにより前記1つ以上の位置パラメータから前記1つ以上の目標位置パラメータを取得するステップと、を含む、請求項
1に記載のコースウェア記録方法。
【請求項3】
前記記録プロセスにおいて画面キャスト要求が受信された場合、前記画面キャスト要求の要求側装置が受信されたコースウェア、画面キャストプロセスにおいて記録されたコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データに基づいて前記コースウェアのデモンストレーションを再生するように、前記要求側装置に前記コースウェア、コースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データを送信するステップ、をさらに含む、請求項1に記載のコースウェア記録方法。
【請求項4】
前記記録ファイルが生成された後に、前記
コースウェア記録方法は、
サーバに前記記録ファイルをアップロードするステップ、をさらに含む、請求項1に記載のコースウェア記録方法。
【請求項5】
前記ユーザ命令は、手書き命令をさらに含み、
前記
コースウェア記録方法は、
前記記録プロセスにおいて手書き命令が受信された場合、筆跡の開始位置パラメータ及び終了位置パラメータを含むデータストリームを記録するステップ、をさらに含む、請求項1に記載のコースウェア記録方法。
【請求項6】
前記記録プロセスにおいて手書き命令が受信された場合、記録されたデータストリームは、筆跡の色データ及び筆跡の太さデータのうちの少なくとも1つを含む、請求項
5に記載のコースウェア記録方法。
【請求項7】
前記可動要素は、文字、数字、アルファベット、図形、画像、マインドマップ及びアニメーションのうちの少なくとも1つを含む、請求項1に記載のコースウェア記録方法。
【請求項8】
記録ファイルの再生をトリガするための命令を受信した場合、現在指定された再生される記録ファイルから対応するコースウェア、ユーザオーディオデータ及びユーザ動作データを取得するステップであって、前記記録ファイルは、請求項1乃至
7の何れかに記載のコースウェア記録方法により記録された記録ファイルである、ステップと、
コースウェア、ユーザオーディオデータ及びユーザ動作データに対応するユーザ操作を関連付けて同期して再現するように、前記記録ファイルのタイムラインに従って、前記コースウェアを表示し、前記ユーザオーディオデータを再生し、前記ユーザ動作データを実行するステップと、を含む、コースウェア再生方法。
【請求項9】
前記ユーザ動作データに対応するユーザ操作を再現するステップは、
現在実行されているユーザ動作データがドラッグ命令をトリガすることで生成されたデータである場合、前記ドラッグ命令により指向される可動要素を決定するステップと、
前記可動要素の開始位置パラメータに基づいて、前記ドラッグ命令に関連付けられたコースウェアのページにおける対応する領域で前記可動要素を表示するステップと、
前記可動要素の移動速度、並びに前記ドラッグ命令の開始時間及び持続時間に基づいて、補間アルゴリズムにより前記可動要素の開始位置と終了位置との間の取得すべき位置パラメータを取得するステップと、
前記タイムライン及び全ての位置パラメータに基づいて、前記ドラッグ命令に関連付けられたコースウェアのページにおいて
前記移動速度で前記可動要素の移動プロセスを再現するステップと、を含む、請求項
8に記載のコースウェア再生方法。
【請求項10】
前記ユーザ動作データに対応するユーザ操作を再現するステップは、
現在実行されているユーザ動作データがドラッグ命令をトリガすることで生成されたデータである場合、前記ドラッグ命令により指向される可動要素及びその移動軌跡を決定するステップと、
前記可動要素の移動軌跡が非直線の移動軌跡である場合、前記可動要素の開始位置パラメータに基づいて、前記ドラッグ命令に関連付けられたコースウェアのページにおける対応する領域で前記可動要素を表示するステップであって、前記可動要素の位置パラメータは、開始位置パラメータ、終了位置パラメータ、及び開始位置と終了位置との間の1つ以上の目標位置パラメータを含む、ステップと、
前記可動要素の移動速度、並びに前記ドラッグ命令の開始時間及び持続時間に基づいて、補間アルゴリズムにより前記可動要素の各隣接する2つの位置パラメータの間の取得すべき位置パラメータを取得するステップと、
前記タイムライン及び全ての位置パラメータに基づいて、前記ドラッグ命令に関連付けられたコースウェアのページにおいて前記可動要素の移動プロセスを再現するステップと、を含む、請求項
8に記載のコースウェア再生方法。
【請求項11】
コースウェアの記録をトリガするための命令を受信した場合、コースウェアの記録機能を起動するトリガモジュールと、
記録プロセスにおけるコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データを記録する記録モジュールと、
コースウェアの記録機能の終了をトリガするための命令を受信した場合、記録されたコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データの記録時間を前記記録プロセスのタイムラインにマッピングし、前記タイムラインに従って前記コースウェア、ユーザオーディオデータ及びユーザ動作データを関連付けて保存し、前記記録プロセスの記録ファイルを生成する処理モジュールと、を含み、
前記コースウェアのページには、可動要素が表示され、
前記ユーザ動作データは、ユーザ命令、ユーザ命令の開始時間及び持続時間、ユーザ命令により指向される要素の識別子、並びにユーザ命令の動作中に生成されたデータストリームを含み、
前記ユーザ命令は、可動要素の移動をトリガするためのドラッグ命令を含み、
前記記録プロセスにおいてドラッグ命令が受信された場合、記録されたデータストリームは、前記ドラッグ命令に応答して可動要素によりコースウェアのページにおいて生成された移動軌跡の開始位置パラメータ及び終了位置パラメータを含
み、
前記移動軌跡が直線の移動軌跡であるか否かを決定する決定モジュール、をさらに含み、
前記移動軌跡が非直線の移動軌跡である場合、記録されたデータストリームは、前記移動軌跡の開始位置と終了位置との間の1つ以上の目標位置パラメータ、及び隣接する各2つの目標位置パラメータ間の移動時間をさらに含み、
連続する各3つの目標位置パラメータのうち、1組の隣接する2つの目標位置パラメータにより示される位置点の所在する直線の傾きと、もう1組の隣接する2つの目標位置パラメータにより示される位置点の所在する直線の傾きとの差の絶対値は、所定の閾値よりも大きい、コースウェア記録装置。
【請求項12】
記録ファイルの再生をトリガするための命令を受信した場合、現在指定された再生される記録ファイルから対応するコースウェア、ユーザオーディオデータ及びユーザ動作データを取得する取得モジュールであって、前記記録ファイルは、請求項1乃至
7の何れかに記載のコースウェア記録方法により記録された記録ファイルである、取得モジュールと、
コースウェア、ユーザオーディオデータ及びユーザ動作データに対応するユーザ操作を関連付けて同期して再現するように、前記記録ファイルのタイムラインに従って、前記コースウェアを表示し、前記ユーザオーディオデータを再生し、前記ユーザ動作データを実行する再現モジュールと、を含む、コースウェア再生装置。
【請求項13】
プロセッサと、
前記プロセッサにより実行可能なコンピュータプログラムを記憶するメモリと、
音声取り込み装置と、
ディスプレイと、を含み、
前記プロセッサは、前記
コンピュータプログラムを実行する際に、請求項1乃至
7の何れかに記載のコースウェア記録方法のステップを実現し、
前記プロセッサは、請求項1乃至
7の何れかに記載のコースウェア記録方法のステップを実現する際に、前記音声取り込み装置がユーザオーディオデータを取り込み、前記ディスプレイがコースウェアのデモンストレーションを表示するように制御する、インテリジェントインタラクティブタブレット。
【請求項14】
プロセッサと、
前記プロセッサにより実行可能なコンピュータプログラムを記憶するメモリと、
音声再生装置と、
ディスプレイと、を含み、
前記プロセッサは、前記
コンピュータプログラムを実行する際に、請求項
8乃至
10の何れかに記載のコースウェア再生方法のステップを実現し、
前記プロセッサは、請求項
8乃至
10の何れかに記載のコースウェア再生方法のステップを実現する際に、前記音声再生装置がユーザオーディオデータを再生し、前記ディスプレイがコースウェアのデモンストレーションを表示するように制御する、インテリジェントインタラクティブタブレット。
【請求項15】
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
プロセッサは、前記
コンピュータプログラムを実行する際に、請求項1乃至
7の何れかに記載のコースウェア記録方法及び/又は請求項
8乃至
10の何れかに記載のコースウェア再生方法のステップを実現する、記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、2018年11月29日に中国特許庁に出願した出願番号が201811440867.3の中国特許出願に基づく優先権を主張し、該出願の全ての内容を本開示に援用する。
【0002】
本発明は、ネットワーク技術の分野に関し、例えばコースウェア記録方法及び装置、コースウェア再生方法及び装置、インテリジェントインタラクティブタブレット(intelligent interactive tablet)、並びに記憶媒体に関する。
【背景技術】
【0003】
現在、コース教育やウェブ会議の録画、再生の分野では、通常、撮影装置により画面コンテンツを取り込み、音声装置により音声コンテンツを取り込み、コース教育やウェブ会議のコンテンツの録画を実現する。また、コースコンテンツや会議コンテンツの再生を容易にするために、通常、取り込まれたビデオ及びオーディオをサーバに保存する。
【0004】
しかし、関連技術には少なくとも以下の問題がある。ビデオのフォーマットで記録されたファイルのデータ量は通常大きいため、ビデオファイルのアップロードが大量の送信トラフィックを消費し、ビデオファイルの保存が大きな記憶スペースを占有するため、記録及び再生のコストが高くなる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の実施例は、コースウェア記録方法及び装置、コースウェア再生方法及び装置、インテリジェントインタラクティブタブレット、並びに記憶媒体を提供する。
【課題を解決するための手段】
【0006】
本発明では、コースウェアの記録をトリガするための命令を受信した場合、コースウェアの記録機能を起動するステップと、記録プロセスにおけるコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データを記録するステップと、コースウェアの記録機能の終了をトリガするための命令を受信した場合、記録されたコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データの記録時間を前記記録プロセスのタイムラインにマッピングし、前記タイムラインに従って前記コースウェア、ユーザオーディオデータ及びユーザ動作データを関連付けて保存し、前記記録プロセスの記録ファイルを生成するステップと、を含み、前記コースウェアのページには、可動要素が表示され、前記ユーザ動作データは、ユーザ命令、ユーザ命令の開始時間及び持続時間、ユーザ命令により指向される要素の識別子、並びにユーザ命令の動作中に生成されたデータストリームを含み、前記ユーザ命令は、可動要素の移動をトリガするためのドラッグ命令を含み、前記記録プロセスにおいてドラッグ命令が受信された場合、記録されたデータストリームは、前記ドラッグ命令に応答して前記可動要素によりコースウェアのページにおいて生成された移動軌跡の開始位置パラメータ及び終了位置パラメータを含む、コースウェア記録方法を提供する。
【0007】
本発明では、記録ファイルの再生をトリガするための命令を受信した場合、現在指定された再生される記録ファイルから対応するコースウェア、ユーザオーディオデータ及びユーザ動作データを取得するステップであって、前記記録ファイルは、上記のコースウェア記録方法により記録された記録ファイルである、ステップと、コースウェア、ユーザオーディオデータ及びユーザ動作データに対応するユーザ操作を関連付けて同期して再現するように、前記記録ファイルのタイムラインに従って、前記コースウェアを表示し、前記ユーザオーディオデータを再生し、前記ユーザ動作データを実行するステップと、を含む、コースウェア再生方法を提供する。
【0008】
本発明では、コースウェアの記録をトリガするための命令を受信した場合、コースウェアの記録機能を起動するトリガモジュールと、記録プロセスにおけるコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データを記録する記録モジュールと、コースウェアの記録機能の終了をトリガするための命令を受信した場合、記録されたコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データの記録時間を前記記録プロセスのタイムラインにマッピングし、前記タイムラインに従って前記コースウェア、ユーザオーディオデータ及びユーザ動作データを関連付けて保存し、前記記録プロセスの記録ファイルを生成する処理モジュールと、を含み、前記コースウェアのページには、可動要素が表示され、前記ユーザ動作データは、ユーザ命令、ユーザ命令の開始時間及び持続時間、ユーザ命令により指向される要素の識別子、並びにユーザ命令の動作中に生成されたデータストリームを含み、前記ユーザ命令は、可動要素の移動をトリガするためのドラッグ命令を含み、前記記録プロセスにおいてドラッグ命令が受信された場合、記録されたデータストリームは、前記ドラッグ命令に応答して前記可動要素によりコースウェアのページにおいて生成された移動軌跡の開始位置パラメータ及び終了位置パラメータを含む、コースウェア記録装置を提供する。
【0009】
本発明では、記録ファイルの再生をトリガするための命令を受信した場合、現在指定された再生される記録ファイルから対応するコースウェア、ユーザオーディオデータ及びユーザ動作データを取得する取得モジュールであって、前記記録ファイルは、上記のコースウェア記録方法により記録された記録ファイルである、取得モジュールと、コースウェア、ユーザオーディオデータ及びユーザ動作データに対応するユーザ操作を関連付けて同期して再現するように、前記記録ファイルのタイムラインに従って、前記コースウェアを表示し、前記ユーザオーディオデータを再生し、前記ユーザ動作データを実行する再現モジュールと、を含む、コースウェア再生装置を提供する。
【0010】
本発明では、プロセッサと、前記プロセッサにより実行可能なコンピュータプログラムを記憶するメモリと、音声取り込み装置と、ディスプレイと、を含み、前記プロセッサは、前記プログラムを実行する際に、上記のコースウェア記録方法のステップを実現し、前記プロセッサは、上記のコースウェア記録方法のステップを実現する際に、前記音声取り込み装置がユーザオーディオデータを取り込み、前記ディスプレイがコースウェアのデモンストレーションを表示するように制御する、インテリジェントインタラクティブタブレットを提供する。
【0011】
本発明では、プロセッサと、前記プロセッサにより実行可能なコンピュータプログラムを記憶するメモリと、音声再生装置と、ディスプレイと、を含み、前記プロセッサは、前記プログラムを実行する際に、上記のコースウェア再生方法のステップを実現し、前記プロセッサは、上記のコースウェア再生方法のステップを実現する際に、前記音声再生装置がユーザオーディオデータを再生し、前記ディスプレイがコースウェアのデモンストレーションを表示するように制御する、インテリジェントインタラクティブタブレットを提供する。
【0012】
本発明では、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、プロセッサは、前記プログラムを実行する際に、上記のコースウェア記録方法及び/又は上記のコースウェア再生方法のステップを実現する、記憶媒体を提供する。
【0013】
本発明は、以下の効果を有する。
【0014】
コースウェアの記録プロセスでは、タイムラインに従ってコースウェアの記録をコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データという3つの部分に分けて記録し、コースウェアのユーザ操作により発生した変化、例えばコースウェアの可動要素がユーザによりドラッグされることによって生成された移動軌跡をデータストリームの形式で記録して保存する。可動要素の開始位置パラメータ及び終了位置パラメータのみを記録することで可動要素の移動軌跡の記録を実現することができ、ビデオストリームによりコースウェアのデモンストレーション及び可動要素の移動軌跡を記録する関連技術に比べて、コースウェアの記録により発生したデータ量及び記録ファイルを共有する際に発生した送信トラフィックを大幅に低減させ、コース教育又はウェブ会議のコースウェアの記録及び再生のコストを効果的に削減することができる。
【0015】
コースウェアの再生プロセスでは、タイムラインに従ってコースウェアを表示し、ユーザオーディオデータを再生し、ユーザ動作データを実行することで、コースウェア、該ユーザオーディオデータ及び該ユーザ動作データに対応するユーザ操作を関連付けて同期して再現する。これによって、ビデオストリームを保存し、ビデオストリームを解析し、ビデオを再生することでコースウェアのデモンストレーションプロセスを再現する関連技術に比べて、記録ファイルのメモリ占有量及びデータ解析量を低減させ、コースウェアの再生効率を向上させることができる。
【図面の簡単な説明】
【0016】
【
図1】本発明の1つの例示的な実施例に係るコースウェア記録方法のフローチャートである。
【
図2】本発明の1つの例示的な実施例に係る可動要素の直線の移動軌跡の概略図である。
【
図3】本発明の1つの例示的な実施例に係る移動軌跡の目標位置点の取得の概略図である。
【
図4】本発明の1つの例示的な実施例に係るコースウェア再生方法のフローチャートである。
【
図5】本発明の1つの例示的な実施例に係るコースウェア記録装置の構成のブロック図である。
【
図6】本発明の1つの例示的な実施例に係るコースウェア再生装置の構成のブロック図である。
【発明を実施するための形態】
【0017】
ここで、図面を参照しながら例示的な実施例を詳細に説明する。以下は、図面を説明する際に、特に明記しない限り、異なる図面において同一の符号で同一又は類似の要素を示す。
【0018】
本発明及びクレームに記載される単数形の「1つ」、「前記」及び「該」は、文脈が他の意味を明記しない限り、複数形を含む。なお、本明細書に記載される用語「及び/又は」とは、1つ又は複数の関連する項目の任意又は全ての可能な組み合わせを意味する。
【0019】
なお、本発明では、用語「第1」、「第2」、「第3」等を用いて各種の情報を説明するが、これらの情報はこれらの用語に限定されない。これらの用語は、単に同一の種類の情報を互いに区別するために用いられる。例えば、本発明の範囲から逸脱しない限り、第1情報は第2情報と称されてもよく、同様に、第2情報は第1情報と称されてもよい。文脈に応じて、本明細書に記載される「…と、…」は、「…場合、…」、「…とき、…」又は「…に応じて、…と決定する」と解釈されてもよい。
【0020】
コースウェア記録の態様では、本発明の実施例は、コースウェア記録方法を提供し、該コースウェア記録方法は、教育コースウェア又は会議コースウェアの記録を実現するように、コースウェア記録装置により実行されてもよい。該コースウェア記録装置は、ソフトウェア及び/又はハードウェアにより実現されてもよく、2つ又は複数の物理的エンティティにより構成されてもよく、1つの物理的エンティティにより構成されてもよい。該コースウェア記録装置は、コンピュータ、携帯電話、タブレットコンピュータ、プロジェクタ又はインテリジェントインタラクティブタブレットに属する機能モジュールであってもよいし、コンピュータ、携帯電話、タブレットコンピュータ、プロジェクタ又はインテリジェントインタラクティブタブレットであってもよい。
【0021】
本実施例では、コースウェア記録装置がインテリジェントインタラクティブタブレット又はインテリジェントインタラクティブタブレットに属する機能モジュールであることを一例にして説明する。ここで、インテリジェントインタラクティブタブレットは、ディスプレイに表示されたコンテンツをタッチ技術により制御し、人間とコンピュータとのインタラクション操作を実現する統合装置であり、プロジェクタ、電子ホワイトボード、スクリーン、ステレオ、テレビ及びビデオ会議端末などの1つ又は複数の機能を統合してもよい。
【0022】
1つの実施例では、インテリジェントインタラクティブタブレットは、少なくとも1つの外部装置とのデータ接続を確立してもよい。外部装置は、携帯電話、ノートブックコンピュータ、USBフラッシュドライブ、タブレットコンピュータ、デスクトップコンピュータ及びサーバなどを含んでもよいが、これらに限定されない。本実施例は、該外部装置とインテリジェントインタラクティブタブレットとの間のデータ接続の通信モードに限定されなく、例えば、通信モードは、USB接続、インターネット、ローカルエリアネットワーク、ブルートゥース(登録商標)、WIFI、又はジグビープロトコル(ZigBee)を含んでもよいが、これらに限定されない。
【0023】
好ましくは、インテリジェントインタラクティブタブレットは、コースウェア記録アプリケーションソフトウェアがインストールされてもよい。該インテリジェントインタラクティブタブレットは、該コースウェア記録アプリケーションソフトウェアを予めインストールしてもよいし、コースウェア記録機能を起動する際にサードパーティ(third party)の装置又はサーバから該コースウェア記録アプリケーションソフトウェアをダウンロードしてインストールしてもよい。ここで、本実施例は、該サードパーティ装置に限定されない。
【0024】
幾つかの実施例では、コースウェア記録アプリケーションソフトウェアは、ユーザがコースウェアのデモンストレーションを行う際にコースウェアを操作することで生成されたユーザ動作データ、及びユーザがコースウェアを解説する際に生成されたユーザオーディオデータを取得し、記録のタイムラインに従って該ユーザ動作データ、該ユーザオーディオデータ及び該コースウェアを関連付けるために用いられる。
【0025】
図1は、本発明の1つの例示的な実施例に係るコースウェア記録方法のフローチャートである。
図1に示すように、本実施例に係るコースウェア記録方法は、以下のステップを含む。
【0026】
S011:コースウェアの記録をトリガするための命令を受信した場合、コースウェアの記録機能を起動する。
【0027】
S012:記録プロセスにおけるコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データを記録する。
【0028】
S013:コースウェアの記録機能の終了をトリガするための命令を受信した場合、記録されたコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データの記録時間を該記録プロセスのタイムラインにマッピングし、該タイムラインに従って該コースウェア、ユーザオーディオデータ及びユーザ動作データを関連付けて保存し、該記録プロセスの記録ファイルを生成する。
【0029】
ここで、該コースウェアのページには、可動要素が表示される。該ユーザ動作データは、ユーザ命令、ユーザ命令の開始時間及び持続時間、ユーザ命令により指向される要素の識別子、並びにユーザ命令の動作中に生成されたデータストリームを含む。該ユーザ命令は、可動要素の移動をトリガするためのドラッグ命令を含む。該記録プロセスにおいてドラッグ命令が受信された場合、記録されたデータストリームは、該ドラッグ命令に応答して可動要素によりコースウェアのページにおいて生成された移動軌跡の開始位置パラメータ及び終了位置パラメータを含む。
【0030】
教育分野又は作業分野では、学生又はスタッフがデモンストレーションの内容を再確認し、或いはより多くの学生又はスタッフにコースウェアのデモンストレーションプロセスを共有するために、今回の授業又は今回の会議のコースウェアのデモンストレーションプロセスを記録する必要がある場合、インテリジェントインタラクティブタブレットのコースウェア記録アプリケーションソフトウェアを起動し、該コースウェア記録アプリケーションソフトウェアのユーザインターフェースにおいて現在のデモンストレーションに必要なコースウェアを選択してもよい。
【0031】
コースウェアを選択した後、ユーザインターフェースに構成された記録ウィジェット(widget)をクリックし、コースウェア記録をトリガするための命令を入力し、コースウェア記録機能を起動してもよい。該コースウェアは、事前に該コースウェア記録アプリケーションソフトウェアにインポートされてもよい。例えば、インテリジェントインタラクティブタブレットに接続されたUSBフラッシュメモリに保存されたコースウェア又はウェブページからダウンロードされたコースウェアを該コースウェア記録アプリケーションソフトウェアのコースウェアフォルダに保存してもよい。コースウェア記録アプリケーションソフトウェアの起動後にサードパーティの装置又はサーバから該コースウェアを取得してもよい。例えば、該コースウェア記録アプリケーションソフトウェアは、インテリジェントインタラクティブタブレットに保存された全てのコースウェア及び/又はインテリジェントインタラクティブタブレットに接続されたサードパーティの装置に保存された全てのコースウェアを自動的に認識し、或いは該コースウェア記録アプリケーションソフトウェアを介してユーザのオンラインストレージに接続してユーザのオンラインストレージからコースウェアを取得してもよい。
【0032】
該コースウェアは、PPT(パワーポイントファイル)であってもよいし、Easinoteコースウェアであってもよい。
【0033】
コースウェア記録機能を起動すると、該コースウェア記録アプリケーションソフトウェアは、記録プロセスにおけるコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データを自動的に記録する。ここで、コースウェアのページ識別子は、コースウェアのページ番号であってもよい。例えば、コースウェアがPPTであり、現在表示されているページがPPTの3ページ目である場合、該ページ識別子はPPT3として記録されてもよい。該ユーザオーディオデータは音声取り込み装置により取り込まれてもよく、該音声取り込み装置により取り込まれたユーザオーディオデータは時間で連続的なデータである。なお、ユーザオーディオデータの録音時間は録音プロセスの録音時間に等しくてもよい。該音声取り込み装置は、インテリジェントインタラクティブタブレットに属する機能モジュールであってもよいし、インテリジェントインタラクティブタブレットの外部の装置であってもよい。ユーザ動作データは、ユーザがコースウェアのコンテンツを操作する際に生成されたデータ、例えばユーザがページを捲る際に生成されたページ捲り命令及びコースウェアページの変化、ユーザがコースウェア内の可動要素を移動する際にトリガされたドラッグ命令、並びに可動要素の位置変化及び移動時間の長さを意味する。後続のコースウェアのデモンストレーションを再現する際に、記録されたデータによりコースウェアのデモンストレーションを再現できるように、コースウェアのページ識別子及びユーザ動作データを記録する際に、ページ識別子及びユーザ動作データが変化した時間と記録開始時間との間の時間間隔を同時に記録してもよい。
【0034】
デモンストレーションの終了時に記録機能を終了する必要がある場合、コースウェア記録アプリケーションソフトウェアの現在のインターフェイスに構成された記録終了ウィジェットをクリックし、コースウェア記録機能の終了をトリガする命令を入力し、現在の記録を終了してもよい。この際に、該コースウェア記録アプリケーションソフトウェアは、記録されたコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データの記録時間を該記録プロセスのタイムラインにマッピングし、該タイムラインに従って該コースウェア、ユーザオーディオデータ及びユーザ動作データを関連付けて保存し、該記録プロセスの記録ファイルを生成する。このように、コースウェアのデモンストレーションプロセスをリプレイする際に、タイムラインを実行し、コースウェアのページ識別子及び/又はユーザ動作データが関連付けられている時間が実行された場合、該コースウェアのページ識別子及び/又はユーザ動作データを読み取り、対応するコンテンツを表示するようにディスプレイを制御してもよい。例えば、ユーザが該タイムラインの60s(秒)目にページ捲り命令をトリガしたことがユーザ動作データに記録されている場合、タイムラインの60s目を実行する際に、コースウェアのページを捲り、ページ捲り後のページの識別子は60s目に記録されたページの識別子と一致する。
【0035】
好ましい実施例では、同一の開始時間に同一のユーザ操作により生成されたユーザ動作データは、以下の形式で記録されてもよい。
【0036】
即ち、ユーザ操作の開始時間と記録開始時間との間の時間間隔、ユーザにより操作される要素のID、コースウェアの現在のページのページID、ユーザ操作の開始時間、ユーザ操作によりトリガされたユーザ命令のタイプ、記録開始時間、ユーザ操作に応じて生成されたデータ(即ち、ユーザ命令の動作中に生成されたデータストリーム)で記録されてもよい。
【0037】
上記の項目は文言の形式で表現されているが、実際の記録では、上記の文言に対応するプログラムコード及び/又はデータに置き換えてもよい。
【0038】
以上は、上記の記録におけるユーザ操作の開始時間と記録開始時間との間の時間間隔、及びユーザ操作の開始時間という2つのデータから、ユーザ操作の開始時間を取得しているが、データの記録プロセスにおいて、システムスレッドがブロックされることにより、記録されたユーザ操作の開始時間と記録開始時間との間の時間間隔のデータが大きすぎる可能性はある。このため、ユーザ操作の開始時間と記録開始時間との間の時間間隔について記録されたデータのみに基づいてユーザ操作の開始時間を決定すると、明らかに大きい偏差が生じるため、取得されたユーザ操作の開始時間が実際の開始時間に比べて遅延してしまう。従って、この問題を解決するために、ユーザ操作の開始時間のデータをさらに記録し、直接ユーザ操作の開始時間を記録することで、ユーザ操作の開始時間を補正することができると共に、上記のユーザ動作データに対応するユーザ操作の開始時間を迅速に決定することができ、記録されたユーザ操作の開始時間の正確度を確保することができる。
【0039】
以上のことから、記録されたユーザ動作データは、記録プロセスにおいて特定の期間のユーザ操作動作及び該ユーザ操作動作により生じられたデータ変化であり、動作タイプ(ユーザ命令タイプと理解されてもよい)、コースウェアのページID、動作開始時間、記録開始時間、動作持続時間、ユーザ動作による変更データなどを含む。ユーザ動作データ及びページ識別子の取り込みプロセスはタイムラインに基づくものであり、タイムラインにおける時点に一連のデータが関連付けられてもよい。この例では、該ページ識別子は、該ユーザ動作データの一部として記録される。
【0040】
好ましくは、該記録ファイルは、JSONテキストフォーマットのファイルであってもよいし、他のテキストフォーマットのファイルであってもよい。
【0041】
コースウェアの記録プロセスにおいて、ユーザは、可動要素がコースウェアの現在のページ内で移動するように、コースウェアにおいて少なくとも1つの該可動要素をドラッグしてもよい。ユーザが可動要素をドラッグする際に、ドラッグ命令を生成するようにトリガする。この際に、本実施例では、該可動要素の移動データの収集量を低減させるために、コースウェアのページにおいて該可動要素をドラッグすることによって生成された移動軌跡の開始位置パラメータ及び終了位置パラメータのみを記録してもよい。
【0042】
好ましくは、該可動要素は、コースウェアに属する要素であってもよいし、該コースウェア記録アプリケーションソフトウェアにより提供される要素であってもよい。ここで、該コースウェア記録アプリケーションソフトウェアは、該コースウェアを取得した後に、該コースウェアの各ページの各要素を認識してもよい。例えば、各要素を元のページから分離し、元のページから分離してユーザが移動できる個体となるように、連結成分の認識方法又は画像認識の方法により各要素を認識してもよい。該可動要素は、文字、図形、アルファベット、写真、マインドマップ、アニメーション、ウィジェットのうちの少なくとも1つを含んでもよい。ここで、該可動要素が文字である場合、連語の認識方法により連語を単位として文字をそれぞれ認識してもよく、他の文字と連語を組み合わせることができない文字の場合、個別に認識してもよい。また、可動要素に加えて、ユーザにより移動できない固定要素が存在する場合があり、該固定要素は、文字、図形、アルファベット、写真、マインドマップ、アニメーション、ウィジェットのうちの少なくとも1つを含んでもよい。
【0043】
好ましくは、該開始位置パラメータ及び該終了位置パラメータは、ディスプレイの解像度又はコースウェアのページを基準として算出された画素座標位置であってもよい。
【0044】
直線の移動軌跡の場合は、該移動軌跡を復元するために開始位置パラメータ及び終了位置パラメータのみを記録すれば良く、また、記録されるデータを低減し、記録されたデータにより移動軌跡を再現する際に発生するエラーを回避することができる。以下は、一例を参照しながらその理由を説明する。
【0045】
図2は本発明の1つの例示的な実施例に係る可動要素の直線の移動軌跡の概略図である。
図2に示すように、
図2における点Aと点Bとの間に600個の画素点が介在すると仮定する。この直線の移動において各位置情報を記録する場合、通常600個の位置点の情報を記録する必要があり、一方、隣接する各2つの位置点の間の差が1ms未満である可能性があるため、記録されるデータが多すぎ、プログラムにより隣接する2つの点の間の時間差を認識することができなくなり、移動軌跡の再現にエラーが発生する可能性がある。従って、上記の問題を回避するために、本実施例は、移動軌跡のデータ収集スキームを最適化する。点Aから点Bまでの移動は直線の変位であるため、点A及び点Bの位置パラメータのみを記録すれば良く、後続の移動軌跡の再現プロセスにおいて、補間アルゴリズムにより点Aと点Bとの間の位置点を自動的に生成すれば良い。具体的な直線の移動軌跡の再現プロセスは以下の通りである。
【0046】
上記の例では、可動要素が点Aから点Bに移動するために必要な時間が800msであると仮定すると、ディスプレイのリフレッシュレートが60フレーム/s(即ち60fps)であり、可動要素の点Aから点Bまでの移動が均一な速度の移動であることを一例にする。この場合、ディスプレイが1つのフレームを再生するために約16msがかかるため、16ms/フレームを可動要素の移動速度として用いて、点Aから点Bまで再生する必要のあるフレーム数は800÷16=50として算出された。該50フレームには、開始位置の点Aの所在するフレーム及び終了位置の点Bの所在するフレームが含まれる。可動要素の残りの48フレームにおける位置点は、補間アルゴリズムにより一定速度の直線の移動という条件で、点Aの位置及び/又は点Bの位置に基づいて算出されてもよい。これによって、該直線の移動軌跡を再現する際に、記録されていない位置パラメータを補完し、スムーズな移動プロセスを表示することができる。
【0047】
以上のことから、本発明の実施例は、ビデオストリームの代わりにテキストデータ(データストリーム)を用いることで、記憶コスト及び伝送コストを大幅に削減することができる。例えば、60分間内で本発明に係るコースウェア記録方法により収集されたユーザ動作データのサイズは通常5Mを超えず、一方、ビデオストリームに基づくコースウェア記録方法により取得されたビデオデータは高いサイズの600Mとなり、両者の差異は明らかである。また、伝送に関しては、本発明は、テキストデータを伝送するものであるため、ネットワーク品質への要求を軽減することができ、また、テキストデータの読み取りに僅か数秒しかかからず、途中でラグ(lag)が発生しないため、クライアントが記録ファイルを迅速に取得することができる。さらに、ビデオ録画モードを使用しないため、記録ファイルの記録プロセスでは、高解像度のカメラを使用する必要がなくなり、ハードウェアコストを削減することができる。
【0048】
これによって、コースウェアの記録プロセスでは、タイムラインに従ってコースウェアの記録をコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データ(或いは、コースウェアのページ識別子を該ユーザ動作データに記録する)という部分に分けて記録し、コースウェアのユーザ操作により発生した変化、例えばコースウェアの可動要素がユーザによりドラッグされることによって生成された移動軌跡をデータストリームの形式で記録して保存する。可動要素の開始位置パラメータ及び終了位置パラメータのみを記録することで可動要素の移動軌跡の記録を実現することができ、ビデオストリームによりコースウェアのデモンストレーション及び可動要素の移動軌跡を記録する関連技術に比べて、コースウェアの記録により発生したデータ量及び記録ファイルを共有する際に発生した送信トラフィックを大幅に低減させ、コース教育又はウェブ会議のコースウェアの記録及び再生のコストを効果的に削減することができる。
【0049】
しかし、ユーザが可動要素をドラッグするプロセスでは、可動要素がドラッグされることによって生成された移動軌跡は直線的なものではない場合が多く、可動要素の移動の速度が均一ではないため、可動要素の開始位置及び終了位置に基づいて直線の移動軌跡を復元できるが、該移動軌跡がコースウェアのデモンストレーション中の実際の移動軌跡と明らかに一致せず、ユーザエクスペリエンスにある程度影響を与えてしまう。従って、再現された移動軌跡と実際の移動軌跡との整合性を向上させ、ユーザエクスペリエンス及び移動軌跡の再現効果を向上させるために、移動軌跡のデータ記録を最適化する必要がある。1つの実施例では、コースウェア記録方法は、以下のステップをさらに含む。
【0050】
S021:該移動軌跡が直線の移動軌跡であるか否かを決定する。
【0051】
S022:該移動軌跡が非直線の移動軌跡である場合、記録されたデータストリームは、該移動軌跡の開始位置と終了位置との間の1つ以上の目標位置パラメータをさらに含む。
【0052】
ここで、連続する各3つの目標位置パラメータのうち、1組の隣接する2つの目標位置パラメータにより示される位置点の所在する直線の傾き、及びもう1組の隣接する2つの目標位置パラメータにより示される位置点の所在する直線の傾きは、所定の条件を満たす。
【0053】
記録プロセスでは、ドラッグ命令がトリガされた後、最初に、可動要素の移動中の特定のセグメントにおける少なくとも3つの位置パラメータを収集し、該位置パラメータにより示される位置点の所在する線が直線であるか否かを判断してもよい。直線でない場合、該移動軌跡が直線の移動軌跡ではないと判断し、そうでない場合、該移動軌跡が直線の移動軌跡であると判断してもよい。しかし、ユーザが可動要素をドラッグすることによって生成される移動が直線の移動である場合が少ないため、この場合は、他の実施例では、該ステップS021を削除してもよい。即ち、ドラッグ命令がトリガされた場合、記録される可動要素の移動軌跡の位置パラメータは、開始位置パラメータ及び終了位置パラメータだけでなく、開始位置と終了位置との間の1つ以上の目標位置パラメータを含む。また、別の実施例では、ユーザのより多くのニーズを満たすために、上記のドラッグ命令に加えて、直線ドラッグ命令をさらに構成してもよい。この場合、トリガされたドラッグ命令が直線ドラッグ命令である場合、記録される可動要素の移動軌跡の位置パラメータは、開始位置パラメータ及び終了位置パラメータのみを含んでもよい。
【0054】
該所定の条件とは、連続する各3つの目標位置パラメータのうち、1組の隣接する2つの目標位置パラメータにより示される位置点の所在する直線の傾きと、もう1組の隣接する2つの目標位置パラメータにより示される位置点の所在する直線の傾きとの差の絶対値が所定の閾値よりも大きいことである。ここで、該所定の閾値は、経験又は実験に基づいて取得されてもよいが、本実施例はこれに限定されない。ここで、隣接する各2つの位置点の傾きを計算する際に、この2つの点を1つの直線として連結しなくてもよく、隣接する2つの位置点の位置パラメータに基づいて2つの点の所在する直線の傾きを直接計算してもよい。
【0055】
1つの実施例では、該1つ以上の目標位置パラメータを取得するステップは、以下のステップを含む。
【0056】
S031:所定の時間間隔で該移動軌跡における1つ以上の位置点に対応する位置パラメータを取得する。
【0057】
S032:所定の条件に基づいて、フィルタリングアルゴリズムにより該1つ以上の位置パラメータから該1つ以上の目標位置パラメータを取得する。
【0058】
以下は、一例を参照しながら、該1つ以上の目標位置パラメータを取得するステップを説明する。
【0059】
図3は、本発明の1つの例示的な実施例に係る移動軌跡の目標位置点の取得の概略図である。
図3に示すように、最初に、該移動軌跡における各位置点の位置パラメータを記録し、開始位置パラメータ(
図3における点Aの所在する位置パラメータ)及び終了位置パラメータ(
図3における点Gの所在する位置パラメータ)を保留する。次に、フィルタリングアルゴリズムにより該所定の条件に基づいて、Aの後の2つの位置点B及びCを選択する。ここで、A及びBの所在する直線の傾きとB及びCの所在する直線の傾きとの差の絶対値は該所定の閾値よりも大きい。この場合、AとCとの間の移動軌跡の変化が大きいことを意味し、直線移動と見なされないため、点Bを保留する必要がある。同様に、3つの点D、E、Fを決定してもよい。このように、最終的には、該移動軌跡における7つの点A、B、C、D、E、F及びGに対応する位置パラメータのみを保留し、他の位置パラメータを削除する。これによって、再現された移動軌跡と実際の移動軌跡との整合性を向上させることができると共に、記録されたデータ量を低減させることができる。
【0060】
1つの実施例では、該移動軌跡が非直線の移動軌跡である場合、記録されたデータストリームは、隣接する各2つの目標位置パラメータ間の移動時間をさらに含んでもよい。該移動時間とは、可動要素が一方の目標位置パラメータから隣接する他方の目標位置パラメータまでに移動するための時間である。このため、所定の移動速度を可動要素の移動速度として用いる方法に比べて、該移動時間に基づいて可動要素の隣接する各2つの点の間の実際の移動速度を算出することができ、移動速度に基づいて適切な数の位置パラメータを取得することができるため、実際の移動軌跡との整合性をさらに向上させることができる。
【0061】
1つの実施例では、記録ファイルの取得、保存、及び共有を容易にするために、該記録ファイルが生成された後に、サーバに該記録ファイルをアップロードしてもよいし、サードパーティ装置に該記録ファイルを共有してもよい。
【0062】
1つの実施例では、該記録プロセスにおいて画面キャスト要求が受信された場合、該画面キャスト要求の要求側装置が受信されたコースウェア、画面キャストプロセスにおいて記録されたコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データに基づいて該コースウェアのデモンストレーションを再生するように、要求側装置に該コースウェア、コースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データを送信してもよい。
【0063】
ここで、要求側装置が1つ又は複数あり、その詳細は実際の応用シナリオに応じて設定されてもよく、本実施例はこれに限定されない。また、要求側装置は、携帯電話、ノートブックコンピュータ、USBフラッシュドライブ、タブレットコンピュータ、デスクトップコンピュータ及びサーバなどを含んでもよいが、これらに限定されない。
【0064】
好ましくは、インテリジェントインタラクティブタブレット及び/又は要求側装置は、画面キャストアプリケーションソフトウェアがインストールされてもよい。該画面キャストアプリケーションソフトウェアは、該インテリジェントインタラクティブタブレット及び/又は要求側装置に予めインストールされてもよいし、該インテリジェントインタラクティブタブレット及び/又は要求側装置が画面キャスト機能を起動する際にサードパーティの装置又はサーバからダウンロードされてインストールされてもよい。ここで、本実施例は、該サードパーティ装置に限定されない。
【0065】
好ましくは、記録プロセスにおいて記録されたデータは、直接又は間接の送信方式で要求側装置に送信されてもよい。間接送信の場合、インテリジェントインタラクティブタブレットは、記録プロセスにおいて記録されたデータを転送装置を介して要求側装置に送信してもよい。該転送装置は、無線画面キャスト装置であってもよいし、データ転送/処理機能を備える他の装置であってもよい。要求側装置は、記録プロセスにおいて記録されたデータを受信した後、該データを対応するコンテンツに変換して表示する。
【0066】
なお、要求側装置のディスプレイの解像度がインテリジェントインタラクティブタブレットのディスプレイの解像度と異なる場合、記録プロセスにおいて記録されたデータがインテリジェントインタラクティブタブレットの解像度に基づいて取得されるため、要求側装置のディスプレイに該データを好適に表示するために、画面キャストアプリケーションソフトウェアは、要求側装置のディスプレイ及びインテリジェントインタラクティブタブレットのディスプレイの解像度に基づいて画面のマッピング関係を決定し、画面のマッピング関係に基づいて該データを変換してデモンストレーション内容を取得してもよい。なお、本実施例では、要求側装置により表示されるデモンストレーション内容と記録プロセスのデモンストレーション内容とは実質的に同一であるが、解像度は異なる場合がある。
【0067】
1つの実施例では、上記のタイプのユーザ命令に加えて、該ユーザ命令は、手書き命令、筆跡色の入力命令、筆跡太さの入力命令、コースウェアにおける要素を拡大/縮小するための拡大/縮小命令、ページ捲り命令、再生命令、一時停止命令、停止命令、早送り命令、巻き戻し命令などを含んでもよいが、これらに限定されない。ここで、上記の各命令は、該コースウェア記録アプリケーションソフトウェアのユーザインターフェースに構成されたウィジェットにより入力されてもよいし、音声制御の方法により入力されてもよいが、本実施例はこれに限定されない。
【0068】
ここで、該記録プロセスにおいて手書き命令が受信された場合、上記の移動軌跡のデータ記録方法より筆跡のデータ記録を実現してもよい。即ち、筆跡のデータストリームは、筆跡の開始位置パラメータ及び終了位置パラメータを含んでもよいし、筆跡の開始位置パラメータ、終了位置パラメータ、及び開始位置と終了位置との間の1つ以上の目標位置パラメータを含んでもよい。
【0069】
他の実施例では、再現された筆跡と実際の筆跡との整合性を向上させるために、筆跡のデータストリームは、筆跡の色データ及び筆跡の太さデータのうちの少なくとも1つをさらに含んでもよい。
【0070】
上記の実施例の何れかに係るコースウェア記録方法により記録された記録ファイルを再生するという観点から、本発明の実施例は、コースウェア再生方法をさらに提供する。
図4は、本発明の1つの例示的な実施例に係るコースウェア再生方法のフローチャートである。
図4に示すように、該コースウェア再生方法は、以下のステップを含む。
【0071】
S051:記録ファイルの再生をトリガするための命令を受信した場合、現在指定された再生される記録ファイルから対応するコースウェア、ユーザオーディオデータ及びユーザ動作データを取得する。
【0072】
S052:コースウェア、ユーザオーディオデータ及びユーザ動作データに対応するユーザ操作を関連付けて同期して再現するように、該記録ファイルのタイムラインに従って、該コースウェアを表示し、該ユーザオーディオデータを再生し、該ユーザ動作データを実行する。
【0073】
ここで、該記録ファイルは、上記の実施例の何れかに係るコースウェア記録方法により記録された記録ファイルである。コースウェアのデモンストレーションを再現するように、該記録ファイルのタイムラインに従って、該コースウェアを表示し、該ユーザオーディオデータを再生し、該ユーザ動作データを実行する方法は、例えば直線移動軌跡の再現プロセスについての具体的な説明などの上記の関連説明を参照してもよいし、上記の関連説明を参照しながら以下の説明に基づいて該デモンストレーションの再現を理解してもよい。
【0074】
本発明の実施例は、コースウェアの再生プロセスでは、タイムラインに従ってコースウェアを表示し、ユーザオーディオデータを再生し、ユーザ動作データを実行することで、コースウェア、該ユーザオーディオデータ及び該ユーザ動作データに対応するユーザ操作を関連付けて同期して再現する。これによって、ビデオストリームを保存し、ビデオストリームを解析し、ビデオを再生することでコースウェアのデモンストレーションプロセスを再現する関連技術に比べて、記録ファイルのメモリ占有量及びデータ解析量を低減させ、コースウェアの再生効率を向上させることができる。
【0075】
1つの態様では、該移動軌跡が直線の移動軌跡であり、或いは記録された移動軌跡のデータストリームに開始位置パラメータ及び終了位置パラメータのみが含まれる場合、該ユーザ動作データに対応するユーザ操作を再現するステップは、以下のステップを含む。
【0076】
S061:現在実行されているユーザ動作データがドラッグ命令をトリガすることで生成されたデータである場合、該ドラッグ命令により指向される可動要素を決定する。
【0077】
S062:該可動要素の開始位置パラメータに基づいて、該ドラッグ命令に関連付けられたコースウェアのページにおける対応する領域で該可動要素を表示する。
【0078】
S063:所定の移動速度、並びに該ドラッグ命令の開始時間及び持続時間に基づいて、補間アルゴリズムにより該可動要素の開始位置と終了位置との間の取得すべき位置パラメータを取得する。
【0079】
S064:該タイムライン及び全ての位置パラメータに基づいて、該ドラッグ命令に関連付けられたコースウェアのページにおいて該所定の移動速度で該可動要素の移動プロセスを再現する。
【0080】
ここで、該ドラッグ命令により指向される可動要素は、記録された対応時間の要素識別子に基づいて決定されてもよい。該所定の移動速度は、上記の関連説明を参照し、16ms/フレームであってもよい。
【0081】
一方、該移動軌跡が非直線の移動軌跡である場合、該ユーザ動作データに対応するユーザ操作を再現するステップは、以下のステップを含む。
【0082】
S071:現在実行されているユーザ動作データがドラッグ命令をトリガすることで生成されたデータである場合、該ドラッグ命令により指向される可動要素及びその移動軌跡を決定する。
【0083】
S072:該可動要素の移動軌跡が非直線の移動軌跡である場合、該可動要素の開始位置パラメータに基づいて、該ドラッグ命令に関連付けられたコースウェアのページにおける対応する領域で該可動要素を表示する。ここで、該可動要素の位置パラメータは、開始位置パラメータ、終了位置パラメータ、及び開始位置と終了位置との間の1つ以上の目標位置パラメータを含む。
【0084】
S073:所定の移動速度、並びに該ドラッグ命令の開始時間及び持続時間に基づいて、補間アルゴリズムにより該可動要素の各隣接する2つの位置パラメータの間の取得すべき位置パラメータを取得する。
【0085】
S074:該タイムライン及び全ての位置パラメータに基づいて、該ドラッグ命令に関連付けられたコースウェアのページにおいて該可動要素の移動プロセスを再現する。
【0086】
ここで、該ドラッグ命令により指向される可動要素は、記録された対応時間の要素識別子に基づいて決定されてもよい。該所定の移動速度は、上記の関連説明を参照し、16ms/フレームであってもよい。
【0087】
該可動要素の移動軌跡を復元するために必要な位置パラメータを取得した後、所定の移動速度を可動要素の移動プロセスにおける移動速度として用い、取得された位置パラメータに基づいて補間アルゴリズムにおけるベジェ曲線によりフィッティングを行うことで、可動要素の移動に伴って徐々に生成された曲線を取得してもよい。
【0088】
但し、実際には、各2つの位置点の間の移動速度は必ずしも同一ではなく、該所定の移動速度と等しくない場合もある。従って、可動要素により再現された移動軌跡が実際の移動軌跡により合致するために、1つの実施例では、該移動軌跡が非直線の移動軌跡である場合、記録されたデータストリームは、隣接する各2つの目標位置パラメータの間の移動時間をさらに含んでもよい。該移動時間とは、可動要素が一方の目標位置パラメータから他方の目標位置パラメータまでに移動することにかかる時間である。これによって、さらに改善された該ユーザ動作データに対応するユーザ操作の再現プロセスは、以下のステップを含む。
【0089】
S081:該可動要素の移動軌跡が非直線の移動軌跡である場合、該可動要素の開始位置パラメータに基づいて、該ドラッグ命令に関連付けられたコースウェアのページの対応する領域において該可動要素を表示する。
【0090】
S082:各2つの隣接する目標位置パラメータ間の移動時間が所定の期間よりも大きいか否かを判断する。
【0091】
S083:移動時間が所定の期間よりも大きい2つの目標位置パラメータについて、イージング(easing)アルゴリズムにより両者の間の取得すべき位置パラメータを計算する。
【0092】
S084:移動時間が所定の期間以下である2つの目標位置パラメータについて、補間アルゴリズムにより両者の間の取得すべき位置パラメータを取得する。
【0093】
S085:各2つの隣接する目標位置パラメータの移動時間、距離及び所定の移動速度に基づいて、可動要素の各2つの隣接する目標位置パラメータ間での実際の移動速度を計算する。
【0094】
S086:該タイムライン及び全ての位置パラメータに基づいて、該ドラッグ命令に関連付けられたコースウェアのページにおいて該実際の移動速度で該可動要素の移動プロセスを再現する。
【0095】
該所定の期間は、実験又は経験に基づいて取得されてもよく、例えば該所定の期間は160msに設定されてもよい。該イージングアルゴリズムは、Quadratic(t^2)というイージング式に基づく計算を実現するためのアルゴリズムであってもよい。以下は、該所定の期間が160msであり、且つ
図3に示す移動軌跡を一例にして、該ステップS082~S086に示される適用プロセスを説明する。
【0096】
線分CDの長さが30px(点Cと点Dとの間の距離として理解されてもよい)であり、記録された可動要素のCからDへの移動にかかる移動時間が48msであると仮定する。これによって、CからDへの移動時間は該所定の期間よりも小さい場合、このような移動時間が160ms未満の2つの位置点について、CとDとの間の移動が均一な移動とみなしてもよいため、補完後の位置点の数が60fpsの要求を満たすように、補間アルゴリズムを用いてCとDとの間の他の位置点を均等に補完してもよい。このように、CからDまで再生するために必要なフレーム数は48÷16=3と算出できる。従って、CとDとの間に2つの位置点を追加する必要がある。この場合、点CとDとの間の実際の移動速度は、フレームあたり平均10pxの移動として表してもよい。ここで、10px=30px÷(48÷16)。
【0097】
線分DEの長さが30pxであり、記録された可動要素のDからEへの移動にかかる移動時間が48msであると仮定する。これによって、DからEへの移動時間は該所定の期間よりも大きい場合、このような移動時間が160msよりも大きい2つの位置点について、本実施例では、算出された位置点の数が60fpsの要求を満たすように、イージングアルゴリズムを用いてDとEとの間の他の位置点を算出してもよい。このように、DからEまで再生するために必要なフレーム数は480÷16=30と算出できる。従って、DとEとの間に29個の位置点を追加する必要がある。この場合、点DとEとの間の実際の移動速度は、フレームあたり平均1pxの移動として表してもよい。ここで、1px=30px÷(480÷16)。
【0098】
以上から分かるように、線分CDの長さと線分DEの長さとは同一であるが、移動時間の差異により平均速度も異なる。移動時間が所定の期間よりも大きい2つの隣接する位置点について、イージングアルゴリズムにより、可動要素の移動効果をスムーズにすることができる。
【0099】
これによって、所定の移動速度を可動要素の移動速度として用いる方法に比べて、該移動時間に基づいて可動要素の各2つの隣接する点の間の実際の移動速度を計算し、移動速度に基づいて適切な数の位置パラメータを取得することで、実際の移動軌跡とより一致させることができ、再現された移動軌跡の平滑さを向上させることができる。
【0100】
コースウェアを再生するデモンストレーションプロセスでは、該ユーザオーディオデータの再生と該ユーザ動作データの再現とは比較的独立している。これは、次のように理解してもよい。該記録ファイルに基づいて該コースウェアのデモンストレーションを再生する際に、再生の開始時間から再生が終了するまでユーザオーディオデータを再生してもよい。ユーザオーディオデータの再生時間長さが該記録ファイルのタイムラインの時間長さに等しく、且つユーザオーディオデータがユーザ動作データとは互いに独立しており、個別に保存できるため、再生開始時に該ユーザオーディオデータを再生すれば、時間の経過と共に該ユーザオーディオデータに対応するオーディオの再生が最終的に自動的に終了する。このプロセスでは、コースウェアがユーザ動作データに応じて、対応する変化を生じ、対応するコンテンツを表示するように、タイムラインに従ってユーザ動作データのみを実行してもよい。
【0101】
本発明の実施例は、上記のコースウェア記録方法の実施例に対応するコースウェア記録装置をさらに提供する。該コースウェア記録装置は、コンピュータ、携帯電話、タブレットコンピュータ、プロジェクタ、又はインテリジェントインタラクティブタブレットに適用されてもよい。
図5は、本発明の1つの例示的な実施例に係るコースウェア記録装置の構成のブロック図である。
図5に示すように、コースウェア記録装置500は、以下のモジュールを含む。
【0102】
トリガモジュール501は、コースウェアの記録をトリガするための命令を受信した場合、コースウェアの記録機能を起動する。
【0103】
記録モジュール502は、記録プロセスにおけるコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データを記録する。
【0104】
処理モジュール503は、コースウェアの記録機能の終了をトリガするための命令を受信した場合、記録されたコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データの記録時間を該記録プロセスのタイムラインにマッピングし、該タイムラインに従って該コースウェア、ユーザオーディオデータ及びユーザ動作データを関連付けて保存し、該記録プロセスの記録ファイルを生成する。
【0105】
ここで、該コースウェアのページには、可動要素が表示される。該ユーザ動作データは、ユーザ命令、ユーザ命令の開始時間及び持続時間、ユーザ命令により指向される要素の識別子、並びにユーザ命令の動作中に生成されたデータストリームを含む。該ユーザ命令は、可動要素の移動をトリガするためのドラッグ命令を含む。
【0106】
該記録プロセスにおいてドラッグ命令が受信された場合、記録されたデータストリームは、該ドラッグ命令に応答して該可動要素によりコースウェアのページにおいて生成された移動軌跡の開始位置パラメータ及び終了位置パラメータを含む。
【0107】
1つの実施例では、コースウェア記録装置500は、以下のモジュールをさらに含んでもよい。
【0108】
決定モジュールは、該移動軌跡が直線の移動軌跡であるか否かを決定する。
【0109】
記録モジュール502は、該移動軌跡が非直線の移動軌跡である場合、記録されたデータストリームは、該移動軌跡の開始位置と終了位置との間の1つ以上の目標位置パラメータをさらに含む。
【0110】
ここで、連続する各3つの目標位置パラメータのうち、1組の隣接する2つの目標位置パラメータにより示される位置点の所在する直線の傾き、及びもう1組の隣接する2つの目標位置パラメータにより示される位置点の所在する直線の傾きは、所定の条件を満たす。
【0111】
1つの実施例では、記録モジュール502は、以下のユニットを含む。
【0112】
取得ユニットは、所定の時間間隔で該移動軌跡における1つ以上の位置点に対応する位置パラメータを取得し、所定の条件に基づいて、フィルタリングアルゴリズムにより該1つ以上の位置パラメータから該1つ以上の目標位置パラメータを取得する。
【0113】
1つの実施例では、コースウェア記録装置500は、以下のモジュールをさらに含む。
【0114】
送信モジュールは、該記録プロセスにおいて画面キャスト要求が受信された場合、該画面キャスト要求の要求側装置が受信されたコースウェア、画面キャストプロセスにおいて記録されたコースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データに基づいて該コースウェアのデモンストレーションを再生するように、該要求側装置に該コースウェア、コースウェアのページ識別子、ユーザオーディオデータ及びユーザ動作データを送信する。
【0115】
1つの実施例では、送信モジュールは、該記録ファイルが生成された後に、サーバに該記録ファイルをアップロードする。
【0116】
1つの実施例では、ユーザ命令は、手書き命令をさらに含む。記録モジュール502は、該記録プロセスにおいて手書き命令が受信された場合、筆跡の開始位置パラメータ及び終了位置パラメータを含むデータストリームを記録する。
【0117】
1つの実施例では、記録モジュール502により記録された筆跡のデータストリームは、筆跡の色データ及び筆跡の太さデータのうちの少なくとも1つをさらに含む。
【0118】
1つの実施例では、該可動要素は、文字、数字、アルファベット、図形、画像、マインドマップ、アニメーション、ウィジェットのうちの少なくとも1つを含む。
【0119】
本発明は、上記のコースウェア再生方法の実施例に対応するコースウェア再生装置をさらに提供する。該コースウェア再生装置は、コンピュータ、携帯電話、タブレットコンピュータ、プロジェクタ又はインテリジェントインタラクティブタブレットに適用されてもよい。
図6は、本発明の1つの例示的な実施例に係るコースウェア再生装置の構成のブロック図である。
図6に示すように、コースウェア再生装置600は、以下のモジュールを含む。
【0120】
取得モジュール601は、記録ファイルの再生をトリガするための命令を受信した場合、現在指定された再生される記録ファイルから対応するコースウェア、ユーザオーディオデータ及びユーザ動作データを取得する。ここで、該記録ファイルは、上記のコースウェア記録方法により記録された記録ファイルである。
【0121】
再現モジュール602は、コースウェア、ユーザオーディオデータ及びユーザ動作データに対応するユーザ操作を関連付けて同期して再現するように、該記録ファイルのタイムラインに従って、該コースウェアを表示し、該ユーザオーディオデータを再生し、該ユーザ動作データを実行する。
【0122】
1つの実施例では、再現モジュール602は、以下のユニットを含む。
【0123】
第1決定ユニットは、現在実行されているユーザ動作データがドラッグ命令をトリガすることで生成されたデータである場合、該ドラッグ命令により指向される可動要素を決定する。
【0124】
第1表示ユニットは、該可動要素の開始位置パラメータに基づいて、該ドラッグ命令に関連付けられたコースウェアのページにおける対応する領域で該可動要素を表示する。
【0125】
第1取得ユニットは、所定の移動速度、並びに該ドラッグ命令の開始時間及び持続時間に基づいて、補間アルゴリズムにより該可動要素の開始位置と終了位置との間の取得すべき位置パラメータを取得する。
【0126】
第1再現ユニットは、該タイムライン及び全ての位置パラメータに基づいて、該ドラッグ命令に関連付けられたコースウェアのページにおいて該所定の移動速度で該可動要素の移動プロセスを再現する。
【0127】
1つの実施例では、再現モジュール602は、以下のユニットをさらに含んでもよい。
【0128】
第2決定ユニットは、現在実行されているユーザ動作データがドラッグ命令をトリガすることで生成されたデータである場合、該ドラッグ命令により指向される可動要素及びその移動軌跡を決定する。
【0129】
第2表示ユニットは、該可動要素の移動軌跡が非直線の移動軌跡である場合、該可動要素の開始位置パラメータに基づいて、該ドラッグ命令に関連付けられたコースウェアのページにおける対応する領域で該可動要素を表示する。ここで、該可動要素の位置パラメータは、開始位置パラメータ、終了位置パラメータ、及び開始位置と終了位置との間の1つ以上の目標位置パラメータを含む。
【0130】
第2取得ユニットは、所定の移動速度、並びに該ドラッグ命令の開始時間及び持続時間に基づいて、補間アルゴリズムにより該可動要素の各隣接する2つの位置パラメータの間の取得すべき位置パラメータを取得する。
【0131】
第2再現ユニットは、該タイムライン及び全ての位置パラメータに基づいて、該ドラッグ命令に関連付けられたコースウェアのページにおいて該可動要素の移動プロセスを再現する。
【0132】
もう1つの実施例では、再現モジュール602の第2取得ユニット及び第2再生ユニットを改善してもよく、改善された再現モジュール602は、以下のユニットを含む。
【0133】
第3決定ユニットは、現在実行されているユーザ動作データがドラッグ命令をトリガすることで生成されたデータである場合、該ドラッグ命令により指向される可動要素及びその移動軌跡を決定する。
【0134】
第3表示ユニットは、該可動要素の移動軌跡が非直線の移動軌跡である場合、該可動要素の開始位置パラメータに基づいて、該ドラッグ命令に関連付けられたコースウェアのページの対応する領域において該可動要素を表示する。
【0135】
判断ユニットは、各2つの隣接する目標位置パラメータ間の移動時間が所定の期間よりも大きいか否かを判断する。
【0136】
第3取得ユニットは、移動時間が所定の期間よりも大きい2つの目標位置パラメータについて、イージングアルゴリズムにより両者の間の取得すべき位置パラメータを計算する。
【0137】
第4取得ユニットは、移動時間が所定の期間以下である2つの目標位置パラメータについて、補間アルゴリズムにより両者の間の取得すべき位置パラメータを取得する。
【0138】
計算ユニットは、各2つの隣接する目標位置パラメータの移動時間、距離及び所定の移動速度に基づいて、可動要素の各2つの隣接する目標位置パラメータ間での実際の移動速度を計算する。
【0139】
第3再現ユニットは、該タイムライン及び全ての位置パラメータに基づいて、該ドラッグ命令に関連付けられたコースウェアのページにおいて該実際の移動速度で該可動要素の移動プロセスを再現する。
【0140】
上記の装置における各ユニットの機能及び作用の実施プロセスについて、上記の方法の対応するステップの実施プロセスを参照してもよく、ここでその説明を省略する。
【0141】
装置の実施例について、基本的に方法の実施例に対応するため、関連する部分は、方法の実施例の説明の部分を参照してもよい。上述した装置の実施例は単なる例示的なものであり、別個の構成要素として説明されるユニットは、物理的に分離されてもよいし、物理的に分離されなくてもよく、単位として表示された構成要素は、物理的な単位であってもよいし、でなくてもよい。
【0142】
本発明の実施例は、上記のコースウェア記録方法の実施例に対応するインテリジェントインタラクティブタブレットをさらに提供する。該インテリジェントインタラクティブタブレットは、プロセッサと、該プロセッサにより実行可能なコンピュータプログラムを記憶するメモリと、音声取り込み装置と、ディスプレイと、を含む。
【0143】
ここで、該プロセッサは、該プログラムを実行する際に、上記のコースウェア記録方法のステップを実現する。該プロセッサは、上記のコースウェア記録方法のステップを実現する際に、該音声取り込み装置がユーザオーディオデータを取り込み、該ディスプレイがコースウェアのデモンストレーションを表示するように制御する。
【0144】
本発明の実施例は、上記のコースウェア再生方法の実施例に対応する他のインテリジェントインタラクティブタブレットをさらに提供する。該他のインテリジェントインタラクティブタブレットは、プロセッサと、該プロセッサにより実行可能なコンピュータプログラムを記憶するメモリと、音声再生装置と、ディスプレイと、を含む。
【0145】
ここで、該プロセッサは、該プログラムを実行する際に、上記のコースウェア再生方法のステップを実現する。該プロセッサは、上記のコースウェア再生方法のステップを実現する際に、該音声再生装置がユーザオーディオデータを再生し、該ディスプレイがコースウェアのデモンストレーションを表示するように制御する。
【0146】
もう1つの実施例では、本発明は、上記のコースウェア記録方法を実施できると共に、上記のコースウェア再生方法を実施できるインテリジェントインタラクティブタブレットをさらに提供する。該インテリジェントインタラクティブタブレットは、プロセッサと、該プロセッサにより実行可能なコンピュータプログラムを記憶するメモリと、音声取り込み装置と、音声再生装置と、ディスプレイと、を含む。
【0147】
ここで、該プロセッサは、該プログラムを実行する際に、上記のコースウェア記録方法又は上記のコースウェア再生方法のステップを実現する。該プロセッサは、該プログラムを実行する際に、該プロセッサは、上記のコースウェア記録方法のステップを実現する際に、該音声取り込み装置がユーザオーディオデータを取り込み、該ディスプレイがコースウェアのデモンストレーションを表示するように制御する。該プロセッサは、上記のコースウェア再生方法のステップを実現する際に、該音声再生装置がユーザオーディオデータを再生し、該ディスプレイがコースウェアのデモンストレーションを表示するように制御する。
【0148】
本発明は、上記の何れかの方法に対応する、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供する。プロセッサは、該プログラムを実行する際に、上記の何れかの実施例におけるコースウェア記録方法又はコースウェア再生方法のステップを実現する。
【0149】
本発明は、プログラムコードを含む1つ又は複数の記録媒体(ディスクメモリ、CD-ROM、光学メモリなどを含むが、これらに限定されない)に実装されたコンピュータプログラム製品の形式を採用してもよい。コンピュータ読み取り可能な記憶媒体は、永久的及び非永久的、移動可能又は移動不可能な媒体を含み、任意の方法又は技術により情報記憶を実現してもよい。情報は、コンピュータ読み取り可能な命令、データ構造、プログラムのモジュール又は他のデータであってもよい。コンピュータ可読記憶媒体は、例えば、位相変化メモリ(PRAM)、静的ランダムアクセスメモリ(SRAM)、動的ランダムアクセスメモリ(DRAM)、他のタイプのランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、電気的に消去可能なプログラミング可能な読み出し専用メモリ(EEPROM)、フラッシュメモリ又は他のメモリ技術、コンパクトディスク読み出し専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)又はその他の光学ストレージ、磁気カセットテープ、磁気テープ磁気ディスクストレージ又は他磁気記憶装置、又は他の非伝送メディアを含むが、これらに限定されない。当該記憶媒体は、コンピュータ装置がアクセスできる情報を記憶するために用いられてもよい。