特開 2023-164439 授業コンテンツの配信方法、授業コンテンツの配信システム、端末及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023164439

(43)【公開日】2023-11-10

(54)【発明の名称】授業コンテンツの配信方法、授業コンテンツの配信システム、端末及びプログラム

(51)【国際特許分類】

   G09B 5/08 20060101AFI20231102BHJP

   G06T 19/00 20110101ALI20231102BHJP

   G06F 3/01 20060101ALI20231102BHJP

   G06F 3/04842 20220101ALI20231102BHJP

【ＦＩ】

G09B5/08

G06T19/00 C

G06T19/00 300B

G06F3/01 510

G06F3/04842

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023134645

(22)【出願日】2023-08-22

(62)【分割の表示】P 2020001217の分割

【原出願日】2019-06-27

(71)【出願人】

【識別番号】598138327

【氏名又は名称】株式会社ドワンゴ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100170575

【弁理士】

【氏名又は名称】森 太士

(72)【発明者】

【氏名】川上 量生

(72)【発明者】

【氏名】小嶋 尚

(72)【発明者】

【氏名】齊藤 寛明

(57)【要約】

【課題】没入感のある仮想空間内で行われる授業を視聴する際に、ノートの作成を容易にする。
【解決手段】仮想空間内で行われる授業を授業コンテンツとして生徒用端末３０へ配信する授業コンテンツの配信方法であって、生徒用端末３０は、配置部１０３が授業の進行に応じた文字情報をオブジェクトとして仮想空間内に配置し、配信部１０６が仮想空間を表示するための仮想空間情報を生徒用端末３０へ配信し、選択部３０３がオブジェクトの選択を受け付けて、記憶部３０４が選択されたオブジェクトの保持する文字情報を記憶する。
【選択図】図７

【特許請求の範囲】

【請求項1】

没入感のある仮想空間内で行われる授業を端末へ配信する授業コンテンツの配信方法であって、
前記仮想空間を表示するための仮想空間情報を前記端末へ配信するステップと、
授業の進行に応じた文字情報を保持するオブジェクトを前記仮想空間内に配置するステップと、
前記オブジェクトの選択を受け付けるステップと、
選択された前記オブジェクトの保持する前記文字情報を記憶するステップと、
を有する授業コンテンツの配信方法。

【請求項2】

請求項１に記載の授業コンテンツの配信方法であって、
前記文字情報は、教師の書いた文字または教師の発話した音声である授業コンテンツの配信方法。

【請求項3】

請求項１または２に記載の授業コンテンツの配信方法であって、
前記端末は、生徒の装着するヘッドマウントディスプレイを備える授業コンテンツの配信方法。

【請求項4】

請求項３に記載の授業コンテンツの配信方法であって、
前記生徒の視線情報を記憶するステップと、
他の生徒の記録した前記視線情報に基づいて前記授業を再現するステップと、
を有する授業コンテンツの配信方法。

【請求項5】

請求項１ないし４のいずれかに記載の授業コンテンツの配信方法であって、
前記授業は複数の生徒が同じ仮想空間内で参加するものであり、
前記複数の生徒のそれぞれを示す複数の生徒アバターが前記仮想空間内に存在し、
生徒アバターが前記オブジェクトを選択するときは、他の生徒の用いる前記端末には当該生徒アバターに所定の動作をさせた前記仮想空間情報を配信する授業コンテンツの配信方法。

【請求項6】

請求項５に記載の授業コンテンツの配信方法であって、
前記授業は複数の生徒のそれぞれが異なる時刻に参加できるものであり、
前記授業に参加した前記生徒アバターの動作を記録しておき、
前記仮想空間内で、過去に参加した前記生徒アバターの動作を前記授業の進行に応じて再現する授業コンテンツの配信方法。

【請求項7】

没入感のある仮想空間内で行われる授業を配信するサーバと前記授業を受けるための端末とを備えた授業コンテンツの配信システムであって、
前記サーバは、
前記仮想空間を表示するための仮想空間情報を前記端末へ配信する配信部と、
授業の進行に応じた文字情報を保持するオブジェクトを前記仮想空間内に配置する配置部と、を有し、
前記端末は、
前記仮想空間情報に基づいて前記仮想空間を表示する表示部と、
前記オブジェクトの選択を受け付ける選択部と、
選択された前記オブジェクトの保持する前記文字情報を記憶する記憶部と、
を有する授業コンテンツの配信システム。

【請求項8】

没入感のある仮想空間内で行われる授業を受けるための端末であって、
前記仮想空間を表示するための仮想空間情報に基づいて前記仮想空間を表示する表示部と、
授業の進行に応じた文字情報を保持する前記仮想空間内に配置されたオブジェクトの選択を受け付ける選択部と、
選択された前記オブジェクトの保持する前記文字情報を記憶する記憶部と、
を有する端末。

【請求項9】

没入感のある仮想空間内で行われる授業を受けるためのプログラムであって、
前記仮想空間を表示するための仮想空間情報に基づいて前記仮想空間を表示する処理と、
授業の進行に応じた文字情報を保持する前記仮想空間内に配置されたオブジェクトの選択を受け付ける処理と、
選択された前記オブジェクトの保持する前記文字情報を記憶する処理と、
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、授業コンテンツの配信方法、授業コンテンツの配信システム、端末及びプログラムに関する。

【背景技術】

【0002】

近年、テレビ・ラジオを用いた通信教育だけでなく、情報通信技術（ＩＣＴ）を利用した通信教育システムが広まっている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１０－１７１３３７号公報

【特許文献2】特許４３４６７４８号

【特許文献3】特許６３４７３７５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＩＣＴを利用した通信教育システムの一つとして、没入感のある仮想現実（ＶＲ）技術を用い、例えば生徒がヘッドマウントディスプレイ（ＨＭＤ）を装着し、仮想空間内で授業を行うことが考えられる。没入感のある仮想空間内での授業に参加することにより、外界の情報をシャットダウンでき、テレビやパーソナルコンピュータなどを用いたときに比べて授業に集中できる。

【0005】

しかしながら、没入感のある仮想空間では、実空間内にある現実のノートに手書きで書き込むことは困難である。キーボードを用いて教師の言葉や板書を打ち込むことが考えられるが、生徒によっては、教師の発話のスピードや板書のスピードについていくことが難しい場合もある。授業に使われる資料を事前に配布することも考えられるが、資料を見ているだけでは授業の内容が身につかず、さらに、授業中、資料に書き込みたいという要望も考えられる。生徒が、自身でノートを作成したり、資料に書き込んだりすることで、より授業の理解が深まると考えられる。

【0006】

特許文献１は、インターネットを介したバーチャル教室システムにおいて、モニタに教師、生徒、および黒板を表示することが開示されている。生徒は、教師の言葉や黒板の文字を実空間内のノートに書き写すことができる。

【0007】

特許文献２も、インターネットを介した教育システムである。特許文献２は、三次元仮想空間上で教師や学習者が自らのキャラクターを登場させて、そのキャラクターを通して文字、画像、音声による情報交換を行うことが開示されている。

【0008】

特許文献１，２の教育システムにＶＲ技術を用いることが考えられるが、仮想空間内でのノートの作成については記載も示唆もない。

【0009】

特許文献３には、ユーザがＨＭＤを装着し、仮想空間を立体視する技術が開示されている。特許文献３には、仮想空間内にテキストに関する表示情報が含まれるオブジェクトを配置することが開示されている。特許文献３は、テキストの情報を含むオブジェクトを配置するだけであり、そのテキストをノートに書き写すことは記載も示唆もない。

【0010】

本発明は、上記に鑑みてなされたものであり、没入感のある仮想空間内で行われる授業を視聴する際に、ノートの作成を容易にすることを目的とする。

【課題を解決するための手段】

【0011】

本発明の一態様の授業コンテンツの配信方法は、仮想空間内で行われる授業を端末へ配信する授業コンテンツの配信方法であって、前記仮想空間を表示するための仮想空間情報を前記端末へ配信するステップと、授業の進行に応じた文字情報を保持するオブジェクトを前記仮想空間内に配置するステップと、前記オブジェクトの選択を受け付けるステップと、選択された前記オブジェクトの保持する前記文字情報を記憶するステップと、を有する。

【0012】

本発明の一態様の授業コンテンツの配信システムは、仮想空間内で行われる授業を配信するサーバと前記授業を受けるための端末とを備えた授業コンテンツの配信システムであって、前記サーバは、前記仮想空間を表示するための仮想空間情報を前記端末へ配信する配信部と、授業の進行に応じた文字情報を保持するオブジェクトを前記仮想空間内に配置する配置部と、を有し、前記端末は、前記仮想空間情報に基づいて前記仮想空間を表示する表示部と、前記オブジェクトの選択を受け付ける選択部と、選択された前記オブジェクトの保持する前記文字情報を記憶する記憶部と、を有する。

【発明の効果】

【0013】

本発明によれば、没入感のある仮想空間内で行われる授業を視聴する際に、ノートの作成を容易にすることができる。

【図面の簡単な説明】

【0014】

【図1】図１は、本実施形態の授業コンテンツの配信システムの全体的な構成例を示すブロック図である。

【図2】図２は、生徒がヘッドマウントディスプレイを装着した様子を示す図である。

【図3】図３は、授業コンテンツの配信元の教室を概念的に示す図である。

【図4】図４は、通信授業用サーバの構成例を示す機能ブロック図である。

【図5】図５は、生徒用端末の構成例を示す機能ブロック図である。

【図6】図６は、ノートオブジェクトを作成する処理の流れを示すフローチャートである。

【図7】図７は、仮想空間内において板書された文字をノートオブジェクトに記録する例を示す図である。

【図8】図８は、仮想空間内において教師が発した音声をノートオブジェクトに記録する例を示す図である。

【図9】図９は、仮想空間内において資料を提示し、資料内の情報をノートオブジェクトに記録する例を示す図である。

【図10】図１０は、複数の生徒が参加した仮想空間内の授業の例を示す図である。

【発明を実施するための形態】

【0015】

［システム構成］
以下、本発明の一実施形態の授業コンテンツの配信システムについて図面を用いて説明する。

【0016】

本実施形態の授業コンテンツの配信システムは、仮想現実（ＶＲ）を用いた授業コンテンツを配信するシステムである。図１に示す授業コンテンツの配信システムは、通信授業用サーバ１０および複数の生徒用端末３０を備える。通信授業用サーバ１０および複数の生徒用端末３０は、通信回線２０に接続されている。通信授業用サーバ１０と複数の生徒用端末３０とは離れた位置に配置される。複数の生徒用端末３０のそれぞれも離れた位置に配置されてもよい。通信回線２０は、インターネット等の任意の通信回線である。

【0017】

なお、図１では、６台の生徒用端末３０を図示しているが、生徒用端末３０の台数は任意である。例えば、授業コンテンツが生放送で配信される場合は、多数の生徒用端末３０が通信授業用サーバ１０に同時に接続される。授業コンテンツがオンデマンドで配信される場合は、生徒用端末３０と通信授業用サーバ１０とを一対一で接続してもよい。

【0018】

生徒用端末３０は、ＶＲ機能を有する端末であれば、スマートフォンおよびパーソナルコンピュータなどの任意のコンピュータ機器を用いることができる。生徒用端末３０は、図２に示すように、生徒が装着するＨＭＤ３１を備える。生徒用端末３０は、生徒からの入力を受け付けて、仮想空間内に配置される生徒アバターを操作するためのコントローラ３２を備えてもよい。

【0019】

生徒用端末３０は、通信授業用サーバ１０から仮想空間を構成するための情報を受信し、受信した情報に基づいて仮想空間を構成し、ＨＭＤ３１に仮想空間を撮影した映像を表示する。ＨＭＤ３１は、生徒の頭の動きを検知し、頭の動きに応じて仮想空間を撮影する仮想カメラの撮影方向を変化させる。生徒がコントローラ３２を操作すると、仮想空間内の生徒アバターは、入力された操作に応じて動作する。例えば、生徒がコントローラ３２を持つ手を上げると、生徒アバターも手を上げる。

【0020】

生徒は、生徒アバターを操作し、仮想空間内においてノート作成できる。仮想空間内で作成したノートは、授業終了後に仮想空間内で閲覧することができる。あるいは、仮想空間内で作成したノートは、テレビ、携帯端末、パーソナルコンピュータのモニタ上に表示できてもよいし、印刷できてもよい。仮想空間内におけるノートの作成方法については後述する。

【0021】

通信授業用サーバ１０には、教室ディスプレイ１１、中継カメラ１２、教師用端末１３、マイクロホン１４、およびスピーカ１５が接続される。スピーカ１５は、ヘッドホン（イヤホン）を含む。通信授業用サーバ１０は、接続された機器から受信した情報を元に、仮想空間内での授業コンテンツを作成する。

【0022】

図３に示すように、教師４０は、教室ディスプレイ１１の前に立ち、教室ディスプレイ１１および教師用端末１３を用いて授業を行う。教室ディスプレイ１１は、電子黒板と称される大画面ディスプレイである。教師４０は、通信授業用サーバ１０に記憶されている授業用データを教室ディスプレイ１１に表示させて授業を行う。授業用データは、教師用端末１３に表示されてもよい。教師４０の発話に合わせて授業用データが遷移して表示されて授業が進行する。教師４０は、教師用端末１３を操作し、教室ディスプレイ１１に表示する授業用データを選択してもよい。

【0023】

教室ディスプレイ１１に表示された授業用データは、仮想空間内に配置される黒板オブジェクトにも表示される。教室ディスプレイ１１の代わりに黒板またはホワイトボードを用いてもよい。通信授業用サーバ１０は、黒板に書かれた文字を文字認識して、文字認識結果の文字を表示したオブジェクトを仮想空間内の任意の位置（例えば黒板オブジェクト）に配置してもよい。

【0024】

中継カメラ１２は、教師４０による授業を撮影する。教師４０を撮影した動画データは、通信授業用サーバ１０に送信される。通信授業用サーバ１０は、動画データから教師４０の動きおよび姿勢を検出し、仮想空間内に配置される教師アバターに反映させるためのモーションデータを生成する。例えば、通信授業用サーバ１０は、動画データから教師４０のボーン（骨格）を検出し、検出したボーンに基づいて教師アバターを動かす。通信授業用サーバ１０は、ボーンに基づいて生成した教師アバターのモーションデータを生徒用端末３０へ配信する。中継カメラ１２で教室ディスプレイ１１を撮影し、撮影した画像を仮想空間内の黒板オブジェクトで表示してもよい。

【0025】

マイクロホン１４は、教師４０の発した音声を収音する。収音された音声データは、通信授業用サーバ１０に送信される。通信授業用サーバ１０は、音声データを生徒用端末３０へ配信するとともに、音声データを音声認識して、音声認識結果の文字を表示したオブジェクトを仮想空間内の任意の位置に配置してもよい。

【0026】

スピーカ１５は、例えば、撮影スタッフからの授業の進行に関する指示などを出力して教師４０に伝える。授業が双方向の場合、スピーカ１５は、生徒用端末３０から送信された音声データを出力してもよい。

【0027】

なお、授業を撮影した映像であれば、どのような映像を用いて授業コンテンツを作成してもよい。例えば、過去に録画された教育番組の映像から登場人物のボーンを検出し、検出したボーンに基づいて仮想空間内のアバターを動かしてもよい。

【0028】

教師４０を撮影した動画データから教師アバターのモーションデータを作成する代わりに、教師がＨＭＤを装着し、コントローラを操作して、教師アバターを操作してもよい。

【0029】

［サーバ構成］
図４を参照し、通信授業用サーバ１０の構成について説明する。

【0030】

図４に示す通信授業用サーバ１０は、入出力部１０１、認識部１０２、配置部１０３、解析部１０４、記憶部１０５、および配信部１０６を備える。

【0031】

入出力部１０１は、教室ディスプレイ１１、中継カメラ１２、教師用端末１３、マイクロホン１４、およびスピーカ１５と接続し、授業用データを出力したり、動画データ、音声データ、および操作を入力したりする。

【0032】

認識部１０２は、教室ディスプレイ１１に表示された授業用データに含まれる文字情報を抽出したり、動画データから教師４０の書いた文字を文字認識したり、音声データから教師４０の発した音声を音声認識したりする。つまり、認識部１０２は、授業の進行に応じた文字情報（テキスト）を取得する。

【0033】

配置部１０３は、認識部１０２で得られた文字情報を保持するオブジェクトを仮想空間内に配置する。例えば、認識部１０２が教室ディスプレイ１１の表示から文字を取得した場合、配置部１０３は、仮想空間内の黒板オブジェクトに教室ディスプレイ１１と同じ文字を表示をさせるとともに、黒板オブジェクトに認識部１０２の取得した文字情報を持たせる。オブジェクトの保持する文字情報は、生徒のノート作成に用いられる。

【0034】

解析部１０４は、動画データから教師４０の動きおよび姿勢を検出し、教師アバター用のモーションデータを生成する。

【0035】

記憶部１０５は、授業が行われる仮想空間を構築するための情報を記憶する。仮想空間を構築するための情報としては、例えば、仮想空間内に配置されるオブジェクトのモデルデータ、オブジェクトの配置情報、教師アバターおよび生徒アバターのモデルデータとモーションデータなどがある。仮想空間内に配置されるオブジェクトとしては、例えば、黒板オブジェクト、教室の壁・床・天井のオブジェクト、生徒の机オブジェクト、ノートオブジェクトなどがある。記憶部１０５は、授業用データ、動画データ、および音声データを記憶してもよい。

【0036】

配信部１０６は、仮想空間で行われる授業を視聴するための授業コンテンツを配信する。例えば、配信部１０６は、事前に、仮想空間内の教室を描画するための教室の壁・床・天井のオブジェクト、仮想空間の教室内に配置された黒板オブジェクト、教師アバターおよび生徒アバターのモデルデータを生徒用端末３０へ配信しておく。配信部１０６は、授業の進行に応じて、教師アバターおよび生徒アバターのモーションデータ、黒板オブジェクトに描画される情報、文字情報を保持させたオブジェクトなどの変化するデータを生徒用端末３０へ随時配信する。

【0037】

［端末構成］
図５を参照し、生徒用端末３０の構成について説明する。

【0038】

図５に示す生徒用端末３０は、ＶＲ機能部３０１、入力部３０２、選択部３０３、および記憶部３０４を備える。

【0039】

ＶＲ機能部３０１は、通信授業用サーバ１０から仮想空間を構築するための情報を受信し、ＨＭＤ３１で検出した生徒の頭の動きに基づいて仮想カメラを制御し、仮想空間をレンダリングする。ＶＲ機能部３０１は、生徒によるコントローラ３２での操作に基づいて、仮想空間内の生徒アバターを動作させる。ＶＲ機能部３０１は、生徒の頭の動きを生徒アバターに反映してもよい。ＶＲ機能部３０１は、生徒アバターにさせたモーションデータを通信授業用サーバ１０へ送信してもよい。

【0040】

入力部３０２は、ＨＭＤ３１で検出した生徒の頭の動き、コントローラ３２での操作内容を入力する。入力部３０２にマイクロホンを接続して生徒の音声を入力し、入力した音声データを通信授業用サーバ１０へ送信してもよい。

【0041】

選択部３０３は、生徒の操作によるオブジェクトの選択を受け付けて、選択されたオブジェクトの保持する文字情報を記憶部３０４に記録する。例えば、生徒アバターが文字情報を保持するオブジェクトに触れると、そのオブジェクトが選択され、オブジェクトの保持する文字情報が生徒のノートオブジェクトに転記される。

【0042】

記憶部３０４は、授業中に作成したノートオブジェクトを再現するためのノート情報を記憶する。例えば、記憶部３０４は、ノート情報として、授業中にノートオブジェクトに転記された文字情報を記憶する。記憶部３０４は、ノート情報として、文字情報に加えて、文字情報を取得したときタイムスタンプ（授業開始からの経過時間）、文字情報を保持するオブジェクトのＩＤを記憶してもよい。これらの情報により、記憶した文字情報は、いつ、どのオブジェクトから取得したものであるかを特定できる。

【0043】

さらに、記憶部３０４は、授業中にＨＭＤ３１で検出した生徒の頭の動き（授業中の視線情報）およびコントローラ３２の操作内容を記憶してもよい。

【0044】

生徒は、記憶部３０４に記憶したノート情報を利用してノートオブジェクトを閲覧できる。ノートオブジェクトを閲覧するとき、例えば、生徒はＨＭＤ３１を装着し、ノート閲覧モードを起動する。ノート閲覧モードでは、ＶＲ機能部３０１が、記憶部３０４の記憶するノート情報を読み出し、ノート情報に基づいてノートオブジェクトを作成し、仮想空間内にノートオブジェクトを表示する。生徒はコントローラ３２を操作してノートオブジェクトのページをめくったり、ノートオブジェクトを編集したりできる。

【0045】

記憶部３０４の記憶するノート情報は、携帯端末、パーソナルコンピュータなどの電子機器を用いて読み出し、他の電子機器で閲覧できてもよい。読み出したノート情報を印刷できてもよい。他の電子機器でノート情報を編集し、編集したノート情報を記憶部３０４に記憶させてもよい。また、記憶部３０４の記憶するノート情報を他の生徒に貸してもよい。他の生徒は、ノート情報を自身の生徒用端末３０の記憶部３０４に記憶させることで、借りたノートを閲覧できる。

【0046】

生徒は、ノートオブジェクトを閲覧中に、閲覧箇所に対応するタイムスタンプから授業コンテンツを視聴できてもよい。例えば、生徒がノート閲覧モードでノートオブジェクトを閲覧中に、コントローラ３２を操作して授業視聴モードに移行した場合、ＶＲ機能部３０１は、記憶部３０４から閲覧箇所に対応するタイムスタンプを読み出し、そのタイムスタンプの位置から授業コンテンツを再生する。ＶＲ機能部３０１が再生する授業コンテンツは、通信授業用サーバ１０から取得してもよいし、一度目の視聴時に授業コンテンツを記憶部３０４に記憶しておき、記憶部３０４から取得してもよい。

【0047】

記憶部３０４に授業中の視線情報を記憶している場合、視線情報に基づいて仮想カメラを制御し、授業を再現してもよい。これにより、ノートを作成したときの授業中の視線およびノートの取り方などを再現できる。例えば、友達から借りたノート情報に基づいて授業を再現することで、その友達の授業の受け方を追体験できる。授業を追体験することで、その友達は、授業中にどの部分に着目しているのか、何が重要であると判断したのか、などを知ることができる。ＨＭＤ３１を装着して友達の授業を追体験してもよいし、視線情報に基づいてレンダリングした画面をモニタ等に映して追体験してもよい。また、生徒が仮想空間内の情報からノートを作成する際に、自分のアバターの視線の先（交差する点）によってコピーをしたい情報を選択し、マウスやコントローラなどの操作で選択した情報のコピーアンドペースト操作を行うようにすることも考えられる。

【0048】

通信授業用サーバ１０および生徒用端末３０には、例えば、中央演算処理装置（ＣＰＵ）、メモリ、ストレージ、通信装置、および入出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、通信授業用サーバ１０および生徒用端末３０が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。

【0049】

なお、本実施形態では、ノート情報を生徒用端末３０の記憶部３０４に記憶したが、通信授業用サーバ１０の記憶部１０５に記憶させてもよいし、他の記憶装置に記憶させてもよい。例えば、ノート情報を通信授業用サーバ１０に記憶させる場合、選択部３０３の選択したオブジェクトの保持する文字情報を通信授業用サーバ１０へ送信する。通信授業用サーバ１０は、生徒ごとにノート情報を記憶する。

【0050】

通信授業用サーバ１０が仮想空間をレンダリングしてもよい。例えば、生徒用端末３０は、ＨＭＤ３１で検出した生徒の頭の動きを通信授業用サーバ１０へ送信する。通信授業用サーバ１０は、生徒の頭の動きに基づいて仮想カメラを制御し、仮想空間をレンダリングする。生徒用端末３０はレンダリング後の画像を受信して表示する。

【0051】

生徒用端末３０が通信授業用サーバ１０の認識部１０２、配置部１０３、解析部１０４の各機能を備えてもよい。例えば、通信授業用サーバ１０は、動画データおよび音声データを生徒用端末３０へ送信する。生徒用端末３０は、動画データを受信して教師４０の動きを解析するとともに、教室ディスプレイ１１の文字および教師の会話を認識して文字情報を保持するオブジェクトを配置する。

【0052】

［ノート作成処理］
図６を参照し、ノートオブジェクトを作成する処理の流れについて説明する。

【0053】

ステップＳ１０にて、通信授業用サーバ１０は、教師４０の板書した文字および教師４０の発した音声を認識して文字情報を取得し、取得した文字情報を保持させたオブジェクトを生成して仮想空間内に配置する。例えば、教師４０の板書から取得した文字情報は仮想空間内の黒板オブジェクトに付加する。教師４０の音声から取得した文字情報は、文字そのものの形状を持つ文字オブジェクトを生成し、文字オブジェクトに文字情報を保持させたうえで、仮想空間内に文字オブジェクトを配置する。あるいは、動画配信におけるコメント機能を利用することも考えられる。コメント機能とは、生放送やコンテンツ再生視聴時に、視聴者が打ち込んでサーバへ送信をしたテキストデータが、再生中の動画に重畳されてスクロール表示される機能である。すなわち、教師や他の生徒、さらには自分が発したり、キーボードなどで入力したりした文字情報がコメントとして、例えば各端末の表示画面において例えば右から左へスクロール表示されるようにしてもよい。このようにスクロール表示されることとで、経時的に次々と発言や文字入力がなされた場合においても、必要な文字情報が破綻なく表示画面内に表示される。これら表示された文字情報を、後に述べるようなノート作成の対象としてもよい。

【0054】

ステップＳ１１にて、生徒用端末３０は、文字情報を保持するオブジェクトの選択を受け付ける。例えば、生徒用端末３０は、生徒アバターが黒板オブジェクトの文字にアンダーラインを引くモーションをしたときに、黒板オブジェクトのアンダーラインが引かれた文字が選択されたと判断する。あるいは、生徒用端末３０は、生徒アバターが仮想空間内に配置された文字オブジェクトを掴むモーションをしたときに、掴んだ文字オブジェクトが選択されたと判断する。

【0055】

ステップＳ１２にて、生徒用端末３０は、選択されたオブジェクトの保持する文字情報をノートオブジェクトに記録する。

【0056】

授業中、以上の処理が繰り返されて、ノートオブジェクトが作成される。

【0057】

［ノート作成の実施例］
図７ないし９を参照し、仮想空間内でのノート作成について説明する。図７ないし９は、生徒用端末３０が、授業の行われている仮想空間をレンダリングした、生徒が見ている映像の概略を図示したものである。

【0058】

図７は、仮想空間内において板書された文字をノートオブジェクトに記録する例を示す。

【0059】

図７の仮想空間内には、教師アバター４００、生徒の右手オブジェクト５００Ｒ、左手オブジェクト５００Ｌ、ノートオブジェクト５１０、机オブジェクト５２０、および黒板オブジェクト６１０が配置されている。もちろん、図示したもの以外のオブジェクトを配置してもよい。

【0060】

教師アバター４００は、実空間における教師４０の動きを反映したコンピュータグラフィックス（ＣＧ）キャラクタである。通信授業用サーバ１０が、教師４０の動画データから教師４０の動きと姿勢を検出し、検出した動きおよび姿勢に応じたモーションデータを生成する。例えば、教師４０が手を上げると、通信授業用サーバ１０は、教師アバター４００が手を上げるモーションを行うようなモーションデータを生成する。生徒用端末３０は、そのモーションデータに基づいて教師アバター４００を動かす。

【0061】

黒板オブジェクト６１０は、教室ディスプレイ１１に表示された文字や図と同じものを表示するとともに、黒板オブジェクト６１０の表示する情報に対応する文字情報を保持する。通信授業用サーバ１０は、教室ディスプレイ１１を撮影した画像を文字認識し、得られた文字情報を黒板オブジェクト６１０に保持させる。教室ディスプレイ１１に表示する授業用データから文字情報を抽出してもよい。図７の例では、黒板オブジェクト６１０は、“ＡＢＣＤ”の文字６１１を表示するとともに、“ＡＢＣＤ”の文字情報（テキスト）を保持する。

【0062】

右手オブジェクト５００Ｒおよび左手オブジェクト５００Ｌは、生徒アバターの一部であり、生徒が仮想空間内で操作するオブジェクトである。実空間における生徒の手の動きを右手オブジェクト５００Ｒと左手オブジェクト５００Ｌに反映させてもよい。図では、生徒アバターの全身を図示していないが、仮想空間内で生徒アバターの全身を表示してもよい。

【0063】

ノートオブジェクト５１０は、生徒が仮想空間内で作成するノートである。図７の例では、机オブジェクト５２０の上にノートオブジェクト５１０が置かれている。生徒の操作に基づき、黒板オブジェクト６１０に記載された文字６１１をノートオブジェクト５１０に記載する。図７の例では、黒板オブジェクト６１０に表示された“ＡＢＣＤ”の文字６１１が、ノートオブジェクト５１０上に“ＡＢＣＤ”の文字５１１として記載された。ノートオブジェクト５１０に記載された“ＡＢＣＤ”の文字情報（テキスト）は、生徒用端末３０に記憶される。

【0064】

生徒は、右手オブジェクト５００Ｒおよび左手オブジェクト５００Ｌを操作して、仮想空間内のオブジェクトが保持する文字情報をノートオブジェクト５１０に記録する。例えば、生徒は、コントローラ３２を操作し、右手オブジェクト５００Ｒに仮想空間内の机オブジェクト５２０に置かれたペンオブジェクト（図示せず）を持ち上げさせることで、授業の状態をノート作成モードに遷移させる。ノート作成モードでは、右手オブジェクト５００Ｒが黒板オブジェクト６１０の近くまで移動し、図７に示すように、黒板オブジェクト６１０に表示された文字６１１にアンダーラインを引くことができる。アンダーラインを引いた文字６１１に対応する文字情報がノートオブジェクト５１０に記載される。左手オブジェクト５００Ｌは、ノートオブジェクト５１０のページをめくったり、文字５１１を記載する箇所を指定したりする。右手オブジェクト５００Ｒがペンオブジェクトを机オブジェクト５２０に置くと、ノート作成モードが解除される。

【0065】

別の操作により、オブジェクトの保持する文字情報をノートオブジェクト５１０に記載してもよい。例えば、生徒アバターが文字情報を保持するオブジェクトを掴んでノートオブジェクト５１０に押し付けると、文字情報がノートオブジェクト５１０に記載されてもよい。図７の例では、黒板オブジェクト６１０を掴んで、ノートオブジェクト５１０に押し付けると、黒板オブジェクト６１０に表示された内容がノートオブジェクト５１０に記載される。あるいは、生徒アバターがノートオブジェクト５１０を掴んで黒板オブジェクト６１０に押し付けると、黒板オブジェクト６１０の保持する文字情報がノートオブジェクト５１０に記載されてもよい。

【0066】

ノートオブジェクト５１０は、白紙のノートに限らず、配布された授業用の資料であってもよい。

【0067】

図８は、仮想空間内において教師が発した音声をノートオブジェクトに記録する例を示す。

【0068】

教師４０の発した音声は、図８に示すように、仮想空間内で文字オブジェクト６２０として配置される。文字オブジェクト６２０は、保持する文字情報そのものの形を有する。図８の文字オブジェクト６２０は“ＥＦＧＨＩ”の文字形状であり、“ＥＦＧＨＩ”の文字情報を保持する。

【0069】

通信授業用サーバ１０は、教師４０の発した音声を音声認識し、音声認識結果の文字を文字オブジェクト６２０として仮想空間内に配置する。例えば、文字オブジェクト６２０を教師アバター４００の口の位置に配置し、教師アバター４００の正面方向に移動させてもよい。

【0070】

生徒は、右手オブジェクト５００Ｒまたは左手オブジェクト５００Ｌを操作して、図８に示すように、仮想空間内の文字オブジェクト６２０を掴むことができる。掴んだ文字オブジェクト６２０の保持する文字情報がノートオブジェクト５１０上に文字５１２として記載される。掴んだ文字オブジェクト６２０をノートオブジェクト５１０に押し付けたときに文字５１２として記載されてもよい。

【0071】

あるいは、ノートオブジェクト５１０を掴んで文字オブジェクト６２０または教師アバター４００の口に押し付けたり、教師アバター４００の頭を掴んでノートオブジェクト５１０に押し付けたりすると、文字情報がノートオブジェクト５１０に記載されてもよい。仮想空間内において録音機器オブジェクト（図示せず）の録音スイッチを押下すると、文字オブジェクト６２０が録音機器オブジェクトに吸い込まれて、ノートオブジェクト５１０に記載されてもよい。

【0072】

文字オブジェクト６２０の配置位置は任意に設定できる。例えば、仮想空間内の天井オブジェクトの近くに文字オブジェクト６２０を配置したり、教室の後ろの壁オブジェクトの近くに文字オブジェクト６２０を配置したり、床オブジェクトの近くに文字オブジェクト６２０を配置したりしてもよい。文字オブジェクト６２０を仮想空間内に浮かせてもよいし、上下左右方向に移動させてもよい。

【0073】

図９は、仮想空間内において資料を提示し、資料内の情報をノートオブジェクトに記録する例を示す。

【0074】

教師４０は、教師用端末１３を操作し、仮想空間内の任意の位置に資料オブジェクト６３０を配置できる。資料オブジェクト６３０は、資料オブジェクト６３０が表示する情報に対応する文字情報、図形などを保持する。資料オブジェクト６３０に表示させる内容は、授業用データとして事前に用意しておく。

【0075】

生徒は、黒板オブジェクト６１０と同様に、資料オブジェクト６３０にアンダーラインを引くことができる。アンダーラインを引いた文字に対応する文字情報がノートオブジェクト５１０に記録される。資料オブジェクト６３０に図形や画像が表示されている場合、右手オブジェクト５００Ｒまたは左手オブジェクト５００Ｌで指さすことで、選択された図形や画像がノートオブジェクト５１０に記載される。

【0076】

［複数の生徒が参加する授業］
図１０を参照し、複数の生徒が同時に参加する授業におけるノートの作成について説明する。図１０の例では、複数の生徒アバター７００Ａ，７００Ｂ，７００Ｃが同じ仮想空間内に存在し、同じ授業を受けている。

【0077】

通信授業用サーバ１０は、授業コンテンツを複数の生徒のそれぞれが用いる複数の生徒用端末３０へ同時に配信する。複数の生徒のそれぞれは、自身を示す生徒アバター７００Ａ，７００Ｂ，７００Ｃで仮想空間内の授業に参加する。生徒用端末３０のそれぞれは、生徒の動きに合わせて生徒アバター７００Ａ，７００Ｂ，７００Ｃのモーションデータを生成し、通信授業用サーバ１０へ送信する。通信授業用サーバ１０は、生徒アバター７００Ａ，７００Ｂ，７００Ｃのモーションデータを生徒用端末３０のそれぞれに配信する。複数の生徒のそれぞれは、他の生徒の動きを反映した生徒アバター７００Ａ，７００Ｂ，７００Ｃを見ることができる。

【0078】

前述のように、生徒は生徒アバターを動かして仮想空間内でノートを作成する。例えば、黒板オブジェクト６１０にアンダーラインを引いたり、仮想空間内に浮かぶ文字オブジェクトを掴んだりすることでノートを作成する。他の生徒から見ると、ノート作成中の生徒アバターがバタバタ動いて見え、煩わしく感じることもある。

【0079】

そこで、本実施形態では、複数の生徒が参加する授業では、他の生徒から見ると、ノート作成中の生徒アバターがノートを書いているように見せる。具体的には、ある生徒Ａがノート作成モードに遷移すると、通信授業用サーバ１０は、生徒Ａ以外の生徒の生徒用端末３０には、生徒Ａの生徒アバター７００Ａのモーションデータとして、ノートを書いているモーションデータを配信する。生徒Ａ以外の生徒用端末３０では、ノートを書いているモーションを行う生徒アバター７００Ａが表示される。

【0080】

一方、生徒Ａの生徒用端末３０では、図１０の生徒アバター７１０Ａのように、黒板オブジェクト６１０の前に立ち、黒板オブジェクト６１０に表示された文字にアンダーラインを引いている生徒アバター７１０Ａが表示されている。

【0081】

このように、通信授業用サーバ１０が、ノート作成中の生徒アバター７００Ａのモーションデータをノートを書いているモーションデータに差し替えて配信することにより、生徒は、他の生徒の邪魔にならずにノートを作成できる。

【0082】

先生の発した音声だけでなく、生徒の発した音声を文字オブジェクトとして仮想空間内に配置してもよい。生徒は、他の生徒の発した音声の文字オブジェクトをノートオブジェクトに記載できる。例えば、先生の質問に対する生徒の回答などをノートに記載できる。

【0083】

なお、授業が録画されたコンテンツであり、生徒が異なる時刻に授業に参加する場合も、複数の生徒が同じ仮想空間内で参加できてもよい。例えば、ある生徒Ａが授業に参加したときに、通信用授業サーバ１０は、生徒Ａの生徒アバター７００Ａのモーションデータや発話内容などを記録しておく。その後、別の時刻に別の生徒Ｂが授業に参加すると、通信用授業サーバ１０は、生徒Ｂの生徒アバター７００Ｂに加えて、生徒Ａの生徒アバター７００Ａを仮想空間内に配置する。つまり、生徒Ａと生徒Ｂは同じ仮想空間内の授業に参加することになる。通信用授業サーバ１０は、授業の進行に応じて、過去に記録しておいた生徒アバター７００Ａのモーションデータ等を用いて生徒アバター７００Ａの動作を再現する。生徒アバター７００Ａが音声を発していた場合は、生徒アバター７００Ａの発した音声を文字オブジェクトとして仮想空間内に配置してもよい。生放送の授業を録画したコンテンツであってもよい。この場合、生放送時に授業に参加した生徒アバターのモーションデータや発話内容を記録しておく。生徒が録画された授業に参加する際、生徒の生徒アバターに加えて、生放送時に授業に参加した生徒アバターを仮想空間内に配置し、授業の進行に合わせて生徒アバターの動作を再現する。

【0084】

以上説明したように、本実施形態の授業コンテンツの配信システムは、仮想空間内で行われる授業を配信する通信授業用サーバ１０と授業を受けるための生徒用端末３０とを備える。通信授業用サーバ１０は、仮想空間を表示するための仮想空間情報を生徒用端末３０へ配信する配信部１０６と、授業の進行に応じた文字情報を保持するオブジェクトを仮想空間内に配置する配置部１０３を有する。生徒用端末３０は、仮想空間情報に基づいて仮想空間を表示するＨＭＤ３１と、オブジェクトの選択を受け付ける選択部３０３と、選択されたオブジェクトの保持する文字情報を記憶する記憶部３０４を有する。これにより、生徒は、仮想空間内の生徒アバターを操作し、文字情報を保持するオブジェクトを選択すると、生徒のノートオブジェクトに選択したオブジェクトの保持する文字情報が記載されるので、ＨＭＤを装着して仮想空間内で行われる授業を視聴する際、ノートを容易に作成できる。

【0085】

なお、ＨＭＤを用いずに、パーソナルコンピュータなどの端末の表示画面上に仮想空間をレンダリングした授業を表示した場合、生徒は、マウスなどのポインティングデバイスを用いて仮想空間内のオブジェクトを選択し、オブジェクトの保持する文字情報をノートオブジェクトに転記できてもよい。

【符号の説明】

【0086】

１０…通信授業用サーバ
１０１…入出力部
１０２…認識部
１０３…配置部
１０４…解析部
１０５…記憶部
１０６…配信部
１１…教室ディスプレイ
１２…中継カメラ
１３…教師用端末
１４…マイクロホン
１５…スピーカ
２０…通信回線
３０…生徒用端末
３０１…ＶＲ機能部
３０２…入力部
３０３…選択部
３０４…記憶部
３１…ＨＭＤ
３２…コントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】