特許 6754908 視聴端末、視聴方法、視聴システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6754908

(24)【登録日】2020年8月26日

(45)【発行日】2020年9月16日

(54)【発明の名称】視聴端末、視聴方法、視聴システム及びプログラム

(51)【国際特許分類】

   G09B 5/08 20060101AFI20200907BHJP

   H04N 21/431 20110101ALI20200907BHJP

   H04N 21/44 20110101ALI20200907BHJP

   H04N 21/235 20110101ALI20200907BHJP

   G06T 19/00 20110101ALI20200907BHJP

   G06F 3/01 20060101ALI20200907BHJP

   G06F 3/0481 20130101ALI20200907BHJP

【ＦＩ】

   G09B5/08

   H04N21/431

   H04N21/44

   H04N21/235

   G06T19/00 600

   G06F3/01 510

   G06F3/0481

【請求項の数】6

【全頁数】13

(21)【出願番号】特願2020-19368(P2020-19368)

(22)【出願日】2020年2月7日

【審査請求日】2020年2月7日

【早期審査対象出願】

(73)【特許権者】

【識別番号】598138327

【氏名又は名称】株式会社ドワンゴ

(73)【特許権者】

【識別番号】518412081

【氏名又は名称】株式会社バーチャルキャスト

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】川上 量生

(72)【発明者】

【氏名】岩城 進之介

【審査官】 宮本 昭彦

(56)【参考文献】

【文献】 特開２００４−０６１７８３（ＪＰ，Ａ）

【文献】 特開２００５−１２８８７７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／０３００３９２（ＵＳ，Ａ１）

【文献】 岩崎 昇一，３Ｄ教材開発用共通プラットフォームの提案，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，２０００年１２月１３日，Vol.100 No.516，第53〜58頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｂ ５／００ − ７／１２

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ２１／００ −２１／８５８

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８− ３／０４８９

(57)【特許請求の範囲】

【請求項1】

没入感のある仮想空間内で行われる授業を視聴するための視聴端末であって、
仮想空間情報に基づいて前記仮想空間を表示する表示部と、
前記授業を視聴する生徒の机を少なくとも含んだ現実空間を撮影した映像を入力する入力部と、を備え、
前記表示部は、前記映像から生徒の机の天板を撮影した領域を抽出し、前記仮想空間内の机オブジェクトの天板に前記生徒の机の天板を撮影した領域内の映像をはめ込み合成する
ことを特徴とする視聴端末。

【請求項2】

請求項１に記載の視聴端末であって、
現実空間内の前記生徒の机の位置および大きさを測定する測定部と、
前記測定部の測定結果に基づいて前記机オブジェクトの位置および大きさを調整する調整部と、を備える
ことを特徴とする視聴端末。

【請求項3】

請求項１または２に記載の視聴端末であって、
前記表示部は、カメラを備えるヘッドマウントディスプレイであり、
前記入力部は、前記カメラが撮影した映像を入力する
ことを特徴とする視聴端末。

【請求項4】

没入感のある仮想空間内で行われる授業を視聴するための視聴端末による視聴方法であって、
仮想空間情報に基づいて前記仮想空間を表示するステップと、
前記授業を視聴する生徒の机を少なくとも含んだ現実空間を撮影した映像を入力するステップと、を有し、
前記表示するステップでは、前記映像から生徒の机の天板を撮影した領域を抽出し、前記仮想空間内の机オブジェクトの天板に前記生徒の机の天板を撮影した領域内の映像をはめ込み合成する
ことを特徴とする視聴方法。

【請求項5】

没入感のある仮想空間内で行われる授業を視聴するための視聴システムであって、
前記授業を配信するサーバと前記授業を視聴する視聴端末とを備え、
前記サーバは、
前記授業を表示するための仮想空間情報を配信する配信部を備え、
前記視聴端末は、
前記仮想空間情報に基づいて前記仮想空間を表示する表示部と、
前記授業を視聴する生徒の机を少なくとも含んだ現実空間を撮影した映像を入力する入力部と、を備え、
前記表示部は、前記映像から生徒の机の天板を撮影した領域を抽出し、前記仮想空間内の机オブジェクトの天板に前記生徒の机の天板を撮影した領域内の映像をはめ込み合成する
ことを特徴とする視聴システム。

【請求項6】

コンピュータを、没入感のある仮想空間内で行われる授業を視聴するための視聴端末として動作させるプログラムであって、
仮想空間情報に基づいて前記仮想空間を表示する処理と、
前記授業を視聴する生徒の机を少なくとも含んだ現実空間を撮影した映像を入力する処理と、を前記コンピュータに実行させ、
前記表示する処理では、前記映像から生徒の机の天板を撮影した領域を抽出し、前記仮想空間内の机オブジェクトの天板に前記生徒の机の天板を撮影した領域内の映像をはめ込み合成する処理
を前記コンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想空間内で行われる授業を視聴する技術に関する。

【背景技術】

【0002】

近年、テレビ・ラジオを用いた通信教育だけでなく、情報通信技術（ＩＣＴ）を利用した通信教育システムが広まっている。

【0003】

ＩＣＴを利用した通信教育システムの一つとして、没入感のある仮想現実（ＶＲ）技術を用い、例えば生徒がヘッドマウントディスプレイ（ＨＭＤ）を装着し、仮想空間内で授業を行うことが考えられる。没入感のある仮想空間内での授業に参加することにより、外界の情報をシャットダウンでき、テレビやパーソナルコンピュータなどを用いたときに比べて授業に集中できる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−２０３７８６号公報

【特許文献2】特開２０１９−１０１９４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、ＨＭＤなどにより視界を覆った没入感のある仮想空間では、現実空間の机上にある教科書、ノート、およびパソコンなどの実体物はＨＭＤを外さなければ利用することができない。仮想空間内で行われる授業中に、ＨＭＤを着けたり外したりする動作は面倒である。

【0006】

ＨＭＤを装着したユーザが下方向を向いたことを検知した場合、ＨＭＤの備えるカメラで撮影した映像を仮想空間内に表示する技術が知られている。この技術を用いると、ＨＭＤを外すことなく現実空間の教科書やノートを使うことができる。しかしながら、従来の方法は、仮想空間内に配置されたオブジェクトを考慮せず、仮想空間の下部に現実空間の映像を表示するものであり、せっかくの没入感が阻害されてしまうという問題がある。

【0007】

特許文献１には、キャラクタを描画した仮想の画像と現実の画像とを合成し、キャラクタに現実の画像に含まれるフィギュアに合わせたリアリティのある動作をさせる技術が開示されている。特許文献１の技術は、現実空間に仮想のキャラクタを合成するものであって、仮想空間内に現実空間の実体物の映像を合成するものではない。

【0008】

特許文献２には、仮想空間において手書きの文字を入力する技術が開示されている。特許文献２の技術は、現実空間にある操作板（アクリル板）に対応するオブジェクトを仮想空間内に表示する。ユーザが現実空間において指で操作板に文字を書くと、書いた文字が認識されて仮想空間内のオブジェクトに表示される。ユーザは、現実空間の操作板を用いて手書き文字を仮想空間内に入力できるが、現実空間の操作板に書いた文字が残されるものではなく、現実空間でのノートの作成には利用できない。

【0009】

本発明は、上記に鑑みてなされたものであり、ＨＭＤを装着したまま、現実空間の実体物を利用可能にすることを目的とする。

【課題を解決するための手段】

【0010】

本発明の一態様の視聴システムは、没入感のある仮想空間内で行われる授業を視聴するための視聴システムであって、前記授業を配信するサーバと前記授業を視聴する視聴端末とを備え、前記サーバは、前記授業を表示するための仮想空間情報を配信する配信部を備え、前記視聴端末は、前記仮想空間情報に基づいて前記仮想空間を表示する表示部と、前記授業を視聴する生徒の机を少なくとも含んだ現実空間を撮影した映像を入力する入力部と、を備え、前記表示部は、前記映像から生徒の机の天板を撮影した領域を抽出し、前記仮想空間内の机オブジェクトの天板に前記生徒の机の天板を撮影した領域内の映像をはめ込み合成することを特徴とする。

【発明の効果】

【0011】

本発明によれば、ＨＭＤを装着したまま、現実空間の実体物を利用可能にすることができる。

【図面の簡単な説明】

【0012】

【図1】図１は、本実施形態の授業コンテンツの視聴システムの全体的な構成例を示すブロック図である。

【図2】図２は、授業コンテンツの配信元の教室を概念的に示す図である。

【図3】図３は、通信授業用サーバの構成例を示す機能ブロック図である。

【図4】図４は、生徒用端末の構成例を示す機能ブロック図である。

【図5】図５は、仮想空間内の机オブジェクトに現実空間の机上の画像をはめ込む処理の流れを示すフローチャートである。

【図6】図６は、映像をはめ込み合成する前の仮想空間の一例を示す図である。

【図7】図７は、現実空間の生徒の机の一例を示す図である。

【図8】図８は、図６の仮想空間に図７の机を撮影した映像をはめ込み合成した仮想空間の一例を示す図である。

【発明を実施するための形態】

【0013】

［システム構成］
以下、本発明の一実施形態の授業コンテンツの視聴システムについて図面を用いて説明する。

【0014】

本実施形態の授業コンテンツの視聴システムは、仮想現実（ＶＲ）を用いた授業コンテンツを配信するシステムである。図１に示す授業コンテンツの視聴システムは、通信授業用サーバ１０および生徒用端末３０を備える。通信授業用サーバ１０と生徒用端末３０は、通信回線２０を介して接続されている。通信回線２０は、インターネット等の任意の通信回線である。

【0015】

図１では、生徒用端末３０を１台のみ図示しているが、生徒用端末３０の台数は任意である。生徒１人に対して１台の生徒用端末３０を用意する。授業コンテンツが生放送で配信される場合は、多数の生徒用端末３０が通信授業用サーバ１０に同時に接続される。授業コンテンツがオンデマンドで配信される場合は、生徒用端末３０と通信授業用サーバ１０とを一対一で接続してもよい。

【0016】

生徒用端末３０は、ＶＲ機能を有する端末であれば、スマートフォンおよびパーソナルコンピュータなどの任意のコンピュータ機器を用いることができる。生徒用端末３０には、ＨＭＤ３１およびカメラ３２が接続される。カメラ３２はＨＭＤ３１が備えてもよいし、生徒がいる室内に固定されていてもよい。生徒用端末３０とＨＭＤ３１とカメラ３２が一体となった装置を用いてもよい。

【0017】

授業コンテンツを視聴する際、生徒はＨＭＤ３１を装着する。生徒用端末３０は、通信授業用サーバ１０から仮想空間を構成するための情報を受信し、受信した情報に基づいて仮想空間を構成し、ＨＭＤ３１に仮想空間を撮影した映像を表示する。生徒用端末３０は、仮想空間をレンダリングする際、カメラ３２で撮影した生徒の机上の画像を仮想空間内の机オブジェクトにはめ込み合成する。

【0018】

通信授業用サーバ１０には、教室ディスプレイ１１、中継カメラ１２、教師用端末１３、マイクロホン１４、およびスピーカ１５が接続される。スピーカ１５は、ヘッドホン（イヤホン）を含む。通信授業用サーバ１０は、接続された機器から受信した情報を元に、仮想空間内での授業コンテンツを作成する。

【0019】

図２に示すように、教師４０は、教室ディスプレイ１１の前に立ち、教室ディスプレイ１１および教師用端末１３を用いて授業を行う。教室ディスプレイ１１は、電子黒板と称される大画面ディスプレイである。教師４０は、通信授業用サーバ１０に記憶されている授業用データを教室ディスプレイ１１に表示させて授業を行う。授業用データは、教師用端末１３に表示されてもよい。教師４０の発話に合わせて授業用データが遷移して表示されて授業が進行する。教師４０は、教師用端末１３を操作し、教室ディスプレイ１１に表示する授業用データを選択してもよい。

【0020】

教室ディスプレイ１１に表示された授業用データは、仮想空間内に配置される黒板オブジェクトにも表示される。教室ディスプレイ１１の代わりに黒板またはホワイトボードを用いてもよい。

【0021】

中継カメラ１２は、教師４０による授業を撮影する。教師４０を撮影した動画データは、通信授業用サーバ１０に送信される。通信授業用サーバ１０は、動画データから教師４０の動きおよび姿勢を検出し、仮想空間内に配置される教師アバターに反映させるためのモーションデータを生成する。教師アバターとは、教師４０の動きを反映させるコンピュータグラフィックス（ＣＧ）キャラクタである。例えば、通信授業用サーバ１０は、動画データから教師４０のボーン（骨格）を検出し、検出したボーンに基づいて教師アバターを動かす。通信授業用サーバ１０は、ボーンに基づいて生成した教師アバターのモーションデータを生徒用端末３０へ配信する。教師４０を撮影した動画データから教師アバターのモーションデータを作成する代わりに、教師がＨＭＤを装着し、コントローラを操作して、教師アバターを操作してもよい。

【0022】

マイクロホン１４は、教師４０の発した音声を収音する。収音された音声データは、通信授業用サーバ１０に送信される。通信授業用サーバ１０は、音声データを生徒用端末３０へ配信する。

【0023】

スピーカ１５は、例えば、撮影スタッフからの授業の進行に関する指示などを出力して教師４０に伝える。授業が双方向の場合、スピーカ１５は、生徒用端末３０から送信された音声データを出力してもよい。

【0024】

なお、授業を撮影した映像であれば、どのような映像を用いて授業コンテンツを作成してもよい。例えば、過去に録画された教育番組の映像から登場人物のボーンを検出し、検出したボーンに基づいて仮想空間内のアバターを動かしてもよい。

【0025】

［サーバ構成］
図３を参照し、通信授業用サーバ１０の構成について説明する。図３に示す通信授業用サーバ１０は、入出力部１０１、制御部１０２、音声処理部１０３、記憶部１０４、および配信部１０５を備える。

【0026】

入出力部１０１は、教室ディスプレイ１１、中継カメラ１２、教師用端末１３、マイクロホン１４、およびスピーカ１５と接続し、授業用データを出力したり、動画データ、音声データ、および操作を入力したりする。

【0027】

制御部１０２は、動画データから教師４０の動きおよび姿勢を検出し、教師アバターのモーションデータを生成する。モーションデータは記憶部１０４に記憶される。制御部１０２は、教室ディスプレイ１１に表示された情報および教師用端末１３から入力された情報を記憶部１０４に記憶する。

【0028】

音声処理部１０３は、マイクロホン１４で受信した音声等を記憶部１０４に記憶する。

【0029】

記憶部１０４は、授業が行われる仮想空間を構築するための情報を記憶する。仮想空間を構築するための情報としては、例えば、仮想空間内に配置されるオブジェクトのモデルデータ、オブジェクトの配置情報、アバターのモデルデータとモーションデータがある。仮想空間内に配置されるオブジェクトとしては、例えば、黒板オブジェクト、教室の壁・床・天井のオブジェクト、および生徒の机オブジェクトがある。記憶部１０４は、授業の進行に合わせて録音された音声データ、教室ディスプレイ１１に表示された情報および教師用端末１３から入力された情報を含む授業用データを記憶する。

【0030】

配信部１０５は、授業が行われる仮想空間を構築するための仮想空間情報を配信する。例えば、配信部１０５は、授業の開始前に、仮想空間内の教室に配置されたオブジェクトおよびアバターのモデルデータを生徒用端末３０へ配信しておく。配信部１０５は、授業が視聴されている間、教師アバターのモーションデータ、音声データ、黒板オブジェクトに描画される情報などの授業の進行に応じて変化するデータを生徒用端末３０へ随時配信する。

【0031】

［端末構成］
図４を参照し、生徒用端末３０の構成について説明する。図４に示す生徒用端末３０は、ＶＲ機能部３０１、入力部３０２、測定部３０３、調整部３０４、および記憶部３０５を備える。

【0032】

ＶＲ機能部３０１は、通信授業用サーバ１０から仮想空間を構築するための仮想空間情報を受信して仮想空間を構築する。ＶＲ機能部３０１は、ＨＭＤ３１で検出した生徒の頭の動きに基づいて仮想カメラを制御して、仮想空間をレンダリングする。生徒の見る映像は、仮想空間内の生徒アバターの視点から見える仮想空間である。生徒アバターとは、授業を視聴する生徒の仮想空間内のＣＧキャラクタである。

【0033】

ＶＲ機能部３０１は、仮想空間をレンダリングする際、カメラ３２で撮影した現実空間の映像を解析し、映像内から机上部分の領域を抽出し、抽出した領域内の映像を仮想空間内の机オブジェクトの天板にはめ込み合成する。これにより、仮想空間内の机オブジェクトに現実空間の机上の映像が融合されて表示される。映像をはめ込み合成した机オブジェクトの天板以外は仮想空間をレンダリングした映像であるので、没入感が損なわれることがない。

【0034】

生徒アバターつまり生徒が机オブジェクトを見ることで、生徒はＨＭＤ３１を装着したまま、机オブジェクトの天板に投影された現実空間の机上を見ることができる。生徒は、仮想空間内において、現実空間の机上の教科書、ノート、パソコン等を見ることができる。生徒が現実空間のノートに書いた文字等は、机オブジェクトに投影されるので、生徒はＨＭＤ３１を装着したまま現実空間のノートを作成できる。カメラ３２で撮影する現実空間の映像は、生徒の手の届く範囲を少なくとも含む現実空間を撮影した映像である。生徒は、仮想空間に融合された現実空間の映像を見ながら現実空間の実体物を利用できる。なお、机オブジェクト以外の仮想空間内に、映像から抽出した生徒の手の届く範囲の領域をはめ込み合成してもよい。

【0035】

なお、生徒が机の引き出しを開けたとき、ＶＲ機能部３０１は、映像内から引き出し部分の領域を抽出し、机オブジェクトを引き出しを開けた状態にして、机オブジェクトに引き出し部分の領域をはめ込み合成してもよい。映像をはめ込み合成する机は学習机に限らず、サイドテーブル、サイドワゴン、あるいはサイドチェストなどの家具であってもよい。机オブジェクトは、これらの家具に対応するオブジェクトも含む。

【0036】

ＶＲ機能部３０１は、仮想空間内の生徒アバターのモーションデータを生成し、通信授業用サーバ１０へ送信してもよい。生徒は、コントローラを操作して生徒アバターのモーションを制御してもよい。

【0037】

入力部３０２は、カメラ３２で撮影した映像を入力する。入力部３０２は、ＨＭＤ３１で検出した生徒の頭の動きおよびコントローラの操作内容を入力してもよい。入力部３０２にマイクロホンを接続して生徒の音声を入力し、入力した音声データを通信授業用サーバ１０へ送信してもよい。

【0038】

測定部３０３は、生徒が授業コンテンツを視聴する前に、生徒の利用する机が置かれた現実空間の３次元空間情報を測定し、得られた３次元空間情報に基づいて現実空間の机の天板を検出する。例えば、カメラ３２を動かしながら現実空間の動画を撮影し、単眼カメラを用いたマーカーレスＡＲの技術により、撮影場所の３次元空間情報を測定できる。測定部３０３は、例えば、得られた３次元空間情報に基づき、所定の範囲内の高さにあり、所定の広さを持った平面を机の天板として検出する。

【0039】

測定部３０３が天板の候補となる平面をいくつか生徒に提示し、生徒が天板を示す平面を選択してもよい。具体的には、例えば、カメラ３２を備えたＨＭＤ３１を生徒が装着し、カメラ３２で撮影した映像をＨＭＤ３１に表示する。生徒は、カメラ３２のフレーム内に机の天板が収まるように頭（カメラ３２）を動かす。測定部３０３は、映像から３次元空間情報を測定して平面を検出する。測定部３０３は、平面を検出できたときは、カメラ３２の撮影した映像に検出できた平面を示す枠を重ねて表示する。生徒は、平面を示す枠が机の天板と一致したときに、コントローラを操作するなどの決定操作を行う。

【0040】

調整部３０４は、現実空間でのＨＭＤ３１と机の天板との位置関係に基づき、仮想空間内の机オブジェクトの天板の位置を調整する。ＨＭＤ３１の位置が生徒アバターの頭部に相当する。調整部３０４は、机オブジェクトの天板の大きさを現実空間の机の天板の大きさに調整してもよい。調整部３０４が机オブジェクトの位置や大きさを現実空間の机に合わせて調製することで、生徒が生徒アバターで机オブジェクトの天板に触れると、現実空間においても机の天板に触れることができる。生徒アバターのサイズは生徒に合わせて調整しておく。仮想空間内に現実空間で触れることができるオブジェクトが表示される。

【0041】

記憶部３０５は、ＶＲ機能部３０１が仮想空間をレンダリングするのに必要な情報、測定部３０３が測定した３次元空間情報、および調整部３０４が調整した調整後の机オブジェクトの情報を保持する。記憶部３０５は、カメラ３２で撮影された映像など入力部３０２が入力した情報を保存してもよい。

【0042】

なお、授業コンテンツを視聴するための生徒用の専用ブースを用意する場合、生徒の利用する机が写るようにカメラ３２を固定して配置してもよい。机には決められた大きさのものを用い、決められた位置に配置する。これにより、カメラ３２および机の位置は固定されるので、測定部３０３による天板の検出が不要である。机の大きさも決められているので、調整部３０４による机オブジェクトの調整も不要である。また、生徒の自室において、カメラ３２を固定して配置してもよい。自室の机に応じて机オブジェクトを一度調整しておけば、２度目から調整が不要である。

【0043】

通信授業用サーバ１０および生徒用端末３０には、例えば、中央演算処理装置（ＣＰＵ）、メモリ、ストレージ、通信装置、および入出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、通信授業用サーバ１０および生徒用端末３０が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。

【0044】

通信授業用サーバ１０が仮想空間をレンダリングしてもよい。例えば、生徒用端末３０は、ＨＭＤ３１で検出した生徒の頭の動きを通信授業用サーバ１０へ送信する。通信授業用サーバ１０は、生徒の頭の動きに基づいて仮想カメラを制御し、仮想空間をレンダリングする。生徒用端末３０はレンダリング後の映像を受信して表示する。

【0045】

［はめ込み合成処理］
図５を参照し、はめ込み合成を行う処理の流れについて説明する。

【0046】

ステップＳ１１にて、測定部３０３は、現実空間の机の位置および大きさを検出する。

【0047】

ステップＳ１２にて、調整部３０４は、現実空間の机の位置および大きさに基づいて仮想空間内の机オブジェクトの位置および大きさを調整する。例えば、ＨＭＤ３１から机の天板までの距離を基準として生徒アバターの視点位置から机オブジェクトの天板までの距離を調整し、さらに、机オブジェクトの天板の大きさを調整する。

【0048】

調整で３０４による机オブジェクトの調整後、生徒は、ＨＭＤ３１を装着して仮想空間内に机オブジェクトを表示させ、手を動かして、仮想空間内での机オブジェクトの位置および大きさが現実空間の机の位置および大きさに対応しているか否か確認し、机オブジェクトの位置および大きさを微調整してもよい。

【0049】

以上のステップＳ１１およびステップＳ１２の処理により、仮想空間の机オブジェクトを現実空間の机に対応させることができる。

【0050】

ステップＳ１３にて、カメラ３２で撮影した映像から机上の領域を抽出し、抽出した領域内の映像を仮想空間内の机オブジェクトの天板にはめ込み合成する。これにより、生徒は、ＨＭＤ３１を装着したまま仮想空間内で現実空間の机上を見ることができる。

【0051】

生徒が、現実空間において机上のノートに記入する場合、机上を撮影した映像には生徒の手や腕が映る。この場合、生徒アバターの手および腕を非表示にしたり、透明にしたりしてもよい。

【0052】

ＶＲ機能部３０１は、オブジェクトをレンダリングする際、現実空間の実体物と対応が取れている部分を強調表示してもよい。例えば、現実空間の実体物と対応がとれている机の天板について、ＶＲ機能部３０１は、机オブジェクトの天板の端を枠で囲って強調表示する。これにより、生徒は、仮想空間で枠で囲われた部分は現実空間において実体物が存在することを認識できる。

【0053】

生徒の頭部が揺動した場合でも、現実空間の映像がオブジェクトに対して揺れずに合成されるようにする。

【0054】

現実空間の映像をはめ込み合成する機能をオン／オフできてもよいし、現実空間の映像に透明度を設定してはめ込み合成してもよい。現実空間の映像をはめ込み合成しない場合でも、仮想空間内の机オブジェクトの位置および大きさは、現実空間の机に対応させておく。

【0055】

［はめ込み合成例］
図６ないし８を参照し、机オブジェクトに映像をはめ込む合成例について説明する。

【0056】

図６は、映像をはめ込み合成する前の仮想空間の一例を示す図である。同図では、教師アバター４００、机オブジェクト５００、および黒板オブジェクト６００を図示している。床・天井・壁など図示したもの以外のオブジェクトを仮想空間内に配置してもよい。

【0057】

複数の生徒で授業を受ける場合あるいは複数の生徒で授業を受けているように演出する場合は、他の生徒のアバターおよび机オブジェクトを配置してもよい。他の生徒の机オブジェクトは、机上を撮影した映像をはめ込み合成した机オブジェクトでもよいし、映像をはめ込み合成しない机オブジェクトでもよい。

【0058】

教師アバター４００は、教師４０の動きを反映して授業を進行するＣＧキャラクタである。生徒用端末３０は、通信授業用サーバ１０から受信したモーションデータに基づき、教師アバター４００を制御する。

【0059】

図６に示す机オブジェクト５００は、現実空間の机の位置および大きさに対応するように調整していない。机オブジェクト５００の手前に生徒アバター（図示せず）が存在する。机オブジェクト５００の天板５００Ａに映像をはめ込み合成する。

【0060】

黒板オブジェクト６００は、教師４０が授業の進行に応じて用いるオブジェクトである。教室ディスプレイ１１に表示された情報を表示したり、教師用端末１３から入力した情報を表示したりする。

【0061】

図７は、現実空間の生徒の机の一例を示す図である。机７００は、授業を視聴する生徒の手の届く範囲にある机である。生徒用端末３０は、生徒が授業コンテンツを視聴中、カメラ３２で机７００を撮影した映像から机７００の天板７００Ａの領域を抽出する。

【0062】

図８は、図６の仮想空間に図７の机を撮影した映像をはめ込み合成した仮想空間の一例を示す図である。図８では、図７の天板７００Ａの領域内の映像を仮想空間内の机オブジェクト５００の天板５００Ａにはめ込み合成している。また、天板５００Ａの位置を少し高くし、天板５００Ａの大きさを現実空間の天板７００Ａに合わせて調整している。現実空間の机７００に置かれたパソコンやノートも仮想空間内の机オブジェクトに投影されている。現実空間の映像をはめ込み合成した天板５００Ａを囲う枠を表示してもよい。

【0063】

なお、机オブジェクトに現実空間の映像をはめ込み合成するだけでなく、例えば、現実空間のパソコンのモニタの画面を仮想空間内のオブジェクトに投影してもよい。具体的には、パソコンのキーボードやマウスは机上に置いて操作できるようにする。パソコンのモニタをカメラで撮影する。仮想空間内にパソコンのモニタに対応するモニタオブジェクトを配置する。現実空間のモニタを撮影した映像からモニタの表示領域を抽出して仮想空間内のモニタオブジェクトにはめ込み合成する。生徒は、現実空間のパソコンを操作しながら、仮想空間内でモニタオブジェクトに写る表示を確認できる。モニタオブジェクトは生徒が触れるものではないので、仮想空間内での位置や大きさは任意に設定してもよい。

【0064】

また、生徒の自室を３６０度の映像が撮影可能な全天球カメラで撮影し、仮想空間の教室の壁・床・天井に撮影した映像をはめ込み合成してもよい。

【0065】

以上説明したように、本実施形態の授業コンテンツの視聴システムは、仮想空間内で行われる授業を配信する通信授業用サーバ１０と授業を視聴するための生徒用端末３０を備える。通信授業用サーバ１０は、仮想空間内で行われる授業を表示するための仮想空間情報を配信する配信部１０５を備える。生徒用端末３０は、仮想空間情報に基づいて仮想空間を表示するＶＲ機能部３０１と、授業を視聴する生徒の手の届く範囲の現実空間を撮影した映像を入力する入力部３０２と、を備える。ＶＲ機能部３０１は、映像から机７００の天板７００Ａが写っている領域を抽出し、机オブジェクト５００の天板５００Ａに領域内の映像をはめ込み合成する。これにより、生徒は、ＨＭＤ３１を外すことなく、生徒の使用する机上を見ることができ、さらに、机上の教科書、ノート、パソコンなどを利用することもできる。

【符号の説明】

【0066】

１０…通信授業用サーバ
１０１…入出力部
１０２…制御部
１０３…音声処理部
１０４…記憶部
１０５…配信部
１１…教室ディスプレイ
１２…中継カメラ
１３…教師用端末
１４…マイクロホン
１５…スピーカ
２０…通信回線
３０…生徒用端末
３０１…ＶＲ機能部
３０２…入力部
３０３…測定部
３０４…調整部
３０５…記憶部
３１…ＨＭＤ
３２…カメラ

【要約】

【課題】ＨＭＤを装着したまま、現実空間の実体物を利用可能にする。
【解決手段】没入感のある仮想空間内で行われる授業を視聴するための生徒用端末３０は、仮想空間情報に基づいて仮想空間を表示するＶＲ機能部３０１と、授業を視聴する生徒の手の届く範囲の現実空間を撮影した映像を入力する入力部３０２を備える。ＶＲ機能部３０１は、映像から仮想空間内の机オブジェクトに対応する机の天板が写っている領域を抽出し、机オブジェクトの天板部分に領域内の映像をはめ込み合成する。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】