特開 2024-17145 教育支援システム、教育支援方法、及び教育支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024017145

(43)【公開日】2024-02-08

(54)【発明の名称】教育支援システム、教育支援方法、及び教育支援プログラム

(51)【国際特許分類】

   H04N 21/2343 20110101AFI20240201BHJP

   H04N 21/4728 20110101ALI20240201BHJP

   G09G 5/00 20060101ALI20240201BHJP

   G09G 5/377 20060101ALI20240201BHJP

   G09G 5/36 20060101ALI20240201BHJP

【ＦＩ】

H04N21/2343

H04N21/4728

G09G5/00 510A

G09G5/36 520M

G09G5/36 530Y

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022119596

(22)【出願日】2022-07-27

(71)【出願人】

【識別番号】505205731

【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド

(74)【代理人】

【識別番号】100112737

【弁理士】

【氏名又は名称】藤田 考晴

(74)【代理人】

【識別番号】100136168

【弁理士】

【氏名又は名称】川上 美紀

(74)【代理人】

【識別番号】100140914

【弁理士】

【氏名又は名称】三苫 貴織

(74)【代理人】

【識別番号】100172524

【弁理士】

【氏名又は名称】長田 大輔

(72)【発明者】

【氏名】中尾 竹伸

(72)【発明者】

【氏名】鵜澤 潔

【テーマコード（参考）】

5C164

5C182

【Ｆターム（参考）】

5C164FA26

5C164PA31

5C164SB02P

5C164SB29S

5C164UD44P

5C182AA05

5C182AA26

5C182AA31

5C182AB13

5C182AB33

5C182AC03

5C182AC39

5C182AC46

5C182BA01

5C182BA03

5C182BA29

5C182BA64

5C182BB02

5C182BB26

5C182BC26

5C182CB45

5C182CB47

5C182CB54

5C182CC22

(57)【要約】

【課題】学習者の視線を注目させたい映像に容易に誘導すること。
【解決手段】教育支援システム１は、学習者が装着し、学習者の頭部の動きに連動して映像が変化するように構成されたＨＭＤ６２に表示させる映像コンテンツを制御可能とされている。教育支援システム１は、ＨＭＤ６２に表示されている映像コンテンツにおいて、学習者に注視させたい注目領域の情報を取得する情報取得部２２と、注目領域の情報に基づいて、映像コンテンツにおける注目領域を特定する注目領域特定部２３と、映像コンテンツにおいて、注目領域以外の領域に予め設定されたフィルタを重畳させるフィルタ制御部２４とを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

学習者が装着し、前記学習者の頭部の動きに連動して映像が変化するように構成された頭部装着型ディスプレイに表示させる映像コンテンツを制御可能な教育支援システムであって、
前記頭部装着型ディスプレイに表示されている前記映像コンテンツにおいて、学習者に注視させたい注目領域の情報を取得する情報取得部と、
前記注目領域の情報に基づいて、前記映像コンテンツにおける注目領域を特定する注目領域特定部と、
前記映像コンテンツにおいて、前記注目領域以外の領域に予め設定されたフィルタを重畳させるフィルタ制御部と
を備える教育支援システム。

【請求項2】

教育者が装着し、教育者の頭部の動きに連動して映像が変化するように構成された頭部装着型ディスプレイと、
教育者が入力操作を行うための入力部と
を備え、
前記情報取得部は、前記入力部から注目領域を指定するための注目領域指定指示が入力された場合に、教育者が装着する前記頭部装着型ディスプレイに表示されている前記映像コンテンツの表示領域の情報を前記注目領域に関する情報として取得する請求項１に記載の教育支援システム。

【請求項3】

教育者が入力操作を行うための入力部と、
前記映像コンテンツを表示可能な表示部と
を備え、
前記情報取得部は、前記入力部が操作されることにより、前記表示部に表示されている前記映像コンテンツの一部の画像領域が指定された場合に、指定された前記画像領域を前記注目領域の情報として取得する請求項１に記載の教育支援システム。

【請求項4】

前記映像コンテンツは、所定の空間の全周方向又は周方向の一部を撮影したパノラマ映像を含む請求項１に記載の教育支援システム。

【請求項5】

前記映像コンテンツは、複数の静止画像を横方向につなぎ合わせた合成画像を含む請求項１に記載の教育支援システム。

【請求項6】

学習者が装着する前記頭部装着型ディスプレイにフィルタが重畳された前記映像コンテンツが表示されている場合において、前記学習者の頭部の動きに連動して前記注目領域の全域が該頭部装着型ディスプレイに表示されか否かを判定する判定部と、
前記注目領域の全域が前記頭部装着型ディスプレイに表示された場合に、前記フィルタを解除するフィルタ解除部と
を備える請求項１に記載の教育支援システム。

【請求項7】

学習者が装着する前記頭部装着型ディスプレイにフィルタが重畳された前記映像コンテンツが表示されている場合において、前記学習者の頭部の動きに連動して前記フィルタ上に前記フィルタを解除するための解除入力部を表示させるとともに、前記解除入力部が操作された場合に、一部の又は全領域の前記フィルタを解除するフィルタ解除部を備える請求項１に記載の教育支援システム。

【請求項8】

学習者が装着し、前記学習者の頭部の動きに連動して映像が変化するように構成された頭部装着型ディスプレイに表示させる映像コンテンツを制御可能な教育支援方法であって、
前記頭部装着型ディスプレイに表示されている前記映像コンテンツにおいて、学習者に注視させたい注目領域の情報を取得するステップと、
前記注目領域の情報に基づいて、前記映像コンテンツにおける注目領域を特定するステップと、
前記映像コンテンツにおいて、前記注目領域以外の領域に予め設定されたフィルタを重畳させるステップと
を備える教育支援方法。

【請求項9】

請求項８に記載の教育支援方法をコンピュータに実行させるための教育支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、教育支援システム、教育支援方法、及び教育支援プログラムに関するものである。

【背景技術】

【0002】

従来、３６０°のパノラマ映像などを大画面に投影し、臨場感のある映像を視聴者に提供する広域映像システムが提案されている（例えば、特許文献１参照）。また、近年、仮想現実（Ｖｅｒｔｕａｌ Ｒｅａｌｉｔｙ）や拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の技術も普及しつつあり、これらの技術を学校等の教育機関に応用するシステムも提案されている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－３５２５３９号公報

【特許文献2】特開２０２１－０８７１２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

仮想現実等を用いた授業では、例えば、各生徒はヘッドマウントディスプレイ等の専用デバイスを装着し、頭部を見たい方向に向けて動かすことにより、異なる視線での映像を見ることができる。

【0005】

ところで、授業などの教育の場では、仮想空間における特定の視線からの映像に注目して授業を行いたい場合がある。従来は、教育者が注目してもらいたい視線からの映像を口頭で伝えることにより、生徒の視線を誘導していた。しかしながら、口頭で伝える従来の方法では、生徒によっては教育者の指示を無視して異なる視線からの映像を見続ける場合もあり、全ての生徒に同じ視線からの映像を見せることが難しいという問題があった。また、このような問題は、仮想現実や拡張現実を用いた場合に限らず、ヘッドマウントディスプレイにパノラマ映像などの２次元の映像を表示させ、生徒に鑑賞させる場合でも同様に生じる問題である。

【0006】

本発明は、このような事情に鑑みてなされたものであって、注目させたい映像に学習者の視線を容易に誘導することのできる教育支援システム、教育支援方法、及び教育支援プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第一態様は、学習者が装着し、前記学習者の頭部の動きに連動して映像が変化するように構成された頭部装着型ディスプレイに表示させる映像コンテンツを制御可能な教育支援システムであって、前記頭部装着型ディスプレイに表示されている前記映像コンテンツにおいて、学習者に注視させたい注目領域の情報を取得する情報取得部と、前記注目領域の情報に基づいて、前記映像コンテンツにおける注目領域を特定する注目領域特定部と、前記映像コンテンツにおいて、前記注目領域以外の領域に予め設定されたフィルタを重畳させるフィルタ制御部とを備える教育支援システムである。

【0008】

本発明の第二態様は、学習者が装着し、前記学習者の頭部の動きに連動して映像が変化するように構成された頭部装着型ディスプレイに表示させる映像コンテンツを制御可能な教育支援方法であって、前記頭部装着型ディスプレイに表示されている前記映像コンテンツにおいて、学習者に注視させたい注目領域の情報を取得するステップと、前記注目領域の情報に基づいて、前記映像コンテンツにおける注目領域を特定するステップと、前記映像コンテンツにおいて、前記注目領域以外の領域に予め設定されたフィルタを重畳させるステップとを備える教育支援方法である。

【0009】

本発明の第三態様は、上記教育支援方法をコンピュータに実行させるための教育支援プログラムである。

【発明の効果】

【0010】

本発明によれば、注目させたい映像に学習者の視線を容易に誘導することができるという効果を奏する。

【図面の簡単な説明】

【0011】

【図1】本発明の第１実施形態に係る教育支援システムの概略構成を示す図である。

【図2】本発明の第１実施形態に係る教育支援装置のハードウェア構成の一例を示した概略構成図である。

【図3】本発明の第１実施形態に係る教育支援システムが備える機能の一例を示した機能構成図である。

【図4】本発明の第１実施形態に係る映像コンテンツについて説明するための図である。

【図5】本発明の第１実施形態に係る教育者装置によって実行される処理の一例を示したフローチャートである。

【図6】本発明の第１実施形態に係る教育支援装置によって実行される処理の一例を示したフローチャートである。

【図7】本発明の第１実施形態に係る映像コンテンツにおける注目領域の指定について説明するための図である。

【図8】本発明の第１実施形態に係る映像コンテンツにおいて、フィルタが重畳された状態の映像コンテンツの一例を示した図である。

【図9】本発明の他の実施形態において、学習者装置の情報処理装置が備える表示部に表示される表示画面の一例を示した図である。

【図10】本発明の第２実施形態に係る教育支援システムが備える機能の一例を示した機能構成図である。

【図11】本発明の第３実施形態に係る教育支援システムが備える機能の一例を示した機能構成図である。

【発明を実施するための形態】

【0012】

〔第１実施形態〕
以下に、本発明の第１実施形態に係る教育支援システム、教育支援方法、教育支援プログラムについて、図面を参照して説明する。

【0013】

図１は、本実施形態に係る教育支援システム１の概略構成を示す図である。図１に示すように、教育支援システム１は、教育支援装置１０、教育者によって使用される教育者装置５０、及び学習者によって使用される学習者装置６０を備えている。教育支援装置１０は、教育者装置５０及び学習者装置６０とネットワークを介して通信可能とされ、相互に情報の送受信が可能な構成とされている。ネットワークの一例として、Ｗｉ－Ｆｉ、移動通信システム（３Ｇ、４Ｇ、５Ｇ、６Ｇ、ＬＴＥ等）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などが挙げられる。

【0014】

図１では、２台の学習者装置６０を例示しているが、教育支援装置１０に接続される学習者装置６０の台数は、この例に限定されず、１台以上の学習者装置６０が教育支援装置１０に接続されることが可能である。
また、図１では、同じネットワークによって、教育支援装置１０、教育者装置５０、学習者装置６０が互いに接続されているが、この例に限られない。例えば、教育支援装置１０と教育者装置５０が接続されるネットワークと、教育支援装置１０と学習者装置６０とが接続されるネットワークとは異なっていてもよい。

【0015】

図２は、教育支援装置１０のハードウェア構成の一例を示した概略構成図である。教育支援装置１０は、いわゆるサーバ（情報処理装置）であり、図２に一例を示すように、ＣＰＵ（プロセッサ）１１、ＣＰＵ１１が実行するプログラム（例えば、教育支援プログラム）等を記憶するための補助記憶装置１２、各プログラム実行時のワーク領域として機能するメインメモリ１３、ネットワークに接続するための通信デバイス１４を主な構成として備え、これら各部はバス１８を介して接続されている。また、教育支援装置１０は、キーボード等の入力部１５や表示部１６等を更に備えていてもよい。補助記憶装置には、例えば、教育支援装置全体の制御を行うためのＯＳ、周辺機器類をハードウェア操作するための各種ドライバ、当該教育支援装置を実現するためのアプリケーション及び各種データやファイル等が格納されている。上記補助記憶装置１２の一例として、半導体メモリ、磁気ディスク、光磁気ディスク等が挙げられる。

【0016】

教育者装置５０は、教師などの教育者が利用するための装置である。教育者装置５０は、図１に示すように、例えば、情報処理装置５１と、教育者が頭部に装着するための頭部装着型ディスプレイとを備えている。本実施形態では、頭部装着型ディスプレイとして、ＶＲ用のヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）５２を採用する場合を例示して説明する。

【0017】

情報処理装置５１は、例えば、デスクトップＰＣ、ノートＰＣ、タブレットＰＣ、タブレット端末、携帯電話端末、スマートフォン等である。情報処理装置５１の構成は公知であるため、詳細な説明は省略するが、上述した教育支援装置１０と同様に、ＣＰＵ、補助記憶装置、メインメモリ、通信デバイス、入力部を備えている。更に、情報処理装置５１は、表示部（液晶ディスプレイ、有機ＥＬディスプレイ等）を備えていてもよい。補助記憶装置には、例えば、Ｗｉｎｄｏｗｓ（登録商標），ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）等の教育者装置全体の制御を行うためのＯＳ、周辺機器類をハードウェア操作するための各種ドライバ、後述する教育者装置５０の機能を実現するためのアプリケーション及び各種データやファイル等が格納されている。

【0018】

ＨＭＤ５２は、頭部の姿勢を検出するセンサを備えている。センサによって検出された頭部の姿勢は、情報処理装置５１に出力される。情報処理装置５１は、頭部の姿勢に基づいてＨＭＤ５２に表示させる映像を変化させる。より具体的には、情報処理装置５１は、後述するように、教育支援装置１０から受信した映像コンテンツの表示領域を頭部の姿勢に応じて表示させる。これにより、ＨＭＤ５２を装着している教育者は、頭部の姿勢を変化させることにより、仮想空間における視線を移動させることができ、例えば、パノラマ映像の一部を切り取った映像が目の前に投影されることとなる。なお、ＨＭＤ５２の構成は、公知であるため、ここでの詳細な説明は省略する。

【0019】

なお、本実施形態では、例えば、情報処理装置５１とＨＭＤ５２とが別体とされている構成を例示して説明するが、この例に限られない。例えば、情報処理装置５１が備える全て又は一部の機能が、ＨＭＤ５２に搭載されていてもよい。例えば、情報処理装置５１の入力部以外の機能がＨＭＤ５２に搭載され、入力部が、リモートコントローラとしてＨＭＤ５２とは別体として設けられていてもよい。また、教育者装置５０は、マイクロホン、スピーカを更に備えていてもよい。

【0020】

学習者装置６０は、生徒などの学習者が利用するための装置である。学習者装置６０は、図１に示すように、例えば、情報処理装置６１と、学習者が頭部に装着するための頭部装着型ディスプレイとを備えている。本実施形態では、頭部装着型ディスプレイとして、ＶＲ用のヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）６２を採用する場合を例示して説明する。

【0021】

情報処理装置６１は、例えば、デスクトップＰＣ、ノートＰＣ、タブレットＰＣ、タブレット端末、携帯電話端末、スマートフォン等である。情報処理装置６１の構成は公知であるため、詳細な説明は省略するが、上述した教育支援装置１０や情報処理装置５１と同様に、ＣＰＵ、補助記憶装置、メインメモリ、通信デバイスを備えている。また、情報処理装置６１は、入力部、表示部等を備えていてもよい。補助記憶装置には、例えば、Ｗｉｎｄｏｗｓ（登録商標），ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）等の学習者装置６０全体の制御を行うためのＯＳ、周辺機器類をハードウェア操作するための各種ドライバ、後述する学習者装置６０の機能を実現するためのアプリケーション及び各種データやファイル等が格納されている。

【0022】

ＨＭＤ６２は、頭部の姿勢を検出するセンサを備えている。センサによって検出された頭部の姿勢は、情報処理装置６１に出力される。情報処理装置６１は、頭部の姿勢に基づいてＨＭＤ６２に表示させる映像を変化させる。より具体的には、情報処理装置６１は、後述するように、教育支援装置１０から受信した映像コンテンツの表示領域を頭部の姿勢に応じて表示させる。これにより、ＨＭＤ６２を装着している学習者は、頭部の姿勢を変化させることにより、仮想空間における視線を移動させることができ、例えば、パノラマ映像の一部を切り取った映像が目の前に投影されることとなる。なお、ＨＭＤ６２の構成は、公知であるため、ここでの詳細な説明は省略する。

【0023】

なお、本実施形態では、例えば、情報処理装置６１とＨＭＤ６２とが別体とされている構成を例示して説明するが、この例に限られない。例えば、情報処理装置６１が備える全て又は一部の機能が、ＨＭＤ６２に搭載されていてもよい。例えば、情報処理装置６１の入力部以外の機能がＨＭＤ６２に搭載され、入力部が、リモートコントローラとしてＨＭＤ６２とは別体として設けられていてもよい。また、学習者装置６０は、マイクロホン、スピーカを更に備えていてもよい。

【0024】

次に、本実施形態に係る教育支援システム１の機能について説明する。図３は、本実施形態に係る教育支援システム１が備える機能の一例を示した機能構成図である。以下に示す各機能を実現するための一連の処理は、一例としてプログラム（例えば、教育支援プログラム）として、教育支援装置１０、教育者装置５０、学習者装置６０がそれぞれ備える補助記憶装置（コンピュータ読み取り可能な記録媒体）に格納されており、このプログラムをＣＰＵが読み出して実行することにより、各種機能が実現される。なお、プログラムは、教育支援装置１０、教育者装置５０、学習者装置６０がそれぞれ備える補助記憶装置に予めインストールされている形態、コンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。

【0025】

図３に示すように、教育者装置５０の情報処理装置５１は、ＨＭＤ５２、通信部５３、制御部５４、入力部５５を備えている。このうち、通信部５３、制御部５４、入力部５５については、例えば、情報処理装置５１が備える機能である。
通信部５３は、教育支援装置１０との間の通信を制御する。例えば、通信部５３は、教育支援装置１０から映像コンテンツを受信するとともに、入力部５５から入力された情報を教育支援装置１０に送信する。

【0026】

制御部５４は、教育支援装置１０から受信した映像コンテンツをＨＭＤ５２に表示させる。このとき、制御部５４は、ＨＭＤ５２が備えるセンサによって検出された教育者の頭部の動きに応じて、ＨＭＤ５２に表示させる映像コンテンツの表示領域を移動させる。これにより、教育者は、頭部を自由に移動させることにより、所望の視線からの映像を見ることができる。

【0027】

入力部５５は、教育者が入力操作を行うためのマンマシンインターフェースである。例えば、教育者は、入力部５５を操作することにより、ログイン情報、学習者に配信させたい映像コンテンツの選定及び送信指示、学習者に注視させたい注目領域を特定するための入力指示等の各種情報を入力することができる。

【0028】

教育支援装置１０は、記憶部２０、通信部２１、注目領域特定部２３、フィルタ制御部２４を備えている。
記憶部２０には、複数の映像コンテンツが格納されている。映像コンテンツは、例えば、所定の空間の全周方向（０°～３６０°）又は周方向の一部を撮影したパノラマ映像を含んでいる。映像コンテンツは、静止映像であっても、動映像であってもよい。また、映像コンテンツは、２次元の映像であっても、３次元の映像であってもよい。また、映像コンテンツは、複数の静止映像を周方向（例えば、０°～３６０°）につなぎ合わせた合成映像であってもよい。また、映像コンテンツは、リアルタイムで撮影されている映像であってもよいし、予め撮影された映像であってもよい。
本実施形態では、一例として、図４に示すように、所定の空間の全周方向（０°～３６０°）を撮影したＶＲ映像を映像コンテンツとして用いる場合を例示して説明する。

【0029】

通信部２１は、教育者装置５０及び学習者装置６０との間の通信を制御する。例えば、通信部２１は、教育者装置５０及び学習者装置６０からログイン情報や各種情報を受信するとともに、教育者装置５０及び学習者装置６０に映像コンテンツを送信する。また、通信部２１は、教育者装置５０と学習者装置６０との情報のやり取りを仲介する。例えば、通信部２１は、学習者装置６０から挙手を知らせる情報、回答情報等を受信し、これらの情報を教育者装置５０へ送信する。

【0030】

情報取得部２２は、学習者装置６０のＨＭＤ６２に表示されている映像コンテンツにおいて、学習者に注視させたい注目領域の情報を教育者装置５０から受信することにより取得する。
注目領域特定部２３は、注目領域に関する情報を受信した場合に、注目領域に関する情報に基づいて映像コンテンツにおける注目領域を特定する。なお、注目領域の特定についての詳細は後述する。

【0031】

フィルタ制御部２４は、映像コンテンツにおいて、注目領域以外の領域に予め設定されたフィルタを重畳させる。フィルタの種類は、特に限定されない。フィルタの一例として、塗りつぶしフィルタ、輝度変化フィルタ、網掛けフィルタ、ぼかしフィルタ等が挙げられる。フィルタは、公知の各種フィルタを採用することができ、また、複数のフィルタが準備され、これらのうちの一つを教育者が選択できる構成とされていてもよい。

【0032】

学習者装置６０は、ＨＭＤ６２、通信部６３、制御部６４、入力部６５を備えている。このうち、通信部６３、制御部６４、入力部６５については、例えば、情報処理装置６１が備える機能である。
通信部６３は、教育支援装置１０との間の通信を制御する。例えば、通信部６３は、教育支援装置１０から映像コンテンツを受信する。

【0033】

制御部６４は、教育支援装置１０から受信した映像コンテンツをＨＭＤ６２に表示させる。このとき、制御部６４は、ＨＭＤ６２が備えるセンサによって検出された学習者の頭部の動きに応じて、ＨＭＤ６２に表示させる映像コンテンツの表示領域を移動させる。これにより、学習者は、頭部を自由に移動させることにより、所望の視線からの映像を見ることができる。

【0034】

入力部６５は、学習者が入力操作を行うためのマンマシンインターフェースである。例えば、学習者は、入力部６５を操作することにより、例えば、ログイン情報、挙手情報、問題回答情報等の各種情報を入力することができる。

【0035】

次に、本実施形態に係る教育支援システム１を構成する教育者装置５０、教育支援装置１０、及び学習者装置６０によって実行される教育支援処理について、図５及び図６を参照して説明する。

【0036】

図５は、教育者装置５０によって実行される処理の一例を示したフローチャートである。以下に示す処理は、プログラム（例えば、教育支援プログラム）として教育者装置５０が備える補助記憶装置に格納されており、このプログラムをＣＰＵが読み出して実行する。以下の処理は、例えば、教育者が入力部５５を操作してログインを行い、これから授業で使用する映像コンテンツを指定して、配信開始指示を入力することにより実行される。

【0037】

まず、教育者装置５０は、映像コンテンツを教育支援装置１０から受信すると、映像コンテンツをＨＭＤ５２に表示させる（ＳＡ１）。このとき、ＨＭＤ５２に表示させるのは、映像コンテンツの一部に設定された表示領域ＨＲに対応する映像である（図４参照）。すなわち、ＨＭＤ５２には、映像コンテンツの一部の表示領域ＨＲに対応する映像が表示される。教育者が頭部を移動させると、その頭部の動きに合わせて表示領域ＨＲが移動することにより、仮想空間における視線を移動させることができる。

【0038】

続いて、教育者装置５０は、注目領域を指定するための注目領域指定指示が入力されたか否かを判定する（ＳＡ２）。例えば、教育者は、授業を行うにあたり、学習者に注目してもらいたい映像がある場合には、頭部を移動させることにより、目的の映像をＨＭＤ５２に表示させ、その状態で入力部５５を操作することにより、注目領域を指定する。教育者装置５０は、このようにして注目領域が指定された場合には（ＳＡ２：ＹＥＳ）、指定された表示領域の情報を注目領域に関する情報として教育支援装置１０に送信する（ＳＡ３）。例えば、図７に示すように、θ１～θ２の映像がＨＭＤ５２に表示されている状態で注目領域が指定された場合には、教育者装置５０は、θ１～θ２の情報を注目領域に関する情報として教育支援装置１０に送信する。

【0039】

また、ステップＳＡ２において、上述した注目領域指定指示が入力されていない場合には（ＳＡ２：ＮＯ）、ステップＳＡ４に移行する。

【0040】

ステップＳＡ４では、注目領域解除指示が入力されたか否かを判定する。例えば、教育者は、注目領域として指定した映像における説明が完了し、注目領域を指定し続ける必要がなくなった場合には、入力部５５から注目領域を解除する解除指示を入力する。このようにして、注目領域解除指示が入力された場合には（ＳＡ４：ＹＥＳ）、教育者装置５０は、解除指示を教育支援装置１０に送信する（ＳＡ５）。また、ステップＳＡ４において、上述した解除指示が入力されていない場合には（ＳＡ４：ＮＯ）、ステップＳＡ６に移行する。
ステップＳＡ６では、配信終了指示が入力されたか否かを判定する（ＳＡ６）。この結果、配信終了指示が入力されていなければ（ＳＡ６：ＮＯ）、ステップＳＡ２に戻り、上述した処理を繰り返し行う。一方、配信終了指示が入力された場合には（ＳＡ６：ＹＥＳ）、配信終了指示を教育支援装置１０に送信し（ＳＡ７）、本処理を終了する。

【0041】

次に、教育支援装置１０によって実行される処理について図６を参照して説明する。図６は、教育支援装置１０によって実行される処理の一例を示したフローチャートである。
以下に示す処理は、プログラム（例えば、教育支援プログラム）として補助記憶装置１２（図２参照）に格納されており、このプログラムをＣＰＵ１１が読み出して実行する。教育支援装置１０は、例えば、教育者装置５０から配信開始指示を受信したときに、図６に示した処理を実行する。

【0042】

教育支援装置１０は、教育者装置５０から配信開始指示を受信すると、指定された映像コンテンツを記憶部２０から読み出し、教育者装置５０及び学習者装置６０に送信する（ＳＢ１）。これにより、教育者装置５０のＨＭＤ５２及び学習者装置６０のＨＭＤ６２には、教育者や学習者の頭部の動きに応じた視線からの映像が表示されることとなる。

【0043】

続いて、教育者装置５０から注目領域の情報を取得（受信）したか否かを判定する（ＳＢ２）。この結果、注目領域の情報を取得していない場合には、ステップＳＢ６に移行する。一方、注目領域の情報を取得している場合には（ＳＢ２：ＹＥＳ）、注目領域の情報に基づいて注目領域を特定し（ＳＢ３）、配信中の映像コンテンツにおいて注目領域以外の領域に予め設定されたフィルタを重畳する（ＳＢ４）。例えば、上述したように、注目領域の情報として、θ１～θ２の情報を受信した場合には、θ１～θ２の角度範囲以外の領域にフィルタを重畳する。これにより、例えば、黒塗りのフィルタが設定されている場合には、図８に示すように、θ１～θ２以外の領域が黒塗りされた映像コンテンツとなる。

【0044】

続いて、フィルタが重畳された映像コンテンツ（図８参照）を学習者装置６０に送信する（ＳＢ５）。これにより、学習者装置６０のＨＭＤ６２には、教育者装置５０において指定された注目領域以外の映像が黒塗りとされた映像コンテンツに基づく表示が行われる。この結果、例えば、θ１～θ２以外の領域を見ていた学習者においては、視界の映像が真っ黒に映し出されることとなる。このようにして、黒い画面が表示された場合には、学習者は頭部を移動（回転）させることにより、映像が表示される領域を探すこととなる。これにより、学習者の視線を注目領域として指定された映像に誘導することが可能となる。

【0045】

なお、教育者装置５０には、フィルタが重畳されていない映像コンテンツが引き続き送信されることから、教育者は、授業の進行に合わせて自由に注目領域を指定及び解除することができる。

【0046】

続いて、教育支援装置１０は、解除指示を受信したか否かを判定する（ＳＢ６）。この結果、解除指示を受信していない場合には（ＳＢ６：ＮＯ）、ステップＳＢ８に移行する。一方、解除指示を受信した場合には（ＳＢ６：ＹＥＳ）、フィルタの重畳を解除し、フィルタが重畳されていない映像コンテンツを学習者装置６０に送信する（ＳＢ７）。これにより、学習者装置６０のＨＭＤ６２には、フィルタが重畳されていない元の映像コンテンツに基づく映像が表示されることとなる。

【0047】

続いて、教育支援装置１０は、配信終了指示を受信したか否かを判定する（ＳＢ８）。この結果、配信終了指示を受信していない場合には（ＳＢ８：ＮＯ）、ステップＳＢ２に戻り、上述の処理を繰り返し行う。一方、配信終了指示を受信した場合には（ＳＢ８：ＹＥＳ）、映像コンテンツの送信を終了し、本処理を終了する。

【0048】

以上、説明してきたように、本実施形態に係る教育支援システム１、教育支援方法、及び教育支援プログラムによれば、教育者によって注目領域が指定された場合には、その注目領域以外の領域にフィルタが重畳された映像コンテンツが学習者装置６０に送信されることとなる。これにより、授業の進行に合わせて、教育者が学習者に注目してもらいたい視線からの映像がある場合には、その映像に学習者の視線を誘導することが可能となる。これにより、各学習者が注目領域として指定された映像を見ている状態で授業を進行することが可能となる。

【0049】

また、教育支援装置１０は、注目領域を解除する解除指示を受信した場合には、フィルタの重畳を解除した映像コンテンツを学習者装置６０に送信する。これにより、教育者が特に注目させたい映像がない場合には、学習者は頭部を自由に移動させることにより、自らが見たい視線からの映像を楽しむことができる。

【0050】

また、教育者は、自身が装着しているＨＭＤ５２に注目させたい映像を表示させた状態で入力部５５を操作することにより注目領域を設定することができる。これにより、入力ボタンを押下するなどの簡易な操作で注目領域の設定を行うことが可能となる。また、注目領域の解除指示の入力についても同様に、簡単な操作により行うことができる。

【0051】

なお、上述した実施形態では、教育者がＨＭＤ５２を装着し、ＨＭＤ５２の映像を見ながら注目領域を指定していたが、この例に限られない。例えば、教育者はＨＭＤ５２を装着せずに、情報処理装置５１が備える表示部に表示された映像コンテンツを確認しながら、注目領域の指定を行うこととしてもよい。図９に表示部に表示される表示画面の一例を示す。例えば、表示部には、図９に示すように、映像コンテンツと、映像コンテンツ上において注目領域を指定するための指定枠Ｗ、注目領域を決定するための決定ボタンＢＴ１、注目領域を解除するための解除ボタンＢＴ２等が表示される。教育者は、表示部に表示された映像コンテンツを確認しながら指定枠Ｗを注目領域に移動させ、決定ボタンＢＴ１を押下する。これにより、注目領域指定指示が入力される。また、教育者は、注目領域の解除を行う場合には、解除ボタンＢＴ２を押下する。これにより、解除指示が入力される。

【0052】

このような方法であれば、教育者はＨＭＤ５２を装着する必要がないため、生徒などの様子を確認しながら、注目領域指定指示及び解除指示を容易に入力することが可能となる。なお、注目領域の指定手法や解除手法については上記例に限られず、公知の手法を適宜採用すればよい。

【0053】

また、上述した実施形態では、教育者が注目領域の解除を行うこととしたが、この例に限られない。例えば、学習者装置６０の情報処理装置６１がフィルタの重畳された映像コンテンツをＨＭＤ６２に表示させている場合に、所定の条件を満たした場合には、学習者装置６０においてフィルタを解除することとしてもよい。例えば、注目領域でない映像を見ていた学習者は、フィルタが重畳されることにより視点を移動させ、注目領域の映像をＨＭＤ６２に表示させた場合を考える。

【0054】

この場合、学習者装置６０の制御部６４は、ＨＤＭ６２に注目領域の全体が表示されたことを判定すると（判定部）、フィルタを解除することとしてもよい（フィルタ解除部）。また、注目領域の全域がＨＤＭ６２に表示されただけではなく、表示された状態が所定の期間維持された場合に、フィルタを解除することとしてもよい。このように、学習者装置６０側でフィルタを解除することにより、フィルタの重畳に学習者の意思や行動を反映させることができる。これにより、全ての学習者に注目領域への視聴を強制する場合に比べて、学習の自由度を与えることができる。

【0055】

また、フィルタを解除する態様として、ＨＭＤ６２にフィルタが重畳された映像コンテンツが表示されている場合において、学習者の頭部の動きに連動してフィルタが重畳されているフィルタ領域に、フィルタを解除するための解除入力部（例えば、解除ボタン等）を表示させることとしてもよい。そして、この解除入力部が操作された場合に、一部の又は全部のフィルタを解除することとしてもよい。

【0056】

例えば、学習者が表示領域の右側領域を更に見たいと考えた場合、学習者は頭部を右に回転させる。頭部が右側に回転したことが検知されると、表示領域の右側に解除ボタンを表示させる。そして、この解除ボタンが操作された場合に、表示領域の右側のフィルタを所定領域だけ解除することとしてもよい。ここで、解除入力部の操作方法としては、例えば、解除入力部を一定期間凝視するなどの入力操作が一例として挙げられる。また、解除入力部が操作された場合に、フィルタ全体を解除するのか、一部のフィルタを解除するのか、また、一部のフィルタを解除する場合に、どの程度解除するのかについては、運用に応じて適宜適切に設計すればよい。

【0057】

また、上記のようなフィルタの解除については、学習者装置６０において行う態様に代えて、教育支援装置１０において解除するような構成としてもよい。例えば、学習者装置６０は、注目領域の全体がＨＤＭ６２に表示されたと判定した場合には、教育支援装置１０に対して当該学習者装置６０を特定するための識別情報とフィルタ解除要求を送信することにより、教育支援装置１０において特定の学習者装置６０においてはフィルタを解除した映像コンテンツを送信させるような構成としてもよい。

【0058】

〔第２実施形態〕
次に、本発明の第２実施形態に係る教育支援システムについて説明する。上述した第１実施形態では、教育支援装置１０を設け、教育支援装置１０が情報取得部２２、注目領域特定部２３、フィルタ制御部２４を備えていた。本実施形態に係る教育支援システム１ａは、教育支援装置１０の機能を教育者装置５０に設け、教育支援装置１０からフィルタ制御等を行う点が異なる。
以下、上述した第１実施形態と異なる構成については同一の符号を付して説明を省略し、このなる部分について主に説明する。

【0059】

図１０は、本実施形態に係る教育支援システム１ａが備える機能の一例を示した図である。図１０に示すように、教育者装置５０ａが上述した記憶部２０、情報取得部２２、注目領域特定部２３、及びフィルタ制御部２４を備えている。

【0060】

教育者装置５０ａの制御部５４は、入力部５５から映像コンテンツが指定され、更に、配信開始指示が入力されると、指定された映像コンテンツを記憶部２０から読み出し、ＨＭＤ５２に表示させるとともに、学習者装置６０に送信する。
これにより、教育者装置５０のＨＭＤ５２及び学習者装置６０のＨＭＤ６２には、教育者や学習者の頭部の動きに応じた視線からの映像が表示されることとなる。

【0061】

続いて、教育者が入力部５５を操作することにより、注目領域を指定するための注目領域指定指示が入力されると、指定された表示領域の情報を注目領域に関する情報として取得し、この情報に基づいて注目領域を特定し、配信中の映像コンテンツにおいて注目領域以外の領域に予め設定されたフィルタを重畳する。フィルタが重畳された映像コンテンツ（図８参照）は学習者装置６０に送信される。これにより、学習者装置６０のＨＭＤ６２には、フィルタが重畳された映像コンテンツに基づく表示が行われる。
なお、注目領域の解除については、上述した第１実施形態と同様の手法を採用できるとともに、上記他の態様として説明した手法を適宜採用することが可能である。

【0062】

このように、教育支援装置１０が備えていた機能を教育者装置５０ａに搭載することにより、教育支援装置１０を省略することができる。これにより、システム全体の装置構成を簡素化することができる。

【0063】

〔第３実施形態〕
次に、本発明の第３実施形態に係る教育支援システムについて説明する。上述した第２実施形態では、教育者装置５０ａが教育支援装置１０の機能を備えていたが、本実施形態では、教育支援装置１０の機能の一部を教育者装置５０ｂに、残りの機能を学習者装置６０に設け、学習者装置６０においてフィルタ制御等を行う点が異なる。
以下、上述した第２実施形態と異なる構成については同一の符号を付して説明を省略し、このなる部分について主に説明する。

【0064】

図１１は、本実施形態に係る教育支援システム１ｂが備える機能の一例を示した図である。図１１に示すように、教育者装置５０ｂは記憶部２０を備え、学習者装置６０ｂが情報取得部２２、注目領域特定部２３、及びフィルタ制御部２４を備えている。

【0065】

教育者装置５０ａの制御部５４は、入力部５５から映像コンテンツが指定され、更に、配信開始指示が入力されると、指定された映像コンテンツを記憶部２０から読み出し、ＨＭＤ５２に表示させるとともに、学習者装置６０に送信する。
これにより、教育者装置５０のＨＭＤ５２及び学習者装置６０のＨＭＤ６２には、教育者や学習者の頭部の動きに応じた視線からの映像が表示されることとなる。

【0066】

続いて、教育者が入力部５５を操作することにより、注目領域を指定するための注目領域指定指示が入力されると、指定された表示領域の情報が注目領域に関する情報として教育者装置５０ｂから学習者装置６０ｂに送信される。学習者装置６０ｂは、注目領域に関する情報を取得すると、この情報に基づいて注目領域を特定し、配信中の映像コンテンツにおいて注目領域以外の領域に予め設定されたフィルタを重畳する。これにより、学習者装置６０のＨＭＤ６２には、フィルタが重畳された映像コンテンツに基づく表示が行われる。
なお、注目領域の解除については、上述した第１実施形態と同様の手法を採用できるとともに、上記他の態様として説明した手法を適宜採用することが可能である。

【0067】

このように、教育支援装置１０が備えていた機能を教育者装置５０ｂ及び学習者装置６０ｂに設けることにより、教育支援装置１０を省略することができる。これにより、システム全体の装置構成を簡素化することができる。

【0068】

以上、本発明について各実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記実施形態を適宜組み合わせてもよい。
また、上記実施形態で説明した教育支援処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

【0069】

例えば、上述した実施形態では、教育支援装置１０又は教育者装置５０ａ、５０ｂが映像コンテンツを学習者装置６０、６０ｂに配信する態様としたが、これに限られない。例えば、教育者装置及び学習者装置のそれぞれが、予め共通の映像コンテンツを所定のコンテンツ配信サーバからダウンロードしてそれぞれ保有していることとしてもよい。そして、自身が備える記憶装置に格納されている映像コンテンツを同時刻に再生することで、上述と同様の効果を奏することが可能である。

【符号の説明】

【0070】

１ ：教育支援システム
１０ ：教育支援装置
１１ ：ＣＰＵ
１２ ：補助記憶装置
１３ ：メインメモリ
１４ ：通信デバイス
１５ ：入力部
１６ ：表示部
２０ ：記憶部
２１ ：通信部
２２ ：情報取得部
２３ ：注目領域特定部
２４ ：フィルタ制御部
５０，５０ａ，５０ｂ ：教育者装置
５１ ：情報処理装置
５２ ：ＨＭＤ（頭部装着型ディスプレイ）
５３ ：通信部
５４ ：制御部
５５ ：入力部
６０，６０ｂ ：学習者装置
６１ ：情報処理装置
６２ ：ＨＭＤ（頭部装着型ディスプレイ）
６３ ：通信部
６４ ：制御部
６５ ：入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2023-09-22

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

学習者が装着し、前記学習者の頭部の動きに連動して映像が変化するように構成された頭部装着型ディスプレイに表示させる映像コンテンツを制御可能な教育支援システムであって、
前記頭部装着型ディスプレイに表示されている前記映像コンテンツにおいて、学習者に注視させたい注目領域の情報を取得する情報取得部と、
前記注目領域の情報に基づいて、前記映像コンテンツにおける注目領域を特定する注目領域特定部と、
前記映像コンテンツにおいて、前記注目領域以外の領域に予め設定されたフィルタを重畳させるフィルタ制御部と、
所定の条件を満たした場合に、前記フィルタを解除するフィルタ解除部と
を備える教育支援システム。

【請求項2】

教育者が装着し、教育者の頭部の動きに連動して映像が変化するように構成された頭部装着型ディスプレイと、
教育者が入力操作を行うための入力部と
を備え、
前記情報取得部は、前記入力部から注目領域を指定するための注目領域指定指示が入力された場合に、教育者が装着する前記頭部装着型ディスプレイに表示されている前記映像コンテンツの表示領域の情報を前記注目領域に関する情報として取得する請求項１に記載の教育支援システム。

【請求項3】

教育者が入力操作を行うための入力部と、
前記映像コンテンツを表示可能な表示部と
を備え、
前記情報取得部は、前記入力部が操作されることにより、前記表示部に表示されている前記映像コンテンツの一部の画像領域が指定された場合に、指定された前記画像領域を前記注目領域の情報として取得する請求項１に記載の教育支援システム。

【請求項4】

前記映像コンテンツは、所定の空間の全周方向又は周方向の一部を撮影したパノラマ映像を含む請求項１に記載の教育支援システム。

【請求項5】

前記映像コンテンツは、複数の静止画像を横方向につなぎ合わせた合成画像を含む請求項１に記載の教育支援システム。

【請求項6】

学習者が装着する前記頭部装着型ディスプレイにフィルタが重畳された前記映像コンテンツが表示されている場合において、前記学習者の頭部の動きに連動して前記注目領域の全域が該頭部装着型ディスプレイに表示されか否かを判定する判定部を備え、
前記フィルタ解除部は、前記注目領域の全域が前記頭部装着型ディスプレイに表示された場合に、前記フィルタを解除する請求項１に記載の教育支援システム。

【請求項7】

前記フィルタ解除部は、学習者が装着する前記頭部装着型ディスプレイにフィルタが重畳された前記映像コンテンツが表示されている場合において、前記学習者の頭部の動きに連動して前記フィルタ上に前記フィルタを解除するための解除入力部を表示させるとともに、前記解除入力部が操作された場合に、一部の又は全領域の前記フィルタを解除する請求項１に記載の教育支援システム。

【請求項8】

学習者が装着し、前記学習者の頭部の動きに連動して映像が変化するように構成された頭部装着型ディスプレイに表示させる映像コンテンツを制御可能な教育支援方法であって、
前記頭部装着型ディスプレイに表示されている前記映像コンテンツにおいて、学習者に注視させたい注目領域の情報を取得するステップと、
前記注目領域の情報に基づいて、前記映像コンテンツにおける注目領域を特定するステップと、
前記映像コンテンツにおいて、前記注目領域以外の領域に予め設定されたフィルタを重畳させるステップと、
所定の条件を満たした場合に、前記フィルタを解除するステップと
を備える教育支援方法。

【請求項9】

請求項８に記載の教育支援方法をコンピュータに実行させるための教育支援プログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

本発明の第一態様は、学習者が装着し、前記学習者の頭部の動きに連動して映像が変化するように構成された頭部装着型ディスプレイに表示させる映像コンテンツを制御可能な教育支援システムであって、前記頭部装着型ディスプレイに表示されている前記映像コンテンツにおいて、学習者に注視させたい注目領域の情報を取得する情報取得部と、前記注目領域の情報に基づいて、前記映像コンテンツにおける注目領域を特定する注目領域特定部と、前記映像コンテンツにおいて、前記注目領域以外の領域に予め設定されたフィルタを重畳させるフィルタ制御部と、所定の条件を満たした場合に、前記フィルタを解除するフィルタ解除部とを備える教育支援システムである。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

本発明の第二態様は、学習者が装着し、前記学習者の頭部の動きに連動して映像が変化するように構成された頭部装着型ディスプレイに表示させる映像コンテンツを制御可能な教育支援方法であって、前記頭部装着型ディスプレイに表示されている前記映像コンテンツにおいて、学習者に注視させたい注目領域の情報を取得するステップと、前記注目領域の情報に基づいて、前記映像コンテンツにおける注目領域を特定するステップと、前記映像コンテンツにおいて、前記注目領域以外の領域に予め設定されたフィルタを重畳させるステップと、所定の条件を満たした場合に、前記フィルタを解除するステップとを備える教育支援方法である。