知財求人 - 知財ポータルサイト「IP Force」
特表2024-506427登録されたエクステンデッドリアリティ機器ユーザの集中度を管理及び制御する方法、装置並びにシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-14
(54)【発明の名称】登録されたエクステンデッドリアリティ機器ユーザの集中度を管理及び制御する方法、装置並びにシステム
(51)【国際特許分類】
H04N 21/24 20110101AFI20240206BHJP
H04N 21/242 20110101ALI20240206BHJP
G16H 20/00 20180101ALI20240206BHJP
【ＦＩ】
H04N21/24
H04N21/242
G16H20/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022558183
(86)(22)【出願日】2022-08-22
(85)【翻訳文提出日】2022-09-26
(86)【国際出願番号】 KR2022012502
(87)【国際公開番号】W WO2023106555
(87)【国際公開日】2023-06-15
(31)【優先権主張番号】10-2021-0174792
(32)【優先日】2021-12-08
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】522207420
【氏名又は名称】セブンポイントワン インコーポレイテッド
【氏名又は名称原語表記】ＳＥＶＥＮＰＯＩＮＴＯＮＥ ＩＮＣ．
【住所又は居所原語表記】３０１－ｈｏ Ｓｅｏｕｌ Ｂｉｏ Ｉｎｎｏｖａｔｉｏｎ Ｃｏｍｍｕｎｉｔｙ Ｃｅｎｔｅｒ， １８， Ｊｏｎｇａｍ－ｒｏ， Ｓｅｏｎｇｂｕｋ－ｇｕ， Ｓｅｏｕｌ， ０２７９６ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100121382
【弁理士】
【氏名又は名称】山下 託嗣
(72)【発明者】
【氏名】イ，ヒョンジュン
(72)【発明者】
【氏名】ユ，ジュヨン
【テーマコード（参考）】
5C164
5L099
【Ｆターム（参考）】
5C164FA28
5C164SB10P
5C164SB41P
5C164UA31S
5C164YA12
5L099AA03
(57)【要約】
本発明は、ケアコンテンツが再生中のエクステンデッドリアリティ機器のユーザの集中度を管理者端末で確認し、確認結果に基づいてエクステンデッドリアリティ機器を管理及び制御する方法、装置並びにシステムに関する。本発明によると、ケアコンテンツを再生中の登録されたエクステンデッドリアリティ機器ユーザの集中度を管理及び制御することによって、エクステンデッドリアリティ機器のケアコンテンツを通じて意図された効果を最大化できるという効果を奏する。
【特許請求の範囲】
【請求項1】
管理者端末でユーザの集中度に応じて登録された複数の各エクステンデッドリアリティ機器を管理及び制御する方法において、前記各エクステンデッドリアリティ機器にケアコンテンツ再生命令を伝送する段階と、
前記各エクステンデッドリアリティ機器から再生中のケアコンテンツを視聴するユーザの視線座標データを受信する段階と、
前記各エクステンデッドリアリティ機器で再生中のケアコンテンツ及び受信したユーザの視線座標データ基盤のトラッキングマークを画面上に出力する段階と、
前記各エクステンデッドリアリティ機器ユーザの集中度に応じて該当エクステンデッドリアリティ機器に制御信号を伝送する段階と、を含み、
前記各エクステンデッドリアリティ機器ユーザの集中度は、前記各エクステンデッドリアリティ機器の現在のトラッキングマークの座標値を獲得し、獲得された現在のトラッキングマークの座標値及び前記ケアコンテンツの再生時間にシンクされて予め定義されたプリセットの座標値の差値を基準に判断され、
前記各エクステンデッドリアリティ機器ユーザの集中度は、前記ケアコンテンツが特定の周期で繰り返し再生されるコンテンツ又はシリーズ物である場合には、各回次別のトラッキングマークの動きデータを基準に判断されるコンテンツ適応度及び前記動きデータの平均値を用いて判断され、
前記平均値は、再生区間全体又は前記再生区間全体のうち予め設定された再生区間におけるトラッキングマークの動きデータの平均値を示し、
前記予め設定された再生区間は、再生開始時点から初期の一定区間、再生終了時点以前の一定区間、重要なオブジェクトが出現する時点の以前及び以降までの区間、前記管理者端末で設定した区間や突発区間のうちの少なくとも１つを含み、
前記各エクステンデッドリアリティ機器ユーザの集中度は、前記各エクステンデッドリアリティ機器の遅延時間情報を更に参照して判断され、
前記ケアコンテンツは、重要度に応じて各診断区間のサイズが均等でない重要診断区間及び非重要診断区間を含む複数の診断区間が含まれるように設定され、
前記管理者端末は、
前記各エクステンデッドリアリティ機器の現在の再生位置情報が受信されると、全てのエクステンデッドリアリティ機器のコンテンツ再生位置が一致して前記ユーザの集中度が一括して管理できるように前記各エクステンデッドリアリティ機器のコンテンツ再生速度を制御し、
前記全てのエクステンデッドリアリティ機器のコンテンツ再生位置が一致すると、前記ユーザの集中度判断を開始するように制御し、
受信した現在の再生位置が最も遅いエクステンデッドリアリティ機器の前記再生位置が属する診断区間の次の診断区間、受信した現在の再生位置が最も速いエクステンデッドリアリティ機器の前記再生位置が属する診断区間の次の診断区間、及び前記全てのエクステンデッドリアリティ機器に対して受信した現在の再生位置の平均再生位置が属する診断区間の次の診断区間のうちの何れか１つの診断区間の開始点に該当する再生位置に前記全てのエクステンデッドリアリティ機器の再生位置が予め設定された時間内に到達するように前記各エクステンデッドリアリティ機器の再生速度を個別に制御する、
方法。
【請求項2】
前記ケアコンテンツの各回次別のトラッキングマークの動きデータは、誘導音声の提供によるトラッキングマークの移動による反応時間データ及び各エクステンデッドリアリティ機器別の遅延時間の判断のための基準値の調整を参照して算出されることを特徴とする請求項１に記載の方法。
【請求項3】
前記ケアコンテンツの再生画面内の任意の領域にターゲットボックスが提供される段階と、現在のトラッキングマークの位置から提供されたターゲットボックスまでの移動可否及び移動時間を測定する段階と、
を更に含むことを特徴とする請求項２に記載の方法。
【請求項4】
前記任意の領域は、前記識別された現在のトラッキングマークの位置を基準に予め設定された距離に設定されることを特徴とする請求項３に記載の方法。
【請求項5】
前記任意の領域は、前記ケアコンテンツの再生画面内に予め設定されたオブジェクトを含むように設定されることを特徴とる請求項３に記載の方法。
【請求項6】
前記管理者端末は、前記各回次別のトラッキングマークの動きデータに基づく集中度評価に基づいて適応度の向上可否を判断し、
前記適応度が向上したものと判断されなければ、該当回次の再生終了後に連携活動コンテンツを提供し、
前記連携活動コンテンツを提供した後に適応度が向上したか否かを再判断し、
前記再判断の結果、前記適応度が向上していなければ、オートフォーカスアルゴリズムを実行することを特徴とする請求項１に記載の方法。
【請求項7】
ユーザの集中度に応じて登録された複数の各エクステンデッドリアリティ機器を管理及び制御する管理者端末において、メモリと、
プロセッサと、を含み、
前記プロセッサは、前記各エクステンデッドリアリティ機器にケアコンテンツ再生命令を伝送し、前記各エクステンデッドリアリティ機器から再生中のケアコンテンツを視聴するユーザの視線座標データを受信し、前記各エクステンデッドリアリティ機器で再生中のケアコンテンツ及び受信したユーザの視線座標データ基盤のトラッキングマークを画面上に出力し、前記各エクステンデッドリアリティ機器ユーザの集中度に応じて該当エクステンデッドリアリティ機器に制御信号を伝送し、
前記各エクステンデッドリアリティ機器ユーザの集中度は、前記各エクステンデッドリアリティ機器の現在のトラッキングマークの座標値を獲得し、獲得された現在のトラッキングマークの座標値及び前記ケアコンテンツの再生時間にシンクされて予め定義されたプリセットの座標値の差値を基準に判断され、
前記各エクステンデッドリアリティ機器ユーザの集中度は、前記ケアコンテンツが特定の周期で繰り返し再生されるコンテンツ又はシリーズ物である場合には、各回次別のトラッキングマークの動きデータを基準に判断されるコンテンツ適応度及び前記動きデータの平均値を用いて判断され、
前記平均値は、再生区間全体又は前記再生区間全体のうち予め設定された再生区間におけるトラッキングマークの動きデータの平均値を示し、
前記予め設定された再生区間は、再生開始時点から初期の一定区間、再生終了時点以前の一定区間、重要なオブジェクトが出現する時点の以前及び以降までの区間、前記管理者端末で設定した区間や突発区間のうちの少なくとも１つを含み、
前記各エクステンデッドリアリティ機器ユーザの集中度は、前記各エクステンデッドリアリティ機器の遅延時間情報を更に参照して判断され、
前記ケアコンテンツは、重要度に応じて各診断区間のサイズが均等でない重要診断区間及び非重要診断区間を含む複数の診断区間が含まれるように設定され、
前記プロセッサは、
前記各エクステンデッドリアリティ機器の現在の再生位置情報が受信されると、全てのエクステンデッドリアリティ機器のコンテンツ再生位置が一致して前記ユーザの集中度が一括して管理できるように前記各エクステンデッドリアリティ機器のコンテンツ再生速度を制御し、
前記全てのエクステンデッドリアリティ機器のコンテンツ再生位置が一致すると、前記ユーザの集中度判断を開始するように制御し、
受信した現在の再生位置が最も遅いエクステンデッドリアリティ機器の前記再生位置が属する診断区間の次の診断区間、受信した現在の再生位置が最も速いエクステンデッドリアリティ機器の前記再生位置が属する診断区間の次の診断区間、及び前記全てのエクステンデッドリアリティ機器に対して受信した現在の再生位置の平均再生位置が属する診断区間の次の診断区間のうちの何れか１つの診断区間の開始点に該当する再生位置に前記全てのエクステンデッドリアリティ機器の再生位置が予め設定された時間内に到達するように前記各エクステンデッドリアリティ機器の再生速度を個別に制御する、
管理者端末。
【請求項8】
前記ケアコンテンツの各回次別のトラッキングマークの動きデータは、誘導音声の提供によるトラッキングマークの移動による反応時間データ及び各エクステンデッドリアリティ機器別の遅延時間の判断のための基準値の調整を参照して算出されることを特徴とする請求項７に記載の管理者端末。
【請求項9】
前記プロセッサは、前記ケアコンテンツの再生画面内の任意の領域にターゲットボックスを提供し、
現在のトラッキングマークの位置から前記提供されたターゲットボックスまでの移動可否及び移動時間を測定することを特徴とする請求項８に記載の管理者端末。
【請求項10】
前記任意の領域は、前記識別された現在のトラッキングマークの位置を基準に予め設定された距離に設定されることを特徴とする請求項９に記載の管理者端末。
【請求項11】
前記任意の領域は、前記ケアコンテンツの再生画面内に予め設定されたオブジェクトを含むように設定されることを特徴とする請求項９に記載の管理者端末。
【請求項12】
前記プロセッサは、前記各回次別のトラッキングマークの動きデータに基づく集中度評価に基づいて適応度の向上可否を判断し、
前記適応度が向上したものと判断されなければ、該当回次の再生終了後に連携活動コンテンツを提供し、
前記連携活動コンテンツを提供した後に前記適応度が向上したか否かを再判断し、
前記再判断の結果、前記適応度が向上していなければ、オートフォーカシングアルゴリズムを実行することを特徴とする請求項７に記載の管理者端末。
【請求項13】
ケアコンテンツを再生する複数の各エクステンデッドリアリティ機器と、前記各エクステンデッドリアリティ機器が登録され、ユーザの集中度に応じて前記各エクステンデッドリアリティ機器を管理及び制御する管理者端末と、を含み、
前記管理者端末は、前記各エクステンデッドリアリティ機器にケアコンテンツ再生命令を伝送し、前記各エクステンデッドリアリティ機器から再生中のケアコンテンツを視聴するユーザの視線座標データを受信し、前記各エクステンデッドリアリティ機器で再生中のケアコンテンツ及び受信したユーザの視線座標データ基盤のトラッキングマークを画面上に出力し、前記各エクステンデッドリアリティ機器ユーザの集中度に応じて該当エクステンデッドリアリティ機器に制御信号を伝送し、
前記各エクステンデッドリアリティ機器ユーザの集中度は、前記各エクステンデッドリアリティ機器の現在のトラッキングマークの座標値を獲得し、獲得した現在のトラッキングマークの座標値及び前記ケアコンテンツの再生時間にシンクされて予め定義されたプリセットの座標値の差値を基準に判断され、
前記各エクステンデッドリアリティ機器ユーザの集中度は、前記ケアコンテンツが特定の周期で繰り返し再生されるコンテンツ又はシリーズ物である場合には、各回次別のトラッキングマークの動きデータを基準に判断されるコンテンツ適応度及び前記動きデータの平均値を用いて判断され、
前記平均値は、再生区間全体又は前記再生区間全体のうち予め設定された再生区間におけるトラッキングマークの動きデータの平均値を示し、
前記予め設定された再生区間は、再生開始時点から初期の一定区間、再生終了時点以前の一定区間、重要なオブジェクトが出現する時点の以前及び以降までの区間、前記管理者端末で設定した区間や突発区間のうちの少なくとも１つを含み、
前記各エクステンデッドリアリティ機器ユーザの集中度は、前記各エクステンデッドリアリティ機器の遅延時間情報を更に参照して判断され、
前記ケアコンテンツは、重要度に応じて各診断区間のサイズが均等でない重要診断区間及び非重要診断区間を含む複数の診断区間が含まれるように設定され、
前記管理者端末は、
前記各エクステンデッドリアリティ機器の現在の再生位置情報が受信されると、全てのエクステンデッドリアリティ機器のコンテンツ再生位置が一致して前記ユーザの集中度が一括して管理できるように前記各エクステンデッドリアリティ機器のコンテンツ再生速度を制御し、
前記全てのエクステンデッドリアリティ機器のコンテンツ再生位置が一致すると、前記ユーザの集中度判断を開始するように制御し、
受信した現在の再生位置が最も遅いエクステンデッドリアリティ機器の前記再生位置が属する診断区間の次の診断区間、受信した現在の再生位置が最も速いエクステンデッドリアリティ機器の前記再生位置が属する診断区間の次の診断区間、及び前記全てのエクステンデッドリアリティ機器に対して受信した現在の再生位置の平均再生位置が属する診断区間の次の診断区間のうちの何れか１つの診断区間の開始点に該当する再生位置に前記全てのエクステンデッドリアリティ機器の再生位置が予め設定された時間内に到達するように前記各エクステンデッドリアリティ機器の再生速度を個別に制御する、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、エクステンデッドリアリティ機器の制御に関し、より詳細には、管理者端末でケアコンテンツが再生される、登録された少なくとも１つ以上のエクステンデッドリアリティ機器のユーザの集中度を管理及び制御する方法、装置並びにシステムに関する。
【背景技術】
【0002】
デジタル技術の発展に伴い、近年、仮想空間又は仮想現実への関心が非常に高まり、関連技術に対する研究が行われている。
【0003】
仮想現実技術は従来、既存のコンテンツを単に仮想空間上で出力することにとどまり、フォーマットだけが変更される形式であったが、近年は仮想現実技術の発展に伴い、様々な分野に適用しようとする試みが行われている。
【0004】
一例として、医療分野において患者の治療目的のためのコンテンツとして開発しようとする試みがある。
【0005】
但し、従来の仮想現実技術の場合、エクステンデッドリアリティ機器をユーザが直接着用することによって、現在エクステンデッドリアリティ機器を着用したユーザがコンテンツを正常に視聴しているか確認が難しく、管理が非常に難しいため、依然としてその利用に不便が存在するという問題があった。
【発明の概要】
【発明が解決しようとする課題】
【0006】
そこで、本発明は上記事情に鑑みてなされたものであって、その目的は、ケアコンテンツが再生中のエクステンデッドリアリティ機器のユーザの集中度を管理者端末で確認して、確認結果に基づいて前記エクステンデッドリアリティ機器を管理及び制御する方法、装置並びにシステムを提供することにある。
【0007】
本発明が解決しようとする課題は、以上で言及した課題に限らず、言及していない更に他の課題は、下記の記載から通常の技術者が明確に理解できるはずである。
【課題を解決するための手段】
【0008】
上述した技術的課題を達成するための本発明に係る管理者端末でユーザの集中度に応じて登録された複数の各エクステンデッドリアリティ機器を管理及び制御する方法は、前記各エクステンデッドリアリティ機器にケアコンテンツ再生命令を伝送する段階と、前記各エクステンデッドリアリティ機器から再生中のケアコンテンツを視聴するユーザの視線座標データを受信する段階と、前記各エクステンデッドリアリティ機器で再生中のケアコンテンツ及び前記受信したユーザの視線座標データ基盤のトラッキングマークを画面上に出力する段階と、前記各エクステンデッドリアリティ機器ユーザの集中度に応じて該当エクステンデッドリアリティ機器に制御信号を伝送する段階と、を含み、前記各エクステンデッドリアリティ機器ユーザの集中度は、前記各エクステンデッドリアリティ機器の現在のトラッキングマークの座標値を獲得し、獲得された現在のトラッキングマークの座標値及び前記ケアコンテンツの再生時間にシンクされて予め定義されたプリセットの座標値の差値を基準に判断され、前記各エクステンデッドリアリティ機器ユーザの集中度は、前記ケアコンテンツが特定の周期で繰り返し再生されるコンテンツ又はシリーズ物である場合には、各回次別のトラッキングマークの動きデータを基準に判断されるコンテンツ適応度及び前記動きデータの平均値を用いて判断され、前記平均値は、再生区間全体又は前記再生区間全体のうち予め設定された再生区間におけるトラッキングマークの動きデータの平均値を示し、前記予め設定された再生区間は、再生開始時点から初期の一定区間、再生終了時点以前の一定区間、重要なオブジェクトが出現する時点の以前及び以降までの区間、前記管理者端末で設定した区間や突発区間のうちの少なくとも１つを含み、前記各エクステンデッドリアリティ機器ユーザの集中度は、前記各エクステンデッドリアリティ機器の遅延時間情報を更に参照して判断され、前記ケアコンテンツは、重要度に応じて各診断区間のサイズが均等でない重要診断区間及び非重要診断区間を含む複数の診断区間が含まれるように設定され、前記管理者端末は、前記各エクステンデッドリアリティ機器の現在の再生位置情報が受信されると、全てのエクステンデッドリアリティ機器のコンテンツ再生位置が一致して前記ユーザの集中度が一括して管理できるように前記各エクステンデッドリアリティ機器のコンテンツ再生速度を制御し、前記全てのエクステンデッドリアリティ機器のコンテンツ再生位置が一致すると、前記ユーザの集中度判断を開始するように制御し、受信した現在の再生位置が最も遅いエクステンデッドリアリティ機器の前記再生位置が属する診断区間の次の診断区間、受信した現在の再生位置が最も速いエクステンデッドリアリティ機器の前記再生位置が属する診断区間の次の診断区間、及び前記全てのエクステンデッドリアリティ機器に対して受信した現在の再生位置の平均再生位置が属する診断区間の次の診断区間のうちの何れか１つの診断区間の開始点に該当する再生位置に前記全てのエクステンデッドリアリティ機器の再生位置が予め設定された時間内に到達するように前記各エクステンデッドリアリティ機器の再生速度を個別に制御することを特徴とする。
【0009】
また、上述した技術的課題を達成するための本発明に係るユーザの集中度に応じて登録された複数の各エクステンデッドリアリティ機器を管理及び制御する管理者端末は、メモリと、プロセッサとを含み、前記プロセッサは、前記各エクステンデッドリアリティ機器にケアコンテンツ再生命令を伝送し、前記各エクステンデッドリアリティ機器から再生中のケアコンテンツを視聴するユーザの視線座標データを受信し、前記各エクステンデッドリアリティ機器で再生中のケアコンテンツ及び受信したユーザの視線座標データ基盤のトラッキングマークを画面上に出力し、前記各エクステンデッドリアリティ機器ユーザの集中度に応じて該当エクステンデッドリアリティ機器に制御信号を伝送し、前記各エクステンデッドリアリティ機器ユーザの集中度は、前記各エクステンデッドリアリティ機器の現在のトラッキングマークの座標値を獲得し、獲得された現在のトラッキングマークの座標値及び前記ケアコンテンツの再生時間にシンクされて予め定義されたプリセットの座標値の差値を基準に判断され、前記各エクステンデッドリアリティ機器ユーザの集中度は、前記ケアコンテンツが特定の周期で繰り返し再生されるコンテンツ又はシリーズ物である場合には、各回次別のトラッキングマークの動きデータを基準に判断されるコンテンツ適応度及び前記動きデータの平均値を用いて判断され、前記平均値は、再生区間全体又は前記再生区間全体のうち予め設定された再生区間におけるトラッキングマークの動きデータの平均値を示し、前記予め設定された再生区間は、再生開始時点から初期の一定区間、再生終了時点以前の一定区間、重要なオブジェクトが出現する時点の以前及び以降までの区間、前記管理者端末で設定した区間や突発区間のうちの少なくとも１つを含み、前記各エクステンデッドリアリティ機器ユーザの集中度は、前記各エクステンデッドリアリティ機器の遅延時間情報を更に参照して判断され、前記ケアコンテンツは、重要度に応じて各診断区間のサイズが均等でない重要診断区間及び非重要診断区間を含む複数の診断区間が含まれるように設定され、前記プロセッサは、前記各エクステンデッドリアリティ機器の現在の再生位置情報が受信されると、全てのエクステンデッドリアリティ機器のコンテンツ再生位置が一致して前記ユーザの集中度が一括して管理できるように前記各エクステンデッドリアリティ機器のコンテンツ再生速度を制御し、前記全てのエクステンデッドリアリティ機器のコンテンツ再生位置が一致すると、前記ユーザの集中度判断を開始するように制御し、受信した現在の再生位置が最も遅いエクステンデッドリアリティ機器の前記再生位置が属する診断区間の次の診断区間、受信した現在の再生位置が最も速いエクステンデッドリアリティ機器の前記再生位置が属する診断区間の次の診断区間、及び前記全てのエクステンデッドリアリティ機器に対して受信した現在の再生位置の平均再生位置が属する診断区間の次の診断区間のうちの何れか１つの診断区間の開始点に該当する再生位置に前記全てのエクステンデッドリアリティ機器の再生位置が予め設定された時間内に到達するように前記各エクステンデッドリアリティ機器の再生速度を個別に制御することを特徴とする。
【0010】
更に、上述した技術的課題を達成するための本発明に係るシステムは、ケアコンテンツを再生する複数の各エクステンデッドリアリティ機器と、前記各エクステンデッドリアリティ機器が登録され、ユーザの集中度に応じて前記各エクステンデッドリアリティ機器を管理及び制御する管理者端末とを含み、前記管理者端末は、前記各エクステンデッドリアリティ機器にケアコンテンツ再生命令を伝送し、前記各エクステンデッドリアリティ機器から再生中のケアコンテンツを視聴するユーザの視線座標データを受信し、前記各エクステンデッドリアリティ機器で再生中のケアコンテンツ及び受信したユーザの視線座標データ基盤のトラッキングマークを画面上に出力し、前記各エクステンデッドリアリティ機器ユーザの集中度に応じて該当エクステンデッドリアリティ機器に制御信号を伝送し、前記各エクステンデッドリアリティ機器ユーザの集中度は、前記各エクステンデッドリアリティ機器の現在のトラッキングマークの座標値を獲得し、獲得した現在のトラッキングマークの座標値及び前記ケアコンテンツの再生時間にシンクされて予め定義されたプリセットの座標値の差値を基準に判断され、前記各エクステンデッドリアリティ機器ユーザの集中度は、前記ケアコンテンツが特定の周期で繰り返し再生されるコンテンツ又はシリーズ物である場合には、各回次別のトラッキングマークの動きデータを基準に判断されるコンテンツ適応度及び前記動きデータの平均値を用いて判断され、前記平均値は、再生区間全体又は前記再生区間全体のうち予め設定された再生区間におけるトラッキングマークの動きデータの平均値を示し、前記予め設定された再生区間は、再生開始時点から初期の一定区間、再生終了時点以前の一定区間、重要なオブジェクトが出現する時点の以前及び以降までの区間、前記管理者端末で設定した区間や突発区間のうちの少なくとも１つを含み、前記各エクステンデッドリアリティ機器ユーザの集中度は、前記各エクステンデッドリアリティ機器の遅延時間情報を更に参照して判断され、前記ケアコンテンツは、重要度に応じて各診断区間のサイズが均等でない重要診断区間及び非重要診断区間を含む複数の診断区間が含まれるように設定され、前記管理者端末は、前記各エクステンデッドリアリティ機器の現在の再生位置情報が受信されると、全てのエクステンデッドリアリティ機器のコンテンツ再生位置が一致して前記ユーザの集中度が一括して管理できるように前記各エクステンデッドリアリティ機器のコンテンツ再生速度を制御し、前記全てのエクステンデッドリアリティ機器のコンテンツ再生位置が一致すると、前記ユーザの集中度判断を開始するように制御し、受信した現在の再生位置が最も遅いエクステンデッドリアリティ機器の前記再生位置が属する診断区間の次の診断区間、受信した現在の再生位置が最も速いエクステンデッドリアリティ機器の前記再生位置が属する診断区間の次の診断区間、及び前記全てのエクステンデッドリアリティ機器に対して受信した現在の再生位置の平均再生位置が属する診断区間の次の診断区間のうちの何れか１つの診断区間の開始点に該当する再生位置に前記全てのエクステンデッドリアリティ機器の再生位置が予め設定された時間内に到達するように前記各エクステンデッドリアリティ機器の再生速度を個別に制御することを特徴とする。
【発明の効果】
【0011】
本発明によると、次のような効果を有する。
【0012】
本発明によると、ケアコンテンツを再生中の登録されたエクステンデッドリアリティ機器ユーザの集中度を管理及び制御することによって、エクステンデッドリアリティ機器のケアコンテンツを通じて意図した効果を最大化できるという効果を奏する。
【0013】
本発明の効果は、上記で言及した効果に限らず、言及していない更に他の効果は、下記の記載から通常の技術者が明確に理解できるはずである。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施例に係るエクステンデッドリアリティ機器の集中度管理及び制御システムを示すブロック図である。
【図2】本発明の一実施例に係る管理者端末の構成ブロック図である。
【図3】本発明の一実施例に係る管理者端末とエクステンデッドリアリティ機器との間のインタラクション動作を説明するために示したフローチャートである。
【図4】本発明の一実施例に係る管理者端末で登録された各エクステンデッドリアリティ機器の集中度を管理及び制御する動作を説明するために示したフローチャートである。
【図5】本発明の一実施例に係る管理者端末で登録された各エクステンデッドリアリティ機器の集中度を管理及び制御する動作を説明するために示したフローチャートである。
【図6】本発明の一実施例に係る管理者端末で登録された各エクステンデッドリアリティ機器の集中度を管理及び制御する動作を説明するために示したフローチャートである。
【図7】本発明の一実施例に係る管理者端末で登録された各エクステンデッドリアリティ機器の集中度を管理及び制御する動作を説明するために示したフローチャートである。
【図8】本発明の一実施例に係る管理者端末で登録された各エクステンデッドリアリティ機器の集中度を管理及び制御する動作を説明するために示したフローチャートである。
【図9】本発明の一実施例に係る管理者端末で登録された各エクステンデッドリアリティ機器の集中度を管理及び制御する動作を説明するために示したフローチャートである。
【図10】本発明の一実施例に係る管理者端末で登録された各エクステンデッドリアリティ機器の集中度を管理及び制御する動作を説明するために示したフローチャートである。
【図11a】本発明の一実施例に係るエクステンデッドリアリティ機器の集中度管理及び制御のための管理者端末の動作を説明するためのユーザインターフェースの画面を示す図である。
【図11b】本発明の一実施例に係るエクステンデッドリアリティ機器の集中度管理及び制御のための管理者端末の動作を説明するためのユーザインターフェースの画面を示す図である。
【図12a】本発明の一実施例に係るエクステンデッドリアリティ機器の集中度管理及び制御のための管理者端末の動作を説明するためのユーザインターフェースの画面を示す図である。
【図12b】本発明の一実施例に係るエクステンデッドリアリティ機器の集中度管理及び制御のための管理者端末の動作を説明するためのユーザインターフェースの画面を示す図である。
【図13】本発明の一実施例に係るエクステンデッドリアリティ機器の集中度管理及び制御のための管理者端末の動作を説明するためのユーザインターフェースの画面を示す図である。
【発明を実施するための形態】
【0015】
本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態にて実現できる。但し、本実施例は、本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に本発明の範囲を完全に理解させるために提供されるものであり、本発明は請求項の範囲により定義されるに過ぎない。
【0016】
本明細書で用いられる用語は、実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又は」は言及された構成要素のそれぞれ及び１つ以上の全ての組み合わせを含む。たとえ、「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これらの構成要素は、これらの用語により制限されないのは当然である。これらの用語は、単に１つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及される第１構成要素は、本発明の技術的思想内で第２構成要素でもあり得るのは言うまでもない。
【0017】
他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用いられる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。
【0018】
空間的に相対的な用語である「下（ｂｅｌｏｗ）」、「真下（ｂｅｎｅａｔｈ）」、「下部（ｌｏｗｅｒ）」、「上（ａｂｏｖｅ）」、「上部（ｕｐｐｅｒ）」などは図示されているように、１つの構成要素と他の構成要素との相関関係を容易に記述するために使用され得る。空間的に相対的な用語は、図示されている方向に加えて使用時又は動作時に構成要素の互いに異なる方向を含む用語として理解されるべきである。例えば、図示されている構成要素をひっくり返す場合、他の構成要素の「下（ｂｅｌｏｗ）」又は「真下（ｂｅｎｅａｔｈ）」と記述されている構成要素は、他の構成要素の「上（ａｂｏｖｅ）」に置かれることができる。従って、例示的な用語である「下」は下と上の方向を何れも含むことができる。構成要素は他の方向にも配向されることができ、これにより空間的に相対的な用語は配向によって解釈されることができる。
【0019】
以下、添付の図面を参照して本発明の実施例を詳細に説明する。
【0020】
本明細書で記述される「エクステンデッドリアリティ（ＸＲ：ｅＸｔｅｎｄｅｄ Ｒｅａｌｉｔｙ）」は、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、 拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）及び混合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術を通称する用語を意味する。以下で「エクステンデッドリアリティ（ＸＲ）」という用語で本発明の多様な実施例を説明するが、これに限定されず、仮想現実（ＶＲ）、拡張現実（ＡＲ）、又は混合現実（ＭＲ）という用語を代わりに用いることもできる。
【0021】
図１は、本発明の一実施例に係るエクステンデッドリアリティ機器の集中度管理及び制御システムを示すブロック図である。図２は、本発明の一実施例に係る管理者端末１５０の構成ブロック図である。図３は、本発明の一実施例に係る管理者端末１５０とエクステンデッドリアリティ機器１００との間のインタラクション動作を説明するために示したフローチャートである。図４ないし１０は、本発明の一実施例に係る管理者端末１５０で登録された各エクステンデッドリアリティ機器の集中度を管理及び制御する動作を説明するために示したフローチャートである。図１１ａないし１３は、本発明の一実施例に係るエクステンデッドリアリティ機器の集中度管理及び制御のための管理者端末１５０の動作を説明するためのユーザインターフェースの画面を示す図である。
【0022】
図１を参照すると、本発明の一実施例に係るエクステンデッドリアリティ機器の集中度管理及び制御システムは、エクステンデッドリアリティ機器１００と管理者端末１５０を含んで構成できる。このとき、実施例によって、エクステンデッドリアリティ機器の集中度管理及び制御システムは、図１に示されたエクステンデッドリアリティ機器１００及び管理者端末１５０の他に、例えば図３ないし１０に示された実施例に係る動作の実行と関連して、１つ又はそれ以上の構成要素を更に含んだ状態でも実現できる。
【0023】
エクステンデッドリアリティ機器１００は、エクステンデッドリアリティコンテンツ、即ちケアコンテンツ（Ｃａｒｅ ｃｏｎｔｅｎｔｓ）をユーザに提供する装置である。このとき、エクステンデッドリアリティ機器１００は、ユーザが着用する形態（例えば、ＨＭＤ（Ｈｅａｄ－ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ））を含んで多様な形態にて実現できる。一方、このようなエクステンデッドリアリティ機器１００の構成などについての詳細な説明は、公知となっている構成を参照できるため、本明細書でそれについての別の詳細な説明は省略する。
【0024】
本明細書において、ユーザとは、エクステンデッドリアリティ機器１００を着用し、ケアコンテンツを視聴する視聴者を意味する。
【0025】
一方、ケアコンテンツとは、エクステンデッドリアリティ機器を介して該当コンテンツを消費するユーザ又はコンテンツを製作した目的や意図によって多様なテーマに定義されることができる。例えば、ユーザが認知症患者であれば、ケアコンテンツは、前記ユーザの認知症症状の緩和のための回想用コンテンツであり得る。また、ユーザが学業不振や障害を体験している青少年であれば、前記学業不振や障害の原因の１つとして心理相談用コンテンツであり得る。このようなケアコンテンツは、３６０°エクステンデッドリアリティ映像で構成され、エクステンデッドリアリティ機器を介してユーザに提供できる。実施例によって、前記ケアコンテンツは、特定の周期で繰り返し再生されるコンテンツ、シリーズ物（Ｓｅｒｉｅｓ）などでもあり得る。一方、本発明は、前述したケアコンテンツについて記述した内容にのみ限定されるものではない。
【0026】
実施例によって、ケアコンテンツは、同一のコンテンツに対して難易度が調節されたコンテンツも含むことができる。一方、シリーズ物やリピート再生コンテンツの場合にも、同一タイトルのコンテンツであっても視聴の難易度が異なるコンテンツを含んだ状態で構成できる。
【0027】
本明細書において、単に「エクステンデッドリアリティ機器」と命名して説明する場合、それは単に１つのエクステンデッドリアリティ機器を表すこともできるが、図１に示すように、ｎ個（ここで、ｎは自然数）のエクステンデッドリアリティ機器を表すこともでき、文脈上の意味により解釈できる。後者の場合、前記ｎが２以上の自然数の場合、各エクステンデッドリアリティ機器が全て同一の性能、同一のタイプ、同一のバージョンなどである必要はなく、本発明に係るケアコンテンツをユーザに提供し、後述する管理者端末１５０による制御信号に応じた動作の実行が可能であれば十分である。
【0028】
一方、ケアコンテンツは、エクステンデッドリアリティ機器１００に脱着可能なＳＤカード、前記エクステンデッドリアリティ機器１００に内在しているメモリのような格納空間に予め格納されたものであるか、管理者端末１５０やユーザの個人端末からダウンロードして前記格納空間に格納されたものであってもよい。
【0029】
エクステンデッドリアリティ機器１００は、管理者端末１５０の制御信号によってユーザにエクステンデッドリアリティ空間上でケアコンテンツを視聴できるように提供できる。一方、前記エクステンデッドリアリティ機器１００は、前記管理者端末１５０の制御がなくてもユーザの制御によってケアコンテンツを任意に再生することもできる。但し、任意再生の場合にも、エクステンデッドリアリティ機器１００は、該当機器でユーザの制御によりケアコンテンツが任意に再生中であることを管理者端末１５０に報告し、前記管理者端末１５０の制御により任意に再生されたケアコンテンツの再生を制御することもできる。
【0030】
エクステンデッドリアリティ機器１００は、通常、ユーザが頭に着用する形態の装置であって、内在している加速度センサなどセンサを介して獲得されるセンシングデータに基づいて、ケアコンテンツの再生中にユーザの頭の動きを感知又は追跡できる。エクステンデッドリアリティ機器１００は、追跡したユーザの頭の動きに基づいてエクステンデッドリアリティ機器を介してエクステンデッドリアリティ空間上でケアコンテンツを消費中のユーザの視線の動きを追跡でき、前記ユーザの視線の動きの追跡について視線座標データを生成でき、生成された視線座標データを管理者端末１５０に伝送できる。前記管理者端末１５０は、前記伝送されたエクステンデッドリアリティ機器１００の視線座標データに基づいてトラッキングマーク（ｔｒａｃｋｉｎｇ ｍａｒｋ）を生成できる。
【0031】
その他、エクステンデッドリアリティ機器１００は、エクステンデッドリアリティ空間上でケアコンテンツを提供する過程で、前記ケアコンテンツと関連するユーザのフィードバックデータ（ｆｅｅｄｂａｃｋ ｄａｔａ）を獲得し、管理者端末１５０に伝達できる。このとき、前記ユーザのフィードバックデータは、例えば、エクステンデッドリアリティ空間上で再生中のケアコンテンツ内に含まれるか、又は再生区間などによって連動する質問などに対する回答データを含むことができる。前記回答データは、音声（ｖｏｉｃｅ）、ジェスチャー（ｇｅｓｔｕｒｅ）などの形態であり得るが、それに限定されるものではない。一方、管理者端末１５０は、エクステンデッドリアリティ機器１００から受信したユーザのフィードバックデータが音声であれば、ＳＴＴ（Ｓｐｅｅｃｈ ｔｏ Ｔｅｘｔ）モジュールを介してテキスト（ｔｅｘｔ）に変換し、ユーザのフィードバックデータを分析及び処理できる。
【0032】
図１及び図２を参照すると、管理者端末１５０は、メモリ２１０とプロセッサ２２０を含む。このとき、本明細書では本発明の理解を促進し、説明の便宜上、管理者端末１５０は、エクステンデッドリアリティ機器ではない端末を例として説明するが、これに限定されるものではない。一方、管理者端末１５０は、後述する図１２ａないし図１３に示されるように、各エクステンデッドリアリティ機器によって現在再生中のケアコンテンツの再生画面を出力するが、このとき、前記出力されるケアコンテンツ再生画面は、前記端末の形状によって２Ｄ又は３Ｄ映像の形態にて提供され得る。例えば、管理者端末１５０はＴＶ、モニタ、サイネージ（Ｓｉｇｎａｇｅ）、ＰＣ、ノートパソコン、タブレットＰＣ、スマートフォン、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）などのうちの何れか１つであり得る。他の実施例によれば、管理者端末１５０は、登録された少なくとも１つ以上のエクステンデッドリアリティ機器の制御目的の専用機器（ｄｅｄｉｃａｔｅｄ ａｐｐａｒａｔｕｓ）であることもできる。
【0033】
管理者端末１５０は、必ずしも登録されたエクステンデッドリアリティ機器１００と隣接する位置にある必要はなく、遠隔に存在しても構わない。このような点で、一実施例によれば、管理者端末１５０は、遠隔制御目的のサーバ（Ｓｅｒｖｅｒ）、クラウド（Ｃｌｏｕｄ）のような形態であり得るが、それに限定されない。一方、管理者端末１５０は実施例によって、コントローラ、制御部、コンピューティングデバイスなど様々な名称で呼ぶことができる。
【0034】
管理者端末１５０は、ケアコンテンツを直接製作できる。この場合、登録されたエクステンデッドリアリティ機器１００で再生できるようにアップロード又は直接該当エクステンデッドリアリティ機器に伝送できる。
【0035】
【0036】
図１２ａを例として参照すると、管理者端末１５０の画面は、大きく映像表示領域１２１０と機能領域１２２０とに区分できる。
【0037】
このとき、映像表示領域１２１０には、登録された少なくとも１つ以上のエクステンデッドリアリティ機器で現在再生中のケアコンテンツの画面を提供できる。管理者端末１５０は、前記映像表示領域１２１０を通じてケアコンテンツの再生を直接制御できる。その他、映像表示領域１２１０には、図１３に示されるように、各エクステンデッドリアリティ機器から受信したユーザの視聴座標データ基盤のトラッキングマーク１３２１、１３２２を提供できる。このとき、便宜上、図１３では２つのトラッキングマーク１３２１、１３２２が提供されたが、実施例によってトラッキングマークを１つも提供しないこともでき、３つ以上のトラッキングマークを提供することもできる。従って、管理者端末１５０は、前記トラッキングマーク１３２１、１３２２を通じて各エクステンデッドリアリティ機器ユーザのケアコンテンツに対する反応、感想などを含んで多様な状況を考慮したユーザの集中度を評価して制御などの補助も行える。
【0038】
一方、機能領域１２２０には、映像説明領域、質問リスト及びフィードバック領域、連携活動領域などが存在し得る。その他、管理者端末１５０の画面には、映像表示領域に提供中のコンテンツのタイトル、ダウンロード状態、特定のエクステンデッドリアリティ機器でのケアコンテンツ再生制御機能ボタンなど多様なインターフェースを含めることができる。
【0039】
前記機能領域１２２０のうち映像説明領域は、映像に関する全般的な情報が提供される領域である。例えば、前記映像説明領域は、ケアコンテンツの再生時間、容量、トレーニングの目的（例えば、脳のどの領域をトレーニングすることが目的なのか、どのような疾患を治療するための目的なのかなど）、企画の意図、テーマ、連携活動として何を行うかなどに関する情報が提供され得る。
【0040】
前記機能領域１２２０のうち質問リスト及びフィードバック領域は、図１２ｂに示されるように、ケアコンテンツの特定の時間帯で、例えば、ナレーション（ｎａｒｒａｔｉｏｎ）を通じて提供される質問リスト、それに対するユーザの回答などフィードバックなどが提供される領域である。上記において、ユーザのフィードバックは、例えば、管理者端末１５０で前述したように、ＳＴＴモジュールを介して自動的に抽出して記録できる。
【0041】
図１２ｂを参照すると、管理者端末１５０は、エクステンデッドリアリティ機器１００で再生中のケアコンテンツと関連して、質問リストと前記質問リストに対するタグ回答（ｔａｇ ａｎｓｗｅｒ）を提供できる。従って、エクステンデッドリアリティ機器１００を介してケアコンテンツを視聴するユーザは、前記質問リストに対する回答をより簡単、かつ便利に行うことができ、管理者端末１５０もやはり、前記ユーザのフィードバックデータを簡単、かつ迅速に獲得して記録できる。
【0042】
一方、前記タグ回答として、各質問によって異なる構成が可能であるが、例えば、単純肯定や否定を表す「はい／いいえ」、回答反応速度を表す「１秒／２秒／３秒／４秒／５秒後の回答」、回想など特定の意図や目的を表す「～に会ったんだ／～へ行ったんだ／～を食べたんだ／私は～が好き」などのように一種のサンプル回答を提供し、ユーザの反応やケアコンテンツ利用の利便性を改善させることができる。
【0043】
実施例によって、このようなタグ回答は、それ自体がケアコンテンツの目的に合うように、ユーザに対する多様な診断や性向の把握などのためのデータとして構成できる。
【0044】
実施例によって、管理者端末１５０は、フィードバックデータに基づいて、オーダーメード型のコンテンツを推薦するか、後で提供するのに参考にすることができる。例えば、管理者端末１５０は、初期には一般的な統合コンテンツがエクステンデッドリアリティ機器１００を通じたエクステンデッドリアリティ空間上でユーザに提供するように再生を制御するが、そのようなコンテンツの再生を通じた様々な回答データが獲得されると、それに基づいて、エクステンデッドリアリティ機器１００のユーザの性向に応じた、特化したオーダーメード型のコンテンツが提供されるように前記エクステンデッドリアリティ機器１００を制御できる。
【0045】
例えば、管理者端末１５０は、エクステンデッドリアリティ機器の利用ユーザの傾向に特化したオーダーメード型のコンテンツであって、例示１：「どんな運動が好きですか」という質問に自転車と答えると、その後に田舎の道など自転車と関連するケアコンテンツを提供し、連携活動としてきびがらで自転車を作る活動を推薦、例示２：船舶に反応が大きなエクステンデッドリアリティ機器のユーザに対して、その後に海と関連するケアコンテンツをキュレーション（ｃｕｒａｔｉｏｎ）し、連携活動として「きびがらで船舶を作る活動」を推薦、そして例示３：フィードバックデータを総合してその視聴者の記憶を組み合わせた最適の映像をオーダーメード型で提供（これは例えば、個人識別情報がなくてもフィードバックデータだけでも具現可能）できる。
【0046】
前記機能領域６２０のうち連携活動領域は、エクステンデッドリアリティ機器１００を着用したユーザが現在視聴中のケアコンテンツを視聴後にケアコンテンツの目的に合う推薦連携活動に関する情報を提供する領域であり得る。このとき、管理者端末１５０は、前記連携活動が既に提供中のケアコンテンツ以降、適切な時点に円滑に又はシームレス（ｓｅａｍｌｅｓｓ）に提供できるように予め推薦連携活動リスト及び案内映像などをリストアップして提供し、その選択に従うことができる。このような連携活動として、例えば、マッチ棒の積み上げ（バランス感覚、小さな筋肉の使用などを評価可能）、花びらのチヂミ作り、かけらの貼り付け（数、埋めた面積などで評価可能）、例示図面を切り取ることによる形状の制作、折り紙など多様な活動を含んでいてもよく、特に制限はない。一方、連携活動もオフライン（ｏｆｆｌｉｎｅ）ではなく、エクステンデッドリアリティ機器１００を通じたエクステンデッドリアリティ空間上で提供されるエクステンデッドリアリティコンテンツの形態にて提供され、管理者端末１５０とエクステンデッドリアリティ機器１００との間の通信を通じたインタラクション反応によって実現することもできる。
【0047】
前記連携活動のコンテンツとして、花びらのチヂミを作る方法に関するコンテンツが提供され得る。例えば、連携活動リストから「花びらのチヂミ作り－初級」項目を選択すると、花びらのチヂミ作りの動画、テキストデータなどが提供され得る。
【0048】
その他、本明細書で記述されるオーダーメード型又は特化コンテンツの推薦、又は提供だけでなく、様々な形態のデータ、検出又は抽出されるデータの処理は、そのためのデータを訓練データとして生成された人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）学習モデルの機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）した結果に起因し得る。
【0049】
管理者端末１５０は、本発明に係る管理者端末１５０に登録された少なくとも１つ以上のエクステンデッドリアリティ機器１００のケアコンテンツ再生制御などに関するサービスをアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）又はウェブサービス（ｗｅｂ ｓｅｒｖｉｃｅ）の形態にて提供することができる。
【0050】
図３を参照して、システムレベルでエクステンデッドリアリティ機器と管理者端末１５０との間のインタラクション動作を説明すると、次の通りである。
【0051】
動作１１で、管理者端末１５０は、少なくとも１つ以上のエクステンデッドリアリティ機器から登録要請があれば、登録する。
【0052】
動作１２で、管理者端末１５０は、登録された各エクステンデッドリアリティ機器にケアコンテンツ再生命令を伝送する。このとき、管理者端末１５０は、特定の１つ又はそれ以上のエクステンデッドリアリティ機器にのみコンテンツ再生命令を伝送することもでき、ブロードキャスティング方式で登録された全てのエクステンデッドリアリティ機器にコンテンツ再生命令を伝送することもできる。前者の場合、例えば、管理者端末１５０は、認知症患者のための第１エクステンデッドリアリティ機器と癌患者のための第２エクステンデッドリアリティ機器が既に登録されている状態で、認知症患者のためのケアコンテンツを再生するために、前記第１エクステンデッドリアリティ機器でのみ該当ケアコンテンツが再生できるように制御信号を伝送できる。この場合、前記エクステンデッドリアリティ機器を管理者端末１５０に登録時に予め各エクステンデッドリアリティ機器の識別子情報を登録して区別し、前記制御信号の伝送時に信号のフレームヘッダ（Ｈｅａｄｅｒ）に前記第１エクステンデッドリアリティ機器を識別できる識別子情報を表示し、ブロードキャスティングすることによって、簡単に前記第１エクステンデッドリアリティ機器でのみケアコンテンツを再生するようにすることができる。
【0053】
動作１３で、エクステンデッドリアリティ機器１００は、前記管理者端末１５０の制御信号を受信すると、これをパーシングしてケアコンテンツ再生命令と判断されると、前記判断結果によってケアコンテンツがエクステンデッドリアリティ空間上でユーザに提供されるようにする。
【0054】
動作１４で、エクステンデッドリアリティ機器１００は、前記ケアコンテンツが提供されると、視線座標データを抽出及び生成して管理者端末１５０に伝送できる。このとき、エクステンデッドリアリティ機器１００は、ユーザフィードバックデータも共に管理者端末１５０に伝送できる。
【0055】
動作１５で、管理者端末１５０は、前記動作１４を通じてエクステンデッドリアリティ機器１００から所定のデータを受信すると、それに基づいて再生制御信号を生成して該当エクステンデッドリアリティ機器で再生中のケアコンテンツの再生を制御できる。
【0056】
【0057】
以下、管理者端末１５０で予め登録された少なくとも１つ以上のエクステンデッドリアリティ機器を制御する動作を説明する。説明の便宜上、単に「エクステンデッドリアリティ機器」とのみ説明しても、それは文脈上の意味により特定のエクステンデッドリアリティ機器１つ又は複数のエクステンデッドリアリティ機器を意味する。
【0058】
まず、図４を参照すると、動作２１で、管理者端末１５０は、各エクステンデッドリアリティ機器の集中度評価点数を算出できる。
【0059】
動作２２で、管理者端末１５０は、算出した各エクステンデッドリアリティ機器の集中度評価点数に基づいて、集中度の低いエクステンデッドリアリティ機器を識別できる。
【0060】
動作２３で、管理者端末１５０は、集中度の低いエクステンデッドリアリティ機器と識別されたエクステンデッドリアリティ機器に対して集中度向上機能を提供できる。
【0061】
動作２４で、管理者端末１５０は、エクステンデッドリアリティ機器のケアコンテンツ再生を制御又は終了できる。
【0062】
前記において、動作２３は、動作２４の再生制御動作の１つであり得る。
【0063】
図５では、ケアコンテンツが前述したように、特定の周期で繰り返し再生されるコンテンツ、シリーズ物（Ｓｅｒｉｅｓ）の場合を例として集中度を判断する実施例である。
【0064】
図５を参照すると、管理者端末１５０は、動作３１で、回次別のトラッキングマークの動きデータ値を測定及び記録できる。
【0065】
動作３２で、管理者端末１５０は、測定されたトラッキングマークの動きデータ値を基準にエクステンデッドリアリティ機器のユーザのコンテンツ適応度又は視聴適応度が向上しているかを判断できる。
【0066】
動作３３で、管理者端末１５０は前記動作３２の判断結果、エクステンデッドリアリティ機器ユーザのコンテンツ適応度又は視聴適応度が向上していると判断されると、後続コンテンツの難易度を向上し、前回よりも難易度が向上したケアコンテンツを提供するように制御できる。
【0067】
動作３４で、管理者端末１５０は、前記動作３２の判断結果、エクステンデッドリアリティ機器ユーザのコンテンツ適応度が向上していると判断されない場合には、該当回次の終了後に連携活動の内容を提供する。
【0068】
動作３５で、管理者端末１５０は、前記動作３４で連携活動の内容提供によりエクステンデッドリアリティ機器ユーザのコンテンツ適応度が向上したか否かを再判断できる。このとき、前記適応度向上可否の再判断は、前記連携活動内容提供のフィードバックデータ又は前記連携活動内容の提供後、後続するケアコンテンツのトレッキングマークの動き値の測定結果に基づいて行うことができる。
【0069】
管理者端末１５０は、前記動作３５の再判断結果、もしエクステンデッドリアリティ機器ユーザのコンテンツ適応度が向上したと判断されると、動作３３のように処理するが、それにも拘らず、依然としてエクステンデッドリアリティ機器のユーザのコンテンツ適応度が向上しなければ、動作３６でオートフォーカシングアルゴリズム（Ａｕｔｏ－ｆｏｃｕｓｉｎｇ ａｌｇｏｒｉｔｈｍ）を実行できる。動作３６で、オートフォーカシングアルゴリズムの実行前に、前述した動作３１ないし３５を１回以上繰り返して行うこともできる。または、管理者端末１５０は、繰り返し実行又はオートフォーカシングアルゴリズムの適用後にも図５を再実行し、依然として適応度が向上しないと判断されると、現在までのケアコンテンツの再生回次と関係なく、該当ケアコンテンツの１回目から再スタートするか、全般的なコンテンツの難易度が相対的に低いケアコンテンツを再生するように制御することもできる。
【0070】
図６は、ラッキングマークの移動基盤反応時間を利用して集中度を判断する実施例である。
【0071】
図６を参照すると、動作４１で、管理者端末１５０は、トラッキングマークの動き、即ち、移動基盤反応時間を測定できる。このとき、前記反応時間測定は、例えば、管理者端末１５０で提供した誘導音声、誘導マーク、誘導ボックス（又は後述するターゲットボックス）などの提供による反応時間であり得る。前記誘導音声とは、例えば、現在再生中のコンテンツの画面内の特定のオブジェクトを選択、特定の領域に移動、上下左右方向に一定程度移動せよといった音声命令などであり得る。前記における誘導マークとは、点（ｄｏｔ）やキャラクター（ｃｈａｒａｃｔｅｒ）（知人や家族写真、可愛いキャラクターなど）のような別個のイメージを提供し、移動して選択できるように提供することを表すことができる。
【0072】
動作４２で、管理者端末１５０は、測定した反応時間を第１閾値（閾時間）と比較判断できる。
【0073】
動作４３で、管理者端末１５０は、前記動作３２で判断した結果、測定された反応時間が第１閾値（例えば、３秒など）を超過すると、該当エクステンデッドリアリティ機器ユーザの集中度は低いと識別できる。このような識別は、図６の反応時間に対して予め設定された加重値などを参考にして、集中度評価点数の算定に反映されることもできる。
【0074】
図７は、エクステンデッドリアリティ機器別の遅延（ｌａｔｅｎｃｙ）を用いて集中度を判断する実施例である。
【0075】
図７を参照すると、動作５１で、管理者端末１５０は、各エクステンデッドリアリティ機器の遅延時間を測定できる。
【0076】
動作５２で、管理者端末１５０は、測定した各エクステンデッドリアリティ機器の遅延時間を参考にして該当するエクステンデッドリアリティ機器の判断基準値を調整して制御できる。このとき、管理者端末１５０は、各エクステンデッドリアリティ機器の遅延時間情報を反映して計算できるが、例えば相対的にケアコンテンツが遅く再生されているエクステンデッドリアリティ機器に対して判断基準値に＋／－時間を設定できる。
【0077】
動作５３で、管理者端末１５０は、前記各エクステンデッドリアリティ機器の遅延時間を再測定できる。
【0078】
動作５４で、管理者端末１５０は、各エクステンデッドリアリティ機器に対して再測定した遅延時間を第２閾値と比較し判断できる。
【0079】
動作５５で、管理者端末１５０は、前記動作５４で判断した結果、もし特定のエクステンデッドリアリティ機器の再測定遅延時間が前記第２閾値を超過すると、該当エクステンデッドリアリティ機器ユーザの集中度が低いと識別できる。同様に、このような識別は、図７の遅延時間に対して予め設定された加重値などを参考にして、集中度評価点数の算定に反映させることもできる。
【0080】
図８は、ターゲットボックスを用いて集中度を判断する実施例である。
【0081】
図８を参照すると、動作６１で、管理者端末１５０は、ターゲットボックスを設定して提供できる。このとき、ターゲットボックスは、各エクステンデッドリアリティ機器で再生中のケアコンテンツの任意の領域に設定できる。前記任意の領域は、例えば、該当再生画面内の特定のオブジェクトであるか、それを含む領域であり得る。実施例によって、前記任意の領域は、例えば、現在再生画面内のトラッキングマークの位置情報を算出し、算出されたトラッキングマークと予め設定された距離だけ離れた位置に設定できる。他の実施例では、ターゲットボックスは、四角形、円形、三角形などの多角形形状であるか、点、線などの形態とすることもできる。更に他の実施例では、ターゲットボックスには、アーチェリーの標的のようにボックス内に区分されたサブボックスが存在し、各サブボックスは、外郭からターゲットボックスの中央に移動するほど高い点数を設定し、最終的にトラッキングマークの位置がターゲットボックス内のどの領域に位置するかによって点数に差を付けて算定することもできる。
【0082】
動作６２で、管理者端末１５０は、トラッキングマークがターゲットボックス内に安着しているか否かを判断できる。
【0083】
動作６３で、管理者端末１５０は、前記動作６２で判断した結果、もしトラッキングマークがターゲットボックス内に安着したら、前記ターゲットボックスの提供時点から最終的にターゲットボックス内への安着までにかかる時間を測定できる。このとき、前記安着とは、例えば、前記トラッキングマークが該当ターゲットボックスに位置して所定時間（少なくとも０.５秒以上）留まる場合にのみ安着と判断できる。これは、例えば、ケアコンテンツの種類によって定着を異なるように定義できる。例えば、ケアコンテンツが認知症患者などの場合には、特定地点にトラッキングマークを所定時間固定することが相対的に困難であるため、その場合には異なるように判断できる。例えば、前記トラッキングマークが単にターゲットボックスを通りさえすれば、安着と判断することもできる。
【0084】
動作６４で、管理者端末１５０は、前記動作６３で測定した安着時間を第３閾値と比較し判断できる。
【0085】
動作６５で、管理者端末１５０は、前記動作６４で判断した結果、もし該当エクステンデッドリアリティ機器のトラッキングマークのターゲットボックスへの安着時間が第３閾値を超過すると、該当エクステンデッドリアリティ機器ユーザの集中度は低いと識別できる。同様に、このような識別は、図８のターゲットボックスと関連して予め設定された加重値などを参考にして、集中度評価点数の算定に反映させることもできる。実施例によって、前記安着時間と関係なく、前記安着可否だけで集中度を評価判断することもできる。
【0086】
図９は、トラッキングマークの動きの平均値を用いて集中度を判断する実施例である。
【0087】
図９を参照すると、動作７１で、管理者端末１５０は、各エクステンデッドリアリティ機器のトラッキングマークの動きの平均値を測定できる。ここで、各エクステンデッドリアリティ機器のトラッキングマークの動きの平均値とは、該当コンテンツの再生時間全体の動きの平均値を表すことができる。このとき、もし該当エクステンデッドリアリティ機器で該当コンテンツの再生が途中で中断された場合には、それまでのトラッキングマークの動きの平均値を表すこともできる。反面、もし該当エクステンデッドリアリティ機器で該当コンテンツの再生が途中で一時停止後に再び再生された場合には、前記一時停止後から再度の再生までの時間を除いてトラッキングマークの動きの平均値を表すこともできる。実施例によって、前記各エクステンデッドリアリティ機器のトラッキングマークの動きの平均値は、該当コンテンツの再生区間全体のうち、予め設定された再生区間でのトラッキングマークの動きの平均値を表すことができる。前記予め設定された再生区間とは、再生開始時点から初期の一定区間、再生終了時点以前の一定区間、重要なオブジェクトが出現する時点の前後の一定区間、管理者端末１５０によって設定された区間や突発区間などのうちの少なくとも１つ以上であり得る。
【0088】
動作７２で、管理者端末１５０は、前記動作７１で測定したエクステンデッドリアリティ機器のトラッキングマークの動きの平均値と第４閾値を比較し判断できる。
【0089】
動作７３で、管理者端末１５０は、前記動作７２で判断した結果、もしトラッキングマークの動きの平均値が第４閾値を超過した場合、エクステンデッドリアリティ機器は、相対的に集中度が低い機器と判断できる。同様に、このような識別は、図９のトラッキングマークの動きの平均値と関連して予め設定された加重値などを参考にして、集中度評価点数の算定に反映させることもできる。
【0090】
図１０は、プリセット座標値を用いて集中度を判断する実施例である。
【0091】
図１０を参照すると、動作８１で、管理者端末１５０は、各エクステンデッドリアリティ機器の現在のトラッキングマークの位置情報を測定し、提供されるプリセットとの差値を測定できる。ここで、前記プリセットは、管理者端末１５０によって映像再生時間にシンクされたものであり得る。従って、管理者端末１５０は、前記提供するプリセットの座標値と各エクステンデッドリアリティ機器の測定されたトラッキングマークの位置情報（即ち、座標値）の距離（座標）の差値を測定できる。一方、前記プリセットは、該当時点で再生中のコンテンツでユーザのトラッキングマークが位置しなければならないものと予め定義された位置に提供され得る。そうしなければ適切に集中度を判断できないためである。そのような点で、前記プリセットは、重要区間に重要なオブジェクトが属する位置として設定できる。
【0092】
動作８２で、管理者端末１５０は、前記測定した差値と第５閾値を比較し判断できる。
【0093】
動作８３で、管理者端末１５０は、前記動作８２で判断した結果、もし特定のエクステンデッドリアリティ機器に対して測定した差値が第５閾値を超過すると、該当エクステンデッドリアリティ機器の集中度は低いと識別できる。同様に、このような識別は、図１０のプリセットの提供によるトラッキングマークとの位置情報の差と関連して、予め設定された加重値などを参考にして、集中度評価点数の算定に反映させることもできる。
【0094】
【0095】
図１１ａでは、エクステンデッドリアリティ機器の登録及び登録されたエクステンデッドリアリティ機器の目録が提供されることが分かる。
【0096】
図１１ｂでは、登録前又は登録後に特定のエクステンデッドリアリティ機器に関する詳細情報が提供されることを確認でき、バージョンのアップデート、ペアリングの接続及び解除、映像リストなど制御と関連するユーザインターフェースが示される。
【0097】
図１２ａでは、前述したように、登録されたエクステンデッドリアリティ機器の映像再生領域１２１０から出力され、機能領域１２２０に、映像の説明、質問リスト、連携活動リストと関連する機能項目を提供できる。
【0098】
【0099】
図１３では、映像再生領域に、例えば、２つのトラッキングマーク１３２１、１３２２が提供されており、図１２ａ及び図１２ｂとは異なり、集中度評価によって特定のエクステンデッドリアリティ機器を制御するための機能を提供できる。例えば、集中度評価機能領域１３１０には、再生バーと共に、再生位置制御項目（＋１０秒、－１０秒など）、全体の終了、一時停止、元の位置の項目、該当制御対象エクステンデッドリアリティ機器の識別情報提供項目、該当制御対象エクステンデッドリアリティ機器のボリュームアップ／ダウン項目などを提供できる。
【0100】
一方、前記集中度評価機能領域１３１０は、スクロールバーの形態にて提供されて、特定の制御対象エクステンデッドリアリティ機器を選択するか、エクステンデッドリアリティ機器全体を制御対象エクステンデッドリアリティ機器として選択できるように提供することもできる。または図示してはいないが、制御対象エクステンデッドリアリティ機器が複数の場合には、画面分割を通じて、コンテンツ再生画面と集中度評価機能領域１３１０が分割され、同時に制御及び確認できるように提供することもできる。
【0101】
管理者端末１５０は、各エクステンデッドリアリティ機器の現在の再生位置を識別し、前記識別された各エクステンデッドリアリティ機器の現在の再生位置に基づいて全てのエクステンデッドリアリティ機器のコンテンツ再生位置が一致するように前記各エクステンデッドリアリティ機器のコンテンツ再生速度を制御できる。このように全てのエクステンデッドリアリティ機器のコンテンツ再生位置が一致すると、その際に本発明に係る集中度評価を行える。但し、必ずしもこれに限定されるものではない。
【0102】
一方、管理者端末１５０は、例えば、前記各エクステンデッドリアリティ機器の再生速度の制御において、ｉ）前記識別された現在の再生位置が一番遅いエクステンデッドリアリティ機器の前記再生位置が属する診断区間の次の診断区間、ｉｉ）前記識別された現在の再生位置が最も速いエクステンデッドリアリティ機器の前記再生位置が属する診断区間の次の診断区間、及びｉｉｉ）全てのエクステンデッドリアリティ機器に対して識別された現在の再生位置の平均再生位置が属する診断区間の次の診断区間のうちの何れか１つの診断区間の開始点に該当する再生位置に、全てのエクステンデッドリアリティ機器の再生位置が予め設定された時間内に到達するように前記各エクステンデッドリアリティ機器の再生速度を個別に制御できる。
【0103】
一方、本発明に係るケアコンテンツは、複数の診断区間が予め設定されて区別可能なことを例として説明する。
【0104】
一実施例として、前記ケアコンテンツ内の複数の診断区間は、該当診断区間で提供している内容の重要度に応じて重要診断区間と非重要診断区間に区分できる。また、前記重要診断区間と非重要診断区間のサイズは、該当ケアコンテンツ内でそのサイズが均等でないこともできる。
【0105】
管理者端末１５０は、もし複数のエクステンデッドリアリティ機器のうち判断された集中度評価によって集中度が相対的に低いエクステンデッドリアリティ機器が複数の場合には、該当エクステンデッドリアリティ機器をグルーピング（Ｇｒｏｕｐｐｉｎｇ）し、同時に管理及び制御できる。前記管理者端末１５０は、グルーピングされたエクステンデッドリアリティ機器のトラッキングマークもグルーピングによって識別できるように処理できる。このとき、グルーピングされていない（各）エクステンデッドリアリティ機器のトラッキングマークとグルーピングされた各エクステンデッドリアリティ機器のトラッキングマークは、互いに区分できるように差別化されて出力することができる。前記差別化の方式は、トラッキングマークのサイズ、カラー、フリッカリング（ｆｌｉｃｋｅｒｉｎｇ）、グルーピング表示など多様な方式により行うことができる。
【0106】
管理者端末１５０は、トラッキングマークの動き（例えば、３秒以上）がなければ、無条件に集中度を低く評価するのではなく、前記トラッキングマークの位置を確認し、該当トラッキングマークの位置が特定のオブジェクト（人、場所、物、指定位置など）の位置に対応すると、集中度を低く評価しないことができる。逆に、該当トラッキングマークの位置がオブジェクトのない空き空間を注視するか、特別な意味が付与されない所に継続して位置すると、前記集中度が低いと判断できる。
【0107】
管理者端末１５０は、登録された全てのエクステンデッドリアリティ機器の現在のトラッキングマークの位置を識別し、識別された各エクステンデッドリアリティ機器のトラッキングマークと顕著に離れた位置に存在するトラッキングマークの該当エクステンデッドリアリティ機器は、集中度が低いと判断できる。または、前記判断過程で各エクステンデッドリアリティ機器の識別されたトラッキングマークの平均値を算定し、平均値から閾値以上の差があるエクステンデッドリアリティ機器を集中度が低いエクステンデッドリアリティ機器と判断できる。
【0108】
【0109】
【0110】
本発明の実施例と関連して説明された方法又はアルゴリズムの段階は、ハードウェアにより直接実現するか、ハードウェアによって実行されるソフトウェアモジュールにより実現するか、それらの結合によって実現することができる。ソフトウェアモジュールは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、着脱型ディスク、ＣＤ‐ＲＯＭ、又は本発明の属する技術分野において周知となっている任意の形態のコンピュータ読み取り可能な記録媒体に常に存在することもできる。
【0111】
以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態に実施され得るということが理解できるはずである。従って、以上で述べた実施例はあらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11a】
【図11b】
【図12a】
【図12b】
【図13】
【国際調査報告】