知財求人 - 知財ポータルサイト「IP Force」
特表2022-545868選好度決定方法及びそれを利用した選好度決定用デバイス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-01
(54)【発明の名称】選好度決定方法及びそれを利用した選好度決定用デバイス
(51)【国際特許分類】
H04N 21/442 20110101AFI20221025BHJP
【ＦＩ】
H04N21/442
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022508802
(86)(22)【出願日】2020-04-16
(85)【翻訳文提出日】2022-03-10
(86)【国際出願番号】 KR2020005071
(87)【国際公開番号】W WO2021040181
(87)【国際公開日】2021-03-04
(31)【優先権主張番号】10-2019-0106883
(32)【優先日】2019-08-29
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】519025068
【氏名又は名称】ルーシッド ラブス インコーポレイテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】リー、ホン グ
(72)【発明者】
【氏名】リー、ソン サブ
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164FA25
5C164UA04S
5C164UA45S
5C164UB41P
5C164UD44S
5C164YA12
(57)【要約】
本発明は、プロセッサにより具現される選好度決定方法であって、映像コンテンツをユーザに提供するステップ、映像コンテンツが提供される間に測定された一連の視線位置データまたは視線速度データを含む視線データ及び脳波データを受信するステップ、視線データに基づいてコンテンツに対するユーザの関心領域を決定するステップ、視線データに基づいて、視線跳躍時点（ｓａｃｃａｄｅ ｏｎｓｅｔ ｔｉｍｅ）を決定するステップ、脳波データに基づいて、視線跳躍時点を含む期間の間の脳波データを抽出するステップ、脳波データに基づいて関心領域に対するユーザの選好如何を決定するステップを含む選好度決定方法及びそれを利用した選好度決定用デバイスを提供する。
【特許請求の範囲】
【請求項1】
プロセッサにより具現される選好度決定方法であって、映像コンテンツをユーザに提供するステップ；
前記映像コンテンツが提供される間に測定された一連の視線位置データまたは視線速度データを含む視線データ及び脳波データを受信するステップ；
前記視線データに基づいて前記映像コンテンツに対する前記ユーザの関心領域を決定するステップ；
前記視線データに基づいて、視線跳躍時点（ｓａｃｃａｄｅ ｏｎｓｅｔ ｔｉｍｅ）を決定するステップ；
前記脳波データに基づいて、前記視線跳躍時点を含む期間の間の脳波データを抽出するステップ；及び
前記期間の間の脳波データに基づいて、前記関心領域に対する前記ユーザの選好如何を決定するステップを含む、選好度決定方法。
【請求項2】
前記視線データは、前記視線位置データ及び前記視線速度データを含み、前記視線跳躍時点を決定するステップは、
前記視線位置データを、予め決定された時間間隔を有する複数の単位区間に分割するステップ、及び
前記複数の単位区間それぞれでの視線速度データに基づいて、前記複数の単位区間のうち前記ユーザの視線が急変する前記視線跳躍時点を含む視線跳躍区間を決定するステップをさらに含み、
前記脳波データを抽出するステップは、
前記視線跳躍区間に該当する脳波データを抽出するステップを含む、請求項１に記載の選好度決定方法。
【請求項3】
前記視線跳躍区間を決定するステップは、前記複数の単位区間それぞれでの前記視線速度データに基づいて、前記複数の単位区間それぞれを前記視線跳躍区間、または視線固定（ｆｉｘａｔｉｏｎ）区間に分類するステップ、及び
分類された複数の単位区間のうち、前記視線跳躍区間を選別するステップをさらに含む、請求項２に記載の選好度決定方法。
【請求項4】
前記視線跳躍区間、または視線固定区間に分類するステップは、前記視線速度データに基づいて前記複数の単位区間のうち少なくとも一つの区間に重み付けを付与するステップ、及び
前記重み付けに基づいて、前記複数の単位区間それぞれを前記視線跳躍区間、または視線固定区間に分類するステップをさらに含む、請求項３に記載の選好度決定方法。
【請求項5】
前記重み付けを付与するステップは、前記視線速度データに基づいて、前記複数の単位区間を第１グループ、または前記第１グループに比して視線速度の低い第２グループに分類するステップ；
前記複数の単位区間のうち、前記第１グループに属した区間の個数に対する逆数を前記第１グループに対する重み付けに、０を前記第２グループに対する重み付けに決定するステップ、及び
前記第１グループ及び前記第２グループそれぞれに対して決定された重み付けを、それぞれ付与するステップを含み、
前記重み付けに基づいて、前記複数の単位区間それぞれを前記視線跳躍区間、または視線固定区間に分類するステップは、
前記第１グループに対する重み付けに基づいて第１グループに分類された複数の単位区間のうち跳躍区間を決定するステップ、及び
第２グループに分類された複数の単位区間に対する視線速度データに基づいて視線固定区間を決定するステップを含む、請求項４に記載の選好度決定方法。
【請求項6】
前記視線跳躍時点を含む期間の間の脳波データを抽出するステップ以後に遂行される、０．５ｈｚハイフィルタ（ｈｉｇｈ ｆｉｌｔｅｒ）、６０ｈｚストップフィルタ（ｓｔｏｐ ｆｉｌｔｅｒ）、１～１０ｈｚバンドパスフィルタ（ｂａｎｄ ｐａｓｓ ｆｉｌｔｅｒ）のうち少なくとも一つのフィルタに基づいて前記脳波データをフィルタリングするステップをさらに含む、請求項１から５のいずれか一項に記載の選好度決定方法。
【請求項7】
前記視線跳躍時点を含む期間の間の脳波データを抽出するステップは、前記視線跳躍時点を基準に、予め決定された時間の前及び後に該当する脳波データを抽出するステップを含む、請求項１から６のいずれか一項に記載の選好度決定方法。
【請求項8】
前記関心領域に対する前記ユーザの選好如何を決定するステップは、前記視線跳躍時点前の脳波データが前記視線跳躍時点の脳波データより減衰する場合、前記関心領域に対する選好があるものと決定するステップを含む、請求項７に記載の選好度決定方法。
【請求項9】
前記関心領域に対する前記ユーザの選好如何を決定するステップは、前記視線跳躍時点以後の脳波データが前記視線跳躍時点の脳波データより減衰する場合、前記関心領域に対する選好があるものと決定するステップを含む、請求項７に記載の選好度決定方法。
【請求項10】
前記視線データ、及び脳波データを受信するステップ以後に遂行される、前記視線データ、及び前記脳波データを補正するステップをさらに含む、請求項１から９のいずれか一項に記載の選好度決定方法。
【請求項11】
前記関心領域に対する前記ユーザの選好如何を決定するステップは、前記視線跳躍時点での脳波データに基づいて、前記ユーザの選好度を予測するように構成された予測モデルを利用して、前記関心領域に対する前記ユーザの選好如何を決定するステップをさらに含む、請求項１から１０のいずれか一項に記載の選好度決定方法。
【請求項12】
前記映像コンテンツ内に、前記関心領域を前記選好如何によって異なるように表示して提供するステップをさらに含む、請求項１から１１のいずれか一項に記載の選好度決定方法。
【請求項13】
映像コンテンツをユーザに提供するように構成された出力部；前記映像コンテンツが提供される間に測定された一連の視線位置データまたは視線速度データを含む視線データ、及び脳波データを受信するように構成された受信部、及び
前記受信部及び前記出力部と通信するように構成されたプロセッサを含み、
前記プロセッサは、
前記視線データに基づいて前記映像コンテンツに対する前記ユーザの関心領域を決定し、前記視線データに基づいて、視線跳躍時点（ｓａｃｃａｄｅ ｏｎｓｅｔ ｔｉｍｅ）を決定し、前記脳波データに基づいて、前記視線跳躍時点を含む期間の間の脳波データを抽出し、前記期間の間の脳波データに基づいて、前記関心領域に対する前記ユーザの選好如何を決定するように構成された、選好度決定用デバイス。
【請求項14】
前記視線データは、前記視線位置データ及び前記視線速度データを含み、前記プロセッサは、
前記視線位置データを、予め決定された時間間隔を有する複数の単位区間に分割し、
前記複数の単位区間それぞれでの視線速度データに基づいて、前記複数の単位区間のうち前記ユーザの視線が急変する前記視線跳躍時点を含む視線跳躍区間を決定し、前記視線跳躍区間に該当する脳波データを抽出するようにさらに構成された、請求項１３に記載の選好度決定用デバイス。
【請求項15】
前記プロセッサは、前記複数の単位区間それぞれでの前記視線速度データに基づいて、前記複数の単位区間それぞれを前記視線跳躍区間、または視線固定（ｆｉｘａｔｉｏｎ）区間に分類し、分類された複数の単位区間のうち、前記視線跳躍区間を選別するようにさらに構成された、請求項１４に記載の選好度決定用デバイス。
【請求項16】
前記プロセッサは、前記視線速度データに基づいて前記複数の単位区間のうち少なくとも一つの区間に重み付けを付与し、前記重み付けに基づいて、前記複数の単位区間それぞれを前記視線跳躍区間、または視線固定区間に分類するようにさらに構成された、請求項１５に記載の選好度決定用デバイス。
【請求項17】
前記プロセッサは、前記視線速度データに基づいて、前記複数の単位区間を第１グループ、または前記第１グループに比して視線速度の低い第２グループに分類し、前記複数の単位区間のうち、前記第１グループに属した区間の個数に対する逆数を前記第１グループに対する重み付けに、０を前記第２グループに対する重み付けに決定し、前記第１グループ及び前記第２グループそれぞれに対して決定された重み付けを、それぞれ付与し、前記第１グループに対する重み付けに基づいて第１グループに分類された複数の単位区間のうち跳躍区間を決定し、第２グループに分類された複数の単位区間に対する視線速度データに基づいて視線固定区間を決定するようにさらに構成された、請求項１６に記載の選好度決定用デバイス。
【請求項18】
０．５ｈｚハイフィルタ（ｈｉｇｈ ｆｉｌｔｅｒ）、６０ｈｚストップフィルタ（ｓｔｏｐ ｆｉｌｔｅｒ）、１～１０ｈｚバンドパスフィルタ（ｂａｎｄ ｐａｓｓ ｆｉｌｔｅｒ）のうち少なくとも一つのフィルタに基づいて前記脳波データをフィルタリングするように構成されたフィルタ部をさらに含む、請求項１３から１７のいずれか一項に記載の選好度決定用デバイス。
【請求項19】
前記プロセッサは、前記視線跳躍時点を基準に、予め決定された時間の前及び後に該当する脳波データを抽出するように構成された、請求項１３から１８のいずれか一項に記載の選好度決定用デバイス。
【請求項20】
前記プロセッサは、前記視線跳躍時点前の脳波データが前記視線跳躍時点の脳波データより減衰する場合、前記関心領域に対する選好があるものと決定するように構成された、請求項１９に記載の選好度決定用デバイス。
【請求項21】
前記プロセッサは、前記視線跳躍時点以後の脳波データが前記視線跳躍時点の脳波データより減衰する場合、前記関心領域に対する選好があるものと決定するように構成された、請求項１９に記載の選好度決定用デバイス。
【請求項22】
前記プロセッサは、前記視線データ、及び前記脳波データを補正するようにさらに構成された、請求項１３から２１のいずれか一項に記載の選好度決定用デバイス。
【請求項23】
前記プロセッサは、前記視線跳躍時点での脳波データに基づいて、前記ユーザの選好度を予測するように構成された予測モデルを利用して、前記関心領域に対する前記ユーザの選好如何を決定するようにさらに構成された、請求項１３から２２のいずれか一項に記載の選好度決定用デバイス。
【請求項24】
前記出力部は、前記映像コンテンツ内に、前記関心領域を前記選好如何によって異なるように表示して提供するようにさらに構成された、請求項１３から２３のいずれか一項に記載の選好度決定用デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、選好度決定方法及びそれを利用した選好度決定用デバイスに関し、より具体的には、生体信号データに基づいて映像コンテンツに対するユーザの選好如何を決定して提供する、選好度決定方法及びそれを利用した選好度決定用デバイスに関する。
【背景技術】
【0002】
ニューロマーケティングは、情報を伝達する神経であるニューロンとマーケティングの合成語であり、消費者の無意識から出る感情、購買行為を脳神経科学を通して分析した後、マーケティングに適用したものを意味し得る。このようなニューロマーケティングは、消費者の心理と感性的反応を測定してマーケティング効果を測定するために多様に使用されている。例えば、ニューロマーケティングは、製品デザイン、建築、スポーツ、広告マーケティング等、多様な学問で神経科学との融合学問として研究されており、ニューロマーケティングを通して、マーケティングに影響を及ぼす製品、広告、ブランドのような研究対象を定量的に測定して消費者の購買意思決定に及ぼす影響の程度を検討することができる。
【0003】
一方、ニューロマーケティングは、自律神経系反応のようなヒトの生体データを測定し、分析して、その数値を多様な統計技法で示し、マーケティングに影響を及ぼすヒトの行動を分析することができる。このとき、生体データの測定としては、機能的磁気共鳴映像（ｆＭＲＩ、Ｆｕｎｃｔｉｏｎａｌ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）撮影、脳波（ＥＥＧ、ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ）測定、視線追跡（Ｅｙｅ Ｔｒａｃｋｉｎｇ）等があり得る。
【0004】
従来のニューロマーケティングでは、機能的磁気共鳴映像撮影、脳波測定、視線推定のうち一つの単一の生体データを適用して消費者の心理と感性的反応を分析しようとした。このような単一の生体データに基づいた従来のニューロマーケティングは、生体データが個々人によって多様に現れ得、分析の信頼度が低いことがある。特に、視線追跡の場合、視線が止まる程度に基づいて消費者の関心（ａｔｔｅｎｔｉｏｎ）を確認することができる。しかし、消費者の凝視が、実際に視線だけ凝視するのか、選好度の高い状態での凝視であるのか、選好度の低い状態での凝視であるのか等の具体的な分析は難しいことがある。さらに、従来のニューロマーケティングで生体信号データの分析に高価な分析装備及び専門人材が要求され得、煩わしさが伴われ得る。
【0005】
そこで、成功的なニューロマーケティングのために、消費者の選好または非選好のような心理状態をさらに正確で、具体的に分析できる新たなシステムに対する開発が持続的に要求されている実情である。
発明の背景になる技術は、本発明に対する理解をより容易にするために作成された。発明の背景になる技術に記載の事項が先行技術として存在すると認めるものと理解されてはならない。
発明の背景になる技術は、本発明に対する理解をより容易にするために作成された。発明の背景になる技術に記載の事項が先行技術として存在すると認めるものと理解されてはならない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の発明者らは、消費心理と関連した関心度と関連して、選好度のある関心または選好度のない関心の区別に注目した。
より具体的に、消費者は、特定の製品に対して高い選好度を持っていることで関心を持つことがあり、または高い不好きを持っていて該当製品に対する消費を避けるために関心を持つこともある。
より具体的に、消費者は、特定の製品に対して高い選好度を持っていることで関心を持つことがあり、または高い不好きを持っていて該当製品に対する消費を避けるために関心を持つこともある。
【0007】
そこで、本発明の発明者らは、正確なニューロマーケティング分析結果を提供するにあたって、選好度のある関心または選好度のない関心であるのかを区別することに対する重要性を認知することができた。
【0008】
一方、本発明の発明者らは、選好度のある関心または選好度のない関心であるのかを区別するにあたって、ユーザの関心に対応する視線データを含む生体信号データを提供し、多様なコンテンツを提供できるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）デバイスにさらに注目した。
このとき、ＨＭＤデバイスは、ユーザの頭に着用可能な構造に形成され、ユーザが実際と類似した空間的、時間的体験が可能であり得るように、ユーザに仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）、増強現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）および／または混合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、ＭＲ）で映像を提供するディスプレイデバイスであってよい。このようなＨＭＤデバイスは、ユーザの目の部位に着用可能であるようにゴーグル（Ｇｏｇｇｌｅ）形態に形成される本体と、本体に連結され、本体をユーザの頭に固定させ得るようにバンド形態に形成される着用部で構成され得る。さらに、ＨＭＤデバイスは、ユーザの視線、脳波のような生体信号データを獲得するセンサが備えられ得、仮想現実、増強現実または／および混合現実で選好度検出が要求されるコンテンツを出力するコンテンツ出力部をさらに含むことができる。
このとき、ＨＭＤデバイスは、ユーザの頭に着用可能な構造に形成され、ユーザが実際と類似した空間的、時間的体験が可能であり得るように、ユーザに仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）、増強現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）および／または混合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、ＭＲ）で映像を提供するディスプレイデバイスであってよい。このようなＨＭＤデバイスは、ユーザの目の部位に着用可能であるようにゴーグル（Ｇｏｇｇｌｅ）形態に形成される本体と、本体に連結され、本体をユーザの頭に固定させ得るようにバンド形態に形成される着用部で構成され得る。さらに、ＨＭＤデバイスは、ユーザの視線、脳波のような生体信号データを獲得するセンサが備えられ得、仮想現実、増強現実または／および混合現実で選好度検出が要求されるコンテンツを出力するコンテンツ出力部をさらに含むことができる。
【0009】
そこで、本発明の発明者らは、ＨＭＤデバイスを通して提供されたコンテンツによるユーザの生体信号データ、より具体的に、視線データに基づいてユーザの凝視に対応する関心領域を抽出し、これに対する選好如何を決定できることを認知することができた。
【0010】
一方、本発明の発明者らは、関心領域に対する選好度の決定において視線データ及び脳波データの生体信号データが相関関係にあるということに注目した。特に、本発明の発明者らは、選好または非－選好関心が区別され得る特定の時点に注目した。
【0011】
より具体的に、本発明の発明者らは、視線が移動が急激に移動する視線跳躍（ｓａｃｃａｄｅ）時点での脳波データが選好度のある関心または選好度のない関心の区別において重要な特徴値を有することを見出すことができた。
【0012】
結果的に、本発明の発明者らは、特定の映像コンテンツが提供される間に獲得された視線データに基づいて視線跳躍時点を決定し、視線跳躍時点を含む期間の間の脳波データを抽出する新たな選好度決定システムを開発するに至った。
【0013】
本発明の発明者らは、コンテンツに対する選好如何によるユーザの関心を区別して提供するように構成された前記システムを提供でき、従来のニューロマーケティングの限界を克服できることを期待することができた。
【0014】
特に、本発明の発明者らは、前記システムを提供することで、特定コンテンツに対するユーザの生体信号データに基づいてユーザの消費感情をより敏感で正確に類推できることを期待することができた。
【0015】
そこで、本発明が解決しようとする課題は、映像コンテンツの提供によるユーザの視線データ及び脳波データを受信し、視線データに基づいて関心領域及び視線跳躍時点を決定し、視線跳躍時点を含む期間の間の脳波データを抽出し、それに基づいて映像コンテンツの関心領域に対する選好如何を決定するように構成された、選好度決定方法及びそれを利用したデバイスを提供することである。
【0016】
本発明の課題は、以上において言及した課題に制限されず、言及されていないまた他の課題は、下記の記載から当業者に明確に理解され得るだろう。
【課題を解決するための手段】
【0017】
前述したような課題を解決するために、本発明の実施例に係る選好度決定方法を提供する。本発明の実施例に係るプロセッサによって遂行されるユーザの生体信号データを利用した選好度決定方法は、映像コンテンツをユーザに提供するステップ、映像コンテンツが提供される間に測定された一連の視線位置データまたは視線速度データを含む視線データ及び脳波データを受信するステップ、視線データに基づいてコンテンツに対するユーザの関心領域を決定するステップ、視線データに基づいて、視線跳躍時点（ｓａｃｃａｄｅ ｏｎｓｅｔ ｔｉｍｅ）を決定するステップ、脳波データに基づいて、視線跳躍時点を含む期間の間の脳波データを抽出するステップ、期間の間の脳波データに基づいて、関心領域に対するユーザの選好如何を決定するステップを含む。
【0018】
本発明の特徴によれば、視線跳躍時点を決定するステップは、視線位置データを、予め決定された時間間隔を有する複数の単位区間に分割するステップ、及び複数の単位区間それぞれでの視線速度データに基づいて、複数の単位区間のうちユーザの視線が急変する視線跳躍時点を含む視線跳躍区間を決定するステップをさらに含むことができる。さらに、脳波データを抽出するステップは、視線跳躍区間に該当する脳波データを抽出するステップを含むことができる。
本発明の他の特徴によれば、視線跳躍区間を決定するステップは、複数の単位区間それぞれでの視線速度データに基づいて、複数の単位区間それぞれを視線跳躍区間、または視線固定（ｆｉｘａｔｉｏｎ）区間に分類するステップ、及び分類された複数の単位区間のうち、視線跳躍区間を選別するステップをさらに含むことができる。
本発明の他の特徴によれば、視線跳躍区間を決定するステップは、複数の単位区間それぞれでの視線速度データに基づいて、複数の単位区間それぞれを視線跳躍区間、または視線固定（ｆｉｘａｔｉｏｎ）区間に分類するステップ、及び分類された複数の単位区間のうち、視線跳躍区間を選別するステップをさらに含むことができる。
【0019】
本発明のまた他の特徴によれば、視線跳躍区間、または視線固定区間に分類するステップは、視線速度データに基づいて複数の単位区間のうち少なくとも一つの区間に重み付けを付与するステップ、及び重み付けに基づいて、複数の単位区間それぞれを視線跳躍区間、または視線固定区間に分類するステップをさらに含むことができる。
【0020】
本発明のまた他の特徴によれば、重み付けを付与するステップは、視線速度データに基づいて、複数の単位区間を第１グループ、または第１グループに比して視線速度の低い第２グループに分類するステップ、複数の単位区間のうち、第１グループに属した区間の個数に対する逆数を第１グループに対する重み付けに、０を第２グループに対する重み付けに決定するステップ、及び、第１グループ及び第２グループそれぞれに対して決定された重み付けを、それぞれ付与するステップを含むことができる。また、重み付けに基づいて、複数の単位区間それぞれを視線跳躍区間、または視線固定区間に分類するステップは、第１グループに対する重み付けに基づいて第１グループに分類された複数の単位区間のうち跳躍区間を決定するステップ、及び第２グループに分類された複数の単位区間に対する視線速度データに基づいて視線固定区間を決定するステップを含むことができる。
【0021】
本発明のまた他の特徴によれば、本発明の方法は、視線跳躍時点を含む期間の間の脳波データを抽出するステップ以後に遂行される、０．５ｈｚハイフィルタ（ｈｉｇｈ ｆｉｌｔｅｒ）、６０ｈｚストップフィルタ（ｓｔｏｐ ｆｉｌｔｅｒ）、１～１０ｈｚバンドパスフィルタ（ｂａｎｄ ｐａｓｓ ｆｉｌｔｅｒ）のうち少なくとも一つのフィルタに基づいて脳波データをフィルタリングするステップをさらに含むことができる。
【0022】
本発明のまた他の特徴によれば、視線跳躍時点を含む期間の間の脳波データを抽出するステップは、視線跳躍時点を基準に、予め決定された時間前、及び後に該当する脳波データを抽出するステップを含むことができる。
本発明のまた他の特徴によれば、関心領域に対するユーザの選好如何を決定するステップは、跳躍時点前の脳波データが跳躍時点の脳波データより減衰する場合、関心領域に対する選好があるものと決定するステップを含むことができる。
本発明のまた他の特徴によれば、関心領域に対するユーザの選好如何を決定するステップは、跳躍時点前の脳波データが跳躍時点の脳波データより減衰する場合、関心領域に対する選好があるものと決定するステップを含むことができる。
【0023】
本発明のまた他の特徴によれば、関心領域に対するユーザの選好如何を決定するステップは、跳躍時点以後の脳波データが跳躍時点の脳波データより減衰する場合、関心領域に対する選好があるものと決定するステップを含むことができる。
【0024】
本発明のまた他の特徴によれば、本発明の方法は、視線データ、及び脳波データを受信するステップ以後に遂行される、視線データ、及び脳波データを補正するステップをさらに含むことができる。
【0025】
本発明のまた他の特徴によれば、関心領域に対するユーザの選好如何を決定するステップは、視線跳躍時点での脳波データに基づいて、ユーザの選好度を予測するように構成された予測モデルを利用して、関心領域に対するユーザの選好如何を決定するステップをさらに含むことができる。
【0026】
本発明のまた他の特徴によれば、本発明の方法は、映像コンテンツ内に、関心領域を選好如何によって異なるように表示して提供するステップをさらに含むことができる。
【0027】
前述したような課題を解決するために、本発明の他の実施例に係る選好度決定用デバイスを提供する。本発明のデバイスは、映像コンテンツをユーザに提供するように構成された出力部、映像コンテンツが提供される間に測定された一連の視線位置データまたは視線速度データを含む視線データ、及び脳波データを受信するように構成された受信部、及び、受信部及び出力部と通信するように構成されたプロセッサを含む。このとき、プロセッサは、視線データに基づいてコンテンツに対するユーザの関心領域を決定し、視線データに基づいて、視線跳躍時点（ｓａｃｃａｄｅ ｏｎｓｅｔ ｔｉｍｅ）を決定し、脳波データに基づいて、視線跳躍時点を含む期間の間の脳波データを抽出し、期間の間の脳波データに基づいて、関心領域に対するユーザの選好如何を決定するように構成される。
【0028】
本発明の特徴によれば、プロセッサは、視線位置データを、予め決定された時間間隔を有する複数の単位区間に分割し、複数の単位区間それぞれでの視線速度データに基づいて、複数の単位区間のうちユーザの視線が急変する視線跳躍時点を含む視線跳躍区間を決定し、視線跳躍区間に該当する脳波データを抽出するようにさらに構成され得る。
【0029】
本発明の他の特徴によれば、プロセッサは、複数の単位区間それぞれでの視線速度データに基づいて、複数の単位区間それぞれを視線跳躍区間、または視線固定（ｆｉｘａｔｉｏｎ）区間に分類し、分類された複数の単位区間のうち、視線跳躍区間を選別するようにさらに構成され得る。
本発明のまた他の特徴によれば、プロセッサは、視線速度データに基づいて複数の単位区間のうち少なくとも一つの区間に重み付けを付与し、重み付けに基づいて、複数の単位区間それぞれを視線跳躍区間、または視線固定区間に分類するようにさらに構成され得る。
本発明のまた他の特徴によれば、プロセッサは、視線速度データに基づいて複数の単位区間のうち少なくとも一つの区間に重み付けを付与し、重み付けに基づいて、複数の単位区間それぞれを視線跳躍区間、または視線固定区間に分類するようにさらに構成され得る。
【0030】
本発明のまた他の特徴によれば、プロセッサは、視線速度データに基づいて、複数の単位区間を第１グループ、または第１グループに比して視線速度の低い第２グループに分類し、複数の単位区間のうち、第１グループに属した区間の個数に対する逆数を第１グループに対する重み付けに、０を第２グループに対する重み付けに決定し、第１グループ及び第２グループそれぞれに対して決定された重み付けをそれぞれ付与し、第１グループに対する重み付けに基づいて第１グループに分類された複数の単位区間のうち跳躍区間を決定し、第２グループに分類された複数の単位区間に対する視線速度データに基づいて視線固定区間を決定するようにさらに構成され得る。
【0031】
本発明のまた他の特徴によれば、デバイスは、０．５ｈｚハイフィルタ（ｈｉｇｈ ｆｉｌｔｅｒ）、６０ｈｚストップフィルタ（ｓｔｏｐ ｆｉｌｔｅｒ）、１～１０ｈｚバンドパスフィルタ（ｂａｎｄ ｐａｓｓ ｆｉｌｔｅｒ）のうち少なくとも一つのフィルタに基づいて脳波データをフィルタリングするように構成されたフィルタ部をさらに含むことができる。
本発明のまた他の特徴によれば、プロセッサは、視線跳躍時点を基準に、予め決定された時間前、及び後に該当する脳波データを抽出するように構成され得る。
本発明のまた他の特徴によれば、プロセッサは、視線跳躍時点を基準に、予め決定された時間前、及び後に該当する脳波データを抽出するように構成され得る。
【0032】
本発明のまた他の特徴によれば、プロセッサは、跳躍時点前の脳波データが跳躍時点の脳波データより減衰する場合、関心領域に対する選好があるものと決定するように構成され得る。
【0033】
本発明のまた他の特徴によれば、プロセッサは、跳躍時点以後の脳波データが跳躍時点の脳波データより減衰する場合、関心領域に対する選好があるものと決定するように構成され得る。
【0034】
本発明のまた他の特徴によれば、プロセッサは、視線データ、及び脳波データを補正するようにさらに構成され得る。
【0035】
本発明のまた他の特徴によれば、プロセッサは、視線跳躍時点での脳波データに基づいて、ユーザの選好度を予測するように構成された予測モデルを利用して、関心領域に対するユーザの選好如何を決定するようにさらに構成され得る。
【0036】
本発明のまた他の特徴によれば、出力部は、映像コンテンツ内に、関心領域を選好如何によって異なるように表示して提供するようにさらに構成され得る。
その他の実施例の具体的な事項は、詳細な説明及び図面に含まれている。
その他の実施例の具体的な事項は、詳細な説明及び図面に含まれている。
【発明の効果】
【0037】
本発明は、映像コンテンツが提供される間に獲得された視線データに基づいて視線跳躍時点を決定し、視線跳躍時点での脳波データを抽出する新たな選好度決定システムを提供することで、消費心理と関連した消費者の関心度を具体的に分類して提供できる効果がある。
【0038】
より具体的に、本発明は、消費者が特定の製品に対して高い選好度を持っている関心、または高い不好きを持っていて該当製品に対する消費を避けるための関心を区別して提供できる効果がある。
【0039】
特に、本発明は、特定コンテンツに対するユーザの視線データ及び脳波データのような生体信号データに基づいてユーザの消費感情をより敏感で正確に類推できる。そこで、本発明は、正確なニューロマーケティング分析結果を提供でき、従来のニューロマーケティングの限界を克服することができる。
【0040】
さらに、本発明は、ＨＭＤデバイスを通して獲得可能な生体信号データを利用することで、高価な分析装備及び専門人材が要求されず、場所に関係なくユーザに対する選好如何を決定できる効果がある。
【0041】
本発明に係る効果は、以上において例示された内容により制限されず、さらに多様な効果が本発明内に含まれている。
【図面の簡単な説明】
【0042】
【図1a】本発明の実施例に係る生体信号データを利用した選好度決定システムを説明するための概略図である。
【図1b】本発明の実施例に係る選好度決定用デバイスを説明するための概略図である。
【図2】本発明の実施例に係る選好度決定方法によって、ユーザの生体信号データを基盤に選好如何を決定する方法を説明するための概略的なフローチャートである。
【図3a】本発明の一実施例に係る選好度決定方法によって、映像コンテンツ提供により生成されたユーザの視線データを例示的に示したものである。
【図3b】本発明の一実施例に係る選好度決定方法によって、ユーザの視線が急激に変化する視線跳躍時点を決定するステップを例示的に示したものである。
【図3c】本発明の一実施例に係る選好度決定方法によって、ユーザの視線が急激に変化する視線跳躍時点を決定するステップを例示的に示したものである。
【図3d】本発明の一実施例に係る選好度決定方法によって、ユーザの選好如何を決定するステップを例示的に示したものである。
【図4a】本発明の一実施例に係る選好度決定方法によって、ＨＭＤデバイスを通した映像コンテンツの提供によるユーザの関心領域及び関心領域に対して決定された選好如何を例示的に示したものである。
【図4b】本発明の一実施例に係る選好度決定方法によって、ＨＭＤデバイスを通した映像コンテンツの提供によるユーザの関心領域及び関心領域に対して決定された選好如何を例示的に示したものである。
【図4c】本発明の一実施例に係る選好度決定方法によって、ＨＭＤデバイスを通した映像コンテンツの提供によるユーザの関心領域及び関心領域に対して決定された選好如何を例示的に示したものである。
【図4d】本発明の一実施例に係る選好度決定方法によって、ＨＭＤデバイスを通した映像コンテンツの提供によるユーザの関心領域及び関心領域に対して決定された選好如何を例示的に示したものである。
【図4e】本発明の一実施例に係る選好度決定方法によって、ＨＭＤデバイスを通した映像コンテンツの提供によるユーザの関心領域及び関心領域に対して決定された選好如何を例示的に示したものである。
【発明を実施するための形態】
【0043】
本発明の利点及び特徴、そして、それらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すると、明確になるだろう。しかし、本発明は、以下において開示される実施例に限定されるものではなく、互いに異なる多様な形態に具現され、単に、本実施例は、本発明の開示が完全なものとなるようにし、本発明の属する技術の分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇により定義されるだけである。
【0044】
第１、第２等が多様な構成要素を述べるために使用されるが、これらの構成要素は、これらの用語により制限されないことはもちろんである。これらの用語は、単に一つの構成要素を他の構成要素と区別するために使用するものである。従って、以下において言及される第１構成要素は、本発明の技術的思想内で第２構成要素であってもよいことはもちろんである。
【0045】
明細書全体にわたって、同じ参照符号は、同じ構成要素を指す。
【0046】
本発明の様々な実施例のそれぞれの特徴は、部分的または全体的に互いに結合または組み合わせ可能であり、当業者が十分に理解できるように技術的に多様な連動及び駆動が可能であり、各実施例が互いに対して独立して実施可能であってもよく、関連関係で共に実施可能であってもよい。
【0047】
本発明において、選好度決定システムは制限されず、ユーザの視線を獲得し、ユーザの脳波等のような生体信号データを獲得するように構成された全てのデバイスを含むことができる。例えば、選好度決定システムは、ＨＭＤデバイスだけではなく、ヘッドセット、スマートリング、スマートウォッチ、イヤセット、イヤホン等のようにユーザの身体の一部に接触／着用され、ユーザの生体信号データを獲得するセンサが含まれたデバイスと、仮想現実、増強現実または／および混合現実に関連した選好度検出が要求される映像コンテンツを出力するコンテンツ出力デバイスと、これらを管理する電子デバイスを含むことができる。例えば、ＨＭＤデバイスが出力部を備える場合、選好度決定システムは、ＨＭＤデバイス及び電子デバイスを含むことができる。ここで、生体信号データは、ユーザの視線、脳波、脈拍、血圧等、ユーザの意識的および／または無意識的（例えば、呼吸、心臓の拍動、新陳代謝等）行動によってユーザの身体から発生する多様な信号を示すことができる。
【0048】
以下、添付の図面を参照して、本発明の多様な実施例を詳細に説明する。
【0049】
【0050】
まず、図１ａを参照すると、選好度決定システム１０００は、選好度検出が要求される映像コンテンツの提供によるユーザの脳波及び視線データのうち少なくとも一つを含む生体信号データに基づいて、ユーザの関心領域を抽出し、関心領域に対する選好度を分類するように構成されたシステムであってよい。このとき、選好度決定システム１０００は、生体信号データに基づいてユーザの選好如何を決定する選好度決定用デバイス１００と、生体信号データを獲得するためのＨＭＤデバイス２００で構成され得る。
【0051】
このとき、選好度決定用デバイス１００は、ＨＭＤデバイス２００と通信可能であるように連結され、ＨＭＤデバイス２００に選好度検出が要求される映像コンテンツを提供するように構成され得る。さらに、選好度決定用デバイス１００は、ＨＭＤデバイス２００を通して獲得された生体信号データと選好度検出が要求される映像コンテンツに選好度を決定するデバイスであって、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートパソコン、ワークステーション（ｗｏｒｋｓｔａｔｉｏｎ）、スマートＴＶ等を含むことができる。
【0052】
より具体的に、図１ｂを共に参照すると、選好度決定用デバイス１００は、受信部１１０、入力部１２０、出力部１３０、格納部１４０及びプロセッサ１５０を含むことができる。
【0053】
このとき、受信部１１０選好度検出が要求される映像コンテンツ提供によるユーザの生体信号データを受信するように構成され得る。多様な実施例において、受信部１１０は、選好度検出が要求される映像コンテンツに対する視線データ、さらに映像コンテンツが提供される期間の間の脳波データを受信するようにさらに構成され得る。
【0054】
入力部１２０は、ユーザから選好度検出用デバイス１００の設定の入力を受けることができる。選好度検出が要求される映像コンテンツ提供によるユーザの凝視の入力を受けることもできる。一方、入力部１２０は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）の入力部であってもよいが、これに制限されるものではない。
【0055】
出力部１３０は、選好度検出が要求される映像コンテンツに対するユーザの関心度及び選好度の確認のためのインターフェース画面を提供するように構成され得る。ここで、インターフェース画面は、選好度検出が要求される映像コンテンツを示す表示空間を含むことができる。また、出力部１３０は、後述するプロセッサ１５０により決定された映像コンテンツ内の関心領域、及び関心領域に対する選好如何を表示して提供するように構成され得る。
【0056】
一方、選好度検出が要求される映像コンテンツの提供は、前述したものに制限されず、後述するＨＭＤデバイス２００の出力部を通しても提供され得る。
格納部１４０は、受信部１１０に受信された多様な生体信号データ、入力部１２０を通して入力されたユーザの設定及び出力部１３０を通して提供される選好度検出が要求される映像コンテンツを格納するように構成され得る。さらに、格納部１４０は、後述するプロセッサ１５０により決定された映像コンテンツ内の関心領域、及び関心領域に対する選好如何等を格納するようにさらに構成され得る。しかし、これに制限されず、格納部１４０は、プロセッサ１５０が映像コンテンツに対する関心度及び選好度を決定する過程で生成される全てのデータを格納するように構成され得る。
格納部１４０は、受信部１１０に受信された多様な生体信号データ、入力部１２０を通して入力されたユーザの設定及び出力部１３０を通して提供される選好度検出が要求される映像コンテンツを格納するように構成され得る。さらに、格納部１４０は、後述するプロセッサ１５０により決定された映像コンテンツ内の関心領域、及び関心領域に対する選好如何等を格納するようにさらに構成され得る。しかし、これに制限されず、格納部１４０は、プロセッサ１５０が映像コンテンツに対する関心度及び選好度を決定する過程で生成される全てのデータを格納するように構成され得る。
【0057】
プロセッサ１５０は、ＨＭＤデバイス２００を通して獲得された視線データ及び脳波データを基盤に、映像コンテンツ内のユーザの関心領域と視線跳躍時点を決定し、視線跳躍時点の脳波データを抽出して決定された関心領域に対する選好如何を決定するように構成され得る。
【0058】
このとき、視線跳躍時点は、ユーザの視線が急変する時点であり、単一時点であってもよく、予め決定された水準以上に視線速度が現れる一連の区間であってもよい。
【0059】
一方、プロセッサ１５０は、視線位置データを、予め決定された時間間隔を有する複数の単位区間に分割し、複数の単位区間それぞれでの視線速度データに基づいて、複数の単位区間のうちユーザの視線が急変する視線跳躍時点を含む視線跳躍区間を決定し、視線跳躍区間に該当する脳波データを抽出するように構成され得る。
【0060】
また、プロセッサ１５０は、複数の単位区間それぞれでの視線速度データに基づいて、複数の単位区間それぞれを視線跳躍区間、または視線固定（ｆｉｘａｔｉｏｎ）区間に分類し、分類された複数の単位区間のうち、視線跳躍区間を選別するようにさらに構成され得る。
【0061】
多様な実施例において、プロセッサ１５０は、視線速度データに基づいて複数の単位区間のうち少なくとも一つの区間に重み付けを付与し、重み付けに基づいて、複数の単位区間それぞれを視線跳躍区間、または視線固定区間に分類するようにさらに構成され得る。
【0062】
一方、プロセッサ１５０は、視線跳躍時点を基準に、予め決定された時間前、及び後に該当する脳波データを抽出するように構成され得る。このとき、プロセッサ１５０は、跳躍時点前の脳波データが跳躍時点の脳波データより減衰する場合、関心領域に対する選好があるものと決定するように構成され得る。さらに、プロセッサ１５０は、跳躍時点後の脳波データが跳躍時点の脳波データより減衰する場合、関心領域に対する選好がないものと決定するように構成され得る。
【0063】
本発明の他の実施例において、プロセッサ１５０は、視線データ、及び脳波データを補正するようにさらに構成され得る。
【0064】
一方、本発明のまた他の実施例によれば、プロセッサ１５０は、視線跳躍時点での脳波データに基づいて、ユーザの選好度を予測するように構成された予測モデルを利用して、関心領域に対するユーザの選好如何を決定するようにさらに構成され得る。例えば、プロセッサ１５０は、ディープラーニングアルゴリズムに基づいて、脳波データ、視線データのような多様な生体特徴データからユーザの関心領域に対する選好如何を決定できる。このとき、ディープラーニングアルゴリズムは、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＤＣＮＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）、ＤＢＮ（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）のうち少なくとも一つであってよい。さらに、プロセッサ１５０は、分類モデルに基づいて、脳波データ、視線データのような多様な生体特徴データからユーザの関心領域に対する選好如何を分類できる。このとき、分類モデルは、ランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ）、ＧＮＢ（Ｇａｕｓｓｉａｎ ｎａｉｖｅ Ｂａｙｅｓ）、ＬＮＢ（ｌｏｃａｌｌｙ ｗｅｉｇｈｔｅｄ ｎａｉｖｅ Ｂａｙ）、及びＳＶＮ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）のうち少なくとも一つであってよい。しかし、前述したものに制限されず、プロセッサ１５０は、跳躍時点の脳波データに基づいて選好度を決定できる限り、より多様なアルゴリズムに基づくことができる。
【0065】
本発明のまた他の実施例によれば、選好度決定用デバイス１００は、０．５ｈｚハイフィルタ（ｈｉｇｈ ｆｉｌｔｅｒ）、６０ｈｚストップフィルタ（ｓｔｏｐ ｆｉｌｔｅｒ）、１～１０ｈｚバンドパスフィルタ（ｂａｎｄ ｐａｓｓ ｆｉｌｔｅｒ）のうち少なくとも一つのフィルタに基づいて脳波データをフィルタリングするように構成されたフィルタ部（図示しない）をさらに含むことができる。
【0066】
また図１ａを参照すると、ＨＭＤデバイス２００は、ユーザの頭に取り付けられ、ユーザが実際と類似した空間的、時間的体験が可能であるようにユーザに仮想現実のための映像コンテンツを提供すると同時に、ユーザの生体信号データを獲得して仮想体験を進行中のユーザの身体的、認知的、感情的変化を感知できる複合仮想体験デバイスであってよい。このとき、ＨＭＤデバイス２００を通して提供される映像コンテンツは、映画、アニメーション、広告、または広報映像等のような非－インタラクティブ（ｎｏｎ－ｉｎｔｅｒａｃｔｉｖｅ）映像及びゲーム、電子マニュアル、電子百科事典または広報映像等のようにユーザと相互活動的になされるインタラクティブ（ｉｎｔｅｒａｃｔｉｖｅ）映像を含むことができ、これに限定されない。ここで、映像は、３次元映像であってよく、ステレオスコピック（Ｓｔｅｒｅｏｓｃｏｐｉｃ）映像が含まれ得る。
【0067】
ＨＭＤデバイス２００は、ユーザの頭に着用可能な構造に形成され、多様な選好度検出が要求される映像コンテンツをＨＭＤデバイス２００の内部の出力部を通して処理する形態に具現され得る。
【0068】
ＨＭＤデバイス２００が出力部を備える場合、ユーザがＨＭＤデバイス２００を着用するとき、ユーザが映像コンテンツを確認できるように出力部の一面がユーザの顔に対向するように配置され得る。
【0069】
ＨＭＤデバイス２００の一側には、ユーザの脳波及び視線データを獲得する少なくとも一つのセンサ（図示しない）が形成され得る。少なくとも一つのセンサは、ユーザの脳波を測定する脳波センサおよび／またはユーザの凝視または視線を追跡する視線追跡センサを含むことができる。多様な実施例において、少なくとも一つのセンサは、ユーザの目または顔を撮影可能な位置またはユーザの皮膚に接触可能な位置に形成され、ユーザがＨＭＤデバイス２００を着用するとき、ユーザの目または顔を撮影し、撮影された映像を分析してユーザの視線データを獲得するか、ユーザの皮膚に接触してユーザの脳電図信号（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ、ＥＥＧ）、筋電図信号（ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ、ＥＭＧ）または心電図信号（ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ、ＥＣＧ）等のような脳波データを獲得できる。本明細書においては、ＨＭＤデバイス２００がユーザの脳波及び視線データを獲得する少なくとも一つのセンサを含むものと説明されるが、これに制限されず、ＨＭＤデバイス２００と別途のモジュールを通してユーザの脳波または視線データを獲得する少なくとも一つのセンサがＨＭＤハウジングに取り付けられる形式に具現されてもよい。ＨＭＤデバイス２００という表現は、このようなモジュールを含むか、モジュールそのものも想定するように意図される。
【0070】
ＨＭＤデバイス２００は、選好度決定用デバイス１００の要請によってユーザの生体信号データを獲得し、獲得された生体信号データを出力部または受信部を通して選好度決定用デバイス１００に伝達できる。
【0071】
このような選好度決定システム１０００により、映像コンテンツに対するユーザの関心度だけではなく、関心を持つ領域に対する選好如何が決定され得る。このような分析結果は、多様なニューロマーケティングに活用され得る。
【0072】
【0073】
図２は、本発明の実施例に係る選好度決定方法によって、ユーザの生体信号データを基盤に選好如何を決定する方法を説明するための概略的なフローチャートである。図３ａは、本発明の一実施例に係る選好度決定方法によって、映像コンテンツ提供により生成されたユーザの視線データを例示的に示したものである。図３ｂは、本発明の一実施例に係る選好度決定方法によって、ユーザの視線が急激に変化する視線跳躍時点を決定するステップを例示的に示したものである。図３ｃは、本発明の一実施例に係る選好度決定方法によって、ユーザの視線が急激に変化する視線跳躍時点を決定するステップを例示的に示したものである。図３ｄは、本発明の一実施例に係る選好度決定方法によって、ユーザの選好如何を決定するステップを例示的に示したものである。
【0074】
まず、本発明の一実施例に係る選好度決定方法によれば、映像コンテンツがユーザに提供される（Ｓ２１０）。その後、映像コンテンツが提供される間に測定された一連の視線位置データまたは視線速度データを含む視線データ及び脳波データが受信される（Ｓ２２０）。その後、視線データに基づいてコンテンツに対するユーザの関心領域が決定され（Ｓ２３０）、視線跳躍時点が決定される（Ｓ２４０）。次に、視線跳躍時点を含む期間の間の脳波データが抽出され（Ｓ２５０）、最後に関心領域に対するユーザの選好如何が決定される（Ｓ２６０）。
【0075】
より具体的に、映像コンテンツが提供されるステップ（Ｓ２１０）で、ユーザに好き不好きの感情を誘導する選好度検出が要求される映像コンテンツが提供され得る。
【0076】
本発明の一実施例によれば、映像コンテンツが提供されるステップ（Ｓ２１０）で、イメージ、映画、アニメーション、広告、広報映像、ゲーム、電子マニュアル、電子百科事典及びテキストのうち少なくとも一つのコンテンツが提供され得る。
【0077】
次に、視線データ及び脳波データが受信されるステップ（Ｓ２２０）で、映像コンテンツの提供中に測定された一連のデータ、即ち、一定の期間の間に獲得された時系列的視線データ及び脳波データが獲得され得る。
【0078】
このとき、本発明の特徴によれば、視線データ及び脳波データが受信されるステップ（Ｓ２２０）で、選好度検出が要求される映像コンテンツに対する凝視を含む視線データは、視線位置データ、視線速度データを含むことができる。さらに、視線データは、視線が凝視された視線凝視時間、視線がコンテンツの特定オブジェクトを追跡した視線追跡時間またはユーザが瞬きをした瞬き回数等をさらに含むことができる。
【0079】
例えば、図３ａの（ａ）及び（ｂ）を共に参照すると、視線データ及び脳波データが受信されるステップ（Ｓ２２０）で、ＨＭＤデバイスを通した映像コンテンツ提供及びユーザの凝視による、ユーザの視線位置データが受信され得る。
【0080】
このとき、視線位置データは、コンテンツが提供される画面を基準に、変化するユーザの視線の高角（ｅｌｅｖａｔｉｏｎ）及び方位角（ａｚｉｍｕｔｈ）に基づいて獲得され得る。このとき、獲得された視線の位置は、平面角（ｒａｄｉａｎ）単位で表現できるが、これに制限されるものではない。一方、視線位置データは、コンテンツ提供時間による視線の高角及び方位角で獲得されることもある。
【0081】
本発明の他の特徴によれば、視線データ及び脳波データが受信されるステップ（Ｓ２２０）以後に、受信された視線データ及び脳波データが補正されるステップがさらに遂行され得る。
【0082】
例えば、補正されるステップで、既格納されたデータから予め決定された選好度を持つ関心と関連した脳波信号パターンとそうではない脳波信号パターンが、特定の個人に適用されるように補正され得る。より具体的に、補正されるステップで、ユーザに感情が対比になる二つのコンテンツが提供され、各コンテンツを凝視する間の視線跳躍時点及び視線跳躍時点を含む期間の間の脳波データ、即ち、一連の脳波パターンが検出され得る。このとき、新たに検出された脳波データは、予め決定された選好度を持つ関心と関連した脳波信号パターンとそうではない脳波信号パターンとマッピングされ得る。このような過程を通して、ユーザ個々人に対する選好度がより正確に予測され得る。
【0083】
次に、コンテンツに対するユーザの関心領域が決定されるステップ（Ｓ２３０）で、ユーザの視線データに基づいてコンテンツに対する関心領域が決定され得る。このとき、コンテンツに対するユーザの視線は、ユーザの関心に対応し得る。
【0084】
次に、視線跳躍時点が決定されるステップ（Ｓ２４０）でユーザの視線が急激に変化する視線跳躍時点が決定され得る。
【0085】
本発明の特徴によれば、視線跳躍時点が決定されるステップ（Ｓ２４０）で、視線位置データが予め決定された時間間隔を有する複数の単位区間に分割され、複数の単位区間それぞれでの視線速度データに基づいて、複数の単位区間のうち視線跳躍時点を含む視線跳躍区間が決定され得る。
【0086】
本発明の他の特徴によれば、視線跳躍時点が決定されるステップ（Ｓ２４０）で、複数の単位区間それぞれでの視線速度データに基づいて、複数の単位区間それぞれが視線跳躍区間、または視線固定区間に分類され、分類された複数の単位区間のうち、視線跳躍区間が選別され得る。
【0087】
例えば、図３ｂを参照すると、コンテンツ提供時間による高角及び方位角の視線位置（ｇａｚｅ ｐｏｓｉｔｉｏｎ）データは、秒単位の複数の単位時間３０２ａ、３０２ｂ、３０２ｃ、３０２ｄ、３０２ｅ、３０２ｆ、３０２ｇ、３０２ｉ、３０２ｈに分割され得る。その後、複数の区間それぞれでの視線速度データ、即ち、視線移動距離及び時間に基づいて視線跳躍（Ｓａｃｃａｄｅ）区間３０２ｂ、３０２ｄ、３０２ｆ、３０２ｈ及び視線固定（Ｆｉｘａｔｉｏｎ）区間３０２ａ、３０２ｃ、３０２ｅ、３０２ｇ、３０２ｉに分類され得る。即ち、図３ｃをさらに参照すると、視線位置データは、視線跳躍または視線固定が進行した区間に対してラベリングされて示され得る。
【0088】
このとき、視線跳躍区間及び視線固定区間の分類は、視線速度データに基づいて複数の単位区間のうち少なくとも一つの区間に重み付けを付与することで遂行され得る。より具体的に、複数の区間に分割された視線位置データそれぞれに対して該当単位区間に対する視線の速力が大きいほど重み付けが付加され得る。
【0089】
例えば、視線跳躍区間及び視線固定区間の分類のために、複数の単位区間に分割された視線位置データ（ｘ（ｔ）、ｙ（ｔ））それぞれに対して、視線の速力
、その後、ｋ－平均－クラスタリング（ｋ－ｍｅａｎｓ－ｃｌｕｓｔｅｒｉｎｇ）を利用して複数の単位区間第１グループ（Ｖ１）、及び第１グループより速度の低い第２グループ（Ｖ２）に分類される。このとき、二つのグループは、下記式１により分類され得る。 ［式１］
【数1】
【数2】
【0090】
その後、重み付け（ω）は、第１グループ（Ｖ１）に属したサンプルの個数の逆数、即ち、区間の個数の逆数に設定され（ω＝１／｜Ｖ１｜）、第１グループ（Ｖ１）に属した区間である
に重み付けωが割り当てられ得る。このとき、第２グループ（Ｖ２）に属した区間である
に対して０が重み付けで割り当てられ得る。次に、二つのグループに分類された、複数の単位区間の視線位置データは、割り当てられた重み付け値Ｗ（ｔ）を利用して、視線跳躍区間及び視線固定区間、さらに視線跳躍区間及び視線固定区間に分類されていない「ｕｎｋｎｏｗｎ」に分類され得る。より具体的に、特定区間に割り当てられた重み付け値Ｗ（ｔ）が、重み付けの平均より標準偏差以上大きい場合、特定区間は、視線跳躍区間に分類され得る。重み付け値Ｗ（ｔ）が０である区間
中、
である区間は、視線固定区間に分類され得る。このとき、「ｕｎｋｎｏｗｎ」の区間は、ブランク（ｂｌａｎｋ）である区間の長さが予め決定された水準以下であり、ブランクである区間の直前と直後に視線位置の平均速力がそれぞれ
であるとき、ブランクである区間の平均速力
が
を満たす場合、二グループのうち平均速力に近い区間に組み込まれ得る。
【数3】
【数4】
【数5】
【数6】
【数7】
【数8】
【数9】
【0091】
一方、視線跳躍時点が決定されるステップ（Ｓ２４０）は、前述した方法に制限されず、さらに多様な方法で遂行され得る。
【0092】
次に、脳波データが抽出されるステップ（Ｓ２５０）で、視線跳躍時点を含む視線跳躍区間に該当する脳波データが抽出され得る。
【0093】
このとき、視線跳躍区間は、視線跳躍時点を基準に前（例えば、視線跳躍０．３秒前）および／または後（視線跳躍０．３秒後）に該当する期間を意味し得る。
【0094】
本発明の他の特徴によれば、脳波データが抽出されるステップ（Ｓ２５０）で、視線跳躍時点を基準に、予め決定された時間前、及び後に該当する脳波データが抽出されてもよい。
【0095】
最後に、選好如何が決定されるステップ（Ｓ２６０）で、前述した関心領域が決定されるステップ（Ｓ２３０）の結果で決定されたコンテンツ内の関心領域に対するユーザの選好如何が決定され得る。
【0096】
本発明の特徴によれば、選好如何が決定されるステップ（Ｓ２６０）で、脳波データの特徴によって関心領域に対する選好度が決定され得る。
【0097】
例えば、図３ｄを参照すると、選好如何が決定されるステップ（Ｓ２６０）で、跳躍時点前（例えば、－０．２秒）の脳波データが跳躍時点（例えば、０．０）の脳波データより減衰する場合、関心領域に対する選好があるものと決定され得る。さらに、選好如何が決定されるステップ（Ｓ２６０）で、跳躍時点後（例えば、０．２秒）の脳波データが跳躍時点（例えば、０．０）の脳波データより減衰する場合、関心領域に対する選好がないものと決定され得る。
【0098】
本発明のまた他の特徴によれば、選好如何が決定されるステップ（Ｓ２６０）で、視線跳躍時点での脳波データに基づいて、ユーザの選好度を予測するように構成された予測モデルを利用して、関心領域に対するユーザの選好如何が決定され得る。
【0099】
このとき、予測モデルは、視線跳躍時点で獲得されたユーザの脳波データを学習データとして利用して選好度を分類するように構成されたモデルであって、脳波のパターンに基づいて関心領域に対する選好があることまたは選好がないことを分類するように構成され得る。一方、予測モデルは、ディープラーニングアルゴリズムまたは分類モデルに基づいて選好度を予測（分類）するように構成されたモデルであってよい。例えば、選好如何が決定されるステップ（Ｓ２６０）で、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＤＣＮＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）、ＤＢＮ（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）のうち少なくとも一つに基づいた予測モデルが利用され得る。さらに、選好如何が決定されるステップ（Ｓ２６０）で、ランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ）、ＧＮＢ（Ｇａｕｓｓｉａｎ ｎａｉｖｅ Ｂａｙｅｓ）、ＬＮＢ（ｌｏｃａｌｌｙ ｗｅｉｇｈｔｅｄ ｎａｉｖｅ Ｂａｙ）、及びＳＶＮ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）のうち少なくとも一つに基づいた予測モデルが利用され得る。
【0100】
しかし、前述したものに制限されず、選好如何が決定されるステップ（Ｓ２６０）で、跳躍時点の脳波データに基づいて選好度を決定できる限り、より多様なアルゴリズムに基づいたモデルが適用され得る。
【0101】
本発明の特徴によれば、選好如何が決定されるステップ（Ｓ２６０）の結果に基づいて、映像コンテンツ内に、関心領域を選好如何によって異なるように表示して提供するステップがさらに遂行され得る。
【0102】
例えば、関心領域を選好如何によって異なるように表示して提供するステップで、コンテンツ内でユーザが凝視した領域に対して関心度が高いほど赤色を、関心度が低いほど青色を帯びるように出力され得る。
【0103】
このとき、関心領域に対する選好度は、関心領域を選好如何によってＯ（選好あり）、またはＸ（選好なし）と表示して提供することで区別され得る。
【0104】
一方、関心度及び選好度の表示方法は、これに制限されない。例えば、関心領域を前記選好如何によって異なるように表示して提供するステップで、コンテンツ内での関心領域は、単一の色相またはパターンを有する領域と表示され得る。このとき、決定された関心領域が単一の色相を有する場合、パターンを差別化して表示することで選好如何が区別され得る。さらに、決定された関心領域が単一のパターンを有する場合、色相を差別化して表示することで選好如何が区別され得る。また、関心領域が単一の色相を有する場合、その彩度、対比度、明るさ等を差別化して表示することで選好如何が区別され得る。
このような本発明の多様な実施例に係る選好度決定方法によりユーザに提供されたコンテンツ内の関心領域に対する選好度が決定され、コンテンツ内に表示されて提供され得る。
このような本発明の多様な実施例に係る選好度決定方法によりユーザに提供されたコンテンツ内の関心領域に対する選好度が決定され、コンテンツ内に表示されて提供され得る。
【0105】
【0106】
図４ａは、本発明の一実施例に係る選好度決定方法によって、ＨＭＤデバイスを通した映像コンテンツの提供によるユーザの関心領域及び関心領域に対して決定された選好如何を例示的に示したものである。図４bは、本発明の一実施例に係る選好度決定方法によって、ＨＭＤデバイスを通した映像コンテンツの提供によるユーザの関心領域及び関心領域に対して決定された選好如何を例示的に示したものである。図４ｃは、本発明の一実施例に係る選好度決定方法によって、ＨＭＤデバイスを通した映像コンテンツの提供によるユーザの関心領域及び関心領域に対して決定された選好如何を例示的に示したものである。 図４ｄは、本発明の一実施例に係る選好度決定方法によって、ＨＭＤデバイスを通した映像コンテンツの提供によるユーザの関心領域及び関心領域に対して決定された選好如何を例示的に示したものである。 図４ｅは、本発明の一実施例に係る選好度決定方法によって、ＨＭＤデバイスを通した映像コンテンツの提供によるユーザの関心領域及び関心領域に対して決定された選好如何を例示的に示したものである。
【0107】
まず、図４ａを参照すると、ユーザは、ＨＭＤデバイス２００を通して選好度検出が要求される映像コンテンツの提供を受ける。このとき、映像コンテンツは、選好如何を確認しようとする一つ以上のオブジェクトを含むことができる。
【0108】
より具体的に、ユーザは、ＨＭＤデバイス２００の出力部を通して現れた車両広告を確認することができる。ユーザは、車両広告が提供される間、車、背景等、多様なオブジェクトを凝視でき、ＨＭＤデバイス２００に予め取り付けられた視線追跡センサ及び脳波測定センサにより、車両広告がユーザに提供される間に視線データ及び脳波データが獲得され得る。獲得された視線データ及び脳波データは、本発明の選好度決定用デバイス１００に受信され得る。
次に、図４ｂを参照すると、本発明の選好度決定用デバイス１００の出力部１３０が示される。このとき、出力部１３０は、映像コンテンツに対するユーザの凝視による関心度及び選好如何によって区別されるように表示して提供できる。
次に、図４ｂを参照すると、本発明の選好度決定用デバイス１００の出力部１３０が示される。このとき、出力部１３０は、映像コンテンツに対するユーザの凝視による関心度及び選好如何によって区別されるように表示して提供できる。
【0109】
より具体的に、ユーザは、車両広告が提示される間、車両のヘッドライト部分、前輪、後輪、後面部、背景の一部分を凝視したものと示される。即ち、ユーザの凝視領域は、ユーザが前記車両広告に対して関心度の高い部分を意味し得る。このとき、出力部１３０は、ユーザが凝視した領域に対して関心度が高いほど赤色を、関心度が低いほど青色を帯びるように出力できる。このとき、出力部１３０は、関心領域を、選好如何によってＯ（選好あり）、またはＸ（選好なし）と表示して提供できる。即ち、出力結果によれば、関心度の高い車両のヘッドライト部分、前輪、後輪でＯ表示が示されるところ、ユーザは、車両のヘッドライト部分、前輪、後輪に対して高い選好度を持っているものと示される。これとは対照的に、関心度の高い車両の後面部はＸ表示が示されるところ、ユーザは、車両の後面部に高い関心を持つものの選好度が低いものと示される。
【0110】
このような結果は、ユーザが提供された広告の中の車両に対して全般的な関心を持っており、特にヘッドライト部分及び車輪ホイール部分に高い選好度を持っており、前記車両の後面部のようなデザインに対する選好度が低いことがあり得ることを意味し得る。
【0111】
このように、本発明の選好度決定用デバイス１００により、映像コンテンツに対するユーザの凝視による関心度及び選好如何が分析されて提供され得、分析された結果は、広告マーケティングにさらに活用され得る。
【0112】
図４ｃを参照すると、本発明の他の実施例において、ユーザは、ＨＭＤデバイス２００を通して選好度検出が要求される映像コンテンツの提供を受ける。このとき、映像コンテンツは、選好如何を確認しようと複数のオブジェクトを含むことができる。より具体的に、ユーザは、ＨＭＤデバイス２００の出力部を通して多様なデザインのスープ缶（Ｓｏｕｐ ｃａｎ）ａ、ｂ、ｃ及びｄの提供を受けることができる。ユーザは、スープ缶が提供される間、スープ缶の製品名、フォント、デザイン、スープイメージ等の多様なオブジェクト領域を凝視し得る。このとき、ＨＭＤデバイス２００に予め取り付けられた視線追跡センサ及び脳波測定センサにより、スープ缶がユーザに提供される間の視線データ及び脳波データが獲得され得る。次に、ＨＭＤデバイス２００により獲得された視線データ及び脳波データは、本発明の選好度決定用デバイス１００に受信され得る。
【0113】
次に、図４ｄを参照すると、本発明の選好度決定用デバイス１００の出力部１３０が示される。より具体的に、ユーザは、スープ缶が提示される間、ａ、ｂ、ｃ及びｄの全てのスープ缶を凝視したものと示される。出力部１３０は、一定領域に対して関心度が高いほど赤色を、関心度が低いほど青色を帯びるように出力できることで、出力された結果によれば、ユーザは、スープ缶の製品名、その下に示されたスープイメージを集中的に凝視したものと示される。さらに、出力部１３０は、関心領域を選好如何に対するＯ（選好あり）、またはＸ（選好なし）と表示して提供できることで、出力された結果によれば、ユーザがｃのスープ缶の製品名、ｄのスープ缶の製品名、及びｄのスープ缶のスープイメージに対して高い選好度を持っているものと示される。これとは対照的に、ユーザは、ａ及びｃのスープ缶のスープイメージに対して高い関心を持つものの選好度が低いものと示される。
【0114】
このような結果は、ユーザが他のスープ缶に比してａ及びｂのスープ缶の製品名のフォント、及びｄのスープ缶のスープイメージに対して高い選好度を持っていることを意味し得る。さらに、ａ及びｃのスープ缶のスープイメージに対して低い選好度を持っていることを意味し得る。
【0115】
即ち、本発明の選好度決定用デバイス１００は、映像コンテンツに対してユーザの凝視による関心度及び選好如何によって区別されるように表示して提供できる。一方、選好度決定用デバイス１００は、さらに多様な情報を出力して提供できる。
【0116】
図４ｅを共に参照すると、選好度決定用デバイス１００は、コンテンツ内で決定されたユーザの関心領域及びこれらの選好如何に基づいて、選好度に対する情報を出力して提供するようにさらに構成され得る。より具体的に、図４ｃ及び図４ｄにおいて前述した、関心領域及びこれに対する選好度が決定されたスープ缶の場合、スープ缶の製品名部分に対して関心度及び選好度が高かったｃ及びｄのスープ缶が文字に対する選好度が高いものと出力され得る。さらに、スープイメージに対して関心度及び選好度が高かったｄがスープイメージに対して選好度が高いものと出力され得る。
【0117】
このように、本発明の選好度決定用デバイス１００により、映像コンテンツに対するユーザの凝視による関心度及び選好如何が分析され、選好度に対する多様な情報が提供され得る。このとき、分析された結果は、製品の名称、イメージ等を決定するためのマーケティングにさらに活用され得る。
【0118】
一方、本発明の選好度決定用デバイス１００による選好度の出力は、関心領域に対する選好度が前述したＯまたはＸ表示に制限されたものではない。例えば、選好度決定用デバイス１００は、コンテンツ内での関心領域を単一の色相またはパターンを有する領域と表示できる。このとき、選好度決定用デバイス１００は、決定された関心領域が単一の色相を有する場合、パターンを差別化して表示することで選好如何が区別されて出力されるように構成され得、決定された関心領域が単一のパターンを有する場合、色相を差別化して表示することで選好如何が区別されて出力されるように構成され得る。また、関心領域が単一の色相を有する場合、その彩度、対比度、明るさ等を差別化して表示することで選好如何が区別され得る。
【0119】
本発明の実施例に係る選好度決定方法及びデバイスは、多様なコンピュータ手段を通して遂行され得るプログラム命令形態に具現され、コンピュータ読み取り可能媒体に書き込まれ得る。コンピュータ読み取り可能媒体は、プログラム命令、データファイル、データ構造等を単独でまたは組み合わせて含むことができる。
【0120】
コンピュータ読み取り可能媒体に書き込まれるプログラム命令は、本発明のために特に設計され構成されたものであるか、コンピュータソフトウェア分野の当業者に公知になって使用可能なものであってもよい。コンピュータ読み取り可能書き込み媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリ等のようなプログラム命令を格納して遂行するように特に構成されたハードウェアデバイスが含まれる。また、上述した媒体は、プログラム命令、データ構造等を指定する信号を伝送する搬送波を含む光または金属線、導波管等の伝送媒体であってもよい。プログラム命令の例には、コンパイラにより作られるもののような機械語コードだけではなく、インタプリタ等を使用してコンピュータにより実行され得る高級言語コードを含む。
【0121】
上述したハードウェアデバイスは、本発明の動作を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【0122】
以上、添付の図面を参照して、本発明の実施例をさらに詳細に説明したが、本発明は、必ずしもこのような実施例に限定されるものではなく、本発明の技術思想を外れない範囲内で多様に変形実施され得る。従って、本発明に開示された実施例は、本発明の技術思想を限定するためのものではなく、説明するためのものであり、このような実施例によって本発明の技術思想の範囲が限定されるものではない。それゆえ、以上において記述した実施例は、全ての面で例示的なものであり、限定的ではないものと理解すべきである。本発明の保護範囲は、下記の特許請求の範囲によって解釈されるべきであり、それと同等な範囲内にある全ての技術思想は、本発明の権利範囲に含まれるものと解釈されるべきである。
【符号の説明】
【0123】
１００：選好度決定用デバイス、１１０：受信部、１２０：入力部、１３０：出力部、１４０：格納部、１５０：プロセッサ、２００：ＨＭＤデバイス、１０００：選好度決定システム、３０２ａ、３０２ｂ、３０２ｃ、３０２ｄ、３０２ｅ、３０２ｆ、３０２ｇ、３０２ｈ、３０２ｉ：複数の単位時間
【0124】
[本発明を支援した国家研究開発事業]
課題固有番号：1711093794、省庁：科学技術情報通信部、研究管理専門機関：財団法人ギガコリア事業団、研究事業名：部署 Giga KOREA事業、研究課題名：5Gベースインタラクティブ実感メディア技術開発及び実証、貢献率：1/ 1、主管機関：エスケーブロードバンド（株）、研究期間：20190101～20191231
課題固有番号：1711093794、省庁：科学技術情報通信部、研究管理専門機関：財団法人ギガコリア事業団、研究事業名：部署 Giga KOREA事業、研究課題名：5Gベースインタラクティブ実感メディア技術開発及び実証、貢献率：1/ 1、主管機関：エスケーブロードバンド（株）、研究期間：20190101～20191231
【図1a】
【図1b】
【図2】
【図3a】
【図3b】
【図3c】
【図3d】
【図4a】
【図4b】
【図4c】
【図4d】
【図4e】
【国際調査報告】