特表 2022-516640 生体データを利用したハイライト映像生成方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-03-01

(54)【発明の名称】生体データを利用したハイライト映像生成方法及びその装置

(51)【国際特許分類】

   H04N 5/91 20060101AFI20220221BHJP

   G06F 3/01 20060101ALI20220221BHJP

   H04N 5/92 20060101ALI20220221BHJP

   H04N 21/8549 20110101ALI20220221BHJP

   H04N 21/442 20110101ALI20220221BHJP

   A61B 5/16 20060101ALI20220221BHJP

   A61B 5/374 20210101ALI20220221BHJP

   A61B 5/378 20210101ALI20220221BHJP

   A61B 3/113 20060101ALI20220221BHJP

【ＦＩ】

H04N5/91

G06F3/01 510

G06F3/01 515

H04N5/92 010

H04N21/8549

H04N21/442

A61B5/16 120

A61B5/374

A61B5/378

A61B3/113

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021539378

(86)(22)【出願日】2020-01-07

(85)【翻訳文提出日】2021-07-06

(86)【国際出願番号】 KR2020000255

(87)【国際公開番号】W WO2020159093

(87)【国際公開日】2020-08-06

(31)【優先権主張番号】10-2019-0010448

(32)【優先日】2019-01-28

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】519025068

【氏名又は名称】ルーシッド ラブス インコーポレイテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】リー、ホン グ

【テーマコード（参考）】

4C038

4C127

4C316

5C053

5C164

5E555

【Ｆターム（参考）】

4C038PP03

4C038PS03

4C038PS07

4C127AA03

4C127DD01

4C127GG03

4C127GG15

4C316AA21

4C316AB16

4C316FA01

4C316FC28

5C053FA14

5C053GB06

5C053JA21

5C164MC03P

5C164UA01S

5C164UB41P

5C164YA12

5E555AA48

5E555AA76

5E555BA04

5E555BA73

5E555BB04

5E555BC18

5E555BE17

5E555CA41

5E555CB65

5E555CB70

5E555DA08

5E555DB53

5E555DB57

5E555DC13

5E555EA14

5E555FA00

(57)【要約】

本発明の実施例に係る生体データを利用したハイライト映像生成方法及びその装置が提供される。本発明の実施例に係るハイライト生成装置のプロセッサによって遂行されるユーザの生体データを利用したハイライト映像生成方法において、ユーザの脳波及び視線データのうち少なくとも一つを含む生体データを獲得するように構成されたヘッドマウントディスプレイ（Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）装置を通してマルチメディアコンテンツを提供するステップ；前記ＨＭＤ装置を通して前記マルチメディアコンテンツに関連した生体データを獲得するステップ；前記獲得された生体データに基づいて前記ユーザが注目した少なくとも一つの部分コンテンツを検出するステップ；前記検出された少なくとも一つの部分コンテンツに関連した前記ユーザの感情状態を予測するステップ；及び、前記予測された感情状態によってハイライト映像を生成するステップを含む。

【特許請求の範囲】

【請求項1】

ハイライト生成装置のプロセッサによって遂行されるユーザの生体データを利用したハイライト映像生成方法において、
ユーザの脳波及び視線データのうち少なくとも一つを含む生体データを獲得するように構成されたヘッドマウントディスプレイ（Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）装置を通してマルチメディアコンテンツを提供するステップ；
前記ＨＭＤ装置を通して前記マルチメディアコンテンツに関連した生体データを獲得するステップ；
前記獲得された生体データに基づいて前記ユーザが注目した少なくとも一つの部分コンテンツを検出するステップ；
前記検出された少なくとも一つの部分コンテンツに関連した前記ユーザの感情状態を予測するステップ；及び
前記予測された感情状態によってハイライト映像を生成するステップを含む、ハイライト映像生成装置での生体データを利用したハイライト映像生成方法。

【請求項2】

前記獲得された生体データに基づいて前記ユーザが注目した部分データを検出するステップは、
前記獲得された生体データから生体特徴情報を抽出するステップ；及び
前記抽出された生体特徴データに基づいて前記少なくとも一つの部分コンテンツを検出するステップを含む、請求項１に記載のハイライト映像生成装置での生体データを利用したハイライト映像生成方法。

【請求項3】

前記生体特徴データは、
前記視線データから抽出された視線特徴データ及び前記脳波データから抽出された脳波特徴データのうち少なくとも一つを含み、
前記視線特徴データは、
前記ユーザの視線が凝視された視線凝視時間、前記ユーザの視線が前記マルチメディアコンテンツの特定オブジェクトを追跡した視線追跡時間または前記ユーザが瞬きをした瞬き回数を含み、
前記脳波特徴データは、
脳波の特定周波数領域の帯域電力（Ｂａｎｄ Ｐｏｗｅｒ）または前記脳波のアルファ（Ａｌｐｈａ）波とベータ（Ｂｅｔａ）波のエネルギー比率を含む、請求項２に記載のハイライト映像生成装置での生体データを利用したハイライト映像生成方法。

【請求項4】

前記抽出された生体特徴データに基づいて前記少なくとも一つの部分コンテンツを検出するステップは、
前記脳波の特定周波数領域の帯域電力または前記脳波のアルファ波とベータ波のエネルギー比率がそれぞれの閾値以上であれば、前記帯域電力または前記エネルギー比率に関連した少なくとも一つの部分コンテンツを検出するステップである、請求項３に記載のハイライト映像生成装置での生体データを利用したハイライト映像生成方法。

【請求項5】

前記抽出された生体特徴データに基づいて前記少なくとも一つの部分コンテンツを検出するステップは、
前記視線凝視時間または前記視線追跡時間がそれぞれの閾値以上であれば、前記視線凝視時間または前記視線追跡時間に関連した少なくとも一つの部分コンテンツを検出するステップであるか、
前記瞬き回数が閾値以下であれば、前記瞬き回数に関連した少なくとも一つの部分コンテンツを検出するステップである、請求項３または４に記載のハイライト映像生成装置での生体データを利用したハイライト映像生成方法。

【請求項6】

前記検出された少なくとも一つの部分コンテンツを利用して前記ユーザの感情状態を予測するステップは、
前記検出された少なくとも一つの部分コンテンツ及び前記少なくとも一つの部分コンテンツに関連した生体データを一つ以上のグループにグループ化するステップ；
前記一つ以上のグループに対応する感情状態を予測するステップ；及び
前記予測された感情状態と前記一つ以上のグループをマッピングするステップを含む、請求項１に記載のハイライト映像生成装置での生体データを利用したハイライト映像生成方法。

【請求項7】

前記一つ以上のグループに対応する感情状態を予測するステップは、
前記一つ以上のグループに属する少なくとも一つの部分コンテンツの場面を分析して前記一つ以上のグループに対するユーザの感情状態を予測するステップである、請求項６に記載のハイライト映像生成装置での生体データを利用したハイライト映像生成方法。

【請求項8】

前記予測された感情状態によってハイライト映像を生成するステップは、
前記一つ以上のグループに属する少なくとも一つの部分コンテンツを既設定された配列順序によって配列するステップ；及び
前記配列された少なくとも一つの部分コンテンツを含むハイライト映像を生成するステップを含む、請求項６または７に記載のハイライト映像生成装置での生体データを利用したハイライト映像生成方法。

【請求項9】

前記配列順序は、
時間順序、前記ユーザの感情状態が高まる順序、ユーザの注目および／または集中度が高い順序のうち少なくとも一部を含む、請求項８に記載のハイライト映像生成装置での生体データを利用したハイライト映像生成方法。

【請求項10】

通信部；
格納部；及び
前記通信部及び前記格納部と動作可能であるように連結されたプロセッサを含み、
前記プロセッサは、
ユーザの脳波及び視線データのうち少なくとも一つを含む生体データを獲得するように構成されたヘッドマウントディスプレイ（Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）装置を通してマルチメディアコンテンツを提供し、
前記ＨＭＤ装置を通して前記マルチメディアコンテンツに関連した生体データを獲得し、
前記獲得された生体データに基づいて前記ユーザが注目した少なくとも一つの部分コンテンツを検出し、
前記検出された少なくとも一つの部分コンテンツに関連した前記ユーザの感情状態を予測し、
前記予測された感情状態によってハイライト映像を生成する、生体データを利用したハイライト映像生成装置。

【請求項11】

前記プロセッサは、
前記獲得された生体データから生体特徴情報を抽出し、前記抽出された生体特徴データに基づいて前記少なくとも一つの部分コンテンツを検出する、請求項１０に記載の生体データを利用したハイライト映像生成装置。

【請求項12】

前記プロセッサは、
前記検出された少なくとも一つの部分コンテンツ及び前記少なくとも一つの部分コンテンツに関連した生体データを一つ以上のグループにグループ化し、前記一つ以上のグループに対応する感情状態を予測し、前記予測された感情状態と前記一つ以上のグループをマッピングする、請求項１０または１１に記載の生体データを利用したハイライト映像生成装置。

【請求項13】

前記プロセッサは、
前記一つ以上のグループに属する少なくとも一つの部分コンテンツの場面を分析して前記一つ以上のグループに対するユーザの感情状態を予測する、請求項１２に記載の生体データを利用したハイライト映像生成装置。

【請求項14】

前記プロセッサは、
前記一つ以上のグループに属する少なくとも一つの部分コンテンツを既設定された配列順序によって配列し、前記配列された少なくとも一つの部分コンテンツを含むハイライト映像を生成する、請求項１２または１３に記載の生体データを利用したハイライト映像生成装置。

【請求項15】

前記マルチメディアコンテンツは、
前記ユーザと相互活動的になされるインタラクティブ（ｉｎｔｅｒａｃｔｉｖｅ）映像及び非－インタラクティブ（ｎｏｎ－ｉｎｔｅｒａｃｔｉｖｅ）映像を含む、請求項１０に記載の生体データを利用したハイライト映像生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体データを利用したハイライト映像生成方法及びその装置を提供する。

【背景技術】

【0002】

近年、情報通信技術及びネットワーク技術が発達するにつれ、デバイスは、多様な機能を有するマルチメディア型携帯機器に進化しており、近来では、ユーザの生体信号またはデバイスの周辺で発生する信号を感知できるセンサを備えている。

【0003】

そのうち、ヘッドマウントディスプレイ装置（Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）（以下、「ＨＭＤ装置」という）は、ユーザの頭に着用可能な構造に形成され、ユーザが実際と類似した空間的、時間的体験が可能であり得るように、ユーザに仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）、増強現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）および／または混合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、ＭＲ）に関連した映像を提供するディスプレイ装置である。このようなＨＭＤ装置は、ユーザの目の部位に着用可能であるようにゴーグル（ｇｏｇｇｌｅ）形態に形成される本体と、本体に連結され、本体をユーザの頭に固定させ得るようにバンド形態に形成される着用部で構成される。ここで、本体には、仮想現実映像を出力する手段として、ディスプレイが備えられるか、スマートフォン等のような携帯用端末装置が設けられるか、モニタ等のようにＰＣ等に連結されるディスプレイ装置が実装される。このようなＨＭＤ装置を利用して、ユーザは、多様なマルチメディアコンテンツを視聴及び体験でき、ＨＭＤ装置またはＨＭＤ装置に連結される電子装置は、ユーザが視聴または体験したマルチメディアコンテンツに関連したハイライト映像を提供できる。このようなＨＭＤ装置または電子装置は、一般に、マルチメディアコンテンツを分析して、マルチメディアコンテンツでユーザが興味または関心を持つかおもしろいと予測される場面をハイライト映像に編集して提供する。

【0004】

しかし、このように提供されたハイライト映像は、単にマルチメディアコンテンツでユーザが興味または関心を持つかおもしろいと予測される場面で構成されるので、ユーザが実際に興味または関心を持つかおもしろいと感じた場面とは差があり得る。

【0005】

従って、ユーザが実際に興味または関心を持つかおもしろいと感じた場面が編集されたハイライト映像を生成するための方法が要求される。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする課題は、生体データを利用したハイライト映像生成方法及びその装置を提供することである。

【0007】

具体的に、本発明が解決しようとする課題は、生体データを利用したユーザカスタマイズのハイライト映像を生成する方法及びその装置を提供することである。

【0008】

本発明の課題は、以上において言及した課題に制限されず、言及されていないまた他の課題は、下記の記載から当業者に明確に理解され得るだろう。

【課題を解決するための手段】

【0009】

前述したような課題を解決するために、本発明の実施例に係る生体データを利用したハイライト映像生成方法及びその装置を提供する。本発明の実施例に係るハイライト生成装置のプロセッサによって遂行されるユーザの生体データを利用したハイライト映像生成方法において、ユーザの脳波及び視線データのうち少なくとも一つを含む生体データを獲得するように構成されたヘッドマウントディスプレイ（Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）装置を通してマルチメディアコンテンツを提供するステップ；前記ＨＭＤ装置を通して前記マルチメディアコンテンツに関連した生体データを獲得するステップ；前記獲得された生体データに基づいて前記ユーザが注目した少なくとも一つの部分コンテンツを検出するステップ；前記検出された少なくとも一つの部分コンテンツに関連した前記ユーザの感情状態を予測するステップ；及び、前記予測された感情状態によってハイライト映像を生成するステップを含む。

【0010】

本発明の実施例に係るハイライト映像生成装置は、通信部；格納部；及び、前記通信部及び前記格納部と動作可能であるように連結されたプロセッサを含み、前記プロセッサは、ユーザの脳波及び視線データのうち少なくとも一つを含む生体データを獲得するように構成されたヘッドマウントディスプレイ（Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）装置を通してマルチメディアコンテンツを提供し、前記ＨＭＤ装置を通して前記マルチメディアコンテンツに関連した生体データを獲得し、前記獲得された生体データに基づいて前記ユーザが注目した少なくとも一つの部分コンテンツを検出し、前記検出された少なくとも一つの部分コンテンツに関連した前記ユーザの感情状態を予測し、前記予測された感情状態によってハイライト映像を生成する。

【0011】

その他の実施例の具体的な事項は、詳細な説明及び図面に含まれている。

【発明の効果】

【0012】

本発明は、ユーザがマルチメディアコンテンツを視聴または体験する間に獲得されたユーザの生体データを利用してマルチメディアコンテンツに関連したハイライト映像を生成することで、ユーザカスタマイズのハイライト映像を提供することができる。

【0013】

また、本発明は、ユーザが注目するオブジェクト中心のハイライト映像を提供でき、ユーザの満足度を高めることができる。

【0014】

本発明に係る効果は、以上において例示された内容により制限されず、さらに多様な効果が本発明内に含まれている。

【図面の簡単な説明】

【0015】

【図1】本発明の実施例に係る生体データを利用したハイライト映像生成システムを説明するための概略図である。

【図2】本発明の実施例に係るＨＭＤ装置を説明するための概略図である。

【図3】本発明の実施例に係る電子装置を説明するための概略図である。

【図4】本発明の実施例に係る電子装置でユーザの生体データに基づいてマルチメディアコンテンツに関連したハイライト映像を生成する方法を説明するための概略的なフローチャートである。

【図5a】本発明の実施例に係る電子装置でユーザの生体データに基づいてマルチメディアコンテンツに関するハイライト映像を生成する方法を説明するための例示図である。

【図5b】本発明の実施例に係る電子装置でユーザの生体データに基づいてマルチメディアコンテンツに関するハイライト映像を生成する方法を説明するための例示図である。

【図5c】本発明の実施例に係る電子装置でユーザの生体データに基づいてマルチメディアコンテンツに関するハイライト映像を生成する方法を説明するための例示図である。

【図5d】本発明の実施例に係る電子装置でユーザの生体データに基づいてマルチメディアコンテンツに関するハイライト映像を生成する方法を説明するための例示図である。

【発明を実施するための形態】

【0016】

本発明の利点及び特徴、そして、それらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すると、明確になるだろう。しかし、本発明は、以下において開示される実施例に限定されるものではなく、互いに異なる多様な形態に具現され、単に、本実施例は、本発明の開示が完全なものとなるようにし、本発明の属する技術の分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇により定義されるだけである。

【0017】

第１、第２等が多様な構成要素を述べるために使用されるが、これらの構成要素は、これらの用語により制限されないことはもちろんである。これらの用語は、単に一つの構成要素を他の構成要素と区別するために使用するものである。従って、以下において言及される第１構成要素は、本発明の技術的思想内で第２構成要素であってもよいことはもちろんである。

【0018】

明細書全体にわたって、同じ参照符号は、同じ構成要素を指す。

【0019】

本発明の様々な実施例のそれぞれの特徴は、部分的または全体的に互いに結合または組み合わせ可能であり、当業者が十分に理解できるように技術的に多様な連動及び駆動が可能であり、各実施例が互いに対して独立して実施可能であってもよく、関連関係で共に実施可能であってもよい。

【0020】

本発明において、ハイライト提供システムは制限されず、ユーザの視線を獲得し、ユーザの脳波等のような生体データを獲得するように構成された全ての装置を含むことができる。例えば、ハイライト提供システムは、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）装置だけではなく、ヘッドセット、スマートリング、スマートウォッチ、イヤセット、イヤホン等のようにユーザの身体の一部に接触／着用され、ユーザの生体データを獲得するセンサが含まれたデバイスと、仮想現実、増強現実または／および混合現実に関連したマルチメディアコンテンツを出力するコンテンツ出力装置と、これらを管理する電子装置を含むことができる。例えば、ＨＭＤ装置が表示部を備える場合、ハイライト提供システムは、ＨＭＤ装置及び電子装置だけを含むことができる。ここで、生体データは、ユーザの脈拍、血圧、脳波等、ユーザの意識的および／または無意識的（例えば、呼吸、心臓の拍動、新陳代謝等）行動によってユーザの身体から発生する多様な信号を示すことができる。

【0021】

以下、添付の図面を参照して、本発明の多様な実施例を詳細に説明する。

【0022】

図１は、本発明の実施例に係る生体データを利用したハイライト映像生成システムを説明するための概略図である。

【0023】

図１を参照すると、ハイライト映像生成システム１０００は、ユーザの脳波及び視線データ等のうち少なくとも一つを含む生体データを利用してハイライト映像を生成するシステムであって、ユーザの生体データを獲得するためのＨＭＤ装置１００、マルチメディアコンテンツを出力するコンテンツ出力装置２００、及びマルチメディアコンテンツに関連したハイライト映像を生成する電子装置３００を含むことができる。多様な実施例において、ＨＭＤ装置１００が表示部を備える場合、コンテンツ出力装置２００は、ハイライト映像生成システム１０００に含まれなくてよい。

【0024】

ＨＭＤ装置１００は、ユーザの頭に取り付けられ、ユーザが実際と類似した空間的、時間的体験が可能であるようにユーザに仮想現実のためのマルチメディアコンテンツを提供すると同時に、ユーザの生体データを獲得して仮想体験を進行中のユーザの身体的、認知的、感情的変化を感知できる複合仮想体験装置であってよい。例えば、マルチメディアコンテンツは、映画、アニメーション、広告、または広報映像等のような非－インタラクティブ（ｎｏｎ－ｉｎｔｅｒａｃｔｉｖｅ）映像及びゲーム、電子マニュアル、電子百科事典または広報映像等のようにユーザと相互活動的になされるインタラクティブ（ｉｎｔｅｒａｃｔｉｖｅ）映像を含むことができ、これに限定されない。ここで、映像は、３次元映像であってよく、ステレオスコピック（Ｓｔｅｒｅｏｓｃｏｐｉｃ）映像が含まれ得る。

【0025】

ＨＭＤ装置１００は、ユーザの頭に着用可能な構造に形成され、仮想現実のための多様なマルチメディアコンテンツをＨＭＤ装置１００の内部で処理する形態に具現されるか、ＨＭＤ装置１００の一部にマルチメディアコンテンツを提供するコンテンツ出力装置２００が取り付けられ、取り付けられたコンテンツ出力装置２００の内部でマルチメディアコンテンツを処理する形態に具現され得る。

【0026】

ＨＭＤ装置１００が表示部を備える場合、ユーザがＨＭＤ装置１００を着用するとき、ユーザがマルチメディアコンテンツを確認できるように表示部の一面がユーザの顔に対向するように配置され得る。

【0027】

多様な実施例において、ＨＭＤ装置１００の一部には、コンテンツ出力装置２００を収容できる収容空間１０１が形成され得る。収容空間１０１内にコンテンツ出力装置２００が収容された場合、コンテンツ出力装置２００の一面（例：コンテンツ出力装置２００の表示部が位置された一面）がユーザの顔に対向するように配置され得る。例えば、コンテンツ出力装置２００は、スマートフォン、タブレットＰＣ等のような携帯用端末装置またはＰＣに連結され、ＰＣから提供されるマルチメディアコンテンツを出力できる携帯用モニタ等を含むことができる。

【0028】

ＨＭＤ装置１００の一側には、ユーザの脳波または視線データを獲得する少なくとも一つのセンサ（図示しない）が形成され得る。少なくとも一つのセンサは、ユーザの脳波を測定する脳波センサおよび／またはユーザの視線を追跡する視線追跡センサを含むことができる。多様な実施例において、少なくとも一つのセンサは、ユーザの目または顔を撮影可能な位置またはユーザの皮膚に接触可能な位置に形成され、ユーザがＨＭＤ装置１００を着用するとき、ユーザの目または顔を撮影し、撮影された映像を分析してユーザの視線データを獲得するか、ユーザの皮膚に接触してユーザの脳電図信号（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ、ＥＥＧ）、筋電図信号（ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ、ＥＭＧ）または心電図信号（ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ、ＥＣＧ）等のような脳波データを獲得できる。本明細書においては、ＨＭＤ装置１００がユーザの脳波および／または視線データを獲得する少なくとも一つのセンサを含むものと説明されるが、これに制限されず、ＨＭＤ装置１００と別途のモジュールを通してユーザの脳波および／または視線データを獲得する少なくとも一つのセンサがＨＭＤハウジングに取り付けられる形式に具現され得る。ＨＭＤ装置１００という表現は、このようなモジュールを含むか、モジュールそのものも想定するように意図される。

【0029】

ＨＭＤ装置１００は、コンテンツ出力装置２００または電子装置３００の要請によってユーザの生体データを獲得し、獲得された生体データをコンテンツ出力装置２００または電子装置３００に伝達できる。

【0030】

ＨＭＤ装置１００は、表示部が含まれる場合、ユーザの生体データを獲得するためにマルチメディアコンテンツをＨＭＤ装置１００の表示部を通して表示し、ＨＭＤ装置１００に備えられた少なくとも一つのセンサを通してマルチメディアコンテンツに関連した生体データを獲得できる。ＨＭＤ装置１００は、獲得された生体データを電子装置３００に伝達できる。

【0031】

コンテンツ出力装置２００がＨＭＤ装置１００の収容空間１０１に収容された場合、ＨＭＤ装置１００は、コンテンツ出力装置２００を通して出力されるマルチメディアコンテンツに関連した生体データを獲得し、獲得された生体データを電子装置３００に伝達できる。

【0032】

電子装置３００は、ＨＭＤ装置１００および／またはコンテンツ出力装置２００と通信可能であるように連結され、ＨＭＤ装置１００またはコンテンツ出力装置２００にマルチメディアコンテンツを提供し、ＨＭＤ装置１００を通して獲得された生体データに基づいてマルチメディアコンテンツに関連したハイライト映像を生成するデバイスであって、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートパソコン、ワークステーション（ｗｏｒｋｓｔａｔｉｏｎ）、スマートＴＶ等を含むことができる。

【0033】

電子装置３００は、ＨＭＤ装置１００を通して獲得された生体データから生体特徴データを抽出することができる。例えば、電子装置３００は、脳波データから脳波特徴データを抽出するか、視線データから視線特徴データを抽出することができる。脳波特徴データは、脳波の特定周波数領域の帯域電力（Ｂａｎｄ Ｐｏｗｅｒ）または脳波のアルファ（Ａｌｐｈａ）波とベータ（Ｂｅｔａ）波のエネルギー比率等を含むことができる。また、視線特徴データは、ユーザの視線が凝視された視線凝視時間、ユーザの視線がマルチメディアコンテンツの特定オブジェクトを追跡した視線追跡時間またはユーザが瞬きをした瞬き回数等を含むことができる。このような生体データは、これに限定せず、多様な生体データが含まれ得る。

【0034】

多様な実施例において、電子装置３００は、生体特徴データを抽出するように学習されたディープラーニングアルゴリズムに基づいて、ＨＭＤ装置１００を通して獲得された生体データから生体特徴データを抽出することができる。例えば、電子装置３００は、脳波データから脳波特徴データを抽出するように学習されたか、視線データから視線特徴データを抽出するように学習されたディープラーニングアルゴリズムに基づいて、脳波特徴データ、視線特徴データのような多様な生体特徴データを抽出することができる。このとき、ディープラーニングアルゴリズムは、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＤＣＮＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）、ＤＢＮ（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）のうち少なくとも一つであってよい。しかし、前述したものに制限されず、電子装置３００は、生体データを基に生体特徴データを抽出できる限り、より多様なアルゴリズムを利用できる。

【0035】

電子装置３００は、生体特徴データに基づいてユーザが注目した少なくとも一つの部分コンテンツを検出し、検出された少なくとも一つの部分コンテンツに関連したユーザの感情状態を予測または判断できる。ここで、部分コンテンツは、マルチメディアコンテンツの少なくとも一部であって、少なくとも一つの場面データが含まれ得る。例えば、場面データは、マルチメディアコンテンツを構成する各フレームを意味し得る。

【0036】

具体的に、電子装置３００は、脳波及び視線特徴データのうち少なくとも一つが特定条件を満たす場合、該当脳波及び視線特徴データのうち少なくとも一つに関連した少なくとも一つの部分コンテンツを検出できる。ここで、特定条件は、各特徴データが該当閾値以上または以下に該当する場合を含むことができる。各特徴データの閾値は、各特徴データによって少なくとも一つの部分コンテンツを検出するために予め定められ、特徴データ別に互いに異なる値を有し得る。例えば、電子装置３００は、脳波の特定周波数領域の帯域電力または脳波のアルファ波とベータ波のエネルギー比率がそれぞれの閾値以上である場合、該当帯域電力またはエネルギー比率に対応する少なくとも一つの部分コンテンツをユーザが注目した部分コンテンツとして検出できる。電子装置３００は、視線凝視時間または視線追跡時間がそれぞれの閾値以上であるか、瞬き回数が閾値以下である場合、該当視線凝視時間または視線追跡時間に対応する少なくとも一つの部分コンテンツをユーザが注目した部分コンテンツとして検出するか、該当瞬き回数に対応する少なくとも一つの部分コンテンツをユーザが注目した部分コンテンツとして検出できる。多様な実施例において、電子装置３００は、脳波特徴データが特定条件を満たすか、視線特徴データが特定条件を満たすか、脳波特徴データ及び視線特徴データのいずれもが特定条件を満たす場合、これに関連した少なくとも一つの部分コンテンツを検出できる。

【0037】

多様な実施例において、電子装置３００は、生体特徴データに基づいて感情と関連性の高い部分コンテンツを検出するように構成されたディープラーニングアルゴリズムに基づいて検出できる。例えば、電子装置３００は、脳波特徴データの脳波の特定周波数領域の帯域電力または脳波のアルファ波とベータ波のエネルギー比率を基盤として、ユーザが注目した部分コンテンツを抽出するように構成されたディープラーニングアルゴリズムに基づいて、ユーザの注目度が高い部分コンテンツを決定できる。他の例を挙げて、電子装置３００は、視線特徴データとして視線凝視時間または瞬き回数を基盤としてユーザが注目した部分コンテンツを抽出するように構成されたディープラーニングアルゴリズムに基づいて、ユーザの注目度が高い部分コンテンツを決定できる。このとき、ディープラーニングアルゴリズムは、ＤＮＮ、ＣＮＮ、ＤＣＮＮ、ＲＮＮ、ＲＢＭ、ＤＢＮ、ＳＳＤのうち少なくとも一つであってよい。しかし、前述したものに制限されず、電子装置３００は、生体特徴データを基に部分コンテンツを決定できる限り、より多様なアルゴリズムを利用できる。

【0038】

多様な実施例において、電子装置３００は、ユーザの認知および／または集中による生体データを確認するためにマルチメディアコンテンツ（例：ゲームまたは動画等）を提供し、提供されたマルチメディアコンテンツを通して獲得されたユーザの生体データを学習して、学習された生体データと類似または一致する生体データに関連した少なくとも一つの部分コンテンツをユーザが注目した部分コンテンツとして検出できる。

【0039】

電子装置３００は、検出された少なくとも一つの部分コンテンツ及び少なくとも一つの部分コンテンツに関連した生体データを一つ以上のグループにグループ化できる。例えば、電子装置３００は、マシンラーニング技法等を利用して少なくとも一つの部分コンテンツ及び少なくとも一つの部分コンテンツに関連した生体データのうち類似した性格を有する少なくとも一つの部分コンテンツ及びそれに関連した生体データを一つ以上のグループにグループ化できる。このようなマシンラーニング技法は、ｋ－平均アルゴリズム（ｋ－ｍｅａｎｓ ａｌｇｏｒｉｔｈｍ）またはガウス混合モデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅl、ＧＭＭ）、ランダムフォレストモデル等を含むことができ、これに限定されず、グループ化のための多様な技法が利用され得る。

【0040】

電子装置３００は、各グループに属する少なくとも一つの部分コンテンツの場面を分析して各グループに対するユーザの感情状態を予測できる。ここで、感情状態は、少なくとも一つの部分コンテンツに含まれた場面それぞれに属するオブジェクト、風景、雰囲気、色味または音楽等を認知したユーザが感じる喜び、驚き、悲しみ、怒り、恐怖及び嫌悪等を意味し得る。例えば、特定グループの少なくとも一つの部分コンテンツに該当する場面がゲームアイテム獲得に関連する場合、電子装置３００は、特定グループに対するユーザの感情状態を「喜び」と予測できる。電子装置３００は、部分コンテンツに基づいてユーザの感情状態を分類するように構成された分類アルゴリズムに基づいて、ユーザの感情状態を最終的に決定できる。例えば、分類アルゴリズムは、ランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ）、ＧＮＢ（Ｇａｕｓｓｉａｎ ｎａ＿ｉｖｅ Ｂａｙｅｓ）、ＬＮＢ（ｌｏｃａｌｌｙ ｗｅｉｇｈｔｅｄ ｎａ＿ｉｖｅ Ｂａｙ）、及びＳＶＭ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）のうち少なくとも一つであってよい。しかし、前述したものに制限されず、電子装置３００は、部分コンテンツを基にユーザの感情を抽出できる限り、より多様なアルゴリズムを利用できる。これを利用して、電子装置３００は、少なくとも一つの部分コンテンツに該当する場面を分析して場面に属するオブジェクト、風景、雰囲気、色味または音楽等を認識し、認識されたオブジェクト、風景、雰囲気、色味及び音楽等のうち少なくとも一つに該当するユーザの感情状態を予測できる。

【0041】

多様な実施例において、電子装置３００は、各グループの少なくとも一つの部分コンテンツに対するユーザの感情状態情報を獲得するために、各グループの少なくとも一つの部分コンテンツに対するユーザの入力を受信することができる。例えば、電子装置３００は、ＨＭＤ装置１００を通して各グループの少なくとも一つの部分コンテンツに対するユーザの入力を獲得するためのインターフェース画面を提供し、インターフェース画面を通してユーザが各グループの少なくとも一つの部分コンテンツを認知して感じる感情状態に対する入力を受信することができる。ここで、インターフェース画面は、各グループの部分コンテンツを示す表示空間及び各グループに対するユーザの喜び、驚き、悲しみ、怒り、恐怖及び嫌悪等の感情状態を入力するための入力空間を含むか、感情状態に関連したタグ（ｔａｇ）を各グループにタギング（ｔａｇｇｉｎｇ）するためのグラフィック空間を含むことができる。インターフェース画面を通して特定グループの少なくとも一つの部分コンテンツに関連して入力された感情状態情報が「喜び」であれば、電子装置３００は、特定グループに対するユーザの感情状態を「喜び」と判断できる。多様な実施例において、電子装置３００は、各グループに対するユーザの感情状態が予測または判断された以後に獲得される生体データと、生体データに関連した少なくとも一つのコンテンツを、該当生体データと類似または一致する生体データが含まれたグループにグループ化できる。多様な実施例において、電子装置３００は、多様な組み合わせによってユーザの感情状態を予測できる。例えば、検出された顔の表情が笑う表情であっても検出された音楽が悲しい音楽に該当する場合、電子装置３００は、ユーザの感情状態を悲しみと予測できる。

【0042】

電子装置３００は、このように予測された感情状態に該当する各グループの少なくとも一つの部分コンテンツを利用してハイライト映像を生成できる。具体的に、電子装置３００は、各グループに属する少なくとも一つの部分コンテンツを配列順序によって配列し、配列された少なくとも一つの部分コンテンツを含むか編集したハイライト映像を生成できる。ここで、配列順序は、時間順序、ユーザの感情状態が高まる順序、ユーザの注目および／または集中度が高い順序等を含むが、これに限定されず、多様な順序が含まれ得る。例えば、ゲーム映像データから検出された少なくとも一つの部分コンテンツが３個のグループにグループ化され、第１グループに該当する少なくとも一つの部分コンテンツに対する感情状態が「喜び」であり、第２グループに該当する少なくとも一つの部分コンテンツに対する感情状態が「悲しみ」であり、第３グループに該当する少なくとも一つの部分コンテンツに対する感情状態が「恐怖」である場合、電子装置３００は、第１グループに該当する少なくとも一つの部分コンテンツ、第２グループに該当する少なくとも一つの部分コンテンツ、及び第３グループに該当する少なくとも一つの部分コンテンツを時間順序によって配列するか、ユーザの感情状態が高まる順序によって配列するか、ユーザの注目度および／または集中度が高い順序によって配列できる。電子装置３００は、このように配列された第１グループ、第２グループ、及び第３グループ別の少なくとも一つの部分コンテンツをハイライト映像として生成できる。多様な実施例において、電子装置３００は、少なくとも一つの部分コンテンツに対する結合、編集または効果適用等を通してハイライト映像を生成することもできる。

【0043】

提示された実施例においては、電子装置３００がＨＭＤ装置１００を通して獲得された生体データに基づいてマルチメディアコンテンツに関連したハイライト映像を生成するものと記載したが、これに限定されず、電子装置３００を備えることなく、ＨＭＤ装置１００が上述した電子装置３００の動作を遂行することで、獲得された生体データに基づいてマルチメディアコンテンツに関連したハイライト映像を生成することもできる。

【0044】

これを通して、本発明は、マルチメディアコンテンツに関連したユーザカスタマイズのハイライト映像を提供できる。

【0045】

下記においては、上述したＨＭＤ装置１００及び電子装置３００について、図２及び図３を参照してより詳細に説明する。

【0046】

図２は、本発明の実施例に係るＨＭＤ装置を説明するための概略図である。提示された実施例においては、表示部を含むＨＭＤ装置１００を述べることとする。図１及び図２を参照すると、ＨＭＤ装置１００は、通信部１１０、表示部１２０、格納部１３０、センサ１４０、及びプロセッサ１５０を含む。

【0047】

通信部１１０は、ＨＭＤ装置１００が外部装置と通信が可能であるように連結する。通信部１１０は、有／無線通信を利用して電子装置３００と連結され、多様な情報を送受信できる。ここで、有線通信は、ＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）、ＨＤＭＩ（登録商標）（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２（ｒｅｃｏｍｍｅｎｄｅｄ ｓｔａｎｄａｒｄ２３２）、電力線通信、またはＰＯＴＳ（ｐｌａｉｎ ｏｌｄ ｔｅｌｅｐｈｏｎｅ ｓｅｒｖｉｃｅ）等のうち少なくとも一つを含み、無線通信は、Ｗｉ－Ｆｉ（登録商標）（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）、ブルートゥース（登録商標）、低電力ブルートゥース（ＢＬＥ）、ジグビー（Ｚｉｇｂｅｅ（登録商標））、ＮＦＣ（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、磁力セキュアトランスミッション（Ｍａｇｎｅｔｉｃ Ｓｅｃｕｒｅ Ｔｒａｎｓｍｉｓｓｉｏｎ）、ラジオフリークエンシー（ＲＦ）、またはボディエリアネットワーク（ＢＡＮ）等のうち少なくとも一つを含むことができる。具体的に、通信部１１０は、電子装置３００からマルチメディアコンテンツを受信し、電子装置３００にセンサ１４０を通して獲得された生体データを伝達できる。

【0048】

表示部１２０は、ユーザに各種のコンデンツ（例：テキスト、イメージ、ビデオ、アイコン、バナーまたはシンボル等）を表示することができる。具体的に、表示部１２０は、電子装置３００から受信されたマルチメディアコンテンツを表示することができる。多様な実施例において、表示部１２０は、ユーザの生体データに基づいてグループ化された少なくとも一つの部分コンテンツに関連したユーザの感情状態情報を入力またはタギングするためのインターフェース画面を表示することができる。

【0049】

格納部１３０は、ユーザの生体データに基づいてマルチメディアコンテンツに関連したハイライト映像を生成するために使用される多様なデータを格納することができる。具体的に、格納部１３０は、センサ１４０を通して獲得されたユーザの生体データを格納することができる。格納部１３０は、電子装置から提供されたマルチメディアコンテンツを格納することができる。

【0050】

多様な実施例において、格納部１３０は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤまたはＸＤメモリ等）、ラム（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ロム（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの格納媒体を含むことができる。ＨＭＤ装置１００は、インターネット（ｉｎｔｅｒｎｅｔ）上で前記格納部１３０の格納機能を果たすウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）と関連して動作することもできる。

【0051】

センサ１４０は、ユーザの生体データを獲得するために使用される少なくとも一つのセンサを含み、例えば、ユーザの視線を追跡する視線追跡センサおよび／またはユーザの脳波を測定する脳波測定センサを含むことができる。例えば、視線追跡センサは、ユーザの目または顔を撮影するカメラセンサを含み、カメラセンサを通して撮影された映像を視線データとして出力するか、撮影された映像を分析してユーザの視線に対する位置座標を示す視線データを出力できる。多様な実施例において、ユーザの視線を追跡するために多様な方式が使用され得、映像分析以外にコンタクトレンズ方式（鏡内蔵コンタクトレンズの反射した光や、コイル内蔵コンタクトレンズの磁場を利用する視線追跡方式）またはセンサ取り付け方式（目の周囲にセンサを取り付けて目の動きによる電場を利用する視線追跡方式）等を利用してユーザの視線を追跡できる。また、脳波測定センサは、少なくとも一つのＥＥＧ（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ）センサ、ＭＥＧ（Ｍａｇｎｅｔｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）センサおよび／またはＮＩＲＳ（Ｎｅａｒ－Ｉｎｆｒａｒｅｄ Ｓｐｅｃｔｒｏｍｅｔｅｒ）等を含むことができる。脳波測定センサは、接触したユーザの身体部位から発生する多様な周波数の脳波あるいは脳の活性化状態によって変わる電気的／光学的周波数を測定して脳波データとして出力できる。

【0052】

プロセッサ１５０は、通信部１１０、表示部１２０、格納部１３０、及びセンサ１４０と動作可能に連結され、通信部１１０を通して電子装置３００から受信されたマルチメディアコンテンツを表示部１２０を通して表示し、マルチメディアコンテンツを表示する間、センサ１４０を通して獲得されたユーザの生体データを電子装置３００に伝達できる。提示された実施例においては、表示部を備えたＨＭＤ装置１００について説明したが、表示部を備えることなく、コンテンツ出力装置２００がＨＭＤ装置１００に実装される場合、プロセッサ１５０は、コンテンツ出力装置２００の表示部がマルチメディアコンテンツを表示する間、センサ１４０を通して獲得されたユーザの生体データを電子装置３００に伝達できる。

【0053】

多様な実施例において、ハイライト映像生成システム１０００が別途の電子装置３００を備えない場合、プロセッサ１５０は、表示部１２０を通してマルチメディアコンテンツを表示し、センサ１４０を通して獲得された生体データから生体特徴データを抽出できる。プロセッサ１５０は、抽出された生体特徴データに基づいてユーザが注目した少なくとも一つの部分コンテンツを検出できる。プロセッサ１５０は、検出された少なくとも一つの部分コンテンツに関連したユーザの感情状態を予測し、予測された感情状態によってハイライト映像を生成できる。

【0054】

図３は、本発明の実施例に係る電子装置を説明するための概略図である。

【0055】

図１及び図３を参照すると、電子装置３００は、通信部３１０、表示部３２０、格納部３３０、及びプロセッサ３４０を含む。

【0056】

通信部３１０は、サービス提供サーバ２００が外部装置と通信可能であるように連結する。前記通信部３１０は、有／無線通信を利用してユーザ端末１００と連結されて多様な情報を送受信できる。具体的に、通信部３１０は、ＨＭＤ装置１００にマルチメディアコンテンツを伝達し、ＨＭＤ装置１００からセンサ１４０を通して獲得されたユーザの生体データを受信することができる。

【0057】

表示部３２０は、ユーザに各種のコンデンツ（例：テキスト、イメージ、ビデオ、アイコン、バナーまたはシンボル等）を表示することができる。表示部３２０は、ＨＭＤ装置１００から受信されたユーザの生体データを示すインターフェース画面を表示することができる。多様な実施例において、表示部３２０は、マルチメディアコンテンツまたは少なくとも一つの部分コンテンツを表示することができる。多様な実施例において、表示部３２０は、ハイライト映像を表示することができる。

【0058】

格納部３３０は、ユーザの生体データを利用してマルチメディアコンテンツに関連したハイライト映像を生成するために使用される多様なデータを格納することができる。前記格納部３３０は、ＨＭＤ装置１００に提供するためのマルチメディアコンテンツを格納し、ＨＭＤ装置１００から受信された生体データを格納することができる。多様な実施例において、格納部３３０は、プロセッサ３４０の動作によって使用または生成される多様なデータを格納することができる。特に、格納部３３０は、少なくとも一つの部分コンテンツおよび／またはハイライト映像を格納することができる。

【0059】

プロセッサ３４０は、通信部３１０、表示部３２０及び格納部３３０と動作可能に連結され、通信部３１０を通してＨＭＤ装置１００にマルチメディアコンテンツを伝達し、ＨＭＤ装置１００からマルチメディアコンテンツが表示される間にＨＭＤ装置１００のセンサ１４０を通して獲得されたユーザの生体データを受信することができる。プロセッサ３４０は、受信された生体データから生体特徴データを抽出し、抽出された生体特徴データに基づいてユーザが注目した少なくとも一つの部分コンテンツを検出できる。具体的に、プロセッサ３４０は、脳波データから脳波特徴データを抽出および／または、視線データから視線特徴データを抽出することができる。

【0060】

プロセッサ３４０は、ディープラーニングアルゴリズムおよび／または分類／回帰分析アルゴリズムに基づいて生体特徴データを抽出し、部分コンテンツを検出し、ユーザの感情状態を決定できる。例えば、プロセッサ３４０は、ＨＭＤ装置１００のセンサ１４０を通して獲得されたユーザの脳波データおよび／または視線データから、脳波特徴データおよび／または視線特徴データを抽出するように学習されたディープラーニングアルゴリズムに基づいて脳波特徴データおよび／または視線特徴データを抽出することができる。このとき、ディープラーニングアルゴリズムは、ＤＮＮ、ＣＮＮ、ＤＣＮＮ、ＲＮＮ、ＲＢＭ、ＤＢＮ、ＳＳＤのうち少なくとも一つであってよい。しかし、前述したものに制限されず、プロセッサ３４０は、ＨＭＤ装置１００から受信された生体データを基に生体特徴データを抽出できる限り、より多様なアルゴリズムを利用できる。

【0061】

プロセッサ３４０は、抽出された脳波または視線特徴データが特定条件を満たすと、特定条件に満たす脳波または視線特徴データに関連した少なくとも一つの部分コンテンツをユーザが注目した部分コンテンツとして検出できる。ここで、ユーザが注目した部分コンテンツは、ユーザが注目した場面それぞれに該当するフレームを含むことができる。例えば、特定条件は、脳波の特定周波数領域の帯域電力または脳波のアルファ波とベータ波のエネルギー比率がそれぞれの閾値以上である場合および／または視線凝視時間または視線追跡時間がそれぞれの閾値以上であるか、瞬き回数が閾値以下である場合を含むことができる。

【0062】

プロセッサ３４０は、生体特徴データに基づいて感情と関連性の高い部分コンテンツを検出するように構成されたディープラーニングアルゴリズムに基づいて該当部分コンテンツを検出できる。例えば、プロセッサ３４０は、脳波特徴データの脳波の特定周波数領域の帯域電力または脳波のアルファ波とベータ波のエネルギー比率を基盤としてユーザが注目した部分コンテンツを抽出するように構成されたディープラーニングアルゴリズムに基づいて、ユーザの注目度が高い部分コンテンツを決定できる。他の例を挙げて、プロセッサ３４０は、視線特徴データとして視線凝視時間または瞬き回数を基盤としてユーザが注目した部分データを抽出するように構成されたディープラーニングアルゴリズムに基づいて、ユーザの注目度が高い部分コンテンツを決定できる。このとき、ディープラーニングアルゴリズムは、ＤＮＮ、ＣＮＮ、ＤＣＮＮ、ＲＮＮ、ＲＢＭ、ＤＢＮ、ＳＳＤのうち少なくとも一つであってよい。しかし、前述したものに制限されず、プロセッサ３４０は、生体特徴データを基に部分コンテンツを決定できる限り、より多様なアルゴリズムを利用できる。

【0063】

プロセッサ３４０は、検出された少なくとも一つの部分コンテンツに関連したユーザの感情状態を予測し、予測された感情状態によってマルチメディアコンテンツに関連したハイライト映像を生成できる。具体的に、プロセッサ３４０は、ユーザが注目した少なくとも一つの部分コンテンツに関連した生体データを利用してユーザが注目した部分コンテンツを特定個数のグループに分類するためにマシンラーニング技法を利用できる。このようなマシンラーニング技法は、ｋ－平均アルゴリズム、ガウス混合モデル、またはランダムフォレストモデル等を含むことができ、これに限定されず、グループ化のための多様な技法が利用され得る。また、特定個数は、ユーザによって予め定められるか、マシンラーニングアルゴリズムによって自動で定められ得る。例えば、プロセッサ３４０は、互いに類似または一致する生体データ及び該当生体データに対応する少なくとも一つの部分コンテンツを同じグループにクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）できる。プロセッサ３４０は、生体データ間の差が閾値以下に該当する場合、該当生体データを互いに類似または一致すると判断できる。

【0064】

プロセッサ３４０は、各グループに該当する少なくとも一つの部分コンテンツに属した場面を分析して各グループに対するユーザの感情状態を予測できる。プロセッサ３４０は、少なくとも一つの部分コンテンツに基づいてユーザの感情状態を分類するように構成された分類アルゴリズムを基に、ユーザの感情状態を最終的に決定できる。例えば、分類アルゴリズムは、ランダムフォレスト、ＧＮＢ、ＬＮＢ、及びＳＶＭのうち少なくとも一つであってよい。しかし、前述したものに制限されず、プロセッサ３４０は、部分コンテンツを基にユーザの感情を抽出できる限り、より多様なアルゴリズムを利用できる。これを利用して、プロセッサ３４０は、少なくとも一つの部分コンテンツに該当する場面を分析して場面に属するオブジェクト、風景、雰囲気、色味または音楽等を認識し、認識されたオブジェクト、風景、雰囲気、色味及び音楽等のうち少なくとも一つに該当するユーザの感情状態を予測できる。

【0065】

多様な実施例において、プロセッサ３４０は、各場面で顔を検出し、検出された顔の表情を認識して、認識された表情によるユーザの感情状態を予測できる。電子装置３００は、人工神経網アルゴリズムを利用して表情を認識でき、これに限定されず、顔認識のための多様な技法が利用され得る。認識された表情が笑う表情である場合、電子装置３００は、ユーザの感情状態を喜びと予測し、認識された表情が泣く表情である場合、ユーザの感情状態を悲しみと予測できる。電子装置３００は、認識された表情によるユーザの感情状態を予測するために推論アルゴリズムを利用でき、これに限定されず、表情によるユーザの感情状態を予測するための多様な技法が利用され得る。多様な実施例において、プロセッサ３４０は、各場面での色味及び音楽を認識し、認識された色味及び音楽によるユーザの感情状態を予測できる。例えば、認識された色味が暗い色であり、認識された音楽が暗い雰囲気の音楽である場合、プロセッサ３４０は、ユーザの感情状態を恐怖と予測できる。

【0066】

多様な実施例において、プロセッサ３４０は、各グループの少なくとも一つの部分コンテンツに対するユーザの感情状態情報を獲得するために各グループの少なくとも一つの部分コンテンツに対するユーザの入力を受信することができる。例えば、電子装置３００は、ＨＭＤ装置１００を通して各グループの少なくとも一つの部分コンテンツに対するユーザの入力を獲得するためのインターフェース画面を提供し、インターフェース画面を通してユーザが各グループの少なくとも一つの部分コンテンツを認知して感じる感情状態に対する入力を受信することができる。ここで、インターフェース画面は、各グループの部分コンテンツを示す表示空間及び各グループに対するユーザの感情状態を入力するための入力空間を含むことができる。多様な実施例において、インターフェース画面は、表示空間と共に感情状態に関連したタグを各グループにタギングするためのグラフィック空間を含むことができる。例えば、特定グループに関連してユーザによってタギングされたタグが「恐怖」に該当する場合、プロセッサ３４０は、特定グループに対するユーザの感情状態を「恐怖」と判断できる。

【0067】

多様な実施例において、プロセッサ３４０は、ハイライト映像を生成するための動作以前にＨＭＤ装置１００を通してユーザの感情状態を予測するためのサンプルマルチメディアデータを提供し、ユーザからサンプルマルチメディアデータに関するユーザの感情状態を示す入力を獲得してサンプルマルチメディアデータ及び獲得された感情状態を各グループに対するユーザの感情状態を判断するために使用することができる。例えば、プロセッサ３４０は、ＨＭＤ装置１００を通して任意の動画に対するユーザの感情状態を獲得するためのインターフェース画面を提供し、インターフェース画面を通して特定動画に対するユーザの感情状態を示す情報を獲得できる。インターフェース画面は、任意の動画を表示するための表示空間及び該当動画を見てユーザが感じる感情を示す感情情報を入力するための入力空間を含むことができる。インターフェース画面を通してユーザから特定動画に関するユーザの感情状態を示す感情情報が入力されると、プロセッサ３４０は、入力された感情情報と任意の動画をマッピングし、マッピングされた感情情報及び任意の動画を学習できる。これを通して、プロセッサ３４０は、ハイライト映像を生成するために各グループに対するユーザの感情状態を予測するとき、学習された動画と類似または一致する動画を学習された動画にマッピングされた感情情報として予測できる。

【0068】

多様な実施例において、プロセッサ３４０は、各グループに関連して予測されたユーザの感情状態を補正するために各グループに対するユーザの入力を受信することもできる。例えば、プロセッサ３４０は、ＨＭＤ装置１００を通してユーザの感情状態が既に予測されたグループに対するユーザの感情状態を示す感情情報をユーザから獲得するためのインターフェース画面を提供し、インターフェース画面を通してユーザから獲得された感情情報を利用して該当グループに対するユーザの感情状態を補正できる。インターフェース画面は、各グループに属した少なくとも一つの部分コンテンツを表示する表示空間及び該当グループに対するユーザの感情状態を示す感情情報を入力するための入力空間を含むことができる。特定グループに関連して予測された感情状態が「恐怖」であり、インターフェース画面を通してユーザから獲得された感情情報が「嫌悪」である場合、プロセッサ３４０は、特定グループに関連して予測された感情状態を「恐怖」から「嫌悪」に補正できる。

【0069】

多様な実施例において、プロセッサ３４０は、各グループ、各グループに属した少なくとも一つの部分コンテンツ、該当部分コンテンツに関連した生体データ及び各グループに関連して予測された感情状態等を補正するためのユーザの選択または入力を受信することができる。例えば、プロセッサ３４０は、ＨＭＤ装置１００を通して各グループ、各グループに属した少なくとも一つの部分コンテンツ、該当部分コンテンツに関連した生体データ及び各グループに関連して予測された感情状態等を補正するためのインターフェース画面を提供できる。インターフェース画面は、各グループに属した少なくとも一つの部分コンテンツ、部分コンテンツに関連した生体データ及び各グループに関連して予測された感情状態を修正（または補正）するための多様なグラフィック客体（例：テキスト、イメージ、アイコン等）を含むことができる。このようなグラフィック客体は、ユーザによって移動または修正可能であるように構成され得る。ユーザは、インターフェース画面を通して特定グループに属した少なくとも一つの部分コンテンツ及び生体データを他のグループに移動させるか、特定グループに関連して予測された感情状態を修正するか、特定グループに属した少なくとも一つの部分コンテンツまたは生体データを削除するか、感情状態を示すタグを「悲しみ」から「絶望」に変更する等の多様な動作を遂行することができる。これを通して、本発明は、ユーザの入力または選択等によって各グループに該当する少なくとも一つの部分コンテンツに関するユーザの感情状態を正確に確認することができる。

【0070】

各グループに対するユーザの感情状態を予測または判断する動作が完了すると、プロセッサ３４０は、各グループに属する少なくとも一つの部分コンテンツを利用してハイライト映像を生成できる。具体的に、プロセッサ３４０は、電子装置３００は各グループの少なくとも一つの部分コンテンツを配列順序によって配列し、配列された少なくとも一つの部分コンテンツを含むハイライト映像を生成できる。ここで、配列順序は、時間順序、ユーザの感情状態が高まる順序、ユーザの注目および／または集中度が高いか低い順序、またはユーザがおもしろいと感じるかおもしろくないと感じる順序等を含むが、これに限定されず、多様な順序が含まれ得る。プロセッサ３４０は、生体特徴データに基づいてユーザの感情状態が高まる順序、ユーザの注目および／または集中度が高いか低い順序、またはユーザがおもしろいと感じるかおもしろくないと感じる順序等を判断できる。例えば、プロセッサ３４０は、脳波のアルファ波及びベータ波のエネルギー比率のピーク（ｐｅaｋ）値が低い順から高い順を感情状態が高まる順序として判断するか、脳波の特定周波数領域の帯域電力のピーク値が高ければ、ユーザの注目および／または集中度が高いかユーザがおもしろいと感じるものと判断でき、これに限定されず、多様な方式が利用され得る。

【0071】

下記においては、映画等のような動画データから検出された少なくとも一つの部分コンテンツが４個のグループにグループ化され、第１グループに該当する少なくとも一つの部分コンテンツに対する感情状態が「楽しみ」であり、第２グループに該当する少なくとも一つの部分コンテンツに対する感情状態が「悲しみ」であり、第３グループに該当する少なくとも一つの部分コンテンツに対する感情状態が「恐れ」であり、第４グループに該当する少なくとも一つの部分コンテンツに対する感情状態が「安堵」であり、時間順序が第１グループから第４グループの順である場合、配列順序によって部分コンテンツを配列する実施例を説明する。このような場合、プロセッサ３４０は、時間順序によって第１グループ、第２グループ、第３グループ、及び第４グループの順に少なくとも一つの部分コンテンツを配列できる。多様な実施例において、ユーザの感情状態が悲しみ、恐れ、安堵、楽しみの順に高まる場合、プロセッサ３４０は、第２グループ、第３グループ、第４グループ、及び第１グループの順に少なくとも一つの部分コンテンツを配列できる。多様な実施例において、ユーザの注目および／または集中度が第４グループ、第１グループ、第２グループ、及び第３グループの順に高い場合、プロセッサ３４０は、第４グループ、第１グループ、第２グループ、及び第３グループの順に少なくとも一つの部分コンテンツを配列できる。多様な実施例において、プロセッサ３４０は、ユーザの関心客体が含まれた部分コンテンツの順に少なくとも一つの部分コンテンツを配列することもできる。例えば、プロセッサ３４０は、ユーザの視線データ及び脳波データを分析して少なくとも一つの部分コンテンツでユーザの視線が特定回数以上または特定時間以上位置するオブジェクトを関心客体として認識し、認識されたオブジェクトが含まれた部分コンテンツの順に少なくとも一つの部分コンテンツを配列することもできる。多様な実施例において、プロセッサ３４０は、ユーザの関心客体が含まれた少なくとも一つの部分コンテンツをユーザの感情状態が高まる順に配列することもできる。例えば、プロセッサ３４０は、各グループに属する少なくとも一つの部分コンテンツのうちユーザの関心客体に含まれた少なくとも一つの部分コンテンツを抽出し、抽出された少なくとも一つの部分コンテンツに関連したユーザの生体データを確認してユーザの感情状態が高まる順に配列することもできる。

【0072】

プロセッサ３４０は、このように配列された少なくとも一つの部分コンテンツを含むハイライト映像を生成できる。例えば、プロセッサ３４０は、少なくとも一つの部分コンテンツを結合、編集または効果適用を通してハイライト映像に生成できる。

【0073】

これを通して、本発明は、ユーザの感情状態によるユーザカスタマイズのハイライト映像を生成及び提供でき、ユーザが注目するオブジェクト中心のハイライト映像を提供できてユーザの満足度を高めることができる。

【0074】

多様な実施例において、プロセッサ３４０は、ハイライト映像を生成するための動作以前にユーザが注目した少なくとも一つの部分コンテンツを検出するために基準生体特徴データ（例：基準脳波特徴データおよび／または基準視線特徴データ）を設定できる。例えば、プロセッサ３４０は、ユーザが安らかな状態に該当する脳波データを獲得するためのマルチメディア映像データをＨＭＤ装置１００に提供し、ＨＭＤ装置１００からユーザがマルチメディア映像データを視聴する間に獲得された脳波データを受信することができる。例えば、プロセッサ３４０は、黒色の壁紙上に白色の十字架が位置し、ユーザが白色の十字架を凝視するようにするための案内文句が含まれたマルチメディア映像データをＨＭＤ装置１００に提供できる。多様な実施例において、プロセッサ３４０は、ユーザが安らかさを感じるようにするための穏やかな音楽に該当するオーディオデータをＨＭＤ装置１００にさらに提供することもできる。ＨＭＤ装置１００からユーザが白色の十字架を凝視する間にセンサ１４０を通して獲得されたユーザの脳波データが受信されると、プロセッサ３４０は、獲得された脳波データから脳波特徴データを抽出し、抽出された脳波特徴データを基準脳波特徴データに設定できる。プロセッサ３４０は、このように設定された基準脳波特徴データを利用してユーザが集中および／または注目した少なくとも一つの部分コンテンツを検出できる。プロセッサ３４０は、抽出された脳波特徴データと基準脳波特徴データとを比較して二つのデータの差が閾値以上である場合、獲得された脳波データに関連した少なくとも一つの部分コンテンツをユーザが注目した部分コンテンツと判断できる。

【0075】

多様な実施例において、ＨＭＤ装置１００からユーザが白色の十字架を凝視する間にセンサ１４０を通して獲得されたユーザの視線データが受信されると、プロセッサ３４０は、獲得された視線データから視線特徴データを抽出し、抽出された視線特徴データを基準視線特徴データに設定できる。プロセッサ３４０は、このように設定された基準視線特徴データを利用してユーザが集中および／または注目した少なくとも一つの部分コンテンツを検出できる。プロセッサ３４０は、抽出された視線特徴データと基準視線特徴データとを比較して二つのデータの差が閾値以上である場合、獲得された視線データに関連した少なくとも一つの部分コンテンツをユーザが注目した部分コンテンツと判断できる。

【0076】

多様な実施例において、プロセッサ３４０は、ユーザの視線が凝視する位置を予測するために、ＨＭＤ装置１００からユーザが特定位置を凝視する間に獲得された視線データを学習できる。例えば、プロセッサ３４０は、ユーザの視線動きを示す視線データを獲得するためのマルチメディア映像データをＨＭＤ装置１００に提供し、ＨＭＤ装置１００からユーザがマルチメディア映像データを視聴する間に獲得された視線データを受信することができる。例えば、プロセッサ３４０は、黒色の壁紙上の白色の点それぞれが多様な位置で点滅するように構成されたマルチメディア映像データをＨＭＤ装置１００に提供できる。

【0077】

ＨＭＤ装置１００からユーザが白色の点それぞれが点滅する多様な位置に視線を置く間にセンサ１４０を通して獲得されたユーザの視線データが受信されると、プロセッサ３４０は、獲得された視線データを学習することで、学習以後にＨＭＤ装置１００から受信される視線データを利用してユーザの視線が凝視する位置を予測できる。

【0078】

上述した基準生体データ設定動作は、選択的になされ得る。例えば、プロセッサ３４０が学習を通してユーザが注目した部分コンテンツを検出する場合、基準生体データ設定動作が遂行されなくてよい。

【0079】

上述したインターフェース画面及びインターフェース画面に含まれる空間及びグラフィック客体等は、上述した内容に限定されず、特定データを獲得するために多様な方式で構成され得る。

【0080】

図４は、本発明の実施例に係る電子装置でユーザの生体データに基づいてマルチメディアコンテンツに関連したハイライト映像を生成する方法を説明するための概略的なフローチャートである。以下においては、便宜のために、ＨＭＤ装置１００と電子装置３００が分離されて動作するものと説明されるが、これに制限されず、図４の全ての動作は、一つのＨＭＤ装置１００またはＨＭＤ装置１００と連結可能なコンテンツ出力装置２００で遂行されてもよい。

【0081】

図１及び図４を参照すると、電子装置３００は、ユーザの脳波及び視線データのうち少なくとも一つを含む生体データを獲得するように構成されたＨＭＤ装置１００を通してマルチメディアコンテンツを提供する（Ｓ４００）。電子装置３００は、ＨＭＤ装置１００を通してマルチメディアコンテンツに関連した生体データを獲得できる（Ｓ４１０）。電子装置３００は、獲得された生体データに基づいてユーザが注目した少なくとも一つの部分コンテンツを検出する（Ｓ４２０）。具体的に、電子装置３００は、獲得された生体データから生体特徴データを抽出し、抽出された生体特徴データに基づいてユーザが注目した少なくとも一つの部分コンテンツを検出できる。電子装置３００は、検出された少なくとも一つの部分コンテンツに関連したユーザの感情状態を予測し（Ｓ４３０）、予測された感情状態によってハイライト映像を生成する（Ｓ４４０）。具体的に、電子装置３００は、検出された少なくとも一つの部分コンテンツ及び少なくとも一つの部分コンテンツに関連した生体データを一つ以上のグループにグループ化し、各グループの少なくとも一つの部分コンテンツの場面を分析して各グループに対するユーザの感情状態を予測できる。電子装置３００は、このように予測された感情状態に該当する各グループの少なくとも一つの部分コンテンツを利用してハイライト映像を生成できる。

【0082】

図５ａ、図５ｂ、図５ｃ及び図５ｄは、本発明の実施例に係る電子装置でユーザの生体データに基づいてマルチメディアコンテンツに関するハイライト映像を生成する方法を説明するための例示図である。提示された実施例においては、ユーザの生体データに基づいて映画に該当するマルチメディアコンテンツに関するハイライト映像を生成する方法を説明する。

【0083】

図１及び図５ａを参照すると、電子装置３００は、ＨＭＤ装置１００を通して図５ａの（ａ）のようなマルチメディアコンテンツ５００を提供できる。ＨＭＤ装置１００を通してマルチメディアコンテンツ５００が表示される間、電子装置３００は、ＨＭＤ装置１００からユーザの生体データを獲得し、獲得された生体データから生体特徴データを抽出することができる。例えば、生体データが脳波データである場合、脳波データから抽出された脳波特徴データは、図５ａの（ｂ）のような時間別の脳波のアルファ波及びベータ波のエネルギー比率に対するグラフとして示すことができる。ここで、時間は、マルチメディアコンテンツ５００の再生時間であってよい。電子装置３００は、マルチメディアコンテンツで脳波のアルファ波及びベータ波のエネルギー比率が閾値（ａ）以上に該当する少なくとも一つの部分コンテンツを検出できる。エネルギー比率が閾値（ａ）以上に該当する少なくとも一つの部分コンテンツは、再生時間Ｈ１に該当する第１部分コンテンツ５０２、再生時間Ｈ２に該当する第２部分コンテンツ５０４、及び再生時間Ｈ３に該当する第３部分コンテンツ５０６を含むことができる。電子装置３００は、このように検出された少なくとも一つの部分コンテンツ及び部分コンテンツに関連した脳波データを一つ以上のグループにグループ化できる。例えば、電子装置３００は、ｋ－平均アルゴリズムを利用して互いに類似または一致する少なくとも一つの部分コンテンツ及び部分コンテンツに関連した脳波データを一つ以上のグループにグループ化できる。このようにグループ化された少なくとも一つの部分コンテンツ及び部分コンテンツに関連した脳波データは、図５ｂのようなグラフで表示され得る。

【0084】

図５ｂを参照すると、少なくとも一つの部分コンテンツ及び部分コンテンツに関連した脳波データは、第１グループ５１０及び第２グループ５２０を含む二つのグループにグループ化され得る。第１グループ５１０に第１部分コンテンツ５０２が含まれ、第２グループ５２０に第２部分コンテンツ５０４及び第３部分コンテンツ５０６が含まれる場合、第１部分コンテンツ５０２は、第２部分コンテンツ５０４及び第３部分コンテンツ５０６と互いに異なる性格を有し、第２部分コンテンツ５０４は、第３部分コンテンツ５０６と互いに類似または一致する性格を有すると見られる。

【0085】

電子装置３００は、このように二つのグループそれぞれに属する第１部分コンテンツ５０２、第２部分コンテンツ５０４及び第３部分コンテンツ５０６の場面を分析して各グループに対するユーザの感情状態を予測できる。具体的に、電子装置３００は、マシンラーニング技法（例：ディープラーニングおよび／または分類アルゴリズム等）を利用して第１部分コンテンツ５０２、第２部分コンテンツ５０４及び第３部分コンテンツ５０６の場面それぞれに含まれたオブジェクト、風景、雰囲気、色相または音楽等を分析して第１部分コンテンツ５０２が属した第１グループに対するユーザの感情状態及び第２部分コンテンツ５０４及び第３部分コンテンツ５０６が属した第２グループに対するユーザの感情状態を予測できる。例えば、電子装置３００は、第１部分コンテンツ５０２、第２部分コンテンツ５０４及び第３部分コンテンツ５０６それぞれの場面で顔を検出し、検出された顔の表情を認識して、認識された表情によるユーザの感情状態を予測できる。例えば、第１部分コンテンツ５０２に関連して認識された表情が笑う表情である場合、電子装置３００は、第１グループ５１０に対するユーザの感情状態を「喜び」と予測できる。第２部分コンテンツ５０４に関連して認識された表情が無表情であり、第３部分コンテンツ５０６に関連して認識された表情が悲しい表情である場合、電子装置３００は、第２グループ５２０に対するユーザの感情状態を「不機嫌」と予測できる。電子装置３００は、図５ｃのように、第１グループ５１０と第１グループ５１０に関連して予測された感情状態（喜び）をマッピングし、第２グループ５２０と第２グループ５２０に関連して予測された感情状態（不機嫌）をマッピングできる。

【0086】

電子装置３００は、このように感情状態が予測された第１グループ５１０及び第２グループ５２０それぞれに属する少なくとも一つの部分コンテンツを利用してハイライト映像を生成できる。具体的に、電子装置３００は、配列順序によって少なくとも一つの部分コンテンツを配列し、配列された少なくとも一つの部分コンテンツを含むハイライト映像を生成できる。例えば、再生時間順序が第１、第２及び第３部分コンテンツの順である場合、電子装置３００は、図５ｄの（ａ）のように再生時間順序で第１、第２及び第３部分コンテンツ５０２、５０４、５０６を配列し、配列された第１、第２及び第３部分コンテンツ５０２、５０４、５０６を含むハイライト映像を生成できる。多様な実施例において、ユーザの感情が高まった順序が第２、第３及び第１部分コンテンツの順である場合、電子装置３００は、図５ｄの（ｂ）のようにユーザの感情が高まった順序で第２、第３及び第１部分コンテンツ５０４、５０６、５０２を配列し、配列された第２、第３及び第１部分コンテンツ５０４、５０６、５０２を含むハイライト映像を生成できる。多様な実施例において、ユーザの注目および／または集中度が高い順序が第２、第１及び第３部分コンテンツの順である場合、電子装置３００は、図５ｄの（ｃ）のようにユーザの注目および／または集中度が高い順序で第２、第１及び第３部分コンテンツ５０４、５０２、５０６を配列し、配列された第２、第１及び第３部分コンテンツ５０４、５０２、５０６を含むハイライト映像を生成できる。生成されたハイライト映像は、ＨＭＤ装置１００、コンテンツ出力装置２００または電子装置３００で再生できる。

【0087】

多様な実施例において、電子装置３００は、少なくとも一つの部分コンテンツを結合および／または編集等を通してハイライト映像を生成でき、これに限定されず、少なくとも一つの部分コンテンツのうちいずれか一つ以上の部分コンテンツに多様な効果を適用することもできる。多様な効果は、テキスト／アイコン／イメージ入力、合成、オーバーレイ、光のにじみ、色相反転、白黒－カラー転換、特定色強調等を含み、これに限定されない。

【0088】

このように、本発明は、ユーザがマルチメディアコンテンツを視聴または体験する間に獲得されたユーザの生体データを利用してマルチメディアコンテンツに関連したハイライト映像を生成することで、ユーザカスタマイズのハイライト映像を提供できる。

【0089】

また、本発明は、ユーザが注目するオブジェクト中心のハイライト映像を提供でき、ユーザの満足度を高めることができる。

【0090】

本発明の実施例に係る装置及び方法は、多様なコンピュータ手段を通して遂行され得るプログラム命令形態に具現され、コンピュータ読み取り可能媒体に書き込まれ得る。コンピュータ読み取り可能媒体は、プログラム命令、データファイル、データ構造等を単独でまたは組み合わせて含むことができる。

【0091】

コンピュータ読み取り可能媒体に書き込まれるプログラム命令は、本発明のために特に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知になって使用可能なものであってもよい。コンピュータ読み取り可能書き込み媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリ等のようなプログラム命令を格納して遂行するように特に構成されたハードウェア装置が含まれる。また、上述した媒体は、プログラム命令、データ構造等を指定する信号を伝送する搬送波を含む光または金属線、導波管等の伝送媒体であってもよい。プログラム命令の例には、コンパイラにより作られるもののような機械語コードだけではなく、インタプリタ等を使用してコンピュータにより実行され得る高級言語コードを含む。

【0092】

上述したハードウェア装置は、本発明の動作を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。

【0093】

以上、添付の図面を参照して、本発明の実施例をさらに詳細に説明したが、本発明は、必ずしもこのような実施例に限定されるものではなく、本発明の技術思想を外れない範囲内で多様に変形実施され得る。従って、本発明に開示された実施例は、本発明の技術思想を限定するためのものではなく、説明するためのものであり、このような実施例によって本発明の技術思想の範囲が限定されるものではない。それゆえ、以上において記述した実施例は、全ての面で例示的なものであり、限定的ではないものと理解すべきである。本発明の保護範囲は、下記の特許請求の範囲によって解釈されるべきであり、それと同等な範囲内にある全ての技術思想は、本発明の権利範囲に含まれるものと解釈されるべきである。

【符号の説明】

【0094】

１００：ＨＭＤ装置
２００：コンテンツ出力装置
３００：電子装置
１０００：ハイライト映像生成システム

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図5c】

【図5d】

【国際調査報告】