特表 2022-530885 多重反応型映像制作方法、多重反応型映像メタデータ生成方法、人間の行動を理解するための相互作用データ分析方法及びこれを用いたプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-07-04

(54)【発明の名称】多重反応型映像制作方法、多重反応型映像メタデータ生成方法、人間の行動を理解するための相互作用データ分析方法及びこれを用いたプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220627BHJP

   H04N 5/92 20060101ALI20220627BHJP

   H04N 5/91 20060101ALI20220627BHJP

【ＦＩ】

G06T19/00 A

H04N5/92 010

H04N5/91

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021563601

(86)(22)【出願日】2020-04-27

(85)【翻訳文提出日】2021-12-24

(86)【国際出願番号】 KR2020005493

(87)【国際公開番号】W WO2020218899

(87)【国際公開日】2020-10-29

(31)【優先権主張番号】10-2019-0049071

(32)【優先日】2019-04-26

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2020-0050470

(32)【優先日】2020-04-27

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】519081606

【氏名又は名称】イ，チョル ウ

【氏名又は名称原語表記】ＬＥＥ， Ｃｈｕｌ Ｗｏｏ

【住所又は居所原語表記】５０９ｈｏ， １１３， Ｔｅｈｅｒａｎ－ｒｏ， Ｇａｎｇｎａｍ－ｇｕ， Ｓｅｏｕｌ ０６１３４， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(72)【発明者】

【氏名】イ，チョル ウ

【テーマコード（参考）】

5B050

5C053

【Ｆターム（参考）】

5B050BA09

5B050BA12

5B050BA13

5B050CA07

5B050DA10

5B050EA07

5B050EA12

5B050EA18

5B050EA27

5B050EA28

5B050FA02

5B050FA09

5B050GA08

5C053FA14

5C053GB06

5C053JA21

5C053LA11

(57)【要約】

【要約】本発明は、多重反応型映像生成ファイル生成方法及びプログラムに関する。本発明の一実施例に係る多重反応型映像生成ファイル生成方法は、コンピュータが基礎映像を獲得し、前記基礎映像は、ユーザの操作にしたがう反応型に具現しようとする対象体の動きを含むオリジナル映像である基礎映像獲得段階と；コンピュータが前記基礎映像を基に圧縮映像を生成し、前記圧縮映像は、反応型にユーザの操作にしたがう、具現しようとする対象体の動きのみを含む圧縮映像生成段階と；コンピュータが多重反応型映像生成条件を受信し、前記多重反応型映像生成条件は、前記圧縮映像で生成可能な反応に対応する複数の操作入力である多重反応型映像生成条件受信段階と；前記生成条件を前記圧縮映像に適用して多重反応型映像を生成する段階とを含む。本発明によると、多重反応型映像生成ファイルを一般動画や複数の映像フレームの組み合わせと共に再生することにより、多様なアクション(即ち反応)を適用できる。

【特許請求の範囲】

【請求項1】

コンピュータが基礎映像を獲得し、前記基礎映像は、ユーザの操作にしたがう反応型に具現しようとする対象体の動きを含むオリジナル映像である、基礎映像獲得段階と、
コンピュータが前記基礎映像を基に圧縮映像を生成し、前記圧縮映像は、反応型に、ユーザの操作にしたがう具現しようとする対象体の動きのみを含むものである、圧縮映像生成段階と、
コンピュータが多重反応型映像生成条件を受信し、前記多重反応型映像生成条件は、前記圧縮映像にて生成可能な反応に対応する複数の操作入力である、多重反応型映像生成条件受信段階と、
前記生成条件を前記圧縮映像に適用して多重反応型映像を生成する段階と、
を含む、多重反応型映像生成方法。

【請求項2】

前記圧縮映像生成段階は、
前記基礎映像から、映像区間の分割又は映像フレームの類似度の認識により、反応型に具現しない映像フレームを削除することを特徴とする請求項１に記載の多重反応型映像生成方法。

【請求項3】

前記圧縮映像生成段階は、
同一の対象体を含む第１基礎映像及び第２基礎映像が、前記対象体についての同一経路に対する動きを含む場合、
前記コンピュータが、前記第１基礎映像及び前記第２基礎映像から、同一経路の動きが含まれている区間映像を抽出し、前記第１基礎映像及び前記第２基礎映像のうちの何れか１つに含まれている、重複区間の映像を残すことを特徴とする請求項１に記載の多重反応型映像生成方法。

【請求項4】

前記圧縮映像生成段階は、
前記基礎映像が第１位置から第２位置へ移動する第１区間映像、及び、前記第２位置から前記第１位置へ移動する第２区間映像を含む場合、
コンピュータが前記第１区間映像のみを圧縮映像内に残し、前記第２位置から前記第１位置への前記対象体の移動を生成するユーザ操作の入力時に、前記第１区間映像を逆に再生するように設定することを特徴とする請求項１に記載の多重反応型映像生成方法。

【請求項5】

前記圧縮映像生成段階は、
前記基礎映像が、特定の基準時点の前後に、対象体の外形の変化が異なる第１事件区間及び第２事件区間を含む場合、
前記第１事件区間を順方向に再生した後に、前記第２事件区間を続けて再生する第１再生タイプ、及び、第１事件区間を順方向に再生した後に、逆方向への再生を行う第２再生タイプを設定することを特徴とし、
前記多重反応型映像生成条件受信段階は、
同一のユーザ操作のタイプに対して、特定の基準操作の強度、基準移動の長さ、基準操作の速度、又は、基準操作の時間長を基に、第１操作と第２操作とを分け、前記第１再生タイプ及び前記第２再生タイプを連結することを特徴とする請求項１に記載の多重反応型映像生成方法。

【請求項6】

前記圧縮映像生成段階は、
前記基礎映像の全体又は前記基礎映像内の特定の区間映像に含まれている複数の映像フレーム内に、変化が発生しない背景領域を含む場合、
コンピュータが、前記基礎映像又は前記区間映像内から前記背景映像を抽出した後、前記基礎映像又は前記区間映像の初期フレーム内にのみ前記背景領域を含み、その後の映像フレームに、１つ以上の抽出領域のみを残すことを特徴とし、
前記抽出領域は、前記基礎映像内にて対象体の動きに変化が発生する領域であることを特徴とする請求項１に記載の多重反応型映像生成方法。

【請求項7】

前記圧縮映像生成段階は、
コンピュータが、前記背景領域と前記抽出領域を何れも含む初期フレームから、反応型に具現された各位置に、各映像フレームの抽出領域を順次にスタック構造でもって累積して圧縮映像ファイルを生成し、
前記多重反応型映像生成段階は、
ユーザの操作と、前記スタック構造上の各抽出領域とを連結して格納することを特徴とする請求項６に記載の多重反応型映像生成方法。

【請求項8】

前記多重反応型映像は、
映像フレーム内の複数の領域に抽出領域スタックが形成された場合、
入力される複数のユーザの操作にしたがう複数の抽出領域を同時に抽出し、背景領域と結合して出力することを特徴とする請求項７に記載の多重反応型映像生成方法。

【請求項9】

前記多重反応型映像生成段階は、
ユーザの操作により特定の反応型生成条件が達成されると、前記圧縮映像内の特定の区間映像が、特定の再生方式で出力することに設定することを特徴とする請求項１に記載の多重反応型映像生成方法。

【請求項10】

前記多重反応型映像生成段階は、
複数の多重反応型映像を連結し、第１多重反応型映像に入力されるユーザの操作にしたがって第２多重反応型映像に変化が出力されるように生成され、
前記第１多重反応型映像及び前記第２多重反応型映像は、画面上に同時に出力されるように設定されるものであることを特徴とする請求項１に記載の多重反応型映像生成方法。

【請求項11】

ハードウェアであるコンピュータと結合され、請求項１～請求項１０の何れか１項に記載の方法を実行させるために媒体に格納された、多重反応型映像生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多重反応型映像製作方法、多重反応型映像メタデータ生成方法、人間の行動を理解するための相互作用データ分析方法及びそれを用いたプログラムに関し、より詳細には、ユーザの操作によって反応する多重反応型映像を製作する方法及びプログラムに関する。

【背景技術】

【0002】

近年、映像撮影技術が非常に発展しつつある。カムコーダ、デジタルカメラだけでなく、スマートフォンなどの移動端末も高い解像度の映像を撮影できる。また、３６０度カメラ、３Ｄ映像カメラなどが登場している。

【0003】

映像は映像撮影装置によって撮影され、特定のフォーマットで格納され、再生可能な端末により再生される。映像の再生は視聴者と相互作用（Ｉｎｔｅｒａｃｔｉｏｎ）がなく、一方的に時間順に提供される。即ち、視聴者は、再生される映像によって視覚的な感覚のみを感じることができる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は上記事情に鑑みてなされたものであって、その目的は、一般動画又は複数の映像フレームが格納された映像データベース（例えば、基礎映像）に基づき、ユーザの操作にしたがって多様な条件を再生する多重反応型映像を製作する、多重反応型映像の製作方法を提供することにある。

【0005】

また、本発明の他の目的は、複数の基礎映像に基づいて多様な入力操作に対する出力映像を提供できる上に、圧縮により容量を低減して多重反応型映像を生成する方法を提供することにある。

【0006】

更に、本発明の別の目的は、複数の入力操作が共に反映され、別途操作又は同時操作により多様な出力映像を生成できる多重反応型映像を生成して使用する方法を提供することにある。

【0007】

また、本発明の更に他の目的は、一般動画又は２次元又は３次元映像データベースに特定の条件を適用し、多様な機能が適用される多重反応型映像を具現する多重反応型映像生成ファイルを提供する、多重反応型映像生成ファイルの具現方法及びプログラムを提供することにある。

【0008】

更に、本発明の目的は、ユーザの多重反応型映像操作を獲得し、映像内の対象体に対するユーザの関心度を算出する、多重反応型映像基盤のユーザ関心度の分析方法を提供することにある。

【0009】

なお、本発明の他の目的は、従来、動画の時間順に再生されることに制限されていたコンテンツの限界を克服するために、映像内の事件（Ｅｖｅｎｔ）軸を追加（例えば、事件単位で映像が制御されることを追加）することにより、映像が出力される方向又は順序をユーザの操作にしたがって調節できるようにする多重反応型の資料構造を生成する、多重反応型映像の生成方法を提供することにある。

【0010】

本発明が解決しようとする課題は、以上で言及した課題に限らず、言及されていない更に他の課題は、以下の記載から通常の技術者が明確に理解できるはずである。

【課題を解決するための手段】

【0011】

本発明の一実施例に係る多重反応型映像生成方法は、コンピュータが基礎映像を獲得し、前記基礎映像は、ユーザの操作に応じた反応型に具現しようとする対象体の動きを含むオリジナル映像である、基礎映像獲得段階と、コンピュータが前記基礎映像を基に圧縮映像を生成し、前記圧縮映像は、反応型に、ユーザの操作に応じた具現しようとする対象体の動きのみを含むものである、圧縮映像生成段階と、コンピュータが多重反応型映像生成条件を受信し、前記多重反応型映像生成条件は、前記圧縮映像で生成可能な反応に対応する複数の操作入力である、多重反応型映像生成条件受信段階と、前記生成条件を前記圧縮映像に適用して多重反応型映像を生成する段階とを含む。

【0012】

また、他の実施例として、前記圧縮映像生成段階は、前記基礎映像で映像区間の分割又は映像フレームの類似度の認識により反応型に具現しない映像フレームを削除することを特徴とする。

【0013】

更に、他の実施例として、前記圧縮映像生成段階は、同一の対象体を含む第１基礎映像及び第２基礎映像が、前記対象体が同一経路に対する動きを含む場合、前記コンピュータが前記第１基礎映像及び前記第２基礎映像から同一経路の動きが含まれている区間映像を抽出し、前記第１基礎映像及び前記第２基礎映像のうちの何れか１つに含まれている重複区間映像を残すことを特徴とする。

【0014】

また、他の実施例として、前記圧縮映像生成段階は、前記基礎映像が第１位置から第２位置へ移動する第１区間映像、及び、前記第２位置から前記第１位置へ移動する第２区間映像を含む場合、コンピュータが、前記第１区間映像のみを圧縮映像内に残し、前記第２位置から前記第１位置への前記対象体の移動を生成するユーザ操作の入力時に、前記第１区間映像を逆に再生するように設定することを特徴とする。

【0015】

更に、他の実施例として、前記圧縮映像生成段階は、前記基礎映像全体、又は、前記基礎映像内の特定の区間映像に含まれている複数の映像フレーム内に、変化が発生しない背景領域を含む場合、コンピュータが、前記基礎映像又は前記区間映像内から前記背景映像を抽出した後、前記基礎映像又は前記区間映像の初期フレーム内にのみ前記背景領域を含み、その後の映像フレームに、１つ以上の抽出領域のみを残すことを特徴とし、前記抽出領域は、前記基礎映像内で対象体の動きに変化が発生する領域である。

【0016】

また、他の実施例として、前記圧縮映像生成段階は、前記基礎映像が特定の基準時点の前後に、対象体の外形の変化が相異なる第１事件区間及び第２事件区間を含む場合、前記第１事件区間を順方向に再生した後に、前記第２事件区間を続けて再生する第１再生タイプ、及び、第１事件区間を順方向に再生した後に、逆方向への再生を行う第２再生タイプを設定することを特徴とし、前記多重反応型映像生成条件受信段階は、同一のユーザ操作のタイプに対して、特定の基準操作の強度、基準移動の長さ、基準操作の速度又は基準操作の時間長を基に、第１操作と第２操作をを分け、前記第１再生タイプ及び前記第２再生タイプを連結することを特徴とする。

【0017】

更に、他の実施例として、前記圧縮映像生成段階は、コンピュータが前記背景領域と前記抽出領域を何れも含む初期フレームから、反応型に具現された各位置に、各映像フレームの抽出領域を順次にスタック構造でもって累積して圧縮映像ファイルを生成し、前記多重反応型映像生成段階は、ユーザの操作と前記スタック構造上の各抽出領域とを連結して格納することを特徴とする。

【0018】

また、他の実施例として、前記多重反応型映像は、映像フレーム内の複数の領域に抽出領域スタックが形成された場合、入力される複数のユーザの操作による複数の抽出領域を同時に抽出し、背景領域と結合して出力することを特徴とする。

【0019】

更に、他の実施例として、前記多重反応型映像生成段階は、ユーザの操作により特定の反応型生成条件が達成されると、前記圧縮映像内の特定の区間映像が特定の再生方式で出力することに設定することを特徴とする。

【0020】

また、他の実施例として、前記多重反応型映像生成段階は、複数の多重反応型映像を連結し、第１多重反応型映像に入力されるユーザの操作によって第２多重反応型映像に変化が出力されるように生成され、前記第１多重反応型映像及び前記第２多重反応型映像は、画面上に同時に出力されるように設定されるものである。

【発明の効果】

【0021】

前記のような本発明によれば、以下のような多様な効果を有する。

【0022】

第一に、ユーザの操作による多様な再生条件を多重反応型映像に適用することによって、単に時間の軸によって制限される既存のメディアとは異なり、事件（Ｅｖｅｎｔ）によってそれぞれ異なる多様な出力が可能な多重反応型映像をユーザに提供できる。これにより、ユーザの多様な結果を確認するための反復的な試みを誘導することにより、多重反応型映像に含まれている対象体（即ち、物体）に対するユーザの関心度を高めることができる。即ち、多重反応型映像生成ファイルによって映像に特定の条件を設定することによって、ユーザに多様な事件（Ｅｖｅｎｔ）が適用された多重反応型映像を提供できる。

【0023】

第二に、多重反応型映像生成ファイルを一般動画や複数の映像フレームの組み合わせと共に再生することにより、多様なアクション（即ち、反応）を適用できる。

【0024】

第三に、動画フレームに映像分割又はクロップを適用することにより、撮影した１つの映像に基づいて多様なアクションを具現できるという効果がある。

【0025】

第四に、特定のユーザの多重反応型映像に対する操作の内訳を記録することで、ユーザの映像に対する反応を把握できる。例えば、ユーザの多重反応型映像に対するタッチ操作の回数、タッチ操作を行ったフレームとフレーム内の対象体などを把握し、ユーザが関心対象、関心度を把握でき、ユーザに対するユーザの関心度を把握できる。

【0026】

また、それぞれのイベントが多様な入力方式の条件と結合され、現実世界における現象の多様な属性（例えば、重力と力の作用、重み、抵抗値、環境側面とモノ側面の両方での表面の質感、弾性、密度、大きさ、模様、対象体との距離、そして音など）を完全に反映して現実感を極大化し、直接多様な方式で相互作用できる豊富な経験コンテンツを作り出すことができる。

【0027】

更に、本発明の実施例により生成された多重反応型映像を用いて、ユーザの多重反応型映像コンテンツに対する相互作用データを蓄積して分析し、ユーザの意図や欲求を把握し、データの分析結果を基にユーザの特性を把握する超個人化を行うことができる。

【図面の簡単な説明】

【0028】

【図1】本発明の一実施例に係る多重反応型映像の生成方法に対するフローチャートである。

【図2】本発明の一実施例によって、ユーザの操作により対象体である顔の首の方向及び表情の変化を提供する例示図である。

【図3】本発明の一実施例によって、ユーザにより入力される操作に対応して異なる結果を具現できるように複数の事件を含む基礎映像の例示図である。

【図4】本発明の一実施例に係るユーザの各タッチ操作の位置による対象体の位置変化を具現するための基礎映像の例示図である。

【図5】本発明の一実施例に係る圧縮映像のスタック構造を示す例示図である。

【発明を実施するための形態】

【0029】

以下、添付の図面を参照し、本発明の好適な実施例を詳細に説明する。本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態に具現することができる。但し、本実施例は本発明の開示を完全なものにし、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に理解させるために提供されるものであり、本発明は、請求項の範疇により定義されるのみである。明細書全体に亘って、同一の参照符号は、同一の構成要素を示す。

【0030】

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の知識を有する者が共通して理解できる意味として用いられる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

【0031】

本明細書で用いられた用語は、実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。

【0032】

本明細書における多重反応型映像は、映像を視聴するユーザ（即ち、視聴者）の特定の入力操作に相応する形態で映像が変化又は再生される映像を意味する。例えば、撮影されたオリジナル映像の特定の動きに対応するユーザの入力操作が連結され、ユーザの操作によって該当映像内の物体が動いているかのように再生される映像を意味し得る。

【0033】

本明細書における「コンピュータ」は、演算処理を行える多様な装置を何れも含む。例えば、コンピュータはデスクトップＰＣ、ノートパソコン（Ｎｏｔｅ Ｂｏｏｋ）だけでなく、スマートフォン（Ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ、セルラーフォン（Ｃｅｌｌｕｌａｒ ｐｈｏｎｅ）、ピーシーエスフォン（ＰＣＳ ｐｈｏｎｅ；Ｐｅｒｓｏｎａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ ｐｈｏｎｅ）、同期式／非同期式ＩＭＴ-２０００（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ-２０００）の移動端末、パームＰＣ（Ｐａｌｍ Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯情報端末（ＰＤＡ；Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）なども該当し得る。また、コンピュータは、クライアントから情報を受信するサーバコンピュータが該当することもできる。以下、本明細書においてコンピュータは端末とも表現される。

【0034】

本明細書における「入力操作」は、多重反応型映像を再生するコンピュータの入力手段により受信されるユーザの映像に対する操作を意味する。例えば、前記入力操作は、マウス又はタッチスクリーンといった入力手段により、映像内の特定の地点又は領域に入力され得る操作（例えば、クリック操作、ドラッグ操作、特定時間以上の接触タッチ操作、感圧タッチ操作（即ち、タッチスクリーン又はタッチパッドに特定の圧力を加えるタッチ操作）など）を含むことができる。また、例えば、前記入力操作は、コンピュータ（又は端末）が備えるセンサ（例えば、加速度センサ、ジャイロセンサなど）を入力手段として得られる端末自体の配置状態又は動きなどを含むことができる。

【0035】

本明細書における「対象体」は、ユーザにより操作される物体を意味する。例えば、ユーザが手で特定の物体に触れる動作を撮影した映像である場合、前記対象体は、ユーザによって触れられる物体を意味する。更に、特定の人の動きを撮影した映像である場合、前記対象体は映像内の人であり得る。

【0036】

本明細書における「操作体」は、映像内で対象体に操作を行うものを意味する。例えば、映像内にて、手で、カバン又は枕に触れたり押圧したりする場合、操作体とは、カバン又は枕に触れる手を意味する。

【0037】

本明細書における「基礎映像」は、反応型に具現されない映像を意味する。即ち、基礎映像は、一般の撮影方式で生成された動画、又は、空間上の対象体の位置ごとに映像フレームを格納した複数の映像フレームの組み合わせが該当する。

【0038】

本明細書における「圧縮映像」は、基礎映像を反応型映像として具現するために、最小の動き単位で圧縮された映像を意味する。例えば、基礎映像に同一の動きが繰り返し含まれている場合、圧縮映像は、繰り返される動きを削除し、１つのみ残したものである。また、例えば、基礎映像に第１位置から第２位置への動きと第２位置から第１位置への動きを何れも含む場合、圧縮映像には第１位置から第２位置へ動く基礎映像のみ残しておき、第２位置から第１位置への動きは、残された基礎映像を逆方向にすることで再生できる。

【0039】

本明細書における「多重反応型映像生成ファイル」は、複数の基礎映像が圧縮されて生成されたものであって、ユーザの操作によって多様な動作を再生できる映像ファイルであるか、１つ以上の基礎映像と共に再生されることによって、多重反応型映像として具現できるメタデータを意味する。

【0040】

以下、図面を参照し、本発明の実施例に係る多重反応型映像の生成方法を説明する。

【0041】

図１は、本発明の一実施例に係る多重反応型映像の生成方法に対するフローチャートである。

【0042】

コンピュータが基礎映像を獲得する（Ｓ２００）。前記基礎映像は、ユーザの操作による反応型に具現しようとする対象体の動きを含むオリジナル映像である。

【0043】

コンピュータは、既に生成されて格納された基礎映像をロードでき、映像フレームをリアルタイムに獲得して基礎映像を生成（即ち、多重反応型映像の生成機能が含まれているプログラム又はアプリケーションを駆動した後、該当プログラム又はアプリケーションによってカメラ機能を活性化して基礎映像を直ちに撮影）することもできる。

【0044】

反応型映像製作者（例えば、コンテンツ供給者又は個人ユーザ）は、反応型に具現しようとする動作が含まれている映像を撮影する。

【0045】

具体的な一実施例として、コンピュータは、ユーザから同一の対象体の多様な動きに対する映像を獲得した後、多重反応型映像の形態で生成できる。例えば、対象体がユーザの手である場合、コンピュータは、ユーザの人差し指を広げた状態で多様な方向に動かしたり、曲げたりする複数の映像を獲得する。

【0046】

また、例えば、図２に示すように、特定の操作にしたがう反応として本人の頭を上下左右に回転したり、顔の表情の変化が提供される反応型映像を制作しようとする場合、ユーザは、所望する顔の動きと表情が何れも含まれている映像を撮影する。

【0047】

更に、ユーザにより入力される操作にしたがって水風船が、破裂したり床面や地面から跳ね上がる反応型映像を生成しようとする場合、ユーザは同じ色及び大きさの水風船を落として破裂させる第１映像と、水風船が破裂せずに跳ね上がる第２映像とを順次撮影する。

【0048】

また、特定の動きを行った後、既存の動きの繰り返しではなく、異なる事件が発生する１つの基礎映像を獲得する。即ち、コンピュータは、対象体に対して複数の事件が発生する映像を基礎映像として獲得する。例えば、図３に示すように、コンピュータは、水風船が下に移動する動きの事件（第１事件）と、水風船が床面または地面に衝突した後に破裂する事件（第２事件）を含む基礎映像を獲得する。更に、例えば、木の枝が曲がる事件（第１事件）と、木の枝が折れる事件（第２事件）を含む映像を基礎映像として獲得する。なお、コンピュータは、空気が詰まった風船を押圧することによって凹む事件（第１事件）と、風船が割れる事件（第２事件）を含む映像を基礎映像として獲得する。

【0049】

また、図４に示すように、多様な方向又は多様な高さに器に盛られたパスタを持ち上げる動作を具現できる反応型映像を具現しようとする場合、ユーザは、パスタを持ち上げる動作を繰り返したり、器に盛られたパスタをすくって３次元空間上の多様な位置に移動させたりする映像を撮影する。

【0050】

更に、コンピュータは、操作体を用いて対象体を変形する映像を獲得した後、操作体を削除する補正を行った映像を基礎映像として格納できる。

【0051】

コンピュータが前記基礎映像を基に圧縮映像を生成する（Ｓ４００；圧縮映像生成段階）。前記圧縮映像は、反応型にユーザの操作による具現しようとする対象体の動きのみを含む。

【0052】

以下、圧縮映像を生成する方法についての詳細な説明を記述する。

【0053】

一実施例として、コンピュータは、基礎映像内で反応型に具現する過程で不要な映像区間を削除する。例えば、ユーザが多重反応可能な映像を具現するために対象体の多様な動きを撮影する場合、基礎映像は、第１動きの獲得と第２動きの獲得との間に、反応型に具現されない映像フレームを含むことができる。コンピュータは、反応型に具現されない映像区間を分離して削除できる。

【0054】

例えば、コンピュータは、基礎映像に含まれている全てのフレームを認識した後、対象体の動きの類似度の差が大きいフレームを削除可能なものとして自動的に分離してから除去できる。また、例えば、コンピュータは、基礎映像を複数の区間に自動分割し、ユーザから反応型に具現しない映像区間を選択されてから削除できる。具体的な例として、コンピュータは、基礎映像を対象体の動きの単位（例えば、首を右に回す動き、首を左に回す動きなど）で映像区間を分離し、複数の対象体の動き単位の間の映像区間を削除できる。

【0055】

また、他の実施例として、基礎映像に含まれている複数の動きの映像に重複する映像が含まれている場合、コンピュータは、重複する区間を削除できる。例えば、第１基礎映像、第２基礎映像及び第３基礎映像が、最初に、同一の指の位置に配置された状態から、異なる方向へと動きを行う場合、コンピュータは、同一の位置に配置された映像フレームを１つのみ残す。その後、第１基礎映像と第２基礎映像が同一の動きを維持し、第３基礎映像にて、分かれて動きを行うようになれば、コンピュータは、第１基礎映像と第２基礎映像の該当時点のフレームを１つのみ残すことになり、第３基礎映像に対するフレームは別に格納する。

【0056】

更に、例えば、対象体に同一の動きが生成された後に異なる結果が具現される第１基礎映像と第２基礎映像の場合（例えば、風船を床に落とす複数の映像にて速度の差によって落とされた後に結果が変わる場合）、同一経路を動く区間では１つのみ残し、結果として第１基礎映像と第２基礎映像の反応結果に該当する区間のみそれぞれ残すことができる。このために、コンピュータは、第１基礎映像と第２基礎映像とを比較し、同一の対象体の動きを有する区間を分離して、重複区間を１つのみ残し、重複映像区間、第１結果映像及び第２結果映像に分離して格納できる。また、例えば、基礎映像全体内にて対象体が同一区間を繰り返し移動する場合（例えば、首を左右に回転する場合）、正面を見ている状態から左を向いた後に正面に戻ってくる第１区間映像、及び、正面を見ている状態から右を向いた後に正面に戻ってくる第２区間映像が繰り返されるものであるので、コンピュータは、第１区間映像と重複する部分と、第２区間映像と重複する部分を除去する。

【0057】

また、例えば、第１位置から第２位置に移動した後、再び第１位置に戻ってくる場合、コンピュータは、第１位置から第２位置に移動する第１区間映像のみ残し、第２位置から第１位置に戻ってくる第２区間映像を削除して圧縮することができる。第２区間映像は、第１区間映像を逆方向に再生することによって出力できるので、コンピュータは、第２区間映像を削除し、第１区間映像のみを圧縮映像に残す。例えば、基礎映像内の対象体である人が、正面を向いてから左側に首を回して正面に戻ってくる場合、コンピュータは、正面から左側を向く第１区間映像のみを残すことができる。このために、コンピュータは、基礎映像内において対象体の動きが同一経路を往復する部分を探索し、動きの方向が変更され始めるフレーム（例えば、第１方向への動きから、逆の第２方向への動きに変化し始めるフレーム）を基準に映像を分割した後、第１区間映像のみを残す過程を行う。

【0058】

また、特定の動きを行った後、従来の動きの区間の反復ではなく、異なる事件が発生する１つの基礎映像（例えば、水風船を空中から落とした後に割れる映像）を複数の事件に分割して格納する圧縮映像を生成できる。

【0059】

具体的に、前記圧縮映像生成段階は、前記基礎映像が、特定の基準時点の前後に、対象体の外形の変化が異なる第１事件区間及び第２事件区間を含む場合、前記第１事件区間を順方向に再生した後、前記第２事件区間を続けて再生する第１再生タイプ、及び、第１事件区間を順方向に再生した後、逆方向への再生を行う第２再生タイプを設定する。後述される多重反応型映像生成条件の受信段階で、同一のユーザ操作のタイプに対して特定の基準操作の強度、基準移動の長さ（即ち、タッチディスプレイ上にスワイピング操作が加えられる長さ）、基準操作の速度又は基準操作の時間長（即ち、特定の位置に連続してタッチ操作が印加される時間長）を基にして、第１操作と第２操作とを分け、前記第１再生タイプ及び前記第２再生タイプを連結することができる。

【0060】

以下、コンピュータが複数の事件を含む１つの基礎映像として反応型映像を具現可能な圧縮映像を生成する方式を詳細に説明する。

【0061】

ユーザにより入力される操作にしたがって水風船が割れたり床面または地面から跳ね上がる反応型映像を生成しようとする場合、ユーザは、水風船を落として割れる第１映像のみを撮影した後、１つのイベントに該当する第１映像を第１事件区間と第２事件区間とに分けた後、第１事件区間のみ順方向に再生した後、逆方向への再生を行う第１再生と、第１事件区間を順方向に再生した後に第１事件区間を再生する第２再生として生成できる。コンピュータは、第１再生と第２再生を、それぞれ異なるユーザの操作に連結し、ユーザにより入力されるユーザの操作にしたがって再生されるようにすることができる。

【0062】

一例として、図３に示すように、水風船を落として水風船が割れる映像を基礎映像として用いる場合、コンピュータは、水風船が落とされて割れる前の基準時点を獲得し、基準時点を中心に第１事件区間と第２事件区間を分割する。コンピュータは、反応型映像を生成するユーザから基準時点の入力を受けることもでき、ディープラーニングトレーニングが行われた学習モデルによって自動的に基準時点を算出することもできる。例えば、対象体の外形に、変形が基準値以上に発生する時点を探索する学習モデルによって、自動的に認識することもできる。これにより、コンピュータは、第１ユーザ操作（例えば、特定の基準速度以下で対象体である水風船が動くようにする弱いスワイピング操作）にしたがって、水風船が落ちる第１事件区間を順方向に再生した後、第１事件区間を逆方向に再生する第１再生と、第２ユーザ操作（例えば、特定の基準速度超過で対象体である水風船が動くようにする強いスワイピング操作）にしたがって水風船が落ちる第１事件区間を順方向に再生した後、第２事件区間を続けて再生する第２再生とを具現できる。

【0063】

また、特定の基準速度以下で対象体を落とす場合にも、ユーザのスワイピング操作に対応する速度によって異なる事件（ｅｖｅｎｔ）を分類できる。例えば、後述するように、水風船の移動方向にユーザの操作が連結された後、コンピュータは、タッチ操作の強度によって第１事件区間の逆方向への再生が開始される時点を設定できる。風船が落とされる速度に応じて、床に接した後に風船が変形される度合いに差があるので、コンピュータは、ユーザ操作の強度が弱いほど、第２事件との分割基準が基準時点から長い時間の前まで再生してから、逆方向への再生を開始することができる。

【0064】

更に、他の実施例として、木の枝を折る、すなわち、引っ張って曲がった後に折れる映像を基礎映像として用いる場合、コンピュータは、木の枝が折れる時点を基準時点に設定し、第１事件区間と第２事件区間とに分割する。前記基準時点は、反応型映像を製作するユーザにより入力されて設定されることもでき、対象体の外形の基準以上の変化（即ち、木の枝が折れる変化）が発生する時点を自動的に算出して設定することもできる。また、第１事件について順方向への再生と逆方向への再生が行われることにより、現実的に最初の動きを開始した位置よりも上へと反動する映像を生成するために、第１事件区間の動きにおける中心位置を、圧縮映像の開始時点に設定する。前記開始時点は、反応型映像を生成するユーザにより設定されることもでき、コンピュータが基礎映像内で対象体が移動する経路を算出した後、経路の中心位置となるフレームを開始時点に設定することもできる。また、第１事件区間内にてユーザにより入力されるユーザの操作レベル（例えば、タッチディスプレイに入力されるスワイピング操作の長さ）にしたがって、開始時点から順方向への再生を行った後、逆方向への再生が開始される時点を、異なるように設定できる。

【0065】

これにより、コンピュータは、１つの基礎映像を用いて、ユーザの操作によって多様な反応を生成する反応型映像を具現できる圧縮映像を生成できる。コンピュータは、第１事件区間を開始時点から映像フレームを順方向に再生した後に、基準時点以降の第２事件区間を続けて再生する第１再生タイプを具現できる。また、第１事件区間内の開始時点から特定の第１停止時点まで順方向への再生を行った後に、開始時点までの逆方向への再生を行い、開始時点から基礎映像の初期時点の側へと第２停止時点までの逆方向への再生を行った後に、開始時点へと再び、順方向への再生を進める第２再生タイプを具現できる。コンピュータは、第２再生時に、第１停止時点と第２停止時点を次第に開始時点に近づくように差を短くする再生を繰り返すことにより、枝の振動時に振動幅が小さくなって停止する現実感ある反応型映像を具現できるようにする。

【0066】

前記第２停止時点は、前記第１停止時点に対応して設定される。例えば、開始時点におけるフレーム上の対象体の位置（以下、開始位置）と、前記第１停止時点上の対象体の位置との差の値に同一又は特定の割合だけ減少した値だけ、開始位置から、初期映像内の初期位置の側へと対象体が離れた映像フレームの時点を、第２停止時点として設定する。

【0067】

また、コンピュータは、第２再生タイプにおいて第１停止時点の位置によって、細部の再生タイプ（例えば、第２-１再生タイプ、第２-２再生タイプなど）に分けることができる。即ち、対象体の基準位置から順方向に変形した後、振動運動を行う程度を、細部のタイプに分けることができる。

【0068】

後述するように、コンピュータは、第１再生タイプと第２再生タイプに異なるユーザの操作を連結することができる。例えば、対象体に対してスワイピングするユーザの操作を連結する場合、コンピュータは、ユーザの要請により特定の基準速度又は特定の基準長を超えるスワイピング操作と第１再生タイプとを連結し、特定の基準速度以下又は基準長以下のスワイピング操作と第２再生タイプとを連結できる。また、コンピュータは、前記基準速度又は基準長を分割し、第２再生タイプの細部タイプと順次連結できる。

【0069】

また、他の例として、コンピュータは、空気の詰まった風船を押圧して凹んだ変形の後に風船が割れる映像を基礎映像として活用し、風船が割れる直前の時点を基準時点として設定する。コンピュータは、基準時点以前を第１事件区間として設定し、基準時点以降を第２事件区間として設定する。これにより、コンピュータは、第１事件区間の再生後に第２事件区間を続けて再生する第１再生タイプと、第１区間を順方向への再生と逆方向への再生を行う第２再生タイプを設定する。後述するように、コンピュータは、特定の感圧タッチの強度を超過するか、又はタッチ操作が入力される時間長を超過するかのユーザ操作と第１再生タイプとを連結し、特定の感圧タッチの強度以下又は特定のタッチ操作が入力される時間長以下のユーザ操作と第２再生タイプとを連結する。

【0070】

反応型映像を生成するための基礎映像を圧縮映像として生成する方式は、これに限らず、多様な方式が適用され得る。

【0071】

コンピュータは、前記のような映像フレーム又は映像区間の抽出過程を、複数の基礎映像に対して行うことになる。これにより、コンピュータは、１つの対象体が動きを行う複数の基礎映像としての多重反応型映像を製作する過程で、必要な映像フレームを最小化できる。

【0072】

また、コンピュータは、複数の基礎映像内に含まれている複数のフレームに対して各フレーム内の領域を分けて、複数の映像フレームにて重複して格納される領域を、重複して格納しないように処理する。

【0073】

例えば、人差し指を異なるように動かす映像である複数の基礎映像（例えば、第１基礎映像、第２基礎映像及び第３基礎映像）により多重反応型映像を生成する場合、コンピュータは、対象体である指を除く、背景映像を抽出する。背景領域は、人差し指の動きに対する複数の映像において共通する部分であるので、コンピュータは、抽出された背景領域を共通領域として設定する。その際、コンピュータは、複数の基礎映像から、対象体である指が現れず、背景として維持される領域のみを抽出して収集し、背景領域として抽出できる。また、他の例として、コンピュータは、対象体の動きの過程中に現れた背景情報及び背景の周辺映像を基に、指が配置された部分まで満たした背景イメージを生成する。これにより、コンピュータは、全てのフレームに背景として含まれている部分を格納するための容量を低減できる。

【0074】

また、コンピュータは、複数の基礎映像において対象体領域（例えば、ユーザの手）を分けて格納することによって、データ容量を低減する。例えば、第１基礎映像と第２基礎映像が指のみを動かし、手の甲の領域は同じ位置に維持される場合、コンピュータは、手の甲の領域を分離して第１基礎映像と第２基礎映像の特定の１つ以上のフレームのために１つのみ格納し、動きを行う指の部分のみそれぞれ格納できる。その後、多重反応型映像を再生する場合、コンピュータは、ユーザの入力操作によって要請される特定の基礎映像を再生するために、必要な複数の領域（例えば、背景領域、手の甲の領域と各フレームに符合する複数の指領域）を抽出し、映像を出力できる。

【0075】

コンピュータが圧縮映像に対する多重反応型映像の生成条件を受信する（Ｓ６００）。前記多重反応型映像の生成条件は、前記圧縮映像で生成可能な反応に対応する複数の操作入力である。即ち、コンピュータは、圧縮映像により具現できる多様な対象体の動きと連結する複数のユーザ操作を、各映像区間又はフレームにマッチングして獲得する。

【0076】

前記多重反応型映像の生成条件の一実施例は、基礎映像がユーザのタッチ操作によって反応（即ち、ユーザのタッチ操作に符合する映像フレームをリアルタイムに提供）するようにする条件を意味する。これにより、ユーザは、本人が入力する操作によって映像内のアクションが発生（例えば、ユーザのタッチ操作に符合するように操作体又は対象体が動きを発生）するものと視覚的に認識できる。

【0077】

また、コンピュータは、多重反応型映像を生成するための複数の基礎映像を獲得して圧縮する過程を行った後、ユーザの入力操作タイプを多重反応型映像に連結する過程を行う。例えば、コンピュータは、個々のユーザの入力操作と、圧縮映像内の特定の区間映像又は１つ以上の映像フレームとを連結する。例えば、コンピュータは、多重反応型映像を生成する過程で、入力操作の提供位置、入力操作の種類などに符合するように、感圧タッチ(force touch)の形態であれば、加えられる強度、押圧する角度などに符合するように、ドラッグ動作である場合、移動方向などに符合するように、区間映像又は映像フレームを連結する。

【0078】

例えば、コンピュータは、ユーザにより入力された右側から左側に画面をスワイピングする操作と、対象体である顔が正面を向いている状態で左側を向くように変わる区間映像をマッチングし、ユーザ操作が右側から左側に移動することによって対象体である顔が正面から左側に回転することに連結できる。

【0079】

また、例えば、第１基礎映像は、他の指を折り曲げた状態で人差し指を左に動かす映像であり、第２基礎映像は、人差し指を右に動かす映像である場合、コンピュータは、製作者クライアントにて、人差し指領域にタッチして左にドラッグする入力操作を獲得して、第１区間映像とマッチングし、人差し指領域にタッチして右にドラッグする入力操作を獲得して第２区間映像とマッチングする。コンピュータは、基礎映像の形態に応じて多様な入力操作の入力を受けた後、マッチングして格納する。

【0080】

更に、一実施例として、コンピュータが入力操作の加圧方式により、深さ情報の変化により提供される映像フレームを、相異なるようにして提供するように具現できる。即ち、コンピュータが加圧される角度によって相異なる映像フレームが提供されるように具現され、ユーザは、加圧角度が実際に反映された反応を確認できる。

【0081】

また、多重反応型映像の生成条件の他の実施例は、特定の入力操作が特定の条件に到達すると、基礎映像に含まれている特定の部分の映像が再生（即ち、アクションが発生）される条件を意味する。更に、他の実施例として、１つの基礎映像によってフレーム内の複数の領域が、個別又は同時に反応するように多重反応型映像を生成する条件を意味する。

【0082】

多重反応型映像生成条件が、基礎映像をユーザの操作によって反応する多重反応型映像に具現するための条件である場合、基礎映像のタイプに応じて異なる方式で、多重反応型映像生成ファイルに格納する生成条件の入力を受けることができる。

【0083】

一実施例として、基礎映像が一般的な方式で撮影された動画（即ち、カメラを介してフレームが時間順に獲得されて格納された一般動画）の場合、コンピュータは、多重反応型映像として具現するために、特定の再生範囲やフレーム内の領域を設定するデータを受信する。この際、コンピュータは、多重反応型映像生成ファイル生成プログラムを実行し、ユーザから条件データの入力を受けることができる。

【0084】

具体的に説明すると、コンピュータは、ユーザから特定の再生範囲を指定する入力を受信する。即ち、１つのファイル内に複数の細部の映像が格納されており、ユーザの操作にしたがって所望の位置に移動する多重反応型映像を生成する場合、コンピュータは、ユーザより、基礎映像の特定の開始フレーム（即ち、多重反応型映像として製作される時間領域の最初のフレーム）から最終フレーム（即ち、多重反応型映像として製作される時間領域の最後のフレーム）までの選択をしてもらって、これを、特定の入力操作が所望する条件に到達すれば再生されるようにすることができる。

【0085】

その後、コンピュータは、前記再生範囲内のフレームの全ての領域又は特定の領域に連結する、特定の入力操作をユーザから受信するか、映像内の操作体の動きを分析し、操作体の動きに符合する入力操作を適用する。即ち、コンピュータは、指定された再生範囲内の物体の動きに符合する入力操作を、受信又は指定できる。

【0086】

また、基礎映像又は圧縮映像の再生範囲（又は区間映像）を入力操作と連結する方法としては、多様な方式が適用されうる。

【0087】

再生範囲と特定の入力操作とを連結する方式の一実施例として、コンピュータは、指定された再生範囲内におけるそれぞれのフレームの全ての領域又は特定の領域に、仮想レイヤを生成する方式を適用できる。仮想レイヤは、画面にて外観には現れずにユーザの入力を受信できる、前記フレームの上に覆われるレイヤを意味し得る。即ち、コンピュータは、特定数の細部セルで構成された、仮想レイヤをフレーム上に生成するための条件（即ち、仮想レイヤが生成される時間範囲又はフレーム数、フレーム上の範囲など）をユーザから獲得する。コンピュータは、多重反応型映像の再生時に、多重反応型映像生成ファイル内に含まれている仮想レイヤの生成条件を基に、特定数の細部セルに分割して生成された仮想レイヤを基礎映像上に提供する。前記仮想レイヤが分割される細部セルの数は、仮想レイヤ生成条件内に含まれている、マッチングされる映像フレームの数によって決定されうる。例えば、ユーザからの多重反応型映像生成条件（即ち、仮想レイヤ生成条件）にしたがって、ｎ個のフレームが変動的に再生（即ち、操作再生）されるように多重反応型映像を生成しようとする場合、コンピュータは特定領域をｎ個の細部セルに分割できる。

【0088】

また、他の実施例として、基礎映像が、対象体の空間上の位置別に映像フレームを格納した複数の映像フレームの組み合わせである場合、コンピュータは、ユーザから、特定のフレームをタッチスクリーン上の各地点にマッチングするための条件設定を受信する。

【0089】

具体的に説明すると、コンピュータは、基礎映像内の複数の映像フレームで反応型に生成される領域を設定する入力をユーザから受信する。一実施例として、コンピュータは、ユーザから、特定の映像フレームに反応型領域を設定する入力を受信する。例えば、コンピュータは、画面上に、基礎映像内の特定の映像フレームを抽出して提供し、ユーザから対象体の範囲を指定してもらうことができる。基礎映像においてカメラや対象体の位置は固定されているので、コンピュータは、任意の映像フレームを提供した後、対象体の領域をタッチ操作によって設定してもらうことができる。また、他の実施例は、コンピュータは、ユーザから、基礎映像内の複数のフレームに同一に存在する、対象体のイメージを抽出して反応型生成領域として具現するようにする命令を受信して行う。また、他の実施例によると、コンピュータは、ユーザから、操作体（例えば、手）の動きをトラッキングして操作体（例えば、手）の移動経路を含む範囲を反応型生成領域として具現するようにする命令を受信する。

【0090】

その後、コンピュータは、ユーザからタッチ操作が入力される密度の設定を受信する。即ち、コンピュータは、反応型領域にマッチングするフレーム数を受信する。例えば、基礎映像がＬ（時間フレーム数）×Ｍ（事件フレーム数）×Ｎ（深さフレーム数）で構成される場合、これよりも小さいか同一であるフレーム密度を、反応型生成領域に適用できる。これにより、多重反応型映像の再生時に、コンピュータは、前記設定された密度を基に、反応型生成領域を分割し、反応型生成領域を構成する複数の細部セルに対応する映像フレームを各細部セルにマッチングし、多重反応型映像として具現する。

【0091】

また、他の実施例として、ユーザの操作に対応するフレームが提供されるように設定された場合、コンピュータは、ユーザから特定の再生条件を入力してもらう。前記再生条件は、条件到達時に再生が継続されるか、特定の時点へと再生が移動して再生するように具現することを意味する。

【0092】

例えば、コンピュータは、特定の入力条件を選択される。即ち、特定の地点に対するプッシュ操作、特定の範囲に対するドラッグ操作又はピンチ操作の入力を受ける。その後、コンピュータは、該当入力条件の到達時に発生する再生条件の入力を受ける。コンピュータは、特定の再生範囲を再生（即ち、特定の映像フレームに移動して再生、特定の第１映像フレームから第２映像フレームまでの区間を再生）するように設定でき、入力条件の到達時に特定のリンクを提供するようにできる。また、コンピュータは、特定の再生範囲のフレーム内の全ての領域又は一部の領域を他の映像と結合するか、代替するように設定できる。

【0093】

また、他の実施例として、コンピュータは、複数の多重反応型映像を１つの画面に提供し、多重反応型映像の間で連結関係を形成する。例えば、２つの多重反応型映像の間で連結関係を形成する場合、コンピュータは、第１多重反応型映像と第２多重反応型映像が結合された最終の多重反応型映像を形成し、特定の多重反応型映像に対するユーザの操作時に該当多重反応型映像に反応（即ち、アクション）が発生するだけでなく、他の多重反応型映像も連結関係によるアクションが発生する。具体的に、第１多重反応型映像がユーザの顔のイメージに対する映像であり、第２多重反応型映像がユーザの顔に含まれている一部の皮膚領域のみを表現した映像である場合、コンピュータがユーザから、第２多重反応型映像にメイクアップ化粧品を塗りつけるのと同様のドラッグ操作を繰り返して入力を受けると、コンピュータは、第２多重反応型映像と連結された第１多重反応型映像を再生してメイクアップとなるアクションを具現（例えば、メイクアップしていない顔イメージから、メイクアップした顔のイメージに変わる動画を順次再生）する。また、第２多重反応型映像に入力される操作のタイプに応じて第１多重反応型映像及び第２多重反応型映像に生成されるアクションの種類が異なり得る。

【0094】

但し、連結関係を形成できる多重反応型映像の数は制限されず、１つの多重反応型映像は、複数の多重反応型映像との連結関係が形成されうる。例えば、コンピュータは、１つの画面内に１６分割に１６個の個別多重反応型映像を提供し、各多重反応型映像間の連結関係を形成できる。

【0095】

コンピュータは、多様な方式で多重反応型映像生成条件（例えば、多重反応型映像に対する入力条件と再生条件）を設定する。一実施例として、コンピュータは、多重反応型映像に反応を具現できる、条件関数の入力を直接受ける。即ち、コンピュータは、ユーザから、反応を具現する関数コードの入力を直接受けることができる。例えば、複数の映像を含むフレームセットを画面に提供する場合（即ち、第１多重反応型映像と第２多重反応型映像が結合される場合）、コンピュータは、ユーザから２つの多重反応型映像関数の入力を受ける。

【0096】

また、他の実施例として、コンピュータは、多重反応型映像生成ファイル具現プログラムを用いて、ユーザから入力された多重反応型映像生成条件を、基礎映像に直接入力することにより、多重反応型映像として具現する。コンピュータは、多重反応型映像生成ファイル具現プログラムを駆動し、ユーザの操作によって特定の基礎映像をロードできる。その後、コンピュータは、ユーザから、多重反応型映像として具現する生成条件（即ち、入力条件、再生条件など）に該当する操作を受信し、多重反応型映像生成プログラム又は生成アプリケーションが該当生成条件を具現する関数に生成する。

【0097】

後述するように、１つ以上の基礎映像と共に再生される多重反応型映像生成ファイルが別に存在する場合、コンピュータは、ユーザから入力された生成条件を、生成ファイル具現プログラムを介して多重反応型映像生成ファイル内に格納する。例えば、コンピュータは、生成条件に相応する多重反応型映像具現関数コードを、別のファイルとして格納する。コンピュータは、基礎映像への操作（例えば、タッチ操作、マウス操作など）を受信し、それに対応する条件（例えば、アクションタイプ、アクションが入力される再生範囲、条件の到達時に実行されるアクションなど）を多重反応型映像生成ファイル上に記録できる。

【0098】

また、他の実施例として、多重反応型映像生成条件が特定の入力操作が特定の条件に到達すると、特定のアクション（例えば、基礎映像に含まれている特定の部分の映像）が再生される条件である場合、コンピュータは、ユーザから特定の入力操作タイプ、条件の到達時に発生するアクションタイプ（例えば、基礎映像内で移動される再生時点）、到達されるべき条件値を受信する。

【0099】

更に、他の実施例として、多重反応型映像生成条件が１つの基礎映像によってフレーム内の複数の領域が個別又は同時に反応するように多重反応型映像を生成する条件である場合、コンピュータは、ユーザから、分割又はクロップを行う再生範囲を設定してもらい、該当範囲内に分割又はクロップを行う領域を設定してもらう。その後、コンピュータは、ユーザから、分割又はクロップを行う領域に個別に再生する映像情報の入力を受ける。例えば、基礎映像が左右に配置されたカップに次々と水が注がれる映像である場合、２つのカップが分けられる分割線を基準にフレームを区別し、両方が独立して反応型に具現されるようにすることができる。これにより、１つの基礎映像でもって多様な多重反応型映像を具現できることから、多重反応型映像の容量を低減でき、多重反応型映像の具現のための基礎映像の撮影も簡便に行える。

【0100】

コンピュータが前記生成条件を前記圧縮映像に適用し、多重反応型映像を生成する（Ｓ８００）。コンピュータが多重反応型映像生成条件を適用し、多重反応型映像データとして格納する。

【0101】

一実施例として、コンピュータは、複数の基礎映像の圧縮と各基礎映像に対する入力操作を獲得した結果を反映し、最終の多重反応型映像ファイルを生成する。即ち、コンピュータは、ユーザの入力操作にしたがって、圧縮された複数の領域を併合し、多重反応型映像にて特定の動作が再生され得る形態でもってファイルを構築する。

【0102】

また、他の実施例として、ユーザから、多重反応型映像生成条件を関数の形態で直接入力を受ける場合、コンピュータは、１つ以上の基礎映像と共に用いられる、多重反応型映像生成ファイル内に入力された関数の形態をそのまま格納する。他の実施例として、多重反応型映像生成ファイルの制作プログラム（又は生成プログラム）を用いて、ユーザから、基礎映像に特定の入力操作を直接受信する場合、コンピュータは、該当入力操作に符合する関数を生成して格納する。即ち、コンピュータは、ユーザにより基礎映像に対して入力された多重反応型映像生成条件から、フレーム、該当フレーム内の範囲、反応（即ち、アクション）タイプなどのデータを抽出し、関数の形態で格納できる。

【0103】

これにより、ユーザは、多重反応型映像生成条件が格納された多重反応型映像生成ファイルを用いて、特定の映像を簡単に多重反応型映像として具現できる。即ち、ユーザは、基礎映像自体を再生したい場合には、多重反応型映像生成ファイルを除いて再生を行うことができ、多重反応型映像に具現したい場合には、基礎映像ファイルと多重反応型映像生成ファイルを共に再生することによって多重反応型映像として再生できる。

【0104】

また、コンピュータが圧縮映像内の区間映像間の関係を基に、スタック構造の格納形式を生成する段階を更に含む。例えば、コンピュータは、圧縮過程で得られたフレーム又は複数の領域を、スタック（Ｓｔａｃｋ）構造で構築できる。即ち、コンピュータは、基礎映像のフレーム範囲（即ち、２次元範囲）内にて映像圧縮のために生成された複数の領域を１つ以上のスタックに積み重ね、多重反応型映像ファイルを生成する。

【0105】

具体的に、コンピュータは、ユーザから入力操作が加えられるとき、特定の抽出領域が提供されるべき位置の集合を、該当抽出領域の表示範囲に設定する。例えば、背景領域は、入力操作が提供される全ての位置で表示されなければならないので、コンピュータは、フレーム全体を背景領域の表示範囲に設定する。そして、コンピュータは、各位置で感圧タッチの強度又は時間の変化をそれぞれスタックに積み重ねて格納できる。

【0106】

また、１つの多重反応型映像内で異なる位置で複数の動作を具現する場合、コンピュータは、複数の位置で具現された各動作に対するスタックを形成する。これにより、ユーザが、多重反応型映像を再生しながら、多様な動作を具現するための入力操作を一度に入力する場合、コンピュータは、各入力操作が加えられたスタックから、抽出領域を抽出して併合することにより、複数の入力操作による動きが一度に反映された映像を出力できる。

【0107】

例えば、口を開ける第１操作と、食べ物を口へ移動させる第２操作が共に含まれている多重反応型映像の場合、ユーザが口を開けるための第１入力操作（例えば、上下唇の位置を２本の指でタッチした後に開ける操作）と、食べ物をタッチして口の方にドラッグする第２操作を同時に入力すると、コンピュータは、口を開ける操作が入力される位置のスタックから抽出された第１抽出領域を併合し、食べ物を移動させる操作が同時に入力された位置のスタックから抽出された第２抽出領域を併合して、出力映像を生成する。

【0108】

これにより、コンピュータは、第１入力操作と第２操作の入力程度によって異なる出力映像を提供できる。例えば、コンピュータは、第１入力操作のみ入力されると、口を開ける出力映像を提供し、第２入力操作のみ入力されると、食べ物を口側に移動させる出力映像を提供し、第１入力操作と第２入力操作を同時に入力すると、口を開けながら口に食べ物を入れる出力映像を提供する。また、コンピュータは、第１入力操作と第２入力操作が加えられるパターンに応じて異なる出力映像を提供することもできる。

【0109】

また、図５に示すように、各抽出領域（第１抽出領域及び第２抽出領域）は、異なる事件に対する複数のスタックを含むことができる。例えば、実線で表現される第１スタックと、破線で表現される第２スタックとを各抽出領域に含むことができる。コンピュータは、ユーザから各抽出領域に最初の操作が入力される位置を基に、第１スタックと第２スタックのうちで実行されるスタックを決定するものとして具現できる。

【0110】

更に、図５に示すように、各抽出領域内の第１事件と第２事件は、重なるピクセルを含むことができ、コンピュータは、第１事件に対するスタックと第２事件に対するスタックのうちで重畳するピクセルのうちの１つのみを残すことができる。圧縮映像が特定の抽出領域内の重畳ピクセルに対するデータを１つさえ含んでいても、ユーザの次の操作（例えば、タッチ操作の動きの方向又は加えられる圧力強度の変化）にしたがって第１事件と第２事件のうちの何れか１つのスタックが決定されうる。これにより、コンピュータは、最小限のデータだけで圧縮映像を生成できる。

【0111】

以下、ユーザが多重反応型映像を用いる方式について説明する。

【0112】

本発明の一実施例に係る多重反応型映像の再生及び利用方法は、クライアントが特定の多重反応型映像をロードする段階と、前記多重反応型映像に対するユーザの操作を受信する段階と、前記ユーザの操作による反応を算出して出力する段階（反応出力段階）とを含む。

【0113】

前記反応出力段階で、コンピュータ（即ち、多重反応型映像を再生するクライアント装置）が、ディスプレイに加えられたタッチ操作の移動方向、速度、画面に対する入力角度、入力時間長、圧力の強度などを算出する。

【0114】

例えば、多重反応型映像を再生するユーザ（以下、第２ユーザ）が多重反応型映像を再生するクライアント（以下、第２クライアント）の画面に、垂直に圧力を加える場合と、斜めに圧力を加える場合に異なる細部のセルを選択して提供できる。実際の対象体を垂直方向に押圧すると、垂直方向に入り、斜め方向に押圧すると、斜め方向に窪むのと同様に、反応型映像でも、第２ユーザに臨場感を提供するために、同じ地点に圧力を加えても、押し方によって異なる映像フレームを再生することで対象体の異なる動きを具現する必要がある。

【0115】

このために、第２クライアントは、多様な方式で加圧方式を区別できる。例えば、第２クライアントは、指が画面上に接触する断面の形態（例えば、指に接触するピクセル数とピクセル分布）を基に加圧方式を判断できる。

【0116】

また、例えば、第２クライアントは、画面上に加えられる圧力分布を基に加圧方式を判断できる。即ち、第２クライアントは、タッチ操作が入力される範囲に全体的に加えられる圧力の強度が均一であるか、加えられる圧力の強度が部分別に異なるかによって、ユーザにより画面に加えられている加圧方式を判断できる。

【0117】

更に、例えば、第２クライアントは、操作体（例えば、指）でもって画面を加圧する際に、画面上での指の微細な動きを測定し、加圧方向を決定できる。

【0118】

第２クライアントは、加圧方式が対象体を斜めに押圧するものと判断されると、深さ情報が変更されることにより、圧力が加えられる方向に変更された２次元空間上の位置のフレームを提供する。具体的に、斜め方向に画面を押圧する場合、第２クライアントは、第２ユーザの指が接触した地点の映像フレームを提供した後、画面に加えられる圧力が高くなるほど指が傾く方向の、延長線方向に対応する細部セルを抽出して提供する。

【0119】

また、本発明の他の実施例は、基礎映像に対する再生の要請が受信されると、コンピュータが多重反応型映像生成ファイルを共にロードし、多重反応型映像として具現する段階を更に含む。例えば、コンピュータは、基礎映像が格納されたフォルダ内に多重反応型映像生成ファイルが共に含まれているか、データベース内に該当する多重反応型映像生成ファイルがマッチングされていると、基礎映像の再生時に、多重反応型映像生成ファイルを共に再生して多重反応型映像として具現できる。

【0120】

更に、本発明の他の実施例は、コンピュータが、ユーザから多重反応型映像に対して入力される操作回数、フレーム内の操作範囲、フレーム内に加えられた圧力の強度などのデータを獲得する段階を更に含む。例えば、コンピュータが、多重反応型映像生成ファイルにより多重反応型映像に入力される入力操作の内訳を記録する。これにより、多重反応型映像をマーケティング用途に活用する企業は、多重反応型映像内の対象体に対するマーケティング効果を確認できる。

【0121】

また、他の実施例として、ユーザが多重反応型映像を用いながら入力操作を入力する場合、コンピュータは、ユーザが特定の多重反応型映像から提供した入力操作パターンを格納する。更に、コンピュータは、入力操作による出力映像データと入力操作パターンを一緒にマッチングして格納できる。これにより、コンピュータは、ディープラーニング学習に、各ユーザの入力操作と出力映像データを入力することによって、ユーザの傾向を把握できる。例えば、ユーザが多重反応型映像内の、どの対象体に対して入力操作を多く入力したか、入力操作をどのようなパターンに入力したかなどにより、特定の対象体に対する関心度などを把握できる。

【0122】

具体的に、多重反応型映像に入力されるユーザの入力操作を基に、ユーザの行動を理解するための相互作用データ分析方法を具体的な例として説明すれば、以下の通りである。例えば、コンピュータは、猫に関わるコンテンツにおいて、「作用体を用いてゆっくりと弱い力を加えながら軌跡を描くことを繰り返すこと」と、「速く強い力を短い時間差を置いて繰り返すこと」とを区別し、ユーザが、対象体に対して愛情を持って触っているか、又は違和感や否定的な心理を持って触っているかを区別できる。これにより、ユーザの意図や欲求を把握できる。また、ユーザによってそれぞれの特性が反映されたユーザ操作パターンを提供することで超個人化され得るため、コンピュータは、ユーザの操作パターン（即ち、相互作用データ）を、ユーザを区別できる識別データ（例えば、操作パターン指紋）として使用できる。また、これは、ユーザの感情を込めたジェスチャー方式のアクションリプライとしても活用できる。

【0123】

また、他の実施例として、コンピュータがユーザの要請に応じて反応型映像コンテンツを提供する段階を更に含むことができる。コンピュータは、映像データ内で相互作用可能な区間に関する情報をメタデータから受信して、多重反応型映像に転換する。コンピュータは、多重反応型映像データに入力されるユーザ操作の形態（例えば、ユーザの操作が加えられる角度の差など）に応じて異なる反応を出力できる。更に、コンピュータは、コンテンツと相互作用する作用体の多重軌跡（例えば、ユーザの操作形態、タイプなど）を、リアルタイムに分析及び予測して行為の意味を把握し、それに応じた反応の形態に、該当イベントをマッチングして出力できる。また、コンピュータは、反応の形態に応じたイベントにしたがって、マッピングデータは、リアルタイムに配置し直すことができる。

【0124】

以上で前述した本発明の一実施例に係る多重反応型映像生成ファイルの生成方法は、ハードウェアであるコンピュータと結合されて実行されるためにプログラム（又はアプリケーション）に具現されて媒体に格納されることができる。

【0125】

前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムに具現した前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コンピュータの装置インターフェースを介して読み取られるＣ、Ｃ++、ＪＡＶＡ(登録商標)、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能を前記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な実行手順関連の制御コードを含むことができる。また、このようなコードは、前記機能を前記コンピュータのプロセッサが実行させるのに必要な追加の情報や、メディアが前記コンピュータの内部又は外部メモリのどの位置（アドレス）で参照されるべきかに対するメモリ参照関連のコードを更に含むことができる。更に、前記コンピュータのプロセッサが前記機能を実行させるために、遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバなどと通信が必要な場合、コードは、前記コンピュータの通信モジュールを用いて遠隔にある任意の他のコンピュータやサーバなどと、どのように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する、通信関連のコードを更に含むことができる。

【0126】

前記格納される媒体は、レジスタ、キャッシュ、メモリなどといった短時間でデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあるが、これに限らない。即ち、前記プログラムは、前記コンピュータが接続可能な多様なサーバ上の多様な記録媒体、又は、ユーザの前記コンピュータ上の多様な記録媒体に格納されうる。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散し、分散方式で、コンピュータが読み取れるコードが格納されうる。

【0127】

第一に、多重反応型映像生成ファイルを一般動画や複数の映像フレームの組み合わせと共に再生することにより、多様なアクション（即ち、反応）を適用できる。

【0128】

第二に、多重反応型映像生成ファイルによって映像に特定の条件を設定することによって、単に時間の軸によって制限される既存のメディアとは異なり、事件（Ｅｖｅｎｔ）によってそれぞれ異なる多様な出力が適用された多重反応型映像をユーザに提供できる。

【0129】

第三に、動画フレームに映像分割又はクロップを適用することにより、撮影した１つの映像に基づいて多様なアクションを具現できるという効果がある。

【0130】

第四に、多重反応型映像生成ファイルによって特定のユーザの映像に対する操作の内訳を記録することで、ユーザの映像に対する反応を把握できる。例えば、ユーザの多重反応型映像に対するタッチ操作の回数、タッチ操作を行ったフレームとフレーム内の対象体などを把握できる。

【0131】

以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態に実施され得るということが理解できるだろう。従って、以上で述べた実施例はあらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】