特許 7657259 多重反応型映像が表示されるように制御する電子装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-27

(45)【発行日】2025-04-04

(54)【発明の名称】多重反応型映像が表示されるように制御する電子装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20250328BHJP

【ＦＩ】

G06T19/00 A

【請求項の数】 16

(21)【出願番号】P 2023113945

(22)【出願日】2023-07-11

(62)【分割の表示】P 2021563601の分割

【原出願日】2020-04-27

(65)【公開番号】P2023133327

(43)【公開日】2023-09-22

【審査請求日】2023-07-11

(31)【優先権主張番号】10-2019-0049071

(32)【優先日】2019-04-26

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2020-0050470

(32)【優先日】2020-04-27

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】523256144

【氏名又は名称】モメンティ インコーポレイテッド

【氏名又は名称原語表記】Ｍｏｍｅｎｔｉ， Ｉｎｃ．

【住所又は居所原語表記】２００ Ｖａｒｉｃｋ Ｓｔ． ＳＴＥ．８０２ ＮＹ １００１４ ＵＳＡ

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(72)【発明者】

【氏名】イ，チョル ウ

【審査官】鈴木 明

(56)【参考文献】

【文献】特表２０１８－５３３１０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

反応型映像を表示するタッチスクリーンと、
前記反応型映像の表示動作を制御するプロセッサとを含み、
前記反応型映像は、対象体の第１ポーズ（ｐｏｓｅ）を含む第１映像及び第１ポーズから第２ポーズに変化する第２映像を含み、
前記第１映像は、前記反応型映像が表示される際に最初に表示され、
前記第２映像は、特定のパターンを有するタッチジェスチャとマッピングされ、
前記プロセッサは、前記第１映像が表示された前記タッチスクリーン上に前記タッチジェスチャが受信された場合、前記第１映像が前記第２映像に切り替わって表示されるように制御するのであり、
前記プロセッサは、
撮影により前記対象体が含まれている第１映像を獲得し、
前記第１映像に基づいてユーザのタッチジェスチャに反応型に具現しようとする前記対象体の動きのみが含まれている前記第２映像を生成し、
前記タッチジェスチャが受信されると、前記受信したタッチジェスチャを前記第２映像にマッピングさせて前記反応型映像を生成するのであり、
前記プロセッサは、
特定の基準時点の前後に、前記第１映像を第１区間及び第２区間に分割し、
前記第１区間内で前記対象体の動き経路の中心位置を前記第２映像の開始時点に設定し、
前記開始時点に基づいて前記対象体が前記第２ポーズに変化するように前記第２映像を生成する、電子装置。

【請求項2】

前記第１ポーズから前記第２ポーズへの変化は、前記対象体の頭回転の変化及び顔表情の変化のうちの少なくとも１つを含む、ことを特徴とする請求項１に記載の電子装置。

【請求項3】

前記タッチジェスチャは、ドラッグタッチジェスチャを含み、
前記プロセッサは、前記ドラッグタッチジェスチャの第１属性に基づいて前記第１映像から前記第２映像への切り替えを制御し、
前記第１属性は、ドラッグの方向、ドラッグの速度及びタッチ維持時間のうちの少なくとも１つを含む、ことを特徴とする請求項１に記載の電子装置。

【請求項4】

前記プロセッサは、前記第２映像が表示された状態で前記第１属性と反対となる前記ドラッグタッチジェスチャの第２属性が受信された場合、前記第２映像を前記第１映像に切り替える、ことを特徴とする請求項３に記載の電子装置。

【請求項5】

前記第１ポーズは、前記対象体が正面を向いているポーズを含む、ことを特徴とする請求項１に記載の電子装置。

【請求項6】

前記プロセッサは、
前記第１映像で映像区間の分割又は映像フレームの類似度の認識により、反応型に具現しない少なくとも１つのフレームを削除する、ことを特徴とする請求項１に記載の電子装置。

【請求項7】

前記プロセッサは、
ユーザの操作により特定の反応型生成条件が達成されると、前記第２映像内の特定区間の映像が特定の再生方式で再生されるように設定する、ことを特徴とする請求項１に記載の電子装置。

【請求項8】

前記基準時点は、前記第１映像内で前記対象体のポーズが基準値よりも大きい時点を含む、ことを特徴とする請求項１に記載の電子装置。

【請求項9】

電子装置によって行われる反応型映像表示制御方法において、
前記電子装置のプロセッサにより、タッチスクリーン上に反応型映像を表示する段階と、
前記プロセッサにより、前記反応型映像の表示動作を制御する段階とを含み、
前記反応型映像は、対象体の最初の第１ポーズ（ｐｏｓｅ）を示す第１映像及び前記第１ポーズから第２ポーズに変化する第２映像を含み、
前記第１映像は、前記反応型映像が表示される際に最初に表示され、
前記第２映像は、特定のパターンを有するタッチジェスチャとマッピングされ、
前記プロセッサは、前記第１映像が表示された前記タッチスクリーン上に前記タッチジェスチャが受信された場合、前記第１映像が前記第２映像に切り替わって表示されるように制御するのであり、
前記プロセッサは、
撮影により前記対象体が含まれている第１映像を獲得し、
前記第１映像に基づいてユーザのタッチジェスチャに反応型に具現しようとする前記対象体の動きのみが含まれている前記第２映像を生成し、
前記タッチジェスチャが受信されると、前記受信したタッチジェスチャを前記第２映像にマッピングさせて前記反応型映像を生成するのであり、
前記プロセッサは、
特定の基準時点の前後に、前記第１映像を第１区間及び第２区間に分割し、
前記第１区間内で前記対象体の動き経路の中心位置を前記第２映像の開始時点に設定し、
前記開始時点に基づいて前記対象体が前記第２ポーズに変化するように前記第２映像を生成する、方法。

【請求項10】

前記第１ポーズから前記第２ポーズへの変化は、前記対象体の頭回転の変化及び顔表情の変化のうちの少なくとも１つを含む、ことを特徴とする請求項９に記載の方法。

【請求項11】

前記タッチジェスチャは、ドラッグタッチジェスチャを含み、
前記プロセッサは、前記ドラッグタッチジェスチャの第１属性に基づいて前記第１映像から前記第２映像への切り替えを制御し、
前記第１属性は、ドラッグの方向、ドラッグの速度及びタッチ維持時間のうちの少なくとも１つを含む、ことを特徴とする請求項９に記載の方法。

【請求項12】

前記プロセッサは、前記第２映像が表示された状態で前記第１属性と反対となる前記ドラッグタッチジェスチャの第２属性が受信された場合、前記第２映像を前記第１映像に切り替える、ことを特徴とする請求項１１に記載の方法。

【請求項13】

前記第１ポーズは、前記対象体が正面を向いているポーズを含む、ことを特徴とする請求項９に記載の方法。

【請求項14】

前記プロセッサは、
前記第１映像で映像区間の分割又は映像フレームの類似度の認識により、反応型に具現しない少なくとも１つのフレームを削除する、ことを特徴とする請求項９に記載の方法。

【請求項15】

前記プロセッサは、
ユーザの操作により特定の反応型生成条件が達成されると、前記第２映像内の特定の区間映像が特定の再生方式で再生されるように設定する、ことを特徴とする請求項９に記載の方法。

【請求項16】

前記基準時点は、前記第１映像内で前記対象体のポーズが基準値よりも大きい時点を含む、ことを特徴とする請求項９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多重反応型映像製作方法、多重反応型映像メタデータ生成方法、人間の行動
を理解するための相互作用データ分析方法及びそれを用いたプログラムに関し、より詳細
には、ユーザの操作によって反応する多重反応型映像を製作する方法及びプログラムに関
する。

【背景技術】

【0002】

近年、映像撮影技術が非常に発展しつつある。カムコーダ、デジタルカメラだけでなく
、スマートフォンなどの移動端末も高い解像度の映像を撮影できる。また、３６０度カメ
ラ、３Ｄ映像カメラなどが登場している。

【0003】

映像は映像撮影装置によって撮影され、特定のフォーマットで格納され、再生可能な端
末により再生される。映像の再生は視聴者と相互作用（Ｉｎｔｅｒａｃｔｉｏｎ）がなく
、一方的に時間順に提供される。即ち、視聴者は、再生される映像によって視覚的な感覚
のみを感じることができる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は上記事情に鑑みてなされたものであって、その目的は、一般動画又は複数の映
像フレームが格納された映像データベース（例えば、基礎映像）に基づき、ユーザの操作
にしたがって多様な条件を再生する多重反応型映像を製作する、多重反応型映像の製作方
法を提供することにある。

【0005】

また、本発明の他の目的は、複数の基礎映像に基づいて多様な入力操作に対する出力映
像を提供できる上に、圧縮により容量を低減して多重反応型映像を生成する方法を提供す
ることにある。

【0006】

更に、本発明の別の目的は、複数の入力操作が共に反映され、別途操作又は同時操作に
より多様な出力映像を生成できる多重反応型映像を生成して使用する方法を提供すること
にある。

【0007】

また、本発明の更に他の目的は、一般動画又は２次元又は３次元映像データベースに特
定の条件を適用し、多様な機能が適用される多重反応型映像を具現する多重反応型映像生
成ファイルを提供する、多重反応型映像生成ファイルの具現方法及びプログラムを提供す
ることにある。

【0008】

更に、本発明の目的は、ユーザの多重反応型映像操作を獲得し、映像内の対象体に対す
るユーザの関心度を算出する、多重反応型映像基盤のユーザ関心度の分析方法を提供する
ことにある。

【0009】

なお、本発明の他の目的は、従来、動画の時間順に再生されることに制限されていたコ
ンテンツの限界を克服するために、映像内の事件（Ｅｖｅｎｔ）軸を追加（例えば、事件
単位で映像が制御されることを追加）することにより、映像が出力される方向又は順序を
ユーザの操作にしたがって調節できるようにする多重反応型の資料構造を生成する、多重
反応型映像の生成方法を提供することにある。

【0010】

本発明が解決しようとする課題は、以上で言及した課題に限らず、言及されていない更
に他の課題は、以下の記載から通常の技術者が明確に理解できるはずである。

【課題を解決するための手段】

【0011】

本発明の一実施例に係る多重反応型映像生成方法は、コンピュータが基礎映像を獲得し
、前記基礎映像は、ユーザの操作に応じた反応型に具現しようとする対象体の動きを含む
オリジナル映像である、基礎映像獲得段階と、コンピュータが前記基礎映像を基に圧縮映
像を生成し、前記圧縮映像は、反応型に、ユーザの操作に応じた具現しようとする対象体
の動きのみを含むものである、圧縮映像生成段階と、コンピュータが多重反応型映像生成
条件を受信し、前記多重反応型映像生成条件は、前記圧縮映像で生成可能な反応に対応す
る複数の操作入力である、多重反応型映像生成条件受信段階と、前記生成条件を前記圧縮
映像に適用して多重反応型映像を生成する段階とを含む。

【0012】

また、他の実施例として、前記圧縮映像生成段階は、前記基礎映像で映像区間の分割又
は映像フレームの類似度の認識により反応型に具現しない映像フレームを削除することを
特徴とする。

【0013】

更に、他の実施例として、前記圧縮映像生成段階は、同一の対象体を含む第１基礎映像
及び第２基礎映像が、前記対象体が同一経路に対する動きを含む場合、前記コンピュータ
が前記第１基礎映像及び前記第２基礎映像から同一経路の動きが含まれている区間映像を
抽出し、前記第１基礎映像及び前記第２基礎映像のうちの何れか１つに含まれている重複
区間映像を残すことを特徴とする。

【0014】

また、他の実施例として、前記圧縮映像生成段階は、前記基礎映像が第１位置から第２
位置へ移動する第１区間映像、及び、前記第２位置から前記第１位置へ移動する第２区間
映像を含む場合、コンピュータが、前記第１区間映像のみを圧縮映像内に残し、前記第２
位置から前記第１位置への前記対象体の移動を生成するユーザ操作の入力時に、前記第１
区間映像を逆に再生するように設定することを特徴とする。

【0015】

更に、他の実施例として、前記圧縮映像生成段階は、前記基礎映像全体、又は、前記基
礎映像内の特定の区間映像に含まれている複数の映像フレーム内に、変化が発生しない背
景領域を含む場合、コンピュータが、前記基礎映像又は前記区間映像内から前記背景映像
を抽出した後、前記基礎映像又は前記区間映像の初期フレーム内にのみ前記背景領域を含
み、その後の映像フレームに、１つ以上の抽出領域のみを残すことを特徴とし、前記抽出
領域は、前記基礎映像内で対象体の動きに変化が発生する領域である。

【0016】

また、他の実施例として、前記圧縮映像生成段階は、前記基礎映像が特定の基準時点の
前後に、対象体の外形の変化が相異なる第１事件区間及び第２事件区間を含む場合、前記
第１事件区間を順方向に再生した後に、前記第２事件区間を続けて再生する第１再生タイ
プ、及び、第１事件区間を順方向に再生した後に、逆方向への再生を行う第２再生タイプ
を設定することを特徴とし、前記多重反応型映像生成条件受信段階は、同一のユーザ操作
のタイプに対して、特定の基準操作の強度、基準移動の長さ、基準操作の速度又は基準操
作の時間長を基に、第１操作と第２操作をを分け、前記第１再生タイプ及び前記第２再生
タイプを連結することを特徴とする。

【0017】

更に、他の実施例として、前記圧縮映像生成段階は、コンピュータが前記背景領域と前
記抽出領域を何れも含む初期フレームから、反応型に具現された各位置に、各映像フレー
ムの抽出領域を順次にスタック構造でもって累積して圧縮映像ファイルを生成し、前記多
重反応型映像生成段階は、ユーザの操作と前記スタック構造上の各抽出領域とを連結して
格納することを特徴とする。

【0018】

また、他の実施例として、前記多重反応型映像は、映像フレーム内の複数の領域に抽出
領域スタックが形成された場合、入力される複数のユーザの操作による複数の抽出領域を
同時に抽出し、背景領域と結合して出力することを特徴とする。

【0019】

更に、他の実施例として、前記多重反応型映像生成段階は、ユーザの操作により特定の
反応型生成条件が達成されると、前記圧縮映像内の特定の区間映像が特定の再生方式で出
力することに設定することを特徴とする。

【0020】

また、他の実施例として、前記多重反応型映像生成段階は、複数の多重反応型映像を連
結し、第１多重反応型映像に入力されるユーザの操作によって第２多重反応型映像に変化
が出力されるように生成され、前記第１多重反応型映像及び前記第２多重反応型映像は、
画面上に同時に出力されるように設定されるものである。

【発明の効果】

【0021】

前記のような本発明によれば、以下のような多様な効果を有する。

【0022】

第一に、ユーザの操作による多様な再生条件を多重反応型映像に適用することによって
、単に時間の軸によって制限される既存のメディアとは異なり、事件（Ｅｖｅｎｔ）によ
ってそれぞれ異なる多様な出力が可能な多重反応型映像をユーザに提供できる。これによ
り、ユーザの多様な結果を確認するための反復的な試みを誘導することにより、多重反応
型映像に含まれている対象体（即ち、物体）に対するユーザの関心度を高めることができ
る。即ち、多重反応型映像生成ファイルによって映像に特定の条件を設定することによっ
て、ユーザに多様な事件（Ｅｖｅｎｔ）が適用された多重反応型映像を提供できる。

【0023】

第二に、多重反応型映像生成ファイルを一般動画や複数の映像フレームの組み合わせと
共に再生することにより、多様なアクション（即ち、反応）を適用できる。

【0024】

第三に、動画フレームに映像分割又はクロップを適用することにより、撮影した１つの
映像に基づいて多様なアクションを具現できるという効果がある。

【0025】

第四に、特定のユーザの多重反応型映像に対する操作の内訳を記録することで、ユーザ
の映像に対する反応を把握できる。例えば、ユーザの多重反応型映像に対するタッチ操作
の回数、タッチ操作を行ったフレームとフレーム内の対象体などを把握し、ユーザが関心
対象、関心度を把握でき、ユーザに対するユーザの関心度を把握できる。

【0026】

また、それぞれのイベントが多様な入力方式の条件と結合され、現実世界における現象
の多様な属性（例えば、重力と力の作用、重み、抵抗値、環境側面とモノ側面の両方での
表面の質感、弾性、密度、大きさ、模様、対象体との距離、そして音など）を完全に反映
して現実感を極大化し、直接多様な方式で相互作用できる豊富な経験コンテンツを作り出
すことができる。

【0027】

更に、本発明の実施例により生成された多重反応型映像を用いて、ユーザの多重反応型
映像コンテンツに対する相互作用データを蓄積して分析し、ユーザの意図や欲求を把握し
、データの分析結果を基にユーザの特性を把握する超個人化を行うことができる。

【図面の簡単な説明】

【0028】

【図1】本発明の一実施例に係る多重反応型映像の生成方法に対するフローチャートである。

【図2】本発明の一実施例によって、ユーザの操作により対象体である顔の首の方向及び表情の変化を提供する例示図である。

【図3】本発明の一実施例によって、ユーザにより入力される操作に対応して異なる結果を具現できるように複数の事件を含む基礎映像の例示図である。

【図4】本発明の一実施例に係るユーザの各タッチ操作の位置による対象体の位置変化を具現するための基礎映像の例示図である。

【図5】本発明の一実施例に係る圧縮映像のスタック構造を示す例示図である。

【発明を実施するための形態】

【0029】

以下、添付の図面を参照し、本発明の好適な実施例を詳細に説明する。本発明の利点及
び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例
を参照すれば明確になる。しかし、本発明は、以下で開示される実施例に制限されるもの
ではなく、互いに異なる多様な形態に具現することができる。但し、本実施例は本発明の
開示を完全なものにし、本発明が属する技術分野における通常の知識を有する者に発明の
範疇を完全に理解させるために提供されるものであり、本発明は、請求項の範疇により定
義されるのみである。明細書全体に亘って、同一の参照符号は、同一の構成要素を示す。

【0030】

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）
は、本発明が属する技術分野における通常の知識を有する者が共通して理解できる意味と
して用いられる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義
されていない限り、理想的に又は過度に解釈されない。

【0031】

本明細書で用いられた用語は、実施例を説明するためのものであり、本発明を制限しよ
うとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。
明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐ
ｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加
を排除しない。

【0032】

本明細書における多重反応型映像は、映像を視聴するユーザ（即ち、視聴者）の特定の
入力操作に相応する形態で映像が変化又は再生される映像を意味する。例えば、撮影され
たオリジナル映像の特定の動きに対応するユーザの入力操作が連結され、ユーザの操作に
よって該当映像内の物体が動いているかのように再生される映像を意味し得る。

【0033】

本明細書における「コンピュータ」は、演算処理を行える多様な装置を何れも含む。例
えば、コンピュータはデスクトップＰＣ、ノートパソコン（Ｎｏｔｅ Ｂｏｏｋ）だけで
なく、スマートフォン（Ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ、セルラーフォン（
Ｃｅｌｌｕｌａｒ ｐｈｏｎｅ）、ピーシーエスフォン（ＰＣＳ ｐｈｏｎｅ；Ｐｅｒｓｏ
ｎａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ ｐｈｏｎｅ）、同期式／非同期式
ＩＭＴ-２０００（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉ
ｃａｔｉｏｎ-２０００）の移動端末、パームＰＣ（Ｐａｌｍ Ｐｅｒｓｏｎａｌ Ｃｏｍ
ｐｕｔｅｒ）、携帯情報端末（ＰＤＡ；Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔ
ａｎｔ）なども該当し得る。また、コンピュータは、クライアントから情報を受信するサ
ーバコンピュータが該当することもできる。以下、本明細書においてコンピュータは端末
とも表現される。

【0034】

本明細書における「入力操作」は、多重反応型映像を再生するコンピュータの入力手段
により受信されるユーザの映像に対する操作を意味する。例えば、前記入力操作は、マウ
ス又はタッチスクリーンといった入力手段により、映像内の特定の地点又は領域に入力さ
れ得る操作（例えば、クリック操作、ドラッグ操作、特定時間以上の接触タッチ操作、感
圧タッチ操作（即ち、タッチスクリーン又はタッチパッドに特定の圧力を加えるタッチ操
作）など）を含むことができる。また、例えば、前記入力操作は、コンピュータ（又は端
末）が備えるセンサ（例えば、加速度センサ、ジャイロセンサなど）を入力手段として得
られる端末自体の配置状態又は動きなどを含むことができる。

【0035】

本明細書における「対象体」は、ユーザにより操作される物体を意味する。例えば、ユ
ーザが手で特定の物体に触れる動作を撮影した映像である場合、前記対象体は、ユーザに
よって触れられる物体を意味する。更に、特定の人の動きを撮影した映像である場合、前
記対象体は映像内の人であり得る。

【0036】

本明細書における「操作体」は、映像内で対象体に操作を行うものを意味する。例えば
、映像内にて、手で、カバン又は枕に触れたり押圧したりする場合、操作体とは、カバン
又は枕に触れる手を意味する。

【0037】

本明細書における「基礎映像」は、反応型に具現されない映像を意味する。即ち、基礎
映像は、一般の撮影方式で生成された動画、又は、空間上の対象体の位置ごとに映像フレ
ームを格納した複数の映像フレームの組み合わせが該当する。

【0038】

本明細書における「圧縮映像」は、基礎映像を反応型映像として具現するために、最小
の動き単位で圧縮された映像を意味する。例えば、基礎映像に同一の動きが繰り返し含ま
れている場合、圧縮映像は、繰り返される動きを削除し、１つのみ残したものである。ま
た、例えば、基礎映像に第１位置から第２位置への動きと第２位置から第１位置への動き
を何れも含む場合、圧縮映像には第１位置から第２位置へ動く基礎映像のみ残しておき、
第２位置から第１位置への動きは、残された基礎映像を逆方向にすることで再生できる。

【0039】

本明細書における「多重反応型映像生成ファイル」は、複数の基礎映像が圧縮されて生
成されたものであって、ユーザの操作によって多様な動作を再生できる映像ファイルであ
るか、１つ以上の基礎映像と共に再生されることによって、多重反応型映像として具現で
きるメタデータを意味する。

【0040】

以下、図面を参照し、本発明の実施例に係る多重反応型映像の生成方法を説明する。

【0041】

図１は、本発明の一実施例に係る多重反応型映像の生成方法に対するフローチャートで
ある。

【0042】

コンピュータが基礎映像を獲得する（Ｓ２００）。前記基礎映像は、ユーザの操作によ
る反応型に具現しようとする対象体の動きを含むオリジナル映像である。

【0043】

コンピュータは、既に生成されて格納された基礎映像をロードでき、映像フレームをリ
アルタイムに獲得して基礎映像を生成（即ち、多重反応型映像の生成機能が含まれている
プログラム又はアプリケーションを駆動した後、該当プログラム又はアプリケーションに
よってカメラ機能を活性化して基礎映像を直ちに撮影）することもできる。

【0044】

反応型映像製作者（例えば、コンテンツ供給者又は個人ユーザ）は、反応型に具現しよ
うとする動作が含まれている映像を撮影する。

【0045】

具体的な一実施例として、コンピュータは、ユーザから同一の対象体の多様な動きに対
する映像を獲得した後、多重反応型映像の形態で生成できる。例えば、対象体がユーザの
手である場合、コンピュータは、ユーザの人差し指を広げた状態で多様な方向に動かした
り、曲げたりする複数の映像を獲得する。

【0046】

また、例えば、図２に示すように、特定の操作にしたがう反応として本人の頭を上下左
右に回転したり、顔の表情の変化が提供される反応型映像を制作しようとする場合、ユー
ザは、所望する顔の動きと表情が何れも含まれている映像を撮影する。

【0047】

更に、ユーザにより入力される操作にしたがって水風船が、破裂したり床面や地面から
跳ね上がる反応型映像を生成しようとする場合、ユーザは同じ色及び大きさの水風船を落
として破裂させる第１映像と、水風船が破裂せずに跳ね上がる第２映像とを順次撮影する
。

【0048】

また、特定の動きを行った後、既存の動きの繰り返しではなく、異なる事件が発生する
１つの基礎映像を獲得する。即ち、コンピュータは、対象体に対して複数の事件が発生す
る映像を基礎映像として獲得する。例えば、図３に示すように、コンピュータは、水風船
が下に移動する動きの事件（第１事件）と、水風船が床面または地面に衝突した後に破裂
する事件（第２事件）を含む基礎映像を獲得する。更に、例えば、木の枝が曲がる事件（
第１事件）と、木の枝が折れる事件（第２事件）を含む映像を基礎映像として獲得する。
なお、コンピュータは、空気が詰まった風船を押圧することによって凹む事件（第１事件
）と、風船が割れる事件（第２事件）を含む映像を基礎映像として獲得する。

【0049】

また、図４に示すように、多様な方向又は多様な高さに器に盛られたパスタを持ち上げ
る動作を具現できる反応型映像を具現しようとする場合、ユーザは、パスタを持ち上げる
動作を繰り返したり、器に盛られたパスタをすくって３次元空間上の多様な位置に移動さ
せたりする映像を撮影する。

【0050】

更に、コンピュータは、操作体を用いて対象体を変形する映像を獲得した後、操作体を
削除する補正を行った映像を基礎映像として格納できる。

【0051】

コンピュータが前記基礎映像を基に圧縮映像を生成する（Ｓ４００；圧縮映像生成段階
）。前記圧縮映像は、反応型にユーザの操作による具現しようとする対象体の動きのみを
含む。

【0052】

以下、圧縮映像を生成する方法についての詳細な説明を記述する。

【0053】

一実施例として、コンピュータは、基礎映像内で反応型に具現する過程で不要な映像区
間を削除する。例えば、ユーザが多重反応可能な映像を具現するために対象体の多様な動
きを撮影する場合、基礎映像は、第１動きの獲得と第２動きの獲得との間に、反応型に具
現されない映像フレームを含むことができる。コンピュータは、反応型に具現されない映
像区間を分離して削除できる。

【0054】

例えば、コンピュータは、基礎映像に含まれている全てのフレームを認識した後、対象
体の動きの類似度の差が大きいフレームを削除可能なものとして自動的に分離してから除
去できる。また、例えば、コンピュータは、基礎映像を複数の区間に自動分割し、ユーザ
から反応型に具現しない映像区間を選択されてから削除できる。具体的な例として、コン
ピュータは、基礎映像を対象体の動きの単位（例えば、首を右に回す動き、首を左に回す
動きなど）で映像区間を分離し、複数の対象体の動き単位の間の映像区間を削除できる。

【0055】

また、他の実施例として、基礎映像に含まれている複数の動きの映像に重複する映像が
含まれている場合、コンピュータは、重複する区間を削除できる。例えば、第１基礎映像
、第２基礎映像及び第３基礎映像が、最初に、同一の指の位置に配置された状態から、異
なる方向へと動きを行う場合、コンピュータは、同一の位置に配置された映像フレームを
１つのみ残す。その後、第１基礎映像と第２基礎映像が同一の動きを維持し、第３基礎映
像にて、分かれて動きを行うようになれば、コンピュータは、第１基礎映像と第２基礎映
像の該当時点のフレームを１つのみ残すことになり、第３基礎映像に対するフレームは別
に格納する。

【0056】

更に、例えば、対象体に同一の動きが生成された後に異なる結果が具現される第１基礎
映像と第２基礎映像の場合（例えば、風船を床に落とす複数の映像にて速度の差によって
落とされた後に結果が変わる場合）、同一経路を動く区間では１つのみ残し、結果として
第１基礎映像と第２基礎映像の反応結果に該当する区間のみそれぞれ残すことができる。
このために、コンピュータは、第１基礎映像と第２基礎映像とを比較し、同一の対象体の
動きを有する区間を分離して、重複区間を１つのみ残し、重複映像区間、第１結果映像及
び第２結果映像に分離して格納できる。また、例えば、基礎映像全体内にて対象体が同一
区間を繰り返し移動する場合（例えば、首を左右に回転する場合）、正面を見ている状態
から左を向いた後に正面に戻ってくる第１区間映像、及び、正面を見ている状態から右を
向いた後に正面に戻ってくる第２区間映像が繰り返されるものであるので、コンピュータ
は、第１区間映像と重複する部分と、第２区間映像と重複する部分を除去する。

【0057】

また、例えば、第１位置から第２位置に移動した後、再び第１位置に戻ってくる場合、
コンピュータは、第１位置から第２位置に移動する第１区間映像のみ残し、第２位置から
第１位置に戻ってくる第２区間映像を削除して圧縮することができる。第２区間映像は、
第１区間映像を逆方向に再生することによって出力できるので、コンピュータは、第２区
間映像を削除し、第１区間映像のみを圧縮映像に残す。例えば、基礎映像内の対象体であ
る人が、正面を向いてから左側に首を回して正面に戻ってくる場合、コンピュータは、正
面から左側を向く第１区間映像のみを残すことができる。このために、コンピュータは、
基礎映像内において対象体の動きが同一経路を往復する部分を探索し、動きの方向が変更
され始めるフレーム（例えば、第１方向への動きから、逆の第２方向への動きに変化し始
めるフレーム）を基準に映像を分割した後、第１区間映像のみを残す過程を行う。

【0058】

また、特定の動きを行った後、従来の動きの区間の反復ではなく、異なる事件が発生す
る１つの基礎映像（例えば、水風船を空中から落とした後に割れる映像）を複数の事件に
分割して格納する圧縮映像を生成できる。

【0059】

具体的に、前記圧縮映像生成段階は、前記基礎映像が、特定の基準時点の前後に、対象
体の外形の変化が異なる第１事件区間及び第２事件区間を含む場合、前記第１事件区間を
順方向に再生した後、前記第２事件区間を続けて再生する第１再生タイプ、及び、第１事
件区間を順方向に再生した後、逆方向への再生を行う第２再生タイプを設定する。後述さ
れる多重反応型映像生成条件の受信段階で、同一のユーザ操作のタイプに対して特定の基
準操作の強度、基準移動の長さ（即ち、タッチディスプレイ上にスワイピング操作が加え
られる長さ）、基準操作の速度又は基準操作の時間長（即ち、特定の位置に連続してタッ
チ操作が印加される時間長）を基にして、第１操作と第２操作とを分け、前記第１再生タ
イプ及び前記第２再生タイプを連結することができる。

【0060】

以下、コンピュータが複数の事件を含む１つの基礎映像として反応型映像を具現可能な
圧縮映像を生成する方式を詳細に説明する。

【0061】

ユーザにより入力される操作にしたがって水風船が割れたり床面または地面から跳ね上
がる反応型映像を生成しようとする場合、ユーザは、水風船を落として割れる第１映像の
みを撮影した後、１つのイベントに該当する第１映像を第１事件区間と第２事件区間とに
分けた後、第１事件区間のみ順方向に再生した後、逆方向への再生を行う第１再生と、第
１事件区間を順方向に再生した後に第１事件区間を再生する第２再生として生成できる。
コンピュータは、第１再生と第２再生を、それぞれ異なるユーザの操作に連結し、ユーザ
により入力されるユーザの操作にしたがって再生されるようにすることができる。

【0062】

一例として、図３に示すように、水風船を落として水風船が割れる映像を基礎映像とし
て用いる場合、コンピュータは、水風船が落とされて割れる前の基準時点を獲得し、基準
時点を中心に第１事件区間と第２事件区間を分割する。コンピュータは、反応型映像を生
成するユーザから基準時点の入力を受けることもでき、ディープラーニングトレーニング
が行われた学習モデルによって自動的に基準時点を算出することもできる。例えば、対象
体の外形に、変形が基準値以上に発生する時点を探索する学習モデルによって、自動的に
認識することもできる。これにより、コンピュータは、第１ユーザ操作（例えば、特定の
基準速度以下で対象体である水風船が動くようにする弱いスワイピング操作）にしたがっ
て、水風船が落ちる第１事件区間を順方向に再生した後、第１事件区間を逆方向に再生す
る第１再生と、第２ユーザ操作（例えば、特定の基準速度超過で対象体である水風船が動
くようにする強いスワイピング操作）にしたがって水風船が落ちる第１事件区間を順方向
に再生した後、第２事件区間を続けて再生する第２再生とを具現できる。

【0063】

また、特定の基準速度以下で対象体を落とす場合にも、ユーザのスワイピング操作に対
応する速度によって異なる事件（ｅｖｅｎｔ）を分類できる。例えば、後述するように、
水風船の移動方向にユーザの操作が連結された後、コンピュータは、タッチ操作の強度に
よって第１事件区間の逆方向への再生が開始される時点を設定できる。風船が落とされる
速度に応じて、床に接した後に風船が変形される度合いに差があるので、コンピュータは
、ユーザ操作の強度が弱いほど、第２事件との分割基準が基準時点から長い時間の前まで
再生してから、逆方向への再生を開始することができる。

【0064】

更に、他の実施例として、木の枝を折る、すなわち、引っ張って曲がった後に折れる映
像を基礎映像として用いる場合、コンピュータは、木の枝が折れる時点を基準時点に設定
し、第１事件区間と第２事件区間とに分割する。前記基準時点は、反応型映像を製作する
ユーザにより入力されて設定されることもでき、対象体の外形の基準以上の変化（即ち、
木の枝が折れる変化）が発生する時点を自動的に算出して設定することもできる。また、
第１事件について順方向への再生と逆方向への再生が行われることにより、現実的に最初
の動きを開始した位置よりも上へと反動する映像を生成するために、第１事件区間の動き
における中心位置を、圧縮映像の開始時点に設定する。前記開始時点は、反応型映像を生
成するユーザにより設定されることもでき、コンピュータが基礎映像内で対象体が移動す
る経路を算出した後、経路の中心位置となるフレームを開始時点に設定することもできる
。また、第１事件区間内にてユーザにより入力されるユーザの操作レベル（例えば、タッ
チディスプレイに入力されるスワイピング操作の長さ）にしたがって、開始時点から順方
向への再生を行った後、逆方向への再生が開始される時点を、異なるように設定できる。

【0065】

これにより、コンピュータは、１つの基礎映像を用いて、ユーザの操作によって多様な
反応を生成する反応型映像を具現できる圧縮映像を生成できる。コンピュータは、第１事
件区間を開始時点から映像フレームを順方向に再生した後に、基準時点以降の第２事件区
間を続けて再生する第１再生タイプを具現できる。また、第１事件区間内の開始時点から
特定の第１停止時点まで順方向への再生を行った後に、開始時点までの逆方向への再生を
行い、開始時点から基礎映像の初期時点の側へと第２停止時点までの逆方向への再生を行
った後に、開始時点へと再び、順方向への再生を進める第２再生タイプを具現できる。コ
ンピュータは、第２再生時に、第１停止時点と第２停止時点を次第に開始時点に近づくよ
うに差を短くする再生を繰り返すことにより、枝の振動時に振動幅が小さくなって停止す
る現実感ある反応型映像を具現できるようにする。

【0066】

前記第２停止時点は、前記第１停止時点に対応して設定される。例えば、開始時点にお
けるフレーム上の対象体の位置（以下、開始位置）と、前記第１停止時点上の対象体の位
置との差の値に同一又は特定の割合だけ減少した値だけ、開始位置から、初期映像内の初
期位置の側へと対象体が離れた映像フレームの時点を、第２停止時点として設定する。

【0067】

また、コンピュータは、第２再生タイプにおいて第１停止時点の位置によって、細部の
再生タイプ（例えば、第２-１再生タイプ、第２-２再生タイプなど）に分けることができ
る。即ち、対象体の基準位置から順方向に変形した後、振動運動を行う程度を、細部のタ
イプに分けることができる。

【0068】

後述するように、コンピュータは、第１再生タイプと第２再生タイプに異なるユーザの
操作を連結することができる。例えば、対象体に対してスワイピングするユーザの操作を
連結する場合、コンピュータは、ユーザの要請により特定の基準速度又は特定の基準長を
超えるスワイピング操作と第１再生タイプとを連結し、特定の基準速度以下又は基準長以
下のスワイピング操作と第２再生タイプとを連結できる。また、コンピュータは、前記基
準速度又は基準長を分割し、第２再生タイプの細部タイプと順次連結できる。

【0069】

また、他の例として、コンピュータは、空気の詰まった風船を押圧して凹んだ変形の後
に風船が割れる映像を基礎映像として活用し、風船が割れる直前の時点を基準時点として
設定する。コンピュータは、基準時点以前を第１事件区間として設定し、基準時点以降を
第２事件区間として設定する。これにより、コンピュータは、第１事件区間の再生後に第
２事件区間を続けて再生する第１再生タイプと、第１区間を順方向への再生と逆方向への
再生を行う第２再生タイプを設定する。後述するように、コンピュータは、特定の感圧タ
ッチの強度を超過するか、又はタッチ操作が入力される時間長を超過するかのユーザ操作
と第１再生タイプとを連結し、特定の感圧タッチの強度以下又は特定のタッチ操作が入力
される時間長以下のユーザ操作と第２再生タイプとを連結する。

【0070】

反応型映像を生成するための基礎映像を圧縮映像として生成する方式は、これに限らず
、多様な方式が適用され得る。

【0071】

コンピュータは、前記のような映像フレーム又は映像区間の抽出過程を、複数の基礎映
像に対して行うことになる。これにより、コンピュータは、１つの対象体が動きを行う複
数の基礎映像としての多重反応型映像を製作する過程で、必要な映像フレームを最小化で
きる。

【0072】

また、コンピュータは、複数の基礎映像内に含まれている複数のフレームに対して各フ
レーム内の領域を分けて、複数の映像フレームにて重複して格納される領域を、重複して
格納しないように処理する。

【0073】

例えば、人差し指を異なるように動かす映像である複数の基礎映像（例えば、第１基礎
映像、第２基礎映像及び第３基礎映像）により多重反応型映像を生成する場合、コンピュ
ータは、対象体である指を除く、背景映像を抽出する。背景領域は、人差し指の動きに対
する複数の映像において共通する部分であるので、コンピュータは、抽出された背景領域
を共通領域として設定する。その際、コンピュータは、複数の基礎映像から、対象体であ
る指が現れず、背景として維持される領域のみを抽出して収集し、背景領域として抽出で
きる。また、他の例として、コンピュータは、対象体の動きの過程中に現れた背景情報及
び背景の周辺映像を基に、指が配置された部分まで満たした背景イメージを生成する。こ
れにより、コンピュータは、全てのフレームに背景として含まれている部分を格納するた
めの容量を低減できる。

【0074】

また、コンピュータは、複数の基礎映像において対象体領域（例えば、ユーザの手）を
分けて格納することによって、データ容量を低減する。例えば、第１基礎映像と第２基礎
映像が指のみを動かし、手の甲の領域は同じ位置に維持される場合、コンピュータは、手
の甲の領域を分離して第１基礎映像と第２基礎映像の特定の１つ以上のフレームのために
１つのみ格納し、動きを行う指の部分のみそれぞれ格納できる。その後、多重反応型映像
を再生する場合、コンピュータは、ユーザの入力操作によって要請される特定の基礎映像
を再生するために、必要な複数の領域（例えば、背景領域、手の甲の領域と各フレームに
符合する複数の指領域）を抽出し、映像を出力できる。

【0075】

コンピュータが圧縮映像に対する多重反応型映像の生成条件を受信する（Ｓ６００）。
前記多重反応型映像の生成条件は、前記圧縮映像で生成可能な反応に対応する複数の操作
入力である。即ち、コンピュータは、圧縮映像により具現できる多様な対象体の動きと連
結する複数のユーザ操作を、各映像区間又はフレームにマッチングして獲得する。

【0076】

前記多重反応型映像の生成条件の一実施例は、基礎映像がユーザのタッチ操作によって
反応（即ち、ユーザのタッチ操作に符合する映像フレームをリアルタイムに提供）するよ
うにする条件を意味する。これにより、ユーザは、本人が入力する操作によって映像内の
アクションが発生（例えば、ユーザのタッチ操作に符合するように操作体又は対象体が動
きを発生）するものと視覚的に認識できる。

【0077】

また、コンピュータは、多重反応型映像を生成するための複数の基礎映像を獲得して圧
縮する過程を行った後、ユーザの入力操作タイプを多重反応型映像に連結する過程を行う
。例えば、コンピュータは、個々のユーザの入力操作と、圧縮映像内の特定の区間映像又
は１つ以上の映像フレームとを連結する。例えば、コンピュータは、多重反応型映像を生
成する過程で、入力操作の提供位置、入力操作の種類などに符合するように、感圧タッチ
(force touch)の形態であれば、加えられる強度、押圧する角度などに符合するように、
ドラッグ動作である場合、移動方向などに符合するように、区間映像又は映像フレームを
連結する。

【0078】

例えば、コンピュータは、ユーザにより入力された右側から左側に画面をスワイピング
する操作と、対象体である顔が正面を向いている状態で左側を向くように変わる区間映像
をマッチングし、ユーザ操作が右側から左側に移動することによって対象体である顔が正
面から左側に回転することに連結できる。

【0079】

また、例えば、第１基礎映像は、他の指を折り曲げた状態で人差し指を左に動かす映像
であり、第２基礎映像は、人差し指を右に動かす映像である場合、コンピュータは、製作
者クライアントにて、人差し指領域にタッチして左にドラッグする入力操作を獲得して、
第１区間映像とマッチングし、人差し指領域にタッチして右にドラッグする入力操作を獲
得して第２区間映像とマッチングする。コンピュータは、基礎映像の形態に応じて多様な
入力操作の入力を受けた後、マッチングして格納する。

【0080】

更に、一実施例として、コンピュータが入力操作の加圧方式により、深さ情報の変化に
より提供される映像フレームを、相異なるようにして提供するように具現できる。即ち、
コンピュータが加圧される角度によって相異なる映像フレームが提供されるように具現さ
れ、ユーザは、加圧角度が実際に反映された反応を確認できる。

【0081】

また、多重反応型映像の生成条件の他の実施例は、特定の入力操作が特定の条件に到達
すると、基礎映像に含まれている特定の部分の映像が再生（即ち、アクションが発生）さ
れる条件を意味する。更に、他の実施例として、１つの基礎映像によってフレーム内の複
数の領域が、個別又は同時に反応するように多重反応型映像を生成する条件を意味する。

【0082】

多重反応型映像生成条件が、基礎映像をユーザの操作によって反応する多重反応型映像
に具現するための条件である場合、基礎映像のタイプに応じて異なる方式で、多重反応型
映像生成ファイルに格納する生成条件の入力を受けることができる。

【0083】

一実施例として、基礎映像が一般的な方式で撮影された動画（即ち、カメラを介してフ
レームが時間順に獲得されて格納された一般動画）の場合、コンピュータは、多重反応型
映像として具現するために、特定の再生範囲やフレーム内の領域を設定するデータを受信
する。この際、コンピュータは、多重反応型映像生成ファイル生成プログラムを実行し、
ユーザから条件データの入力を受けることができる。

【0084】

具体的に説明すると、コンピュータは、ユーザから特定の再生範囲を指定する入力を受
信する。即ち、１つのファイル内に複数の細部の映像が格納されており、ユーザの操作に
したがって所望の位置に移動する多重反応型映像を生成する場合、コンピュータは、ユー
ザより、基礎映像の特定の開始フレーム（即ち、多重反応型映像として製作される時間領
域の最初のフレーム）から最終フレーム（即ち、多重反応型映像として製作される時間領
域の最後のフレーム）までの選択をしてもらって、これを、特定の入力操作が所望する条
件に到達すれば再生されるようにすることができる。

【0085】

その後、コンピュータは、前記再生範囲内のフレームの全ての領域又は特定の領域に連
結する、特定の入力操作をユーザから受信するか、映像内の操作体の動きを分析し、操作
体の動きに符合する入力操作を適用する。即ち、コンピュータは、指定された再生範囲内
の物体の動きに符合する入力操作を、受信又は指定できる。

【0086】

また、基礎映像又は圧縮映像の再生範囲（又は区間映像）を入力操作と連結する方法と
しては、多様な方式が適用されうる。

【0087】

再生範囲と特定の入力操作とを連結する方式の一実施例として、コンピュータは、指定
された再生範囲内におけるそれぞれのフレームの全ての領域又は特定の領域に、仮想レイ
ヤを生成する方式を適用できる。仮想レイヤは、画面にて外観には現れずにユーザの入力
を受信できる、前記フレームの上に覆われるレイヤを意味し得る。即ち、コンピュータは
、特定数の細部セルで構成された、仮想レイヤをフレーム上に生成するための条件（即ち
、仮想レイヤが生成される時間範囲又はフレーム数、フレーム上の範囲など）をユーザか
ら獲得する。コンピュータは、多重反応型映像の再生時に、多重反応型映像生成ファイル
内に含まれている仮想レイヤの生成条件を基に、特定数の細部セルに分割して生成された
仮想レイヤを基礎映像上に提供する。前記仮想レイヤが分割される細部セルの数は、仮想
レイヤ生成条件内に含まれている、マッチングされる映像フレームの数によって決定され
うる。例えば、ユーザからの多重反応型映像生成条件（即ち、仮想レイヤ生成条件）にし
たがって、ｎ個のフレームが変動的に再生（即ち、操作再生）されるように多重反応型映
像を生成しようとする場合、コンピュータは特定領域をｎ個の細部セルに分割できる。

【0088】

また、他の実施例として、基礎映像が、対象体の空間上の位置別に映像フレームを格納
した複数の映像フレームの組み合わせである場合、コンピュータは、ユーザから、特定の
フレームをタッチスクリーン上の各地点にマッチングするための条件設定を受信する。

【0089】

具体的に説明すると、コンピュータは、基礎映像内の複数の映像フレームで反応型に生
成される領域を設定する入力をユーザから受信する。一実施例として、コンピュータは、
ユーザから、特定の映像フレームに反応型領域を設定する入力を受信する。例えば、コン
ピュータは、画面上に、基礎映像内の特定の映像フレームを抽出して提供し、ユーザから
対象体の範囲を指定してもらうことができる。基礎映像においてカメラや対象体の位置は
固定されているので、コンピュータは、任意の映像フレームを提供した後、対象体の領域
をタッチ操作によって設定してもらうことができる。また、他の実施例は、コンピュータ
は、ユーザから、基礎映像内の複数のフレームに同一に存在する、対象体のイメージを抽
出して反応型生成領域として具現するようにする命令を受信して行う。また、他の実施例
によると、コンピュータは、ユーザから、操作体（例えば、手）の動きをトラッキングし
て操作体（例えば、手）の移動経路を含む範囲を反応型生成領域として具現するようにす
る命令を受信する。

【0090】

その後、コンピュータは、ユーザからタッチ操作が入力される密度の設定を受信する。
即ち、コンピュータは、反応型領域にマッチングするフレーム数を受信する。例えば、基
礎映像がＬ（時間フレーム数）×Ｍ（事件フレーム数）×Ｎ（深さフレーム数）で構成さ
れる場合、これよりも小さいか同一であるフレーム密度を、反応型生成領域に適用できる
。これにより、多重反応型映像の再生時に、コンピュータは、前記設定された密度を基に
、反応型生成領域を分割し、反応型生成領域を構成する複数の細部セルに対応する映像フ
レームを各細部セルにマッチングし、多重反応型映像として具現する。

【0091】

また、他の実施例として、ユーザの操作に対応するフレームが提供されるように設定さ
れた場合、コンピュータは、ユーザから特定の再生条件を入力してもらう。前記再生条件
は、条件到達時に再生が継続されるか、特定の時点へと再生が移動して再生するように具
現することを意味する。

【0092】

例えば、コンピュータは、特定の入力条件を選択される。即ち、特定の地点に対するプ
ッシュ操作、特定の範囲に対するドラッグ操作又はピンチ操作の入力を受ける。その後、
コンピュータは、該当入力条件の到達時に発生する再生条件の入力を受ける。コンピュー
タは、特定の再生範囲を再生（即ち、特定の映像フレームに移動して再生、特定の第１映
像フレームから第２映像フレームまでの区間を再生）するように設定でき、入力条件の到
達時に特定のリンクを提供するようにできる。また、コンピュータは、特定の再生範囲の
フレーム内の全ての領域又は一部の領域を他の映像と結合するか、代替するように設定で
きる。

【0093】

また、他の実施例として、コンピュータは、複数の多重反応型映像を１つの画面に提供
し、多重反応型映像の間で連結関係を形成する。例えば、２つの多重反応型映像の間で連
結関係を形成する場合、コンピュータは、第１多重反応型映像と第２多重反応型映像が結
合された最終の多重反応型映像を形成し、特定の多重反応型映像に対するユーザの操作時
に該当多重反応型映像に反応（即ち、アクション）が発生するだけでなく、他の多重反応
型映像も連結関係によるアクションが発生する。具体的に、第１多重反応型映像がユーザ
の顔のイメージに対する映像であり、第２多重反応型映像がユーザの顔に含まれている一
部の皮膚領域のみを表現した映像である場合、コンピュータがユーザから、第２多重反応
型映像にメイクアップ化粧品を塗りつけるのと同様のドラッグ操作を繰り返して入力を受
けると、コンピュータは、第２多重反応型映像と連結された第１多重反応型映像を再生し
てメイクアップとなるアクションを具現（例えば、メイクアップしていない顔イメージか
ら、メイクアップした顔のイメージに変わる動画を順次再生）する。また、第２多重反応
型映像に入力される操作のタイプに応じて第１多重反応型映像及び第２多重反応型映像に
生成されるアクションの種類が異なり得る。

【0094】

但し、連結関係を形成できる多重反応型映像の数は制限されず、１つの多重反応型映像
は、複数の多重反応型映像との連結関係が形成されうる。例えば、コンピュータは、１つ
の画面内に１６分割に１６個の個別多重反応型映像を提供し、各多重反応型映像間の連結
関係を形成できる。

【0095】

コンピュータは、多様な方式で多重反応型映像生成条件（例えば、多重反応型映像に対
する入力条件と再生条件）を設定する。一実施例として、コンピュータは、多重反応型映
像に反応を具現できる、条件関数の入力を直接受ける。即ち、コンピュータは、ユーザか
ら、反応を具現する関数コードの入力を直接受けることができる。例えば、複数の映像を
含むフレームセットを画面に提供する場合（即ち、第１多重反応型映像と第２多重反応型
映像が結合される場合）、コンピュータは、ユーザから２つの多重反応型映像関数の入力
を受ける。

【0096】

また、他の実施例として、コンピュータは、多重反応型映像生成ファイル具現プログラ
ムを用いて、ユーザから入力された多重反応型映像生成条件を、基礎映像に直接入力する
ことにより、多重反応型映像として具現する。コンピュータは、多重反応型映像生成ファ
イル具現プログラムを駆動し、ユーザの操作によって特定の基礎映像をロードできる。そ
の後、コンピュータは、ユーザから、多重反応型映像として具現する生成条件（即ち、入
力条件、再生条件など）に該当する操作を受信し、多重反応型映像生成プログラム又は生
成アプリケーションが該当生成条件を具現する関数に生成する。

【0097】

後述するように、１つ以上の基礎映像と共に再生される多重反応型映像生成ファイルが
別に存在する場合、コンピュータは、ユーザから入力された生成条件を、生成ファイル具
現プログラムを介して多重反応型映像生成ファイル内に格納する。例えば、コンピュータ
は、生成条件に相応する多重反応型映像具現関数コードを、別のファイルとして格納する
。コンピュータは、基礎映像への操作（例えば、タッチ操作、マウス操作など）を受信し
、それに対応する条件（例えば、アクションタイプ、アクションが入力される再生範囲、
条件の到達時に実行されるアクションなど）を多重反応型映像生成ファイル上に記録でき
る。

【0098】

また、他の実施例として、多重反応型映像生成条件が特定の入力操作が特定の条件に到
達すると、特定のアクション（例えば、基礎映像に含まれている特定の部分の映像）が再
生される条件である場合、コンピュータは、ユーザから特定の入力操作タイプ、条件の到
達時に発生するアクションタイプ（例えば、基礎映像内で移動される再生時点）、到達さ
れるべき条件値を受信する。

【0099】

更に、他の実施例として、多重反応型映像生成条件が１つの基礎映像によってフレーム
内の複数の領域が個別又は同時に反応するように多重反応型映像を生成する条件である場
合、コンピュータは、ユーザから、分割又はクロップを行う再生範囲を設定してもらい、
該当範囲内に分割又はクロップを行う領域を設定してもらう。その後、コンピュータは、
ユーザから、分割又はクロップを行う領域に個別に再生する映像情報の入力を受ける。例
えば、基礎映像が左右に配置されたカップに次々と水が注がれる映像である場合、２つの
カップが分けられる分割線を基準にフレームを区別し、両方が独立して反応型に具現され
るようにすることができる。これにより、１つの基礎映像でもって多様な多重反応型映像
を具現できることから、多重反応型映像の容量を低減でき、多重反応型映像の具現のため
の基礎映像の撮影も簡便に行える。

【0100】

コンピュータが前記生成条件を前記圧縮映像に適用し、多重反応型映像を生成する（Ｓ
８００）。コンピュータが多重反応型映像生成条件を適用し、多重反応型映像データとし
て格納する。

【0101】

一実施例として、コンピュータは、複数の基礎映像の圧縮と各基礎映像に対する入力操
作を獲得した結果を反映し、最終の多重反応型映像ファイルを生成する。即ち、コンピュ
ータは、ユーザの入力操作にしたがって、圧縮された複数の領域を併合し、多重反応型映
像にて特定の動作が再生され得る形態でもってファイルを構築する。

【0102】

また、他の実施例として、ユーザから、多重反応型映像生成条件を関数の形態で直接入
力を受ける場合、コンピュータは、１つ以上の基礎映像と共に用いられる、多重反応型映
像生成ファイル内に入力された関数の形態をそのまま格納する。他の実施例として、多重
反応型映像生成ファイルの制作プログラム（又は生成プログラム）を用いて、ユーザから
、基礎映像に特定の入力操作を直接受信する場合、コンピュータは、該当入力操作に符合
する関数を生成して格納する。即ち、コンピュータは、ユーザにより基礎映像に対して入
力された多重反応型映像生成条件から、フレーム、該当フレーム内の範囲、反応（即ち、
アクション）タイプなどのデータを抽出し、関数の形態で格納できる。

【0103】

これにより、ユーザは、多重反応型映像生成条件が格納された多重反応型映像生成ファ
イルを用いて、特定の映像を簡単に多重反応型映像として具現できる。即ち、ユーザは、
基礎映像自体を再生したい場合には、多重反応型映像生成ファイルを除いて再生を行うこ
とができ、多重反応型映像に具現したい場合には、基礎映像ファイルと多重反応型映像生
成ファイルを共に再生することによって多重反応型映像として再生できる。

【0104】

また、コンピュータが圧縮映像内の区間映像間の関係を基に、スタック構造の格納形式
を生成する段階を更に含む。例えば、コンピュータは、圧縮過程で得られたフレーム又は
複数の領域を、スタック（Ｓｔａｃｋ）構造で構築できる。即ち、コンピュータは、基礎
映像のフレーム範囲（即ち、２次元範囲）内にて映像圧縮のために生成された複数の領域
を１つ以上のスタックに積み重ね、多重反応型映像ファイルを生成する。

【0105】

具体的に、コンピュータは、ユーザから入力操作が加えられるとき、特定の抽出領域が
提供されるべき位置の集合を、該当抽出領域の表示範囲に設定する。例えば、背景領域は
、入力操作が提供される全ての位置で表示されなければならないので、コンピュータは、
フレーム全体を背景領域の表示範囲に設定する。そして、コンピュータは、各位置で感圧
タッチの強度又は時間の変化をそれぞれスタックに積み重ねて格納できる。

【0106】

また、１つの多重反応型映像内で異なる位置で複数の動作を具現する場合、コンピュー
タは、複数の位置で具現された各動作に対するスタックを形成する。これにより、ユーザ
が、多重反応型映像を再生しながら、多様な動作を具現するための入力操作を一度に入力
する場合、コンピュータは、各入力操作が加えられたスタックから、抽出領域を抽出して
併合することにより、複数の入力操作による動きが一度に反映された映像を出力できる。

【0107】

例えば、口を開ける第１操作と、食べ物を口へ移動させる第２操作が共に含まれている
多重反応型映像の場合、ユーザが口を開けるための第１入力操作（例えば、上下唇の位置
を２本の指でタッチした後に開ける操作）と、食べ物をタッチして口の方にドラッグする
第２操作を同時に入力すると、コンピュータは、口を開ける操作が入力される位置のスタ
ックから抽出された第１抽出領域を併合し、食べ物を移動させる操作が同時に入力された
位置のスタックから抽出された第２抽出領域を併合して、出力映像を生成する。

【0108】

これにより、コンピュータは、第１入力操作と第２操作の入力程度によって異なる出力
映像を提供できる。例えば、コンピュータは、第１入力操作のみ入力されると、口を開け
る出力映像を提供し、第２入力操作のみ入力されると、食べ物を口側に移動させる出力映
像を提供し、第１入力操作と第２入力操作を同時に入力すると、口を開けながら口に食べ
物を入れる出力映像を提供する。また、コンピュータは、第１入力操作と第２入力操作が
加えられるパターンに応じて異なる出力映像を提供することもできる。

【0109】

また、図５に示すように、各抽出領域（第１抽出領域及び第２抽出領域）は、異なる事
件に対する複数のスタックを含むことができる。例えば、実線で表現される第１スタック
と、破線で表現される第２スタックとを各抽出領域に含むことができる。コンピュータは
、ユーザから各抽出領域に最初の操作が入力される位置を基に、第１スタックと第２スタ
ックのうちで実行されるスタックを決定するものとして具現できる。

【0110】

更に、図５に示すように、各抽出領域内の第１事件と第２事件は、重なるピクセルを含
むことができ、コンピュータは、第１事件に対するスタックと第２事件に対するスタック
のうちで重畳するピクセルのうちの１つのみを残すことができる。圧縮映像が特定の抽出
領域内の重畳ピクセルに対するデータを１つさえ含んでいても、ユーザの次の操作（例え
ば、タッチ操作の動きの方向又は加えられる圧力強度の変化）にしたがって第１事件と第
２事件のうちの何れか１つのスタックが決定されうる。これにより、コンピュータは、最
小限のデータだけで圧縮映像を生成できる。

【0111】

以下、ユーザが多重反応型映像を用いる方式について説明する。

【0112】

本発明の一実施例に係る多重反応型映像の再生及び利用方法は、クライアントが特定の
多重反応型映像をロードする段階と、前記多重反応型映像に対するユーザの操作を受信す
る段階と、前記ユーザの操作による反応を算出して出力する段階（反応出力段階）とを含
む。

【0113】

前記反応出力段階で、コンピュータ（即ち、多重反応型映像を再生するクライアント装
置）が、ディスプレイに加えられたタッチ操作の移動方向、速度、画面に対する入力角度
、入力時間長、圧力の強度などを算出する。

【0114】

例えば、多重反応型映像を再生するユーザ（以下、第２ユーザ）が多重反応型映像を再
生するクライアント（以下、第２クライアント）の画面に、垂直に圧力を加える場合と、
斜めに圧力を加える場合に異なる細部のセルを選択して提供できる。実際の対象体を垂直
方向に押圧すると、垂直方向に入り、斜め方向に押圧すると、斜め方向に窪むのと同様に
、反応型映像でも、第２ユーザに臨場感を提供するために、同じ地点に圧力を加えても、
押し方によって異なる映像フレームを再生することで対象体の異なる動きを具現する必要
がある。

【0115】

このために、第２クライアントは、多様な方式で加圧方式を区別できる。例えば、第２
クライアントは、指が画面上に接触する断面の形態（例えば、指に接触するピクセル数と
ピクセル分布）を基に加圧方式を判断できる。

【0116】

また、例えば、第２クライアントは、画面上に加えられる圧力分布を基に加圧方式を判
断できる。即ち、第２クライアントは、タッチ操作が入力される範囲に全体的に加えられ
る圧力の強度が均一であるか、加えられる圧力の強度が部分別に異なるかによって、ユー
ザにより画面に加えられている加圧方式を判断できる。

【0117】

更に、例えば、第２クライアントは、操作体（例えば、指）でもって画面を加圧する際
に、画面上での指の微細な動きを測定し、加圧方向を決定できる。

【0118】

第２クライアントは、加圧方式が対象体を斜めに押圧するものと判断されると、深さ情
報が変更されることにより、圧力が加えられる方向に変更された２次元空間上の位置のフ
レームを提供する。具体的に、斜め方向に画面を押圧する場合、第２クライアントは、第
２ユーザの指が接触した地点の映像フレームを提供した後、画面に加えられる圧力が高く
なるほど指が傾く方向の、延長線方向に対応する細部セルを抽出して提供する。

【0119】

また、本発明の他の実施例は、基礎映像に対する再生の要請が受信されると、コンピュ
ータが多重反応型映像生成ファイルを共にロードし、多重反応型映像として具現する段階
を更に含む。例えば、コンピュータは、基礎映像が格納されたフォルダ内に多重反応型映
像生成ファイルが共に含まれているか、データベース内に該当する多重反応型映像生成フ
ァイルがマッチングされていると、基礎映像の再生時に、多重反応型映像生成ファイルを
共に再生して多重反応型映像として具現できる。

【0120】

更に、本発明の他の実施例は、コンピュータが、ユーザから多重反応型映像に対して入
力される操作回数、フレーム内の操作範囲、フレーム内に加えられた圧力の強度などのデ
ータを獲得する段階を更に含む。例えば、コンピュータが、多重反応型映像生成ファイル
により多重反応型映像に入力される入力操作の内訳を記録する。これにより、多重反応型
映像をマーケティング用途に活用する企業は、多重反応型映像内の対象体に対するマーケ
ティング効果を確認できる。

【0121】

また、他の実施例として、ユーザが多重反応型映像を用いながら入力操作を入力する場
合、コンピュータは、ユーザが特定の多重反応型映像から提供した入力操作パターンを格
納する。更に、コンピュータは、入力操作による出力映像データと入力操作パターンを一
緒にマッチングして格納できる。これにより、コンピュータは、ディープラーニング学習
に、各ユーザの入力操作と出力映像データを入力することによって、ユーザの傾向を把握
できる。例えば、ユーザが多重反応型映像内の、どの対象体に対して入力操作を多く入力
したか、入力操作をどのようなパターンに入力したかなどにより、特定の対象体に対する
関心度などを把握できる。

【0122】

具体的に、多重反応型映像に入力されるユーザの入力操作を基に、ユーザの行動を理解
するための相互作用データ分析方法を具体的な例として説明すれば、以下の通りである。
例えば、コンピュータは、猫に関わるコンテンツにおいて、「作用体を用いてゆっくりと
弱い力を加えながら軌跡を描くことを繰り返すこと」と、「速く強い力を短い時間差を置
いて繰り返すこと」とを区別し、ユーザが、対象体に対して愛情を持って触っているか、
又は違和感や否定的な心理を持って触っているかを区別できる。これにより、ユーザの意
図や欲求を把握できる。また、ユーザによってそれぞれの特性が反映されたユーザ操作パ
ターンを提供することで超個人化され得るため、コンピュータは、ユーザの操作パターン
（即ち、相互作用データ）を、ユーザを区別できる識別データ（例えば、操作パターン指
紋）として使用できる。また、これは、ユーザの感情を込めたジェスチャー方式のアクシ
ョンリプライとしても活用できる。

【0123】

また、他の実施例として、コンピュータがユーザの要請に応じて反応型映像コンテンツ
を提供する段階を更に含むことができる。コンピュータは、映像データ内で相互作用可能
な区間に関する情報をメタデータから受信して、多重反応型映像に転換する。コンピュー
タは、多重反応型映像データに入力されるユーザ操作の形態（例えば、ユーザの操作が加
えられる角度の差など）に応じて異なる反応を出力できる。更に、コンピュータは、コン
テンツと相互作用する作用体の多重軌跡（例えば、ユーザの操作形態、タイプなど）を、
リアルタイムに分析及び予測して行為の意味を把握し、それに応じた反応の形態に、該当
イベントをマッチングして出力できる。また、コンピュータは、反応の形態に応じたイベ
ントにしたがって、マッピングデータは、リアルタイムに配置し直すことができる。

【0124】

以上で前述した本発明の一実施例に係る多重反応型映像生成ファイルの生成方法は、ハ
ードウェアであるコンピュータと結合されて実行されるためにプログラム（又はアプリケ
ーション）に具現されて媒体に格納されることができる。

【0125】

前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムに具現
した前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コン
ピュータの装置インターフェースを介して読み取られるＣ、Ｃ++、ＪＡＶＡ(登録商標)、
機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる
。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連す
る機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能を前
記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な実行手順関連の制
御コードを含むことができる。また、このようなコードは、前記機能を前記コンピュータ
のプロセッサが実行させるのに必要な追加の情報や、メディアが前記コンピュータの内部
又は外部メモリのどの位置（アドレス）で参照されるべきかに対するメモリ参照関連のコ
ードを更に含むことができる。更に、前記コンピュータのプロセッサが前記機能を実行さ
せるために、遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバなどと通信が
必要な場合、コードは、前記コンピュータの通信モジュールを用いて遠隔にある任意の他
のコンピュータやサーバなどと、どのように通信すべきか、通信時に如何なる情報やメデ
ィアを送受信すべきかなどに対する、通信関連のコードを更に含むことができる。

【0126】

前記格納される媒体は、レジスタ、キャッシュ、メモリなどといった短時間でデータを
格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎ
ｇ）可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、Ｒ
ＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあるが
、これに限らない。即ち、前記プログラムは、前記コンピュータが接続可能な多様なサー
バ上の多様な記録媒体、又は、ユーザの前記コンピュータ上の多様な記録媒体に格納され
うる。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散し、分
散方式で、コンピュータが読み取れるコードが格納されうる。

【0127】

第一に、多重反応型映像生成ファイルを一般動画や複数の映像フレームの組み合わせと
共に再生することにより、多様なアクション（即ち、反応）を適用できる。

【0128】

第二に、多重反応型映像生成ファイルによって映像に特定の条件を設定することによっ
て、単に時間の軸によって制限される既存のメディアとは異なり、事件（Ｅｖｅｎｔ）に
よってそれぞれ異なる多様な出力が適用された多重反応型映像をユーザに提供できる。

【0129】

第三に、動画フレームに映像分割又はクロップを適用することにより、撮影した１つの
映像に基づいて多様なアクションを具現できるという効果がある。

【0130】

第四に、多重反応型映像生成ファイルによって特定のユーザの映像に対する操作の内訳
を記録することで、ユーザの映像に対する反応を把握できる。例えば、ユーザの多重反応
型映像に対するタッチ操作の回数、タッチ操作を行ったフレームとフレーム内の対象体な
どを把握できる。

【0131】

以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野に
おける通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の
具体的な形態に実施され得るということが理解できるだろう。従って、以上で述べた実施
例はあらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】