特表 2023-537233 アニメーションを著作するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-08-31

(54)【発明の名称】アニメーションを著作するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体

(51)【国際特許分類】

   G06T 13/40 20110101AFI20230824BHJP

   G06T 7/246 20170101ALI20230824BHJP

   G06T 7/00 20170101ALI20230824BHJP

【ＦＩ】

G06T13/40

G06T7/246

G06T7/00 350B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023503996

(86)(22)【出願日】2021-07-22

(85)【翻訳文提出日】2023-03-09

(86)【国際出願番号】 KR2021009515

(87)【国際公開番号】W WO2022019692

(87)【国際公開日】2022-01-27

(31)【優先権主張番号】10-2020-0091310

(32)【優先日】2020-07-22

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

２．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】522005619

【氏名又は名称】アニペン インコーポレイテッド

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】チョン，ジェ ウン

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050AA08

5B050BA08

5B050BA09

5B050BA11

5B050BA12

5B050BA13

5B050CA08

5B050DA04

5B050DA05

5B050EA04

5B050EA24

5B050EA26

5B050FA02

5B050FA05

5L096CA04

5L096HA02

5L096JA11

5L096KA04

(57)【要約】

本発明の一態様によると、アニメーションを著作するための方法であって、入力映像から実世界客体の外観およびモーションに関する特徴情報を獲得する段階、前記実世界客体の外観に関する特徴情報を参照して前記実世界客体に関連する仮想客体を決定し、前記実世界客体のモーションに関する特徴情報を参照して前記実世界客体に関連する仮想モーションを決定する段階、および前記仮想客体および前記仮想モーションに基づいてアニメーションシーケンスを生成する段階を含む方法が提供される。
【選択図】図１

【特許請求の範囲】

【請求項1】

アニメーションを著作するための方法であって、
入力映像から実世界客体の外観およびモーションに関する特徴情報を獲得する段階、
前記実世界客体の外観に関する特徴情報を参照して前記実世界客体に関連する仮想客体を決定し、前記実世界客体のモーションに関する特徴情報を参照して前記実世界客体に関連する仮想モーションを決定する段階、および
前記仮想客体および前記仮想モーションに基づいてアニメーションシーケンスを生成する段階を含む、方法。

【請求項2】

前記獲得段階で、客体分析モデルを利用して前記入力映像内の実世界客体を分析することによって前記実世界客体の外観およびモーションに関する特徴情報を抽出し、
前記客体分析モデルは、複数の実世界客体および前記複数の実世界客体に関連する外観およびモーションに関する特徴情報を利用して学習させたモデルである、請求項１に記載の方法。

【請求項3】

前記獲得段階で、前記入力映像で特定される前記実世界客体の種類を参照して前記実世界客体の外観およびモーションに関する特徴情報を抽出する、請求項１に記載の方法。

【請求項4】

前記獲得段階で、前記入力映像から前記実世界客体の感情に関する特徴情報をさらに獲得する、請求項１に記載の方法。

【請求項5】

前記決定段階で、
複数の仮想客体の中で前記実世界客体の外観に関する特徴情報に基づいて前記実世界客体の外観と所定水準以上類似する外観を有する客体を前記仮想客体として決定し、
複数の仮想モーションの中で前記実世界客体のモーションに関する特徴情報に基づいて前記実世界客体のモーションと所定水準以上類似するモーションを前記仮想モーションとして決定する、請求項１に記載の方法。

【請求項6】

前記複数の仮想客体および前記複数の仮想モーションはアニメーション著作に関連するプラットホームでの購入履歴を参照して特定される、請求項５に記載の方法。

【請求項7】

前記生成段階で、前記アニメーションシーケンスを実世界映像に結合して増強現実映像および混合現実映像のうち少なくとも一つを生成する、請求項１に記載の方法。

【請求項8】

前記生成されるアニメーションシーケンスが複数のユーザ間で共有されるようにする、請求項１に記載の方法。

【請求項9】

前記複数のユーザのうち少なくとも一つが前記共有されるアニメーションシーケンスで前記仮想客体および前記仮想モーションのうち少なくとも一つを修正できるようにするためのユーザインターフェースが提供される、請求項８に記載の方法。

【請求項10】

請求項１に記載された方法を実行するためのコンピュータプログラムを記録する非一過性のコンピュータ読み取り可能記録媒体。

【請求項11】

アニメーションを著作するためのシステムであって、
入力映像から実世界客体の外観およびモーションに関する特徴情報を獲得する特徴情報獲得部、
前記実世界客体の外観に関する特徴情報を参照して前記実世界客体に関連する仮想客体を決定し、前記実世界客体のモーションに関する特徴情報を参照して前記実世界客体に関連する仮想モーションを決定する決定部、および
前記仮想客体および前記仮想モーションに基づいてアニメーションシーケンスを生成するシーケンス生成部を含む、システム。

【請求項12】

前記特徴情報獲得部は、客体分析モデルを利用して前記入力映像内の実世界客体を分析することによって前記実世界客体の外観およびモーションに関する特徴情報を抽出し、
前記客体分析モデルは、複数の実世界客体および前記複数の実世界客体に関連する外観およびモーションに関する特徴情報を利用して学習させたモデルである、請求項１１に記載のシステム。

【請求項13】

前記特徴情報獲得部は、前記入力映像で特定される前記実世界客体の種類を参照して前記実世界客体の外観およびモーションに関する特徴情報を抽出する、請求項１１に記載のシステム。

【請求項14】

前記特徴情報獲得部は、前記入力映像から前記実世界客体の感情に関する特徴情報をさらに獲得する、請求項１１に記載のシステム。

【請求項15】

前記決定部は、複数の仮想客体の中で前記実世界客体の外観に関する特徴情報に基づいて前記実世界客体の外観と所定水準以上類似する外観を有する客体を前記仮想客体として決定し、複数の仮想モーションの中で前記実世界客体のモーションに関する特徴情報に基づいて前記実世界客体のモーションと所定水準以上類似するモーションを前記仮想モーションとして決定する、請求項１１に記載のシステム。

【請求項16】

前記複数の仮想客体および前記複数の仮想モーションはアニメーション著作に関連するプラットホームでの購入履歴を参照して特定される、請求項１５に記載のシステム。

【請求項17】

前記シーケンス生成部は、前記アニメーションシーケンスを実世界映像に結合して増強現実映像および混合現実映像のうち少なくとも一つを生成する、請求項１１に記載のシステム。

【請求項18】

前記生成されるアニメーションシーケンスが複数のユーザ間で共有されるようにする共有管理部をさらに含む、請求項１１に記載のシステム。

【請求項19】

前記共有管理部は、前記複数のユーザのうち少なくとも一つが前記共有されるアニメーションシーケンスで前記仮想客体および前記仮想モーションのうち少なくとも一つを修正できるようにするためのユーザインターフェースを提供する、請求項１８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はアニメーションを著作するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体に関する。

【背景技術】

【0002】

最近、パソコンや移動端末装置などのようなデジタル機器の２次元画面においても３次元的に表現され得るコンテンツに対する需要が増加している。また、１人放送プラットホーム、コンテンツクリエイタープラットホームなどが活性化されるにつれて、３次元コンテンツを直接著作して使おうとする一般人のユーザが増えている。

【0003】

しかし、従来にはこのような３次元コンテンツの著作のためにコンテンツ著作用ツール（ｔｏｏｌ）が利用されてきたが、通常のアニメーション著作用ツールはその使用方法が複雑で難しいため、熟練した専門家によってのみその使用が可能であるのが一般的であった。

【0004】

そこで、本発明者らは、入力映像から特定される実世界客体の外観およびモーションに関する特徴情報に基づいて仮想客体および仮想モーションを決定し、その仮想客体および仮想モーションに基づいてアニメーションシーケンスを生成できる新規かつ進歩した技術を提案するところである。

【0005】

＜先行技術文献＞

【0006】

＜特許文献＞

【0007】

（特許文献１）韓国公開特許公報第２０１４－００７０９１５号（２０１４．０６．１１）

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、前述した従来技術の問題点をすべて解決することをその目的とする。

【0009】

また、本発明は、撮影映像を利用して誰でも容易かつ簡便にアニメーションを著作できるように支援することを他の目的とする。

【0010】

また、本発明は、アニメーション著作に関連するプラットホームでユーザが購入して保有している仮想客体の中で実世界客体の外観と所定水準以上類似する外観を有する仮想客体を決定し、アニメーション著作に関連するプラットホームでユーザが購入して保有している仮想モーションの中で実世界客体のモーションと所定水準以上類似する仮想モーションを決定し、決定された仮想客体および仮想モーションを利用してアニメーションシーケンスを生成することを他の目的とする。

【課題を解決するための手段】

【0011】

前記目的を達成するための本発明の代表的な構成は次の通りである。

【0012】

本発明の一態様によると、アニメーションを著作するための方法であって、入力映像から実世界客体の外観およびモーションに関する特徴情報を獲得する段階、前記実世界客体の外観に関する特徴情報を参照して前記実世界客体に関連する仮想客体を決定し、前記実世界客体のモーションに関する特徴情報を参照して前記実世界客体に関連する仮想モーションを決定する段階、および前記仮想客体および前記仮想モーションに基づいてアニメーションシーケンスを生成する段階を含む方法が提供される。

【0013】

本発明の他の態様によると、アニメーションを著作するためのシステムであって、入力映像から実世界客体の外観およびモーションに関する特徴情報を獲得する特徴情報獲得部、前記実世界客体の外観に関する特徴情報を参照して前記実世界客体に関連する仮想客体を決定し、前記実世界客体のモーションに関する特徴情報を参照して前記実世界客体に関連する仮想モーションを決定する決定部、および前記仮想客体および前記仮想モーションに基づいてアニメーションシーケンスを生成するシーケンス生成部を含むシステムが提供される。

【0014】

この他にも、本発明を具現するための他の方法、他のシステムおよび前記方法を実行するためのコンピュータプログラムを記録する非一過性のコンピュータ読み取り可能な記録媒体がさらに提供される。

【発明の効果】

【0015】

本発明によると、撮影映像を利用して誰でも容易かつ簡便にアニメーションを著作できるようになる。

【0016】

また、本発明によると、アニメーション著作に関連するプラットホームでユーザが購入して保有している仮想客体の中で実世界客体の外観と所定水準以上類似する外観を有する仮想客体を決定し、アニメーション著作に関連するプラットホームでユーザが購入して保有している仮想モーションの中で実世界客体のモーションと所定水準以上類似する仮想モーションを決定し、決定された仮想客体および仮想モーションを利用してアニメーションシーケンスを生成できるようになる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施例によりアニメーションを著作するための全体システムの概略的な構成を示す図面である。

【図2】本発明の一実施例に係るアニメーション著作システムの内部構成を詳細に図示する図面である。

【図3-10】本発明の一実施例によりアニメーションが著作される過程を例示的に示す図面である。

【符号の説明】

【0018】

１００：通信網
２００：アニメーション著作システム
２１０：特徴情報獲得部
２２０：決定部
２３０：シーケンス生成部
２４０：共有管理部
２５０：通信部
２６０：制御部
３００：デバイス

【発明を実施するための形態】

【0019】

後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。このような実施例は当業者が本発明を実施できるほど充分かつ詳細に説明される。本発明の多様な実施例は互いに異なるが相互に排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定形状、構造および特性は、本発明の精神と範囲を逸脱することなく一実施例から他の実施例に変更されて具現され得る。また、それぞれの実施例内の個別構成要素の位置または配置も本発明の精神と範囲を逸脱することなく変更され得ることが理解されるべきである。したがって、後述する詳細な説明は限定的な意味で行われるものではなく、本発明の範囲は特許請求の範囲の請求項が請求する範囲およびそれと均等なすべての範囲を包括するものと受け入れられるべきである。図面で類似する参照符号は多様な側面に亘って同一または類似する構成要素を示す。

【0020】

以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の多様な好ましい実施例について添付された図面を参照して詳細に説明することにする。

【0021】

全体システムの構成

【0022】

図１は、本発明の一実施例によりアニメーションを著作するための全体システムの概略的な構成を示す図面である。

【0023】

図１に図示された通り、本発明の一実施例に係る全体システムは通信網１００、アニメーション著作システム２００およびデバイス３００を含んで構成され得る。

【0024】

まず、本発明の一実施例に係る通信網１００は有線通信や無線通信のような通信の様態にかかわらず構成され得、近距離通信網（ＬＡＮ；Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、都市圏通信網（ＭＡＮ；Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域通信網（ＷＡＮ；Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの多様な通信網で構成され得る。好ましくは、本明細書での通信網１００は公知のインターネットまたはワールドワイドウェブ（ＷＷＷ；Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）であり得る。しかし、通信網１００は、あえてこれに限定される必要はなく、公知の有無線データ通信網、公知の電話網、または公知の有線／無線テレビ通信網をその少なくとも一部において含んでもよい。

【0025】

例えば、通信網１００は無線データ通信網であって、無線周波数（ＲＦ；Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）通信、ワイファイ（ＷｉＦｉ）通信、セルラー（ＬＴＥなど）通信、ブルートゥース通信（さらに具体的には、低電力ブルートゥース（ＢＬＥ；Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）通信）、赤外線通信、超音波通信などのような従来の通信方法を少なくともその一部分において具現するものであり得る。

【0026】

次に、本発明の一実施例に係るアニメーション著作システム２００はメモリ手段を具備し、マイクロプロセッサを搭載して演算能力を備えたデジタルデバイスであり得る。例えば、このようなアニメーション著作システム２００はサーバーシステムであり得る。

【0027】

本発明の一実施例に係るアニメーション著作システム２００は、入力映像から実世界客体の外観およびモーションに関する特徴情報を獲得し、実世界客体の外観に関する特徴情報を参照して実世界客体に関連する仮想客体を決定し、実世界客体のモーションに関する特徴情報を参照して実世界客体に関連する仮想モーションを決定し、仮想客体および仮想モーションに基づいてアニメーションシーケンスを生成する機能を遂行することができる。

【0028】

本発明の一実施例に係る入力映像は、少なくとも一つのカメラモジュール（例えば、ＲＧＢカメラ、赤外線カメラ、紫外線カメラ、ＴＯＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）カメラなど）または少なくとも一つのスキャナモジュール（例えば、ライダ（ＬｉＤＡＲ）センサ、レーダー（ｒａｄａｒ）センサなど）によってリアルタイムでまたは所定期間の間撮影される映像を意味し得る。また、前記のような入力映像は２次元映像または３次元映像を含むことができる。一方、本発明の一実施例に係る入力映像は必ずしも前記列挙されたカメラモジュール（またはカメラモジュールの種類）またはスキャナモジュール（またはスキャナモジュールの種類）にのみ限定されるものではなく、本発明の目的を達成できる範囲内で多様に変更され得ることを明らかにしておく。

【0029】

また、本発明の一実施例に係る実世界客体は、前記少なくとも一つのカメラモジュールまたは少なくとも一つのスキャナモジュールによって特定され得る実世界での人、事物など、すべての類型の対象を総称する概念であり得る。

【0030】

本発明に係るアニメーション著作システム２００の構成と機能に関しては、以下においてさらに詳察することにする。一方、アニメーション著作システム２００に関して前記のように説明されたが、このような説明は例示的なものであり、アニメーション著作システム２００に要求される機能や構成要素の少なくとも一部が必要に応じて後述するデバイス３００または外部システム（図示されず）内で実現されるか、デバイス３００または外部システム内に含まれてもよいことは当業者に自明である。

【0031】

次に、本発明の一実施例に係るデバイス３００は、通信網１００を通じてアニメーション著作システム２００に接続した後に通信できる機能を含むデジタル機器であって、スマートフォン、タブレットＰＣなどのようにメモリ手段を具備し、マイクロプロセッサを搭載して演算能力を備えた携帯可能なデジタル機器であれば、いくらでも本発明に係るデバイス３００として採択され得る。また、本発明の一実施例によると、デバイス３００には入力映像を獲得するための少なくとも一つのカメラモジュールまたは少なくとも一つのスキャナモジュール、アニメーションを再生するためのディスプレイモジュール（例えば、ＬＣＤ、ＬＥＤディスプレイ、ＯＬＥＤディスプレイなど）がさらに含まれ得る。

【0032】

一方、本発明の一実施例に係るデバイス３００には、本発明に係るアニメーション著作機能を支援するためのアプリケーションが含まれていてもよい。このようなアプリケーションはアニメーション著作システム２００または外部のアプリケーション配布サーバー（図示されず）からダウンロードされたものであり得る。

【0033】

アニメーション著作システムの構成

【0034】

以下では、本発明の具現のために重要な機能を遂行するアニメーション著作システム２００の内部構成および各構成要素の機能について詳察することにする。

【0035】

図２は、本発明の一実施例に係るアニメーション著作システム２００の内部構成を詳細に図示する図面である。

【0036】

図２に図示された通り、特徴情報獲得部２１０、決定部２２０、シーケンス生成部２３０、共有管理部２４０、通信部２５０および制御部２６０を含んで構成され得る。本発明の一実施例によると、特徴情報獲得部２１０、決定部２２０、シーケンス生成部２３０、共有管理部２４０、通信部２５０および制御部２６０は、そのうち少なくとも一部が外部のシステムと通信するプログラムモジュールであり得る。このようなプログラムモジュールは運営システム、応用プログラムモジュールまたはその他プログラムモジュールの形態でアニメーション著作システム２００に含まれ得、物理的には多様な公知の記憶装置に保存され得る。また、このようなプログラムモジュールはアニメーション著作システム２００と通信可能な遠隔記憶装置に保存されてもよい。一方、このようなプログラムモジュールは本発明により後述する特定業務を遂行したり特定抽象データ類型を実行するルーチン、サブルーチン、プログラム、客体、コンポーネント、データ構造などを包括するが、これに制限されはしない。

【0037】

まず、本発明の一実施例に係る特徴情報獲得部２１０は、入力映像から実世界客体の外観およびモーションに関する特徴情報を獲得する機能を遂行することができる。本発明の一実施例に係る実世界客体の外観に関する特徴情報には、実世界客体（具体的には、実世界客体で特定される各領域または各部位）の大きさ、高さ、幅、形状、色相、位置、温度、連結関係などに関する情報が含まれ得、本発明の一実施例に係る実世界客体のモーションに関する特徴情報には、実世界客体（具体的には、実世界客体で特定される各領域または各部位）の移動速度、移動経路、移動角度、加速度、角速度などに関する情報が含まれ得る。

【0038】

例えば、特徴情報獲得部２１０は入力映像から実世界客体の種類（例えば、人、動物、植物、事物など）を特定し、その種類を参照して実世界客体の外観およびモーションに関する特徴情報を抽出することができる。より具体的には、特徴情報獲得部２１０は実世界客体の種類が人と特定されると、人の身体構造（例えば、頭、顔、目、鼻、口、腕および脚の位置、形状および連結関係）および動き（例えば、頭、顔、目、鼻、口、腕および脚の稼動範囲および方向）に関するモデルを参照して人の各身体部位の属性を特定することができ、その特定される各身体部位の属性に基づいて人の外観（例えば、性別、身長、ヘアスタイル、身なり、顔の各部位の位置および大きさなど）およびモーション（例えば、人または人の各身体部位の移動経路、移動速度、移動方向など）に関する特徴情報を抽出することができる。また、特徴情報獲得部２１０は実世界客体の種類がバスと特定されると、バスの構造（例えば、車体、車輪および窓の位置、形状および方向）および動き（例えば、車輪の稼動範囲および方向）に関するモデルを参照してバスの各構成要素の属性を特定することができ、その特定される各構成要素の属性に基づいてバスの外観およびモーションに関する特徴情報を抽出することができる。

【0039】

他の例として、特徴情報獲得部２１０は実世界客体（または実世界客体の種類）を識別したり実世界客体の特徴を抽出するための客体分析モデルを利用して入力映像内の実世界客体を分析することによって、実世界客体がいかなる客体であるかまたはいかなる種類の客体であるかを識別したり実世界客体の外観およびモーションに関する特徴情報を抽出することができる。ここで、客体分析モデルは、複数の実世界客体およびその複数の実世界客体に関連する外観（例えば、各実世界客体で特定される各領域または各部位の大きさ、高さ、幅、形状、色相、位置、温度、連結関係など）およびモーション（例えば、各実世界客体で特定される各領域または各部位の移動速度、移動経路、移動角度、加速度、角速度など）に関する特徴情報を利用して学習させたモデルであり得る（この場合、入力映像内で特定される実世界客体の位置、実世界客体の方向および実世界客体までの距離のうち少なくとも一つをさらに考慮して複数の実世界客体およびその複数の実世界客体に関連する外観およびモーションに関する特徴情報に対する学習がなされ得る）。このような学習はナイーブペイズ（Ｎａｉｖｅ Ｂａｙｅｓ）分類、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ；ＳＶＭ）、人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＡＮＮ）、隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ；ＨＭＭ）等のアルゴリズムに基づいてなされ得る。また、特徴情報獲得部２１０は一つの客体分析モデルを利用して実世界客体（または実世界客体の種類）を識別したりその実世界客体の外観およびモーションに関する特徴情報を抽出してもよいが、実世界客体（または実世界客体の種類）を識別するための第１客体分析モデル、実世界客体の外観に関する特徴情報を抽出するための第２客体分析モデルおよび実世界客体のモーションに関する特徴情報を抽出するための第３客体分析モデルをそれぞれ構成し、そのそれぞれのモデルを利用して実世界客体がいかなる客体であるかを識別したり実世界客体の外観およびモーションに関する特徴情報を抽出してもよい。

【0040】

より具体的には、特徴情報獲得部２１０は実世界客体（または実世界客体の種類）を識別するための第１客体分析モデルを利用して入力映像から該当入力映像内の実世界客体がいかなる客体であるかまたはいかなる種類の客体であるかを識別することができる（この場合、入力映像または入力映像内の実世界客体に関するデータを第１客体分析モデルに入力して検出（ｄｅｔｅｃｔ）、分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）、セグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）および認識（ｒｅｃｏｇｎｉｔｉｏｎ）過程を遂行することによって実世界客体（または実世界客体の種類）が識別される）。また、特徴情報獲得部２１０は実世界客体の外観に関する特徴情報を抽出するための第２客体分析モデルを利用して実世界客体の外観に関する特徴情報を抽出することができる（この場合、入力映像または入力映像内の実世界客体に関するデータを第２客体分析モデルに入力して検出、分類、セグメンテーションおよび認識過程を遂行することによって実世界客体の外観に関する特徴情報が抽出される）。また、特徴情報獲得部２１０は実世界客体のモーションに関する特徴情報を抽出するための第３客体分析モデルを利用して実世界客体のモーションに関する特徴情報を抽出することができる（この場合、入力映像または入力映像内の実世界客体に関するデータを第３客体分析モデルに入力して検出、分類、セグメンテーションおよび認識過程を遂行することによって実世界客体のモーションに関する特徴情報が抽出される）。一方、このような第３客体分析モデルは、実世界客体の骨格（スケレトン）を認知して骨格ポイント（例えば、実世界客体が人である場合、関節ポイント）を連結するための学習モデル（例えば、スケレトン作業のための学習モデル）、スケレトンを基盤として実世界客体の行動を認知する学習モデル、実世界客体に関連する状況を認知するための学習モデルなどのモデルをさらに含むことができる。

【0041】

また、特徴情報獲得部２１０は入力映像から実世界客体の感情に関する特徴情報をさらに獲得することができる。本発明に係る実世界客体の感情に関する特徴情報には感情の種類（例えば、喜び、怒り、悲しみ、楽しみ、幸せ、癇癪など）および強さ（または強度）に関する情報が含まれ得る。

【0042】

例えば、特徴情報獲得部２１０は、入力映像から実世界客体の種類（例えば、人、動物、植物、事物など）を特定し、その種類を参照して実世界客体の感情に関する特徴情報を獲得することができる。より具体的には、特徴情報獲得部２１０は、実世界客体の種類が人と特定されると、人の身体構造（例えば、頭、顔、目、鼻、口、腕および脚の位置、形状および連結関係）および動き（例えば、頭、顔、目、鼻、口、腕および脚の稼動範囲および方向）に関するモデルを参照して人の各身体部位の属性を特定することができ、その特定される各身体部位の属性に基づいて人の感情に関する特徴情報を抽出することができる。

【0043】

他の例として、特徴情報獲得部２１０は実世界客体から感情に関する特徴を抽出するための客体分析モデルを参照して入力映像内の実世界客体を分析することによって、実世界客体の感情に関する特徴情報を抽出することができる。このような客体分析モデルは前記にて詳察した外観またはモーションに関する特徴情報を抽出するための客体分析モデルとその構成および形態が少なくとも一部類似し得る。

【0044】

さらに他の例として、特徴情報獲得部２１０は実世界客体の外観およびモーションのうち少なくとも一つに関する特徴情報に基づいて実世界客体の感情に関する特徴情報を抽出することができる。より具体的には、例えば実世界客体が人である場合、特徴情報獲得部２１０は人の外観およびモーションに関する特徴情報から目の位置、口の位置、形状および動きを特定し、これを基準として人の感情の種類を決定したり、または人の外観およびモーションに関する特徴情報から手と脚（または足）の動き、移動経路および移動速度を特定し、これを基準として人の感情の種類（例えば、特定の場所をぐるぐる回る場合には不安な感情と特定することができる）を決定することができる。また、例えば実世界客体が人である場合、特徴情報獲得部２１０は人の外観およびモーションに関する特徴情報から目の位置、口の位置、形状および動きの変化または持続時間を特定し、これを基準として人の感情の強度を決定したり、または人のモーションに関する特徴情報から手や脚、または足の動き、移動経路の変化、移動速度の変化および持続時間を特定し、これを基準として人の感情の強度を決定することができる。

【0045】

一方、本発明の一実施例に係る実世界客体の感情に関する特徴情報は、必ずしも実世界客体のモーションに関する特徴情報と区分されるものではなく、必要に応じて実世界客体のモーションに関する特徴情報に含まれてもよいことを明らかにしておく。

【0046】

次に、本発明の一実施例に係る決定部２２０は実世界客体の外観に関する特徴情報を参照して実世界客体に関連する仮想客体を決定し、実世界客体のモーションに関する特徴情報を参照して実世界客体に関連する仮想モーションを決定する機能を遂行することができる。

【0047】

例えば、決定部２２０は複数の仮想客体の中で実世界客体の外観に関する特徴情報を基準として実世界客体の外観と所定水準以上類似する外観を有する客体を実世界客体に関連する仮想客体と決定し、複数の仮想モーションの中で実世界客体のモーションに関する特徴情報を基準として実世界客体のモーションと所定水準以上類似するモーションを実世界客体に関連する仮想モーションと決定することができる。ここで、複数の仮想客体および複数の仮想モーションは、仮想客体および仮想モーションに関するデータベース（このようなデータベースは、本発明に係るアニメーション著作システム２００に含まれるか外部システムに存在し得る）によって予め設定されたり、本発明に係るアニメーション著作に関連するプラットホームでユーザが購入して保有しているものであり得る（この場合、ユーザ別に複数の仮想客体および複数の仮想モーションが変わり得る）。

【0048】

一方、実世界客体の骨格の有無により決定部２２０が実世界客体のモーションと類似する仮想モーションを決定する方式が変わり得る。

【0049】

例えば、実世界客体が骨格を有する場合には、実世界客体のスケレトン変化に関する情報（このような情報は、実世界客体のモーションに関する特徴情報に属し得る）を基準として該当実世界客体のモーションと所定水準以上類似する仮想モーションを決定することができ、実世界客体が骨格を有さない場合には、単位時間または単位領域で分割される実世界客体のモーションに関する特徴情報（すなわち、実世界客体のモーションに関する複数の単位特徴情報）を基準として該当実世界客体のモーションと所定水準以上類似する仮想モーションを決定することができる。一方、本発明の一実施例により実世界客体のモーションと類似する仮想モーションを決定する方式は、必ずしも前述した方式に限定されるものではなく、本発明の目的を達成できる範囲内でいくらでも変更され得ることを明らかにしておく。

【0050】

また、決定部２２０はユーザの個人情報をさらに参照して仮想客体および仮想モーションのうち少なくとも一つを決定することができる。本発明の一実施例に係るユーザの個人情報には、ユーザの年齢、性別、人種、地域、選好仮想客体、選好モーションなどに関する情報が含まれ得る。

【0051】

例えば、決定部２２０はアニメーション著作に関連するユーザ（またはデバイス３００の保有者）の個人情報に基づいて該当ユーザが好む仮想客体および仮想モーションを特定することができ、複数の仮想客体および複数の仮想モーションのうち該当ユーザが好む仮想客体および仮想モーションに対して他の仮想客体および仮想モーションに比べて高い加重値が付与されるようにすることができる。すなわち、仮想客体および仮想モーションのうち少なくとも一つを決定するにおいて、特定の仮想客体および仮想モーションに対するユーザの好みがさらに考慮され得る。

【0052】

次に、本発明の一実施例に係るシーケンス生成部２３０は仮想客体および仮想モーションに基づいてアニメーションシーケンスを生成する機能を遂行することができる。

【0053】

例えば、シーケンス生成部２３０は仮想客体が仮想モーションを所定時間（例えば、このような時間は前記にて詳察した実世界客体がモーションを行う時間と同一であり得る）の間行うことをアニメーションシーケンスとして生成することができる。より具体的には、シーケンス生成部２３０は仮想客体が実世界客体の動線と同一または類似する動線に移動しながら仮想モーションを行うことをアニメーションシーケンスとして生成することができる。

【0054】

また、シーケンス生成部２３０は仮想客体および仮想モーションに基づいて生成されるアニメーションシーケンスを実世界映像に結合して増強現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；ＡＲ）映像および混合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；ＭＲ）映像のうち少なくとも一つを生成することができる。

【0055】

例えば、シーケンス生成部２３０は入力映像を背景にアニメーションシーケンスを結合して増強現実映像を生成することができる。より具体的には、シーケンス生成部２３０は入力映像から実世界客体を除去したものを背景に、仮想客体が実世界客体と同一または類似する動線で移動しながら仮想モーションを行う増強現実映像を生成することができる。

【0056】

次に、本発明の一実施例に係る共有管理部２４０は、シーケンス生成部２３０により生成されるアニメーションシーケンスまたはそのアニメーションシーケンスと結合して生成される映像（例えば、増強現実映像または混合現実映像）が複数のユーザ間で共有されるようにすることができる。

【0057】

例えば、共有管理部２４０はアニメーション著作に関連するユーザ（またはデバイス３００の保有者）のソーシャルネットワークサービス（ＳＮＳ）、クラウド、ウェブサーバー等を通じてアニメーションシーケンスまたはそのアニメーションシーケンスと結合して生成される増強現実映像が他のユーザと共有（例えば、リアルタイム共有）されるようにすることができる。

【0058】

一方、共有管理部２４０は他のユーザが前記共有されるアニメーションシーケンスの仮想客体および仮想モーションのうち少なくとも一つを追加または修正したり他の仮想客体または仮想モーションに変更できるようにするためのユーザインターフェースを提供することができる。すなわち、前記共有されるアニメーションシーケンスの仮想客体または仮想モーションは他のユーザによって追加、修正、または変更され得る。

【0059】

次に、本発明の一実施例に係る通信部２５０は特徴情報獲得部２１０、決定部２２０、シーケンス生成部２３０および共有管理部２４０からの／へのデータの送受信を可能にする機能を遂行することができる。

【0060】

最後に、本発明の一実施例に係る制御部２６０は特徴情報獲得部２１０、決定部２２０、シーケンス生成部２３０、共有管理部２４０および通信部２５０間のデータの流れを制御する機能を遂行することができる。すなわち、本発明の一実施例に係る制御部２６０は、アニメーション著作システム２００の外部からの／へのデータの流れまたはアニメーション著作システム２００の各構成要素間のデータの流れを制御することによって、特徴情報獲得部２１０、決定部２２０、シーケンス生成部２３０、共有管理部２４０および通信部２５０でそれぞれ固有の機能を遂行するように制御することができる。

【0061】

図３‐１０は、本発明の一実施例によりアニメーションが著作される過程を例示的に示す図面である。

【0062】

第１実施例

【0063】

本発明の一実施例に係るアニメーション著作システム２００がユーザスマートフォン３００に含まれる状況を仮定して見ることができる。

【0064】

まず、図３を参照すると、本発明の一実施例によりユーザスマートフォン３００の撮影モジュールを通じて、スーツを着ている人３１０が１番の場所から２番の場所に向かって走っていく映像が入力映像として獲得され得る。

【0065】

その次に、本発明の一実施例により前記獲得される入力映像から人（すなわち、実世界客体）３１０の外観、モーションおよび感情に関する特徴情報が獲得され得る。

【0066】

例えば、少なくとも一つの客体分析モデル（このような客体分析モデルは、実世界客体およびその実世界客体に関連する外観、モーションおよび感情に関する特徴情報に対してディープラーニングを遂行して生成されるモデルであり得る）を参照して、前記入力映像から実世界客体３１０の種類が人であることが特定され得、実世界客体３１０の外観、モーションおよび感情に関する特徴情報が獲得され得る。

【0067】

より具体的には、ポマードヘアースタイルの身長１８０ｃｍの男性がワイシャツおよびスーツズボンを履いてネクタイを締めており、顔の目、鼻および口の位置が所定位置に存在すること（例えば、顔の毛髪線から眉毛の下までの長さ、眉毛の下から鼻の基底部までの長さおよび鼻の基底部からあごの終わりまでの長さが同一であり、顔の横長さが一方の目の横長さの５倍である）が実世界客体３１０の外観に関する特徴情報として抽出され得る。また、８０度に曲げた両肘が前後に所定の速度で繰り返し動き、両膝の曲げと伸びが所定の速度で繰り返されることが実世界客体３１０のモーションに関する特徴情報として抽出され得る。また、低い強度の笑い（例えば、このような強度は感情の強度により数段階または数十段階の等級に区分され得る）が実世界客体３１０の感情に関する特徴情報として抽出され得る。

【0068】

その次に、本発明の一実施例により実世界客体３１０の外観に関する特徴情報を参照して実世界客体３１０に関連する仮想客体が決定され、実世界客体３１０のモーションに関する特徴情報を参照して実世界客体３１０に関連する仮想モーションが決定され、実世界客体３１０の感情に関する特徴情報を参照して実世界客体３１０に関連する仮想感情が決定され得る。

【0069】

例えば、図４を参照すると、ユーザスマートフォンまたは外部システムに保存されたり、該当ユーザがアニメーション著作に関連するプラットホームで購入して保有している複数の仮想客体（図４の（ａ）参照）の中で、実世界客体３１０の外観に関する特徴情報を基準として実世界客体３１０の外観と所定水準以上類似する外観を有する客体が仮想客体４１０として決定され得る。また、ユーザスマートフォンまたは外部システムに保存されたり、該当ユーザがアニメーション著作プラットホームで購入して保有している複数の仮想モーション（図４の（ｂ）参照）の中で、実世界客体３１０のモーションに関する特徴情報を基準として実世界客体３１０のモーションと所定水準以上類似するモーションが仮想モーション４２０として決定され得る。また、ユーザスマートフォンまたは外部システムに保存されたり、該当ユーザがアニメーション著作プラットホームで購入して保有している複数の仮想感情の中で、実世界客体３１０の感情に関する特徴情報を基準として実世界客体３１０の感情と所定水準以上類似する感情が仮想感情として決定され得る。

【0070】

その次に、前記のように決定された仮想客体４１０、仮想モーション４２０および仮想感情に基づいてアニメーションシーケンスが生成され得る。

【0071】

例えば、図５を参照すると、仮想客体５１０が仮想感情を表した状態で実世界客体３１０の動線３２０と同一または類似する動線５２０で移動しながら仮想モーション４２０を行うことがアニメーションシーケンスとして生成され得る。

【0072】

その次に、本発明の一実施例によりスマートフォン３００を通じて獲得される入力映像に前記生成されるアニメーションシーケンスを結合して増強現実映像が生成され得る（図６参照）。

【0073】

第２実施例

【0074】

本発明の一実施例に係るアニメーション著作システム２００とユーザの増強現実グラス３００が通信網１００を通じて相互に連動する状況を仮定して見ることができる。

【0075】

まず、図７を参照すると、本発明の一実施例によりユーザの増強現実グラス３００により実世界客体である青色バス７１０が３番の場所から４番の場所に向かって走行する映像が入力映像として獲得され得る。

【0076】

その次に、本発明の一実施例により前記獲得される入力映像から入力映像内の実世界客体７１０の種類がバスであることが特定され得、実世界客体７１０の外観およびモーションに関する特徴情報が抽出され得る。

【0077】

その次に、複数の仮想客体の中で、実世界客体７１０の種類および外観に関する特徴情報を基準としてその種類および外観が所定水準以上類似する客体である「青色のタヨキャラクタバス」が仮想客体として決定され得る。また、複数の仮想モーションの中で、実世界客体７１０のモーションに関する特徴情報を単位時間または単位領域で分割して特定される実世界客体７１０のモーションに関する複数の単位特徴情報を基準として（例えば、連続的に比較して）、該当モーションと所定水準以上類似するモーションである「加速走行モーション」が仮想モーションとして決定され得る。

【0078】

その次に、図８を参照すると、前記仮想客体として決定された青色のタヨキャラクタバスが３番の場所から４番の場所に移動しながら、前記仮想モーションとして決定された加速走行モーションを所定時間（例えば、このような時間は、前記にて詳察した実世界客体である青色バス７１０がそれに関連したモーションを行う時間と同一であり得る）の間繰り返し遂行することがアニメーションシーケンスとして生成され得る。

【0079】

第３実施例

【0080】

本発明の一実施例に係るアニメーション著作システム２００により生成されたアニメーションシーケンスまたは増強現実映像がソーシャルネットワークを通じて他のユーザと共有される状況を仮定して見ることができる。

【0081】

まず、図９を参照すると、本発明の一実施例により第１ユーザによって青色バスが５番の場所と６番の場所を繰り返して移動することがアニメーションシーケンスとして生成され得る。

【0082】

その次に、第１ユーザの要請により前記生成されるアニメーションシーケンスがソーシャルネットワークサービスを通じて第２ユーザと共有され得る。

【0083】

その次に、図１０を参照すると、前記共有されたアニメーションシーケンスを修正するためのユーザインターフェースが第２ユーザに提供され得、第２ユーザはこのようなユーザインターフェースを使って前記アニメーションシーケンスで青色バスが５番および６番の場所を繰り返し移動することを、赤色のバイクが５番、６番、７番および８番の場所を繰り返して移動することに修正することができる。すなわち、共有されたアニメーションシーケンスで仮想客体が変更され得、その仮想客体が行う仮想モーションが変更され得る。

【0084】

以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は本発明のために特に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールに変更され得、その逆も同様である。

【0085】

以上、本発明が具体的な構成要素などのような特定事項と限定された実施例および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正と変更を試みることができる。

【0086】

したがって、本発明の思想は前記説明された実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は本発明の思想の範疇に属すると言える。

【図1】

【図2】

【図3】

【図4(a)】

【図4(b)】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】