特許 6684883 カメラエフェクトを提供する方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6684883

(24)【登録日】2020年4月1日

(45)【発行日】2020年4月22日

(54)【発明の名称】カメラエフェクトを提供する方法およびシステム

(51)【国際特許分類】

   G06F 16/75 20190101AFI20200413BHJP

   G06F 3/0484 20130101ALI20200413BHJP

   G06T 1/00 20060101ALI20200413BHJP

【ＦＩ】

   G06F16/75

   G06F3/0484 150

   G06T1/00 340A

【請求項の数】14

【全頁数】17

(21)【出願番号】特願2018-196434(P2018-196434)

(22)【出願日】2018年10月18日

(65)【公開番号】特開2019-75124(P2019-75124A)

(43)【公開日】2019年5月16日

【審査請求日】2018年10月18日

(31)【優先権主張番号】10-2017-0135369

(32)【優先日】2017年10月18日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】505205812

【氏名又は名称】ネイバー コーポレーション

【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】キム ヒョンス

(72)【発明者】

【氏名】パク ジヨン

(72)【発明者】

【氏名】イ ギョンウン

(72)【発明者】

【氏名】チェー ヨンオク

(72)【発明者】

【氏名】キム ウンソル

(72)【発明者】

【氏名】キム ソンホ

(72)【発明者】

【氏名】チョウ ソンテク

(72)【発明者】

【氏名】キム ジョンミョン

(72)【発明者】

【氏名】パク ギス

(72)【発明者】

【氏名】ソン ユソブ

【審査官】 西村 直史

(56)【参考文献】

【文献】 韓国公開特許第１０−２０１１−００３０２２３（ＫＲ，Ａ）

【文献】 特開２００５−０７９８８２（ＪＰ，Ａ）

【文献】 特開２０１０−０６６８４４（ＪＰ，Ａ）

【文献】 特開２００２−０７７５９２（ＪＰ，Ａ）

【文献】 特開２００５−２０２８５４（ＪＰ，Ａ）

【文献】 特開２０１５−１８００１６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｆ ３／０４８４

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

コンピュータによって実現される電子機器におけるエフェクト提供方法であって、
前記電子機器のカメラ映像に反映するエフェクトを選定するための基準として、前記カメラ映像に対応する感情を決定する決定段階、
前記電子機器のユーザと関連する状況情報を収集する収集段階、および
前記の決定された感情に基づき、該当の感情を示すエフェクトのうちからランダムに選定されたエフェクトを前記カメラ映像に直ちに反映する反映段階
を含み、
前記反映段階は、前記の決定された感情を示すエフェクトのうちから、前記の決定された感情に応じて前記状況情報別に異なる加重値を付与し、前記加重値に基づいて、前記カメラ映像に反映するエフェクトを選定する段階を含む、エフェクト提供方法。

【請求項2】

前記決定する段階は、
前記電子機器のユーザによって選択された感情をエフェクト選定基準として決定する、
請求項１に記載のエフェクト提供方法。

【請求項3】

前記決定する段階は、
前記カメラ映像の顔表情から認識された感情をエフェクト選定基準として決定する、
請求項１に記載のエフェクト提供方法。

【請求項4】

前記状況情報は、
前記カメラ映像と関連する時間情報、前記カメラ映像と関連する場所情報、前記カメラ映像と関連する色情報、前記カメラ映像と関連する撮影モード情報、前記ユーザが使用したエフェクトに対する履歴情報、前記カメラ映像に対するフィードバック情報、前記カメラ映像と関連するターゲット情報、および前記カメラ映像から認識された表情情報のうちの少なくとも１つを含む、
請求項１に記載のエフェクト提供方法。

【請求項5】

前記選定する段階は、
前記の決定された感情に応じて互いに異なる状況情報を選択してエフェクト選定基準として利用する、
請求項４に記載のエフェクト提供方法。

【請求項6】

前記決定段階は、
複数の感情アイコンで構成された感情選択メニューを提供する段階、および
前記感情選択メニューから選択された感情をエフェクト選定基準として決定する段階
を含む、請求項１に記載のエフェクト提供方法。

【請求項7】

前記反映段階は、
前記感情選択メニューに対するユーザジェスチャ類型に基づき、前記の決定された感情に対応するエフェクトのうちから前記カメラ映像に反映するエフェクト選定対象を異なるように選定する、
請求項６に記載のエフェクト提供方法。

【請求項8】

請求項１〜７のうちのいずれか一項に記載のエフェクト提供方法をコンピュータに実行させるためのコンピュータプログラム。

【請求項9】

請求項８に記載のコンピュータプログラムを記録しているコンピュータ読み取り可能な記録媒体。

【請求項10】

コンピュータによって実現される電子機器でのエフェクト提供システムであって、
コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
前記電子機器のカメラ映像に反映するエフェクトを選定するための基準として、前記カメラ映像に対応する感情を決定する感情決定部、
前記電子機器のユーザと関連する状況情報を収集する状況収集部、および
前記の決定された感情に基づき、該当の感情を示すエフェクトのうちからランダムに選定されたエフェクトを前記カメラ映像に直ちに反映するエフェクト選定部
を備え、
前記エフェクト選定部は、前記の決定された感情を示すエフェクトのうちから、前記の決定された感情に応じて前記状況情報別に異なる加重値を付与し、前記加重値に基づいて、前記カメラ映像に反映するエフェクトを選定する、エフェクト提供システム。

【請求項11】

前記感情決定部は、
前記電子機器のユーザによって選択された感情または前記カメラ映像の顔表情から認識された感情をエフェクト選定基準として決定する、
請求項１０に記載のエフェクト提供システム。

【請求項12】

前記状況情報は、
前記カメラ映像と関連する時間情報、前記カメラ映像と関連する場所情報、前記カメラ映像と関連する色情報、前記カメラ映像と関連する撮影モード情報、前記ユーザが使用したエフェクトに対する履歴情報、前記カメラ映像に対するフィードバック情報、前記カメラ映像と関連するターゲット情報、および前記カメラ映像から認識された表情情報のうちの少なくとも１つを含む、
請求項１０に記載のエフェクト提供システム。

【請求項13】

前記エフェクト選定部は、
前記の決定された感情に応じて互いに異なる状況情報を選択してエフェクト選定基準として利用する、
請求項１２に記載のエフェクト提供システム。

【請求項14】

前記感情決定部は、
複数の感情アイコンで構成された感情選択メニューを提供し、前記感情選択メニューから選択された感情をエフェクト選定基準として決定し、
前記エフェクト選定部は、
前記感情選択メニューに対するユーザジェスチャ類型に基づき、前記の決定された感情に対応するエフェクトのうちから前記カメラ映像に反映するエフェクト選定対象を異なるように選定する、
請求項１０に記載のエフェクト提供システム。

【発明の詳細な説明】

【技術分野】

【0001】

以下の説明は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）カメラエフェクト（ｃａｍｅｒａ ｅｆｆｅｃｔ）を提供する技術に関する。

【背景技術】

【0002】

近年、スマートフォン、タブレット、ウェアラブルデバイスなどの個人情報端末を利用したモバイルデータ通信サービスが多く利用されている。

【0003】

このようなモバイルデータ通信サービスのうちで最も脚光を浴びている分野の１つとして、各種コンテンツを個人情報端末に提供する無線放送サービス分野が挙げられる。

【0004】

一例として、特許文献１には、撮影された撮影情報を、インターネット放送、無線放送または地上波放送を介してモバイル端末に提供する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】韓国公開特許第１０−２００３−００２９５５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

カメラ映像に対する感情に合ったカメラエフェクトを迅速に提供することができる方法およびシステムを提供する。

【課題を解決するための手段】

【0007】

コンピュータによって実現される電子機器でのエフェクト提供方法であって、前記電子機器のカメラ映像に反映するエフェクトを選定するための基準として、前記カメラ映像に対する感情を決定する段階、および前記の決定された感情に基づき、該当の感情を示すエフェクトのうちからランダムに選定されたエフェクトを前記カメラ映像に直ちに反映する段階を含む、エフェクト提供方法を提供する。

【0008】

一側面によると、前記決定する段階は、前記電子機器のユーザによって選択された感情をエフェクト選定基準として決定してよい。

【0009】

他の側面によると、前記決定する段階は、前記カメラ映像の顔表情から認識された感情をエフェクト選定基準として決定してよい。

【0010】

また他の側面によると、前記エフェクト提供方法は、前記電子機器のユーザと関連する状況情報（ｃｏｎｔｅｘｔ）を収集する段階をさらに含み、前記反映する段階は、前記の決定された感情に対応するエフェクトのうちから、前記状況情報にマッチングするエフェクトをランダムに選定する段階を含んでよい。

【0011】

また他の側面によると、前記収集する段階は、前記カメラ映像と関連する時間情報、前記カメラ映像と関連する場所情報、前記カメラ映像と関連する色情報、前記カメラ映像と関連する撮影モード情報、前記ユーザが使用したエフェクトに対する履歴情報、前記カメラ映像に対するフィードバック情報、前記カメラ映像と関連するターゲット（ｔａｒｇｅｔ）情報、および前記カメラ映像から認識された表情情報のうちの少なくとも１つの状況情報を収集してよい。

【0012】

また他の側面によると、前記選定する段階は、前記の決定された感情に対応するエフェクトに対して前記状況情報による加重値を付与し、前記加重値に基づいて前記カメラ映像に反映するエフェクトを選定してよい。

【0013】

また他の側面によると、前記選定する段階は、前記の決定された感情に応じて互いに異なる状況情報を選択してエフェクト選定基準として利用してよい。

【0014】

また他の側面によると、前記選定する段階は、前記の決定された感情に対応するエフェクトに対して、前記の決定された感情に応じて前記状況情報別に異なる加重値を付与し、前記加重値に基づいて前記カメラ映像に反映するエフェクトを選定してよい。

【0015】

また他の側面によると、前記決定する段階は、複数の感情アイコンで構成された感情選択メニューを提供する段階、および前記感情選択メニューから選択された感情をエフェクト選定基準として決定する段階を含む。

【0016】

さらに他の側面によると、前記反映する段階は、前記感情選択メニューに対するユーザジェスチャ類型に基づき、前記の決定された感情に対応するエフェクトのうちから前記カメラ映像に反映するエフェクト選定対象を異なるように選定してよい。

【0017】

前記エフェクト提供方法をコンピュータに実行させるためのコンピュータプログラムを提供する。

【0018】

前記コンピュータプログラムを記録しているコンピュータ読み取り可能な記録媒体を提供する。

【0019】

コンピュータによって実現される電子機器でのエフェクト提供システムであって、コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、前記電子機器のカメラ映像に反映するエフェクトを選定するための基準として、前記カメラ映像に対する感情を決定する感情決定部、および前記の決定された感情に基づき、該当の感情を示すエフェクトのうちからランダムに選定されたエフェクトを前記カメラ映像に直ちに反映するエフェクト選定部を備える、エフェクト提供システムを提供する。

【発明の効果】

【0020】

カメラ映像に対する感情に合ったカメラエフェクトを迅速に提供することができる。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施形態における、ネットワーク環境の例を示した図である。

【図2】本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。

【図3】本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示した図である。

【図4】本発明の一実施形態における、電子機器が実行することのできるエフェクト提供方法の例を示したフローチャートである。

【図5】本発明の一実施形態における、エフェクト選定基準として利用される状況情報を説明するための図である。

【図6】本発明の一実施形態における、感情に対応するエフェクトを提供する過程を説明するための例示図である。

【図7】本発明の一実施形態における、感情に対応するエフェクトを提供する過程を説明するための例示図である。

【図8】本発明の一実施形態における、感情に対応するエフェクトを提供する過程を説明するための例示図である。

【図9】本発明の一実施形態における、感情に対応するエフェクトを提供する過程を説明するための例示図である。

【図10】本発明の一実施形態における、感情に対応するエフェクトを提供する過程を説明するための例示図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。

【0023】

本発明の実施形態は、カメラエフェクトを提供する技術に関し、より詳細には、カメラ映像に対する感情に合ったカメラエフェクトを迅速に提供することができる方法およびシステムに関する。

【0024】

本明細書で具体的に開示される事項などを含む実施形態は、ビデオ映像撮影や生放送中にカメラエフェクトを迅速に提供することができ、これによって迅速性、効率性、多様性、娯楽要素などの側面において相当な長所を達成することができる。

【0025】

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。

【0026】

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話機、タブレット、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）などがある。一例として、第１電子機器１１０は、無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信してよい。

【0027】

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を活用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでもよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

【0028】

サーバ１５０、１６０それぞれは、電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。一例として、サーバ１６０は、ネットワーク１７０を介して接続した第１電子機器１１０にアプリケーションのインストールのためのファイルを提供してよい。この場合、第１電子機器１１０は、サーバ１６０から提供されたファイルを利用してアプリケーションをインストールしてよい。また、第１電子機器１１０が含むオペレーティングシステム（ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や少なくとも１つのプログラム（一例として、ブラウザやインストールされたアプリケーション）の制御にしたがってサーバ１５０に接続し、サーバ１５０が提供するサービスやコンテンツの提供を受けてもよい。例えば、第１電子機器１１０がアプリケーションの制御にしたがってネットワーク１７０を介してサービス要求メッセージをサーバ１５０に送信すると、サーバ１５０はサービス要求メッセージに対応するコードを第１電子機器１１０に送信してよく、第１電子機器１１０は、アプリケーションの制御にしたがってコードに基づいた画面を構成して表示することにより、ユーザにコンテンツを提供してよい。

【0029】

図２は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図２では、電子機器に対する例として第１電子機器１１０の内部構成を説明し、サーバに対する例としてサーバ１５０の内部構成を説明する。他の電子機器１２０、１３０、１４０やサーバ１６０も、同一または類似の内部構成を有してよい。

【0030】

第１電子機器１１０およびサーバ１５０は、メモリ２１１、２２１、プロセッサ２１２、２２２、通信モジュール２１３、２２３、および入力／出力インタフェース２１４、２２４を含んでよい。メモリ２１１、２２１は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。また、メモリ２１１、２２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、第１電子機器１１０においてインストールされ実行されるアプリケーションなどのためのコード）が記録されてよい。このようなソフトウェア構成要素は、メモリ２１１、２２１とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール２１３、２２３を通じてメモリ２１１、２２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、上述したサーバ１６０）がネットワーク１７０を介して提供するファイルによってインストールされるプログラム（一例として、上述したアプリケーション）に基づいてメモリ２１１、２２１にロードされてよい。

【0031】

プロセッサ２１２、２２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１１、２２１または通信モジュール２１３、２２３によって、プロセッサ２１２、２２２に提供されてよい。例えば、プロセッサ２１２、２２２は、メモリ２１１、２２１のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

【0032】

通信モジュール２１３、２２３は、ネットワーク１７０を介して第１電子機器１１０とサーバ１５０とが互いに通信するための機能を提供してもよいし、他の電子機器（一例として、第２電子機器１２０）または他のサーバ（一例として、サーバ１６０）と通信するための機能を提供してもよい。一例として、第１電子機器１１０のプロセッサ２１２がメモリ２１１のような記録装置に記録されたプログラムコードにしたがって生成した要求（一例として、検索要求）が、通信モジュール２１３の制御にしたがってネットワーク１７０を介してサーバ１５０に伝達されてよい。これとは逆に、サーバ１５０のプロセッサ２２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール２２３とネットワーク１７０を経て第１電子機器１１０の通信モジュール２１３を通じて第１電子機器１１０に受信されてもよい。例えば、通信モジュール２１３を通じて受信したサーバ１５０の制御信号や命令などは、プロセッサ２１２やメモリ２１１に伝達されてよく、コンテンツやファイルなどは、第１電子機器１１０がさらに含むことのできる記録媒体に記録されてよい。

【0033】

入力／出力インタフェース２１４は、入力／出力装置２１５とのインタフェースのための手段であってよい。例えば、入力装置は、キーボードまたはマウスなどの装置を含んでよく、出力装置は、アプリケーションの通信セッションを表示するためのディスプレイのような装置を含んでよい。他の例として、入力／出力インタフェース２１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。より具体的な例として、第１電子機器１１０のプロセッサ２１２がメモリ２１１にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０や第２電子機器１２０が提供するデータを利用して構成されるサービス画面やコンテンツが、入力／出力インタフェース２１４を経てディスプレイに表示されてよい。入力／出力インタフェース２２４も同様に、サーバ１５０のプロセッサ２２２がメモリにロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０が提供するデータを利用して構成される情報を出力してよい。

【0034】

また、他の実施形態において、第１電子機器１１０およびサーバ１５０は、図２の構成要素よりも多くの構成要素を含んでもよい。例えば、第１電子機器１１０は、上述した入力／出力装置２１５のうちの少なくとも一部を含むように構成されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、第１電子機器１１０がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラ、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が第１電子機器１１０にさらに含まれるように実現されてよいことが理解できるであろう。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。

【0035】

図３は、本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示したブロック図であり、図４は、本発明の一実施形態における、電子機器が実行することのできる方法の例を示したフローチャートである。

【0036】

本実施形態に係る第１電子機器１１０には、コンピュータによって実現されたエフェクト提供システムが構成されてよい。エフェクト提供システムは、ＰＣ基盤のプログラムまたはモバイル端末専用のアプリケーションで構成されてよい。本実施形態におけるエフェクト提供システムは、独立的に動作するプログラム形態で実現されてもよいし、あるいは、特定のアプリケーション（例えば、カメラ機能など）のイン−アプリ（ｉｎ−ａｐｐ）形態で構成され、特定のアプリケーション上で動作が可能なように実現されてもよい。エフェクト提供システムは、第１電子機器１１０においてインストールされるアプリケーションの形態で実現され、サーバ１５０との連動による生放送中に感情に合ったランダムエフェクトをカメラ上に直ちに適用することができる。

【0037】

例えば、第１電子機器１１０においてインストールされたアプリケーションが提供する命令に基づき、第１電子機器１１０に実現されたエフェクト提供システムは、エフェクト提供方法を実行してよい。図４に係るエフェクト提供方法を実行するために、第１電子機器１１０のプロセッサ２１２は、構成要素として、図３に示すように、感情決定部３１０、状況収集部３２０、およびエフェクト選定部３３０を備えてよい。実施形態によっては、プロセッサ２１２の構成要素は、選択的にプロセッサ２１２に含まれても、除外されてもよい。また、実施形態によっては、プロセッサ２１２の構成要素は、プロセッサ２１２の機能の表現のために分離されても、併合されてもよい。

【0038】

このようなプロセッサ２１２およびプロセッサ２１２の構成要素は、図４のエフェクト提供方法が含む段階４１０〜４４０を実行するように第１電子機器１１０を制御してよい。例えば、プロセッサ２１２およびプロセッサ２１２の構成要素は、メモリ２１１が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードによる命令を実行するように実現されてよい。

【0039】

ここで、プロセッサ２１２の構成要素は、第１電子機器１１０に記録されたプログラムコードが提供する命令（一例として、第１電子機器１１０において実行されるアプリケーションが提供する命令）にしたがってプロセッサ２１２によって実行される、プロセッサ２１２の互いに異なる機能の表現であってよい。例えば、第１電子機器１１０がカメラ映像に対する感情を決定するように、上述した命令にしたがって第１電子機器１１０を制御するプロセッサ２１２の機能的表現として感情決定部３１０が利用されてよい。

【0040】

段階４１０で、プロセッサ２１２は、第１電子機器１１０の制御と関連する命令がロードされたメモリ２１１から必要な命令を読み取ってよい。この場合、読み取られた命令は、以下で説明される段階４２０〜４４０をプロセッサ２１２が実行するように制御するための命令を含んでよい。

【0041】

本発明の実施形態は、生放送やインターネット電話（ＶｏＩＰ）などのように、第１電子機器１１０のカメラで撮影された映像を、インターネット回線を介してリアルタイムで送り出すストリーミング環境において、カメラ映像にＡＲイメージとして所定のエフェクトを合成して１つの映像として提供することができ、特に、カメラ映像に反映しようとするエフェクトを直接指定するのではなく、カメラ映像をリアルタイムで送り出す環境状況を考慮した上で、エフェクトを自動選定してより迅速に提供することを可能にする。上述したライブストリーミング環境はもちろん、ビデオ映像撮影環境などを含むカメラ映像に対してエフェクトを自動選定して提供してもよい。

【0042】

段階４２０で、感情決定部３１０は、第１電子機器１１０のカメラ映像に反映するエフェクトを選定するための基準として、カメラ映像に対する感情を決定してよい。本明細書において、エフェクトとは、イメージオブジェクトで構成されたコンテンツであって、カメラ映像に合成可能なフィルタ、スタンプ、絵文字などをすべて包括したものを意味してよい。このとき、固定的な形態のオブジェクトはもちろん、フラッシュやアニメーションなどが適用された動くイメージオブジェクトでも実現可能である。このようなエフェクトは、感情情報を示すものであり、感情別に事前に分類されてよい。言い換えれば、複数の感情（例えば、６種類の感情：嬉しい、愛、悲しい、怒り、クール、クレイジー）が事前に定義され、各感情別に該当の感情を示すエフェクトがグループ化されて管理されてよい。一例として、感情決定部３１０は、第１電子機器１１０のユーザが事前に定義された複数の感情のうちのいずれか１つの特定の感情を選択可能とし、ユーザによって選択された感情としてカメラ映像に対する感情を決定してよい。他の例として、感情決定部３１０は、カメラ映像に基づいて顔表情から感情情報を抽出することによってカメラ映像に対する感情を決定してよい。顔表情は、眉毛、目、鼻、口、肌のような顔要素に変形が起こるときに発生する顔筋肉の収縮によって示され、顔表情の強度は、顔特徴の幾何学的変化または筋肉表現の密度によって決定されてよい。例えば、感情決定部３１０は、表情による特徴を抽出するための関心領域（例えば、目領域、眉毛領域、鼻領域、口領域など）を抽出した後、関心領域から特徴点を抽出し、特徴点を利用して一定の特徴値を決定してよい。特徴値とは、特徴点間の距離などによって人間の表情を示す特定の数値に該当する。感情決定部３１０は、決定した特徴値を感情反応値モデルに適用するために、映像に示された特徴値に対する数値の程度に応じて一定の強度値を決定し、予め用意しておいたマッピングテーブルを利用して各特定値の数値にマッチングする一定の強度値を決定する。マッピングテーブルは、感情反応値モデルに基づいて事前に用意される。感情決定部３１０は、感情反応値モデルと強度値をマッピングし、該当の強度値を感情反応値モデルに適用した結果に基づき、決定した感情の種類と強度を抽出してよい。上述した感情情報を抽出する技術は例示的なものに過ぎず、これに限定されることはなく、周知の他の技術を利用することも可能である。

【0043】

したがって、感情決定部３１０は、ユーザによって選択された感情または映像から自動認識された感情を、カメラ映像に反映するエフェクトを選定するための基準のうちの１つとして決定してよい。

【0044】

段階４３０で、状況収集部３２０は、第１電子機器１１０のユーザと関連する少なくとも１つの状況情報を収集してよい。言い換えれば、状況収集部３２０は、カメラ映像に反映するエフェクトを選定するための追加基準としてユーザの状況情報を収集してよい。一例として、状況収集部３２０は、カメラ映像と関連する時間情報を収集するものであって、映像撮影時点において第１電子機器１１０から取得した日付や時刻などを含む時間情報を収集してよい。他の例として、状況収集部３２０は、カメラ映像と関連する場所情報を収集するものであって、例えば、映像撮影時点において第１電子機器１１０からＧＰＳ座標のような位置情報などを収集してよい。また他の例として、状況収集部３３０は、カメラ映像と関連する色情報を収集するものであって、映像撮影時点においてカメラスクリーン内に含まれている色値を分析したり、カメラ映像内の顔の肌トーン、カメラ照明色などを認知したりすることによって色情報を収集してよい。また他の例として、状況収集部３３０は、カメラ映像と関連する撮影モード情報を収集するものであって、例えば、インカメラ撮影モード／アウトカメラ撮影モード、または人物撮影モード／背景撮影モードなどのような、映像が撮影されたモード情報を収集してよい。また他の例として、状況収集部３３０は、第１電子機器１１０のユーザが使用したエフェクトに対する履歴情報を収集するものであって、例えば、ユーザが普段よく使用するエフェクトや、このエフェクトと類似するエフェクトに関する情報を収集してよい。また他の例として、状況収集部３３０は、カメラ映像に対するビューア（ｖｉｅｗｅｒ）のフィードバック情報を収集するものであって、ユーザとビューアとの間でやり取りした対話、ビューアによって登録されたコメントや反応などのコンテキストを収集してよい。また他の例として、状況収集部３３０は、カメラ映像と関連するターゲット情報を収集するものであって、例えば、ユーザが特定のコミュニティを選択してカメラ映像を提供しようとする場合、コミュニティの名称やカテゴリなどのように該当のコミュニティに関する情報を収集してよい。さらに他の例として、状況収集部３３０は、カメラ映像から感情強度（程度）を含む表情情報を収集するものであって、カメラ映像内の顔表情から感情種類はもちろん、感情強度も共に収集してよい。感情の種類だけではなく、強度表現が可能なエフェクトも対象として映像内の実際の表情を把握し、エフェクト選定基準として利用してよい。

【0045】

したがって、状況収集部３２０は、カメラ映像に反映するエフェクトを選定するための追加基準として、ユーザの状況、すなわち、時間情報、場所情報、色情報、撮影モード情報、履歴情報、フィードバック情報、ターゲット情報、および表情情報のうちの少なくとも１つを収集してよい。

【0046】

段階４４０で、エフェクト選定部３３０は、段階４２０で決定された感情として分類された複数のエフェクトのうちからカメラ映像に反映するエフェクトをランダムに選定してよい。例えば、事前に定義された複数の感情（例えば、６種類の感情：嬉しい、愛、悲しい、怒り、クール、クレイジー）のうちからユーザが「嬉しい」を選択した場合、「嬉しい」に分類されたエフェクトグループ内から特定のエフェクトをランダムに選定してカメラ映像に直ちに適用してよい。したがって、ユーザが選択した感情に基づいて該当の感情のエフェクトをランダムに選定し、リアルタイムで送り出される映像に直ちに提供することができる。

【0047】

さらに、エフェクト選定部３３０は、カメラ映像に反映するエフェクトとして、段階４２０で決定された感情に対応するエフェクトのうちから、段階４３０で収集された状況情報にマッチングするエフェクトをランダムに選定してよい。このようなランダムエフェクトは、時間情報、場所情報、色情報、撮影モード情報、履歴情報、フィードバック情報、ターゲット情報、および表情情報のうちの少なくとも１つの状況情報に基づく加重値モデリングを利用して選定されてよい。図５に示すように、エフェクト選定部３３０は、エフェクトを選定するための基準として、ユーザによって選択された感情または映像から自動認識された感情５０１を利用するようになるが、ユーザのコンテキストを考慮した状況情報（時間情報、場所情報、色情報、撮影モード情報、履歴情報、フィードバック情報、ターゲット情報、および表情情報のうちの少なくとも１つ）５０２を追加選定基準として利用してよい。それぞれのエフェクトは、該当のエフェクトと関連する属性情報として、メタデータや各種タグ、デザイン要素に関する情報などを含んでよい。これにより、エフェクト選定部３３０は、状況情報と属性情報を比較して、エフェクトに対して状況別に加重値を付与し、加重値として計算されたスコアが最も高いエフェクトを提供してもよいし、加重値として計算されたスコアが一定レベル以上のエフェクトのうちからランダムに選定されたエフェクトを提供してもよい。

【0048】

状況別に加重値を付与する方法の一例として、エフェクト選定部３３０は、感情５０１とは関係なく、すべての状況情報５０２を追加選定基準として利用し、状況情報５０２別に加重値を付与してよい。他の例として、エフェクト選定部３３０は、感情５０１に応じて追加選定基準となる状況情報５０２を異なるように選択して利用してよい。例えば、「嬉しい」の場合には状況情報５０２のうちの時間情報および場所情報を追加選定基準として利用し、「悲しい」の場合には状況情報５０２のうちの場所情報を追加選定基準として利用してよい。また他の例として、エフェクト選定部３３０は、感情５０１に応じて状況情報５０２別に異なる加重値を付与してよい。例えば、「嬉しい」の場合には状況情報５０２のうちの時間情報および場所情報にさらに高い加重値を付与し、「悲しい」の場合には状況情報５０２のうちの場所情報にさらに高い加重値を付与してよい。

【0049】

追加選定基準となる状況情報５０２のうちの時間情報の場合：ユーザの撮影日付または撮影時間帯に特化されたエフェクトに加重値を付与してよく、例えば、クリスマス、バレンタインデー、夜遅い時間帯などの特定された時間に特化されたエフェクトを選定してよい。

【0050】

追加選定基準となる状況情報５０２のうちの場所情報の場合：ユーザの撮影場所またはカメラ映像から特定の場所を認知し、該当の場所に特化されたエフェクトに加重値を付与してよく、例えば、エッフェル塔、ナムサン、明洞などの特定された場所に特化されたエフェクトを選定してよい。

【0051】

追加選定基準となる状況情報５０２のうちの色情報の場合：カメラスクリーン内に含まれている色値を分析したり、映像内の人物の肌トーンや照明色などを認知したりすることで、該当の色に適したエフェクトに加重値を付与してよく、例えば、カメラ内の全体的な背景色が極めて明るい場合には、類似の色を避け、対照となる色のカメラエフェクトを選定してよい。

【0052】

追加選定基準となる状況情報５０２のうちの撮影モード情報の場合：インカメラ撮影モード／アウトカメラ撮影モード、または人物撮影モード／背景撮影モードなどの映像撮影モードを認識し、該当のモードに適したエフェクトに加重値を付与してよく、例えば、インカメラを利用したセルフ撮影モード時にはマスクを中心としたエフェクトを選定し、複数の人物を撮影する場合にはフェイススワップエフェクトなどのように複数の人物に適用可能な形態のカメラエフェクトを選定し、アウトカメラを利用した背景撮影モード時には背景場所に特化されたエフェクトを選定してよい。

【0053】

追加選定基準となる状況情報５０２のうちの履歴情報の場合：ユーザが頻繁に使用するエフェクトまたはこれと類似するエフェクトに加重値を付与してよく、例えば、ユーザがここ最近使用したエフェクト、ここ最近の一定期間内に多く使用されたエフェクトなどを選定してよい。

【0054】

追加選定基準となる状況情報５０２のうちのフィードバック情報の場合：ユーザとビューアとの間の対話、またはビューアの反応などのコンテキストを分析し、該当の内容とマッチングするエフェクトに加重値を付与してよく、例えば、ユーザとビューアとの間でやり取りした対話のタイトルに適したエフェクトなどを選定してよい。

【0055】

追加選定基準となる状況情報５０２のうちのターゲット情報の場合：ユーザがカメラ映像を提供しようとするターゲット対象の特性に適したエフェクトに加重値を付与してよく、例えば、スキューバダイビング同好会コミュニティグループに生放送を提供する場合にはスキューバダイビングと関連するカメラエフェクトを選定し、愛犬コミュニティグループに生放送を提供する場合には動物に関するカメラエフェクトを選定してよい。

【0056】

追加選定基準となる状況情報５０２のうちの表情情報の場合：映像内の顔表情に適したエフェクトに加重値を付与してよく、例えば、映像内の人物が笑っている場合は、笑顔の表情に特化されたエフェクトを選定してよい。他の例として、映像内の顔表情から感情強度を分析し、該当の強度に特化されたエフェクトを選定してもよい。例えば、ユーザが「嬉しい」を選択し、映像から感情強度「３」が認識された場合は、「嬉しい」グループに属するエフェクトのうち感情強度「３」に適したエフェクトを選定してよい。

【0057】

図６〜図１０は、本発明の一実施形態における、感情に対応するエフェクトを提供する過程を説明するための例示図である。

【0058】

図６は、生放送として提供されるカメラ映像画面６００を例示的に示した図である。カメラ映像画面６００には、複数の感情に分類されたエフェクトグループを選択するための感情選択メニュー６０１が含まれてよい。例えば、エフェクトグループは、６種類の感情、すなわち、嬉しい、愛、悲しい、怒り、クール、クレイジーに分類されてよく、エフェクト選定基準として感情を選択することができるように、６つの感情アイコンで構成された感情選択メニュー６０１がカメラ映像画面６００上に表示されてよい。

【0059】

図７を参照すると、ユーザがカメラ映像画面６００上の感情選択メニュー６０１から「嬉しい」アイコンを選択した場合、「嬉しい」グループに属するエフェクトのうちからランダムにエフェクトを選定してカメラに直ちに適用することにより、感情「嬉しい」に適したエフェクト、例えば、ハートマークエフェクトが反映された映像７１０を生放送で提供することが可能となる。

【0060】

一方、図８に示すように、ユーザがカメラ映像画面６００上の感情選択メニュー６０１から「悲しい」アイコンを選択した場合、「悲しい」グループに属するエフェクトのうちからランダムにエフェクトを選定してカメラに直ちに適用することにより、感情「悲しい」に適したエフェクト、例えば、涙マークエフェクトが反映された映像８１０を生放送で提供することが可能となる。

【0061】

上述したように、エフェクトを選定するための基準として、ユーザによって選択された感情と共に、少なくとも１つの状況情報を追加で利用することにより、ユーザの状況に合ったランダムエフェクトを選定することが可能となる。したがって、ユーザが選択した感情グループに属するエフェクトのうちから、ユーザの実際の状況により適したエフェクトを選定して生放送で提供することができる。

【0062】

また、感情選択メニュー６０１に対するユーザジェスチャ類型に応じてカメラに反映するエフェクト選定対象を異なるように適用してよい。例えば、感情選択メニュー６０１に対するユーザジェスチャを、シングルタップ、ダブルタップ、ロングタップに区分し、シングルタップの場合には特定の感情グループ内からランダムに選定されたエフェクトを提供し、ダブルタップの場合にはここ最近使用されたエフェクトを提供し、ロングタップの場合には所定の推薦基準によって推薦されたエフェクトリストからユーザが直接選択したエフェクトを提供してよい。

【0063】

ユーザがカメラ映像画面６００上の感情選択メニュー６０１で「嬉しい」アイコンをシングルタップした場合、図７を参照して説明したように、「嬉しい」グループ内からランダムに選定されたエフェクト、例えば、ハートマークエフェクトが反映された映像７１０が生放送で提供されてよい。

【0064】

「嬉しい」グループ内で星マークエフェクトがここ最近使用されたエフェクトであると仮定すると、図９に示すように、ユーザがカメラ映像画面６００上の感情選択メニュー６０１から「嬉しい」アイコンをダブルタップした場合、該当の感情グループ内から、ランダムエフェクトではなくここ最近使用されたエフェクトである星マークエフェクトをカメラ映像に直ちに適用することにより、「嬉しい」グループのエフェクトのうちここ最近使用されたエフェクトが反映された映像９１０が生放送で提供されるようになる。

【0065】

図１０を参照すると、ユーザがカメラ映像画面６００上の感情選択メニュー６０１で「嬉しい」アイコンをロングタップした場合、「嬉しい」グループ内において、所定の条件に該当する一部のエフェクトを推薦エフェクトリスト１０１１として構成して提供してよい。一例として、推薦エフェクトは、エフェクトに対するユーザ履歴情報に基づいた基準によって選定されてよく、例えば、ユーザが頻繁に利用するエフェクトを推薦してよい。ユーザが「嬉しい」グループ内で頻繁に利用したエフェクトで構成された推薦エフェクトリスト１０１１からカメラ映像に反映するエフェクトを直接選択してよく、ランダムエフェクトではなく、ユーザによって直接選択されたエフェクト（例えば、くちびるマークエフェクト）が反映された映像１０１０が生放送で提供されてよい。

【0066】

このように、本発明の実施形態によると、生放送状況を考慮し、放送の流れを切らずに迅速にカメラエフェクトを提供することができ、生放送中にユーザによって選択された感情や映像から自動認識された感情に合ったカメラエフェクトを提供することができる。また、本発明の実施形態によると、ユーザによって選択された感情や映像から自動認識された感情に合うカメラエフェクトのうちから、ユーザの状況を考慮した加重値モデリングを利用してカメラエフェクトを提供することにより、該当となる感情を極大化して表現することができるエフェクトを提供することができる。

【0067】

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0068】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

【0069】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このとき、媒体は、コンピュータによって実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時的に記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよいが、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。

【0070】

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

【0071】

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

【符号の説明】

【0072】

２１２：プロセッサ
３１０：感情決定部
３２０：状況収集部
３３０：エフェクト選定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】