(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023067859
(43)【公開日】2023-05-16
(54)【発明の名称】エフェクト提供方法、コンピュータ装置、およびコンピュータプログラム
(51)【国際特許分類】
H04N 7/15 20060101AFI20230509BHJP
H04N 21/4402 20110101ALI20230509BHJP
【FI】
H04N7/15
H04N21/4402
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022174556
(22)【出願日】2022-10-31
(31)【優先権主張番号】10-2021-0147998
(32)【優先日】2021-11-01
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】516014409
【氏名又は名称】ライン プラス コーポレーション
【氏名又は名称原語表記】LINE Plus Corporation
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】キム ナ ヨン
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA09
5C164PA31
5C164UB02P
5C164UB41S
5C164UB81S
5C164VA07S
5C164VA35P
5C164YA08
5C164YA21
(57)【要約】
【課題】ビデオ通話時にボディエフェクトを提供する方法、装置、およびコンピュータプログラムを提供する。
【解決手段】エフェクト提供方法は、ユーザ情報または通話目的のうちの少なくとも1つに基づいてビデオ通話のための服装ボディエフェクトを推薦する段階、カメラ映像から検出されたボディ部分に前記服装ボディエフェクトを合成したユーザ映像を前記ビデオ通話に参加する相手の端末に送信する段階、および前記ビデオ通話に参加する相手映像と前記ユーザ映像を含むビデオ通話画面を表示する段階を含む。
【選択図】
図3
【特許請求の範囲】
【請求項1】
コンピュータ装置で実行されるエフェクト提供方法であって、
前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、
前記エフェクト提供方法は、
前記少なくとも1つのプロセッサが、ユーザ情報または通話目的のうちの少なくとも1つに基づいてビデオ通話のための服装ボディエフェクトを推薦する段階、
前記少なくとも1つのプロセッサが、カメラ映像から検出されたボディ部分に前記服装ボディエフェクトを合成したユーザ映像を前記ビデオ通話に参加する相手の端末に送信する段階、および
前記少なくとも1つのプロセッサが、前記ビデオ通話に参加する相手映像と前記ユーザ映像を含むビデオ通話画面を表示する段階
を含む、エフェクト提供方法。
【請求項2】
前記推薦する段階は、
事前登録されたユーザプロフィールまたは前記カメラ映像に対する分析結果から前記ユーザ情報を抽出する段階
を含む、請求項1に記載のエフェクト提供方法。
【請求項3】
前記推薦する段階は、
カレンダーとの連動により、前記カレンダーに設定されたミーティング情報から前記通話目的を抽出する段階
を含む、請求項1に記載のエフェクト提供方法。
【請求項4】
前記推薦する段階は、
前記ユーザ情報または前記通話目的のうちの少なくとも1つを利用してドレスコードを把握する段階、および
前記ドレスコードとマッチングする属性情報を有する服装ボディエフェクトを推薦する段階
を含む、請求項1に記載のエフェクト提供方法。
【請求項5】
前記送信する段階は、
AR(augmented reality)イメージの前記服装ボディエフェクトが前記ボディ部分にオーバレイされた映像を前記ユーザ映像として前記相手の端末に送信する段階
を含む、請求項1に記載のエフェクト提供方法。
【請求項6】
前記表示する段階は、
前記相手映像を個別映像でそれぞれ受信し、前記ユーザ映像とともに一画面にレンダリング(rendering)して前記ビデオ通話画面を構成する段階
を含む、請求項1に記載のエフェクト提供方法。
【請求項7】
前記エフェクト提供方法は、
前記少なくとも1つのプロセッサが、カラー選択インタフェースを提供する段階、および
前記少なくとも1つのプロセッサが、前記ボディ部分に含まれた衣服オブジェクトのカラーを前記カラー選択インタフェースで選択されたカラーに変更する段階
をさらに含む、請求項1に記載のエフェクト提供方法。
【請求項8】
前記エフェクト提供方法は、
前記少なくとも1つのプロセッサが、オブジェクト選択インタフェースおよびカラー選択インタフェースを提供する段階、および
前記少なくとも1つのプロセッサが、前記ボディ部分に含まれた衣服オブジェクトのうちで前記オブジェクト選択インタフェースで選択されたオブジェクトのカラーを前記カラー選択インタフェースで選択されたカラーに変更する段階
をさらに含む、請求項1に記載のエフェクト提供方法。
【請求項9】
前記エフェクト提供方法は、
前記少なくとも1つのプロセッサが、前記服装ボディエフェクトのうちから前記ビデオ通話のためのグループウェアとして特定のボディエフェクトが選択される場合、前記特定のボディエフェクトに関する情報を前記相手の端末に送信する段階
をさらに含み、
前記表示する段階は、
前記特定のボディエフェクトがボディ部分に合成された相手映像を前記相手の端末から受信する段階
を含む、請求項1に記載のエフェクト提供方法。
【請求項10】
前記エフェクト提供方法は、
前記少なくとも1つのプロセッサが、前記カメラ映像に適用可能なエフェクトリストとして顔専用モード(face only mode)に該当するボディオフエフェクト(body off effect)を提供する段階、および
前記少なくとも1つのプロセッサが、前記エフェクトリストから前記ボディオフエフェクトが選択される場合、前記カメラ映像から顔部分を除いた残りの部分が透明効果によって隠し処理された映像を前記ユーザ映像として前記相手の端末に送信する段階
をさらに含む、請求項1に記載のエフェクト提供方法。
【請求項11】
請求項1~10のうちのいずれか一項の記載のエフェクト提供方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項12】
コンピュータ装置であって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサ
を含み、
前記少なくとも1つのプロセッサは、
ユーザ情報または通話目的のうちの少なくとも1つに基づいてビデオ通話のための服装ボディエフェクトを推薦し、
カメラ映像から検出されたボディ部分に前記服装ボディエフェクトを合成したユーザ映像を前記ビデオ通話に参加する相手の端末に送信し、
前記ビデオ通話に参加する相手映像と前記ユーザ映像を含むビデオ通話画面を表示すること
を特徴とする、コンピュータ装置。
【請求項13】
前記少なくとも1つのプロセッサは、
事前登録されたユーザプロフィールまたは前記カメラ映像に対する分析結果から前記ユーザ情報を抽出すること
を特徴とする、請求項12に記載のコンピュータ装置。
【請求項14】
前記少なくとも1つのプロセッサは、
カレンダーとの連動により、前記カレンダーに設定されたミーティング情報から前記通話目的を抽出すること
を特徴とする、請求項12に記載のコンピュータ装置。
【請求項15】
前記少なくとも1つのプロセッサは、
前記ユーザ情報または前記通話目的のうちの少なくとも1つを利用してドレスコードを把握し、
前記ドレスコードとマッチングする属性情報を有する服装ボディエフェクトを推薦すること
を特徴とする、請求項12に記載のコンピュータ装置。
【請求項16】
前記少なくとも1つのプロセッサは、
ARイメージの前記服装ボディエフェクトが前記ボディ部分にオーバレイされた映像を前記ユーザ映像として前記相手の端末に送信すること
を特徴とする、請求項12に記載のコンピュータ装置。
【請求項17】
前記少なくとも1つのプロセッサは、
カラー選択インタフェースを提供し、
前記ボディ部分に含まれた衣服オブジェクトのカラーを前記カラー選択インタフェースから選択されたカラーに変更すること
を特徴とする、請求項12に記載のコンピュータ装置。
【請求項18】
前記少なくとも1つのプロセッサは、
オブジェクト選択インタフェースおよびカラー選択インタフェースを提供し、
前記ボディ部分に含まれた衣服オブジェクトのうちで前記オブジェクト選択インタフェースで選択されたオブジェクトのカラーを前記カラー選択インタフェースで選択されたカラーに変更すること
を特徴とする、請求項12に記載のコンピュータ装置。
【請求項19】
前記少なくとも1つのプロセッサは、
前記服装ボディエフェクトのうちから前記ビデオ通話のためのグループウェアとして特定のボディエフェクトが選択される場合、前記特定のボディエフェクトに関する情報を前記相手の端末に送信し、
前記特定のボディエフェクトがボディ部分に合成された相手映像を前記相手の端末から受信すること
を特徴とする、請求項12に記載のコンピュータ装置。
【請求項20】
前記少なくとも1つのプロセッサは、
前記カメラ映像に適用可能なエフェクトリストとして顔専用モードに該当するボディオフエフェクトを提供し、
前記エフェクトリストから前記ボディオフエフェクトが選択される場合、前記カメラ映像から顔部分を除いた残りの部分が透明効果によって隠し処理された映像を前記ユーザ映像として前記相手の端末に送信すること
を特徴とする、請求項12に記載のコンピュータ装置。
【発明の詳細な説明】
【技術分野】
【0001】
以下の説明は、ビデオ通話時にボディエフェクト(body effect)を提供する技術に関する。
【背景技術】
【0002】
近年の通信デバイスは、音声通話サービスやメッセージサービスはもちろん、無線インターネットサービスや地上波/衛星放送サービスなどの多様なサービスを提供している。
【0003】
特に、映像の圧縮技術と復元技術の発展と、カメラを備えたデバイスの常用化にともない、相手の顔を確認しながら通話することのできるビデオ通話サービスが提供されている。
【0004】
ビデオ通話サービスを提供する技術の一例として、特許文献1(登録日2003年9月29日)には、無線環境の移動電話網で各移動電話端末機に画像電話サービスを提供する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】韓国登録特許第10-0401262号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の1つの課題は、ビデオ通話時にボディエフェクトを提供する方法、装置、およびコンピュータプログラムを提供することである。
【課題を解決するための手段】
【0007】
コンピュータ装置で実行されるエフェクト提供方法であって、前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、前記エフェクト提供方法は、前記少なくとも1つのプロセッサが、ユーザ情報または通話目的のうちの少なくとも1つに基づいてビデオ通話のための服装ボディエフェクトを推薦する段階、前記少なくとも1つのプロセッサが、カメラ映像から検出されたボディ部分に前記服装ボディエフェクトを合成したユーザ映像を前記ビデオ通話に参加する相手の端末に送信する段階、および前記少なくとも1つのプロセッサが、前記ビデオ通話に参加する相手映像と前記ユーザ映像を含むビデオ通話画面を表示する段階を含む、エフェクト提供方法を提供する。
【0008】
一側面によると、前記推薦する段階は、事前登録されたユーザプロフィールまたは前記カメラ映像に対する分析結果から前記ユーザ情報を抽出する段階を含んでもよい。
【0009】
他の側面によると、前記推薦する段階は、カレンダーとの連動により、前記カレンダーに設定されたミーティング情報から前記通話目的を抽出する段階を含んでもよい。
【0010】
また他の側面によると、前記推薦する段階は、前記ユーザ情報または前記通話目的のうちの少なくとも1つを利用してドレスコードを把握する段階、および前記ドレスコードとマッチングする属性情報を有する服装ボディエフェクトを推薦する段階を含んでもよい。
【0011】
また他の側面によると、前記送信する段階は、AR(augmented reality)イメージの前記服装ボディエフェクトが前記ボディ部分にオーバレイされた映像を前記ユーザ映像として前記相手の端末に送信する段階を含んでもよい。
【0012】
また他の側面によると、前記表示する段階は、前記相手映像を個別映像としてそれぞれ受信し、前記ユーザ映像とともに一画面にレンダリング(rendering)して前記ビデオ通話画面を構成する段階を含んでもよい。
【0013】
また他の側面によると、前記エフェクト提供方法は、前記少なくとも1つのプロセッサが、カラー選択インタフェースを提供する段階、および前記少なくとも1つのプロセッサが、前記ボディ部分に含まれた衣服オブジェクトのカラーを前記カラー選択インタフェースで選択されたカラーに変更する段階をさらに含んでもよい。
【0014】
また他の側面によると、前記エフェクト提供方法は、前記少なくとも1つのプロセッサが、オブジェクト選択インタフェースおよびカラー選択インタフェースを提供する段階、および前記少なくとも1つのプロセッサが、前記ボディ部分に含まれた衣服オブジェクトのうちで前記オブジェクト選択インタフェースで選択されたオブジェクトのカラーを前記カラー選択インタフェースから選択されたカラーに変更する段階をさらに含んでもよい。
【0015】
また他の側面によると、前記エフェクト提供方法は、前記少なくとも1つのプロセッサが、前記服装ボディエフェクトのうちから前記ビデオ通話のためのグループウェアとして特定のボディエフェクトが選択される場合、前記特定のボディエフェクトの情報を前記相手の端末に送信する段階をさらに含み、前記表示する段階は、前記特定のボディエフェクトがボディ部分に合成された相手映像を前記相手の端末から受信する段階を含んでもよい。
【0016】
さらに他の側面によると、前記エフェクト提供方法は、前記少なくとも1つのプロセッサが、前記カメラ映像に適用可能なエフェクトリストとして顔専用モード(face only mode)に該当するボディオフエフェクト(body off effect)を提供する段階、および前記少なくとも1つのプロセッサが、前記エフェクトリストから前記ボディオフエフェクトが選択される場合、前記カメラ映像から顔部分を除いた残りの部分を透明効果によって隠し処理した映像を前記ユーザ映像として前記相手の端末に送信する段階をさらに含んでもよい。
【0017】
前記エフェクト提供方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラムを提供する。
【0018】
コンピュータ装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサは、ユーザ情報または通話目的のうちの少なくとも1つに基づいてビデオ通話のための服装ボディエフェクトを推薦し、カメラ映像から検出されたボディ部分に前記服装ボディエフェクトを合成したユーザ映像を前記ビデオ通話に参加する相手の端末に送信し、前記ビデオ通話に参加する相手映像と前記ユーザ映像を含むビデオ通話画面を表示することを特徴とする、コンピュータ装置を提供する。
【発明の効果】
【0019】
本発明によると、ビデオ通話中に、ユーザ情報または通話目的に適した服装のボディエフェクトを提供することができる。
【図面の簡単な説明】
【0020】
【
図1】本発明の一実施形態における、ネットワーク環境の例を示した図である。
【
図2】本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。
【
図3】本発明の一実施形態における、コンピュータ装置が実行することのできる方法の一例を示したフローチャートである。
【
図4】本発明の一実施形態における、ビデオ通話で服装ボディエフェクトを提供する過程を説明するための例示図である。
【
図5】本発明の一実施形態における、ビデオ通話で服装ボディエフェクトを提供する過程を説明するための例示図である。
【
図6】本発明の一実施形態における、ビデオ通話で服装ボディエフェクトを提供する過程を説明するための例示図である。
【
図7】本発明の一実施形態における、コンピュータ装置が実行することのできる方法の他の例を示したフローチャートである。
【
図8】本発明の一実施形態における、ビデオ通話でグループウェアボディエフェクトを提供する過程を説明するための例示図である。
【
図9】本発明の一実施形態における、コンピュータ装置が実行することのできる方法の他の例を示したフローチャートである。
【
図10】本発明の一実施形態における、ビデオ通話でボディオフエフェクトを提供する過程を説明するための例示図である。
【
図11】本発明の一実施形態における、ビデオ通話でボディオフエフェクトを提供する過程を説明するための例示図である。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。
【0022】
本発明の実施形態は、ビデオ通話時にボディエフェクトを提供する技術に関する。
【0023】
本明細書で具体的に開示される事項を含む実施形態は、ビデオ通話時に、ボディ部分に適用可能な服装ボディエフェクトまたは顔を除いた残りの部分を隠し処理することが可能なボディエフェクトを提供することができる。
【0024】
本発明の実施形態に係るエフェクト提供システムは、少なくとも1つのコンピュータ装置によって実現されてもよく、本発明の実施形態に係るエフェクト提供方法は、エフェクト提供システムに含まれる少なくとも1つのコンピュータ装置によって実行されてもよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてもよく、コンピュータ装置は、実行されたコンピュータプログラムの制御にしたがって本発明の実施形態に係るエフェクト提供方法を実行してもよい。上述したコンピュータプログラムは、コンピュータ装置と結合してエフェクト提供方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されてもよい。
【0025】
図1は、本発明の一実施形態における、ネットワーク環境の例を示した図である。
図1のネットワーク環境は、複数の電子機器110、120、130、140、複数のサーバ150、160、およびネットワーク170を含む例を示している。このような
図1は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が
図1のように限定されることはない。また、
図1のネットワーク環境は、本実施形態に適用可能な環境のうちの一例を説明したものに過ぎず、本実施形態に適用可能な環境が
図1のネットワーク環境に限定されることはない。
【0026】
複数の電子機器110、120、130、140は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器110、120、130、140の例としては、スマートフォン、携帯電話、ナビゲーションシステム、PC(personal computer)、ノート型PC、デジタル放送用端末、PDA(Personal Digital Assistant)、PMP(Portable Multimedia Player)、タブレットなどがある。一例として、
図1では、電子機器110の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器110は、実質的に無線または有線通信方式を利用し、ネットワーク170を介して他の電子機器120、130、140および/またはサーバ150、160と通信することのできる多様な物理的なコンピュータ装置のうちの1つを意味してもよい。
【0027】
通信方式が限定されることはなく、ネットワーク170が含むことのできる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網)を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク170は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでもよい。さらに、ネットワーク170は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター-バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これらに限定されることはない。
【0028】
サーバ150、160それぞれは、複数の電子機器110、120、130、140とネットワーク170を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する1つ以上のコンピュータ装置によって実現されてもよい。例えば、サーバ150は、ネットワーク170を介して接続した複数の電子機器110、120、130、140にサービス(一例として、ビデオ通話サービスなど)を提供するシステムであってもよい。
【0029】
図2は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器110、120、130、140それぞれやサーバ150、160それぞれは、
図2に示したコンピュータ装置200によって実現されてもよい。
【0030】
このようなコンピュータ装置200は、
図2に示すように、メモリ210、プロセッサ220、通信インタフェース230、および入力/出力インタフェース240を含んでもよい。メモリ210は、コンピュータ読み取り可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)、およびディスクドライブのような永続的大容量記録装置を含んでもよい。ここで、ROMやディスクドライブのような永続的大容量記録装置は、メモリ210とは区分される別の永続的記録装置としてコンピュータ装置200に含まれてもよい。また、メモリ210には、オペレーティングシステムと、少なくとも1つのプログラムコードが記録されてもよい。このようなソフトウェア構成要素は、メモリ210とは別のコンピュータ読み取り可能な記録媒体からメモリ210にロードされてもよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー(登録商標)ドライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでもよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース230を通じてメモリ210にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク170を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置200のメモリ210にロードされてもよい。
【0031】
プロセッサ220は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてもよい。命令は、メモリ210または通信インタフェース230によって、プロセッサ220に提供されてもよい。例えば、プロセッサ220は、メモリ210のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてもよい。
【0032】
通信インタフェース230は、ネットワーク170を介してコンピュータ装置200が他の装置(一例として、上述した記録装置)と互いに通信するための機能を提供してもよい。一例として、コンピュータ装置200のプロセッサ220がメモリ210のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース230の制御にしたがってネットワーク170を介して他の装置に伝達されてもよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク170を経てコンピュータ装置200の通信インタフェース230を通じてコンピュータ装置200に受信されてもよい。通信インタフェース230を通じて受信された信号や命令、データなどは、プロセッサ220やメモリ210に伝達されてもよく、ファイルなどは、コンピュータ装置200がさらに含むことのできる記録媒体(上述した永続的記録装置)に記録されてもよい。
【0033】
入力/出力インタフェース240は、入力/出力装置250とのインタフェースのための手段であってもよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでもよい。他の例として、入力/出力インタフェース240は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置250は、コンピュータ装置200と1つの装置で構成されてもよい。
【0034】
また、他の実施形態において、コンピュータ装置200は、
図2の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術による構成要素を明確に図に示す必要はない。例えば、コンピュータ装置200は、上述した入力/出力装置250のうちの少なくとも一部を含むように実現されてもよいし、送受信機、データベースなどのような他の構成要素をさらに含んでもよい。
【0035】
以下では、ビデオ通話時にボディエフェクトを提供する方法および装置の具体的な実施形態について説明する。
【0036】
本実施形態に係るコンピュータ装置200は、クライアントを対象に、クライアント上にインストールされた専用アプリケーションやコンピュータ装置200と関連するウェブ/モバイルサイトへの接続によってビデオ通話サービスを提供してもよい。コンピュータ装置200には、コンピュータで実現されたエフェクト提供システムが構成されてもよい。一例として、エフェクト提供システムは、独立的に動作するプログラム形態で実現されてもよいし、特定のアプリケーションのイン-アプリ(in-app)形態で構成されて前記特定のアプリケーション上で動作が可能なように実現されてもよい。
【0037】
コンピュータ装置200のプロセッサ220は、以下のエフェクト提供方法を実行するための構成要素で実現されてもよい。実施形態によって、プロセッサ220の構成要素は、選択的にプロセッサ220に含まれても除外されてもよい。また、実施形態によって、プロセッサ220の構成要素は、プロセッサ220の機能の表現のために分離されても併合されてもよい。
【0038】
このようなプロセッサ220およびプロセッサ220の構成要素は、以下のエフェクト提供方法に含まれる段階を実行するようにコンピュータ装置200を制御してもよい。例えば、プロセッサ220およびプロセッサ220の構成要素は、メモリ210が含むオペレーティングシステムのコードと、少なくとも1つのプログラムのコードとによる命令(instruction)を実行するように実現されてもよい。
【0039】
ここで、プロセッサ220の構成要素は、コンピュータ装置200に記録されたプログラムコードが提供する命令にしたがってプロセッサ220によって実行される、互いに異なる機能(different functions)の表現であってもよい。
【0040】
プロセッサ220は、コンピュータ装置200の制御と関連する命令がロードされたメモリ210から必要な命令を読み取ってもよい。この場合、前記読み取られた命令は、プロセッサ220が以下で説明する段階を実行するように制御するための命令を含んでもよい。
【0041】
以下で説明する段階は、図に示したものとは異なる順序で実行されてもよいし、段階のうちの一部が省略されたり追加の過程がさらに含まれたりしてもよい。
【0042】
図3は、本発明の一実施形態における、コンピュータ装置が実行することのできる方法の一例を示したフローチャートである。
【0043】
図3を参照すると、段階310で、プロセッサ220は、ビデオ通話のためのカメラ映像に適用可能なエフェクトリストを提供するにあたり、エフェクトリストを要請したユーザの情報またはユーザが特定した通話目的のうちの少なくとも1つに基づいて服装ボディエフェクトを推薦してもよい。
【0044】
本明細書においてエフェクトとは、イメージオブジェクトで構成されたコンテンツとして、カメラ映像に合成可能なエフェクトフィルタを意味してもよい。ボディエフェクトとは、カメラ映像から顔を除いたボディ部分に適用可能なエフェクトを意味し、特に、服装ボディエフェクトは、衣服を示すイメージオブジェクトで構成されたボディエフェクトを意味してもよい。
【0045】
性別や年齢、職業、時間、場所、状況などに応じて衣服のスタイル、格式、模様、カラーなどのドレスコードが定義されてよく、服装ボディエフェクトには、該当のエフェクトと関連する属性情報として該当の服装が属するドレスコードに関する情報が含まれてもよい。
【0046】
プロセッサ220は、性別や年齢、職業などのユーザ情報とマッチングするドレスコードの服装ボディエフェクト、またはユーザがビデオ通話に参加する目的とマッチングするドレスコードの服装ボディエフェクトを推薦してもよい。このとき、プロセッサ220は、サービス上に登録されたユーザプロフィールから必要な情報を抽出するか、カメラ映像を分析した映像分析結果からユーザの性別や年齢などを予測してもよい。また、プロセッサ220は、カレンダーとの連動により、カレンダーに設定されたミーティング情報からユーザの通話目的を抽出してもよい。実施形態によっては、ビデオ通話に参加するための設定環境でユーザが通話目的を直接設定してもよい。
【0047】
プロセッサ220は、ユーザ情報または通話目的を利用してドレスコードを把握してもよく、把握したドレスコードに該当する服装ボディエフェクトを推薦エフェクトの一種として提供してもよい。
【0048】
段階320で、プロセッサ220は、ユーザが特定の服装ボディエフェクトを選択した場合、カメラ映像からボディ部分を検出して該当の服装ボディエフェクトを適用してもよい。プロセッサ220は、物体検出および物体追跡を含むコンピュータビジョン技術を利用して、被写体領域であるユーザの顔部分とボディ部分をカメラ映像から検出して追跡してもよい。このとき、プロセッサ220は、カメラ映像から顔を除いたボディ部分を抽出した後、抽出したボディ部分に服装ボディエフェクトをオーバレイして合成してもよい。
【0049】
段階330で、プロセッサ220は、ボディ部分に服装ボディエフェクトが適用されたカメラ映像をユーザ映像として送信してもよい。言い換えれば、プロセッサ220は、ユーザが選択した服装ボディエフェクトがボディ部分に合成されたカメラ映像をビデオ通話のためのユーザ映像とし、ビデオ通話に参加する各相手の端末に送信してもよい。
【0050】
本明細書においてビデオ通話とは、ユーザと相手が映像と音声をやり取りする映像電話を包括したものを意味してもよく、一例として、IPアドレスを使用するネットワークを介して映像と音声をデジタルパケットに変換して送信する技術であるインターネット電話(VoIP)を意味してもよい。
【0051】
プロセッサ220は、コンピュータ装置200のカメラで撮影した映像をインターネット回線を介してリアルタイムで配信するストリーミング(streaming)環境において、カメラ映像にAR(augmented reality)イメージの服装ボディエフェクトを合成し、一映像として提供してもよい。これにより、ユーザ映像には、ユーザが実際に着用している衣服ではなく、仮想の服装を着用したユーザが映し出されるようになる。
【0052】
段階340で、プロセッサ220は、相手の端末からビデオ通話のための相手映像を受信し、ユーザ映像と相手映像を含んだビデオ通話画面を表示してもよい。プロセッサ220は、ビデオ通話に参加する相手映像を個別映像でそれぞれ受信した後、受信した相手映像をユーザ映像とともに一画面にレンダリング(rendering)してビデオ通話画面を構成してもよい。
【0053】
ビデオ通話サービスを提供するサーバ側で複数の参加者映像を含んだ1つの映像を生成してクライアントに提供するのではなく、各参加者映像を個別映像として送信し、複数の参加者画像をクライアント側で個別映像としてそれぞれ受信して1つのビデオ通話画面を構成する。
【0054】
図4~6は、本発明の一実施形態における、ビデオ通話で服装ボディエフェクトを提供する過程を説明するための例示図である。
【0055】
図4は、ビデオ通話のための設定画面400を示している。
【0056】
図4を参照すると、プロセッサ220は、ビデオ通話設定画面400において、コンピュータ装置200のカメラで撮影した映像、すなわち、カメラ映像410を表示してもよい。
【0057】
プロセッサ220は、ユーザがビデオ通話に参加する前にビデオ通話設定環境で服装変更を要請する場合、ビデオ通話設定画面400上に服装ボディエフェクトリスト420を提供してよい。
【0058】
このとき、服装ボディエフェクトリスト420には、服装に関する推薦情報が含まれてもよい。一例として、性別や年齢、職業などのユーザ情報とマッチングする服装ボディエフェクト、またはユーザがビデオ通話に参加しようとする目的とマッチングする服装ボディエフェクトが含まれてもよい。
【0059】
例えば、ユーザが20代女性である場合、20代女性のカテゴリに分類された服装を推薦してもよい。学校の授業のためのビデオ通話の場合には制服を推薦してもよく、面接のためのビデオ通話の場合にはスーツを推薦してもよい。非対面ホームパーティーのためのビデオ通話の場合には、ユーザが直接設定したドレスコード(例えば、パジャマ)を推薦してもよい。
【0060】
プロセッサ220は、ユーザが服装ボディエフェクトリスト420から特定の服装ボディエフェクトを選択した場合、
図5に示すように、カメラ映像410から顔部分511を除いたボディ部分512を検出した後、検出したボディ部分512にユーザが選択した服装ボディエフェクトを合成したものを表示してもよい。
【0061】
プロセッサ220は、上述したような過程を経ることで、ビデオ通話のためのユーザの服装を変更してもよい。
【0062】
プロセッサ220は、実際の服装ではなく、服装ボディエフェクを合成した仮想の服装のカメラ映像410をビデオ通話のためのユーザ映像として準備してもよい。
【0063】
プロセッサ220は、ユーザがビデオ通話設定画面400で服装を変更した後にビデオ通話参加ボタン530を入力する場合、服装ボディエフェクトが合成されたカメラ映像410を該当のビデオ通話に参加する各相手の端末に送信してもよい。
【0064】
図6を参照すると、プロセッサ220は、ユーザがビデオ通話に参加した場合、相手の端末からビデオ通話のための相手映像650~670を受信し、ユーザ映像610と相手映像650~670を含んだビデオ通話画面600を表示してもよい。
【0065】
このとき、プロセッサ220は、ビデオ通話に参加する相手映像650~670を個別映像としてそれぞれ受信した後、受信した相手映像650~670とユーザ映像610を一画面にレンダリングすることによってビデオ通話画面600を構成してもよい。
【0066】
ユーザ映像610の場合、実際の服装の映像ではなく、ユーザが選択した服装ボディエフェクトが合成されたカメラ映像に該当する。
【0067】
プロセッサ220は、カメラ映像410のボディ部分512に服装ボディエフェクトを合成する他にも、ユーザが実際に着用している衣服のカラーだけを変更する機能を提供することも可能である。
【0068】
プロセッサ220は、ユーザが衣服のカラーの変更を要請する場合、ビデオ通話設定画面400上にカラー選択のためのインタフェースを提供してもよく、ボディ部分512内の衣服のカラーをユーザが選択したカラーに変更してもよい。
【0069】
プロセッサ220は、衣服のカラーが変更されたカメラ映像をビデオ通話のためのユーザ映像として、該当のビデオ通話に参加する各相手の端末に送信してもよい。
【0070】
衣服オブジェクトの全体カラーを変更することはもちろん、ボディ部分512から複数の衣服オブジェクト(例えば、シャツ、カーディガンなど)が検出される場合には、衣服オブジェクトのカラーを選択的に変更することも可能である。
【0071】
プロセッサ220は、ユーザが衣服のカラーの変更を要請する場合、ビデオ通話設定画面400上にオブジェクト選択のためのインタフェースとカラー選択のためのインタフェースを提供してもよく、これを利用して、ユーザが選択した衣服オブジェクトのカラーをユーザが選択したカラーに変更してもよい。
【0072】
ビデオ通話に参加するユーザ映像610として、実際の服装のカラーではなく、ユーザが選択したカラーに変更された服装カメラ映像を提供することができる。
【0073】
図7は、本発明の一実施形態における、コンピュータ装置が実行することのできる方法の他の例を示したフローチャートである。
【0074】
プロセッサ220は、ビデオ通話参加者同士が通話目的に合ったグループウェアをお揃いで着用できるボディエフェクトを提供してもよい。
【0075】
図7を参照すると、段階710で、プロセッサ220は、ビデオ通話のためのカメラ映像に適用可能なエフェクトリストを提供するにあたり、ユーザが特定した通話目的に基づいて服装ボディエフェクトを推薦してもよい。
【0076】
プロセッサ220は、カレンダーとの連動により、カレンダーに設定されたミーティング情報からユーザの通話目的を把握するか、ビデオ通話への参加のための設定環境でユーザが直接設定した通話目的を認識してもよい。
【0077】
プロセッサ220は、通話目的に応じて、例えば、学校の授業のためのビデオ通話の場合には服装として制服を推薦してもよく、非対面ホームパーティーのためのビデオ通話の場合にはユーザが直接設定したドレスコード(例えば、パジャマ)を推薦してもよい。
【0078】
プロセッサ220は、ユーザの通話目的を利用してドレスコードを把握してよく、把握したドレスコードに合った服装ボディエフェクトを推薦エフェクトの一種として提供してもよい。
【0079】
段階720で、プロセッサ220は、推薦された服装のうちからユーザが特定した服装ボディエフェクトがビデオ通話のためのグループウェアとして選択された場合、グループウェア適用のために選択された服装に関するボディエフェクト情報をビデオ通話に参加している各相手の端末に送信してよい。
【0080】
段階730で、プロセッサ220は、カメラ映像からボディ部分を検出してグループウェアボディエフェクトを適用した後、ボディ部分にグループウェアボディエフェクトが適用されたカメラ映像をユーザ映像として送信してもよい。言い換えれば、プロセッサ220は、ビデオ通話のためのユーザ映像として、ユーザが選択したグループウェアボディエフェクトをボディ部分に合成したカメラ映像をビデオ通話に参加する各相手の端末に送信してもよい。
【0081】
各相手の端末もグループウェアボディエフェクトに関する情報を受信してカメラ映像のボディ部分に該当のグループウェアボディエフェクトを合成し、これを通話映像として提供してもよい。
【0082】
段階740で、プロセッサ220は、グループウェアボディエフェクトが適用された相手映像を相手の端末から受信し、ユーザ映像と相手映像を含んだビデオ通話画面を表示してよい。プロセッサ220は、ビデオ通話に参加する相手映像を個別映像としてそれぞれ受信した後、受信した相手映像とユーザ映像を一画面にレンダリングしてビデオ通話画面を構成してもよい。
【0083】
図8に示すように、プロセッサ220は、相手の端末からビデオ通話のための相手映像850~870を受信し、ユーザ映像810と相手映像850~870を含んだビデオ通話画面800を表示してもよい。
【0084】
ユーザ映像810と相手映像850~870は、実際の服装の映像ではなく、ユーザが選択したグループウェアボディエフェクトが合成されたカメラ映像に該当する。
【0085】
グループウェアの場合、相手の承諾に応じてグループウェアを適用するかどうかが決められてよく、相手映像850~870のうちの少なくとも一部は、グループウェアの適用拒否によって実際の服装の映像あるいは本人が直接選択した服装ボディエフェクトが適用された映像が提供されてもよい。
【0086】
図9は、本発明の一実施形態における、コンピュータ装置が実行することのできる方法のさらに他の例を示したフローチャートである。
【0087】
図9を参照すると、段階910で、プロセッサ220は、ビデオ通話のためのカメラ映像に適用可能なエフェクトリストを提供するにあたり、ボディエフェクトのうちの1つとしてボディオフエフェクト(body off effect)を提供してもよい。
【0088】
ボディオフエフェクトとは、顔部分だけが表示され、ボディ部分と背景部分を含んだ残りの部分は表示されない顔専用モード(face only mode)に該当してもよい。言い換えれば、ボディオフエフェクトは、顔だけを表示し、顔を除いた残りの部分すべてには透明効果を適用して隠し処理してもよい。
【0089】
段階920で、プロセッサ220は、ユーザがボディオフエフェクトを選択した場合、カメラ映像から顔部分を検出し、顔部分を除いた残りの部分にボディオフエフェクトを適用してもよい。プロセッサ220は、物体検出および物体追跡を含むコンピュータビジョン技術を利用して、カメラ映像から被写体領域であるユーザの顔部分とボディ部分を検出して追跡してもよい。このとき、プロセッサ220は、カメラ映像から顔部分を抽出し、ボディ部分と背景部分を含んだ残りの部分にボディオフエフェクトを合成してもよい。
【0090】
段階930で、プロセッサ220は、顔を除いた残りの部分にボディオフエフェクトを適用したカメラ映像をユーザ映像として送信してもよい。言い換えれば、プロセッサ220は、ビデオ通話のためのユーザ映像として、顔を除いた残りの部分にボディオフエフェクトを合成したカメラ映像をビデオ通話に参加する各相手の端末に送信してもよい。
【0091】
段階940で、プロセッサ220は、相手の端末からビデオ通話のための相手映像を受信し、ユーザ映像と相手映像を含んだビデオ通話画面を表示してもよい。プロセッサ220は、ビデオ通話に参加する相手映像を個別映像でそれぞれ受信した後、受信した相手映像とユーザ映像を一画面にレンダリングしてビデオ通話画面を構成してもよい。
【0092】
図10および
図11は、本発明の一実施形態における、ビデオ通話でボディオフエフェクトを提供する過程を説明するための例示図である。
【0093】
図10は、ビデオ通話のための映像設定画面1000を示している。
【0094】
図10を参照すると、プロセッサ220は、映像設定画面1000において、コンピュータ装置200のカメラで撮影した映像、すなわち、カメラ映像1010を表示してもよい。
【0095】
プロセッサ220は、ユーザがビデオ通話に参加する前に映像設定環境でエフェクト設定を要請する場合、映像設定画面1000上にボディエフェクトリスト1020を提供してもよい。
【0096】
このとき、ボディエフェクトリスト1020には、ユーザの服装を変更する服装ボディエフェクトとともに、顔だけは表示し、顔以外のボディと背景は表示しない顔専用モードであるボディオフエフェクト1021が含まれてもよい。
【0097】
プロセッサ220は、ユーザが映像設定画面1000上のボディエフェクトリスト1020からボディオフエフェクト1021を選択する場合、顔を除いた残りの部分が透明効果によって隠し処理されたカメラ映像をビデオ通話のためのユーザ映像として提供してもよい。
【0098】
図11を参照すると、プロセッサ220は、相手の端末からビデオ通話のための相手映像1150~1170を受信し、ユーザ映像1110と相手映像1150~1170を含んだビデオ通話画面1100を表示してもよい。
【0099】
このとき、プロセッサ220は、ビデオ通話に参加する相手映像1150~1170を個別映像としてそれぞれ受信した後、受信した相手映像1150~1170とユーザ映像1110を一画面にレンダリングすることによってビデオ通話画面1100を構成してもよい。
【0100】
ユーザ映像1110の場合、実際の服装や背景は表示されずに顔だけが表示されるボディオフエフェクトが合成されたカメラ映像に該当する。
【0101】
このように、本発明の実施形態によると、ビデオ通話時にユーザ情報または通話目的に適した服装ボディエフェクトを提供することができ、ビデオ通話に参加中の複数の参加者に適用することが可能なグループウェアボディエフェクトを提供することができる。さらに、本発明の実施形態によると、ビデオ通話中に、顔だけを表示して残りの部分は透明効果によって隠すことが可能なボディエフェクトを提供することができる。
【0102】
また、ビデオ通話に参加中の複数の参加者に適用することが可能なグループウェアのボディエフェクトを提供することができる。
【0103】
また、ビデオ通話中に、顔だけを表示して残りの部分は隠すことのできるボディエフェクトを提供することができる。
【0104】
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および/またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてもよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特定用途向けコンピュータを利用して実現されてもよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでもよい。また、並列プロセッサのような、他の処理構成も可能である。
【0105】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてもよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記録媒体に記録されてもよい。
【0106】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてもよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD-ROMおよびDVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってもよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。
【0107】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【0108】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【符号の説明】
【0109】
110、120、130、140:電子機器
150、160:サーバ
170:ネットワーク