特許 7441926 映像コーディングを行うコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-21

(45)【発行日】2024-03-01

(54)【発明の名称】映像コーディングを行うコンピュータプログラム

(51)【国際特許分類】

   H04N 21/44 20110101AFI20240222BHJP

   H04N 7/14 20060101ALI20240222BHJP

   H04N 21/234 20110101ALI20240222BHJP

   H04N 21/235 20110101ALI20240222BHJP

   H04N 21/442 20110101ALI20240222BHJP

【ＦＩ】

H04N21/44

H04N7/14 110

H04N21/234

H04N21/235

H04N21/442

【請求項の数】 5

(21)【出願番号】P 2022180124

(22)【出願日】2022-11-10

(62)【分割の表示】P 2018095446の分割

【原出願日】2018-05-17

(65)【公開番号】P2023001324

(43)【公開日】2023-01-04

【審査請求日】2022-11-24

(31)【優先権主張番号】10-2017-0065217

(32)【優先日】2017-05-26

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】500257300

【氏名又は名称】ＬＩＮＥヤフー株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ジョン サンチョル

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２００２－３２５２３８（ＪＰ，Ａ）

【文献】特表２０１５－５１６６２５（ＪＰ，Ａ）

【文献】特開２００１－２３１０３７（ＪＰ，Ａ）

【文献】特開平０３－０３８１８８（ＪＰ，Ａ）

【文献】米国特許第０５８３２１１５（ＵＳ，Ａ）

【文献】米国特許第０７６７１８６１（ＵＳ，Ｂ１）

【文献】特開平１０－２２８５４４（ＪＰ，Ａ）

【文献】特表２００９－５２３２８８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４－７／１７３

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

第一の端末と映像通話を行う第二の端末に表示可能な復元フレームを生成する方法をプロセッサに実行させるプログラムであって、前記方法は
前記第一の端末から、前記第一の端末の使用者が決定したテンプレートフレームを取得する段階と、
前記映像通話中に前記第二の端末にて取得した映像から所定のフレームを獲得する段階と、
前記第二の端末にて取得した映像に含まれる前記所定のフレームの少なくとも一部領域を利用して前記テンプレートフレームから前記復元フレームを生成する段階とを含み、
前記テンプレートフレームは前記所定のフレームに含まれる各フレームとは異なる、プログラム。

【請求項2】

前記復元フレームを生成する段階は、前記所定のフレームに含まれる人の顔領域の特徴に関する圧縮情報を利用する段階を含む、
請求項１に記載のプログラム。

【請求項3】

前記復元フレームを生成する段階は、
前記テンプレートフレームに、前記顔領域の特徴に関する圧縮情報を適用して復元フレームを生成する段階
を含む、請求項２に記載のプログラム。

【請求項4】

前記フレームを生成する段階は、
前記所定のフレームの前記顔領域を前記テンプレートフレームの一部に重畳することで前記復元フレームを生成する段階；
を含む、請求項２に記載のプログラム。

【請求項5】

前記所定のフレームに音響が含まれている場合に、前記音響に対応する文字を生成し、生成された文字は前記復元フレームとともに表示される、請求項１ないし４のうちの何れか一項に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像の圧縮方法及び復元方法に係り、さらに詳細には、複数のフレームを含む映像を、当該映像の一部フレーム及び残りフレームに係わるランドマーク位置情報に圧縮する、あるいは逆に一部フレーム及び残りフレームに係わるランドマーク位置情報から映像を復元する方法に関する。

【背景技術】

【0002】

情報通信技術の飛躍的な発展により、移動通信端末、個人用コンピュータ（パソコン）のような多様な種類の端末は、多様な機能を遂行するように具現化されている。

【0003】

移動通信端末を例に挙げて説明すれば、移動通信端末は、基本的な音声通信機能だけでなく、データ通信、カメラを利用した写真や動画撮影、音楽または動画ファイルの再生、ゲーム、放送視聴など多様な機能を利用するように具現化されている。

【0004】

最近では、かような端末を介して映像を撮影し、リアルタイムで送受信できるように多様な技術が具現化されている。しかし、かような映像の送受信は、通信リソースを過度に占有するだけではなく、高速で広い帯域幅の通信を必要とするので、劣悪な通信環境では、思い通りに動作しないという問題点があった。

【先行技術文献】

【特許文献】

【0005】

【文献】韓国特許公開第１０－２０１６―００２４２３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、かような前述の問題点を解決するためのものであり、映像をさらに効率的に圧縮して復元することができる方法を提供するものである。

【0007】

また、本発明は、複数のフレームを含む映像を、当該映像の一部フレーム及び残りフレームに係わるランドマーク位置情報に圧縮することができる方法を提供するものである。

【0008】

また、本発明は、複数のフレームを含む映像の一部フレーム及び残りフレームに係わるランドマーク位置情報に基づいて、映像を復元することができる方法を提供するものである。

【0009】

特に、本発明は、映像復元において、テンプレートフレームを参照し、２つの映像を合成して映像を復元することができる方法を提供するものである。

【課題を解決するための手段】

【0010】

本発明の一実施形態による第１フレーム、及び前記第１フレームに後続する１以上の第２フレームのランドマーク位置情報に基づいて、前記第１フレーム及び前記第２フレームを含む映像を復元する方法は、前記第１フレームを獲得する段階と、前記第１フレームの１以上のランドマークを設定する段階と、前記第２フレームのランドマーク位置情報を獲得する段階と、前記第２フレームのランドマーク位置情報に基づいて、前記第１フレームから前記第２フレームを生成する段階と、を含んでもよい。このとき、前記第２フレームのランドマーク位置情報は、前記第１フレームで設定されたランドマークの前記第２フレーム内での位置情報でもある。

【0011】

前記位置情報を獲得する段階は、前記第２フレームのランドマーク位置情報及び所定時間周期に基づいて、イベント発生いかんを判断する段階を含み、前記イベント発生いかんを判断する段階は、前記第２フレームに後続するフレームが第１フレームである場合、及び前記第１フレームの獲得時点から、前記所定時間周期が経過した場合のうちいずれか一つに該当する場合、イベントが発生したと判断することができる。

【0012】

前記第１フレームを獲得する段階は、イベント発生時ごとに更新された第１フレームを反復して獲得し、前記ランドマークを設定する段階は、前記更新された第１フレームの１以上のランドマークを設定し、前記第２フレームを生成する段階は、前記更新された第１フレームから前記第２フレームを生成することができる。

【0013】

本発明の一実施形態に映像復元する方法は、前記第１フレームを獲得する段階以前に、１以上のテンプレートフレームの１以上のランドマークを設定する段階をさらに含み、前記第２フレームを生成する段階は、前記第１フレーム及び前記第２フレームのランドマーク位置情報のうち少なくとも一つに基づいて、前記テンプレートフレームから前記第２フレームを生成することができる。

【0014】

前記テンプレートフレームの１以上のランドマークを設定する段階は、前記テンプレートフレームに対するユーザの入力に基づいて、前記テンプレートフレームの１以上のランドマークを設定することができる。

【0015】

前記第２フレームを生成する段階は、前記テンプレートフレームの少なくとも一部領域を、前記第１フレームの少なくとも一部領域で代置し、前記第２フレームを生成することができる。

【0016】

前記第２フレームを生成する段階は、前記第２フレームのランドマーク位置情報に基づいて、前記第１フレームの１以上のランドマークの位置を変更し、前記第２フレームを生成することができる。

【0017】

前記１以上のランドマークは、前記第１フレームに含まれる人の顔の１以上の特徴点にも設定される。

【0018】

前記第１フレーム及び第２フレームを含む映像は、対話相手端末からユーザ端末に伝送され、前記映像の第１フレームを獲得する段階は、前記対話相手端末から前記第１フレームを獲得し、前記ランドマークを設定する段階は、前記第１フレームに含まれる前記対話相手の顔の１以上に特徴点に、前記ランドマークを設定し、前記ランドマーク位置情報を獲得する段階は、前記対話相手端末から、前記第２フレームのランドマーク位置情報を獲得し、前記第２フレームを生成する段階は、前記第２フレームのランドマーク位置情報に基づいて、前記第１フレームから、前記対話相手の顔の１以上の特徴点の位置を変更し、前記第２フレームを生成することができる。

【0019】

本発明の一実施形態による第１フレーム、及び前記第１フレームに後続する１以上の第２フレームを含む映像を、ランドマーク位置情報に基づいて圧縮する方法は、前記第１フレーム、及び前記１以上の第２フレームのうち少なくとも一つを獲得する段階と、前記第１フレームの１以上のランドマークを設定する段階と、前記１以上の第２フレームでの前記ランドマークの位置を確認する段階と、前記第１フレームを処理し、前記１以上の第２フレームでの前記ランドマークの位置を順次処理する段階と、を含んでもよい。

【0020】

前記ランドマークの位置を確認する段階は、前記１以上の第２フレームのランドマーク位置情報及び所定時間周期に基づいて、イベント発生いかんを判断する段階を含み、前記イベント発生いかんを判断する段階は、隣接する第２フレームのランドマーク位置との差が所定値以上である場合、前記第１フレームの獲得時点から、前記所定時間周期が経過した場合、及び外部装置から、前記第１フレームの送信要請を受信した場合のうちいずれか一つに該当する場合、イベントが発生したと判断することができる。

【0021】

前記獲得する段階は、イベント発生時ごとに更新された第１フレームを反復して獲得し、前記ランドマークを設定する段階は、前記更新された第１フレームの１以上のランドマークを設定し、前記ランドマークの位置を確認する段階は、前記１以上の第２フレームでの前記更新された第１フレームの１以上のランドマークの位置を確認し、前記処理する段階は、前記更新された第１フレームを処理し、前記更新された第１フレームに後続する１以上の第２フレームでの前記ランドマークの位置を順次処理することができる。

【0022】

前記処理する段階は、前記第１フレーム、及び前記ランドマークの位置が適用されるテンプレートフレームを選択するユーザの入力を獲得する段階を含んでもよい。

【0023】

前記第１フレーム及び第２フレームを含む映像は、ユーザ端末から対話相手端末に伝送され、前記獲得する段階は、前記ユーザ端末の映像獲得部から、前記第１フレーム及び前記第２フレームを獲得し、前記処理する段階は、前記第１フレーム、及び前記１以上の第２フレームでの前記ランドマークの位置を前記対話相手端末に順次伝送することができる。

【0024】

前記第１フレーム及び第２フレームを含む映像は、ユーザ端末に保存され、前記獲得する段階は、前記ユーザ端末の映像獲得部から、前記第１フレーム及び前記第２フレームを獲得し、前記処理する段階は、前記第１フレーム、及び前記１以上の第２フレームでの前記ランドマークの位置を、前記ユーザ端末の保存部に順次保存することができる。

【発明の効果】

【0025】

本発明の実施形態によれば、映像をさらに効率的に圧縮して復元することができる方法を具現化することができる。

【0026】

また、複数のフレームを含む映像を、当該映像の一部フレーム及び残りフレームに係わるランドマーク位置情報に圧縮することができる方法を具現化することができる。

【0027】

また、複数のフレームを含む映像の一部フレーム及び残りフレームに係わるランドマーク位置情報に基づいて、映像を復元することができる方法を具現化することができる。

【0028】

このとき、テンプレートフレームを参照し、２つの映像を合成して映像を復元することができる方法も具現化することもできる。

【図面の簡単な説明】

【0029】

【図1】本発明の一実施形態による映像圧縮及び復元システムを概略的に図示する図面である。

【図2】本発明の一実施形態によるユーザ端末の構成を概略的に図示する図面である。

【図3】本発明の一実施形態によるユーザ端末が獲得した映像を圧縮する方法について説明するための図面である。

【図4】本発明の一実施形態によるユーザ端末が獲得した映像を圧縮する方法について説明するための図面である。

【図5】本発明の一実施形態によるユーザ端末が獲得した映像を復元する方法について説明するための図面である。

【図6】本発明の一実施形態によるユーザ端末が獲得した映像を復元する方法について説明するための図面である。

【図7】本発明の一実施形態によるユーザ端末が獲得した映像を復元する方法について説明するための図面である。

【図8】本発明の一実施形態によるユーザ端末が獲得した映像を復元する方法について説明するための図面である。

【図9】本発明の一実施形態によるユーザ端末が獲得した映像を圧縮する具体的な例示である。

【図10】本発明の一実施形態によるユーザ端末が獲得した映像を復元する具体的な例示である。

【図11】本発明の一実施形態によるユーザ端末が獲得した映像を復元する具体的な例示である。

【図12】本発明の一実施形態によってフレームに効果及び個体が付加された多様な例示である。

【図13】本発明の一実施形態によってフレームに効果及び個体が付加された多様な例示である。

【発明を実施するための形態】

【0030】

本発明は、多様な変換を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、詳細な説明によって詳細に説明する。本発明の効果、特徴、及びそれらを達成する方法は、図面と共に詳細に説明する実施形態を参照すれば、明確になるであろう。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、多様な形態にも具現化され得る。

【0031】

以下、添付された図面を参照し、本発明の実施形態について詳細に説明するが、図面を参照して説明するとき、同一であるか、あるいは対応する構成要素は、同一図面符号を付し、それに対する重複説明は省略する。

【0032】

以下の実施形態において、第１、第２のような用語は、限定的な意味ではなく、１つの構成要素を他の構成要素と区別する目的に使用されている。以下の実施形態において、単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。以下の実施形態において、「含む」または「有する」というような用語は、明細書上に記載された特徴または構成要素が存在するということを意味するものであり、１以上の他の特徴または構成要素が付加される可能性をあらかじめ排除するものではない。図面では、説明の便宜のために、構成要素がその大きさが誇張されていたり縮小されていたりする。例えば、図面に示された各構成の大きさ及び形態は、説明の便宜のために任意に示したものであり、本発明は、必ずしも図示されたところに限定されるものではない。

【0033】

図１は、本発明の一実施形態による映像圧縮及び復元システムを概略的に図示する。図１を参照すれば、本発明の一実施形態による映像圧縮及び復元システムは、ユーザ端末１００，２００、サーバ３００、及びそれらを連結する通信網４００を含んでもよい。

【0034】

本発明の一実施形態による映像圧縮及び復元システムのユーザ端末１００，２００は、複数のフレームを含む映像を、当該映像の一部フレーム及び残りフレームに係わるランドマーク位置情報に圧縮することができる。

【0035】

本発明の一実施形態による映像圧縮及び復元システムのユーザ端末１００，２００は、複数のフレームを含む映像の一部フレーム及び残りフレームに係わるランドマーク位置情報に基づいて、映像を復元することもできる。

【0036】

また、本発明の他の実施形態による映像圧縮及び復元システムのユーザ端末１００，２００は、前述のように、映像復元において、テンプレートフレームを参照し、２つの映像を合成して映像を復元することができる。さらに詳細な説明は、後述する。

【0037】

本発明において、「映像」は、１以上のフレームを含むマルチメディア個体を意味する。このとき、該フレームは、映像を構成する個別的な場面（scene）を意味する。

【0038】

該映像は、第１フレーム及び第２フレームからも構成される。このとき、該第１フレーム及び該第２フレームは、それぞれのフレームを順序に従って命名したものであり、第１フレーム及び第２フレームは、性質が異なっていたり、種類が異なっていたりするフレームを意味するものではない。

【0039】

該映像は、複数個の映像区間からも構成される。このとき、それぞれの映像区間は、最初のフレームである第１フレームと、第１フレームに後続する１以上の第２フレームとを含んでもよい。言い換えれば、映像全体は、複数の区間それぞれ含まれる第１フレームと、複数の区間それぞれに含まれる１以上の第２フレームとを含んでもよい。このとき、該映像は、イベント発生いかんにより（イベントが発生したか否かにより）、数個の区間に区分されるが、イベントに係わる詳細な説明は、後述する。

【0040】

一方、該映像は、前述のフレーム以外に、各フレームに対応する音響をさらに含んでもよい。

【0041】

本発明において、あるフレームの「ランドマーク」は、当該フレームを識別する目標物として、適するものを意味する。仮に、ある映像の各フレームが人の顔を含む場合、該ランドマークは、人の顔の各部分を意味する。このとき、各部分は、仮に「左側眉毛の開始部分」、「唇の右側末部分」のように、具体的な部分を意味する。

【0042】

かようなランドマークの設定規則は、既に設定されている既定の規則であってもよい。仮に、前述の例示のように各フレームが人の顔を含む場合、該ランドマークの設定規則は、人の顔上の６６個地点に対して設定するものとして既定の規則であってもよい。ここで、あるフレームに対するランドマークの設定に先立ち、当該フレーム内において、ランドマーク設定対象客体の認識が先行してもよいということは言うまでもない。ただし、それは例示的なものであり、本発明の思想は、それらに限定されるものではない。

【0043】

本発明の一実施形態においてサーバ３００は、ユーザ端末１００，２００間の通信を中継する装置を意味する。このとき、サーバ３００は、ユーザ端末１００，２００間の映像の送受信を中継することができる。

【0044】

一方、本発明の他の実施形態において、サーバ３００は、ユーザ端末１００，２００間の通信中継において、映像を圧縮したり復元したりすることができる。仮に、サーバ３００は、相対的に良好なネットワーク環境にあるユーザ端末１００，２００から映像を受信し、相対的に劣悪なネットワーク環境にあるユーザ端末１００，２００に当該映像を送信するために、後述する方式によって映像を圧縮して伝送することができる。ここで、サーバ３００は、それと反対に、相対的に劣悪なネットワーク環境にあるユーザ端末１００，２００から映像を受信し、それを復元し、相対的に良好なネットワーク環境にあるユーザ端末１００，２００に伝送することもできるということは言うまでもない。ただし、それは例示的なものであり、本発明の思想は、それに限定されるものではない。

【0045】

本発明において通信網４００は、サーバ３００及びユーザ端末１００，２００を連結する役割を行う。例えば、通信網４００は、第１ユーザ端末１００が第２ユーザ端末２００にパケットデータを送受信することができるように接続経路を提供する。通信網４００は、例えばＬＡＮｓ（local area networks）、ＷＡＮｓ（wide area networks）、ＭＡＮｓ（metropolitan area networks）、ＩＳＤＮｓ（integrated service digital networks）などの有線ネットワーク；無線ＬＡＮｓ、ＣＤＭＡ（code division multiple access）、ブルートゥース（登録商標（Bluetooth））、衛星通信などの無線ネットワークを網羅することができるが、本発明の範囲は、それらに限定されるものではない。

【0046】

本発明においてユーザ端末１００，２００は、前述の映像を、相互間及び／またはサーバ３００と送受信するか、あるいは映像を保存することができる多様な装置を意味する。このとき、該端末は、携帯用端末１０１，２０１でもあり、パーソナルコンピュータ（ＰＳ）１０２，２０２でもある。ここで、ユーザ端末１００，２００は、図１に図示された例示以外に、セットトップボックス（set-top box）、ＴＶ（television）を含めた多様なエンターテイメント（entertainment）装置にも該当する。従って、本発明による映像の圧縮方法及び復元方法は、映像通話を含め、映像を送受信したり、映像を取り扱ったりする多様な分野にも使用される。仮に、本発明は、映像の放送分野にも使用され、映像を圧縮して保存したり、圧縮された映像から原映像を復元したりする分野にも使用される。ただし、それらは、例示的なものであり、本発明の思想は、それらに限定されるものではない。

【0047】

本発明においてユーザ端末１００，２００は、複数のフレームを含む映像を、当該映像の一部フレーム及び残りフレームに係わるランドマーク位置情報に圧縮することができる。また、ユーザ端末１００，２００は、複数のフレームを含む映像の一部フレーム及び残りフレームに係わるランドマーク位置情報に基づいて、映像を復元することができる。また、ユーザ端末１００，２００は、映像復元において、テンプレートフレームを参照し、２つの映像を合成して映像を復元することができる。

【0048】

図２は、本発明の一実施形態によるユーザ端末１００の構成を概略的に図示する。図２を参照すれば、本実施形態によるユーザ端末１００は、ディスプレイ部１１０、制御部１２０、通信部１３０、映像獲得部１４０及びメモリ１５０を含んでもよい。ただし、かような構成は、例示的なものであり、ユーザ端末１００は、一部構成を省略して構成されもし、前述の構成以外に、他の構成をさらに含んでも構成される。

【0049】

一実施形態によるディスプレイ部１１０は、後述する制御部１２０が生成した電気信号により、図形、文字、またはそれらの組み合わせを表示する表示装置を意味する。例えば、ディスプレイ部１１０は、ＣＲＴ（cathode ray tube）、ＬＣＤ（liquid crystal display）、ＰＤＰ（plasma display panel）及びＯＬＥＤ（organic light emitting diode）のうちいずれか一つでも構成されるが、本発明の思想は、それらに制限されるものではない。

【0050】

一方、ディスプレイ部１１０は、ユーザの入力を獲得することができる入力手段をさらに具備することができる。例えば、ディスプレイ部１１０は、ユーザのタッチ座標を読み取り、電気的信号に変換するディジタイザ（digitizer）をさらに具備し、表示装置に表示される画面によるユーザの入力を獲得することができる。従って、ディスプレイ部１１０は、タッチパネルを具備したタッチスクリーンでもある。

【0051】

ここで、前述の入力手段は、ディスプレイ部１１０と別途に具備されてもよいということは言うまでもない。例えば、該入力手段は、ディスプレイ部１１０と別途に具備されるキーボード、マウス、トラックボール、マイク及びボタンのうちいずれか一つでもある。

【0052】

一実施形態による制御部１２０は、プロセッサのように、データを処理することができる全ての種類の装置を含んでもよい。ここで、該「プロセッサ」は、例えば、プログラム内に含まれたコードまたは命令によって表現された機能を遂行するために、物理的に構造化された回路を有する、ハードウェアに内蔵されたデータ処理装置を意味する。このように、ハードウェアに内蔵されたデータ処理装置の一例として、マイクロプロセッサ（microprocessor）、中央処理装置（ＣＰＵ：central processing unit）、プロセッサコア（processor core）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（application-specific integrated circuit）、ＦＰＧＡ（field-programmable gate array）などの処理装置を網羅することができるが、本発明の範囲は、それらに限定されるものではない。

【0053】

一実施形態による通信部１３０は、ユーザ端末１００が、他のユーザ端末２００及びサーバ３００のような他のネットワーク装置と、有無線連結を介して、制御信号またはデータ信号のような信号を送受信するために必要なハードウェア及びソフトウェアを含む装置でもある。

【0054】

一実施形態による映像獲得部１４０は、周辺環境を撮影することができる手段であり、レンズ及びイメージセンサを含んでもよい。このとき、該レンズは、１枚以上のレンズから構成されるレンズ群をも意味する。該イメージセンサは、レンズによって入力された映像を電気的信号に変換することができる。例えば、該イメージセンサは、ＣＣＤ（charge-coupled device）またはＣＭＯＳ（complementary metal-oxide semiconductor）のように、光学信号を電気的信号（すなわち、映像及び／またはフレーム）に変換することができる半導体素子でもある。

【0055】

一実施形態によるメモリ１５０は、ユーザ端末１００が処理するデータ、命令語（instructions）、プログラム、プログラムコード、またはそれらの結合などを、一時的または永久に保存する機能を遂行する。メモリ１５０は、磁気記録媒体（magnetic storage media）またはフラッシュ記録媒体（flash storage media）を含んでもよいが、本発明の範囲は、それらに限定されるものではない。

【0056】

一方、かようなユーザ端末１００に係わる説明は、ユーザ端末２００にも同一に適用されるので、ユーザ端末２００に係わる詳細な説明は省略する。言い換えれば、ユーザ端末１００とユーザ端末２００は、同一であったり類似したりする構成を含む装置であり、単に本発明の各実施形態において、各端末の役割によって異なるように命名したものに過ぎないのである。

【0057】

以下では、ユーザ端末１００，２００が映像を圧縮する方法についてまず説明し、その後、ユーザ端末１００，２００が圧縮された映像を復元する方法について説明する。

【0058】

＜映像の圧縮方法＞
以下では、図３、図４及び図９を共に参照し、本発明の一実施形態によるユーザ端末１００，２００が獲得した映像を圧縮する方法について説明する。

【0059】

本発明の一実施形態による制御部１２０は、前述のように、複数のフレームを含む映像を、当該映像の一部フレーム及び残りフレームに係わるランドマーク位置情報に圧縮することができる。

【0060】

そのために、本発明の一実施形態による制御部１２０は、圧縮しようとする映像９１０の第１フレーム９１、及び第１フレーム９１に後続する１以上の第２フレーム９２を獲得することができる（Ｓ３１）。仮に、圧縮しようとする映像９１０が、映像獲得部１４０によってリアルタイムに獲得される映像である場合、制御部１２０は、前述の第１フレーム９１と第２フレーム９２とを、映像獲得部１４０から、順次及び／または反復的に獲得することができる。このとき、制御部１２０は、イベント発生いかんに基づいて、第１フレーム９１または第２フレーム９２のうちいずれか一つを獲得することができる。それについての詳細な説明は、段階Ｓ３３で後述する。

【0061】

一方、圧縮しようとする映像が、メモリ１５０に保存された映像である場合、制御部１２０は、前述の第１フレーム９１と第２フレーム９２とを、メモリ１５０から同時にまたは順次に獲得することができる。ここで、かような場合にも、制御部１２０は、第１フレーム９１と第２フレーム９２とを、メモリ１５０から反復的に獲得することができるということは言うまでもない。

【0062】

仮に、本発明による映像圧縮方法が映像通話に使用される場合を仮定する。かような場合、制御部１２０は、リアルタイムで、映像獲得部１４０から、複数のフレームを含む映像を獲得することができる。このとき、制御部１２０が映像獲得部１４０から獲得する映像の最初のフレームは、第１フレーム９１であり、第１フレーム９１後に獲得するフレームは、第２フレーム９２でもある。第１フレーム９１は、映像通話開始後、ユーザの最初のイメージ（例えば、顔イメージ）を含んでもよく、第２フレーム９２は、経時的に変化するユーザのイメージ（例えば、顔イメージ）を含んでもよい。

【0063】

次に、本発明の一実施形態による制御部１２０は、段階Ｓ３１で獲得した第１フレーム９１の１以上のランドマークを設定することができる（Ｓ３２）。このとき、あるフレームに対して「ランドマークを設定」することは、当該フレーム内において、ランドマーク対象になる客体を検索して認識することを意味する。例えば、第１フレーム９１が人の顔を含む場合を仮定する。かような場合、第１フレーム９１の１以上のランドマークを設定することは、第１フレーム９１において、人の顔の各部分を検索して認識することを意味する（９２０）（図９）。第１フレーム９１において人の顔の各部分を検索して認識することについてさらに詳細に説明すれば、制御部１２０は、第１フレーム９１において、顔の輪郭線、頭の輪郭線、目の輪郭線、鼻の輪郭線、口の輪郭線、耳の輪郭線、その他の点の輪郭線を検索することができる。

【0064】

ここで、制御部１２０は、各ランドマークを輪郭線のような「線」ではない「面」として認識することもできる。例えば、制御部１２０は、顔の領域、頭の領域、目の領域、鼻の領域、口の領域、耳の領域、その他の点領域それ自体を検索することができる。

【0065】

次に、制御部１２０は、検索された各ランドマークを、１以上のポイント及び／またはピクセルと対応させることができる。例えば、ランドマークが、顔の輪郭線（または、顔の領域）である制御部１２０は、顔のラインを顔のラインによって配置された数個の点と対応させることができる。それと類似して、制御部１２０は、目の輪郭線を、目の輪郭線に沿って配置された数個の点と対応させることもできる。

【0066】

一方、フレームのある部分をランドマークで設定するか否かということに係わる規則、すなわち、ランドマーク設定規則は、既定の規則であってもよい。例えば、前述の例示のように、各フレームが人の顔を含む場合、ランドマークの設定規則は、人の顔上の６６個地点に対して設定すると予め決定されている既定の規則であってもよい。ただし、それは、例示的なものであり、本発明の思想は、それに限定されるものではなく、本発明による映像圧縮及び復元システムが使用される目的及び／または環境によって、ランドマーク設定規則は、多様に設定される。

【0067】

制御部１２０が、第１フレーム９１で設定した１以上のランドマークは、第２フレーム９２での位置確認の対象にもなる。

【0068】

本発明の一実施形態による制御部１２０は、１以上の第２フレーム９２でのランドマークの位置を確認することができる（Ｓ３３）。このとき、該ランドマークは、段階Ｓ３２で設定されたものでもある。言い換えれば、制御部１２０は、第１フレーム９１で設定されたランドマークの第２フレーム９２内での位置を確認することができる。

【0069】

さらに詳細には、本発明の一実施形態による制御部１２０は、１以上の第２フレーム９２において、それぞれのランドマークの位置を確認することができる（Ｓ３３１）（９３０）（図９）。

【0070】

例えば、前述の例示のように、ランドマークの設定規則が、人の顔上の６６個地点に対して設定すると仮定する。また、６６個の地点のうちいずれか１つの地点が「左側眉毛の開始部分」であると仮定する。

【0071】

かような場合、制御部１２０は、第２フレーム９２での“左側眉毛の開始部分”の位置を検索して確認することができる。言い換えれば、制御部１２０は、第２フレーム９２での「左側眉毛の開始部分」の位置情報を生成することができる。このとき、生成された第２フレーム９２のランドマーク位置情報は、例えば、「左側眉毛の開始部分」の第２フレーム９２内での座標を含んでもよい。

【0072】

一方、制御部１２０は、段階Ｓ３３１で確認された１以上の第２フレーム９２のランドマーク位置情報及び所定時間周期に基づいて、イベント発生いかんを判断することができる（Ｓ３３２）。

【0073】

仮に、制御部１２０は、隣接する第２フレーム９２のランドマーク位置情報との差が所定値以上である場合、イベントが発生したと判断することができる。このようなイベントは、ランドマーク設定対象客体の消失、対象客体の増加、及び対象客体の隠れなどによって発生しうる。

【0074】

また、制御部１２０は、第１フレーム９１の獲得時点から所定時間周期が経過した場合、イベントが発生したと判断することができる。例えば、制御部１２０は、第１フレーム９１の獲得時点から１０秒が経過した場合、イベントが発生したと判断することができる。

【0075】

また、制御部１２０は、外部装置から、第１フレーム９１の送信要請を受信した場合、イベントが発生したと判断することもできる。

【0076】

制御部１２０は、イベントが発生したと判断した場合、段階Ｓ３１によって更新された第１フレーム９１を獲得することができる。一方、制御部１２０は、イベントが発生していないと判断した場合、後続する段階Ｓ３４による動作を遂行することができる。

【0077】

本発明の一実施形態による制御部１２０は、段階Ｓ３１で獲得した第１フレーム９１を処理し、次に、段階Ｓ３３で確認された２フレームでのランドマークの位置９３を順次処理することができる（Ｓ３４）
本発明において、フレーム及び／またはランドマークの位置を「処理」するということは、フレーム及び／またはランドマークの位置を、通信部１３０を介して、他のユーザ端末に伝送したり、メモリ１５０に保存したりすることを意味する。

【0078】

従って、制御部１２０は、第１フレーム９１を他の装置に伝送したり、メモリ１５０に保存したりし、次に、第２フレーム９２でのランドマークの位置９３を他の装置に伝送したり、メモリ１５０に保存したりすることができる。このとき、本発明の一実施形態による制御部１２０は、第１フレーム９１及びランドマークの位置９３の復元に適用されるテンプレートフレームの選択に係わる入力を獲得することができる。該テンプレートフレームに係わる詳細な説明は、映像復元方法で説明する。

【0079】

一方、制御部１２０は、段階Ｓ３３でイベントが発生していないと判断した場合、段階Ｓ３４による動作の遂行後に、さらに段階Ｓ３１による動作を遂行することができる。言い換えれば、制御部１２０は、イベント発生によって第１フレーム９１が更新されるまでは、１以上の第２フレーム９２に対して、段階Ｓ３１ないし段階Ｓ３４による動作を反復して遂行することができる。

【0080】

それにより、本発明は、最小化されたリソース（resource）及び／または保存空間の使用により、映像を伝送したり保存したりすることができ、さらには、ユーザの選択により、映像にテンプレートフレームを適用することができる。

【0081】

＜映像の復元方法＞
以下では、図５ないし図８、及び図１０ないし図１３を共に参照し、本発明の一実施形態によるユーザ端末１００，２００が獲得した映像を復元する方法について説明する。

【0082】

本発明の一実施形態による制御部１２０は、前述のように、複数のフレームを含む映像１０１０の一部フレーム１０１と残りフレーム１０２とに係わるランドマーク位置情報１０３に基づいて、映像を復元することができる。また、該映像復元において、テンプレートフレーム１１１０を参照し、２つの映像を合成して映像を復元することもできる。以下では、説明の便宜のために、複数のフレームを含む映像１０１０が、一部フレーム１０１と残りフレーム１０２とに係わるランドマーク位置情報１０３を含む映像１０２０に圧縮されたことを前提に説明する。

【0083】

本発明の一実施形態による制御部１２０は、復元しようとする映像１０２０の第１フレーム１０１を獲得することができる（Ｓ５１）。例えば、復元しようとする映像が通信部１３０によって、他の装置からリアルタイムに獲得される映像である場合、制御部１２０は、前述の第１フレーム１０１と、後述する第２フレームとのランドマーク位置情報１０３を、通信部１３０から順次及び／または反復的に獲得することができる。一方、復元しようとする映像が、メモリ１５０に保存された映像である場合、制御部１２０は、前述の第１フレーム１０１を、メモリ１５０から獲得することができる。ただし、それは、例示的なものであり、本発明の思想は、それに限定されるものではない。

【0084】

次に、本発明の一実施形態による制御部１２０は、段階Ｓ５１で獲得した第１フレーム１０１の１以上のランドマークを設定することができる（Ｓ５２）。第１フレーム１０１への１以上のランドマーク設定は、映像圧縮方法の段階Ｓ３２で詳細に説明したので、それについての詳細な説明は省略する。

【0085】

一方、映像を圧縮する過程において、第１フレーム１０１のランドマークを設定する方法と、映像を復元する過程において、第１フレーム１０１のランドマークを設定する方法は、あらかじめ約束されていたり、共有されていたりする方法でもある。

【0086】

従って、第１フレーム１０１において、ランドマークを設定する方法は、ソースコード及び／またはプログラムの形態で、メモリ１５０にあらかじめ保存されているか、あるいは通信部１３０を介して、他の装置から受信することができるものでもある。

【0087】

本発明の一実施形態による制御部１２０は、復元しようとする映像の第２フレーム１０２のランドマーク位置情報１０３を獲得することができる（Ｓ５３）。言い換えれば、制御部１２０は、第１フレーム１０１で設定されたランドマークの第２フレーム１０２内での位置を獲得することができる。例えば、復元しようとする映像が、通信部１３０によって、他の装置からリアルタイムに獲得される映像である場合、制御部１２０は、前述の第１フレーム１０１のように、第２フレーム１０２のランドマーク位置情報１０３を、通信部１３０から順次及び／または反復的に獲得することができる。すなわち、制御部１２０は、第１フレーム１０１だけイメージ（または、映像）の形態で獲得し、残りフレームである第２フレーム１０２は、位置情報の形態で獲得することができる。言い換えれば、第１フレーム１０１だけ容量が大きい形態で獲得し、残りフレームである第２フレーム１０２は、容量が小さい数字データ及び／または文字データの形態で獲得することができる。

【0088】

一方、復元しようとする映像がメモリ１５０に保存された映像である場合、制御部１２０は、第２フレーム１０２のランドマーク位置情報１０３をメモリ１５０から獲得することができる。ここで、かような場合にも、第１フレーム１０１だけイメージ（または、映像）の形態に保存され、残りフレームである第２フレーム１０２は、数字データ及び／または文字データの形態に保存されるということは言うまでもない。ただし、それは、例示的なものであり、本発明の思想は、それらに限定されるものではない。

【0089】

このとき、前記第２フレーム１０２のランドマーク位置情報１０３は、第１フレーム１０１で設定されたランドマークの第２フレーム１０２内での位置情報であり、例えば、１以上のランドマークの第２フレーム１０２内での座標を含んでもよい。

【0090】

一方、制御部１２０は、第２フレーム１０２のランドマーク位置情報１０３を獲得し（Ｓ５３１）、それを基にイベント発生いかんを判断することができる（Ｓ５３２）。

【0091】

仮に、制御部１２０は、第２フレーム１０２に後続するフレームが、第１フレーム１０１である場合、イベントが発生したと判断することができる。このとき、制御部１２０は、外部装置から、第１フレーム１０１それ自体を受信するか、あるいは第１フレーム１０１の伝送を知らせる信号を受信した場合、後続するフレームが、第１フレーム１０１であると判断することができる。

【0092】

また、制御部１２０は、第１フレーム１０１の獲得時点から所定時間周期が経過した場合、イベントが発生したと判断することができる。

【0093】

制御部１２０は、イベントが発生したと判断した場合、段階Ｓ５１によって更新された第１フレーム１０１を獲得することができる。一方、制御部１２０は、イベントが発生していないと判断した場合、後続する段階Ｓ５４による動作を遂行することができる。

【0094】

本発明の一実施形態による制御部１２０は、段階Ｓ５３で獲得した第２フレーム１０２のランドマーク位置情報１０３に基づいて、第１フレーム１０１から第２フレーム１０２を生成することができる（Ｓ５４）。

【0095】

さらに詳細には、前述のように、ランドマーク位置情報１０３は、１以上のランドマークの第２フレーム１０２内での座標を含んでもよい。従って、制御部１２０は、第２フレーム１０２のランドマーク位置情報１０３、すなわち、座標に基づいて、第１フレーム１０１の１以上のランドマークの位置を変更することにより、第２フレーム１０２を生成することができる。それによって復元された映像の最初のフレームは、第１フレーム１０１それ自体にもなり、復元された映像の２番目フレームは、最初のフレームである第１フレーム１０１において、ランドマークの位置だけ変更したフレームでもある。映像通話の例を挙げれば、映像通話時、まず最初に表示されるフレームは、第１フレーム１０１それ自体であり、第１フレーム１０１後に表示されるフレームは、第１フレーム１０１において、ランドマークの位置のみ変更したフレームでもある。すなわち、映像通話過程中に表示されるフレームは、ランドマーク位置情報１０３によって変形された第１フレーム１０１でもある。

【0096】

このとき、制御部１２０は、さらに自然な第２フレーム１０２の生成のために、多様な技法を使用することができる。例えば、制御部１２０は、ピクセル流動化技法を使用し、第１フレーム１０１から第２フレーム１０２を生成することができる。また、制御部１２０は、マシンラーニング（machine learning）技法を使用し、第１フレーム１０１から第２フレーム１０２を生成することもできる。ただし、それは、例示的なものであり、本発明の思想は、それらに限定されるものではない。

【0097】

本発明の一実施形態による制御部１２０は、第１フレーム１０１と、段階Ｓ５４で生成された第２フレーム１０２とを連続して、ディスプレイ部１１０に表示することができる。例えば、図１０の１０３０を参照し、映像１０１０内において、人の顔が右側に移動した場合を仮定する。かような場合、制御部１２０は、第１フレーム１０１と第２フレーム１０２とを連続して、ディスプレイ部１１０に表示することができる。このとき、第２フレーム１０２は、顔の移動情報が反映された第２フレーム１０２のランドマーク位置情報１０３から生成されたものでもある。

【0098】

また、本発明による映像圧縮／及び復元方法が映像通話に使用される場合を仮定すれば、制御部１２０は、第１フレーム１０１と、段階Ｓ５４で生成された第２フレーム１０２とを連続して、ディスプレイ部１１０に表示することにより、背景は、変化がないが、ランドマーク、すなわち、人の顔だけ変化する映像を表示することができる。このとき、人の顔が変化するということは、前述の例示のように、人の顔全体が左側、右側または上下にその位置が動くことを意味する。また、人の顔が変化することは、口を開けたり、眉をひそめたり、あくびをしたり、鼻穴を大きくしたり、目を大きくまばたきさせたり、目を覆ったりするような顔の一部の部分だけが変換することも意味する。

【0099】

一方、制御部１２０は、段階Ｓ５３でイベントが発生していないと判断した場合、段階Ｓ５４による動作遂行後、さらに段階Ｓ５３による動作を遂行することができる。言い換えれば、制御部１２０は、イベント発生によって第１フレーム１０１が更新されるまでは、１以上の第２フレーム１０２に対して、段階Ｓ５３及び段階Ｓ５４による動作を反復して遂行することができる。かような動作の反復遂行により、動画フレームが切れ目なく生成及び／または表示される。

【0100】

本発明の一実施形態による制御部１２０は、第２フレーム１０２の生成において、ランドマークの位置情報に基づいて、第２フレーム１０２に多様な効果（又はエフェクト）を付け加えることができる。さらに詳細には、制御部１２０は、第２フレーム１０２のランドマーク位置情報１０３を参照し、特定ランドマークが、所定臨界値以上移動した場合、当該ランドマークに対する局所的な効果、またはフレーム全体に対する効果を適用することができる。

【0101】

仮に、第２フレームが人の顔を含む場合、制御部１２０は、第２フレーム１０２のランドマーク位置情報１０３を参照し、目を大きくまばたきさせること、目を閉じること、目を見開くこと、驚いた表情をすること、口を大きく開けることのような変化を検出することができる。制御部１２０は、検出された変化に対応し、第２フレーム１０２に、目玉が飛び出る効果（１２１０）（図１２）、口から新たな個体が飛び出る効果（１２２０）（図１２）などを付け加えることができる。ただし、かような効果は、例示的なものであり、本発明の思想は、それらに限定されるものではない。

【0102】

本発明の一実施形態による制御部１２０は、第２フレーム１０２の生成において、多様な情報を参照し、第２フレーム１０２に多様な効果を付け加えることができる。例えば、制御部１２０は、ユーザ端末１００，２００の位置情報、ユーザ端末１００，２００の識別情報、ユーザ端末１００，２００の状態情報、ユーザの情報のうちいずれか一つを参照し、第２フレーム１０２に、前記情報と対応する個体及び／または効果を含めることができる。

【0103】

例えば、制御部１２０は、ユーザ端末１００，２００の位置情報を参照し、当該位置のランドマークを象徴する個体（例えば、パリの場合、エッフェル塔のイメージ１２３０（図１２）が第２フレーム１０２に含まれるようにすることができる。

【0104】

また、制御部１２０は、ユーザ端末１００，２００のバッテリ状態情報を参照し、バッテリ残量が少ない場合、第２フレーム１０２がグラグラするような効果を付け加えることができる（１２４０）（図１２）。

【0105】

また、制御部１２０は、ユーザの情報を参照し、ユーザ誕生日のような特別な記念日に該当する場合、当該記念日を象徴する個体（例えば、誕生日の場合、誕生日ケーキのイメージ）が第２フレーム１０２に含めることができる（１２５０）（図１２）。

【0106】

それにより、本発明は、最小化されたリソース及び／または保存空間の活用により、伝送されたり保存されたりした映像をさらに自然に復元して表示することができ、それと共に、映像に多様な特殊効果を簡便であって手軽に適用することができる。

【0107】

図７は、本発明の一実施形態によって、制御部１２０が映像復元において、テンプレートフレーム１１１０を参照し、２つの映像を合成して映像を復元する過程について説明するための図面である。以下では、図５及び図６で説明した内容と重複する内容の説明は省略する。

【0108】

本発明の一実施形態による制御部１２０は、第１フレーム１０１の獲得に先立ち、テンプレートフレーム１１１０のランドマークを設定することができる。このとき、テンプレートフレームは、復元対象になる映像１１２０と、合成しようとするイメージとを含むフレームを意味することができ、複数でもある。

【0109】

例えば、前述の例示のように、復元の対象になる映像１１２０に人の顔が含まれている場合、テンプレートフレーム１１１０は、「モナリザの顔」、「石膏像の顔」または「有名人の顔」を含んでもよい。

【0110】

また、本発明による映像の圧縮方法及び復元方法が映像通話に使用される場合、テンプレートフレーム１１１０は、映像通話の受信者及び／または発信者の顔を含んでもよい。映像通話の受信者及び／または発信者の顔が、テンプレートフレームとしてユーザ端末にあらかじめ保存されている場合、第１フレームの送受信なしに、第２フレームのランドマーク位置情報の送受信のみで映像通話が進められもする。言い換えれば、受信された第２フレームのランドマーク位置情報に基づいて、既に保存されているテンプレートフレームでのランドマークの位置を変更させることにより、映像（または、フレーム）の送受信なしに、映像通話が進められもする。

【0111】

かようなテンプレートフレーム１１１０は、映像を復元するとき、ユーザの選択によっても決定され、反対に、映像を圧縮するとき、ユーザの選択によっても決定される。

【0112】

仮に、前述の映像の圧縮方法及び復元方法が映像通話に使用される場合、発信者端末の立場で、テンプレートフレーム１１１０は、映像通話の受信者によっても決定され（なぜならば、発信者端末に表示される自分の顔を決定するので）、または映像通話の発信者によっても決定される（なぜならば、自分が見たい形で受信者の顔を見たいので）。

【0113】

本発明の一実施形態による制御部１２０は、かようなテンプレートフレーム１１１０と、復元対象になる映像１１２０との合成のために、テンプレートフレーム１１１０のランドマークをあらかじめ設定することができる。このとき、該ランドマークを設定することは、映像圧縮方法の段階Ｓ３２で説明したので、それについての詳細な説明は省略する。

【0114】

一方、かようなランドマーク設定は、ユーザの入力に基づいてもなされる。例えば、テンプレートフレーム１１１０の低解像度及び／または低品質によって、制御部１２０がテンプレートフレーム１１１０において、ランドマークを自動的に認識することができない場合、制御部１２０は、ユーザ入力に基づいて、テンプレートフレーム１１１０のランドマークを設定することができる。このとき、制御部１２０は、ディスプレイ部１１０を介して、ランドマークの設定ガイドを表示することができる。

【0115】

次に、本発明の一実施形態による制御部１２０は、復元しようとする映像の第１フレーム１０１を獲得することができる（Ｓ７１）。また、本発明の一実施形態による制御部１２０は、前述の段階Ｓ７１で獲得した第１フレーム１０１の１以上のランドマークを設定することができる（Ｓ７２）。ここで、本発明の一実施形態による制御部１２０は、復元しようとする映像の第２フレームのランドマーク位置情報１０３を獲得することができる（Ｓ７３）ということは言うまでもない。

【0116】

本発明の一実施形態による制御部１２０は、第１フレーム１０１及び第２フレームのランドマーク位置情報１０３のうち少なくとも一つに基づいて、テンプレートフレーム１１１０から第２フレーム１１３０を生成することができる（Ｓ７４）。

【0117】

前述のように、ランドマーク位置情報１０３は、１以上のランドマークの第２フレーム内での座標を含んでもよいので、制御部１２０は、第２フレームのランドマーク位置情報、すなわち、座標に基づいて、テンプレートフレーム１１１０の１以上のランドマークの位置を変更し、第２フレームを生成することができる。言い換えれば、制御部１２０は、映像の全体がテンプレートフレーム１１１０に含まれた形状で代置し、第２フレームを生成することができる。

【0118】

仮に、復元の対象になる映像１１２０に人の顔が含まれており、テンプレートフレーム１１１０が「石膏像の顔」を含む場合、制御部１２０は、人の表情と動きとがいずれも石膏像の顔に投影された、石膏像の顔を含む第２フレームを生成することができる。

【0119】

一方、それとは異なり、制御部１２０は、第２フレームのランドマーク位置情報、すなわち、座標に基づいて、テンプレートフレーム１１１０の１以上のランドマークの位置を変更するが、テンプレートフレーム１１１０の少なくとも一部領域を、第１フレーム１０１の少なくとも一部領域で代置し、第２フレーム１１３０を生成することができる。

【0120】

仮に、復元の対象になる映像１１２０に人の顔が含まれており、テンプレートフレーム１１１０が「石膏像の顔」を含む場合、制御部１２０は、石膏像のイメージにおいて、顔部分だけ人の顔で代置された第２フレーム１１３０を生成することができる。このとき、第２フレーム１１３０の、人の顔で代置された部分には、第２フレームのランドマーク位置情報１０３が反映される。このとき、２つのフレーム、すなたり、第２フレームとテンプレートフレーム１１１０とのさらに自然な併合のために、多様な技術が使用される。

【0121】

まず、制御部１２０は、テンプレートフレーム１１１０及び第１フレーム１０１それぞれでにおいて、ランドマークの設定対象になる客体を認識することができる。例えば、ランドマークが人の顔に設定される場合、制御部１２０は、テンプレートフレーム１１１０及び第１フレーム１０１それぞれにおいて、人の顔を認識することができる。

【0122】

また、制御部１２０は、第１フレーム１０１で認識されたランドマーク設定対象になる客体の少なくとも一領域を選択し、当該領域を曇って（blur）処理することができる。また、制御部１２０は、テンプレートフレーム１１１０でのランドマーク設定対象になる客体の表示位置及び角度を算出し、算出された結果に基づいて、前述の過程によって曇るように処理された第１フレーム１０１の一領域を、テンプレートフレーム１１１０とマージ（merge）することができる。

【0123】

このとき、制御部１２０は、両フレーム１０１，１１１間の色相差などを考慮し、曇るように処理された第１フレーム１０１の一領域と、テンプレートフレーム１１１０とを併合することができる。

【0124】

また、テンプレートフレーム１１１０と第１フレーム１０１とに含まれた客体の各部分の比率（例えば、ランドマーク間の距離）が互いに異なってもよいので、制御部１２０は、第２フレームのランドマーク位置情報１０３を、テンプレートフレーム１１１０の位置情報に変換することができる。

【0125】

制御部１２０は、ピクセル流動化、マシンラーニングなどの多様な技法を使用し、両フレームをさらに自然に整合させることができる。

【0126】

本発明の一実施形態による制御部１２０は、前述の映像の処理と共に、選択されたテンプレートフレーム１１１０に対応するように、それぞれのフレームに対応する音響を操作することができる。

【0127】

例えば、テンプレートフレーム１１１０が、有名キャラクタまたは有名放送人の顔を含み、各フレームに対応する音響が人の声を含む場合、制御部１２０は、人の声をテンプレートフレームに含めたキャラクタまたは有名放送人の声に変調することができる。ここで、選択的実施形態により、制御部１２０は、音響を黙音処理することもできるということは言うまでもない。

【0128】

また、本発明の一実施形態による制御部１２０は、各フレームに対応する音響から、各フレームに表示される新しい個体を生成することもできる。

【0129】

例えば、各フレームに対応する音響が人の声を含む場合、制御部１２０は、人の声に対応する字幕個体を生成し、フレームに含めることもできる（１３１０）（図１３）。

【0130】

また、各フレームに対応する音響が、サイレン音、特定お知らせ音、ゲップ音、おなら音及び鳥声のように特定することができる音響を含む場合、制御部１２０は、特定される音響と対応する個体を生成し、フレームに含めることができる。言い換えれば、制御部１２０は、音響がサイレン音を含む場合、サイレン表示をフレームに含めることもでき（１３２０）（図１３）、音響がゲップ音を含む場合、ゲップ表示をフレームに含めることもできる（１３３０）（図１３）。

【0131】

それにより、本発明は、最小化されたリソース及び／または保存空間の活用によって、伝送されたり保存されたりした映像をさらに自然に復元すると共に、映像を自然に合成することができ、それにより、ユーザの興味を誘導することができる。

【0132】

また、本発明は、映像復元において、映像と対応する音響を参照し、音響を反映させた映像を生成することができる。

【0133】

図８は、本発明の一実施形態による映像の圧縮方法及び復元方法が映像通話に使用される場合の動作方法について説明するためのフローチャートである。以下では、図３ないし図７で説明した内容と重複する内容の説明は省略する。また、説明の便宜のために、第２ユーザ端末２００が第１ユーザ端末１００から映像を受信する側面のみを考慮して説明する。

【0134】

本発明の一実施形態による第２ユーザ端末２００は、第１ユーザ端末１００から第１フレームを受信することができる（Ｓ８１）。このとき、第１フレームは、第１ユーザ端末１００の映像獲得手段によって獲得された映像に含まれるフレームでもある。また、第２ユーザ端末２００は、第１フレームと共に、映像通話開始を知らせる信号、第１ユーザの識別情報などをさらに受信することができる。

【0135】

第２ユーザ端末２００は、受信された第１フレームの１以上のランドマークを設定することができる（Ｓ８２）。第２ユーザ端末２００は、第２フレームのランドマーク位置情報を獲得することができる（Ｓ８３ａ）。第２ユーザ端末２００は、獲得された第２フレームのランドマーク位置を基に、イベント発生いかんを判断することができる（Ｓ８４ａ）。第２ユーザ端末２００は、第２フレームのランドマーク位置情報に基づいて、第１フレームから第２フレームを生成することができる（Ｓ８５ａ）。前述の段階Ｓ８２ないしＳ８５ａに係わる詳細な説明は、図５の段階Ｓ５２ないし段階Ｓ５４を参照する。

【0136】

第２ユーザ端末２００は、イベントが発生するまで、前述の段階Ｓ８２ないしＳ８５ａを遂行することができる（Ｓ８３ｂ、Ｓ８４ｂ、Ｓ８５ｂ、Ｓ８３ｃ、Ｓ８４ｃ）。

【0137】

第２ユーザ端末２００は、イベントが発生した場合、第１ユーザ端末１００に、第１フレームを要請し（Ｓ８６）、更新された第１フレームを受信することができる（Ｓ８７）。

【0138】

選択的実施形態により、第１ユーザ端末１００がイベントを感知し、それによって更新された第１フレームを、第２ユーザ端末２００に伝送することもできる。かような場合、第２ユーザ端末２００は、更新された第１フレームの受信をイベントとして感知し、イベント感知に対応する動作を遂行することができる。

【0139】

第２ユーザ端末２００は、更新された第１フレーム１０１を受信した場合、前述の過程を反復し、圧縮された映像を受信し、復元することができる。

【0140】

それにより、本発明は、さらに狭い帯域幅で切れ目ない映像通話を遂行することができ、映像通話時、ユーザ端末１００，２００間のデータ送受信量を飛躍的に節減させることができる。それによって本発明は、音声通話と類似したレベルのデータ送受信量だけでも、切れ目のない円滑な映像を提供する映像通話が可能になる。

【0141】

以上で説明した本発明による実施形態は、コンピュータ上で多様な構成要素を介して実行されるコンピュータプログラムの形態に具現化され、かようなコンピュータプログラムは、コンピュータで読み取り可能な媒体にも記録される。このとき、該媒体は、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体；ＣＤ－ＲＯＭ（compact disc read only memory）及びＤＶＤ（digital versatile disc）のような光記録媒体；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical medium）；並びにＲＯＭ（read-only memory）、ＲＡＭ（random access memory）、フラッシュメモリのような、プログラム命令語を保存して実行するように特別に構成されたハードウェア装置を含んでもよい。

【0142】

なお、前記コンピュータプログラムは、本発明のために特別に設計されて構成されたものであったもよく、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。該コンピュータプログラムの例としては、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行される高級言語コードも含まれる。

【0143】

本発明で説明する特定実行は、一実施形態であり、いかなる方法によっても本発明の範囲を限定するものではない。明細書の簡潔さのために、従来の電子的な構成、制御システム、ソフトウェア、前記システムの他の機能的な側面の記載は省略される。また、図面に図示された構成要素間の線の連結または連結部材は、機能的な連結、及び／または物理的または回路的な連結を例示的に示したものであり、実際の装置においては、代替可能であったり追加されたりする多様な機能的な連結、物理的な連結または回路連結としても示される。また、「必須な」、「重要に」のように、具体的な言及がなければ、本発明の適用のために、必ずしも必要な構成要素ではないこともある。

【0144】

本発明の明細書等（特に、特許請求の範囲）において、「前記」の用語、及びそれと類似した指示用語の使用は、単数及び複数のいずれにも該当する。また、本発明において、範囲（range）を記載した場合、前記範囲に属する個別的な値を適用した発明を含むものであり（それに反する記載がなければ）、発明の詳細な説明に、前記範囲を構成する各個別的な値を記載した通りである。最後に、本発明による方法を構成する段階については、明白に順序を記載するか、あるいはそれに反する記載がなければ、前記段階は、適する順序で行われるのである。必ずしも前記段階の記載順序により、本発明が限定されるものではない。本発明において、全ての例、または例示的な用語（例えば、など）の使用は、単に本発明について詳細に説明するためのものであり、特許請求の範囲によって限定されない以上、前記例または例示的な用語によって、本発明の範囲が限定されるものではない。また、当業者は、多様な修正、組み合わせ及び変更が付加された特許請求の範囲、またはその均等物の範疇内で、設計条件及びファクタによって構成されるということを理解することができるであろう。

【産業上の利用可能性】

【0145】

本発明の映像圧縮方法及び映像復元方法は、例えば、映像送受信関連の技術分野に効果的に適用可能である。

【0146】

（付記１）
第１フレーム、及び前記第１フレームに後続する１以上の第２フレームのランドマーク位置情報に基づいて、前記第１フレーム及び前記第２フレームを含む映像を復元する方法において、
前記第１フレームを獲得する段階と、
前記第１フレームの１以上のランドマークを設定する段階と、
前記第２フレームのランドマーク位置情報を獲得する段階と、
前記第２フレームのランドマーク位置情報に基づいて、前記第１フレームから、前記第２フレームを生成する段階と、を含み、
前記第２フレームのランドマーク位置情報は、前記第１フレームで設定されたランドマークの前記第２フレーム内での位置情報である映像復元方法。
（付記２）
前記位置情報を獲得する段階は、
前記第２フレームのランドマーク位置情報及び所定時間周期に基づいて、イベント発生いかんを判断する段階を含み、
前記イベント発生いかんを判断する段階は、
前記第２フレームに後続するフレームが新たな第１フレームである場合、又は前記第１フレームの獲得時点から、前記所定時間周期が経過した場合のうちいずれか一つに該当する場合に、イベントが発生したと判断することを特徴とする付記１に記載の映像復元方法。
（付記３）
前記第１フレームを獲得する段階は、
イベント発生時ごとに更新された第１フレームを反復して獲得し、
前記ランドマークを設定する段階は、
前記更新された第１フレームの１以上のランドマークを設定し、
前記第２フレームを生成する段階は、
前記更新された第１フレームから、前記第２フレームを生成することを特徴とする付記２に記載の映像復元方法。
（付記４）
前記第１フレームを獲得する段階の前に、
１以上のテンプレートフレームの１以上のランドマークを設定する段階をさらに含み、
前記第２フレームを生成する段階は、
前記第１フレーム及び前記第２フレームのランドマーク位置情報のうち少なくとも一つに基づいて、前記テンプレートフレームから、前記第２フレームを生成する段階を含むことを特徴とする付記１に記載の映像復元方法。
（付記５）
前記テンプレートフレームの１以上のランドマークを設定する段階は、
前記テンプレートフレームに対するユーザの入力に基づいて、前記テンプレートフレームの１以上のランドマークを設定することを特徴とする付記４に記載の映像復元方法。
（付記６）
前記第２フレームを生成する段階は、
前記テンプレートフレームの少なくとも一部領域を、前記第１フレームの少なくとも一部領域で代置し、前記第２フレームを生成することを特徴とする付記４に記載の映像復元方法。
（付記７）
前記第２フレームを生成する段階は、
前記第２フレームのランドマーク位置情報に基づいて、前記第１フレームの１以上のランドマークの位置を変更し、前記第２フレームを生成することを特徴とする付記１に記載の映像復元方法。
（付記８）
前記１以上のランドマークは、前記第１フレームに含まれる人の顔の１以上の特徴点に設定されることを特徴とする付記１に記載の映像復元方法。
（付記９）
前記第１フレーム及び第２フレームを含む映像は、対話相手端末からユーザ端末に伝送され、
前記映像の第１フレームを獲得する段階は、
前記対話相手端末から、前記第１フレームを獲得し、
前記ランドマークを設定する段階は、
前記第１フレームに含まれる前記対話相手の顔の１以上の特徴点に、前記ランドマークを設定し、
前記ランドマーク位置情報を獲得する段階は、
前記対話相手端末から、前記第２フレームのランドマーク位置情報を獲得し、
前記第２フレームを生成する段階は、
前記第２フレームのランドマーク位置情報に基づいて、前記第１フレームから、前記対話相手の顔の１以上の特徴点の位置を変更し、前記第２フレームを生成することを特徴とする付記８に記載の映像復元方法。
（付記１０）
第１フレーム、及び前記第１フレームに後続する１以上の第２フレームを含む映像を、ランドマーク位置情報に基づいて圧縮する方法において、
前記第１フレーム、及び前記１以上の第２フレームのうち少なくとも一つを獲得する段階と、
前記第１フレームの１以上のランドマークを設定する段階と、
前記１以上の第２フレームでの前記ランドマークの位置を確認する段階と、
前記第１フレームを処理し、前記１以上の第２フレームでの前記ランドマークの位置を順次処理する段階と、を含む映像圧縮方法。
（付記１１）
前記ランドマークの位置を確認する段階は、
前記１以上の第２フレームのランドマーク位置情報及び所定時間周期に基づいて、イベント発生いかんを判断する段階を含み、
前記イベント発生いかんを判断する段階は、
隣接する第２フレームのランドマーク位置との差が所定値以上である場合、前記第１フレームの獲得時点から、前記所定時間周期が経過した場合、又は外部装置から、前記第１フレームの送信要請を受信した場合のうちいずれか一つに該当する場合に、イベントが発生したと判断することを特徴とする付記１０に記載の映像圧縮方法。
（付記１２）
前記獲得する段階は、
イベント発生時ごとに更新された第１フレームを反復して獲得し、
前記ランドマークを設定する段階は、
前記更新された第１フレームの１以上のランドマークを設定し、
前記ランドマークの位置を確認する段階は、
前記１以上の第２フレームでの前記更新された第１フレームの１以上のランドマークの位置を確認し、
前記処理する段階は、
前記更新された第１フレームを処理し、前記更新された第１フレームに後続する１以上の第２フレームでの前記ランドマークの位置を順次処理することを特徴とする付記１１に記載の映像圧縮方法。
（付記１３）
前記処理する段階は、
前記第１フレーム、及び前記ランドマークの位置が適用されるテンプレートフレームを選択するユーザの入力を獲得する段階を含むことを特徴とする付記１０に記載の映像圧縮方法。
（付記１４）
前記第１フレーム及び第２フレームを含む映像は、ユーザ端末から対話相手端末に伝送され、
前記獲得する段階は、
前記ユーザ端末の映像獲得部から、前記第１フレーム及び前記第２フレームを獲得し、
前記処理する段階は、
前記第１フレーム、及び前記１以上の第２フレームでの前記ランドマークの位置を、前記対話相手端末に順次伝送することを特徴とする付記１０に記載の映像圧縮方法。
（付記１５）
前記第１フレーム及び第２フレームを含む映像は、ユーザ端末に保存され、
前記獲得する段階は、
前記ユーザ端末の映像獲得部から、前記第１フレーム及び前記第２フレームを獲得し、
前記処理する段階は、
前記第１フレーム、及び前記１以上の第２フレームでの前記ランドマークの位置を、前記ユーザ端末の保存部に順次保存することを特徴とする付記１０に記載の映像圧縮方法。
（付記１６）
コンピュータを利用して、
１以上のフレームを含む映像の第１フレームを獲得する段階と、
前記第１フレームの１以上のランドマークを設定する段階と、
前記映像の第２フレームのランドマーク位置情報を獲得する段階と、
前記第２フレームのランドマーク位置情報に基づいて、前記第１フレームから、前記第２フレームを生成する段階と、を含み、
前記第２フレームのランドマーク位置情報は、前記第１フレームで設定されたランドマークの前記第２フレーム内での位置情報である映像復元方法を実行するために記録媒体に保存されたコンピュータプログラム。
（付記１７）
コンピュータを利用して、
１以上のフレームを含む映像の第１フレーム、及び前記第１フレームに後続する１以上の第２フレームのうち少なくとも一つを獲得する段階と、
前記第１フレームの１以上のランドマークを設定する段階と、
前記１以上の第２フレームでの前記ランドマークの位置を確認する段階と、
前記第１フレームを処理し、前記１以上の第２フレームでの前記ランドマークの位置を順次処理する段階と、を含む映像圧縮方法を行うために記録媒体に保存されたコンピュータプログラム。

【符号の説明】

【0147】

１００，２００ ユーザ端末
１０１，２０１ 携帯用端末
１０２，２０２ パソコン
１１０ ディスプレイ部
１２０ 制御部
１３０ 通信部
１４０ 映像獲得部
１５０ メモリ
３００ サーバ
４００ 通信網

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】