特許 6875488 画像変形方法、画像変形装置、電子機器及びコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6875488

(24)【登録日】2021年4月26日

(45)【発行日】2021年5月26日

(54)【発明の名称】画像変形方法、画像変形装置、電子機器及びコンピュータ可読記憶媒体

(51)【国際特許分類】

   G06T 3/00 20060101AFI20210517BHJP

   H04N 5/232 20060101ALI20210517BHJP

【ＦＩ】

   G06T3/00 770

   H04N5/232 290

   H04N5/232 190

【請求項の数】16

【全頁数】15

(21)【出願番号】特願2019-200536(P2019-200536)

(22)【出願日】2019年11月5日

(65)【公開番号】特開2020-119499(P2020-119499A)

(43)【公開日】2020年8月6日

【審査請求日】2019年11月5日

(31)【優先権主張番号】201910073701.0

(32)【優先日】2019年1月25日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】516262169

【氏名又は名称】北京百度網訊科技有限公司

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】チャン ユアンジャン

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２０１１−０５３９４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

画像又はビデオを取得することと、
前記画像又はビデオにおける変形すべき人物像の少なくとも一つの目標部位を識別することと、
予め設定された変形アルゴリズムを用いて、前記目標部位を変形処理することと、を含み、
前記変形処理は、拡大処理、縮小処理及び移動処理のうちの１つ又は複数を含み、
前記画像における前記目標部位を縮小処理する場合に、
背景分割技術を用いて前記画像における人物像と背景区域とを分割することと、前記変形アルゴリズムを用いて前記背景区域を変形処理して、前記背景区域を拡大し、拡大区域は、前記目標部位が縮小された後に形成される空白区域をパディングするために使用されることと、をさらに含み、
前記ビデオにおける前記目標部位を縮小処理する場合に、
背景分割技術を用いて前記ビデオに含まれたマルチフレーム画像の各フレーム画像の人物像と背景区域とを分割することと、前記変形アルゴリズムを用いて各フレーム画像の前記背景区域を変形処理して、前記各フレーム画像の前記背景区域を拡大し、拡大区域は、前記目標部位が縮小された後に形成される空白区域をパディングするために使用されることと、をさらに含むことを特徴とする画像変形方法。

【請求項2】

前記画像又はビデオにおける変形すべき人物像の少なくとも一つの目標部位を識別することは、
前記画像における前記変形すべき人物像、又は前記ビデオの各フレーム又はキーフレームにおける前記変形すべき人物像を識別することと、
前記変形すべき人物像の目標部位の輪郭点を抽出することと、を含み、
予め設定された変形アルゴリズムを用いて、前記目標部位を変形処理することは、前記変形アルゴリズムを用いて前記目標部位の輪郭点のある区域を変形処理することを含むことを特徴とする請求項１に記載の画像変形方法。

【請求項3】

前記画像又はビデオにおける変形すべき人物像の少なくとも一つの目標部位を識別することは、
前記画像における前記変形すべき人物像、又は前記ビデオの各フレーム又はキーフレームにおける前記変形すべき人物像を識別することと、
前記変形すべき人物像を分割して前記目標部位を得ることと、を含むことを特徴とする請求項１に記載の画像変形方法。

【請求項4】

予め設定された変形アルゴリズムを用いて前記目標部位を変形処理することは、
前記画像又はビデオを二次元グリッドに分割することと、
前記変形アルゴリズムを用いて前記目標部位において前記二次元グリッドの頂点にあるピクセルポイントを変形計算し、前記二次元グリッドの頂点にあるピクセルポイントの変形後の位置情報を得ることと、
前記二次元グリッドの頂点にあるピクセルポイントの変形前及び変形後の位置情報に基づき、前記目標部位において前記二次元グリッドの頂点にあるピクセルポイント以外のピクセルポイントを補間計算し、前記他のピクセルポイントの変形後の位置情報を得ることと、
前記目標部位の各ピクセルポイントのピクセル値を変形後の位置にパディングすることと、を含むことを特徴とする請求項１に記載の画像変形方法。

【請求項5】

前記変形アルゴリズムを用いて前記目標部位の輪郭点のある区域を変形処理する前に、前記ビデオに含まれたマルチフレーム画像から抽出した同一目標部位の輪郭点を平滑処理することをさらに含むことを特徴とする請求項２に記載の画像変形方法。

【請求項6】

予め設定された変形アルゴリズムを用いて前記目標部位を変形処理した後に、
前記ビデオに含まれたマルチフレーム画像の同一目標部位の変形結果を平滑処理することをさらに含むことを特徴とする請求項１〜３のいずれか１項に記載の画像変形方法。

【請求項7】

画像又はビデオを取得することは、
カメラを利用して前記画像又はビデオを撮影すること、
又は、ストレージから前記画像又はビデオを取得することを含むことを特徴とする請求項１〜３のいずれか１項に記載の画像変形方法。

【請求項8】

画像又はビデオを取得するための取得モジュールと、
前記画像又はビデオにおける変形すべき人物像の少なくとも一つの目標部位を識別するための識別モジュールと、
予め設定された変形アルゴリズムを用いて前記目標部位を変形処理する変形モジュールと、を含み、
前記変形処理は、拡大処理、縮小処理及び移動処理のうちの１つ又は複数を含み、
前記変形モジュールが前記画像における前記目標部位を縮小処理する場合に、
背景分割技術を用いて前記画像における人物像と背景区域とを分割するために使用される分割モジュールと、
前記変形アルゴリズムを用いて前記背景区域を変形処理して、前記背景区域を拡大するために使用され、拡大区域は、前記目標部位が縮小された後に形成される空白区域をパディングするために使用されるパディングモジュールと、をさらに含み、
前記変形モジュールが前記ビデオにおける前記目標部位を縮小処理する場合に、
背景分割技術を用いて前記ビデオに含まれるマルチフレーム画像の各フレーム画像の人物像と背景区域とを分割するための前記分割モジュールと、
前記変形アルゴリズムを用いて各フレーム画像の背景区域を変形処理して、前記各フレーム画像の背景区域を拡大するために使用され、拡大区域は、前記目標部位が縮小された後に形成される空白区域をパディングするために使用される前記パディングモジュールと、をさらに含むことを特徴とする画像変形装置。

【請求項9】

前記識別モジュールは具体的に、
前記画像における前記変形すべき人物像、又は前記ビデオの各フレーム又はキーフレームにおける前記変形すべき人物像を識別し、
前記変形すべき人物像の目標部位の輪郭点を抽出するために使用され、
前記変形モジュールは具体的に、
前記変形アルゴリズムを用いて目標部位の輪郭点のある区域を変形処理するために使用されることを特徴とする請求項８に記載の画像変形装置。

【請求項10】

前記識別モジュールは具体的に、
前記画像における前記変形すべき人物像、又は前記ビデオの各フレーム又はキーフレームにおける前記変形すべき人物像を識別し、
前記変形すべき人物像を分割して前記目標部位を得るために使用されることを特徴とする請求項８に記載の画像変形装置。

【請求項11】

前記変形モジュールは具体的に、
前記画像又は前記ビデオを二次元グリッドに分割し、
前記変形アルゴリズムを用いて前記目標部位において前記二次元グリッドの頂点にあるピクセルポイントを変形計算し、前記二次元グリッドの頂点にあるピクセルポイントの変形後の位置情報を得、
前記二次元グリッドの頂点にあるピクセルポイントの変形前及び変形後の位置情報に基づき、前記目標部位において前記二次元グリッドの頂点にあるピクセルポイント以外のピクセルポイントを補間計算し、前記他のピクセルポイントの変形後の位置情報を得、
前記目標部位の各ピクセルポイントのピクセル値を変形後の位置にパディングするために使用されることを特徴とする請求項８に記載の画像変形装置。

【請求項12】

前記ビデオに含まれたマルチフレーム画像から抽出された同一目標部位の輪郭点を平滑処理するための平滑モジュールをさらに含むことを特徴とする請求項９に記載の画像変形装置。

【請求項13】

前記ビデオに含まれたマルチフレーム画像における同一目標部位の変形結果を平滑処理するための平滑モジュールをさらに含むことを特徴とする請求項８〜１０のいずれか１項に記載の画像変形装置。

【請求項14】

前記取得モジュールは具体的に、
カメラを利用して前記画像又はビデオを撮影し、
又は、ストレージから前記画像又はビデオを取得するために使用されることを特徴とする請求項８〜１０のいずれか１項に記載の画像変形装置。

【請求項15】

プロセッサー、メモリー、及びトランシーバーを含む電子機器であって、
前記メモリに命令が記憶され、
前記トランシーバーは他の装置と通信するために使用され、
前記プロセッサーは前記メモリーに記憶された命令を実行することで、前記電子機器に請求項１〜７のいずれか１項に記載の画像変形方法を実行させるために使用されることを特徴とする電子機器。

【請求項16】

コンピュータ可読記憶媒体であって、
前記コンピュータ可読記憶媒体に記憶されている命令が実行される時、コンピュータに請求項１〜７のいずれか１項に記載の画像変形方法を実行させることを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、画像処理技術の分野に関し、特に画像変形方法、画像変形装置、電子機器及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

日常生活では、携帯電話やタブレット、カメラなどのポータブル機器で写真を撮ったり、ビデオを撮ったりして、生活の美しい瞬間を記録する。画像やビデオが人々の生活や社交、仕事に非常に大きな便利さと面白さをもたらしている。

【0003】

従来の技術において、美しさを確保するために適時、あるいはオフラインで関連する画像処理ソフト（例えば、ｐｈｏｔｏｓｈｏｐ、ＡＣＤＳｅｅ、美図秀秀など）を使用して画像を修正することが一般的に行われている。例えば、画像中の人物に対して、顔や足を細くし、身長を伸ばすような美化を行う。画像処理ソフトを使用して画像を処理する時、満足のいく効果を得るために、美化すべき部分を手動で繰り返して調整する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願は、画像又はビデオの中の人物像を自動的に美化できる画像変形方法、画像変形装置、電子機器及びコンピュータ可読記憶媒体を提供し、美化方式がよりスマートで簡単になり、ユーザー体験を向上させることを目的とする。

【課題を解決するための手段】

【0005】

本願の第１の態様で提供する画像変形方法は、画像又はビデオを取得することと、前記画像又はビデオにおける変形すべき人物像の少なくとも一つの目標部位を識別することと、予め設定された変形アルゴリズムを用いて、前記目標部位を変形処理することとを含み、前記変形処理は、拡大、縮小、又は移動といった処理のうちの１つ又は複数を含む。

【0006】

選択的に、前記画像又はビデオにおける変形すべき人物像の少なくとも一つの目標部位を識別することは、前記画像又は前記ビデオの各フレーム又はキーフレームにおける前記変形すべき人物像を識別することと、前記変形すべき人物像の目標部位の輪郭点を抽出することとを含み、予め設定された変形アルゴリズムを用いて、前記目標部位を変形処理することは、前記変形アルゴリズムを用いて前記目標部位の輪郭点のある区域を変形処理することを含む。

【0007】

選択的に、前記画像又はビデオにおける変形すべき人物像の少なくとも一つの目標部位を識別することは、前記画像又は前記ビデオの各フレーム又はキーフレームにおける前記変形すべき人物像を識別することと、前記変形すべき人物像を分割して前記目標部位を得ることとを含む。

【0008】

選択的に、予め設定された変形アルゴリズムを用いて前記目標部位を変形処理することは、前記画像又はビデオを二次元グリッドに分割することと、前記変形アルゴリズムを用いて前記目標部位において前記二次元グリッドの頂点にあるピクセルポイントを変形計算し、前記二次元グリッドの頂点にあるピクセルポイントの変形後の位置情報を得ることと、前記二次元グリッドの頂点にあるピクセルポイントの変形前及び変形後の位置情報に基づき、前記目標部位において前記二次元グリッドの頂点にあるピクセルポイント以外のピクセルポイントを補間計算し、前記他のピクセルポイントの変形後の位置情報を得ることと、前記目標部位の各ピクセルポイントのピクセル値を変形後の位置にパディングすることとを含む。

【0009】

選択的に、前記画像における前記目標部位を縮小処理する場合、前記方法は、背景分割技術を用いて前記画像における人物像と背景区域を分割することと、前記画像の背景区域のピクセル値に基づき、前記目標部位が縮小された後に形成される空白区域をパディングすること、又は、前記変形アルゴリズムを用いて前記背景区域を変形処理して、前記背景区域を拡大し、拡大区域は、前記目標部位が縮小された後に形成される空白区域をパディングするために使用されることをさらに含む。

【0010】

選択的に、前記ビデオにおける前記目標部位を縮小処理する場合、前記方法は、背景分割技術を用いて前記ビデオに含まれたマルチフレーム画像の各フレーム画像の人物像と背景区域を分割することと、前記マルチフレーム画像の背景区域のピクセル値に基づいて、前記目標部位が縮小された後に形成される空白区域をパディングすること、又は、前記変形アルゴリズムを用いて各フレーム画像の背景区域を変形処理して、前記各フレーム画像の背景区域を拡大し、拡大区域は、前記目標部位が縮小された後に形成される空白区域をパディングするために使用されることをさらに含む。

【0011】

選択的に、前記変形アルゴリズムを用いて前記目標部位の輪郭点のある区域を変形処理する前に、前記ビデオに含まれたマルチフレーム画像から抽出した同一目標部位の輪郭点を平滑処理することをさらに含む。

【0012】

選択的に、予め設定された変形アルゴリズムを用いて前記目標部位を変形処理した後に、前記ビデオに含まれたマルチフレーム画像の同一目標部位の変形結果を平滑処理することをさらに含む。

【0013】

選択的に、画像又はビデオを取得することは、カメラを利用して前記画像又はビデオを撮影すること、又は、ストレージから前記画像又はビデオを取得することを含む。

【0014】

本願の第２の態様で提供する画像変形装置は、画像又はビデオを取得するための取得モジュールと、前記画像又はビデオにおける変形すべき人物像の少なくとも一つの目標部位を識別するための識別モジュールと、予め設定された変形アルゴリズムを用いて前記目標部位を変形処理する変形モジュールとを含み、前記変形処理は、拡大、縮小、又は移動といった処理のうちの１つ又は複数を含む。

【0015】

選択的に、前記識別モジュールは具体的に、前記画像又は前記ビデオの各フレーム又はキーフレームにおける前記変形すべき人物像を識別し、前記変形すべき人物像の目標部位の輪郭点を抽出するために使用され、前記変形モジュールは具体的に、前記変形アルゴリズムを用いて目標部位の輪郭点のある区域を変形処理するために使用される。

【0016】

選択的に、前記識別モジュールは具体的に、前記画像又は前記ビデオの各フレーム又はキーフレームにおける前記変形すべき人物像を識別し、前記変形すべき人物像を分割して前記目標部位を得るために使用される。

【0017】

選択的に、前記変形モジュールは具体的に、前記画像又は前記ビデオを二次元グリッドに分割し、前記変形アルゴリズムを用いて前記目標部位において前記二次元グリッドの頂点にあるピクセルポイントを変形計算し、前記二次元グリッドの頂点にあるピクセルポイントの変形後の位置情報を得、前記二次元グリッドの頂点にあるピクセルポイントの変形前及び変形後の位置情報に基づき、前記目標部位において前記二次元グリッドの頂点にあるピクセルポイント以外のピクセルポイントを補間計算し、前記他のピクセルポイントの変形後の位置情報を得、前記目標部位の各ピクセルポイントのピクセル値を変形後の位置にパディングするために使用される。

【0018】

選択的に、前記装置は、前記変形モジュールが前記画像における前記目標部位を縮小処理する場合に、背景分割技術を用いて前記画像における人物像と背景区域を分割するために使用される分割モジュールと、前記画像の背景区域のピクセル値に基づいて前記目標部位が縮小された後に形成される空白区域をパディングするためか、又は、前記変形アルゴリズムを用いて前記背景区域を変形処理して、前記背景区域を拡大するために使用され、拡大区域は、前記目標部位が縮小された後に形成される空白区域をパディングするために使用されるパディングモジュールと、をさらに含む。

【0019】

選択的に、前記装置は、前記変形モジュールが前記ビデオの中の前記目標部位を縮小処理する場合、背景分割技術を用いて前記ビデオに含まれるマルチフレーム画像の各フレーム画像の人物像と背景区域を分割するための分割モジュールと、前記目標部位が縮小された後に形成される空白区域を前記マルチフレーム画像の背景区域のピクセル値に応じてパディングするためか、又は、前記変形アルゴリズムを用いて各フレーム画像の背景区域を変形処理して、前記各フレーム画像の背景区域を拡大するために使用され、拡大区域は、前記目標部位が縮小された後に形成される空白区域をパディングするために使用されるパディングモジュールと、をさらに含む。

【0020】

選択的に、前記装置は、前記ビデオに含まれたマルチフレーム画像から抽出された同一目標部位の輪郭点を平滑処理するための平滑モジュールをさらに含む。

【0021】

選択的に、前記装置は、前記ビデオに含まれたマルチフレーム画像における同一目標部位の変形結果を平滑処理するための平滑モジュールをさらに含む。

【0022】

選択的に、前記取得モジュールは具体的に、カメラを利用して前記画像又はビデオを撮影し、又は、ストレージから前記画像又はビデオを取得するために使用される。

【0023】

本願の第３の態様で提供する電子機器は、プロセッサー、メモリー、及びトランシーバーを含み、前記メモリに命令が記憶され、前記トランシーバーはほかの装置と通信するために使用され、前記プロセッサーは前記メモリーに記憶された命令を実行することで、前記電子機器に本願の第１の態様及び各選択可能の方式による方法を実行させるために使用される。

【0024】

本願の第４の態様で提供するコンピュータ可読記憶媒体は、前記コンピュータ可読記憶媒体に記憶されている命令が実行される時、コンピュータに本願の第１の態様及び各選択可能の方式による方法を実行させる。

【発明の効果】

【0025】

本願で提供される画像変形方法、画像変形装置、電子機器及びコンピュータ可読記憶媒体は、画像又はビデオを取得し、画像又はビデオにおける変形すべき人物像の少なくとも１つの目標部位を識別し、予め設定された変形アルゴリズムを用いて、目標部位に対して拡大、縮小、又は移動といった処理のうちの１つか複数を含む変形処理を行うことを含む。したがって、自動的に画像又はビデオにおける人物像を美化でき、手動で画像を美化するユーザーを解放し、美化方式をよりスマートで簡単にし、ユーザー体験を向上させる。また、本願の方法は、リアルタイムにオンラインで画像又はビデオを変形処理でき、記憶された画像又はビデオをオフラインで変形処理することもでき、画像変形方法をさらに広範囲で応用することができる。

【図面の簡単な説明】

【0026】

ここでの図面は、明細書に組み込まれ、本明細書の一部となり、本願に適合する実施例を示し、明細書とともに本願の原理を説明するために用いられる。これらの図面により、本願の明確な実施例が示され、詳しい説明はまた後述される。これらの図面及びテキスト記述は、いかなる方式で本願の発想範囲を制限するためではなく、特定の実施例を参照して当業者に本願の概念を説明するためである。

【図1】本願の実施例１に係る画像変形方法のフローチャートである。

【図2】本願の実施例２に係る画像変形装置の構成図である。

【図3】本願の実施例３に係る画像変形装置の構成図である。

【図4】本願の実施例４に係る電子機器の構成図である。

【発明を実施するための形態】

【0027】

本願の実施例の目的、技術的解決手段及び効果や利点をより明瞭にするために、以下、本願の実施例に係る図面を参照しながら、本願の実施例の技術的解決手段について明瞭に説明する。当然のことながら、記載される実施例は本願の実施例の一部にすぎず、その実施例のすべてではない。当業者によって本願における実施例に基づき創造的な労働をすることなく、取得されたその他のすべての実施例は、いずれも本願の保護範囲に属する。

【0028】

図１は、本願の実施例１に係る画像変形方法のフローチャートであり、本実施例の方法は、画像又はビデオを再生する電子機器に応用できる。当該電子機器はパソコン、タブレット、携帯電話、車両用設備などであってもよい。図１に示すように、本実施例で示された方法は以下のステップを含む。ステップＳ１０１では、画像又はビデオを取得する。当該画像又はビデオは、電子機器がカメラを介してリアルタイムに撮影したものであってもよく、他の電子機器がリアルタイムで当該電子機器に送信したものであってもよい。例えば、ビデオ通話中にビデオの相対端末機器が送信した相手ユーザーのビデオであってもよい。したがって、本実施例の方法は、画像又はビデオをオンラインでリアルタイムに変形処理することができる。また、当該電子機器に予め記憶されている画像又はビデオであってもよく、電子機器は、処理すべき画像又はビデオを記憶装置から読み出す。当該電子機器に予め記憶されている画像やビデオは、当該電子機器のカメラで撮影して記憶されているものであってもよく、他の電子機器から当該電子機器に送信されたものであってもよい。したがって、本実施例の方法では、オフライン画像又はビデオを変形処理することもできる。

【0029】

ステップＳ１０２では、画像又はビデオにおける変形すべき人物像の少なくとも一つの目標部位を識別する。当該少なくとも一つの目標部位は、足、腰、顔、目、腕などの人物像の部位を含むが、これらに限定されない。人物像のどの部分を変形するかはシステムによって事前に配置してもいいし、ユーザーによって指定されてもよい。画像又はビデオにおける変形すべき人物像の少なくとも一つの目標部位は、以下のような方式を介して識別できる。

【0030】

方式１：画像又はビデオの各フレーム又はキーフレームにおける変形すべき人物像を識別し、人物像の目標部位の輪郭点を抽出する。
一枚の画像又は一つのビデオに複数の人物像が含まれていることがあり、画像又はビデオにおけるすべての人物像を変形処理してもよく、画像又はビデオにおける一部の肝心な人物像のみに対して変形処理してもよいため、画像又はビデオから変形すべき人物像を確定する必要があると理解できる。１つの例示的な方式では、画像又はビデオに複数の人物像が含まれる場合、人物像面積の大きさに応じて変形すべき人物像を確定でき、例えば、人物像面積が予め設定された第１の閾値より大きい人物像を変形すべき人物像と確定する。人物像の占める面積が小さい場合、人物像の目標部位を変形した後の効果は明らかではない可能性がある。もちろん、他の方式で変形すべき人物像を確定することもできるが、ここでは説明を省略する。画像中の人物像の目標部位の輪郭点を抽出する機械学習法を利用することもでき、当該機械学習法は深層学習法であってもよい。機械学習法はもちろん、既存の輪郭点抽出アルゴリズムを用いて抽出することもできる。ビデオについては、当該ビデオはマルチフレーム画像を含み、各フレーム画像における人物像の目標部位の輪郭点をそれぞれ抽出してもよく、ビデオのキーフレームにおける人物像の目標部位の輪郭点だけを抽出してもよい。本実施例では、キーフレームとは、人物像の動き又は変化においてキーアクションがあるフレームを意味し、キーフレームとキーフレームの間のアニメーションは、ソフトウェアによって作成されることができ、遷移フレーム又は中間フレームと呼ばれる。そのうち、ビデオフレームにおける画像に対して、目標部位の輪郭点を抽出する方式は、画像の場合と同じで、ここでは説明を省略する。

【0031】

方式２：画像又はビデオの各フレーム又はキーフレームにおける人物像を識別し、人物像を分割して目標部位を得る。
既存の人物像分割アルゴリズムを用いて人物像を分割し、人物像の各部位を得てから、目標部位を得ることができる。

【0032】

方式３：画像又はビデオの各フレーム又はキーフレームにおける人物像を識別し、人物像全体を一つの目標部位とする。
説明が必要なのは、異なる画像又はビデオにおける人物像の動きが異なるため、異なる画像又はビデオで認識できる人物像の目標部位が異なる。以下のような６つの目標部位、即ち足、腰、顔、目、腕、胸を予め定義したと仮定する。人の後ろ姿しか写られなかった場合、人物像の顔や目、胸は認識できず、足や腰、腕しか認識できない。人物像の中の人が頭を下げる時も、人の顔とメガネを識別できない。人の頭（例えば自撮り）または上半身だけが写られなかった場合、人物像の足と腰は認識できない。

【0033】

ステップＳ１０３では、予め設定された変形アルゴリズムを用いて、目標部位を変形処理する。当該変形処理は、拡大、縮小、又は移動といった処理の中の１つ又は複数を含む。画像変形（ｉｍａｇｅ ｗａｒｐｉｎｇ）とは、画像を特定の形状に変形することであり、画像全体又は部分を拡大、縮小、移動するか各操作の組み合わせを含む。当該変形アルゴリズムは、移動最小二乗法（Ｍｏｖｉｎｇ Ｌｅａｓｔ Ｓｑｕａｒｅｓ）、平均値座標法（Ｍｅａｎ Ｖａｌｕｅ Ｃｏｏｒｄｉｎａｔｅｓ）などであってもよい。画像は多くのピクセルポイントの集合と見なすことができ、画像変形はピクセルポイントの位置を変換することであると理解できる。

【0034】

ステップＳ１０２で目標部位の輪郭点を抽出した場合、変形アルゴリズムを用いて目標部位の輪郭点のある区域を変形処理することができる。本実施例では、当該変形アルゴリズムを用いて目標部位に対して拡大、縮小、又は移動といった変形処理のうちの１つ又は複数を行う。目標部位が複数である場合は、異なる目標部位に対する変形処理が異なる場合がある。例えば、足に対する変形処理は、縦に拡大して、横に縮小するのを含み、足に対して縦に拡大して、足を長く伸ばす効果を出し、足を横に縮小して足をやせさせる効果を出す。同様に、腕に対する変形処理は、縦に拡大するのを含み、横に縮小して腕を痩せさせながら伸ばす効果を出す。また、目に対する変形処理は、目を大きくするのを含む。顔に対する変形処理は、顔を縮小するのを含み、顔を痩せる効果を出す。腰に対する変形処理は、腰を縦に縮小するのを含み、腰を細くする効果を出す。胸部に対する変形処理は、胸を大きくすることを含み、豊胸の効果を出す。

【0035】

上記の例では、人物像の局部の目標部位を変形処理する例について説明したが、人物像全体を一つの目標部位として、人物像全体を変形処理してもよい。人物像全体に対して、人物像を等割合に縦方向に拡大して身長を高くする効果を出す、人物像を横方向に縮小して痩せる効果を出す、人物像全体を動かして画像中の指定位置に移動する変形処理のうちの１つ又は複数を行うことができる。

【0036】

目標部位を変形する時、目標部位の全てのピクセルポイントを変形計算する必要があり、計算量が大きい。選択的に、以下の方式を利用し画像変形スピードをアップさせることができる。画像又はビデオを二次元グリッド化し、目標部位において二次元グリッドの頂点に位置するのピクセルポイントを変形アルゴリズムで変形計算し、二次元グリッドの頂点に位置するピクセルポイントの変形後の位置情報を得、二次元グリッドの頂点にあるピクセルポイントの変形前と変形後の位置情報に基づき、目標部位における二次元グリッドの頂点にあるピクセルポイント以外の他のピクセルポイントに対して補間計算を行い、当該他のピクセルポイントが変形した後の位置情報を得てから、目標部位の各ピクセルポイントのピクセル値を変形後の位置にパディングすることで、目標部位の完全な変形結果を得ることができる。

【0037】

選択的に、通常は長方形のグリッドを用いて、グリッドの各頂点のピクセルポイントを画像変形アルゴリズムで解き、変形前と変形後の位置差（すなわち座標差）を得ることができ、これにより、グリッドの他の位置に位置するピクセルポイントは、双線形補間の方式で自分の位置差を計算することができるようになる。これにより、目標部位の全てのピクセルポイントが変形した後の位置を解き、目標部位を更新することができる。そのうち、上述したピクセルポイントの位置情報は、ピクセルポイントの座標値であり、位置差は、変形前と変形後の座標値の差である。二次元グリッドにおけるグリッドの大きさは予め定義されてもよく、グリッドの大きさは適当であることによって、加速変形に達すると同時に変形効果にも影響を与えない。二次元グリッドの頂点にあるピクセルポイントのみ変形計算する必要があり、目標部位の他のピクセルポイントに対して補間計算を行い、変形後の結果を得るため、変形計算の計算量を低減し、変形プロセスを加速化する。

【0038】

二次元グリッドの頂点のピクセルポイントを変形計算することにより、変形後の結果を得、当該変形後の結果はすなわち二次元グリッドの頂点にあるピクセルポイントが変形して後に画像における位置である。目標部位内の他のピクセル点に対して補間計算を行い，変形後の結果を得る。画像における目標部位を縮小すると、目標部位が縮小された後、空白区域が形成される。当該空白区域をパディングする必要がある。選択的に、背景分割技術を用いて画像中の人物像と背景区域を分割し、画像の背景区域のピクセル値に応じ、目標部位が縮小された後に形成される空白区域をパディングすることができる。

【0039】

選択的に、背景区域を、変形アルゴリズムを用いて変形処理して、背景区域を拡大してもよい。この場合、拡大区域は、目標部位が縮小された後に形成される空白区域をパディングするために使用される。なお、本実施例で、目標部位と背景区域を変形する際に用いられる変形アルゴリズムが同一であってもよく、異なっていてもよい。

【0040】

選択的に、画像の背景において目標部位に近いピクセル値に基づいてパディングピクセルを生成し、パディングピクセルを用いて空白区域をパディングしてもよく、パディングピクセルは空白区域を他の背景と融合させるべきである。ビデオにおける目標部位を縮小すると、目標部位が縮小された後、空白区域が形成される。ビデオに対しては、背景分割技術を用いてビデオに含まれるマルチフレーム画像の各フレーム画像の人物像と背景区域を分割することができる。当該方式では、マルチフレーム画像の背景区域のピクセル値を組み合わせてパディングピクセルを生成し、目標部位が縮小された後に形成される空白区域をパディングすることができる。マルチフレーム画像の背景区域が同じである場合、パディングピクセルを１回だけ計算してもよい。

【0041】

選択的に、各フレーム画像の背景区域を、変形アルゴリズムを用いて変形処理して、各フレーム画像の背景区域を拡大してもよい。この場合では、拡大区域は、目標部位が縮小された後に形成される空白区域をパディングするために使用される。なお、本実施例では、目標部位と背景区域を変形する際に用いられる変形アルゴリズムが同一であってもよく、異なってもよい。フレーム毎にビデオに含まれるマルチフレーム画像を変形処理する場合、変形した後依然として連続のビデオであることを確保するため、ジッタや不連続など目障りの現象がないようにするため、ビデオを以下の２つの方式で平滑処理することができる。

【0042】

（１）ビデオに含まれたマルチフレーム画像から抽出された同じ目標部位の輪郭点に対して平滑処理する。
同じ目標部位の輪郭点の連続するマルチフレーム画像における変化量はあまり大きくないが、抽出されたあるフレーム画像における目標部位の一つ又はいくつの輪郭点の位置が隣接する前後フレーム画像に対してオフセットが大きい場合、選択的に、隣接する前のいくつのフレームの輪郭点を制約条件として、これらの輪郭点に対して平滑計算し、新しい輪郭点を得ることができる。計算された当該新しい輪郭点は、フレーム間の変動幅が小さく、変動が比較的滑らかな特徴をできるだけ保持すべきである。もちろん、輪郭点のフレーム間連続性を保証できるならば、他の平滑方式により輪郭点にたいして平滑処理してもよい。

【0043】

（２）ビデオに含まれたマルチフレーム画像における同じ目標部位の変形結果に対して平滑処理する。
選択的に、フレーム間の制約関係を利用して背景における物体ができるだけフレーム間の連続性を維持し、静止した物体の不動を維持し、動いている物体の運動軌跡が比較的滑らかであることを確保できる。画像が変された区域は、フレーム間の関係を利用してパディングするか、又は、連続フレーム間の関係を制約として利用し、変形結果フレーム間の連続性をよくする。

【0044】

本実施例の方法は、画像又はビデオにおける人物像を全体的又は局部的に変形処理して、人物像をより美しくすることができる。当該方法は、画像又はビデオをリアルタイムで処理することができ、例えば、ユーザーが写真を撮る時、カメラを開けたら、人物像が先にプレビューボックスに現れ、この時にプレビューボックス内の人物像を美化することができる。ユーザーは、プレビューボックスを通して変形した人物像を見ることができ、気が済むまで自分の姿勢を調整し、撮影ボタンを押して写真を撮ることができ、撮影して得た画像は変形後の画像である。

【0045】

選択的に、写真撮影が完了し、保存する前に画像を変形処理してもよい。それにより、保存された画像は変形後の画像である。

【0046】

選択的に、保存した写真をオフラインで変形処理することもできる。

【0047】

本実施例の方法は、リアルタイムでビデオを処理することができるため、ビデオ中継類アプリケーションに適用することができ、また、ビデオ通話機能を備えたソーシャルソフトウェアにも応用でき、ユーザーはソーシャルソフトウェアを利用してビデオ通話を行う際に、ビデオに出現した人物像を変形処理することができる。

【0048】

本実施例の方法は、ビデオをオフラインで処理し、映画やテレビドラマ用の特殊効果などを作成することもできる。

【0049】

本実施の例では、画像又はビデオを取得し、画像又はビデオにおける変形すべき人物像の少なくとも１つの目標部位を識別し、予め設定された変形アルゴリズムを用いて目標部位を変形処理し、変形処理は、拡大、縮小、又は移動といった処理のうちの１つ又は複数を含む。したがって、画像又はビデオにおける人物像を自動的に美化することができ、ユーザーは手動で画像を美化する必要がなくなり、美化方式がよりスマートで簡単になり、ユーザー体験を向上させる。また、本実施例の方法は、リアルタイムにオンラインで画像又はビデオを変形処理でき、保存された画像又はビデオをオフラインで変形処理することもでき、画像変形方法をより広範囲で応用できる。

【0050】

図２は本願の実施例２に係る画像変形装置の構成図である。図２で示すように、本実施例に係る装置は、画像又はビデオを取得するために使用される取得モジュール１１と、画像又はビデオにおける変形すべき人物像の少なくとも１つの目標部位を識別するために使用される識別モジュール１２と、予め設定された変形アルゴリズムを用いて、目標部位を変形処理し、当該変形処理は、拡大、縮小、又は移動といった処理のうちの１つ又は複数を含む変形モジュール１３と、を備える。

【0051】

選択的に、識別モジュール１２は、具体的には、画像又はビデオの各フレーム又はキーフレームにおける変形すべき人物像を識別し、変形すべき人物像の目標部位の輪郭点を抽出するために使用される。変形モジュール１３は、具体的には、変形アルゴリズムを用いて、目標部位の輪郭点のある区域を変形処理するために使用される。

【0052】

選択的に、識別モジュール１２は、具体的には、画像又はビデオの各フレーム又はキーフレームにおける変形すべき人物像を識別し、変形すべき人物像を分割して目標部位を得るために使用される。

【0053】

選択的に、変形モジュール１３は、具体的には、画像又はビデオを二次元グリッドに分割し、変形アルゴリズムを用いて、目標部位における二次元グリッドの頂点にあるピクセルポイントを変形計算し、二次元グリッドの頂点にあるピクセルポイントの変形後の位置情報を得、二次元グリッドの頂点にあるピクセルポイントの変形前及び変形後の位置情報に基づき、目標部位における二次元グリッドの頂点にあるピクセルポイント以外の他のピクセルを補間計算し、他のピクセルポイントの変形後の位置情報を得、目標部位の各ピクセルポイントのピクセル値を変形後の位置にパディングするために使用される。

【0054】

選択的に、取得モジュール１４は、具体的には、カメラを利用して画像又はビデオを撮影するか、又は、ストレージから画像又はビデオを取得するために使用される。

【0055】

図３は本願の実施例３に係る画像変形装置の構成図であり、図３に示すように、本実施例の装置は、図２に示す装置に加えて、分割モジュール１４とパディングモジュール１５をさらに備える。分割モジュール１４は、変形モジュールが画像における目標部位を縮小処理する場合に、背景分割技術を用いて画像における人物像と背景区域を分割するために使用され、パディングモジュール１５は、背景区域のピクセル値に応じて、目標部位が縮小された後に形成される空白区域をパディングするためか、又は、変形アルゴリズムを用いて背景区域を変形処理して、背景区域を拡大するために使用され、拡大区域は、目標部位が縮小された後に形成される空白区域をパディングするために使用される。又は、分割モジュール１４は、変形モジュールがビデオにおける目標部位を縮小処理する場合に、背景分割技術を用いてビデオに含まれるマルチフレーム画像の各フレーム画像の人物像と背景区域を分割するために使用され、パディングモジュール１５は、マルチフレーム画像の背景区域のピクセル値に応じて目標部位が縮小された後に形成される空白区域をパディングするためか、又は、変形アルゴリズムを用いて各フレーム画像の背景区域を変形処理して、各フレーム画像の背景区域を拡大するために使用され、拡大区域は、目標部位が縮小された後に形成される空白区域をパディングするために使用される。

【0056】

選択的に、装置は、ビデオに含まれるマルチフレーム画像から抽出した同一目標部位の輪郭点を平滑処理するための平滑モジュールをさらに含む。選択的に、装置は、ビデオに含まれるマルチフレーム画像の同一目標部位の変形結果を平滑処理するための平滑モジュールさらに含む。

【0057】

上述した実施例の装置は、実施例１の方法を実行するために使用されてもよく、具体的な実施形態と技術効果はと同様であり、ここでは説明を省略する。

【0058】

図４は、本願の実施例４に係る電子機器の構成図であり、図４に示すように、本実施例に係る電子機器２００は、プロセッサー２１、メモリ２２、トランシーバー２３を含み、メモリー２２とトランシーバー２３はバスを介してプロセッサー２１と接続して通信し、メモリー２２は命令を記憶するために使用され、トランシーバー２３は他の装置と通信するために使用され、プロセッサー２１はメモリー２２に記憶された命令を実行するために使用されることで、電子機器２００が実施例１による方法を実行し、ここでは説明を省略する。このうち、当該プロセッサー２１は、マイクロコントロールユニット（Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ、略称ＭＣＵ）であってもよく、ＭＣＵはシングル・チップ・マイクロコンピュータ（Ｓｉｎｇｌｅ Ｃｈｉｐ Ｍｉｃｒｏｃｏｍｐｕｔｅｒ）又はシングル・チップ・マシンとも呼ばれ、当該プロセッサー２１はセントラル・プロセス・ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓ Ｕｎｉｔ、略称ＣＰＵ）、デジタル・シグナル・プロセッサー（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、略称ＤＳＰ）、アプリケーション・スペッシフィック・インテグレーティド・サーキット（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ，略称ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、略称ＦＰＧＡ）、又は他のプログラミング・ロジック・デバイス、ディスクリート・ゲート又はトランジスタ・ロジック・デバイスであってもよい。メモリ−２２は、任意のタイプの揮発性又は不揮発性ストレージデバイス、又はそれらの組み合わせによって実装でき、例えば、スタティック・ランダム・アクセス・メモリ−（Ｓｔａｔｉｃ Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、略称ＳＲＡＭ）、電気的に消去可能なプログラマブル読み取り専用メモリー（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、略称ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリー（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、略称ＥＰＲＯＭ）、プログラマブル読み取り専用メモリー（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、略称ＰＲＯＭ）、読み取り専用メモリー（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、略称ＲＯＭ）、磁気メモリー、フラッシュメモリー、磁気ディスク又はディスクであってもよい。

【0059】

トランシーバー２３は、他の装置との間で有線又は無線通信リンクを確立し、スマートデバイスを通信規格に基づき、ＷｉＦｉ、２Ｇ、又は３Ｇ、又はこれらの組み合わせのような無線ネットワークにアクセスさせる。１つ例示的な実施例において、トランシーバー２３はまた、近距離通信（ＮＦＣ）モジュールを含み、短距離通信を容易にする。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ関連付け（ＩＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術、及び他の技術に基づいて実現されてもよい。

【0060】

バスは、工業標準体系構造（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）バス、外部デバイス相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ、ＰＣＩ）バス、又は拡大工業標準体系構造（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどであってもよい。バスはアドレスバス、データバス、コントロールバスなどに分けられる。表示を容易にするために、本願図面におけるバスは、１つのバス又は１種のバスだけを限定するものではない。

【0061】

実施例５は、命令が記憶され、命令が実行される時、コンピュータに実施例１による方法を実行させるコンピュータ可読記憶媒体を提供する。

【0062】

最後に、以上の各実施例は、本願の技術的解決手段を説明するために使用され、制限されていない。前述の各実施例を参照して本願を詳しく説明したが、当業者は、依然として上記の各実施例に記載された技術的解決手段を修正したり、その中の一部又は全部の技術的特徴を均等に置き換えしたりすることができると理解すべきである。これらの修正又は置き換えは、対応する技術的解決手段の本質を本願の各実施例の技術的解決手段の範囲から逸脱させない。

【図1】

【図2】

【図3】

【図4】