特許 7165003 肌動画補正システム、肌動画補正プログラム及び肌動画補正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-25

(45)【発行日】2022-11-02

(54)【発明の名称】肌動画補正システム、肌動画補正プログラム及び肌動画補正方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221026BHJP

   H04N 5/262 20060101ALI20221026BHJP

   G06T 7/00 20170101ALI20221026BHJP

   G06T 7/246 20170101ALI20221026BHJP

【ＦＩ】

H04N5/232 290

H04N5/262

G06T7/00 660A

G06T7/246

H04N5/232 300

【請求項の数】 11

(21)【出願番号】P 2018170785

(22)【出願日】2018-09-12

(65)【公開番号】P2020043516

(43)【公開日】2020-03-19

【審査請求日】2021-07-29

(73)【特許権者】

【識別番号】000113470

【氏名又は名称】ポーラ化成工業株式会社

(74)【代理人】

【識別番号】100137338

【弁理士】

【氏名又は名称】辻田 朋子

(74)【代理人】

【識別番号】100196313

【弁理士】

【氏名又は名称】村松 大輔

(72)【発明者】

【氏名】水越 興治

(72)【発明者】

【氏名】黒住 元紀

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２００７－１３３５７３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２６２

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２４６

(57)【特許請求の範囲】

【請求項1】

表情表出に対する人の顔上の特徴点の運動に関する運動情報に基づいて、人の顔を撮影
した動画像の補正を行う肌動画補正システムであって、
前記運動情報は、補正目標となる目標運動情報を含み、
人の顔を撮影した動画像を取得する動画像取得手段と、
前記動画像における顔上の１又は複数の前記特徴点を特定する特徴点特定手段と、
前記目標運動情報に基づいて、前記動画像における前記特徴点の運動を変化させ、顔の動きを補正した補正動画を生成する補正手段と、を備え、
前記特徴点は、表情表出の際の動きの基準となる顔上の基準点と、表情表出の際に、顔上の他の部分の動きに追従して動く皮膚上の点である追従点と、を含み、
前記特徴点特定手段として、前記追従点を特定する追従点特定手段と、前記基準点を特定する基準点特定手段と、を備え、
前記運動情報は、前記基準点の運動のタイミングと、前記追従点の運動のタイミングと、の差分に関する情報を含み、
前記補正手段は、前記追従点の運動を変化させて前記補正動画を生成することを特徴とする、肌動画補正システム。

【請求項2】

前記運動情報は、前記動画像における前記特徴点の運動に関する補正前運動情報を含み、
前記動画像から、前記補正前運動情報を測定する測定手段と、
複数の前記目標運動情報を記憶する記憶手段と、を更に備え、
前記補正手段は、前記測定手段によって測定された前記補正前運動情報に基づいて、複数の前記目標運動情報の中から、前記補正動画の生成に用いる前記目標運動情報を決定することを特徴とする、請求項１に記載の肌動画補正システム。

【請求項3】

前記動画像から、ある表情から別の表情表出までの部分を補正対象となる単位表情として設定する単位表情設定手段を更に備え、
前記補正手段は、前記単位表情ごとに顔の動きを補正して前記補正動画を生成することを特徴とする、請求項１又は請求項２に記載の肌動画補正システム。

【請求項4】

前記運動情報は、前記特徴点の運動速度又は加速度のうち少なくとも何れかを含むことを特徴とする、請求項１～３の何れかに記載の肌動画補正システム。

【請求項5】

前記特徴点は、頬部の点を含むことを特徴とする、請求項１～４の何れかに記載の肌動画補正システム。

【請求項6】

前記補正手段は、前記動画像取得手段による前記動画像の取得と並行して、取得された前記動画像を順次補正して前記補正動画を生成し、
前記補正手段による前記補正動画の生成と並行して、生成された前記補正動画を順次表示処理して処理結果を送信する表示手段を更に備えることを特徴とする、請求項１～５の何れかに記載の肌動画補正システム。

【請求項7】

前記補正手段は、前記基準点の運動のタイミングと、前記追従点の運動のタイミングと、の差分が小さくなるように、前記追従点の運動を変化させて前記補正動画を生成することを特徴とする、請求項１に記載の肌動画補正システム。

【請求項8】

前記補正手段は、前記追従点の運動のタイミングを早めることで、前記基準点の運動のタイミングと、前記追従点の運動のタイミングと、の差分を小さくした前記補正動画を生成することを特徴とする、請求項７に記載の肌動画補正システム。

【請求項9】

前記追従点は、複数定義され、
前記補正手段は、各追従点と前記基準点との距離が小さいほど、前記基準点の運動のタイミングと、前記追従点の運動のタイミングと、の差分が小さくなるように各追従点の動きを補正して、前記補正動画を生成することを特徴とする、請求項１、７又は８の何れかに記載の肌動画補正システム。

【請求項10】

表情表出に対する人の顔上の特徴点の運動に関する運動情報に基づいて、人の顔を撮影した動画像の補正を行うための肌動画補正プログラムであって、
前記運動情報は、補正目標となる目標運動情報を含み、
コンピュータを、人の顔を撮影した動画像を取得する動画像取得手段と、
前記動画像における顔上の１又は複数の前記特徴点を特定する特徴点特定手段と、
前記目標運動情報に基づいて、前記動画像における前記特徴点の運動を変化させ、顔の動きを補正した補正動画を生成する補正手段と、として機能させ、
前記特徴点は、表情表出の際の顔の動きの基準となる顔上の基準点と、表情表出の際に、顔上の他の部分の動きに追従して動く皮膚上の点である追従点と、を含み、
前記特徴点特定手段として、前記追従点を特定する追従点特定手段と、前記基準点を特定する基準点特定手段と、を備え、
前記運動情報は、前記基準点の運動のタイミングと、前記追従点の運動のタイミングと、の差分に関する情報を含み、
前記補正手段は、前記追従点の運動を変化させて前記補正動画を生成することを特徴とする、肌動画補正プログラム。

【請求項11】

表情表出に対する人の顔上の特徴点の運動に関する運動情報に基づいて、人の顔を撮影した動画像の補正を行う肌動画補正方法であって、
前記運動情報は、補正目標となる目標運動情報を含み、
人の顔を撮影した動画像を取得する動画像取得ステップと、
前記動画像における顔上の１又は複数の前記特徴点を特定する特徴点特定ステップと、
前記目標運動情報に基づいて、前記動画像における前記特徴点の運動を変化させ、顔の動きを補正した補正動画を生成する補正ステップと、を備え、
前記特徴点は、表情表出の際の顔の動きの基準となる顔上の基準点と、表情表出の際に、顔上の他の部分の動きに追従して動く皮膚上の点である追従点と、を含み、
前記特徴点特定ステップは、前記追従点を特定する追従点特定ステップと、前記基準点を特定する基準点特定ステップと、を含み、
前記運動情報は、前記基準点の運動のタイミングと、前記追従点の運動のタイミングと、の差分に関する情報を含み、
前記補正ステップは、前記追従点の運動を変化させて前記補正動画を生成するステップであることを特徴とする、肌動画補正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人の顔を撮影した肌動画を補正する、肌動画補正システム、肌動画補正プログラム及び肌動画補正方法に関する。

【背景技術】

【0002】

人の顔を撮影した画像に対して補正処理を施し、印象を向上させることが従来から行われている。特に近年では、このような補正処理を動画に対して行うことができる技術が知られている。

【0003】

例えば、特許文献１に記載の装置では、補正を行う対象領域を代表する色である代表色に基づいて補正を行うことによって、動画を構成するフレームごとに代表色が変動する場合であっても、自然な補正結果を得ることができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１７１４４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、人の顔に対する老化印象は、肌の色やシミ、しわ等の静的な特徴のみでなく、表情が変化した時の皮膚の動きという動的な特徴からも影響を受けることが知られている。また、顔の部位ごとの皮膚の運動特性は、被験者の年齢に応じて変化することがわかっており、これらの事実から、老化に伴う皮膚の運動特性の変化が老化印象を与えることが推測される。

【0006】

従って、本発明では、顔や肌の動きについて補正を行うことで、老化印象を改善できる動画補正システムを提供することを課題とする。

【課題を解決するための手段】

【0007】

上記課題を解決する為に、本発明は、表情表出に対する人の顔上の特徴点の運動に関する運動情報に基づいて、人の顔を撮影した動画像の補正を行う肌動画補正システムであって、
前記運動情報は、補正目標となる目標運動情報を含み、
人の顔を撮影した動画像を取得する動画像取得手段と、
前記動画像における顔上の１又は複数の前記特徴点を特定する特徴点特定手段と、
前記目標運動情報に基づいて、前記動画像における前記特徴点の運動を変化させ、顔の動きを補正した補正動画を生成する補正手段と、を備えることを特徴とする。

【0008】

このように、好ましい特徴点の運動の情報（補正目標）として目標運動情報を用いて、特徴点の運動について補正を行うことで、例えば、顔の動きについて印象を改善できる補正動画の生成が可能になる。

【0009】

本発明の好ましい形態では、前記運動情報は、前記動画像における前記特徴点の運動に関する補正前運動情報を含み、
前記動画像から、前記補正前運動情報を測定する測定手段と、
複数の前記目標運動情報を記憶する記憶手段と、を更に備え、
前記補正手段は、前記測定手段によって測定された前記補正前運動情報に基づいて、複数の前記目標運動情報の中から、前記補正動画の生成に用いる前記目標運動情報を決定することを特徴とする。
このような構成とすることで、取得した動画像における被撮影者の顔の動きに応じて、どのような補正を行うかを決定することができるため、より適切に補正を行うことができるようになる。

【0010】

本発明の好ましい形態では、前記動画像から、ある表情から別の表情表出までの部分を補正対象となる単位表情として設定する単位表情設定手段を更に備え、
前記補正手段は、前記単位表情ごとに顔の動きを補正して前記補正動画を生成することを特徴とする。
このように、連続して表情が変化する動画において、そのそれぞれの表情変化を単位表情として設定し、単位表情ごとに補正を行うことで、各単位表情の動きを個別に補正できるため、表情に応じてより適切に動きの補正を行うことができる。

【0011】

本発明の好ましい形態では、前記運動情報は、前記特徴点の運動速度又は加速度のうち少なくとも何れかを含むことを特徴とする。
このような構成とすることで、例えば、各点の運動速度が最大になるタイミングや加速度が最大になるタイミングから、運動開始または終了のタイミングや運動の中心のタイミングを特定でき、これらをもとに補正を行うことができる。

【0012】

本発明の好ましい形態では、前記特徴点は、頬部の点を含むことを特徴とする。
このような構成とすることで、特に人の印象に大きな影響を与える頬部の動きを補正することができるため、より効果的に動画像の補正を行うことができる。

【0013】

本発明の好ましい形態では、前記補正手段は、前記動画像取得手段による前記動画像の取得と並行して、取得された前記動画像を順次補正して前記補正動画を生成し、
前記補正手段による前記補正動画の生成と並行して、生成された前記補正動画を順次表示処理して処理結果を送信する表示手段を更に備えることを特徴とする。
このような構成とすることで、例えば、動画像を撮影しながらほぼ同時に補正動画を確認することができる。また、撮影と並行してほぼリアルタイムで補正動画を通信相手に送信し、ビデオ通話に補正動画を用いることもできるようになる。

【0014】

本発明の好ましい形態では、前記特徴点は、表情表出の際の顔の動きの基準となる顔上の基準点と、表情表出の際に、顔上の他の部分の動きに追従して動く皮膚上の点である追従点と、を含み、
前記特徴点特定手段として、前記追従点を特定する追従点特定手段と、前記基準点を特定する基準点特定手段と、を備え、
前記補正手段は、前記追従点の運動を変化させて前記補正動画を生成することを特徴とする。
このような構成とすることで、顔の動きに伴う皮膚の運動の追従性について補正を行うことができ、例えば、老化印象を改善する効果が期待できる。

【0015】

本発明の好ましい形態では、前記運動情報は、前記基準点の運動のタイミングと、前記追従点の運動のタイミングと、の差分に関する情報を含むことを特徴とする。
このように、運動情報として基準点の運動のタイミングと追従点の運動のタイミングとの差分に関する情報を用いることにより、顔の部位ごとの皮膚の運動の追従性を補正することができる。

【0016】

本発明の好ましい形態では、前記補正手段は、前記基準点の運動のタイミングと、前記追従点の運動のタイミングと、の差分が小さくなるように、前記追従点の運動を変化させて前記補正動画を生成することを特徴とする。
このような構成とすることで、基準点の運動に合わせて追従点の運動を調整した補正動画を生成することができる。

【0017】

本発明の好ましい形態では、前記補正手段は、前記追従点の運動のタイミングを早めることで、前記基準点の運動のタイミングと、前記追従点の運動のタイミングと、の差分を小さくした前記補正動画を生成することを特徴とする。
このような構成とすることで、基準点の運動に対する追従点の運動の遅れを補正することができ、皮膚運動の追従性を向上できるため、老化印象を改善する効果が期待できる。

【0018】

本発明の好ましい形態では、前記追従点は、複数定義され、
前記補正手段は、各追従点と前記基準点との距離が小さいほど、前記基準点の運動のタイミングと、前記追従点の運動のタイミングと、の差分が小さくなるように各追従点の動きを補正して、前記補正動画を生成することを特徴とする。
このような構成とすることで、基準点との距離に応じて段階的に追従点の運動を補正することができ、より滑らかで自然な補正動画を生成できる。

【0019】

本発明は、表情表出に対する人の顔上の特徴点の運動に関する運動情報に基づいて、人の顔を撮影した動画像の補正を行うための肌動画補正プログラムであって、
前記運動情報は、補正目標となる目標運動情報を含み、
コンピュータを、人の顔を撮影した動画像を取得する動画像取得手段と、
前記動画像における顔上の１又は複数の前記特徴点を特定する特徴点特定手段と、
前記目標運動情報に基づいて、前記動画像における前記特徴点の運動を変化させ、顔の動きを補正した補正動画を生成する補正手段と、として機能させることを特徴とする。

【0020】

本発明は、表情表出に対する人の顔上の特徴点の運動に関する運動情報に基づいて、人の顔を撮影した動画像の補正を行う肌動画補正方法であって、
前記運動情報は、補正目標となる目標運動情報を含み、
人の顔を撮影した動画像を取得する動画像取得ステップと、
前記動画像における顔上の１又は複数の前記特徴点を特定する特徴点特定ステップと、
前記目標運動情報に基づいて、前記動画像における前記特徴点の運動を変化させ、顔の動きを補正した補正動画を生成する補正ステップと、を備えることを特徴とする。

【発明の効果】

【0021】

本発明によれば、顔の動きについて補正を行うことで、老化印象を改善できる動画補正システムを提供することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の実施形態１及び実施形態２における特徴点の一例を示す図である。

【図2】表情表出に対する人の顔上の追従点の運動において生じる遅れの年齢層ごとの傾向を示す概念図である。

【図3】本発明の実施形態１及び実施形態２における肌動画補正システムの構成を示す図である。

【図4】本発明の実施形態１及び実施形態２における肌動画補正システムの機能ブロック図である。

【図5】本発明の実施形態１及び実施形態２における目標運動情報の一例を示す図である。

【図6】本発明の実施形態１における動画像の取得から補正動画の生成までの処理の一例を示すフローチャートである。

【図7】本発明の実施形態１及び実施形態２における補正動画の生成に係る処理の一例を示すフローチャートである。

【図8】本発明の実施形態２における動画像の取得から補正動画の生成までの処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0023】

以下、本発明の実施形態について、図面を用いて詳細に説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。

【0024】

例えば、以下では肌動画補正システムの構成、動作等について説明するが、同様の構成の方法、サーバ装置、コンピュータプログラム、記録媒体等も、同様の作用効果を奏することができる。また、プログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、例えばコンピュータに前記プログラムをインストールすることができる。ここで、前記プログラムを記憶した記録媒体は、例えばＣＤ－ＲＯＭ等の非一過性の記録媒体であっても良い。

【0025】

本発明では、人の顔を撮影した動画像における、皮膚の動きを補正した補正動画を生成する。ここで、後述の実施形態においては、連続的に表情が変化する様子を撮影した動画像を取得して補正を行う。このような場合、取得する動画像には複数の表情表出（表情変化）が含まれる。その各々に対して適切に補正を行う為に、本発明では、各表情表出の過程を「単位表情」として定義する。即ち、本発明において単位表情とは、例えば真顔の状態から笑顔への表情表出までの過程や、発声に伴う口の動きの開始から終了までの過程など、表情表出における顔の動きが開始する時点から終了する時点までの一つの動きのまとまりのことを指す。

【0026】

本発明において、特徴点とは、表情表出に伴って動く顔上の点のことを指し、後述の実施形態においては、特徴点として基準点及び追従点を含む。本発明では特徴点の運動特性について補正を行い、補正動画を生成する。

【0027】

また、運動情報とは、特徴点の運動に関する情報のことを示す。後述の実施形態においては、好ましい特徴点の運動に関する目標運動情報と、取得した動画像における追従点の運動に関する補正前運動情報と、を含む。運動情報としては、特徴点の運動速度や加速度、また基準点との運動のタイミングの差分等、特徴点の運動に関する様々な情報を任意で用いることができる。

【0028】

運動情報としては、表情変化に伴う肌の表面の運動特性を示す情報を用いることができる。運動特性の具体例としては、表情変化における顔の皮膚運動の追従性（以下、単に追従性ともいう）や、表情変化における顔の肌の伸縮性（以下、単に伸縮性ともいう）が挙げられる。また、運動特性として表情変化における顔の肌の変形性（以下、単に変形性ともいう）を採用することもできる。

【0029】

皮膚運動の追従性とは、表情変化に追従して変化する顔の肌の動きの遅れの程度のことである。表情変化が起こる際に、顔の肌はその動きに遅れて変化することになるが、その遅れの程度が小さいほど「追従性に優れる」という。

【0030】

追従性は、表情変化の際の顔の任意の２つの特徴点を観察し、この２つの特徴点の運動のタイミングのズレの程度を測定することにより定量的に評価することができる。より具体的には、追従性は、表情変化における、顔の任意の位置に設定された少なくとも２つの特徴点の運動速度が最大となる時間の差分として定量的に測定できる。

【0031】

また、肌の伸縮性とは、表情変化が起こったときの肌の伸縮のしやすさのことをいう。例えば、顔の肌が伸びる表情変化があったときに、その伸長方向全体の距離の増加分に対する、ある任意の領域における伸長方向の距離の増加分の割合が高いほど「伸縮性に優れる」と評価することができる。

【0032】

伸縮性は、表情変化における特徴点と特徴点との間の距離を計算することにより定量化することができる。例えば、まず顔に設定した全ての特徴点に関して、表情変化によって増加した、互いに隣接する特徴点と特徴点の距離の総和を計算する。同時に、顔の特定領域に存在する一部の特徴点に関して、表情変化によって増加した、互いに隣接する特徴点と特徴点の距離の総和を計算する。そして、後者の数値を前者の数値により除することにより、伸縮性を定量的に測定することができる。

【0033】

また、表情変化において変化する、特徴点に基づいて顔の任意の位置に設定された領域の変形の仕方（歪み方）等を定量化して運動情報として用いることで、表情変化における顔の肌の変形性を補正する形態とすることもできる。変形性の具体的な測定方法は特に限定されない。例えば、表情変化の前後における、顔の肌上に設定した任意の領域の形状に対する情報を、撮影された動画を用いてオプティカルフロー法やモーションキャプチャ法などにより取得し、当該形状について歪み解析・変形解析を行う方法が例示できる。

【0034】

本発明では、上述のように追従性や伸縮性、変形性等を定量化した値を運動情報として用い、これらの情報に基づいて補正を行うことで、顔の動きを補正して印象を向上した補正動画を生成することができる。なお、以下では、追従性を補正する場合について、具体例を挙げて詳細に説明する。

【0035】

＜実施形態１＞
本実施形態においては、本発明に係る肌動画補正システムをビデオ通話に用いる例について説明する。即ち、本実施形態においては、動画像の取得及び補正動画の生成を並行して実行し、ほぼリアルタイムで補正動画を通話相手に対して表示する。

【0036】

本発明において、基準点とは、表情表出に伴って動く顔上の点のことであり、本実施形態においては顎部の点を例示する。このように、表情が変化するのとほぼ同時に動く点を基準点とすることが好ましい。この他、複数の基準点を設定して単位表情ごとに用いる基準点を異ならせてもよいし、予め特定の基準点を設定せず、動画像から顔の動きを検出して、最も早く運動を開始した点等をその単位表情における基準点としてもよい。

【0037】

また、追従点とは、表情表出の際に、顔上の他の部分、特に基準点等の動きに引っ張られるようにして動く皮膚上の点のことであり、本実施形態においては頬部の複数の点を例示する。

【0038】

図１は、本実施形態における基準点及び追従点（特徴点）の一例を示す図である。このように、本例では顎部の点を基準点Ｒとし、頬部の３点を、基準点Ｒに近い順に追従点Ａ～Ｃとする。なお、図１では左側の顔を示すが、本実施形態では右側の頬にも対称に追従点Ａ～Ｃを設定し、同様に扱う。

【0039】

図２は、表情表出の際の顔上の基準点の運動と追従点の運動との間において生じる遅れの、年齢層ごとの傾向を示す概念図である。横軸は基準点Ｒからの距離を示し、縦軸は表情表出において基準点Ｒの運動速度が最大になる時点と、各追従点の運動速度が最大になる時点と、の差分を示す。即ち、図２は基準点Ｒからの距離に応じた、基準点Ｒの運動に対する各追従点の運動の遅れの大きさの傾向を年齢層別に模式的に示す図である。

【0040】

このように、表情表出における追従点の運動は、基準点の運動に対して遅れが生じ、その遅れは年齢が上がるにつれて大きくなる傾向がある。また、被撮影者の種々の表情を示す静止画を見た場合に比べ、表情変化の過程を示す動画像を見た場合、被撮影者に対してもつ老化印象が変化することがわかっている。

【0041】

以上のことから、人の顔の表情表出における基準点の運動に対する追従点の運動の遅れによって、見る人に対して老化印象を与えていると推測することができる。本実施形態においては、追従性を向上させることで、老化印象を改善できる補正動画を生成する構成を示す。

【0042】

図３は、実施形態１における肌動画補正システムの構成を示す図である。このように、本実施形態における肌動画補正システムは、サーバ装置１と表示装置２ａ及び２ｂとがネットワークを介して通信可能に構成される。なお、説明の簡略化のためにここではサーバ装置１を１台、表示装置２を２台示すが、サーバ装置１を複数のコンピュータ装置を協働させて実現してもよいし、表示装置２を３台以上備えていてもよい。また、表示装置２に肌動画補正プログラムを記憶させてサーバ装置１が備える各手段として機能させる構成としてもよい。

【0043】

図４は、実施形態１における肌動画補正システムの機能ブロック図である。ここに示すように、サーバ装置１は、動画像取得手段１１と、追従点特定手段１２と、基準点特定手段１３と、測定手段１４と、単位表情設定手段１５と、補正手段１６と、表示手段１７と、記憶手段１８と、を備える。

【0044】

動画像取得手段１１は、人の顔における表情表出の過程を含む動画像を取得し、追従点特定手段１２と基準点特定手段１３はそれぞれ動画像に含まれる人の顔に対して追従点及び基準点を特定する。

【0045】

本実施形態では、予め追従点及び基準点となる顔の部分を決めておき、動画像からその点を検出することによって追従点及び基準点を特定するが、顔全体の動きを解析して、顔の各部の動きに基づいて追従点及び基準点を特定する構成としてもよい。例えば、表情表出に伴う顔の動きを検出し、その際に最も早く動いた点を基準点とし、その後追従するように動いた点を追従点とするように特定する方法等が考えられる。また、基準点については顔の動きによって単位表情ごとに特定し、追従点については常に頬部の点とする等、基準点と追従点とで特定の方法を異ならせてもよい。この他にも、追従点及び基準点の特定は任意の方法で行ってよい。

【0046】

測定手段１４は、動画像取得手段１１が取得した動画像に含まれる追従点の運動について、補正前運動情報を測定する。本実施形態においては、追従点特定手段１２が特定した追従点について、運動速度を時系列に測定する。また、本実施形態では、基準点特定手段１３が特定した基準点についても同様に運動速度を時系列に測定し、それに基づいて基準点の運動のタイミングと追従点の運動のタイミングとの差分を測定する。

【0047】

ここで、本実施形態においては、頭部全体の動きの影響を受けないよう、表情の動きの基準となる参照点として額の点を特定し、額の点に対する相対的な運動速度を測定する。参照点としては頭部の動きに伴って運動し、かつ表情の動きの影響を受けない（表情表出に伴った運動をしない）点が好ましい。なお、参照点の特定は必須ではなく、単純に基準点及び追従点の絶対的な運動速度を測定してもよい。

【0048】

単位表情設定手段１５は、動画像取得手段１１が取得した動画像における単位表情を設定する。本実施形態では、顔の動きを解析し、各表情表出における顔の動きが開始する時点から終了する時点までの顔の動きを単位表情として設定する。

【0049】

補正手段１６は、後述の記憶手段１８が記憶する目標運動情報に基づいて、動画像における追従点の運動を補正した補正動画を生成する。本実施形態では、単位表情設定手段１５によって設定された単位表情ごとに補正を行う。

【0050】

表示手段１７は、補正手段が生成した補正動画を表示処理し、処理結果を送信する。本実施形態においては、表示装置２ａにおいて撮影された動画像から生成された補正動画は、表示手段１７によって表示処理され、通話相手側の表示装置２ｂに処理結果が送信される。

【0051】

記憶手段１８は、動画像の補正を行うための追従点の運動の目安となる、目標運動情報を記憶する。図５は、目標運動情報の一例を示す図である。ここに示すように、本実施形態では、各追従点について年代ごとの運動特性を示す情報を記憶している。ここでは、記憶手段１８は基準点の運動のタイミングに対する各追従点の運動のタイミングの遅れの大きさの目安を年代別に記憶し、これを目標運動情報として用いる。

【0052】

つまり、顔の動きを２０代に補正したい場合には２０代の各追従点の運動特性を示す情報を目標運動情報として用いることができ、３０代に補正したい場合には３０代の各追従点の運動特性を示す情報を目標運動情報として用いることができる。本例の場合、例えば２０代の追従点Ｃにおける遅れの目安が３０ｍｓ、５０代の追従点Ｃにおける遅れの目安が１００ｍｓとして記憶されている。

【0053】

なお、ここでは各追従点における遅れの大きさの目安を年代ごとに数値として記憶し、これを目標運動情報として用いる構成を示すが、例えば、基準点と追従点の間の距離に対して遅れの大きさをあらわす関数を、年代ごとに複数記憶する構成としてもよい。

【0054】

また、本実施形態においては、各単位表情において運動速度が最大になるタイミングの基準点と追従点との差分（基準点に対する追従点の遅れ）を「遅れの大きさ」とするが、この他任意の方法で遅れを表現してよい。例えば、各単位表情において基準点と追従点それぞれの加速度が最大になるタイミング（動き始め又は動き終わり）の差分によって、遅れの大きさを表現して用いてもよい。

【0055】

なお、追従性以外の各種の運動特性について補正を行う場合にも、同様にして年代ごとの目安となる値を記憶しておき、目標運動情報として用いることができる。この場合にも、運動特性を示す関数として運動情報を記憶していてもよい。

【0056】

表示装置２ａ及び２ｂは、それぞれ入力手段２１及び出力手段２２を備える。表示装置２としては、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やスマートフォンなどの一般的なコンピュータを用いることができる。表示装置２ａ及び２ｂは、本実施形態に係る肌動画補正システムにおける表示装置２として機能するための専用のアプリケーションや、ウェブページを利用するためのウェブブラウザアプリケーションを記憶している。

【0057】

入力手段２１としては、少なくとも動画像を撮影可能な一般的なカメラ等の撮影装置を採用することができ、出力手段２２としては、少なくとも補正動画を表示可能な一般的なディスプレイ装置等を採用することができる。本実施形態においては、入力手段２１として更に音声を取得可能なマイク等の集音装置を備え、取得した音声を補正動画と共に通話相手の表示装置２に送信することでビデオ通話を行う。

【0058】

図６は、本実施形態における動画像の取得から補正動画の生成までの処理の流れを示すフローチャートである。入力手段２１を介して動画像の撮影及び送信が開始されると、図６の処理が開始され、ステップＳ１１において動画像取得手段１１が動画像を取得する。ここでは、入力手段２１による動画像の撮影と並行して、撮影された動画像が順次サーバ装置１に送信され、送信された動画像を動画像取得手段１１が順次取得する。

【0059】

次に、ステップＳ１２において、単位表情設定手段１５が、ステップＳ１１で取得した動画像について単位表情を設定する。本実施形態では、顔の動きを解析し、表情の変化が開始する時点から表情の変化が終了する時点までをひとつの単位表情として設定する。単位表情の設定は任意の方法で行われてよい。

【0060】

具体的には、例えば、種々の表情表出の際の顔の動きのモデルを記憶手段１８又は外部のデータベース等に記憶しておき、取得した動画像を顔の動きのモデルに照らして分析することで、単位表情を設定する方法が考えられる。また、この他には、ステップＳ１２の前に追従点や基準点の特定及び運動情報の測定を行い、その測定結果に基づいて単位表情を設定する構成としてもよい。

【0061】

単位表情の設定が完了すると、ステップＳ１３に進み、単位表情ごとに補正手段１６が補正動画の生成を行う。図７は、本実施形態における補正動画の生成に係る処理の一例を示すフローチャートである。

【0062】

まず、ステップＳ２１において、追従点特定手段１２及び基準点特定手段１３が、動画像にふくまれる人の顔における基準点及び追従点を特定する。上述の通り、本実施形態では、予め顎部の点を基準点として、頬部の３つの点を追従点Ａ～Ｃとして設定し、動画像からこれらの点を検出することで基準点及び追従点を特定するが、動画像における顔の動き等に基づいて追従点を特定する構成としてもよい。

【0063】

基準点及び追従点の特定が完了すると、ステップＳ２２～ステップＳ２４において、測定手段１４が補正前運動情報を測定する。本実施形態では、まずステップＳ２２において動画を構成するフレーム間の基準点及び各追従点の移動量から各点の運動速度を測定する。

【0064】

続くステップＳ２３では、ステップＳ２２で測定した基準点及び各追従点の運動速度に基づいて、対象となる単位表情において基準点及び各追従点の運動のタイミングを特定する。本実施形態においては、基準点及び各追従点の運動速度が最大になるタイミングを特定する。

【0065】

そして、ステップＳ２４において、ステップＳ２３で特定した基準点及び各追従点の運動のタイミングから、基準点に対する各追従点の運動の遅れの大きさを算出する。本実施形態ではここで算出した各追従点の運動の遅れの大きさを補正前運動情報として、補正動画の生成に用いる。

【0066】

ステップＳ２５では、補正手段１６が各追従点の運動のタイミングを調整する。ここで本実施形態では、ステップＳ２４で算出された各追従点の運動の遅れの大きさ（補正前運動情報）を、記憶手段１８に記憶された各追従点についての年代ごとの運動特性を示す情報と照らし合わせて、補正前運動情報がどの年代の動きの特徴に近いかを特定する。

【0067】

そして、補正前運動情報から特定された年代よりも１段階若い年代における、年代ごとの運動特性を示す情報を目標運動情報として用い、補正手段１６が各追従点における補正後の運動のタイミングを決定する。ただし目標運動情報の選択はこれに限るものではなく、例えば、表示装置２を介して、補正強度の指定を受け付け、それに基づいた度合いで補正を行うように、目標運動情報を選択してもよい。

【0068】

ここで、本実施形態においては、追従点が基準点に近いほど運動のタイミングの遅れが小さくなるように目標運動情報を定義し、これに基づいて補正動画の生成を行う。このように、各追従点の基準点までの距離に応じて各追従点の運動のタイミングを調整することによって、より自然な補正動画を生成することができる。

【0069】

ステップＳ２５における追従点の運動のタイミングの調整が完了すると、ステップＳ２６において、これに基づいて補正手段１６が各追従点の時系列の運動速度を決定する。本実施形態では、ステップＳ２５で最大速度になるタイミングを調整し、ステップＳ２６では線形補完によって時系列の運動速度を決定する。この他、加速度によって調整するように変更してもよい。

【0070】

ステップＳ２７では、各追従点の運動速度に基づいて動画像を構成する各フレームの画像を調整し、補正動画を生成する。各フレームの画像の調整には一般的な画像編集技術を用いればよく、例えば、画像にメッシュ状の領域を設定し、各追従点の運動に応じて各領域を引き伸ばしたり縮めたりすることによって各フレームの画像を調整することができる。この際、前後のフレームとの連続性を考慮して、各フレームの調整を行うことが好ましい。

【0071】

このようにして単位表情について補正動画の生成が完了すると、図６のフローチャートに戻り、ステップＳ１４において表示手段１７が補正動画を表示処理して処理結果を表示装置２に送信する。ここで、本実施形態においては、表示装置２ａによって撮影された動画像から生成された補正動画は、表示手段１７によって表示処理されると、処理結果が通話相手側の表示装置２ｂに送信され、表示装置２ｂの出力手段２２を介して通話相手に表示される。なお、表示装置２ａにおいても同様に補正動画を表示してもよい。

【0072】

このようにして、ステップＳ１５で表示装置２を介して撮影終了指示を受け付けるまで、順次入力される動画像を取得して単位表情ごとに補正を行って補正動画を生成し、通話相手側の表示装置２において連続して表示する。このように連続して順次処理を行うことにより、ほぼリアルタイムで補正動画を表示することができる。

【0073】

なお、図６及び図７で示した処理の流れは一例であり、任意に順番や処理内容の詳細を変更してよい。また、本例ではステップＳ１１における動画像の取得後、ステップＳ１２において単位表情を設定し、単位表情ごとに補正動画を生成する流れを説明したが、必ずしも動画の全範囲について補正動画を生成しなくてもよい。例えば、表情の変化がない部分については単位表情を含まないものとし、ステップＳ１３、Ｓ１４における補正動画の生成及び表示処理をスキップする構成としてもよい。

【0074】

＜実施形態２＞
以下、本発明の別の実施形態について説明する。なお、実施形態１と同様の構成については同じ符号を付して説明を省略する。

【0075】

本実施形態においては、表示装置２を介して動画像を取得し、補正動画を記憶手段１８に記憶する構成について説明する。本実施形態においては、撮影と同時に補正動画の生成を行う必要はなく、動画像の撮影後に加工を行って補正動画を生成する構成を示す。

【0076】

図８は、本実施形態における動画像の取得から補正動画の生成までの処理の流れを示すフローチャートである。まず、ステップＳ３１において、動画像取得手段１１が表示装置２を介して動画像を取得する。ここでの動画像の取得は、撮影と同時に行われる必要はなく、例えば表示装置２が備える記憶装置に記憶された動画像のデータを取得すればよい。

【0077】

次にステップＳ３２において、取得した動画像に対して単位表情設定手段１５が単位表情を設定する。ここでは、実施形態１と同様にして単位表情を設定してもよいが、表示装置２を介して単位表情の開始点や終了点に関する入力を受け付け、これに基づいて設定してもよい。あるいは、実施形態１と同様にして単位表情を設定した上で、単位表情の範囲を調整する入力を受け付けてもよい。

【0078】

ステップＳ３３においては、実施形態１と同様に補正動画を生成する。即ち、単位表情ごとに、運動情報に基づいて補正動画を生成する。ここでは、例えば「１段階若く見えるように動きを補正する」、「２０代の動きになるように動きを補正する」等の入力を受け付けて、それに基づいて目標運動情報を選択するようにしてもよい。また、逆に「１段階老けて見えるように補正する」等のような入力を受け付けることも可能である。

【0079】

動画像全体について単位表情ごとの補正動画の生成が完了すると、ステップＳ３４において、これらの補正動画を合成して全体の補正動画を生成する。ここで、単位表情ごとの補正動画同士のつながりが自然になるように、追従点の運動を調整してもよい。

【0080】

そして、ステップＳ３５において、生成された補正動画を記憶手段１８に記憶して処理を終了する。表示手段１７は、表示装置２の表示要求に従って、記憶手段１８に記憶された補正動画を表示処理して処理結果を送信する。また、補正動画は、表示装置２にダウンロードして確認できるようにしてもよい。

【0081】

以上のように、本発明に係る肌動画補正システムによれば、表情表出の際の皮膚の動きを補正して、印象を向上させた補正動画を生成することができる。また、本実施形態のように、補正前運動情報に応じて目標運動情報を決定することで、顔の動きに対して自然な補正を行えるようになる効果が期待できる。

【0082】

なお、本実施形態においては、特徴点として基準点及び追従点を特定し、その運動のタイミングの差分を運動情報として用いて補正動画を生成することによって、追従性を補正する構成を示したが、本発明はこれに限るものではない。この他、上述の伸縮性や変形性を補正する為に、特徴点間の距離や複数の特徴点によって定義される領域の面積の変化等の情報を運動情報として用いる構成としてもよい。また、これらを組み合わせて複合的な運動特性について補正を行う構成としてもよい。

【符号の説明】

【0083】

１ サーバ装置
１１ 動画像取得手段
１２ 追従点特定手段
１３ 基準点特定手段
１４ 測定手段
１５ 単位表情設定手段
１６ 補正手段
１７ 表示手段
１８ 記憶手段
２ 表示装置
２１ 入力手段
２２ 出力手段
Ｒ 基準点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】