特許 7605301 情報処理装置、身振転写方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】情報処理装置、身振転写方法およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241217BHJP

【ＦＩ】

G06T7/20 300

【請求項の数】 8

(21)【出願番号】P 2023522082

(86)(22)【出願日】2021-05-19

(86)【国際出願番号】 JP2021019003

(87)【国際公開番号】W WO2022244146

(87)【国際公開日】2022-11-24

【審査請求日】2023-08-23

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110004381

【氏名又は名称】弁理士法人ＩＴＯＨ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】蔵内 雄貴

(72)【発明者】

【氏名】瀬古 俊一

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２００５－１５１２３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

身振りを含む映像を示す身振映像データから、特定の身振りの特徴データを抽出する特徴抽出部と、
転写要求を受けて、前記転写要求に対応する前記特徴データを出力する制御部と、
前記転写要求に対応する前記特徴データを入力映像データに転写して出力映像データを生成し、生成された出力映像データを出力する特徴転写部と、を備え、
前記身振映像データは、大きな動作を表す第一の動作に関する映像を示すデータであって、
前記身振映像データを加工して、前記第一の動作よりも小さな動作を表す第二の動作を加える映像加工部をさらに備え、
前記特徴抽出部は、
前記加工後の身振映像データから、前記特徴データを抽出する、
情報処理装置。

【請求項2】

身振りを含む映像を示す身振映像データから、特定の身振りの特徴データを抽出する特徴抽出部と、
転写要求を受けて、前記転写要求に対応する前記特徴データを出力する制御部と、
前記転写要求に対応する前記特徴データを入力映像データに転写して出力映像データを生成し、生成された出力映像データを出力する特徴転写部と、を備え、
前記身振映像データは、大きな動作を表す第一の動作に関する映像を示すデータであって、
前記入力映像データを加工して、前記第一の動作よりも小さな動作を表す第二の動作を加える映像加工部をさらに備え、
前記特徴転写部は、
前記転写要求に対応する前記特徴データを前記加工後の入力映像データに転写して出力映像データを生成し、生成された出力映像データを出力する、
情報処理装置。

【請求項3】

身振りを含む映像を示す身振映像データから、特定の身振りの特徴データを抽出する特徴抽出部と、
転写要求を受けて、前記転写要求に対応する前記特徴データを出力する制御部と、
前記転写要求に対応する前記特徴データを入力映像データに転写して出力映像データを生成し、生成された出力映像データを出力する特徴転写部と、を備え、
前記身振映像データは、大きな動作を表す第一の動作に関する映像を示すデータであって、
前記出力映像データを加工して、前記第一の動作よりも小さな動作を表す第二の動作を加える映像加工部をさらに備える、
情報処理装置。

【請求項4】

前記身振映像データを入力として、顔のパーツの位置、サイズおよび向きを認識して出力する第一パーツ認識部と、
前記入力映像データを入力として、顔のパーツの位置、サイズおよび向きを認識して出力する第二パーツ認識部と、
前記身振映像データの顔のパーツの位置、サイズおよび向きと、前記入力映像データの顔のパーツの位置、サイズおよび向きとに基づいて、前記身振映像データに基づく特徴データの位置、サイズまたは向きを調整する映像調整部と、をさらに備え、
前記特徴転写部は、調整された前記特徴データを前記入力映像データに転写して出力映像データを生成し、生成された出力映像データを出力する、
請求項１から３のいずれか一項に記載の情報処理装置。

【請求項5】

コンピュータが実行する身振転写方法であって、
身振りを含む映像を示す身振映像データから、特定の身振りの特徴データを抽出する特徴抽出ステップと、
転写要求を受けて、前記転写要求に対応する前記特徴データを出力する制御ステップと、
前記転写要求に対応する前記特徴データを入力映像データに転写して出力映像データを生成し、生成された出力映像データを出力する特徴転写ステップと、を備え、
前記身振映像データは、大きな動作を表す第一の動作に関する映像を示すデータであって、
前記身振映像データを加工して、前記第一の動作よりも小さな動作を表す第二の動作を加える映像加工ステップをさらに備え、
前記特徴抽出ステップは、
前記加工後の身振映像データから、前記特徴データを抽出する、
身振転写方法。

【請求項6】

コンピュータが実行する身振転写方法であって、
身振りを含む映像を示す身振映像データから、特定の身振りの特徴データを抽出する特徴抽出ステップと、
転写要求を受けて、前記転写要求に対応する前記特徴データを出力する制御ステップと、
前記転写要求に対応する前記特徴データを入力映像データに転写して出力映像データを生成し、生成された出力映像データを出力する特徴転写ステップと、を備え、
前記身振映像データは、大きな動作を表す第一の動作に関する映像を示すデータであって、
前記入力映像データを加工して、前記第一の動作よりも小さな動作を表す第二の動作を加える映像加工ステップをさらに備え、
前記特徴転写ステップは、
前記転写要求に対応する前記特徴データを前記加工後の入力映像データに転写して出力映像データを生成し、生成された出力映像データを出力する、
身振転写方法。

【請求項7】

コンピュータが実行する身振転写方法であって、
身振りを含む映像を示す身振映像データから、特定の身振りの特徴データを抽出する特徴抽出ステップと、
転写要求を受けて、前記転写要求に対応する前記特徴データを出力する制御ステップと、
前記転写要求に対応する前記特徴データを入力映像データに転写して出力映像データを生成し、生成された出力映像データを出力する特徴転写ステップと、を備え、
前記身振映像データは、大きな動作を表す第一の動作に関する映像を示すデータであって、
前記出力映像データを加工して、前記第一の動作よりも小さな動作を表す第二の動作を加える映像加工ステップをさらに備える、
身振転写方法。

【請求項8】

コンピュータを請求項１から４のいずれか１項に記載の情報処理装置における各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、身振転写方法およびプログラムに関する。

【背景技術】

【0002】

人物の映像データを、頷き、笑顔などのような特定の身振りをさせた映像データに変換する技術が知られている。例えば、非特許文献１には、人物の映像データから特定の身振りを示すデータを抽出し、他の人物の映像データに対してリアルタイムに転写する技術が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】Tomas Jakab, et.al. "Unsupervised Learning of Object Landmarks through Conditional Image Generation", NIPS, 2018

【発明の概要】

【発明が解決しようとする課題】

【0004】

ビデオ会議等において、参加者の映像に表情、まばたき、頷き、姿勢、相槌、視線等の身振りを追加することによって、円滑な人間関係の構築や会議の進行を可能とすることが考えられる。しかし、従来の技術では、抽出元の人物の身振りを示す映像データを時系列順に対象の映像データに転写するだけであるため、身振りの内容の指定、映像データに転写するタイミング等を自由に指定することができないという問題がある。

【0005】

開示の技術は、映像データに身振りを反映させる際の自由度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

開示の技術は、身振りを含む映像を示す身振映像データから、特定の身振りの特徴データを抽出する特徴抽出部と、転写要求を受けて、前記転写要求に対応する前記特徴データを出力する制御部と、前記転写要求に対応する前記特徴データを入力映像データに転写して出力映像データを生成し、生成された出力映像データを出力する特徴転写部と、を備える情報処理装置である。

【発明の効果】

【0007】

映像データに身振りを反映させる際の自由度を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】実施例１に係る情報処理装置の機能構成の一例を示す図である。

【図2】実施例１に係る特徴転写処理の流れの一例を示すフローチャートである。

【図3】実施例２に係る情報処理装置の機能構成の一例を示す図である。

【図4】映像の調整方法について説明するための図である。

【図5】実施例２に係る特徴転写処理の流れの一例を示すフローチャートである。

【図6】実施例３に係る情報処理装置の機能構成の一例を示す図である。

【図7】実施例３に係る特徴転写処理の流れの一例を示すフローチャートである。

【図8】実施例４に係る情報処理装置の機能構成の一例を示す図である。

【図9】実施例４に係る特徴転写処理の流れの一例を示すフローチャートである。

【図10】実施例５に係る情報処理装置の機能構成の一例を示す図である。

【図11】実施例５に係る特徴転写処理の流れの一例を示すフローチャートである。

【図12】コンピュータのハードウェア構成例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

【0010】

以下、本実施の形態の実施例として、実施例１から実施例５について説明する。

【0011】

（実施例１）
図１は、実施例１に係る情報処理装置の機能構成の一例を示す図である。本実施例に係る情報処理装置１０は、身振映像格納部１１と、特徴抽出部１２と、制御部１３と、入力映像格納部１４と、特徴転写部１５と、出力映像格納部１６と、を備える。

【0012】

身振映像格納部１１は、身振映像を示すデータを格納する。身振映像は、人物の身振りの動作をあらかじめ録画した映像である。身振りとは、例えば、表情、まばたき、頷き、姿勢、相槌、視線等のように、感情や意思などを伝達する動作である。

【0013】

特徴抽出部１２は、特定の身振りの内容に沿って、身振映像を示すデータから特徴データを抽出する。抽出されるデータは、例えば笑顔の特徴データ、まばたきの特徴データ等のように、身振りの内容ごとに抽出される。

【0014】

制御部１３は、転写要求を受けて、転写要求に対応する特徴データを出力する。転写要求は、ユーザの操作等によって、特定の身振りを指定した転写の要求である。

【0015】

入力映像格納部１４は、入力映像を示すデータを格納する。入力映像は、Ｗｅｂカメラ等の撮影装置によってユーザを撮影した映像である。

【0016】

特徴転写部１５は、制御部１３によって出力された特徴データを、入力映像に転写する。例えば、特徴転写部１５は、無表情なユーザを撮影した入力映像に、笑顔の特徴データを転写することによって、笑顔のユーザを表す映像データに変換して出力する。

【0017】

出力映像格納部１６は、特徴転写部１５によって出力された映像データを格納する。

【0018】

次に、本実施例に係る情報処理装置１０の動作について説明する。情報処理装置１０は、ユーザの操作等に応じて、特徴転写処理を実行する。

【0019】

図２は、実施例１に係る特徴転写処理の流れの一例を示すフローチャートである。特徴転写処理を開始すると、特徴抽出部１２は、身振映像から特徴データを抽出する（ステップＳ１１）。続いて、制御部１３は、ユーザの操作等によって転写要求を受けると、転写要求に対応する特徴データを出力する（ステップＳ１２）。

【0020】

次に、特徴転写部１５は、入力映像に特徴データを転写して出力映像を生成し、生成された出力映像を出力する（ステップＳ１３）。

【0021】

本実施例に係る情報処理装置１０によれば、身振映像から抽出された特徴データを入力映像に転写して出力映像を生成する。身振映像として、表情、まばたき、頷き、姿勢、相槌、視線等のような身振りの内容ごとに録画された映像を用いることによって、指定の身振りを入力映像に反映させることができる。

【0022】

（実施例２）
以下に図面を参照して、実施例２について説明する。実施例２は、身振映像と入力映像のそれぞれの顔のパーツを認識し、位置合わせを行う点が、実施例１と相違する。よって、以下の実施例２の説明では、実施例１との相違点を中心に説明し、実施例１と同様の機能構成を有するものには、実施例１の説明で用いた符号と同様の符号を付与し、その説明を省略する。

【0023】

図３は、実施例２に係る情報処理装置の機能構成の一例を示す図である。本実施例に係る情報処理装置１０は、実施例１に係る情報処理装置１０に、第一パーツ認識部２１と、第二パーツ認識部２２と、映像調整部２３と、を追加した構成である。

【0024】

第一パーツ認識部２１は、身振映像を入力として、顔のパーツの位置、サイズおよび向きを認識して出力する。第二パーツ認識部２２は、入力映像を入力として、顔のパーツの位置、サイズおよび向きを認識して出力する。映像調整部２３は、身振映像の顔のパーツの位置、サイズおよび向きと、入力映像の顔のパーツの位置、サイズおよび向きとに基づいて、身振映像に基づく特徴データの位置、サイズまたは向きを調整する。

【0025】

図４は、映像の調整方法について説明するための図である。映像調整部２３は、特徴データ９０１を入力映像データ９０２に合わせるように、位置（ｘ，ｙ）の調整、向き（θ）の調整またはサイズ（ｒ）の調整を行う。

【0026】

図５は、実施例２に係る特徴転写処理の流れの一例を示すフローチャートである。特徴転写処理を開始すると、特徴抽出部１２は、身振映像から特徴データを抽出する（ステップＳ２１）。続いて、制御部１３は、ユーザの操作等によって転写要求を受けると、転写要求に対応する特徴データを出力する（ステップＳ２２）。

【0027】

次に、第一パーツ認識部２１は、身振映像のパーツを認識する（ステップＳ２３）。続いて、第二パーツ認識部２２は、入力映像のパーツを認識する（ステップＳ２４）。続いて、映像調整部は、特徴データを調整する（ステップＳ２５）。

【0028】

次に、特徴転写部１５は、調整された特徴データを入力映像に転写して出力映像を生成し、生成された出力映像を出力する（ステップＳ２６）。

【0029】

本実施例に係る情報処理装置１０によれば、身振映像の顔のパーツと入力映像の顔のパーツを認識して、特徴データの位置、向きまたはサイズを調整する。これによって、身振映像と入力映像における顔の位置、サイズ、向きなどが異なる場合の出力映像の歪みの発生を回避することができる。

【0030】

（実施例３）
以下に図面を参照して、実施例３について説明する。実施例３は、頷き、姿勢などの大きな動作に関する映像だけを身振映像として用意し、表情、まばたき、目線などの小さな動作については身振映像を加工することによって表現する点が、実施例１と相違する。よって、以下の実施例３の説明では、実施例１との相違点を中心に説明し、実施例１と同様の機能構成を有するものには、実施例１の説明で用いた符号と同様の符号を付与し、その説明を省略する。

【0031】

図６は、実施例３に係る情報処理装置の機能構成の一例を示す図である。本実施例に係る情報処理装置１０は、実施例１に係る情報処理装置１０に、映像加工部３１と、加工済身振映像格納部３２と、を追加した構成である。

【0032】

映像加工部３１は、ＭＬＳ(Moving Least Square Approximation)等の手法を用いて、大きな動作（第一の動作）を含む身振映像を加工し、表情、まばたき、目線などの小さな動作（第二の動作）を加えた加工済身振映像データを生成する（参考文献[1]）。

【0033】

加工済身振映像格納部３２は、加工済身振映像データを格納する。特徴抽出部１２は、身振映像格納部１１に格納された身振映像データと、加工済身振映像格納部３２に格納された加工済身振映像データとから、特徴データを抽出する。

【0034】

図７は、実施例３に係る特徴転写処理の流れの一例を示すフローチャートである。特徴転写処理を開始すると、映像加工部３１は、身振映像を加工する（ステップＳ３１）。続いて、特徴抽出部１２は、身振映像または加工済身振映像から特徴データを抽出する（ステップＳ３２）。続いて、制御部１３は、ユーザの操作等によって転写要求を受けると、転写要求に対応する特徴データを出力する（ステップＳ３３）。

【0035】

次に、特徴転写部１５は、入力映像に調整された特徴データを転写して出力映像を生成し、生成された出力映像を出力する（ステップＳ３４）。

【0036】

本実施例に係る情報処理装置１０によれば、大きな動作（第一の動作）を含む身振映像を加工し、表情、まばたき、目線などの小さな動作（第二の動作）を加えた加工済身振映像データを生成する。これによって、身振映像として用意する映像の数を減らすことができる。

【0037】

例えば、実施例１では、笑顔で頷くなどの複数の身振りの要素を組み合わせたい場合に、要素の全パターン分の映像が必要となる。それに対して、本実施例では、頷くという大きな動作（第一の動作）の身振映像を加工して、笑顔という小さな動作（第二の動作）の要素を追加することによって、笑顔で頷くという複数の要素を組み合わせた加工済身振映像を生成することができるため、必要な身振映像のパターン数を大幅に削減することができる。

【0038】

（実施例４）
以下に図面を参照して、実施例４について説明する。実施例４は、頷き、姿勢などの大きな動作に関する映像だけを身振映像として用意し、表情、まばたき、目線などの小さな動作については入力映像を加工することによって表現する点が、実施例３と相違する。よって、以下の実施例４の説明では、実施例３との相違点を中心に説明し、実施例３と同様の機能構成を有するものには、実施例３の説明で用いた符号と同様の符号を付与し、その説明を省略する。

【0039】

図８は、実施例４に係る情報処理装置の機能構成の一例を示す図である。本実施例に係る映像加工部３１は、を加工する。映像加工部３１は、ＭＬＳ(Moving Least Square Approximation)等の手法を用いて、入力映像格納部１４に格納された入力映像データを加工し、表情、まばたき、目線などの小さな動作（第二の動作）を加えた加工済入力映像データを生成する。

【0040】

また、本実施例に係る特徴転写部１５は、加工済入力映像データに特徴データを転写して出力映像データを生成し、生成された出力映像データを出力する。

【0041】

図９は、実施例４に係る特徴転写処理の流れの一例を示すフローチャートである。特徴転写処理を開始すると、特徴抽出部１２は、身振映像から特徴データを抽出する（ステップＳ４１）。続いて、制御部１３は、ユーザの操作等によって転写要求を受けると、転写要求に対応する特徴データを出力する（ステップＳ４２）。

【0042】

映像加工部３１は、入力映像を加工する（ステップＳ４３）。特徴転写部１５は、加工済入力映像に特徴データを転写して出力映像データを生成し、生成された出力映像データを出力する（ステップＳ４４）。

【0043】

本実施例に係る情報処理装置１０によれば、入力映像を加工し、表情、まばたき、目線などの小さな動作を追加した加工済入力映像データを生成する。これによって、身振映像として用意する映像の数を減らすことができる。

【0044】

例えば、実施例１では、笑顔で頷くなどの複数の身振りの要素を組み合わせたい場合に、要素の全パターン分の映像が必要となる。それに対して、本実施例では、頷くという大きな動作（第一の動作）の身振映像から抽出された特徴データを、笑顔という小さな動作（第二の動作）の要素を追加した加工済入力映像データに転写することによって、笑顔で頷くという複数の要素を組み合わせた出力映像データを生成することができるため、必要な身振映像のパターン数を大幅に削減することができる。

【0045】

（実施例５）
以下に図面を参照して、実施例５について説明する。実施例５は、頷き、姿勢などの大きな動作に関する映像だけを身振映像として用意し、表情、まばたき、目線などの小さな動作については出力映像を加工することによって表現する点が、実施例３および実施例４と相違する。よって、以下の実施例５の説明では、実施例３および実施例４との相違点を中心に説明し、実施例３および実施例４と同様の機能構成を有するものには、実施例３および実施例４の説明で用いた符号と同様の符号を付与し、その説明を省略する。

【0046】

図１０は、実施例５に係る情報処理装置の機能構成の一例を示す図である。本実施例に係る映像加工部３１は、特徴転写部１５によって特徴データが転写された出力映像データを加工する。

【0047】

図１１は、実施例５に係る特徴転写処理の流れの一例を示すフローチャートである。特徴転写処理を開始すると、特徴抽出部１２は、身振映像から特徴データを抽出する（ステップＳ５１）。続いて、制御部１３は、ユーザの操作等によって転写要求を受けると、転写要求に対応する特徴データを出力する（ステップＳ５２）。

【0048】

特徴転写部１５は、加工済入力映像データに特徴データを転写して出力映像データを生成し、生成された出力映像データを出力する（ステップＳ５３）。映像加工部４３は、出力映像データを加工して、加工済出力映像データを生成する（ステップＳ５４）。そして、映像加工部４３は、加工済出力映像データを出力する（ステップＳ５５）。

【0049】

本実施例に係る情報処理装置１０によれば、出力映像データを加工し、表情、まばたき、目線などの小さな動作を追加した加工済出力映像データを生成する。これによって、身振映像として用意する映像の数を減らすことができる。

【0050】

例えば、実施例１では、笑顔で頷くなどの複数の身振りの要素を組み合わせたい場合に、要素の全パターン分の映像が必要となる。それに対して、本実施例では、頷くという大きな動作（第一の動作）の身振映像から抽出された特徴データを入力映像データに転写し、生成された出力映像データに、笑顔という小さな動作（第二の動作）の要素を追加することによって、笑顔で頷くという複数の要素を組み合わせた加工済出力映像データを生成することができるため、必要な身振映像のパターン数を大幅に削減することができる。

【0051】

（本実施の形態に係るハードウェア構成例）
情報処理装置１０は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。なお、この「コンピュータ」は、物理マシンであってもよいし、クラウド上の仮想マシンであってもよい。仮想マシンを使用する場合、ここで説明する「ハードウェア」は仮想的なハードウェアである。

【0052】

上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

【0053】

図１２は、上記コンピュータのハードウェア構成例を示す図である。図１２のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。

【0054】

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0055】

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該装置に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。なお、上記コンピュータは、ＣＰＵ１００４の代わりにＧＰＵ（Graphics Processing Unit）またはＴＰＵ（Tensor processing unit）を備えていても良く、ＣＰＵ１００４に加えて、ＧＰＵまたはＴＰＵを備えていても良い。その場合、特殊な演算が必要な処理をＧＰＵまたはＴＰＵが実行し、その他の処理をＣＰＵ１００４が実行する、というように処理を分担して実行しても良い。

【0056】

参考文献[1]：Naoto Nakazato, et.al. "Smart Face: Enhancing Creativity During Video Conferences using Real-time Facial Deformation", CSCW, 2014

【0057】

（実施の形態のまとめ）
本明細書には、少なくとも下記の各項に記載した情報処理装置、身振転写方法およびプログラムが記載されている。
（第１項）
身振りを含む映像を示す身振映像データから、特定の身振りの特徴データを抽出する特徴抽出部と、
転写要求を受けて、前記転写要求に対応する前記特徴データを出力する制御部と、
前記転写要求に対応する前記特徴データを入力映像データに転写して出力映像データを生成し、生成された出力映像データを出力する特徴転写部と、を備える、
情報処理装置。
（第２項）
前記身振映像データを入力として、顔のパーツの位置、サイズおよび向きを認識して出力する第一パーツ認識部と、
前記入力映像データを入力として、顔のパーツの位置、サイズおよび向きを認識して出力する第二パーツ認識部と、
前記身振映像データの顔のパーツの位置、サイズおよび向きと、前記入力映像データの顔のパーツの位置、サイズおよび向きとに基づいて、前記身振映像データに基づく特徴データの位置、サイズまたは向きを調整する映像調整部と、をさらに備え、
前記特徴転写部は、調整された前記特徴データを前記入力映像データに転写して出力映像データを生成し、生成された出力映像データを出力する、
第１項に記載の情報処理装置。
（第３項）
前記身振映像データは、第一の動作に関する映像を示すデータであって、
前記身振映像データを加工して第二の動作を加える映像加工部をさらに備える、
第１項または第２項に記載の情報処理装置。
（第４項）
前記身振映像データは、第一の動作に関する映像を示すデータであって、
前記入力映像データを加工して第二の動作を加える映像加工部をさらに備える、
第１項または第２項に記載の情報処理装置。
（第５項）
前記身振映像データは、第一の動作に関する映像を示すデータであって、
前記出力映像データを加工して第二の動作を加える映像加工部をさらに備える、
第１項または第２項に記載の情報処理装置。
（第６項）
コンピュータが実行する身振転写方法であって、
身振りを含む映像を示す身振映像データから、特定の身振りの特徴データを抽出するステップと、
転写要求を受けて、前記転写要求に対応する前記特徴データを出力するステップと、
前記転写要求に対応する前記特徴データを入力映像データに転写して出力映像データを生成し、生成された出力映像データを出力するステップと、を備える、
身振転写方法。
（第７項）
コンピュータを第１項から第５項のいずれか１項に記載の情報処理装置における各部として機能させるためのプログラム。

【0058】

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0059】

１０ 情報処理装置
１１ 身振映像格納部
１２ 特徴抽出部
１３ 制御部
１４ 入力映像格納部
１５ 特徴転写部
１６ 出力映像格納部
２１ 第一パーツ認識部
２２ 第二パーツ認識部
２３ 映像調整部
３１ 映像加工部
３２ 加工済身振映像格納部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】