特許 6827337 手話ＣＧ生成装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6827337

(24)【登録日】2021年1月21日

(45)【発行日】2021年2月10日

(54)【発明の名称】手話ＣＧ生成装置及びプログラム

(51)【国際特許分類】

   G06T 13/40 20110101AFI20210128BHJP

【ＦＩ】

   G06T13/40

【請求項の数】4

【全頁数】13

(21)【出願番号】特願2017-23663(P2017-23663)

(22)【出願日】2017年2月10日

(65)【公開番号】特開2018-129005(P2018-129005A)

(43)【公開日】2018年8月16日

【審査請求日】2020年1月6日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100121119

【弁理士】

【氏名又は名称】花村 泰伸

(72)【発明者】

【氏名】梅田 修一

【審査官】 片岡 利延

(56)【参考文献】

【文献】 特開２０１７−１５１７５７（ＪＰ，Ａ）

【文献】 特開２０１９−１９７０８４（ＪＰ，Ａ）

【文献】 特開２０１６−０６２５２８（ＪＰ，Ａ）

【文献】 梅田修一、外６名，インバースキネマティクスに基づく手話ＣＧキャラクタの制御技法に関する検討，映像情報メディア学会技術報告 Ｖｏｌ．３９ Ｎｏ．７，日本，２０１５年 ２月２３日，pp.5-8

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １３／４０

(57)【特許請求の範囲】

【請求項1】

日本語テキストから手話ＣＧデータを生成する手話ＣＧ生成装置において、
前記日本語テキストに対応して時系列に並べた単語毎のＩＫ（Inverse Kinematics）データを用いて、前後する２つの単語の間を線形補間する線形補間部と、
前記前後する２つの単語のうち先の単語の予め設定された終点から、当該先の単語の動きが終わるサンプリング点である最終端点、前記線形補間部により線形補間されたサンプリング点、及び後の単語の動きが始まるサンプリング点である開始端点を介して、当該後の単語の予め設定された始点までの間のそれぞれのサンプリング点に対し、平滑化の計算を行って当該サンプリング点の位置座標を更新する平滑化処理を行い、前記平滑化処理を所定回数行い、前記手話ＣＧデータを生成する平滑化部と、
を備えたことを特徴とする手話ＣＧ生成装置。

【請求項2】

請求項１に記載の手話ＣＧ生成装置において、
前記線形補間部は、
前記先の単語の予め設定された終点から所定マージンだけ進めたサンプリング点を前記最終端点に設定し、前記後の単語の予め設定された始点から所定マージンだけ遡ったサンプリング点を前記開始端点に設定し、前記先の単語における前記最終端点の位置座標、及び前記後の単語における前記開始端点の位置座標に基づいて、前記先の単語の前記最終端点と前記後の単語の前記開始端点との間を線形補間し、前記先の単語の前記最終端点と前記後の単語の前記開始端点との間における所定数のサンプリング点の位置座標を算出し、
前記平滑化部は、
前記先の単語の前記終点から、当該先の単語の前記最終端点、前記線形補間部により線形補間された前記所定数のサンプリング点、及び前記後の単語の前記開始端点を介して、当該後の単語の前記始点までの間のそれぞれのサンプリング点に対して順番に、当該サンプリング点を含む所定数のサンプリング点の位置座標に基づいて、移動平均の計算を行って当該サンプリング点の位置座標を更新する移動平均処理を行い、前記移動平均処理を所定回数行う、ことを特徴とする手話ＣＧ生成装置。

【請求項3】

請求項２に記載の手話ＣＧ生成装置において、
前記平滑化部は、前記手話ＣＧデータにおける動きの速度、加速度、または前記前後する２つの単語の間の時間間隔若しくは軌跡の長さに基づいて、前記移動平均処理を行う前記所定回数を設定する、ことを特徴とする手話ＣＧ生成装置。

【請求項4】

コンピュータを、請求項１から３までのいずれか一項に記載の手話ＣＧ生成装置として機能させるための手話ＣＧ生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人間の動きを模したＣＧ（Computer Graphics：コンピュータグラフィックス）キャラクタを利用する技術に関し、特に、日本語を手話に翻訳する手話ＣＧ生成装置及びプログラムに関する。

【背景技術】

【0002】

従来、ＣＧキャラクタを人間のように動作させるリアルタイムレンダリングの技術では、部品となる動きを予めコンピュータに保持しておき、これらの部品の動きを組み合わせて接続することで、一連の動きを合成する手法が一般的である。

【0003】

部品となる動き（手話ＣＧでは単語を部品とすることが多いので、ここでは単に「単語」という。）は、専用のコンピュータソフトを用いてアニメーションとして作成される。また、現実の人間の正確な動きを得るためには、光学式モーションキャプチャシステム等を利用した手法が用いられることが多い。

【0004】

しかしながら、作成された単語自体の動きが実際の動きに忠実であったとしても、単語を接続した一連の動きが不自然になることがある。これは多くの場合、単語の接続方式に起因する。

【0005】

人間を模したＣＧキャラクタは、複数の関節をもつ骨格を用いて再現されており、ある時点のＣＧキャラクタの姿勢は、この骨格に属する関節の回転角度で表される。従来使用されてきた単語の接続方式では、単純に関節回転角の数値を用いて補間することが多い。

【0006】

図７は、単語接続の概念を説明する図である。横軸は時間を示す。図７に示すように、単語Ａと単語Ｂとを接続する場合、単語Ａの最後の関節回転角と単語Ｂの最初の関節回転角とを用いて、所定の計算により、接続部分の関節回転角の数値を求める。

【0007】

このような補間方法としては、例えば線形補間法及びモーションブレンド法が知られている。関節回転角を用いたいずれの補間方法も、関節回転角を直接計算するものであるが、末端に位置する部分（例えば手または足）がどのような動きをするかは考慮されていない。

【0008】

そこで、末端部分の動きを考慮したＩＫ（Inverse Kinematics：インバースキネマティクス）の技術が用いられる。ＩＫの技術は、関節を複数持つ人間の動きを自然な動きとするための重要な情報が関節回転角でなく、末端部分の手または足の位置であるとした考えに基づくものである。

【0009】

例えば、自然な動きが重要な３Ｄキャラクタアニメーションでは、ＩＫの技術が用いられることが多い。ＩＫの技術を用いることにより、例えばＣＧキャラクタの手を、アニメータである制作者が意図するように動かすことができる。

【0010】

従来、ＩＫの技術は、主に手動でアニメーションを付けるために用いられていた。なぜならば、ＩＫの計算は、関節回転角の変化する自由度があまりにも高いため、動きが破綻することがあるからである。動きが破綻すると、関節が不自然に回転したり、あり得ない速度のアニメーションが付いたりする。

【0011】

手動でアニメーションを付ける場合には、動きが破綻したとしても、破綻が起きないように再調整を繰り返すことが可能である。しかし、リアルタイムに動作するアニメーションが必要な場合には、手動の調整によって破綻を回避できないため、結果としてＩＫの利点を活用できない。

【0012】

この問題を解決するために、動きの破綻を回避するための手法が提案されている（例えば、非特許文献１を参照）。この手法は、ＩＫの技術を用いるものであるが、一般的なオイラー角ではなくクォータニオンを用いて関節回転角を計算する。また、部品のモーションには、組み合わせても動きの破綻を発生させる可能性の少ないモーションのみを使用する。これにより、末端部分の位置の自由度を損ねることなく、動きの破綻を回避できる。

【先行技術文献】

【非特許文献】

【0013】

【非特許文献1】梅田、他６名、「インバースキネマティクスを導入した手話ＣＧ制御方式の開発」、２０１６年電子情報通信学会総合大会講演論文集、H-4-1、p312

【発明の概要】

【発明が解決しようとする課題】

【0014】

ＩＫの技術を用いることにより、末端部分の手の位置を指定することで、関節回転角を逆計算して、リアルタイムにＣＧキャラクタをレンダリングすることができる。ただし、手の位置を１フレーム単位で指定しなければならない場合があることから、現状では、ＩＫの技術の使用は、リアルタイム処理を必要としない場合に限られている。

【0015】

しかしながら、ＣＧキャラクタの応用分野では、リアルタイム処理を必要とする場合が多い。すなわち、全自動で単語を接続する必要がある場合が多い。このため、全自動の場合も手動の場合と同様に、単語の接続部分について（図７の接続部分を参照）、毎フレームの手の位置が自然な動きとなるように補正することが望まれていた。

【0016】

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、手の描く軌跡がスムーズで自然な形状となるように、動きの自然な手話ＣＧをリアルタイムに生成可能な手話ＣＧ生成装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0017】

前記課題を解決するために、請求項１の手話ＣＧ生成装置は、日本語テキストから手話ＣＧデータを生成する手話ＣＧ生成装置において、前記日本語テキストに対応して時系列に並べた単語毎のＩＫ（Inverse Kinematics）データを用いて、前後する２つの単語の間を線形補間する線形補間部と、前記前後する２つの単語のうち先の単語の予め設定された終点から、当該先の単語の動きが終わるサンプリング点である最終端点、前記線形補間部により線形補間されたサンプリング点、及び後の単語の動きが始まるサンプリング点である開始端点を介して、当該後の単語の予め設定された始点までの間のそれぞれのサンプリング点に対し、平滑化の計算を行って当該サンプリング点の位置座標を更新する平滑化処理を行い、前記平滑化処理を所定回数行い、前記手話ＣＧデータを生成する平滑化部と、を備えたことを特徴とする。

【0018】

また、請求項２の手話ＣＧ生成装置は、請求項１に記載の手話ＣＧ生成装置において、前記線形補間部が、前記先の単語の予め設定された終点から所定マージンだけ進めたサンプリング点を前記最終端点に設定し、前記後の単語の予め設定された始点から所定マージンだけ遡ったサンプリング点を前記開始端点に設定し、前記先の単語における前記最終端点の位置座標、及び前記後の単語における前記開始端点の位置座標に基づいて、前記先の単語の前記最終端点と前記後の単語の前記開始端点との間を線形補間し、前記先の単語の前記最終端点と前記後の単語の前記開始端点との間における所定数のサンプリング点の位置座標を算出し、前記平滑化部が、前記先の単語の前記終点から、当該先の単語の前記最終端点、前記線形補間部により線形補間された前記所定数のサンプリング点、及び前記後の単語の前記開始端点を介して、当該後の単語の前記始点までの間のそれぞれのサンプリング点に対して順番に、当該サンプリング点を含む所定数のサンプリング点の位置座標に基づいて、移動平均の計算を行って当該サンプリング点の位置座標を更新する移動平均処理を行い、前記移動平均処理を所定回数行う、ことを特徴とする。

【0019】

また、請求項３の手話ＣＧ生成装置は、請求項２に記載の手話ＣＧ生成装置において、前記平滑化部は、前記手話ＣＧデータにおける動きの速度、加速度、または前記前後する２つの単語の間の時間間隔若しくは軌跡の長さに基づいて、前記移動平均処理を行う前記所定回数を設定する、ことを特徴とする。

【0020】

さらに、請求項４の手話ＣＧ生成プログラムは、コンピュータを、請求項１から３までのいずれか一項に記載の手話ＣＧ生成装置として機能させることを特徴とする。

【発明の効果】

【0021】

以上のように、本発明によれば、手の描く軌跡がスムーズで自然な形状となるように、動きの自然な手話ＣＧをリアルタイムに生成することが可能となる。

【図面の簡単な説明】

【0022】

【図1】本発明の実施形態による手話ＣＧ生成装置の構成例を示すブロック図である。

【図2】ＩＫ化後の手の軌跡を説明する図である。

【図3】線形補間後の手の軌跡を説明する図である。

【図4】１回の移動平均処理後における手の軌跡を説明する図である。

【図5】Ｐ回の移動平均処理後における手の軌跡を説明する図である。

【図6】平滑化部の処理例を示すフローチャートである。

【図7】単語接続の概念を説明する図である。

【図8】従来の関節回転角方式を用いて接続した場合の手の軌跡を説明する図である。

【発明を実施するための形態】

【0023】

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、ＩＫ化した２つの単語を接続する際に、ｘｙｚ座標で表した手の位置を線形補間し、平滑化することを特徴とする。

【0024】

この線形補間の処理は、日本語テキストをＩＫ化した後に手の位置座標を計算する処理であり、関節回転角の値を線形補間する従来の処理とは異なる。また、平滑化の処理としては、例えば移動平均処理を採用し、各フレームの手の位置をスムーズに変化させることができる。これらの処理を自動で行うことができるから、手の描く軌跡をスムーズで自然な形状とすることができ、動きの自然な手話ＣＧをリアルタイムに生成することが可能となる。

【0025】

〔手話ＣＧ生成装置〕
まず、本発明の実施形態による手話ＣＧ生成装置について説明する。図１は、本発明の実施形態による手話ＣＧ生成装置の構成例を示すブロック図である。この手話ＣＧ生成装置１は、ＩＫ化部１０、線形補間部１１及び平滑化部１２を備えている。

【0026】

ＩＫ化部１０は、当該手話ＣＧ生成装置１が生成する手話ＣＧデータに対応する日本語テキストを入力し、日本語テキストを、統計翻訳等の手法を用いて複数の単語（手話単語）に変換する。変換された複数の単語は、日本語テキストに対応する単語を時系列に並べたものである。例えば、日本語テキストが「明日は雨でしょう」の場合、この日本語テキストは、複数の単語「明日は」「雨」「でしょう」に変換される。

【0027】

ＩＫ化部１０は、日本語テキストに対応して時系列に並べた単語毎に、当該単語に対応する動きが定義されたＩＫデータを生成する。そして、ＩＫ化部１０は、単語毎のＩＫデータを線形補間部１１に出力する。

【0028】

前述のとおり、ＩＫデータは、末端部の動きを重要視した、末端部の位置等が設定されたデータであり、関節回転角による制御ではなく、末端部の位置座標による制御を可能にするデータである。ＩＫの技術では、部分的に末端部から起点方向（腰）へ向けて計算が進められる。例えば、手の位置を決めてから、肘の関節回転角が計算される。このような順番で処理を行うＩＫの技術が用いられるのは、人間の動作において、肘の関節回転角よりも手の位置の方が重要な意味を持つ場合が多いからである。

【0029】

図２は、ＩＫ化後の手の軌跡を説明する図である。図２において、黒点は、フレーム毎の手の位置を示し、黒点を結ぶ曲線は、手の描く軌跡を示す。矢印は、手の動く向きを示す。単語Ａ，Ｂは、日本語テキストに対応して時系列に並べた複数の単語のうち、前後する２つの単語である。

【0030】

図２の左側に示す黒点を結ぶ曲線は、単語ＡのＩＫデータに基づいた手の軌跡であり、右側に示す黒点を結ぶ曲線は、単語ＢのＩＫデータに基づいた手の軌跡である。単語Ａの手の描く軌跡のうち、所定位置に終点が定義され、単語Ｂの手の描く軌跡のうち、所定位置に始点が定義される。

【0031】

これらの終点及び始点は、単語毎に固定して設定され、接続する２つの単語Ａ，Ｂの組み合わせに応じて変更されることはない。例えば、単語Ａ及び単語Ｂをこの順番に接続する場合の単語Ａの終点は、単語Ａ及び単語Ｘをこの順番に接続する場合の単語Ａの終点と同じである。また、単語Ａ及び単語Ｂをこの順番に接続する場合の単語Ｂの始点は、単語Ｙ及び単語Ｂをこの順番に接続する場合の単語Ｂの始点と同じである。

【0032】

図２においては、単語Ａの終点は、手の描く軌跡において動きが終わる付近の所定位置に予め設定され、単語Ｂの始点は、手の描く軌跡において動きが始まる付近の所定位置に予め設定される。終点は、後述する平滑化の処理を開始する平滑化開始点であり、始点は、後述する平滑化の処理を終了する平滑化終了点である。終点及び始点の設定の詳細については、後述する。

【0033】

図１に戻って、線形補間部１１は、ＩＫ化部１０から、日本語テキストに対応する単語毎のＩＫデータを入力する。そして、線形補間部１１は、前後する２つの単語のうち先の単語の予め設定された終点に基づいて、最終端点を設定し、後の単語の予め設定された始点に基づいて、開始端点を設定する。線形補間部１１は、先の単語における最終端点の位置座標及び後の単語における開始端点の位置座標に基づいて、先の単語と後の単語との間を線形補間する。線形補間部１１は、線形補間後の日本語テキストに対応する手の描く軌跡を表すデータを手話ＣＧデータとして生成し、平滑化部１２に出力する。

【0034】

ここで、最終端点は、単語における手の描く軌跡を表す全てのサンプリング点のうち、その動きが終わる最後のサンプリング点である。また、開始端点は、単語における手の描く軌跡を表す全てのサンプリング点のうち、その動きが始まる最初のサンプリング点である。

【0035】

具体的には、終点始点間フレーム数Ｌ及びマージンフレーム数Ｍが予め設定されているものとする。終点始点間フレーム数Ｌは、先の単語の終点から後の単語の始点までの間の時間間隔を表すパラメータである。マージンフレーム数Ｍは、先の単語の終点から最終端点までの間の時間間隔を表すパラメータであり、後の単語の開始端点から始点までの間の時間間隔を表すパラメータでもある。Ｌ，Ｍは正の整数である。

【0036】

線形補間部１１は、先の単語の終点から、マージンフレーム数Ｍだけ後の（進めた）サンプリング点を最終端点に設定すると共に、後の単語の始点から、マージンフレーム数Ｍだけ前の（遡った）サンプリング点を開始端点に設定する。そして、線形補間部１１は、マージンフレーム数Ｍを２倍した乗算結果２Ｍを求め、終点始点間フレーム数Ｌから乗算結果２Ｍを減算し、接続フレーム数Ｃ（＝Ｌ−２Ｍ）を求める。そして、線形補間部１１は、接続フレーム数Ｃから１を減算し、接続点数ＣＣ（＝Ｃ−１）を求める。Ｃ，ＣＣは正の整数である。

【0037】

接続フレーム数Ｃは、先の単語の最終端点から後の単語の開始端点までの間の時間間隔を表すパラメータであり、接続点数ＣＣは、その間のサンプリング点の数（最終端点及び開始端点を含まないサンプリング点の数）である。予め設定された終点始点間フレーム数Ｌ及びマージンフレーム数Ｍから、接続フレーム数Ｃ及び接続点数ＣＣが決定され、先の単語（の最終端点）と後の単語（の開始端点）との間の時間間隔が決定される。

【0038】

線形補間部１１は、先の単語における最終端点の位置座標及び後の単語における開始端点の位置座標に基づいて、先の単語の最終端点と後の単語の開始端点と間を線形補間し、接続点数ＣＣのサンプリング点の位置座標を算出する。

【0039】

図３は、線形補間後の手の軌跡を説明する図である。終点始点間フレーム数Ｌ＝９、マージンフレーム数Ｍ＝３とすると、接続フレーム数Ｃ（＝Ｌ−２Ｍ）は３となり、接続点数ＣＣ（＝Ｃ−１）は２となる。最終端点ｍ１の位置は、単語Ａの終点からマージンフレーム数Ｍ＝３だけ進めたサンプリング点に設定され、当該位置が単語Ａにおける手の描く軌跡の最終位置となる。また、開始端点ｍ２の位置は、単語Ｂの始点からマージンフレーム数Ｍ＝３だけ遡ったサンプリング点に設定され、当該位置が単語Ｂにおける手の描く軌跡の開始位置となる。

【0040】

線形補間部１１により、単語Ａの最終端点ｍ１の位置座標及び単語Ｂの開始端点ｍ２の位置座標に基づいて、単語Ａの最終端点ｍ１と単語Ｂの開始端点ｍ２との間が線形補間され、接続点数ＣＣ＝２のサンプリング点ａ，ｂの位置座標が算出される。

【0041】

最終端点ｍ１及びサンプリング点ａの間隔、サンプリング点ａ，ｂの間隔、並びにサンプリング点ｂ及び開始端点ｍ２の間隔は、同じである。接続点数ＣＣは、単語Ａ，Ｂを接続する時間を示す数値であり、終点始点間フレーム数Ｌ及びマージンフレーム数Ｍから導かれる。図３の例では、接続点数ＣＣ＝２であり、単語Ａ，Ｂ間を接続フレーム数Ｃ（＝ＣＣ＋１）＝３で接続することを示している。

【0042】

このように、線形補間部１１により、単語間が線形補間され、単語間の手の描く軌跡を表したデータが生成される。そして、単語毎の手の描く軌跡を表したデータ、及び単語間の手の描く軌跡を表したデータが、線形補間後の日本語テキストに対応する手の描く軌跡を表す手話ＣＧデータ（図３の例では、サンプリング点ａ，ｂの位置座標を含むデータ）として、平滑化部１２に出力される。

【0043】

尚、線形補間部１１は、先の単語におけるサンプリング点の数が所定数よりも少ない場合、最終端点に所定数のサンプリング点の位置座標に基づいて線形補間を行い、最終端点の先に所定数のサンプリング点を追加するようにしてもよい。後の単語の開始端点についても同様である。これにより、単語のサンプリング点を増加して最終端点の位置を延長することができ、後述の平滑化部１２において、２つの単語の接続部分を、よりスムーズで自然な形状とすることができる。

【0044】

図１に戻って、平滑化部１２は、線形補間部１１から、線形補間後の日本語テキストに対応する手の描く軌跡を表した手話ＣＧデータを入力する。そして、平滑化部１２は、日本語テキストに対応する手の描く軌跡がスムーズで自然な形状となるように、入力した手話ＣＧデータを平滑化する。平滑化部１２は、予め設定された回数の平滑化処理を行い、平滑化後の手話ＣＧデータを出力する。

【0045】

図６は、平滑化部１２の処理例を示すフローチャートである。移動平均フレーム数Ｎ及び平滑化（移動平均）処理数Ｐが予め設定されているものとする。Ｎ，Ｐは正の整数である。

【0046】

平滑化部１２は、終点である平滑化開始点から始点である平滑化終了点までの間の軌跡上の各サンプリング点について順番に、当該サンプリング点のフレームを中心とした移動平均フレーム数Ｎの位置座標に基づいて、移動平均の計算を行う（ステップＳ６０１）。そして、平滑化部１２は、当該サンプリング点の位置座標を更新する（ステップＳ６０２）。

【0047】

平滑化部１２は、このような移動平均処理を、予め設定された移動平均処理数Ｐだけ行う（ステップＳ６０３）。平滑化部１２は、移動平均処理の回数が移動平均処理数Ｐよりも少なく、処理が完了していない場合（ステップＳ６０３：Ｎ）、ステップＳ６０１へ移行する。一方、平滑化部１２は、移動平均処理の回数が移動平均処理数Ｐに達した場合（ステップＳ６０３：Ｙ）、処理を終了する。

【0048】

図４は、１回の移動平均処理後における手の軌跡を説明する図である。マージンフレーム数Ｍ＝３及び移動平均フレーム数Ｎ＝３とする。マージンフレーム数Ｍ＝３のマージンに含まれるサンプリング点の数であるマージン点数ＭＭ（＝Ｍ＋１）は４となる。単語Ａの終点側のマージンに含まれるサンプリング点は、終点、終点と最終端点ｍ１との間の２つのサンプリング点、及び最終端点ｍ１である。また、単語Ｂの始点側のマージンに含まれるサンプリング点は、開始端点ｍ２、開始端点ｍ２と始点との間の２つのサンプリング点、及び始点である。

【0049】

線形補間部１１により、終点（平滑化開始点）からマージンフレーム数Ｍ＝３のマージンだけ進めた軌跡上のサンプリング点が、単語Ａの最終端点ｍ１として設定される。また、始点（平滑化終了点）からマージンフレーム数Ｍ＝３のマージンだけ遡った軌跡上のサンプリング点が、単語Ｂの開始端点ｍ２として設定される。

【0050】

また、平滑化部１２により、単語Ａの終点から単語Ｂの始点までの間の軌跡上の各サンプリング点（白抜きの丸）について順番に、当該サンプリング点のフレーム位置座標を中心とした移動平均フレーム数Ｎ＝３のフレームの位置座標に基づいて、移動平均の計算が行われ、当該サンプリング点の位置座標が更新される。これにより、１回の移動平均処理後のサンプリング点ｎ１，ｎ２，・・・，ｎ１０（黒点）における位置座標が得られる。

【0051】

例えば、軌跡上のサンプリング点ｂについて、当該サンプリング点ｂの位置座標、当該サンプリング点ｂよりも１つ手前のサンプリング点ｎ５の位置座標（移動平均処理後の位置座標）、及び、当該サンプリング点ｂよりも１つ後の開始端点ｍ２の位置座標に基づいて、移動平均の計算が行われる。これにより、サンプリング点ｂの位置座標が更新され、サンプリング点ｎ６の位置座標が得られる。

【0052】

図５は、Ｐ回の移動平均処理後における手の軌跡を説明する図である。平滑化部１２により、移動平均処理数Ｐの移動平均処理が行われ、Ｐ回の移動平均処理後のサンプリング点ｎ１’，ｎ２’，・・・，ｎ１０’（黒点）における位置座標が得られる。

【0053】

図５に示した手の軌跡と図４に示した手の軌跡とを比較すると、図５に示した手の軌跡の方がより平滑化されていることがわかる。

【0054】

このように、平滑化部１２により、前後する２つの単語の位置座標のうちマージンフレーム数Ｍのマージンに応じた数の位置座標及び単語間の位置座標が平滑化されるから、２つの単語の接続部分について、手の描く軌跡がスムーズで自然な形状となる。したがって、日本語テキストに対応する手の描く軌跡が、全体としてスムーズで自然な形状となる。

【0055】

また、予め設定された移動平均処理数Ｐを変更することにより、手の描く軌跡のスムーズさの程度を調整することができる。例えば、予め設定された移動平均処理数Ｐとして、マージンフレーム数Ｍと同じ値を用いるようにしてもよい。

【0056】

以上のように、本発明の実施形態の手話ＣＧ生成装置１によれば、線形補間部１１は、単語毎のＩＫデータを用いて、前後する２つの単語のうち先の単語の終点から所定マージンだけ後のサンプリング点を最終端点に設定し、後の単語の始点から所定マージンだけ前のサンプリング点を開始端点に設定する。そして、線形補間部１１は、先の単語における最終端点の位置座標及び後の単語における開始端点の位置座標に基づいて、先の単語と後の単語との間を線形補間する。

【0057】

平滑化部１２は、先の単語の終点から後の単語の始点までの間の軌跡上の各サンプリング点について順番に、移動平均の計算を行い、当該サンプリング点の位置座標を更新する。平滑化部１２は、このような移動平均処理を所定の移動平均処理数Ｐだけ行う。

【0058】

つまり、手話ＣＧ生成装置１は、ＩＫ化した２つの単語を接続する際に、ｘｙｚ座標で表した手の位置を線形補間し、平滑化することで、日本語テキストに対応する手話ＣＧデータを生成するようにした。

【0059】

これにより、２つの単語の接続部分について、手の描く軌跡がスムーズで自然な形状となる。これらの線形補間処理及び平滑化処理を自動で行うようにしたから、手の描く軌跡がスムーズで自然な形状となるように、手話ＣＧをリアルタイムに生成することが可能となる。また、移動平均処理数Ｐを変更することにより、手の描く軌跡のスムーズさの程度を調整し、所望の動きの手話ＣＧを得ることができる。

【0060】

図８は、従来の関節回転角方式を用いて接続した場合の手の軌跡を説明する図である。従来の関節回転角方式は、関節回転角を直接計算して２つの単語を接続するものである。従来の関節回転角方式では、ＣＧキャラクタの作り方に依存して手の位置が決定されることから、図８に示すように、２つの単語を接続した結果が不定となる。つまり、従来の関節回転角方式では、必ずしも意図する通りの自然な軌跡を得ることができるとは限らない。

【0061】

これに対し、本発明の実施形態では、図５に示したように、ＣＧキャラクタの作り方に依存することなく、意図する通りの自然な軌跡を得ることができる。

【0062】

また、従来は、２つの単語を接続する際に、先の単語の終点及び後の単語の始点を、２つの単語の組み合わせ毎に、異なる位置に設定していた。

【0063】

これに対し、本発明の実施形態では、これらの終点及び始点は、単語毎に予め固定した位置に設定し、２つの単語の組み合わせ毎に設定する必要がないから、全自動化にて手話ＣＧを生成する際に、処理負荷を低減することができる。

【0064】

また、従来は、２つの単語をスムーズに接続することを優先し、手の描く軌跡がスムーズな形状となるように処理を行うと、２つの単語の時間間隔が変化してしまい、適切な時間間隔とすることができなかった。すなわち、従来は、手の描く軌跡をスムーズな形状にすることはできるが、２つの単語の時間間隔を適切な時間とすることができず、結果として品質の高い手話ＣＧを得ることができなかった。

【0065】

これに対し、本発明の実施形態では、線形補間部１１は、予め設定された終点始点間フレーム数Ｌ及びマージンフレーム数Ｍから接続フレーム数Ｃ（＝Ｌ−２Ｍ）を求める。そして、線形補間部１１は、２つの単語間を線形補間し、接続フレーム数Ｃ（＝Ｌ−２Ｍ）に対応する接続点数ＣＣ（＝Ｃ−１）のサンプリング点の位置座標を算出する。本発明の実施形態では、２つの単語の時間間隔は、接続フレーム数Ｃにより決定される。

【0066】

これにより、予め設定された終点始点間フレーム数Ｌ及びマージンフレーム数Ｍを変更することで、接続フレーム数Ｃを変更することができ、２つの単語の時間間隔を変更することができる。つまり、手の描く軌跡をスムーズで自然な形状にすることができると共に、２つの単語の時間間隔を所望の時間間隔にすることができる。２つの単語の時間間隔を短くしたり、長くして間をとったりすることを、手の動きのスムーズさを気にすることなく自由に設定することができるため、人間の手話により近い手話ＣＧを生成することができる。

【0067】

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば前記実施形態では、平滑化部１２は、予め設定された移動平均処理数Ｐの移動平均処理を行い、手話ＣＧデータを生成するようにした。

【0068】

これに対し、平滑化部１２は、当該手話ＣＧ生成装置１が生成する手話ＣＧデータにおける手の速度、加速度、前後する２つの単語の間の時間間隔、前後する２つの単語の間の軌跡の長さ等のパラメータに応じて、移動平均処理数Ｐを設定するようにしてもよい。これは、現実の人間の手が描く軌跡のスムーズさの度合いは、軌跡の長さや移動時間等に依存すると考えられるからである。適切な移動平均処理数Ｐを設定することにより、自動的に軌跡のスムーズさの変化を再現することができる。例えば、軌跡の長さをパラメータとして用いる場合、平滑化部１２は、サンプリング点の座標位置に基づいて、軌跡の長さを算出し、軌跡の長さが長いほど、移動平均処理数Ｐの値が大きくなるように設定し、軌跡の長さが短いほど、移動平均処理数Ｐの値が小さくなるように設定する。

【0069】

また、平滑化部１２は、予め設定された複数の移動平均処理数Ｐ１，Ｐ２，・・・のそれぞれについて、移動平均の計算を行い、位置座標から算出した加速度に基づいて、サンプリング点の位置座標を決定するようにしてもよい。具体的には、平滑化部１２は、移動平均処理数Ｐ１，Ｐ２，・・・のそれぞれについて、移動平均の計算を行ない、移動平均処理数Ｐ１，Ｐ２，・・・に応じた、移動平均後のサンプリング点における位置座標のパターンを得る。そして、平滑化部１２は、移動平均処理数Ｐ１，Ｐ２，・・・に応じたパターン毎に、移動平均後のサンプリング点の位置座標に基づいて加速度を算出し、加速度のピークが最小となるパターンを選択し、当該パターンにおけるサンプリング点の位置座標を採用する。

【0070】

また、前記実施形態では、平滑化部１２による平滑化処理の例として移動平均処理を挙げて説明したが、本発明は、平滑化処理を移動平均処理に限定するものではなく、他の処理を用いるようにしてもよい。要するに、平滑化処理は、手の描く軌跡がスムーズな形状となるような処理であればよい。

【0071】

また、前記実施形態では、線形補間部１１は、予め設定された終点始点間フレーム数Ｌ及びマージンフレーム数Ｍに応じて線形補間を行い、平滑化部１２は、予め設定された移動平均フレーム数Ｎ及び移動平均処理数Ｐに応じて移動平均の計算を行うようにした。

【0072】

これに対し、線形補間部１１は、前後する２つの単語における先の単語の終点と後の単語の始点との間の距離ｄの値が小さいほど、終点始点間フレーム数Ｌ及びマージンフレーム数Ｍの値が小さくなるように、終点始点間フレーム数Ｌ及びマージンフレーム数Ｍを設定するようにしてもよい。また、線形補間部１１は、距離ｄの値が大きいほど、終点始点間フレーム数Ｌ及びマージンフレーム数Ｍの値が大きくなるように設定する。

【0073】

また同様に、平滑化部１２は、距離ｄの値が小さいほど、移動平均フレーム数Ｎ及び移動平均処理数Ｐの値が小さくなるように、移動平均フレーム数Ｎ及び移動平均処理数Ｐを設定するようにしてもよい。また、平滑化部１２は、距離ｄの値が大きいほど、移動平均フレーム数Ｎ及び移動平均処理数Ｐの値が大きくなるように設定する。これにより、距離ｄに応じた適切な終点始点間フレーム数Ｌ等のパラメータを設定することができるから、２つの単語の接続部分について、手の描く軌跡が、距離ｄに応じてスムーズな形状となる。

【0074】

尚、本発明の実施形態による手話ＣＧ生成装置１のハードウェア構成としては、通常のコンピュータを使用することができる。手話ＣＧ生成装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。手話ＣＧ生成装置１に備えたＩＫ化部１０、線形補間部１１及び平滑化部１２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

【符号の説明】

【0075】

１ 手話ＣＧ生成装置
１０ ＩＫ化部
１１ 線形補間部
１２ 平滑化部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】