特開 2024-164997 情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024164997

(43)【公開日】2024-11-28

(54)【発明の名称】情報処理装置及びプログラム

(51)【国際特許分類】

   G06T 13/80 20110101AFI20241121BHJP

   G06F 40/58 20200101ALI20241121BHJP

   G09B 21/00 20060101ALI20241121BHJP

【ＦＩ】

G06T13/80 B

G06F40/58

G09B21/00 F

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023080792

(22)【出願日】2023-05-16

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】内田 翼

(72)【発明者】

【氏名】宮▲崎▼ 太郎

(72)【発明者】

【氏名】中谷 真規

(72)【発明者】

【氏名】金子 浩之

(72)【発明者】

【氏名】佐野 雅規

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA08

5B050BA12

5B050EA12

5B050EA19

5B050FA05

(57)【要約】

【課題】手話特有の定型表現を再現した手話映像のモーションデータを日本語テキストから生成すること。
【解決手段】手話映像を生成する日本語テキストを手話単語列に翻訳する手話翻訳部と、手話単語列に従って日本語テキストに対応する手話映像のモーションデータを生成するモーション接続部と、を有し、手話翻訳部は、日本語テキストに含まれる定型表現を抽出し、定型表現を除いた日本語テキストを手話単語列に翻訳し、モーション接続部は、定型表現合成のテンプレートデータを用いて合成した日本語テキストに含まれる定型表現のモーションデータ、及び定型表現を除いた日本語テキストの手話単語のモーションデータの間を接続した手話映像のモーションデータを生成する情報処理装置により上記課題を解決する。
【選択図】図２

【特許請求の範囲】

【請求項1】

手話映像を生成する日本語テキストを手話単語列に翻訳する手話翻訳部と、
前記手話単語列に従って前記日本語テキストに対応する手話映像のモーションデータを生成するモーション接続部と、
を有し、
前記手話翻訳部は、前記日本語テキストに含まれる定型表現を抽出し、前記定型表現を除いた前記日本語テキストを手話単語列に翻訳し、
前記モーション接続部は、定型表現合成のテンプレートデータを用いて合成した前記日本語テキストに含まれる定型表現のモーションデータ、及び前記定型表現を除いた前記日本語テキストの手話単語のモーションデータの間を接続した手話映像のモーションデータを生成する情報処理装置。

【請求項2】

前記手話翻訳部は、前記日本語テキストに含まれる定型表現を抽出し、抽出した前記定型表現の部分を定型表現用フラグに置換した状態の前記日本語テキストを手話単語列に翻訳して、前記定型表現用フラグが付いた前記手話単語列を出力し、
前記モーション接続部は、前記定型表現用フラグに対応する前記定型表現合成のテンプレートデータを読み出し、前記定型表現合成のテンプレートデータを用いて前記日本語テキストに含まれる定型表現のモーションデータを合成して一つの手話単語の状態とした後で、前記定型表現のモーションデータと前記定型表現を除いた前記日本語テキストの手話単語のモーションデータとの間を接続した手話映像のモーションデータを生成する
請求項１記載の情報処理装置。

【請求項3】

前記モーション接続部が生成した前記モーションデータに従って、アバターが動作する手話映像を生成する映像生成部、
を更に有する請求項１又は２記載の情報処理装置。

【請求項4】

前記定型表現は、日付、数字＋単位、西暦、時刻、又は略語である
請求項１又は２記載の情報処理装置。

【請求項5】

前記定型表現合成のテンプレートデータは、前記定型表現のモーションデータの合成に用いる前記モーションデータの情報と、前記モーションデータを用いた合成処理の情報とを含む
請求項１又は２記載の情報処理装置。

【請求項6】

情報処理装置に、
手話映像を生成する日本語テキストを手話単語列に翻訳する手話翻訳手順、
前記手話単語列に従って前記日本語テキストに対応する手話映像のモーションデータを生成するモーション接続手順、
を実行させ、
前記手話翻訳手順は、
前記日本語テキストに含まれる定型表現を抽出し、
前記定型表現を除いた前記日本語テキストを手話単語列に翻訳し、
前記モーション接続手順は、
定型表現合成のテンプレートデータを用いて合成した前記日本語テキストに含まれる定型表現のモーションデータ、及び前記定型表現を除いた前記日本語テキストの手話単語のモーションデータの間を接続した手話映像のモーションデータを生成する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置及びプログラムに関する。

【背景技術】

【0002】

例えば日本語テキストから手話映像を生成するにあたって、日本語から手話への翻訳とコンピュータグラフィックス（ＣＧ）アニメーションとを組み合わせた手話映像の自動生成技術は、手話を母語とする聴覚障がい者に向けた情報提供、又は聴者と聴覚障がい者との間でコミュニケーションが必要な場面で広く利用される可能性がある。

【0003】

元言語から手話に翻訳する際に、最初に元言語から手話単語列を変換し、変換した手話単語列から各単語に対応するＣＧを抽出し、抽出したＣＧを連結して手話映像を生成する手法は従来から知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４－２１１８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

日本語テキストを入力とした手話映像（手話ＣＧアニメーション）を生成する従来の手法では、翻訳結果である手話単語列に従って手話単語のモーションデータを読込み、時系列に並べたモーションデータ間を補間することで、もとの日本語テキストに対応する手話映像のモーションを生成する。

【0006】

日本語テキストを入力とした手話ＣＧアニメーションを生成する従来の手法では、手話単語のモーションを辞書形と呼ばれる標準形のまま接続するため、手話において頻繁に用いられている手話特有の定型表現を使うことができず、生成した手話ＣＧアニメーションが手話として不自然な動作になってしまうという課題があった。

【0007】

本開示は、手話特有の定型表現を再現した手話映像のモーションデータを日本語テキストから生成すること、を課題とする。

【課題を解決するための手段】

【0008】

本開示は、手話映像を生成する日本語テキストを手話単語列に翻訳する手話翻訳部と、前記手話単語列に従って前記日本語テキストに対応する手話映像のモーションデータを生成するモーション接続部と、を有し、前記手話翻訳部は、前記日本語テキストに含まれる定型表現を抽出し、前記定型表現を除いた前記日本語テキストを手話単語列に翻訳し、前記モーション接続部は、定型表現合成のテンプレートデータを用いて合成した前記日本語テキストに含まれる定型表現のモーションデータ、及び前記定型表現を除いた前記日本語テキストの手話単語のモーションデータの間を接続した手話映像のモーションデータを生成する情報処理装置である。

【発明の効果】

【0009】

本開示によれば、手話特有の定型表現を再現した手話映像のモーションデータを日本語テキストから生成できる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。

【図2】本実施形態に係る情報処理装置の機能構成の一例を示す図である。

【図3】日本語テキストから手話ＣＧアニメーションを生成する際に、翻訳結果の手話単語列に従ってモーションデータを接続する手法の一例の説明図である。

【図4】日本語テキストから手話ＣＧアニメーションを生成する際に、手話における定型表現の部分を再現する手法の一例の説明図である。

【図5】日付以外の定型表現の一例の説明図である。

【図6】本実施形態に係る情報処理装置の処理の一例を示すフローチャートである。

【図7】本実施形態に係る情報処理システムの一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本開示を実施するための形態（以下、本実施形態と呼ぶ）について図面を参照して説明する。

【0012】

＜概要＞
本実施形態は、日本語テキストから手話単語列への翻訳時に、手話で定型表現となる部分を抽出し、モーションデータの接続時、定型表現の部分に定型表現合成のテンプレートデータを用いた合成処理を適用することで、実際の手話表現により近い動きを手話映像の一例である手話ＣＧアニメーションで再現するものである。

【0013】

手話で発話する場合は、複数の手話単語を時系列に列挙して文を構成する際に、各手話単語において文脈又は前後の単語に合わせた語形変化などが頻繁に発生する。

【0014】

例えば、５月８日などの日付を手話で表現する場合は、月と日の数字を上下に並べる形で両手を使って同時に提示する定型表現が用いられる。また、数字に％（パーセント）又はｍ（メートル）などの単位が付く場合は、数字と単位を順に横にずらして提示する定型表現が用いられる。さらに、西暦又は時刻を表現する場合は、最初の数字だけを左手で出し、そのまま保持して残りの数字を右手でずらして提示する定型表現が用いられる。

【0015】

このような定型表現は、視覚言語である手話において、より直感的に情報を伝えるために頻繁に用いられている。したがって、定型表現が使われていない場合は、不自然で理解し難い手話ＣＧアニメーションとなってしまう。

【0016】

一方で、日本語テキストを入力とした手話ＣＧアニメーション生成では、日本語から手話への翻訳に機械翻訳（特開２０１４－２１１８０号公報）を用いる手法がある。日本語から手話への機械翻訳では、翻訳結果として手話の単語が時系列で並んだ手話単語列が出力される。

【0017】

手話ＣＧアニメーションで用いる手話の動きは、手指及び顔表情などを含んだ実際の手話の動きをモーションキャプチャし、ＢＶＨ（Biovision Hierarchy）などのファイル形式でモーションデータとして保存したものである。手話単語のモーションデータは、単語又はフレーズ単位で収録されている。また、手話単語のモーションデータを時系列に並べて手話単語間を補間して接続することで手話映像のモーションデータを生成する。日本語テキストから手話ＣＧアニメーションを生成する場合も同様に、翻訳結果である手話単語列に含まれる複数の手話単語のモーションデータを読込み、モーションデータの間を補間して接続することで、最終的な手話ＣＧアニメーションで使用するモーションデータを生成する。

【0018】

ここで使用される手話単語のモーションデータは、辞書形と呼ばれる辞書に載っているような標準形である。標準形のモーションデータは、基本的に話者正面で表現し、片手のみの場合に右手を使用する。したがって、手話単語列のモーションデータをそのまま接続するだけでは、手話特有の定型表現を再現できず、手話単語のモーションデータを順に提示するだけになってしまうため、生成される手話ＣＧアニメーションも不自然で理解し難い手話となる。

【0019】

そこで、本実施形態では、日本語テキストから手話単語列への翻訳時に、手話で定型表現となる部分を抽出して、定型表現の部分を定型表現用フラグに置換することで、定型表現合成のテンプレートデータをモーションデータの接続時に読み込んで利用する。

【0020】

本実施形態では、入力した日本語テキストから手話特有の定型表現を再現した手話ＣＧアニメーションのモーションデータを自動生成できるため、自然な手話を再現した手話ＣＧアニメーションが生成可能となる。さらに、本実施形態では、手話の定型表現用フラグと定型表現合成のテンプレートデータのペアを追加することで、新たな定型表現への対応も容易に実現できる。

【0021】

＜ハードウェア構成＞
本実施形態に係る情報処理装置１０は、例えば図１に示す構成により実現される。図１は本実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。

【0022】

図１の情報処理装置１０は、例えばＣＰＵ（Central Processing Unit）５００、記憶装置５０２、通信装置５０４、入力装置５０６、出力装置５０８、及びメディアＩ／Ｆ５１０を有する。

【0023】

ＣＰＵ５００はプログラムに従って情報処理装置１０を制御する。記憶装置５０２は例えばＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリ、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などのストレージである。記憶装置５０２はＣＰＵ５００で実行するプログラム及びデータを記憶する。

【0024】

通信装置５０４は、通信を制御するネットワーク回路などの通信デバイスである。入力装置５０６は、タッチパッド、コントローラ、マウス、キーボード、カメラ、マイクなどの入力デバイスである。また、出力装置５０８はディスプレイ、スピーカなどの出力デバイスである。タッチパネルは入力装置５０６の一例であるタッチパッドと出力装置５０８の一例であるディスプレイとを組み合わせることで実現される。メディアＩ／Ｆ５１０はＵＳＢメモリ、フラッシュメモリ等のメディア５１２に対するデータの読み出し又は書き込みを制御する。図１のハードウェア構成は一例である。

【0025】

＜機能構成＞
図２は、本実施形態に係る情報処理装置の機能構成の一例を示す図である。なお、図２の機能構成は一例であって、例えば図２に示した情報処理装置１０の機能構成の少なくとも一部を他の情報処理装置に設け、連携して処理を行うようにしてもよい。

【0026】

図２の情報処理装置１０の機能構成は、１つ以上のプログラムがＣＰＵ５００に実行させる処理により実現される。情報処理装置１０は、日本語テキスト記憶部２０、手話翻訳部３０、モーション接続部４０、及び映像生成部５０を有する。手話翻訳部３０は、テキスト形態素解析部３１、定型表現情報抽出部３２、翻訳部３３、及び定型表現情報挿入部３４を有する。モーション接続部４０は、定型表現合成テンプレート読込部４１、モーションデータ読込部４２、モーション補間部４３、定型表現合成テンプレートＤＢ４４、及び手話単語モーションＤＢ４５を有する。映像生成部５０は、ＣＧアニメーション生成部５１及び手話アバターデータ記憶部５２を有する。

【0027】

日本語テキスト記憶部２０は、手話ＣＧアニメーションを生成する日本語テキストを記憶する。手話翻訳部３０は、手話ＣＧアニメーションを生成する日本語テキストを手話単語列に翻訳する。手話翻訳部３０のテキスト形態素解析部３１は、入力された日本語テキストを単語ごとに分割して品詞分類し、形態素解析結果として出力する。

【0028】

定型表現情報抽出部３２は、手話で定型表現となる特定の名詞（日付、数字＋単位、西暦、時刻、又は略語など）が日本語テキストに含まれている場合、その特定の名詞の部分を定型表現として抽出する。定型表現情報抽出部３２は、定型表現の部分（特定の名詞部分）を定型表現用フラグで一時的に置換した状態の形態素解析結果を出力する。定型表現情報抽出部３２は、定型表現の部分の情報（定型表現情報）を抽出し、出力する。

【0029】

翻訳部３３は、定型表現の部分を定型表現用フラグで一時的に置換した状態の形態素解析結果を手話単語列に翻訳し、出力する。定型表現情報挿入部３４は、翻訳結果である手話単語列の定型表現用フラグの部分に、定型表現情報抽出部３２が抽出した定型表現情報を挿入し、定型表現用フラグが付いた手話単語列としてモーション接続部４０の定型表現合成テンプレート読込部４１に出力する。

【0030】

なお、定型表現の部分を定型表現用フラグで一時的に置換した状態の形態素解析結果を手話単語列に翻訳する手法については、プレースホルダと呼ばれる置換用のタグ情報を使用する手法（例えば特開２０２０－１６６６７２号公報参照）などを応用することが考えられるが、この限りではない。また、手話ＣＧアニメーションを生成する日本語テキストに定型表現に該当する名詞が含まれない場合は、定型表現情報抽出部３２及び定型表現情報挿入部３４の処理は省略される。手話翻訳部３０はモーション接続部４０に定型表現用フラグが付いた手話単語列を出力する。

【0031】

モーション接続部４０は手話翻訳部３０から定型表現用フラグが付いた手話単語列を入力される。定型表現合成テンプレート読込部４１は、定型表現用フラグに対応する定型表現合成のテンプレートデータを定型表現合成テンプレートＤＢ４４から読み出す。定型表現合成テンプレートＤＢ４４は、定型表現用フラグと定型表現合成のテンプレートデータとを対応付けて記憶している。

【0032】

モーションデータ読込部４２は、手話単語列に列挙された手話単語のモーションデータを手話単語モーションＤＢ４５から読み出す。手話単語モーションＤＢ４５は、手話単語とモーションデータとを対応付けて記憶している。

【0033】

また、モーションデータ読込部４２は、定型表現合成テンプレート読込部４１が読み出した定型表現合成のテンプレートデータを手話単語列中の該当箇所に挿入し、そのテンプレート内で使用する手話単語のモーションデータについても手話単語モーションＤＢ４５から読み出す。

【0034】

モーション補間部４３は、モーションデータ読込部４２で読み出したモーションデータの間を補間して接続することにより、手話ＣＧアニメーションのモーションデータを生成する。なお、手話単語列中の該当箇所に挿入した定型表現合成のテンプレートデータの部分については、モーション補間部４３による補間処理の前に、後述の定型表現合成の処理を実施し、時系列に並んだ一つの手話単語の状態とした後で、モーション補間部４３による補間処理を適用し、前後のモーションデータと接続する。手話単語列中の該当箇所に挿入した定型表現合成のテンプレートデータの部分については、手話特有の定型表現を再現した自然な手話ＣＧアニメーションのモーションデータを生成できるので、手話単語列のモーションデータをそのまま接続して手話ＣＧアニメーションのモーションデータを生成する場合と比べて、より実際の手話に近い動きのモーションデータを生成できる。

【0035】

モーション接続部４０は、生成した手話ＣＧアニメーションのモーションデータを映像生成部５０に出力する。映像生成部５０は、手話ＣＧアニメーションのモーションデータをモーション接続部４０から入力される。

【0036】

ＣＧアニメーション生成部５１は、モーション接続部４０から入力された手話ＣＧアニメーションのモーションデータに従って、アバターが動作する手話映像を生成する。手話アバターデータ記憶部５２は、手話用のモデルデータの一例である手話アバターデータを記憶している。ＣＧアニメーション生成部５１は、モーション接続部４０から入力された手話ＣＧアニメーションのモーションデータと、手話アバターデータ記憶部５２から読み出して待機状態の手話アバターデータとを組み合わせて、手話ＣＧアニメーションをレンダリングし、ユーザに提示する。

【0037】

＜処理＞
本実施形態における具体的な処理について、手話の定型表現である「日付」の表現が含まれる日本語テキストから手話ＣＧアニメーションを生成する例を挙げて説明する。

【0038】

図３は、日本語テキストから手話ＣＧアニメーションを生成する際に、翻訳結果の手話単語列に従ってモーションデータを接続する手法の一例の説明図である。図３は、日本語テキストが「あさって４月２８日は、全国的に晴れる見込みです。」の例であり、日本語テキストから手話ＣＧアニメーションを生成する例を示している。

【0039】

図３の日本語テキスト中の「４月２８日」は日付である。手話では、月と日の数字を左右の手で上下に並べて同時に提示する形の定型表現が用いられる。図３の手法では、翻訳ＡＩ（Artificial Intelligence）による翻訳結果の手話単語列「{Ｎ} {明後日} {４月} {２８} {日} {Ｎ} {日本} …」に従って読み出した各手話単語のモーションデータを辞書形のまま補間して接続し、手話ＣＧアニメーションのモーションデータを生成する。手話単語{Ｎ}は「うなずき」を表している。

【0040】

定型表現となるべき日付表現の「４月２８日」の部分は、手話単語列中の「{４月} {２８} {日}」の３つの手話単語に翻訳される。翻訳結果の手話単語列に従って読み出した各モーションデータは、すべて辞書形となる。

【0041】

例えば手話単語{４月}のモーションデータは、話者正面の顔の前あたりで表現される動きで、左手で数字の「４」を表す動きと右手で「月」を表す動きである。手話単語{２８}のモーションデータは、話者正面の顔の前あたりで表現される動きで、右手で数字の「２８」を表す動きである。手話単語{日}のモーションデータは、話者正面の顔の前あたりで表現される動きで、両手で漢字の「日」を表す動きである。

【0042】

定型表現を使わない手話ＣＧアニメーションでは、手話単語のモーションデータ間を補間して接続し、「{４月} {２８} {日}」の３つの辞書形のモーションデータを順に再生する形になるため、手話特有の定型表現を再現できず、実際の手話と異なる動きの手話ＣＧアニメーションとなってしまう。なお、手話における日付表現以外の定型表現の具体例については後述する。

【0043】

図４は、日本語テキストから手話ＣＧアニメーションを生成する際に、手話における定型表現の部分を再現する手法の一例の説明図である。図４の日本語テキストは図３と同様である。図４の日本語テキストが入力されると、手話翻訳部３０のテキスト形態素解析部３１は、入力された日本語テキストを単語ごとに分割して品詞分類し、形態素解析結果として出力する。

【0044】

定型表現情報抽出部３２は、手話で定型表現となる特定の名詞（日付）が日本語テキストに含まれているため、その日付「４月２８日」を定型表現情報として抽出し、日付「４月２８日」部分を定型表現用フラグ「ｄａｔｅ」で一時的に置換する。定型表現情報抽出部３２は、日付「４月２８日」部分を定型表現用フラグ「ｄａｔｅ」で一時的に置換した状態（"あさって","ｄａｔｅ"，"は"，"、"，"全国"，…）の形態素解析結果を翻訳部３３に出力する。

【0045】

翻訳部３３は、日付「４月２８日」部分を定型表現用フラグ「ｄａｔｅ」で一時的に置換した状態の形態素解析結果を手話単語列に翻訳し、出力する。定型表現情報挿入部３４は、翻訳結果として翻訳部３３から出力された手話単語列「{Ｎ} {明後日} {ｄａｔｅ} {Ｎ} {日本} …」が入力される。

【0046】

定型表現情報挿入部３４は、翻訳結果として出力された手話単語列「{Ｎ} {明後日} {ｄａｔｅ} {Ｎ} {日本} …」に対し、定型表現用フラグ「ｄａｔｅ」が「４月２８日」であるという定型表現情報を利用し、定型表現用フラグ{ｄａｔｅ}部分を{ｄａｔｅ:４月２８日}に置換する。定型表現情報挿入部３４は、定型表現用フラグが付いた手話単語列「{Ｎ} {明後日} {ｄａｔｅ:４月２８日} {Ｎ} {日本} …」を手話翻訳部３０の出力結果としてモーション接続部４０に入力する。なお、形態素解析した時点で手話の定型表現が含まれない日本語テキストであることが判定できれば、定型表現情報抽出部３２及び定型表現情報挿入部３４の処理を省略してもよい。

【0047】

モーション接続部４０は、テンプレートデータを用いた定型表現合成の処理を以下のように行う。

【0048】

定型表現合成テンプレート読込部４１は、入力された手話単語列「{Ｎ} {明後日} {ｄａｔｅ:４月２８日} {Ｎ} {日本} …」中の定型表現用フラグを照会する。今回の例では定型表現用フラグ{ｄａｔｅ:４月２８日}をもとに、日付の定型表現合成のテンプレートデータを定型表現合成テンプレートＤＢ４４から読み出す。

【0049】

日付の定型表現合成のテンプレートデータは、月と日の数字を左右の手で上下に並べて同時に提示する形のモーションデータを合成する為の情報となる。例えば日付の定型表現合成のテンプレートデータでは、図４の下段に一例を示したように、月モーション及び日モーションを接続して日付の定型表現合成を行う。月モーションは、１～１２月から選択した日付の月を表す。日モーションは、月モーションの左手のみ型残り（左腕関節の最終フレームの回転情報保持）させ、１～３１日から選択した日付の日を表す日モーションの提示位置を並行移動（ＩＫ（Inverse Kinematics）処理で手首位置を月モーションの左手の下に移動）させ、日付の月と日を上下に同時提示する。

【0050】

なお、定型表現合成テンプレート読込部４１は、入力された手話単語列に定型表現用フラグが含まれない場合、定型表現合成のテンプレートデータを定型表現合成テンプレートＤＢ４４から読み出す処理を省略する。

【0051】

モーションデータ読込部４２は、手話単語列の各手話単語に対応するモーションデータを手話単語モーションＤＢ４５から読み出す。また、モーションデータ読込部４２は、定型表現合成のテンプレートデータで使用するモーションデータも手話単語モーションＤＢ４５から読み出す。

【0052】

モーション補間部４３は、定型表現用フラグの部分「日付：４月２８日」の定型表現合成の処理を行い、図４の「テンプレートを用いた定型表現合成の処理」に示すように、左手で「４月」の数字を保持したまま、その下に右手で「２８日」を表現する日付の定型表現のモーションデータを生成する。その後、先に生成した日付の定型表現の部分は「４月２８日」という一つの手話単語のモーションデータのように扱う。モーション補間部４３は、手話単語のモーションデータ間を補間して接続することで、手話ＣＧアニメーションのモーションデータを生成する。

【0053】

このため、モーション接続部４０は、手話ＣＧアニメーションを生成する日本語テキストに手話で定型表現となる特定の名詞が含まれていた場合、その特定の名詞の部分について、手話特有の定型表現を再現した自然な手話ＣＧアニメーションのモーションデータを生成できる。

【0054】

図５は日付以外の定型表現の一例の説明図である。図５は、日付以外の定型表現の例として、数字＋単位、西暦／時刻、及び略語の定型表現を示している。図５の左側は、辞書形の手話単語を順に提示する例を示している。図５の右側は、定型表現の部分に、テンプレートデータを用いた定型表現合成の処理を行って提示する例を示している。

【0055】

図５の左側に示したように辞書形の手話単語を順に提示した場合は、手話特有の定型表現を再現できず、実際の手話と異なる動きの手話ＣＧアニメーションとなってしまう。本実施形態では、図５の右側に示したように、定型表現の部分に、テンプレートデータを用いた定型表現合成の処理を行って提示することで、手話特有の定型表現を再現している。

【0056】

映像生成部５０のＣＧアニメーション生成部５１は、モーション接続部４０から入力された手話ＣＧアニメーションのモーションデータと、手話アバターデータ記憶部５２から読み出して待機状態の手話アバターデータとを組み合わせて、手話ＣＧアニメーションをレンダリングし、ユーザに提示する。

【0057】

図６は、本実施形態に係る情報処理装置の処理の一例を示すフローチャートである。ステップＳ１００において、情報処理装置１０は手話ＣＧアニメーションを生成する日本語テキストを入力される。ステップＳ１０２において、手話翻訳部３０のテキスト形態素解析部３１は、入力された日本語テキストを単語ごとに分割して品詞分類し、形態素解析結果として出力する。

【0058】

ステップＳ１０４において、定型表現情報抽出部３２は、手話で定型表現となる特定の名詞（日付、数字＋単位、西暦、時刻、又は略語など）が、手話ＣＧアニメーションを生成する日本語テキストに含まれているか否かを判定する。

【0059】

手話で定型表現となる特定の名詞が、手話ＣＧアニメーションを生成する日本語テキストに含まれている場合、定型表現情報抽出部３２は、ステップＳ１０８に進む。ステップＳ１０８において、定型表現情報抽出部３２は、定型表現用フラグ置換処理を行った後でステップＳ１１０に進む。なお、定型表現用フラグ置換処理は、定型表現の部分（特定の名詞部分）を定型表現用フラグで一時的に置換する処理である。また、手話で定型表現となる特定の名詞が、手話ＣＧアニメーションを生成する日本語テキストに含まれていない場合、定型表現情報抽出部３２は、ステップＳ１１０に進む。

【0060】

ステップＳ１１０において、翻訳部３３は、定型表現の部分を定型表現用フラグで一時的に置換した状態の形態素解析結果を手話単語列に翻訳し、出力する。つまり、翻訳部３３は、定型表現用フラグで一時的に置換することで定型表現の部分を除いた日本語テキストを手話単語列に翻訳している。

【0061】

ステップＳ１１２において、定型表現情報挿入部３４は、翻訳結果である手話単語列に対して定型表現情報挿入処理を行う。なお、定型表現情報挿入処理は、翻訳結果である手話単語列の定型表現用フラグの部分に、定型表現情報抽出部３２が抽出して出力した定型表現情報を挿入する処理である。定型表現情報挿入部３４は、モーション接続部４０に定型表現用フラグが付いた手話単語列を出力する。

【0062】

ステップＳ１１４において、モーション接続部４０の定型表現合成テンプレート読込部４１は、手話翻訳部３０から定型表現用フラグが付いた手話単語列を入力される。定型表現合成テンプレート読込部４１は、定型表現合成テンプレートＤＢ４４から、定型表現用フラグに対応する定型表現合成のテンプレートデータを読み出す。

【0063】

ステップＳ１１６において、モーションデータ読込部４２は、定型表現合成テンプレート読込部４１が読み出した定型表現合成のテンプレートデータを手話単語列中の該当箇所に挿入し、そのテンプレート内で使用する手話単語のモーションデータと、手話単語列に列挙された手話単語のモーションデータとを手話単語モーションＤＢ４５から読み出す。

【0064】

ステップＳ１１８において、モーション補間部４３は、手話単語列中の該当箇所に挿入した定型表現合成のテンプレートデータの部分について、モーション補間部４３による補間処理の前に、定型表現合成の処理を実施することで、時系列に並んだ一つの手話単語の状態とする。また、モーション補間部４３は、定型表現合成の処理を実施して一つの手話単語の状態となったモーションデータ、及び定型表現以外の手話単語のモーションデータの間を補間して接続することにより、手話ＣＧアニメーションのモーションデータを生成する。

【0065】

ステップＳ１２０において、映像生成部５０は、手話ＣＧアニメーションのモーションデータをモーション接続部４０から入力される。ＣＧアニメーション生成部５１は、入力された手話ＣＧアニメーションのモーションデータに従って、アバターが動作する手話映像を生成する。

【0066】

本実施形態によれば、入力となる日本語テキストに手話で定型表現となる特定の名詞が含まれている場合に、翻訳結果の手話単語列の該当箇所に定型表現合成のテンプレートを適用することで、実際の手話表現に近いより自然な手話ＣＧアニメーションを自動生成することが可能となる。

【0067】

＜他の実施形態＞
上記の実施形態は、図１の情報処理装置１０の構成で実現する例を説明したが、複数台の情報処理装置１０が連携して処理を行う情報処理システムで実現してもよい。また、上記の実施形態は、図７の情報処理システムのように、手話翻訳装置１０１、モーション接続装置１０２、及び映像生成装置１０３が提供するＡＰＩ（Application Programming Interface）を、情報処理装置１０がネットワーク１１０を介して呼び出して利用することで実現してもよい。ネットワーク１１０は、インターネット、ＬＡＮ（Local Area Network）などのデータ通信可能な通信網であればよい。

【0068】

手話翻訳装置１０１は、図２の手話翻訳部３０の機能をＡＰＩにより提供する情報処理装置の一例である。モーション接続装置１０２は、図２のモーション接続部４０の機能をＡＰＩにより提供する情報処理装置の一例である。映像生成装置１０３は、図２の映像生成部５０の機能をＡＰＩにより提供する情報処理装置の一例である。

【0069】

また、複数台の情報処理装置１０が連携して処理を行う情報処理システムでは、図２の手話翻訳部３０及びモーション接続部４０の機能を有する情報処理装置１０と、図２の映像生成部５０の機能を有する情報処理装置１０と、が連携して処理を行ってもよい。さらに、複数台の情報処理装置１０が連携して処理を行う情報処理システムでは、図２の手話翻訳部３０の機能を有する情報処理装置１０と、図２のモーション接続部４０の機能を有する情報処理装置１０と、図２の映像生成部５０の機能を有する情報処理装置１０と、が連携して処理を行ってもよい。

【0070】

開示した本実施形態の情報処理システムは例示であって制限的なものではないと考えられるべきである。上記の実施形態は、添付の請求の範囲、及びその主旨を逸脱することなく、様々な形態で変形及び改良が可能である。また、上記した複数の実施形態に記載された事項は矛盾しない範囲で他の構成も取り得ることができ、また、矛盾しない範囲で組み合わせることができる。

【符号の説明】

【0071】

１０ 情報処理装置
２０ 日本語テキスト記憶部
３０ 手話翻訳部
３１ テキスト形態素解析部
３２ 定型表現情報抽出部
３３ 翻訳部
３４ 定型表現情報挿入部
４０ モーション接続部
４１ 定型表現合成テンプレート読込部
４２ モーションデータ読込部
４３ モーション補間部
４４ 定型表現合成テンプレートＤＢ
４５ 手話単語モーションＤＢ
５０ 映像生成部
５１ ＣＧアニメーション生成部
５２ 手話アバターデータ記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】