特開2023-173001手話単語時間長算出装置およびそのプログラム、ならびに、手話ＣＧ映像生成装置およびそのプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023173001
(43)【公開日】2023-12-07
(54)【発明の名称】手話単語時間長算出装置およびそのプログラム、ならびに、手話ＣＧ映像生成装置およびそのプログラム
(51)【国際特許分類】
G06T 13/40 20110101AFI20231130BHJP
G09B 21/00 20060101ALI20231130BHJP
【ＦＩ】
G06T13/40
G09B21/00 F
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022084923
(22)【出願日】2022-05-25
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】森田 祐介
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050BA08
5B050BA12
5B050CA07
5B050EA19
(57)【要約】
【課題】手話動作に対応した手話単語の時間長を算出することが可能な手話単語時間長算出装置を提供する。
【解決手段】手話単語時間長算出装置１は、手話単語全体の語彙数を要素数、手話単語列に出現する手話単語ごとの頻度を要素、とする単語頻度ベクトルを生成する単語頻度ベクトル生成部２２と、手話単語列と手話単語列の手話動作の時間長とを対とするデータベースを用いて、単語頻度ベクトルと各手話単語の単語時間長を要素とする単語時間長ベクトルとの内積により手話単語列の時間長を表した多変数線形モデルを重回帰分析し、手話単語の時間長を算出する重回帰分析部２３と、を備える
【選択図】図１
【解決手段】手話単語時間長算出装置１は、手話単語全体の語彙数を要素数、手話単語列に出現する手話単語ごとの頻度を要素、とする単語頻度ベクトルを生成する単語頻度ベクトル生成部２２と、手話単語列と手話単語列の手話動作の時間長とを対とするデータベースを用いて、単語頻度ベクトルと各手話単語の単語時間長を要素とする単語時間長ベクトルとの内積により手話単語列の時間長を表した多変数線形モデルを重回帰分析し、手話単語の時間長を算出する重回帰分析部２３と、を備える
【選択図】図１
【特許請求の範囲】
【請求項1】
手話単語列と前記手話単語列の手話動作の時間長とを対とするデータベースから、個々の手話単語の手話動作の時間長を算出する手話単語時間長算出装置であって、
手話単語全体の語彙数を要素数、前記手話単語列に出現する手話単語ごとの頻度を要素、とする単語頻度ベクトルを生成する単語頻度ベクトル生成部と、
前記データベースを用いて、前記単語頻度ベクトルと各手話単語の単語時間長を要素とする単語時間長ベクトルとの内積により前記手話単語列の時間長を表した多変数線形モデルを重回帰分析し、前記手話単語の時間長を算出する重回帰分析部と、
を備えることを特徴とする手話単語時間長算出装置。
手話単語全体の語彙数を要素数、前記手話単語列に出現する手話単語ごとの頻度を要素、とする単語頻度ベクトルを生成する単語頻度ベクトル生成部と、
前記データベースを用いて、前記単語頻度ベクトルと各手話単語の単語時間長を要素とする単語時間長ベクトルとの内積により前記手話単語列の時間長を表した多変数線形モデルを重回帰分析し、前記手話単語の時間長を算出する重回帰分析部と、
を備えることを特徴とする手話単語時間長算出装置。
【請求項2】
前記重回帰分析部は、前記多変数線形モデルにおいて、前記手話動作の予測時間長と、前記データベースに記憶されている手話単語列の単語列時間長との誤差を最小化することで、前記手話単語の時間長を算出することを特徴とする請求項１に記載の手話単語時間長算出装置。
【請求項3】
コンピュータを、請求項１または請求項２に記載の手話単語時間長算出装置として機能させるための手話単語時間長算出プログラム。
【請求項4】
手話単語列と前記手話単語列の手話動作の時間長とを対とするデータベースから、重回帰分析により算出した個々の手話単語の手話動作の時間長を用いて、手話単語列から手話ＣＧ映像を生成する手話ＣＧ映像生成装置であって、
入力される手話単語列を構成する手話単語ごとに、手話単語に対応するモーションデータを用いて、手話動作をＣＧで表現した手話単語ＣＧ映像を生成する手話単語ＣＧ映像生成部と、
前記手話単語ＣＧ映像を、前記重回帰分析により算出された手話単語の手話動作の時間長となるように調整する時間長調整部と、
時間長を調整された前記手話単語ＣＧ映像を前記手話単語列の順に連結して前記手話ＣＧ映像を生成する映像連結部と、
を備えることを特徴とする手話ＣＧ映像生成装置。
入力される手話単語列を構成する手話単語ごとに、手話単語に対応するモーションデータを用いて、手話動作をＣＧで表現した手話単語ＣＧ映像を生成する手話単語ＣＧ映像生成部と、
前記手話単語ＣＧ映像を、前記重回帰分析により算出された手話単語の手話動作の時間長となるように調整する時間長調整部と、
時間長を調整された前記手話単語ＣＧ映像を前記手話単語列の順に連結して前記手話ＣＧ映像を生成する映像連結部と、
を備えることを特徴とする手話ＣＧ映像生成装置。
【請求項5】
前記時間長調整部は、前記手話単語ＣＧ映像の時間長が対応する手話単語の時間長よりも短い場合、その時間長の差に相当するフレーム数を手話単語ＣＧ映像に均等に挿入し、前記手話単語ＣＧ映像の時間長が対応する手話単語の時間長よりも長い場合、その時間長の差に相当するフレーム数を手話単語ＣＧ映像から均等に削除することを特徴とする請求項４に記載の手話ＣＧ映像生成装置。
【請求項6】
コンピュータを、請求項４または請求項５に記載の手話ＣＧ映像生成装置として機能させるための手話ＣＧ映像生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、手話単語時間長算出装置およびそのプログラム、ならびに、手話ＣＧ生成装置およびそのプログラムに関する。
【背景技術】
【0002】
従来、聴覚障害者のために、手話通訳、手話放送といった手話サービスが一般的に行われている。
近年では、手話サービスの拡充のため、手話ＣＧ（コンピュータグラフィックス）を用いたＣＧアニメーションによる手話の研究が進められている。
手話ＣＧは、基本的に、テキストを手話単語列に翻訳し、翻訳した手話単語列の個々の単語に対応する手話単語ＣＧを連結することで生成される。
テキストを手話単語列に翻訳する手法として、例えば、放送映像（手話ニュース等）から日本語テキストと手話単語列とを書き起こした対訳対を生成し、その対訳対を用いて、任意の日本語テキストを手話単語列に翻訳する機械翻訳装置の技術が開示されている（特許文献１参照）。
また、手話単語ＣＧを連結する手法としては、日本語テキストから変換（翻訳）した手話単語の手話モーションを、手話モーションデータベースから順番に読み出して接続することで、手話ＣＧを生成する技術が開示されている（特許文献２参照）。
近年では、手話サービスの拡充のため、手話ＣＧ（コンピュータグラフィックス）を用いたＣＧアニメーションによる手話の研究が進められている。
手話ＣＧは、基本的に、テキストを手話単語列に翻訳し、翻訳した手話単語列の個々の単語に対応する手話単語ＣＧを連結することで生成される。
テキストを手話単語列に翻訳する手法として、例えば、放送映像（手話ニュース等）から日本語テキストと手話単語列とを書き起こした対訳対を生成し、その対訳対を用いて、任意の日本語テキストを手話単語列に翻訳する機械翻訳装置の技術が開示されている（特許文献１参照）。
また、手話単語ＣＧを連結する手法としては、日本語テキストから変換（翻訳）した手話単語の手話モーションを、手話モーションデータベースから順番に読み出して接続することで、手話ＣＧを生成する技術が開示されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１３－１８６６７３号公報
【特許文献2】特開２０１７－１５１７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の手話モーションは、手話単語ごとに生成されたものである。また、従来の手法によって生成された手話ＣＧは、翻訳された手話単語列の単語ごとに、単に手話単語ＣＧを連結したものである。すなわち、従来の手話ＣＧは、手話単語の順番だけが考慮され、手話動作中における単語ごとの再生時間が考慮されていない。
そのため、従来の手法で生成された手話ＣＧを再生した場合、１つの手話単語ＣＧが、一連の動作とは無関係な時間長で再生され、自然さに欠けるという問題がある。
このように、従来の手法で生成された手話ＣＧは、自然さに欠けるため、聴覚に障害がある人にとって手話内容を理解し難いものとなっている。
そのため、従来の手法で生成された手話ＣＧを再生した場合、１つの手話単語ＣＧが、一連の動作とは無関係な時間長で再生され、自然さに欠けるという問題がある。
このように、従来の手法で生成された手話ＣＧは、自然さに欠けるため、聴覚に障害がある人にとって手話内容を理解し難いものとなっている。
【0005】
本発明は、このような問題に鑑みてなされたもので、一連の手話動作における個々の手話単語の時間長を算出することが可能な手話単語時間長算出装置およびそのプログラム、ならびに、手話単語ごとの時間長に対応して手話ＣＧ映像を生成することが可能な手話ＣＧ映像生成装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0006】
前記課題を解決するため、本発明に係る手話単語時間長算出装置は、手話単語列と前記手話単語列の手話動作の時間長とを対とするデータベースから、個々の手話単語の手話動作の時間長を算出する手話単語時間長算出装置であって、単語頻度ベクトル生成部と、重回帰分析部と、を備える構成とした。
【0007】
かかる構成において、手話単語時間長算出装置は、単語頻度ベクトル生成部によって、手話単語全体の語彙数を要素数、手話単語列に出現する手話単語ごとの頻度を要素、とする単語頻度ベクトルを生成する。
【0008】
そして、手話単語時間長算出装置は、重回帰分析部によって、データベースを用いて、単語頻度ベクトルと各手話単語の単語時間長を要素とする単語時間長ベクトルとの内積により手話単語列の時間長を表した多変数線形モデルを重回帰分析し、個々の手話単語の時間長を算出する。
なお、手話単語時間長算出装置は、コンピュータを、前記した各部として機能させるための手話単語時間長算出プログラムで動作させることができる。
なお、手話単語時間長算出装置は、コンピュータを、前記した各部として機能させるための手話単語時間長算出プログラムで動作させることができる。
【0009】
また、前記課題を解決するため、本発明に係る手話ＣＧ映像生成装置は、手話単語列と前記手話単語列の手話動作の時間長とを対とするデータベースから、重回帰分析により算出した個々の手話単語の手話動作の時間長を用いて、手話単語列から手話ＣＧ映像を生成する手話ＣＧ映像生成装置であって、手話単語ＣＧ映像生成部と、時間長調整部と、映像連結部と、を備える構成とした。
【0010】
かかる構成において、手話ＣＧ映像生成装置は、手話単語ＣＧ映像生成部によって、入力される手話単語列を構成する手話単語ごとに、手話単語に対応するモーションデータを用いて、手話動作をＣＧで表現した手話単語ＣＧ映像を生成する。これによって、手話単語ごとのＣＧ映像が生成される。
【0011】
そして、手話ＣＧ映像生成装置は、時間長調整部によって、手話単語ＣＧ映像を、重回帰分析により算出された手話単語の手話動作の時間長となるように調整する。これによって、個々の手話単語ＣＧ映像の時間長は、一連の手話単語列の手話動作における個々の手話単語の手話動作の時間長と等しくなる。
そして、手話ＣＧ映像生成装置は、映像連結部によって、時間長を調整された手話単語ＣＧ映像を手話単語列の順に連結して手話ＣＧ映像を生成する。
なお、手話ＣＧ映像生成装置は、コンピュータを、前記した各部として機能させるための手話ＣＧ映像生成プログラムで動作させることができる。
そして、手話ＣＧ映像生成装置は、映像連結部によって、時間長を調整された手話単語ＣＧ映像を手話単語列の順に連結して手話ＣＧ映像を生成する。
なお、手話ＣＧ映像生成装置は、コンピュータを、前記した各部として機能させるための手話ＣＧ映像生成プログラムで動作させることができる。
【発明の効果】
【0012】
本発明によれば、複数の手話単語列の手話動作の時間長から、個々の手話単語の手話動作の時間長を算出することができる。また、本発明によれば、手話単語列から、個々の手話単語の動作時間が予め定めた時間長となる手話ＣＧ映像を生成することができる。
これによって、本発明は、一連の手話動作において、実際の手話動作と同じ時間長で個々の手話動作を自然に表現した手話ＣＧ映像を生成することができる。
これによって、本発明は、一連の手話動作において、実際の手話動作と同じ時間長で個々の手話動作を自然に表現した手話ＣＧ映像を生成することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の第１実施形態に係る手話単語時間長算出装置の構成を示すブロック構成図である。
【図2】単語列時間長記憶部の記憶内容を説明するための説明図である。
【図3】単語時間長記憶部の記憶内容を説明するための説明図である。
【図4】単語頻度ベクトル生成部が生成する単語頻度ベクトルの内容を説明するための説明図である。
【図5】単語列時間長モデル化部が生成する単語時間長ベクトルの内容を説明するための説明図である。
【図6】本発明の第１実施形態に係る手話単語時間長算出装置の動作を示すフローチャートである。
【図7】本発明の第２実施形態に係る手話ＣＧ映像生成装置の構成を示すブロック構成図である。
【図8】本発明の第２実施形態に係る手話ＣＧ映像生成装置の動作を示すフローチャートである。
【図9】手話ＣＧ映像生成装置が生成する手話ＣＧ映像を模式的に説明するための説明図である。
【発明を実施するための形態】
【0014】
【0015】
手話単語時間長算出装置１は、手話単語列とその手話単語列の手話動作の時間長とを対とするデータベースから、個々の手話単語の手話動作の時間長を算出するものである。
手話単語時間長算出装置１は、記憶部１０と制御部２０とを備える。
手話単語時間長算出装置１は、記憶部１０と制御部２０とを備える。
【0016】
記憶部１０は、ハードディスク、半導体メモリ等の一般的な記憶媒体である。
記憶部１０は、単語列時間長記憶部１１と単語時間長記憶部１２と、を備える。
単語列時間長記憶部１１および単語時間長記憶部１２は、同じ記憶媒体内に領域を区分して記憶される構成であってもよいし、異なる記憶媒体に記憶される構成であってもよい。
記憶部１０は、単語列時間長記憶部１１と単語時間長記憶部１２と、を備える。
単語列時間長記憶部１１および単語時間長記憶部１２は、同じ記憶媒体内に領域を区分して記憶される構成であってもよいし、異なる記憶媒体に記憶される構成であってもよい。
【0017】
単語列時間長記憶部１１は、コーパスとなる複数の日本語テキストＴＸと、日本語テキストＴＸを翻訳した手話単語列ＷＳと、手話単語列ＷＳに対応する手話動作の時間長（単語列時間長ＴＷＳ）と、を予め対応付けて記憶したデータベースである。
手話単語列ＷＳは、手話ニュース等の映像から、日本語テキストＴＸに対応して出現する手話単語を書き起こして生成することができる。また、単語列時間長ＴＷＳは、手話単語の書き起こしとともに、日本語テキストＴＸに対応する手話単語列ＷＳの映像中の手話動作の実際の時間長を用いることができる。
手話単語列ＷＳは、手話ニュース等の映像から、日本語テキストＴＸに対応して出現する手話単語を書き起こして生成することができる。また、単語列時間長ＴＷＳは、手話単語の書き起こしとともに、日本語テキストＴＸに対応する手話単語列ＷＳの映像中の手話動作の実際の時間長を用いることができる。
【0018】
例えば、図２に示すように、ある日本語テキストＴＸが、「今夜までに降る雪の量は、いずれも多いところで…」の場合、それに対応する手話単語列ＷＳは、例えば、「Ｎ，暗い，まで，雪，量，Ｎ，たくさん，場所，…」となる。なお、「Ｎ」は、うなずく動作を示す特殊記号であって、１つの単語として扱われる。
そして、手話単語列ＷＳを構成するすべての手話単語Ｗ（Ｎ，暗い，まで，…）を手話で表現した時間を単語列時間長ＴＷＳとする。
そして、手話単語列ＷＳを構成するすべての手話単語Ｗ（Ｎ，暗い，まで，…）を手話で表現した時間を単語列時間長ＴＷＳとする。
【0019】
ここでは、説明を分かり易くするため、単語列時間長記憶部１１に、日本語テキストＴＸと手話単語列ＷＳと単語列時間長ＴＷＳとを対応付けて記憶している。しかし、本発明において、日本語テキストＴＸは必須ではない。すなわち、単語列時間長記憶部１１には、少なくとも、手話単語列ＷＳと単語列時間長ＴＷＳとが対応付けて記憶されていればよい。
また、手話単語列ＷＳを構成する手話単語は、手話単語の語彙そのままでもよいし、語彙を識別する識別子であってもよい。
手話単語列ＷＳの数、すなわち、日本語テキストＴＸの数は、十数万程度である。なお、すべての手話単語列ＷＳによって、手話単語の語彙がすべて網羅されているものとする。手話単語の語彙数は一万程度である。
また、手話単語列ＷＳを構成する手話単語は、手話単語の語彙そのままでもよいし、語彙を識別する識別子であってもよい。
手話単語列ＷＳの数、すなわち、日本語テキストＴＸの数は、十数万程度である。なお、すべての手話単語列ＷＳによって、手話単語の語彙がすべて網羅されているものとする。手話単語の語彙数は一万程度である。
【0020】
単語時間長記憶部１２は、手話単語Ｗと、１つの手話単語Ｗに対応する手話動作の時間長（単語時間長ＴＷ）を記憶するものである。
単語時間長記憶部１２には、語彙数分の手話単語Ｗと、手話単語Ｗごとの手話動作の単語時間長ＴＷとが記憶される。
なお、手話単語Ｗは、手話単語の語彙そのままでもよいし、語彙を識別する識別子であってもよい。
単語時間長記憶部１２には、語彙数分の手話単語Ｗと、手話単語Ｗごとの手話動作の単語時間長ＴＷとが記憶される。
なお、手話単語Ｗは、手話単語の語彙そのままでもよいし、語彙を識別する識別子であってもよい。
【0021】
単語時間長ＴＷは、重回帰分析部２３の最適化対象のパラメータ値である。また、単語時間長ＴＷは、単語時間長初期化部２１によって初期化され、重回帰分析部２３によって更新される。また、単語時間長ＴＷは、重回帰分析部２３によって参照される。
なお、ここでは、手話単語Ｗの単語時間長ＴＷは、単語列時間長記憶部１１に記憶されているすべての手話単語列ＷＳにおいて、変動がないものと仮定する。すなわち、１つの手話単語Ｗは固有の時間長で動作すること仮定する。
なお、ここでは、手話単語Ｗの単語時間長ＴＷは、単語列時間長記憶部１１に記憶されているすべての手話単語列ＷＳにおいて、変動がないものと仮定する。すなわち、１つの手話単語Ｗは固有の時間長で動作すること仮定する。
【0022】
制御部２０は、手話単語時間長算出装置１全体の制御を行うものである。制御部２０は、ハードディスク、ＲＯＭ等の記憶されたプログラム（手話単語時間長算出プログラム）をメモリに展開し、コンピュータ（ＣＰＵ）がプログラムを読み込んで、以下に説明する各部として機能させる。
制御部２０は、単語時間長初期化部２１と、単語頻度ベクトル生成部２２と、重回帰分析部２３と、を備える。
制御部２０は、単語時間長初期化部２１と、単語頻度ベクトル生成部２２と、重回帰分析部２３と、を備える。
【0023】
単語時間長初期化部２１は、最適化対象の手話単語の時間長（単語時間長）を初期化するものである。単語時間長初期化部２１は、単語時間長記憶部１２に記憶される手話単語Ｗごとの単語時間長ＴＷを初期化する。
単語時間長初期化部２１は、図３に示すように、手話単語Ｗ１，Ｗ２，…，Ｗｎ（ｎ：語彙数）に対して、単語時間長の初期値ｔ１＿０，ｔ２＿０，…，ｔｎ＿０を設定する。
単語時間長初期化部２１は、図３に示すように、手話単語Ｗ１，Ｗ２，…，Ｗｎ（ｎ：語彙数）に対して、単語時間長の初期値ｔ１＿０，ｔ２＿０，…，ｔｎ＿０を設定する。
【0024】
なお、初期値には、ランダム値等、任意の値を用いればよい。しかし、時間長を最適化する点から、初期値には、手話単語の動作時間として、概ね適当な時間を用いた方が好ましい。
単語時間長初期化部２１は、手話単語Ｗごとの単語時間長の初期値を単語時間長記憶部１２に記憶する。
なお、単語時間長初期化部２１は、起動時に１回だけ動作する。
単語時間長初期化部２１は、手話単語Ｗごとの単語時間長の初期値を単語時間長記憶部１２に記憶する。
なお、単語時間長初期化部２１は、起動時に１回だけ動作する。
【0025】
単語頻度ベクトル生成部２２は、手話単語列ＷＳごとに、手話単語全体の語彙数を要素数、手話単語列ＷＳに出現する手話単語ごとの頻度を要素、とする単語頻度ベクトルを生成するものである。
ここでは、単語頻度ベクトル生成部２２は、以下の式（１）に示すベクトル（単語頻度ベクトルｖ）を生成する。
ここでは、単語頻度ベクトル生成部２２は、以下の式（１）に示すベクトル（単語頻度ベクトルｖ）を生成する。
【0026】
【数1】
【0027】
ｃ１，ｃ２，…，ｃｎ（ｎ：語彙数）は、手話単語列ＷＳに含まれる手話単語Ｗ１，Ｗ２，…，Ｗｎの数を示す。
例えば、手話単語列ＷＳが図２で例示したものである場合、単語頻度ベクトル生成部２２は、図４に示すように、手話単語列ＷＳに含まれ手話単語の数を、手話単語と同じ要素位置に設定し、以下の式（２）に示す単語頻度ベクトルｖを生成する。
例えば、手話単語列ＷＳが図２で例示したものである場合、単語頻度ベクトル生成部２２は、図４に示すように、手話単語列ＷＳに含まれ手話単語の数を、手話単語と同じ要素位置に設定し、以下の式（２）に示す単語頻度ベクトルｖを生成する。
【0028】
【数2】
【0029】
この場合、単語頻度ベクトルｖは、手話単語「明るい」は０個、「暗い」は１個、…、「Ｎ」は２個を表すことになる。
単語頻度ベクトル生成部２２は、生成した単語頻度ベクトルｖを、重回帰分析部２３に出力する。
単語頻度ベクトル生成部２２は、生成した単語頻度ベクトルｖを、重回帰分析部２３に出力する。
【0030】
重回帰分析部２３は、単語頻度ベクトルと各手話単語の単語時間長を要素とする単語時間長ベクトルとの内積により手話単語列の時間長を表した多変数線形モデルを重回帰分析し、個々の手話単語の時間長を算出するものである。
【0031】
重回帰分析部２３は、手話単語全体の語彙数を要素数、手話単語の単語時間長のパラメータとなる説明変数を要素とする単語時間長ベクトルと、単語頻度ベクトルとの内積が、目的変数と等しくなる多変数線形モデルを重回帰分析する。
ここでは、重回帰分析部２３は、図５に示すように、手話単語Ｗ１，Ｗ２，…，Ｗｎの語彙数ｎを要素数とし、説明変数である手話単語の時間長となるパラメータｔ１，ｔ２，ｔ３，…，ｔｎを要素とした以下の式（３）に示す単語時間長ベクトルｔを生成する。
ここでは、重回帰分析部２３は、図５に示すように、手話単語Ｗ１，Ｗ２，…，Ｗｎの語彙数ｎを要素数とし、説明変数である手話単語の時間長となるパラメータｔ１，ｔ２，ｔ３，…，ｔｎを要素とした以下の式（３）に示す単語時間長ベクトルｔを生成する。
【0032】
【数3】
【0033】
重回帰分析部２３は、単語頻度ベクトル生成部２２で生成された単語頻度ベクトルｖと、単語時間長ベクトルｔとの内積により、以下の式（４）に示す多変数線形モデルで手話動作時間を予測することができる。なお、Ｔは、ベクトルの転置を示す。
【0034】
【数4】
【0035】
重回帰分析部２３は、手話単語列とその手話単語列の手話動作の時間長とを対とするデータベース（単語列時間長記憶部１１）を用いて、重回帰分析を行う。これによって、重回帰分析部２３は、多変数線形モデルの説明変数である手話単語の手話動作の時間長を算出することができる。
【0036】
重回帰分析部２３における重回帰分析は、一般的な手法を用いればよい。
例えば、重回帰分析部２３は、重回帰分析として、最小二乗法を用いることができる。
この場合、重回帰分析部２３は、前記式（４）の多変数線形モデルにおいて、手話単語列の予測時間長（Ｔｐｒｅｄ）と、単語列時間長記憶部１１（データベース）に記憶されている手話単語列の単語列時間長（Ｔｔｒｕｅ）との誤差（残差平方和）が最小になるようなｔの成分を算出すればよい。
なお、説明変数の数が膨大で、煩雑であるため、重回帰分析として勾配降下法を用いてもよい。すなわち、重回帰分析部２３は、誤差を平均二乗誤差として、以下の式（５）に示す評価関数Ｅを最小化することでｔの成分を算出することができる。
例えば、重回帰分析部２３は、重回帰分析として、最小二乗法を用いることができる。
この場合、重回帰分析部２３は、前記式（４）の多変数線形モデルにおいて、手話単語列の予測時間長（Ｔｐｒｅｄ）と、単語列時間長記憶部１１（データベース）に記憶されている手話単語列の単語列時間長（Ｔｔｒｕｅ）との誤差（残差平方和）が最小になるようなｔの成分を算出すればよい。
なお、説明変数の数が膨大で、煩雑であるため、重回帰分析として勾配降下法を用いてもよい。すなわち、重回帰分析部２３は、誤差を平均二乗誤差として、以下の式（５）に示す評価関数Ｅを最小化することでｔの成分を算出することができる。
【0037】
【数5】
【0038】
ここで、ｔｉはｉ回目の更新時のそれぞれのパラメータｔ１，ｔ２，ｔ３，…，ｔｎを示す。Ｎｓは、単語列時間長記憶部１１に記憶されている手話単語列ＷＳの数（文章数）を示す。Ｔｔｒｕｅ（ｓ）は、ｓ番目の手話単語列ＷＳの単語列時間長ＴＷＳ（正解時間長Ｔｔｒｕｅ）を示す。Ｔｐｒｅｄ（ｓ）は、ｓ番目の手話単語列ＷＳの予測時間長Ｔｐｒｅｄを示す。
このパラメータｔ１，ｔ２，ｔ３，…，ｔｎは、以下の式（６）により更新すればよい。
このパラメータｔ１，ｔ２，ｔ３，…，ｔｎは、以下の式（６）により更新すればよい。
【0039】
【数6】
【0040】
ここで、αは勾配に応じてパラメータをどの程度更新するかを示す学習率（ハイパーパラメータ）である。
【0041】
以上の構成によって、手話単語時間長算出装置１は、複数の手話単語列ＷＳの単語列時間長ＴＷＳから、手話動作に対応した手話単語の時間長を算出することができる。
【0042】
［手話単語時間長算出装置の動作］
次に、図６を参照（構成については、適宜図１参照）して、手話単語時間長算出装置１の動作について説明する。なお、単語列時間長記憶部１１には、少なくとも手話単語列ＷＳと、手話単語列ＷＳに対応する手話動作の時間長（単語列時間長ＴＷＳ）とが予め対応付けて記憶されているものとする。また、単語時間長記憶部１２には、語彙数分の手話単語Ｗが予め記憶されているものとする。
次に、図６を参照（構成については、適宜図１参照）して、手話単語時間長算出装置１の動作について説明する。なお、単語列時間長記憶部１１には、少なくとも手話単語列ＷＳと、手話単語列ＷＳに対応する手話動作の時間長（単語列時間長ＴＷＳ）とが予め対応付けて記憶されているものとする。また、単語時間長記憶部１２には、語彙数分の手話単語Ｗが予め記憶されているものとする。
【0043】
ステップＳ１において、単語時間長初期化部２１は、単語時間長記憶部１２に記憶される手話単語Ｗごとの単語時間長ＴＷを初期化する。
ステップＳ２において、単語頻度ベクトル生成部２２は、手話単語列ＷＳごとに、手話単語の語彙数を要素数とし、手話単語列ＷＳに含まれる手話単語の出現頻度を要素とする単語頻度ベクトルｖ（式（１）参照）を生成する。
ステップＳ２において、単語頻度ベクトル生成部２２は、手話単語列ＷＳごとに、手話単語の語彙数を要素数とし、手話単語列ＷＳに含まれる手話単語の出現頻度を要素とする単語頻度ベクトルｖ（式（１）参照）を生成する。
【0044】
ステップＳ３において、重回帰分析部２３は、手話単語の語彙数分の時間長のパラメータを要素とした単語時間長ベクトルｔ（式（３）参照）と、ステップＳ２で生成した単語頻度ベクトルｖとの内積を手話単語列ＷＳの予測時間長Ｔｐｒｅｄとする多変数線形モデル（式（４）参照）を重回帰分析し、手話単語の手話動作の時間長を算出する。
以上の動作によって、手話単語時間長算出装置１は、複数の手話単語列ＷＳの単語列時間長ＴＷＳから、手話動作に対応した手話単語の時間長（単語時間長ＴＷ）を算出することができる。
以上の動作によって、手話単語時間長算出装置１は、複数の手話単語列ＷＳの単語列時間長ＴＷＳから、手話動作に対応した手話単語の時間長（単語時間長ＴＷ）を算出することができる。
【0045】
【0046】
手話ＣＧ映像生成装置３は、手話単語時間長算出装置１（図１参照）で算出された手話単語ごとの単語時間長を用いて、手話単語列から手話ＣＧ映像を生成するものである。
すなわち、手話ＣＧ映像生成装置３は、手話単語列と手話単語列の手話動作の時間長とを対とするデータベースから、重回帰分析により算出した手話単語の手話動作の時間長を用いて、手話単語列から手話ＣＧ映像を生成するものである。
手話ＣＧ映像生成装置３は、記憶部３０と制御部４０とを備える。
すなわち、手話ＣＧ映像生成装置３は、手話単語列と手話単語列の手話動作の時間長とを対とするデータベースから、重回帰分析により算出した手話単語の手話動作の時間長を用いて、手話単語列から手話ＣＧ映像を生成するものである。
手話ＣＧ映像生成装置３は、記憶部３０と制御部４０とを備える。
【0047】
記憶部３０は、ハードディスク、半導体メモリ等の一般的な記憶媒体である。
記憶部３０は、モーションデータ記憶部３１と単語時間長記憶部３２と、を備える。
モーションデータ記憶部３１および単語時間長記憶部３２は、同じ記憶媒体内に領域を区分して記憶される構成であってもよいし、異なる記憶媒体に記憶される構成であってもよい。
記憶部３０は、モーションデータ記憶部３１と単語時間長記憶部３２と、を備える。
モーションデータ記憶部３１および単語時間長記憶部３２は、同じ記憶媒体内に領域を区分して記憶される構成であってもよいし、異なる記憶媒体に記憶される構成であってもよい。
【0048】
モーションデータ記憶部３１は、手話単語Ｗに対応付けて、手話動作（手話モーション）を規定するモーションデータＤを予め記憶したデータベースである。
モーションデータＤは、手話動作における関節の動きを記述したデータである。例えば、モーションデータＤは、関節を持つ骨格構造（ボーンモデル）と、各フレームにおける関節角度を羅列したデータであって、ＢＶＨ（Biovision Hierarchy）形式で記述されたモーションキャプチャデータである。
モーションデータ記憶部３１は、手話単語ＣＧ映像生成部４１によって参照される。
モーションデータＤは、手話動作における関節の動きを記述したデータである。例えば、モーションデータＤは、関節を持つ骨格構造（ボーンモデル）と、各フレームにおける関節角度を羅列したデータであって、ＢＶＨ（Biovision Hierarchy）形式で記述されたモーションキャプチャデータである。
モーションデータ記憶部３１は、手話単語ＣＧ映像生成部４１によって参照される。
【0049】
単語時間長記憶部３２は、手話単語Ｗと、１つの手話単語Ｗに対応する手話動作の時間長（単語時間長）ＴＷを予め記憶したものである。手話単語Ｗに対応する単語時間長ＴＷは、図１で説明した手話単語時間長算出装置１で算出された時間長を用いる。
単語時間長記憶部３２は、時間長調整部４２によって参照される。
単語時間長記憶部３２は、時間長調整部４２によって参照される。
【0050】
なお、モーションデータ記憶部３１および単語時間長記憶部３２の手話単語Ｗは、手話単語の語彙そのままでもよいし、語彙を識別する識別子であってもよい。
また、モーションデータ記憶部３１および単語時間長記憶部３２は、手話単語Ｗに、モーションデータＤと単語時間長ＴＷとを対応付けた１つのデータベースであっても構わない。
また、モーションデータ記憶部３１および単語時間長記憶部３２は、手話単語Ｗに、モーションデータＤと単語時間長ＴＷとを対応付けた１つのデータベースであっても構わない。
【0051】
制御部４０は、手話ＣＧ映像生成装置３全体の制御を行うものである。制御部４０は、ハードディスク、ＲＯＭ等の記憶されたプログラム（手話ＣＧ映像生成プログラム）をメモリに展開し、コンピュータ（ＣＰＵ）がプログラムを読み込んで、以下に説明する各部として機能させる。
制御部４０は、手話単語ＣＧ映像生成部４１と、時間長調整部４２と、映像連結部４３と、を備える。
制御部４０は、手話単語ＣＧ映像生成部４１と、時間長調整部４２と、映像連結部４３と、を備える。
【0052】
手話単語ＣＧ映像生成部４１は、入力される手話単語列ＷＳを構成する手話単語ごとに、手話動作をＣＧで表現した手話単語ＣＧ映像ＩＷを生成するものである。
手話単語ＣＧ映像生成部４１は、モーションデータ記憶部３１から、手話単語列ＷＳを構成する手話単語Ｗに対応するモーションデータＤを読み出す。そして、手話単語ＣＧ映像生成部４１は、モーションデータＤで記述された関節の動きに応じたＣＧ映像（手話単語ＣＧ映像ＩＷ）を生成する。
手話単語ＣＧ映像生成部４１は、生成した手話単語ＣＧ映像ＩＷを、手話単語とともに時間長調整部４２に出力する。
手話単語ＣＧ映像生成部４１は、モーションデータ記憶部３１から、手話単語列ＷＳを構成する手話単語Ｗに対応するモーションデータＤを読み出す。そして、手話単語ＣＧ映像生成部４１は、モーションデータＤで記述された関節の動きに応じたＣＧ映像（手話単語ＣＧ映像ＩＷ）を生成する。
手話単語ＣＧ映像生成部４１は、生成した手話単語ＣＧ映像ＩＷを、手話単語とともに時間長調整部４２に出力する。
【0053】
時間長調整部４２は、手話単語ＣＧ映像生成部４１で生成された手話単語ＣＧ映像ＩＷの時間長を、手話単語に対応する単語時間長となるように調整するものである。
ここでは、時間長調整部４２は、手話単語ＣＧ映像ＩＷに対応する手話単語Ｗの単語時間長ＴＷを単語時間長記憶部３２から読み出し、手話単語ＣＧ映像ＩＷの時間長を単語時間長ＴＷと一致させるよう調整する。
ここでは、時間長調整部４２は、手話単語ＣＧ映像ＩＷに対応する手話単語Ｗの単語時間長ＴＷを単語時間長記憶部３２から読み出し、手話単語ＣＧ映像ＩＷの時間長を単語時間長ＴＷと一致させるよう調整する。
【0054】
すなわち、時間長調整部４２は、手話単語ＣＧ映像ＩＷの時間長が対応する手話単語Ｗの単語時間長ＴＷよりも短い場合、その時間長の差に相当するフレーム数を手話単語ＣＧ映像ＩＷに均等に挿入することで、時間長を長くする。
例えば、手話単語ＣＧ映像ＩＷのフレーム数がＭフレーム、時間長の差に相当するフレーム数がｍフレームの場合、時間長調整部４２は、手話単語ＣＧ映像ＩＷのＭ／ｍフレームの映像区間ごとに最終フレームの後ろに最終フレームをコピーしてフレームを挿入する。
例えば、手話単語ＣＧ映像ＩＷのフレーム数がＭフレーム、時間長の差に相当するフレーム数がｍフレームの場合、時間長調整部４２は、手話単語ＣＧ映像ＩＷのＭ／ｍフレームの映像区間ごとに最終フレームの後ろに最終フレームをコピーしてフレームを挿入する。
【0055】
また、時間長調整部４２は、手話単語ＣＧ映像ＩＷの時間長が対応する手話単語Ｗの単語時間長ＴＷよりも長い場合、その時間長の差に相当するフレーム数を手話単語ＣＧ映像ＩＷから均等に削除することで、時間長を短くする。
例えば、手話単語ＣＧ映像のフレーム数がＭフレーム、時間長の差に相当するフレーム数がｍフレームの場合、時間長調整部４２は、手話単語ＣＧ映像ＩＷのＭ／ｍフレームの映像区間ごとに任意のフレーム（例えば、最終フレーム）を削除する。
例えば、手話単語ＣＧ映像のフレーム数がＭフレーム、時間長の差に相当するフレーム数がｍフレームの場合、時間長調整部４２は、手話単語ＣＧ映像ＩＷのＭ／ｍフレームの映像区間ごとに任意のフレーム（例えば、最終フレーム）を削除する。
【0056】
これによって、時間長調整部４２は、手話単語ＣＧ映像ＩＷの時間長を、単語時間長記憶部３２に記憶されている手話単語Ｗに対応する単語時間長ＴＷに合わせることができる。
時間長調整部４２は、時間長を調整した手話単語ＣＧ映像ＩＷを映像連結部４３に出力する。
時間長調整部４２は、時間長を調整した手話単語ＣＧ映像ＩＷを映像連結部４３に出力する。
【0057】
映像連結部４３は、時間長調整部４２で時間長を調整された手話単語ＣＧ映像ＩＷを手話単語列の順に連結するものである。
映像連結部４３は、手話単語列ＷＳの単語数分、手話単語ＣＧ映像ＩＷを連結することで、手話単語列ＷＳに対応する手話ＣＧ映像ＩＷＳを生成する。
以上の構成によって、手話ＣＧ映像生成装置３は、手話単語列から、実際の手話のリズムに近い動作となる手話ＣＧ映像を生成することができる。
映像連結部４３は、手話単語列ＷＳの単語数分、手話単語ＣＧ映像ＩＷを連結することで、手話単語列ＷＳに対応する手話ＣＧ映像ＩＷＳを生成する。
以上の構成によって、手話ＣＧ映像生成装置３は、手話単語列から、実際の手話のリズムに近い動作となる手話ＣＧ映像を生成することができる。
【0058】
［手話ＣＧ映像生成装置の動作］
次に、図８を参照（構成については、適宜図７参照）して、手話ＣＧ映像生成装置３の動作について説明する。なお、モーションデータ記憶部３１には、予め手話単語Ｗに対応付けてモーションデータＤが記憶されているものとする。また、単語時間長記憶部３２には、予め手話単語Ｗに対応付けて単語時間長ＴＷが記憶されているものとする。
次に、図８を参照（構成については、適宜図７参照）して、手話ＣＧ映像生成装置３の動作について説明する。なお、モーションデータ記憶部３１には、予め手話単語Ｗに対応付けてモーションデータＤが記憶されているものとする。また、単語時間長記憶部３２には、予め手話単語Ｗに対応付けて単語時間長ＴＷが記憶されているものとする。
【0059】
ステップＳ１０において、手話単語ＣＧ映像生成部４１は、入力される手話単語列ＷＳを構成する手話単語Ｗごとに、モーションデータ記憶部３１に記憶されているモーションデータＤを用いて、手話動作をＣＧで表現した手話単語ＣＧ映像ＩＷを生成する。
ステップＳ１１において、時間長調整部４２は、ステップＳ１０で生成された手話単語ＣＧ映像ＩＷの時間長を調整する。
ここでは、時間長調整部４２は、手話単語ＣＧ映像ＩＷの時間長を、手話単語Ｗが対応する単語時間長記憶部３２に記憶されている単語時間長ＴＷと一致させるよう調整する。
ステップＳ１１において、時間長調整部４２は、ステップＳ１０で生成された手話単語ＣＧ映像ＩＷの時間長を調整する。
ここでは、時間長調整部４２は、手話単語ＣＧ映像ＩＷの時間長を、手話単語Ｗが対応する単語時間長記憶部３２に記憶されている単語時間長ＴＷと一致させるよう調整する。
【0060】
ステップＳ１２において、時間長調整部４２は、入力された手話単語列ＷＳのすべての手話単語について時間長の調整が終了したか否かを判定する。
ここで、まだ、すべての手話単語について、手話単語ＣＧ映像ＩＷの生成および時間長の調整を行っていない場合（ステップＳ１２でＮｏ）、時間長調整部４２は、ステップＳ１０に動作を戻し、次の手話単語について処理を続ける。
ここで、まだ、すべての手話単語について、手話単語ＣＧ映像ＩＷの生成および時間長の調整を行っていない場合（ステップＳ１２でＮｏ）、時間長調整部４２は、ステップＳ１０に動作を戻し、次の手話単語について処理を続ける。
【0061】
一方、すべての手話単語について、手話単語ＣＧ映像ＩＷの生成および時間長の調整を行った場合（ステップＳ１２でＹｅｓ）、映像連結部４３は、ステップＳ１１で時間長を調整されたすべての手話単語ＣＧ映像ＩＷを連結する。
これによって、映像連結部４３は、手話単語列に対応する手話ＣＧ映像を生成する。
以上の動作によって、手話ＣＧ映像生成装置３は、手話単語ＣＧ映像の時間長を、手話単語時間長算出装置１で算出された手話単語の時間長で調整した手話ＣＧ映像を生成することができる。
これによって、映像連結部４３は、手話単語列に対応する手話ＣＧ映像を生成する。
以上の動作によって、手話ＣＧ映像生成装置３は、手話単語ＣＧ映像の時間長を、手話単語時間長算出装置１で算出された手話単語の時間長で調整した手話ＣＧ映像を生成することができる。
【0062】
例えば、手話ＣＧ映像生成装置３は、図２で例示した手話単語列ＷＳ「Ｎ，暗い，まで，雪，量，Ｎ，たくさん，場所，…」を入力した場合、図９に示すように、手話単語Ｗごとに、予め定めた単語時間長ＴＷの手話単語ＣＧ映像ＩＷを生成し、連結することで、手話ＣＧ映像ＩＷＳを生成する。これによって、手話ＣＧ映像生成装置３は、例えば、「Ｎ」の手話動作は０．３２秒、「暗い」の手話動作は０．５８秒のように、個々の手話動作の時間長に合わせて手話ＣＧ映像ＩＷＳを生成することができる。
これによって、手話ＣＧ映像生成装置３は、実際の手話のリズムに近い手話ＣＧ映像を生成することができる。
以上、本発明の実施形態について説明したが、本発明は、これらの実施形態に限定されるものではない。
例えば、手話単語時間長算出装置１、手話ＣＧ映像生成装置３は、それぞれ内部に記憶部１０，３０を備える構成としたが、記憶部１０，３０は、外部に記憶装置として分離してもよい。
これによって、手話ＣＧ映像生成装置３は、実際の手話のリズムに近い手話ＣＧ映像を生成することができる。
以上、本発明の実施形態について説明したが、本発明は、これらの実施形態に限定されるものではない。
例えば、手話単語時間長算出装置１、手話ＣＧ映像生成装置３は、それぞれ内部に記憶部１０，３０を備える構成としたが、記憶部１０，３０は、外部に記憶装置として分離してもよい。
【符号の説明】
【0063】
１ 手話単語時間長算出装置
１０ 記憶部
１１ 単語列時間長記憶部（データベース）
１２ 単語時間長記憶部
２０ 制御部
２１ 単語時間長初期化部
２２ 単語頻度ベクトル生成部
２３ 重回帰分析部
３ 手話ＣＧ映像生成装置
３０ 記憶部
３１ モーションデータ記憶部
３２ 単語時間長記憶部
４０ 制御部
４１ 手話単語ＣＧ映像生成部
４２ 時間長調整部
４３ 映像連結部
１０ 記憶部
１１ 単語列時間長記憶部（データベース）
１２ 単語時間長記憶部
２０ 制御部
２１ 単語時間長初期化部
２２ 単語頻度ベクトル生成部
２３ 重回帰分析部
３ 手話ＣＧ映像生成装置
３０ 記憶部
３１ モーションデータ記憶部
３２ 単語時間長記憶部
４０ 制御部
４１ 手話単語ＣＧ映像生成部
４２ 時間長調整部
４３ 映像連結部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
