特許 6229869 音声処理装置、音声認識システム、音声処理方法及び音声処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6229869

(24)【登録日】2017年10月27日

(45)【発行日】2017年11月15日

(54)【発明の名称】音声処理装置、音声認識システム、音声処理方法及び音声処理プログラム

(51)【国際特許分類】

   G10L 15/20 20060101AFI20171106BHJP

   G10L 15/04 20130101ALI20171106BHJP

【ＦＩ】

   G10L15/20 380

   G10L15/04 300Z

   G10L15/20 370Z

【請求項の数】12

【全頁数】22

(21)【出願番号】特願2012-265707(P2012-265707)

(22)【出願日】2012年12月4日

(65)【公開番号】特開2014-109770(P2014-109770A)

(43)【公開日】2014年6月12日

【審査請求日】2015年12月2日

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】110000981

【氏名又は名称】アイ・ピー・ディー国際特許業務法人

(72)【発明者】

【氏名】浅野 純太

(72)【発明者】

【氏名】岡本 隆太郎

【審査官】 大野 弘

(56)【参考文献】

【文献】 特開平０８−１７９７９２（ＪＰ，Ａ）

【文献】 特開昭５９−１４７３９８（ＪＰ，Ａ）

【文献】 特開平０４−１８００９６（ＪＰ，Ａ）

【文献】 特開２０１３−２０１６４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １５／２０

Ｇ１０Ｌ １５／０４

(57)【特許請求の範囲】

【請求項1】

話者の動作を示す画像情報から、話者の各部位のうち、あらかじめ決められた複数の部位の動作の周期を検出し、前記複数の部位それぞれの周期に所定の統計処理を適用することで、話者の振舞いの周期を検出する検出部と、
検出された前記振舞いの周期に基づき、時系列に沿ったゲインの変化を特定する特定部と、
特定された前記ゲインの変化に基づき、音声信号を含む入力信号の振幅を時系列に沿って調整する信号処理部と、
を備えたことを特徴とする音声処理装置。

【請求項2】

前記話者の振舞いの周期と前記入力信号との間の同期タイミングを特定する同期演算部を備え、
前記信号処理部は、特定された当該同期タイミングに基づき、前記入力信号の振幅を調整するタイミングを決定することを特徴とする請求項１に記載の音声処理装置。

【請求項3】

前記同期演算部は、時系列に沿って検出された話者の発話の動作を示す情報と、時系列に沿った前記入力信号の振幅の変化とを基に、前記話者の振舞いの周期と前記入力信号との間の時系列に沿ったずれ量を算出し、当該ずれ量を基に前記同期タイミングを特定することを特徴とする請求項２に記載の音声処理装置。

【請求項4】

前記同期演算部は、前記入力信号の振幅が所定量以上増加したタイミングと、前記発話の動作が開始されるタイミングとの間の差を前記ずれ量とすることを特徴とする請求項３に記載の音声処理装置。

【請求項5】

前記検出部は、前記統計処理として、前記複数の部位それぞれの周期に重み付けを行い、重み付けされた当該周期の平均をとることで前記振舞いの周期を特定することを特徴とする請求項１に記載の音声処理装置。

【請求項6】

前記検出部は、前記統計処理として、前記複数の部位それぞれの周期と、前記振舞いの周期との因果関係に基づきあらかじめ作成されたベイジアンネットワークを基に、検出された前記複数の部位それぞれの周期から前記振舞いの周期を特定することを特徴とする請求項１に記載の音声処理装置。

【請求項7】

前記特定部は、検出された前記振舞いの周期に同期するように、前記ゲインの変化を特定することを特徴とする請求項１〜６のいずれかに記載の音声処理装置。

【請求項8】

前記特定部は、前記ゲインの変化のピーク位置が、前記振舞いの周期のピーク位置からあらかじめ決められた時間幅だけずれるように前記ゲインの変化を特定することを特徴とする請求項７に記載の音声処理装置。

【請求項9】

前記特定部は、検出された前記振舞いの周期中の所望の位相でゲインが増幅するように、当該振舞いの周期に対してあらかじめ決められた時間幅だけ位相がずれるように、前記ゲインの変化を特定することを特徴とする請求項１〜６のいずれかに記載の音声処理装置。

【請求項10】

音声信号を含む入力信号を集音する集音部と、
話者の動作を動画像として取得する画像取得部と、
前記動画像から、話者の各部位のうち、あらかじめ決められた複数の部位の動作の周期を検出し、前記複数の部位それぞれの周期に所定の統計処理を適用することで、話者の振舞いの周期を検出する検出部と、
検出された前記振舞いの周期に基づき、時系列に沿ったゲインの変化を特定する特定部と、
特定された前記ゲインの変化に基づき、音声信号を含む入力信号の振幅を時系列に沿って調整する信号処理部と、
振幅が調整された前記入力信号に基づき音声認識を行う音声認識部と、
を備えた音声認識装置。

【請求項11】

話者の動作を示す画像情報から、話者の各部位のうち、あらかじめ決められた複数の部位の動作の周期を検出し、前記複数の部位それぞれの周期に所定の統計処理を適用することで、話者の振舞いの周期を検出する検出ステップと、
検出された前記振舞いの周期に基づき、時系列に沿ったゲインの変化を特定する特定ステップと、
特定された前記ゲインの変化に基づき、音声信号を含む入力信号の振幅を時系列に沿って調整する信号処理ステップと、
を含むことを特徴とする音声処理方法。

【請求項12】

コンピュータに、
話者の動作を示す画像情報から、話者の各部位のうち、あらかじめ決められた複数の部位の動作の周期を検出し、前記複数の部位それぞれの周期に所定の統計処理を適用することで、話者の振舞いの周期を検出する検出処理と、
検出された前記振舞いの周期に基づき、時系列に沿ったゲインの変化を特定する特定処理と、
特定された前記ゲインの変化に基づき、音声信号を含む入力信号の振幅を時系列に沿って調整する信号処理と、
を実行させることを特徴とする音声処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声処理装置、音声認識システム、音声処理方法及び音声処理プログラムに関する。

【背景技術】

【0002】

入力として取得した発話者（以降では、単に「話者」と呼ぶ）の発した音声を解析して、操作内容や入力文字を判断する技術として、音声認識技術が広く用いられている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４−１６３４５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような音声認識技術では、話者が発した音声を正しく認識する必要があるが、これを阻害する要因として音声以外の雑音のようなノイズが挙げられる。特許文献１には、このようなノイズを除去するための技術の一例が開示されている。

【0005】

一方で、話者により発せられ所定のマイクで集音される音声は、話者ごとに独特の揺らぎを持っている。これに対して、雑音のようなノイズは、話者の動作に影響されない。即ち、この揺らぎの位相に応じて音声信号に対するノイズの影響の大きさが変化する場合がある。一方で、話者ごとの揺らぎの影響は、例えば、口の動きのような発話の動作や、頭や身体の動き、表情の変化等のような話者の動作のリズムにも表れている。

【0006】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、話者の動作に基づいて、音声の揺らぎに応じて変化する、音声信号へのノイズの影響を低減し、より鮮明に音声を抽出することが可能な、新規かつ改良された音声処理装置を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある観点によれば、話者の振舞いの周期を検出する検出部と、検出された前記振舞いの周期に基づき、時系列に沿ったゲインの変化を特定する特定部と、特定された前記ゲインの変化に基づき、音声信号を含む入力信号の振幅を時系列に沿って調整する信号処理部と、を備えたことを特徴とする音声処理装置が提供される。

【0008】

このような構成により、音声信号の揺らぎを話者の振舞いの周期として推定され、この話者の振舞いの周期中の所望のタイミングと、他のタイミングとの間で入力信号に振幅に差を生じさせる。これにより、話者の振舞いの周期（ひいては、音声信号の揺らぎ）にあわせて、その所望のタイミングの入力信号（ひいては、音声信号）が強調される。

【0009】

前記話者の振舞いの周期と前記入力信号との間の同期タイミングを特定する同期演算部を備え、前記信号処理部は、特定された当該同期タイミングに基づき、前記入力信号の振幅を調整するタイミングを決定してもよい。

【0010】

これにより、この同期タイミングにあわせて、入力信号と、この入力信号に対する時系列に沿った振幅の調整に係る処理とを同期させることが可能となる。

【0011】

前記同期演算部は、時系列に沿って検出された話者の発話の動作を示す情報と、時系列に沿った前記入力信号の振幅の変化とを基に、前記話者の振舞いの周期と前記入力信号との間の時系列に沿ったずれ量を算出し、当該ずれ量を基に前記同期タイミングを特定してもよい。

【0012】

前記同期演算部は、前記入力信号の振幅が所定量以上増加したタイミングと、前記発話の動作が開始されるタイミングとの間の差を前記ずれ量としてもよい。

【0013】

前記検出部は、話者の動作を示す画像情報に基づき、前記振舞いの周期を検出してもよい。

【0014】

前記検出部は、前記画像情報から、話者の各部位のうち、あらかじめ決められた部位の動作の周期を検出し、検出された当該周期に基づき、前記振舞いの周期を特定してもよい。

【0015】

前記検出部は、前記あらかじめ決められた部位の動作として、複数の部位の動作の周期を検出し、前記複数の部位それぞれの周期に所定の統計処理を適用することで、前記振舞いの周期を特定してもよい。

【0016】

このような構成とすることで、複数の部位の動きの組み合わせに応じて変化する話者の振舞いの周期を、より正確に特定することが可能となる。

【0017】

前記検出部は、前記統計処理として、前記複数の部位それぞれの周期に重み付けを行い、重み付けされた当該周期の平均をとることで前記振舞いの周期を特定してもよい。

【0018】

前記検出部は、前記統計処理として、前記複数の部位それぞれの周期と、前記振舞いの周期との因果関係に基づきあらかじめ作成されたベイジアンネットワークを基に、検出された前記複数の部位それぞれの周期から前記振舞いの周期を特定してもよい。

【0019】

前記特定部は、検出された前記振舞いの周期に同期するように、前記ゲインの変化を特定してもよい。

【0020】

前記特定部は、前記ゲインの変化のピーク位置が、前記振舞いの周期のピーク位置からあらかじめ決められた時間幅だけずれるように前記ゲインの変化を特定してもよい。

【0021】

前記特定部は、検出された前記振舞いの周期中の所定の位相でゲインが増幅するように、当該振舞いの周期に対してあらかじめ決められた時間幅だけ位相がずれるように、前記ゲインの変化を特定してもよい。

【0022】

また、上記課題を解決するために、本発明の別の観点によれば、音声信号を含む入力信号を集音する集音部と、話者の動作を動画像として取得する画像取得部と、前記動画像に基づき話者の振舞いの周期を検出する検出部と、検出された前記振舞いの周期に基づき、時系列に沿ったゲインの変化を特定する特定部と、特定された前記ゲインの変化に基づき、音声信号を含む入力信号の振幅を時系列に沿って調整する信号処理部と、振幅が調整された前記入力信号に基づき音声認識を行う音声認識部と、を備えた音声認識装置が提供される。

【0023】

また、上記課題を解決するために、本発明の別の観点によれば、話者の振舞いの周期を検出する検出ステップと、検出された前記振舞いの周期に基づき、時系列に沿ったゲインの変化を特定する特定ステップと、特定された前記ゲインの変化に基づき、音声信号を含む入力信号の振幅を時系列に沿って調整する信号処理ステップと、を含むことを特徴とする音声処理方法が提供される。

【0024】

また、上記課題を解決するために、本発明の別の観点によれば、話者の振舞いの周期を検出する検出処理と、検出された前記振舞いの周期に基づき、時系列に沿ったゲインの変化を特定する特定処理と、特定された前記ゲインの変化に基づき、音声信号を含む入力信号の振幅を時系列に沿って調整する信号処理と、を実行することを特徴とする音声処理プログラムが提供される。

【発明の効果】

【0025】

以上説明したように本発明によれば、話者の動作に基づいて、音声の揺らぎに応じて変化する、音声信号へのノイズの影響を低減し、より鮮明に音声を抽出することが可能となる。

【図面の簡単な説明】

【0026】

【図1A】本発明の実施形態に係る音声認識システムの適用シーンの一例について説明するための概念図である。

【図1B】同実施形態に係る音声認識システムの構成を示したブロック図である。

【図1C】同実施形態にかかる音声処理ユニットの構成を示したブロック図である。

【図2】入力信号に含まれる各信号の時系列に沿った振幅の変化について説明するための図である。

【図3】話者の振舞いの周期の特定方法について説明するための図である。

【図4】話者の振舞いの周期に基づくゲイン制御について説明するための図である。

【図5】入力信号と話者の振舞いの周期に基づく処理との同期について説明するための図である。

【図6】音声処理ユニットの一連の動作を示したフローチャートである。

【図7A】変形例に係る音声処理ユニットの一態様におけるゲイン制御について説明するための図である。

【図7B】変形例に係る音声処理ユニットの一態様におけるゲイン制御について説明するための図である。

【発明を実施するための形態】

【0027】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0028】

まず、図１Ａを参照しながら、本実施形態に係る音声認識システムの適用シーンの一例について説明する。図１Ａは、この実施形態に係る音声認識システムの適用シーンの一例について説明するための概念図である。図１Ａは、一例として、本体Ｍ１１とディスプレイＭ１３を含んで構成され、入力インタフェースとしてユーザＵ１の音声を集音するマイクＭ１２と、ユーザＵ１の外観を撮影するカメラＭ１３１とを備えたＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を示している。

【0029】

本実施形態に係る音声認識してステムは、例えば、図１Ａに示したようなＰＣに適用される。この音声認識システムは、マイクＭ１２のような集音部で話者（ユーザＵ１）の音声を入力信号として取得し、その入力信号を解析して話者の指示内容（例えば、操作内容や入力文字等）を判断する。そして、この音声認識システムは、判断された指示内容に対応する処理を、例えば、本体Ｍ１１にインストールされたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を介して、各処理を実行する実行部（例えば、本体Ｍ１１のＣＰＵ）に実行させる。以降では、この音声認識システムの構成について説明する。

【0030】

［音声認識システム］
まず、図１Ｂを参照しながら、本実施形態に係る音声認識システムの構成について説明する。図１Ｂは、本実施形態に係る音声認識システムの構成を示したブロック図である。図１Ｂに示すように、この音声認識システムは、集音部１０１と、画像取得部１０２と、音声処理ユニット１１と、音声認識部１２と、動作制御部１３とを含んで構成されている。なお、この音声認識システムが、「音声認識装置」に相当する。

【0031】

集音部１０１は、話者の発した音声を入力信号として取得する。この入力信号には、話者の発した音声を示す音声信号と、雑音のようなノイズが含まれる。集音部１０１の具体的な一例として、図１Ａに示されたマイクＭ１２が挙げられる。集音部１０１は、取得した入力信号ＩｎＡを音声処理ユニット１１に出力する。

【0032】

画像取得部１０２は、話者の外観を時系列に沿って撮影し、その動作が示された動画像を取得する。画像取得部１０２の具体的な一例として、図１Ａに示されたカメラＭ１３１が挙げられる。画像取得部１０２は、取得された動画像ＩｎＢを音声処理ユニット１１に出力する。なお、この動画像ＩｎＢが、「話者の動作を示す画像情報」に相当する。

【0033】

音声処理ユニット１１は、集音部１０１から入力信号ＩｎＡを取得する。前述のとおり、この入力信号ＩｎＡには音声信号が含まれている場合がある。この音声信号は、話者ごとに独特の揺らぎを持っている。即ち、音声信号は、時系列に沿って振幅が変化する。この揺らぎの影響は、口の動きなどの発話の動作や、首や手の動作のような、話者の動作（以降では、これらを総じて「話者の振舞い」と呼ぶ）にも表れている。

【0034】

そこで、音声処理ユニット１１は、画像取得部１０２から動画像ＩｎＢを取得し、この動画像ＩｎＢを解析して話者の振舞いを特定する。音声処理ユニット１１は、特定された話者の振舞いに基づき、時系列に沿った音声信号の振幅の変化を推定し、推定された振幅の変化にあわせて入力信号の振幅を調整することで、入力信号中の音声信号を強調する。なお、この動作原理と音声処理ユニット１１の構成及び処理の内容の詳細については後述する。

【0035】

音声処理ユニット１１は、時系列に沿って振幅が調整された入力信号Ｏｕｔを音声認識部１２に出力する。なお、この音声処理ユニット１１が、「音声処理装置」に相当する。

【0036】

音声認識部１２は、音声処理ユニット１１から、時系列に沿って振幅が調整された入力信号Ｏｕｔを受ける。音声認識部１２は、この入力信号Ｏｕｔに対して音声認識処理を施し、話者により音声として発話された文章を特定する。この音声認識処理は、例えば、入力信号の周波数成分を解析し、周波数成分の分布に基づき文章を構成する各文字を特定すればよい。また、この音声認識処理は、入力信号Ｏｕｔに基づき文章が特定できれば、上記方法には限定されない。

【0037】

音声認識部１２は、特定された文章に対して構文解析（例えば、字句解析、意味解析等）を施し、その文章の意味を認識する。音声認識部１２は、意味が認識された文章に基づき、その文章が示す処理を動作制御部１３に指示する。また、この構文解析は、入力信号Ｏｕｔに基づき文章の意味が構文解析特定できれば、上記方法には限定されない。

【0038】

なお、入力信号Ｏｎｔ中の一部の音声信号の振幅が小さいため、その文字を特定できない場合がある。その場合には、音声認識部１２が、音声認識処理と構文解析とのうちのいずれか、または双方で、特定できた他の部分の文字を基に、特定できなかった文字を推定するように動作させてもよい。

【0039】

動作制御部１３は、この音声認識システムが導入された装置またはシステムを構成する各部（図示しない）の動作を制御する制御部を模擬的に示している。動作制御部１３は、音声認識部１２から入力信号Ｏｕｔに基づく処理の実行の指示を受ける。動作制御部１３は、この指示に基づき、この装置またはシステムを構成する各部の動作を制御する。動作制御部１３の具体的な一例として、図１Ａに示された本体Ｍ１１のＣＰＵが挙げられる。

【0040】

［音声処理ユニット１１］
次に、音声処理ユニット１１の動作原理と詳細な構成及び処理の内容について説明する。

【0041】

（動作原理）
まず、図２を参照しながら、入力信号に含まれる各信号の態様と、これに基づく音声処理ユニット１１の動作原理について説明する。図２は、入力信号に含まれる各信号の時系列に沿った振幅の変化について説明するための図である。図２の縦軸は各信号の振幅Ａを示しており、横軸は時間ｔを示している。図２中のｆ１０は、入力信号を示しており、入力信号ｆ１０には、話者の音声を示す音声信号ｆ１１０と、雑音等のノイズｆ１３０が含まれている。音声信号ｆ１１０には、例えば、文、節、句、文節、音節、音素等に起因する周期の信号が含まれている。なお、一般的に音声信号ｆ１１０とノイズｆ１３０とは重畳するが、図２の例では、模擬的に音声信号ｆ１１０とノイズｆ１３０とを分離して別々に示している。

【0042】

前述したように、この音声信号ｆ１１０には、話者に応じた揺らぎが生じ、この揺らぎの影響は、話者の発話の動作（または、これに伴う文、節、句、文節等の文章の切れ目）や、首や手等の動作のような話者の振舞いにも表れている。即ち、音声信号ｆ１１０は、図２に示すように、話者の振舞いに応じた周期で時系列に沿って振幅が変化しているともいえる。この揺らぎの周期、即ち、音声信号の時系列に沿った振幅の変化の周期を、以降では周期ｆ２０と呼ぶ。

【0043】

一方で、ノイズｆ１３０は、話者の振舞いに依存しないため、音声信号ｆ１１０とは異なり、話者に応じた揺らぎが生じない。そのため、音声信号ｆ１１０の振幅が小さくなる場合に（小さくなる位相では）、音声信号ｆ１１０の振幅に対するノイズｆ１３０の振幅の比率が大きくなり、ノイズｆ１３０が支配的となる。これに対して、音声信号ｆ１１０の振幅が大きくなる場合に（大きくなる位相では）、音声信号ｆ１１０の振幅に対するノイズｆ１３０の振幅の比率が小さくなり、前者に比べて音声信号ｆ１１０が支配的となる。

【0044】

そこで、この実施形態に係る音声処理ユニット１１は、話者の振舞いに基づき、音声信号の振幅が時系列に沿って変化する周期ｆ２０を推定し、推定された周期に基づき入力信号の振幅を時系列に沿って調整する。この推定された周期を、以降では「話者の振舞いの周期」と呼ぶ。

【0045】

具体的な一例として、音声処理ユニット１１は、話者の振舞いの周期に基づき、音声信号ｆ１１０の振幅が小さくなるほど、入力信号ｆ１０の振幅を減衰させる。このように動作させることで、音声処理ユニット１１は、音声信号ｆ１１０の振幅に対してノイズｆ１３０の振幅の比率が大きくなるタイミングほど（即ち、ノイズｆ１３０が支配的になるほど）、入力信号ｆ１０の振幅をより減衰させることになる。これにより、音声信号ｆ１１０の振幅に対してノイズｆ１３０の振幅の比率が小さいタイミング（即ち、音声信号ｆ１１０が支配的なタイミング）が強調され、後段の音声認識部１２による音声認識処理の精度を向上させる。なお、図２における入力信号ｆ１０が、前述の入力信号ＩｎＡに相当する。

【0046】

（構成）
次に、図１Ｃを参照しながら、音声処理ユニット１１の構成について説明する。図１Ｃは、この音声処理ユニット１１の構成を示したブロック図である。図１Ｃに示すように、音声処理ユニット１１は、動作検出部１１１と、ゲイン特定部１１２と、音声信号取得部１１３と、遅延処理部１１４と、同期演算部１１５と、信号処理部１１６とを含んで構成される。また、信号処理部１１６は、増幅器１１６１と、ゲイン制御部１１６２とを福運で構成されている。以下に、これら各部の動作について説明する。

【0047】

動作検出部１１１は、入力として画像取得部１０２から動画像ＩｎＢを受ける。この動画像ＩｎＢには、話者の外観を時系列に沿って撮影されたものであり、話者の動作が示されている。動作検出部１１１は、この動画像ＩｎＢに対して画像解析処理を施して、話者の振舞いの周期を特定する。以下に、その動作の具体的な一例について説明する。

【0048】

動作検出部１１１は、動画像ＩｎＢを構成する各フレーム画像から、話者の身体を構成する各部位のうち、あらかじめ決められた１または複数の部位の位置を特定する。なお、以降では、この位置が特定された部位のことを特に「対象部位」と呼ぶ場合がある。このような位置の特定は、例えば、対象部位の形状特徴を抽出し、その形状特徴の位置や向きに基づいて行うとよい。

【0049】

ここで図３を参照する。図３は、話者の振舞いの周期の特定方法について説明するための図であり、話者Ｕ１１を構成する各部位を模式的に示したものである。例えば、この図が示す例では、「頭」に対応する部位Ｕ１１１と、「腕」に対応する部位Ｕ１１２を対象部位としている。「腕」に対応する部位Ｕ１１２の位置や向きは、例えば、「肘」または「肩」のような「関節」や「手」等のような、この部位の形状特徴を示す特徴点Ｐ１２の位置や向きとして特定することができる。なお、各部位から複数の特徴点を抽出することで、その部位の位置や向きの特定に係る精度を向上させることができる。同様に、「頭」に対応する部位Ｕ１１１の動きは、例えば、「目」、「鼻」、「耳」等のような、形状特徴を示す特徴点Ｐ１１の位置や向きとして特定することができる。このようにして、動作検出部１１１は、各対象部位の位置や向きを特定する。

【0050】

次に、動作検出部１１１は、各対象部位の動作、即ち、各対象部位の位置の変化を、あらかじめ決められたフレーム数の間だけ監視して、その動作の周期を対象部位ごとに特定する。そのため、この周期の特定に係る監視のためのフレーム数は、対象部位の動きの周期を特定するために十分な期間であることが望ましく、対象部位の種類に応じてあらかじめ決めておく。なお、各部位の周期を特定するために、どの程度のフレーム数分だけ監視期間を設ければよいかは、あらかじめ実験等に基づき調べておく。以降では、このあらかじめ決められたフレーム数分の時間幅をｈ１１１とする。また、以降では、「対象部位の周期」と表記した場合には、その対象部位の動作の周期を示すものとする。

【0051】

動作検出部１１１は、特定された各対象部位の周期に対して、あらかじめ決められた統計処理を施すことで、これら各対象部位の動作に基づき時系列に沿って振幅が変化する１つの周期を、話者の振舞いの周期として特定する。この統計処理の一例として、重み付け平均処理が挙げられる。具体的には、各対象部位の周期に対して、その部位ごとにあらかじめ決められた重み付けを行い、重み付け後の各対象部位の周期の平均を話者の振舞いの周期として特定する。なお、各部位に対する重み付けの度合いは、各部位の動作と音声信号ｆ１１０の時系列に沿った振幅の変化（即ち、周期ｆ２０）との間の因果関係を実験等によりあらかじめ求め、この結果に基づき決定しておく。

【0052】

また、この統計処理の別の一例として、ベイジアンネットワークによる推定を用いてもよい。具体的には、各部位の動作と話者の振舞いの周期との因果関係（ひいては、周期ｆ２０との因果関係）に基づき、あらかじめベイジアンネットワークを作成しておく。動作検出部１１１は、特定された各対象部位の周期を入力として、このベイジアンネットワークを適用し、その出力を話者の振舞いの周期とすればよい。このように複数の対象部位を対象として動作の周期を特定し、統計処理を施すことで、複数の部位の動きの組み合わせに応じて変化する話者の振舞いの周期を、より正確に特定することが可能となる。

【0053】

なお、話者の振舞いの周期は、いわゆる周期のような時系列を明示的に特定しない情報に限らず、例えば、監視期間（時間幅ｈ１１１）中の時系列に沿った振幅の変化を示す情報のように、時系列上の位置を明示する情報であってもよい。このような情報を用いることで、例えば、監視期間の開始タイミングと、話者の振舞いの周期の開始タイミング（振幅が変化し始めるタイミング）とが必ずしも一致していなくてもよくなる。具体的な一例をあげると、話者が発話を開始してある時間が経過した後、話者が動作を開始した場合などが該当する。なお、以降では、これらを包含して、単に「話者の振舞いの周期」として説明する。

【0054】

動作検出部１１１は、特定された話者の振舞いの周期をゲイン特定部１１２に出力する。

【0055】

また、動作検出部１１１は、所定のフレーム毎（例えば、１フレーム毎）に、「口」のように話者の発話の動作を示す部位の特徴点Ｐ２０ａ及びＰ２０ｂの位置や向きを特定する。動作検出部１１１は、特定された特徴点Ｐ２０ａ及びＰ２０ｂの位置や向きを示す情報を同期演算部１１５に逐次出力する。

【0056】

ゲイン特定部１１２は、動作検出部１１１から話者の振舞いの周期を示す情報を受ける。ゲイン特定部１１２は、この話者の振舞いの周期を基に、時系列に沿って入力信号ＩｎＡの振幅を変化させるための制御信号、即ち、時系列に沿った入力信号ＩｎＡに対するゲインの変化を示す制御信号を生成する。具体的な一例として、本実施形態に係るゲイン特定部１１２は、動作検出部１１１から受けた話者の振舞いの周期に同期して、入力信号ＩｎＡを減衰させるように制御信号を生成する。これにより、話者の振舞いの周期において、振幅が小さくなるタイミング（位相）で、入力信号ＩｎＡが減衰されるように、制御信号が生成される。

【0057】

例えば、図４は、この実施形態における、話者の振舞いの周期に基づくゲイン制御について説明するための図である。図４におけるｆ５０は、生成された制御信号に基づく時系列に沿ったゲインの変化を模擬的に示したグラフである。この図４の例では、特定された話者の振舞いの周期に同期して、生成された制御信号に基づくゲイン制御を適用した場合を示しており、理想的には、この時系列に沿ったゲイン制御が周期ｆ２０に同期する。なお、この制御信号に基づくゲイン制御の詳細については後述する。また、以降では、上述したゲイン特定部１１２の一連の動作に係る処理時間をｈ１１２とする。このように、時系列に沿ったゲイン制御（即ち、時系列に沿ったゲインの変化）が、制御信号として、ゲイン特定部１１２により特定される。

【0058】

ゲイン特定部１１２は、生成された制御信号をゲイン制御部１１６２に出力する。

【0059】

音声信号取得部１１３は、入力として集音部１０１から音声信号ｆ１１０を含む入力信号ＩｎＡを逐次受ける。音声信号取得部１１３は、この入力信号ＩｎＡを遅延処理部１１４に逐次出力する。

【0060】

また、音声信号取得部１１３は、入力信号ＩｎＡの振幅を監視し、少なくとも、この振幅を示す情報を同期演算部１１５に逐次出力する。

【0061】

遅延処理部１１４は、音声信号取得部１１３から入力信号ＩｎＡを逐次受ける。遅延処理部１１４は、この入力信号ＩｎＡが、あらかじめ決めた遅延量ｈ１１４だけ遅延するように遅延処理を施す。このときの遅延量ｈ１１４は、動作検出部１１１及びゲイン特定部１１２の処理時間を鑑みてあらかじめ決定しておく。具体的には、この遅延量ｈ１１４は、少なくとも、動作検出部１１１が話者の振舞いの周期を特定するために要するフレーム数分の時間幅ｈ１１１と、ゲイン特定部１１２の処理時間ｈ１１２とを加算した時間幅ｈ１１１＋ｈ１１２だけ設ける。即ち、ｈ１１４≧ｈ１１１＋ｈ１１２の条件を満たすように、遅延量ｈ１１４をあらかじめ決定しておく。これは、入力信号ＩｎＡの振幅を時系列に沿って調整するための制御信号が、入力信号ＩｎＡに対して、少なくともこの時間幅ｈ１１１＋ｈ１１２分だけ遅延して出力されるためである。

【0062】

遅延処理部１１４は、遅延処理が施された入力信号ＩｎＡを増幅器１１６１に出力する。

【0063】

同期演算部１１５は、動作検出部１１１から、話者の発話の動作を示す部位の特徴点Ｐ２０ａ及びＰ２０ｂの位置や向き示す情報を逐次受ける。同期演算部１１５は、この情報を基に特徴点Ｐ２０ａ及びＰ２０ｂの位置や向きの変化を監視し、話者の発話の動作が開始されるタイミングｔＢを検出する。

【0064】

また、同期演算部１１５は、音声信号取得部１１３から、入力信号ＩｎＡの振幅を示す情報を逐次受ける。入力信号ＩｎＡは、話者が発話していないタイミングでは、ノイズｆ１３０のみが含まれる。即ち、このタイミングにおける入力信号ＩｎＡの振幅は、ノイズｆ１３０の振幅となる。これに対して、話者が発話しているタイミングでは、このノイズｆ１３０の振幅に、音声信号ｆ１１０の振幅が重畳する。即ち、話者が発話を開始するタイミングで、入力信号ＩｎＡの振幅が増加する。そこで、同期演算部１１５は、この情報を基に入力信号ＩｎＡの振幅の変化を監視し、入力信号ＩｎＡの振幅が所定量以上変化（増加）するタイミングｔＡを検出する。

【0065】

集音部１０１を介して取得される入力信号ＩｎＡと、画像取得部１０２を介して取得される動画像ＩｎＢとは、厳密には同期しているとは限らない。即ち、入力信号ＩｎＡと動画像ＩｎＢから特定された話者の振舞いの周期（及び、話者の振舞いの周期に基づく処理）とは、厳密には同期しているとは限らない。なお、この話者の振舞いの周期に基づく処理とは、ゲイン特定部１１２により生成された制御信号を用いた、ゲイン制御部１１６２による、時系列に沿ったゲイン制御を示している。ゲイン制御部１１６２の詳細については後述する。

【0066】

例えば、図５は、遅延処理が施された入力信号ＩｎＡと、話者の振舞いの周期に基づく処理との同期について説明するための図である。図５の横軸は時間ｔを示している。図５におけるｆ１０ａ〜ｆ１０ｃは、それぞれ、異なるタイミングにおける、ノイズｆ１３０に音声信号ｆ１１０が重畳した入力信号ＩｎＡを模擬的に示している。また、ｔ１０ａ〜ｔ１０ｃは、入力信号ｆ１０ａ〜ｆ１０ｃそれぞれの開始タイミング（即ち、入力信号ＩｎＡの振幅が所定量以上変化（増加）するタイミング）を示している。また、ｔ３０ａ〜ｔ３０ｃは、それぞれ、話者の発話の動作が開始されたタイミングを示している。また、ｆ５０ａ〜ｆ５０ｃは、それぞれ、異なるタイミングにおける、話者の振舞いの周期に基づく処理（即ち、時系列に沿ったゲイン制御）を模擬的に示している。また、ｔ５０ａ〜ｔ５０ｃは、話者の振舞いの周期に基づく処理ｆ５０ａ〜ｆ５０ｃそれぞれの開始タイミングを示している。

【0067】

前述の通り、話者の振舞いの周期に基づく処理ｆ５０ａ〜ｆ５０ｃの開始タイミングｔ５０ａ〜ｔ５０ｃと、発話の動作の開始タイミングｔ３０ａ〜ｔ３０ｃとは同期している。これは、開始タイミングｔ５０ａ〜ｔ５０ｃと開始タイミングｔ３０ａ〜ｔ３０ｃとが、同じ動画像ＩｎＢから特定されるためである。これに対して、入力信号ＩｎＡと動画像ＩｎＢとは厳密には同期しているとは限らない。換言すると、開始タイミングｔ１０ａ〜ｔ１０ｃと、開始タイミングｔ３０ａ〜ｔ３０ｃ及びｔ５０ａ〜ｔ５０ｃとは、同期しているとは限らない。即ち、開始タイミングｔ１０ａ〜ｔ１０ｃと、開始タイミングｔ３０ａ〜ｔ３０ｃ及びｔ５０ａ〜ｔ５０ｃとの間のいずれかが遅延している場合がある。

【0068】

そこで、同期演算部１１５は、入力信号ＩｎＡと、話者の振舞いの周期、厳密には、話者の振舞いの周期に基づく処理とを同期させるために、これらの間の時系列に沿ったずれ量（即ち、時間差）Δｔを算出する。具体的には、同期演算部１１５は、図５に示すように、入力信号ｆ１０ａ〜ｆ１０ｃそれぞれの開始タイミングｔ１０ａ〜ｔ１０ｃと、話者の発話の開始タイミングｔ３０ａ〜ｔ３０ｃとがそれぞれ同期するように、これらのずれ量Δｔを算出する。ここで、開始タイミングｔ１０ａ〜ｔ１０ｃは、検出されたタイミングｔＡで示される。また、開始タイミングｔ３０ａ〜ｔ３０ｃは、検出されたタイミングｔＢで示される。即ち、同期演算部１１５は、検出されたタイミングｔＡ及びｔＢの差として、ずれ量Δｔ＝ｔＡ−ｔＢを算出する。

【0069】

同期演算部１１５は、入力信号ＩｎＡ、または、話者の振舞いの周期に基づく処理が、このΔｔだけ時系列に沿ってシフトする（遅延させる）ように制御することで、遅延処理が施された入力信号ＩｎＡと、話者の振舞いの周期に基づく処理とを同期させる。

【0070】

具体的には、動画像ＩｎＢに対して入力信号ＩｎＡが遅延している場合（Δｔ＜０）には、話者の振舞いの周期に基づく処理に対して、遅延処理後の入力信号ＩｎＡが遅延することになる。この場合には、同期演算部１１５は、ずれ量Δｔをゲイン制御部１１６２に通知する。このずれ量Δｔを受けて、ゲイン制御部１１６２は、自身の処理の開始タイミングを、このずれ量Δｔ分だけ遅延させる。

【0071】

また、入力信号ＩｎＡに対して動画像ＩｎＢが遅延している場合（Δｔ＞０）には、遅延処理後の入力信号ＩｎＡに対して、話者の振舞いの周期に基づく処理が遅延していることになる。この場合には、同期演算部１１５は、ずれ量Δｔを遅延処理部１１４に通知する。この通知を受けた場合に、遅延処理部１１４は、遅延量ｈ１１４に加えて、さらにΔｔ分だけ入力信号ＩｎＡを遅延させる。なお、この遅延処理部１１４へのΔｔの通知は、遅延処理部１１４による遅延処理が完了する前に行われる必要がある。そのため、Δｔの算出に係る処理時間よりも、遅延量ｈ１１４を十分に長く設定する必要がある。しかしながら、多くの場合には、Δｔの算出に係る処理は、遅延量ｈ１１４よりも十分に短い。なお、このとき同期演算部１１５は、Δｔ＝０をゲイン制御部１１６２に通知して、ゲイン制御部１１６２がただちに処理を開始するようにしてもよい。

【0072】

入力信号ＩｎＡと動画像ＩｎＢとが同期している場合（Δｔ＝０）には、遅延処理後の入力信号ＩｎＡと、話者の振舞いの周期に基づく処理とが同期していることになる。そのため、この場合には、同期演算部１１５は、ずれ量Δｔの通知に係る処理を行わない、もしくは、ゲイン制御部１１６２及び遅延処理部１１４のうちのいずれかまたは双方にΔｔ＝０を通知すればよい。

【0073】

このように、同期演算部１１５は、ずれ量Δｔに基づき、入力信号ＩｎＡと話者の振舞いの周期との間の同期タイミングを特定し、この同期タイミングにあわせて、入力信号ＩｎＡまたは話者の振舞いの周期に基づく処理を時系列に沿ってシフト（遅延）させる。これにより、入力信号ＩｎＡと、話者の振舞いの周期に基づく処理とが同期する。

【0074】

なお、上記説明では、同期演算部１１５は、入力信号ＩｎＡと動画像ＩｎＢとの間のずれ量Δｔを基に、遅延処理が施された入力信号ＩｎＡと、話者の振舞いの周期に基づく処理との同期タイミングを間接的に特定していた。別の方法として、同期演算部１１５は、検出されたタイミングｔＡ及びｔＢと、前述した、時間幅ｈ１１１、処理時間ｈ１１２、及び遅延量ｈ１１４とを基に、遅延処理が施された入力信号ＩｎＡと、話者の振舞いの周期に基づく処理との同期タイミングを直接特定してもよい。この場合には、例えば、遅延処理が施された入力信号ＩｎＡに対応するタイミングは、ｔＡ＋ｈ１１４で表される。また、話者の振舞いの周期に基づく処理を開始可能なタイミングは、ｔＢ＋ｈ１１１＋ｈ１１２とで表される。そのため、ずれ量Δｔを、Δｔ＝（ｔＡ＋ｈ１１４）−（ｔＢ＋ｈ１１１＋ｈ１１２）に基づき算出することで、遅延処理が施された入力信号ＩｎＡと、話者の振舞いの周期に基づく処理との同期タイミングを特定することができる。

【0075】

また、上記では、同期演算部１１５が、入力信号ＩｎＡの振幅が所定量以上変化（増加）したタイミングｔＡを特定していたが、これを音声信号取得部１１３が行ってもよい。この場合には、音声信号取得部１１３は、特定されたタイミングｔＡを示す情報を同期演算部１１５に通知すればよい。同様に、動作検出部１１１が、話者の発話の動作が開始されたタイミングｔＢを特定してもよい。この場合には、動作検出部１１１は、特定されたタイミングｔＢを示す情報を同期演算部１１５に通知すればよい。

【0076】

増幅器１１６１は、遅延処理部１１４から、遅延処理が施された入力信号ＩｎＡを受ける。増幅器１１６１の利得Ｇａｉｎは、ゲイン制御部１１６２に基づき制御されている。即ち、増幅器１１６１は、ゲイン制御部１１６２に従い、入力信号ＩｎＡの振幅を調整する（増幅または減衰させる）。増幅器１１６１は、振幅が調整された入力信号ＩｎＡを、後段に位置する音声認識部１２（図１Ｂ参照）に出力する。

【0077】

ゲイン制御部１１６２は、ゲイン特定部１１２から、時系列に沿った入力信号ＩｎＡに対するゲインの変化を示す制御信号を受ける。ゲイン制御部１１６２は、この制御信号に基づき、増幅器１１６１の利得Ｇａｉｎを時系列に沿って制御する（この動作が「ゲイン制御」に相当する）。

【0078】

また、ゲイン制御部１１６２は、同期演算部１１５からずれ量Δｔの通知を受ける。このずれ量Δｔの通知を受けた場合には、ゲイン制御部１１６２は、ずれ量Δｔだけ自身の処理、即ち、ゲイン制御の開始タイミングを遅延させる。これにより、ゲイン制御部１１６２による時系列に沿ったゲイン制御（即ち、話者の振舞いの周期に基づく処理）が、遅延処理が施された入力信号ＩｎＡに同期する。この態様について、図４を参照しながら以下に説明する。

【0079】

前述の通り、話者の振舞いの周期は、音声信号の振幅が時系列に沿って変化する周期ｆ２０を推定したものに相当する。そのため、遅延処理が施された入力信号ＩｎＡに、ゲイン制御部１１６２による時系列に沿ったゲイン制御を同期させることで、理想的には、図４に示すように、周期ｆ２０に時系列に沿ったゲイン制御（グラフｆ５０に対応）が同期する。

【0080】

この場合には、利得Ｇａｉｎが低下し信号が減衰されるタイミングｔ５０１、ｔ５０３と、入力信号ｆ１０（即ち、入力信号ＩｎＡ）中の音声信号ｆ１１０の振幅が小さくなるタイミングｔ２０１、ｔ２０３とが一致する。また、利得Ｇａｉｎが増加し信号が減衰されない（または、増幅される）タイミングｔ５０２と、入力信号ｆ１０中の音声信号ｆ１１０の振幅が大きくなるタイミングｔ２０２とが一致する。

【0081】

これにより、音声信号ｆ１１０の振幅に対してノイズｆ１３０の振幅の比率が高いほど、入力信号ｆ１０の減衰量が大きくなる。即ち、ノイズｆ１３０が支配的なタイミングで入力信号ｆ１０がより減衰され、音声信号ｆ１１０が支配的なタイミングにおける入力信号ｆ１０の振幅が強調される。

【0082】

なお、同期演算部１１５は、話者の発話の動作を示す部位の特徴点Ｐ２０ａ及びＰ２０ｂの位置や向きが、あらかじめ決められた時間以上変化しなかった場合には、入力信号ＩｎＡに音声信号ｆ１１０が含まれていないと判断してもよい。この場合には、同期演算部１１５は、例えば、ゲイン制御部１１６２による、時系列に沿ったゲイン制御の処理を一旦停止させ、再度、特徴点Ｐ２０ａ及びＰ２０ｂの位置や向きが変化したときに、改めてゲイン制御部１１６２による処理を開始させてもよい。また、このときには、動作検出部１１が、改めて話者の振舞いの周期を特定し、ゲイン特定部１１２が、この話者の振舞いの周期に基づき制御信号を生成しなおしてもよい。

【0083】

また、遅延処理が施された入力信号ＩｎＡと、話者の振舞いの周期に基づく処理とを厳密に同期させる必要が無い場合や、入力信号ＩｎＡと動画像ＩｎＢとの間の同期が保障されている場合には、同期演算部１１５を設けない構成としてもよい。この場合には、話者の発話の動作が開始されるタイミングｔＢが、ノイズｆ１３０に音声信号ｆ１１０が重畳し始めるタイミング、即ち、入力信号ＩｎＡの振幅が所定量以上変化（増加）するタイミングｔＡと等しいものとして処理することとなる。このような構成とする場合には、ゲイン制御部１１６２は、同期演算部１１５からの通知を待たず、直ちに処理を開始すればよい。

【0084】

また、上記では、話者が単一の場合の処理について説明していたが、複数の話者を対象として、この中のいずれかの話者を選択的に処理の対象とするように動作させてもよい。この場合には、動作検出部１１１は、例えば、顔認識のような個人を特定する技術を応用することで、処理対象の話者を識別するとよい。

【0085】

なお、対象となる話者の選択基準については、所定の処理毎に操作者（例えば、話者）が指定できるようにしてもよいし、対象の話者をあらかじめ決めておいてもよい。また、識別された話者ごとに、各部位の周期に適用する統計処理のパラメタ、例えば、重み付け平均処理における重みのつけ方や、適用するベイジアンネットワークを切り替えてもよい。これらの情報は、あらかじめ作成しておき、動作検出部１１１が適宜読み出せる場所に記憶させておけばよい。

【0086】

このように動作させることで、例えば、複数の話者が同時に発話している場合においても、対象の話者の発話に合わせて話者の振舞いの周期が特定され、この周期に基づき入力信号ＩｎＡの振幅が時系列に沿って調整される。そのため、対象の話者の発話が、他の話者の発話に比べてより強調されやすくなり、複数の話者が発話する場合においても、この対象の話者の発話を入力とした音声認識の精度を向上させることが可能となる。

【0087】

［音声処理ユニット１１の一連の処理］
次に、図６を参照しながら、音声処理ユニット１１の一連の処理について説明する。図６は、音声処理ユニット１１の一連の動作を示したフローチャートである。

【0088】

（ステップＳ１１）
動作検出部１１１は、入力として画像取得部１０２から動画像ＩｎＢを受ける。この動画像ＩｎＢには、話者の外観を時系列に沿って撮影されたものであり、話者の動作が示されている。

【0089】

動作検出部１１１は、所定のフレーム毎（例えば、１フレーム毎）に、「口」のように話者の発話の動作を示す部位の特徴点Ｐ２０ａ及びＰ２０ｂの位置や向きを特定する。動作検出部１１１は、特定された特徴点Ｐ２０ａ及びＰ２０ｂの位置や向きを示す情報を同期演算部１１５に逐次出力する。

【0090】

また、動作検出部１１１は、動画像ＩｎＢを構成する各フレーム画像から、話者の身体を構成する各部位のうち、あらかじめ決められた１または複数の部位の位置を特定する。

【0091】

（ステップＳ１２）
次に、動作検出部１１１は、各対象部位の動作、即ち、各対象部位の位置の変化を、あらかじめ決められたフレーム数の間だけ監視して、その動作の周期を対象部位ごとに特定する。

【0092】

動作検出部１１１は、特定された各対象部位の周期に対して、あらかじめ決められた統計処理を施すことで、これら各対象部位の動作に基づき時系列に沿って振幅が変化する１つの周期を、話者の振舞いの周期として特定する。この統計処理の一例として、重み付け平均処理やベイジアンネットワークを用いた推定が挙げられる。

【0093】

動作検出部１１１は、特定された話者の振舞いの周期をゲイン特定部１１２に出力する。なお、この話者の振舞いの周期の特定に係る動作が、「検出ステップ」に相当する。

【0094】

ゲイン特定部１１２は、動作検出部１１１から話者の振舞いの周期を示す情報を受ける。ゲイン特定部１１２は、この話者の振舞いの周期を基に、時系列に沿って入力信号ＩｎＡの振幅を変化させるための制御信号、即ち、時系列に沿った入力信号ＩｎＡに対するゲインの変化を示す制御信号を生成する。具体的な一例として、本実施形態に係るゲイン特定部１１２は、動作検出部１１１から受けた話者の振舞いの周期に同期して入力信号ＩｎＡを減衰させるように制御信号を生成する。これにより、話者の振舞いの周期において、振幅が小さくなるタイミング（位相）で、入力信号ＩｎＡが減衰されるように、制御信号が生成される。

【0095】

ゲイン特定部１１２は、生成された制御信号をゲイン制御部１１６２に出力する。なお、この制御信号の生成に係る動作が、「特定ステップ」に相当する。

【0096】

（ステップＳ２１）
音声信号取得部１１３は、入力として集音部１０１から音声信号ｆ１１０を含む入力信号ＩｎＡを逐次受ける。音声信号取得部１１３は、この入力信号ＩｎＡを遅延処理部１１４に逐次出力する。

【0097】

また、音声信号取得部１１３は、入力信号ＩｎＡの振幅を監視し、少なくとも、この振幅を示す情報を同期演算部１１５に逐次出力する。

【0098】

（ステップＳ２２）
遅延処理部１１４は、音声信号取得部１１３から入力信号ＩｎＡを逐次受ける。遅延処理部１１４は、この入力信号ＩｎＡが、あらかじめ決めた遅延量ｈ１１４だけ遅延するように遅延処理を施す。このときの遅延量ｈ１１４は、動作検出部１１１及びゲイン特定部１１２の処理時間を鑑みてあらかじめ決定しておく。

【0099】

遅延処理部１１４は、遅延処理が施された入力信号ＩｎＡを増幅器１１６１に出力する。

【0100】

（ステップＳ３０）
同期演算部１１５は、動作検出部１１１から、話者の発話の動作を示す部位の特徴点Ｐ２０ａ及びＰ２０ｂの位置や向き示す情報を逐次受ける。同期演算部１１５は、この情報を基に特徴点Ｐ２０ａ及びＰ２０ｂの位置や向きの変化を監視し、話者の発話の動作が開始されるタイミングｔＢを検出する。

【0101】

また、同期演算部１１５は、音声信号取得部１１３から、入力信号ＩｎＡの振幅を示す情報を逐次受ける。同期演算部１１５は、この情報を基に入力信号ＩｎＡの振幅の変化を監視し、入力信号ＩｎＡの振幅が所定量以上変化（増加）するタイミングｔＡを検出する。

【0102】

同期演算部１１５は、検出されたタイミングｔＡ及びｔＢの差として、ずれ量Δｔ＝ｔＡ−ｔＢを算出する。このずれ量Δｔが、入力信号ＩｎＡと、話者の振舞いの周期に基づく処理との間の時系列に沿ったずれ量（時間差）を示している。

【0103】

（ステップＳ４１）
同期演算部１１５は、入力信号ＩｎＡ、または、話者の振舞いの周期に基づく処理が、このΔｔだけ時系列に沿ってシフトする（遅延させる）ように制御することで、遅延処理が施された入力信号ＩｎＡと、話者の振舞いの周期に基づく処理とを同期させる。

【0104】

具体的には、同期演算部１１５は、動画像ＩｎＢに対して入力信号ＩｎＡが遅延している場合（Δｔ＜０）には、ずれ量Δｔをゲイン制御部１１６２に通知する。このずれ量Δｔを受けて、ゲイン制御部１１６２は、自身の処理の開始タイミングを、このずれ量Δｔ分だけ遅延させる。

【0105】

また、同期演算部１１５は、入力信号ＩｎＡに対して動画像ＩｎＢが遅延している場合（Δｔ＞０）には、ずれ量Δｔを遅延処理部１１４に通知する。この通知を受けた場合に、遅延処理部１１４は、遅延量ｈ１１４に加えて、さらにΔｔ分だけ入力信号ＩｎＡを遅延させる。なお、このとき同期演算部１１５は、Δｔ＝０をゲイン制御部１１６２に通知して、ゲイン制御部１１６２がただちに処理を開始するようにしてもよい。

【0106】

入力信号ＩｎＡと動画像ＩｎＢとが同期している場合（Δｔ＝０）には、遅延処理後の入力信号ＩｎＡと、話者の振舞いの周期に基づく処理とが同期していることになる。そのため、この場合には、同期演算部１１５は、ずれ量Δｔの通知に係る処理を行わない、もしくは、ゲイン制御部１１６２及び遅延処理部１１４のうちのいずれかまたは双方にΔｔ＝０を通知する。

【0107】

（ステップＳ４２）
ゲイン制御部１１６２は、ゲイン特定部１１２から、時系列に沿った入力信号ＩｎＡに対するゲインの変化を示す制御信号を受ける。ゲイン制御部１１６２は、この制御信号に基づき、増幅器１１６１の利得Ｇａｉｎを時系列に沿って制御する（この動作が「ゲイン制御」に相当する）。

【0108】

また、ゲイン制御部１１６２は、同期演算部１１５からずれ量Δｔの通知を受ける。このずれ量Δｔの通知を受けた場合には、ゲイン制御部１１６２は、ずれ量Δｔだけ自身の処理、即ち、ゲイン制御の開始タイミングを遅延させる。

【0109】

増幅器１１６１は、遅延処理部１１４から、遅延処理が施された入力信号ＩｎＡを受ける。増幅器１１６１の利得Ｇａｉｎは、ゲイン制御部１１６２に基づき制御されている。即ち、増幅器１１６１は、ゲイン制御部１１６２に従い、入力信号ＩｎＡの振幅を調整する（増幅／減衰させる）。増幅器１１６１は、振幅が調整された入力信号ＩｎＡを、後段に位置する音声認識部１２（図１Ｂ参照）に出力する。なお、この時系列に沿った入力信号ＩｎＡの振幅の調整に係る動作が、「信号処理ステップ」に相当する。

【0110】

なお、上述した一連の動作は、音声処理ユニット１１（または、この音声処理ユニット１１を含む音声認識システム）を動作させる装置（例えば、図１Ａの本体Ｍ１１）のＣＰＵを機能させるためのプログラムによって構成することができる。このプログラムは、その装置（例えば、本体Ｍ１１）にインストールされたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を介して実行されるように構成してもよい。また、このプログラムは、音声処理ユニット１１を動作させる装置が読み出し可能であれば、記憶される位置は限定されない。例えば、このプログラムは、装置の外部から接続される記録媒体に格納されていてもよい。この場合には、この記録媒体を装置に接続することによって、その装置のＣＰＵに当該プログラムを実行させるように構成するとよい。

【0111】

［変形例］
次に、変形例に係る音声処理ユニット１１の動作について説明する。音声認識部１２で実行される音声認識処理や構文解析は、一部の音声が認識できず、その音声に対応する文字が欠落した場合に、認識できた音声（文字）から、その認識できなかった部分を推定する処理を有する場合がある。この処理は、音声認識処理や構文解析の特性（例えば、アルゴリズム）に応じて、例えば、文、節、句などの所定の単位の文字の集合のうち、どの部分が認識できたかにより、欠落した部分の推定のしやすさに差が生じる場合がある。具体的な一例として、所定の単位の文字の集合のうち、中間部分が認識できた場合よりも、前半部分が認識できた場合の方が、認識率が高くなる場合がある。変形例に係る音声処理ユニット１１では、話者の振舞いの周期を基に、この所定単位の文字の集合（もしくは、文、節、句などの間の文章の切れ目）の時系列に沿った位置を推定し、入力信号中で強調する部分を調整することで、音声認識処理の認識率を向上させる。

【0112】

そこで、変形例に係る音声処理ユニット１１では、音声信号の揺らぎの周期、即ち、特定された話者の振舞いの周期のうち、所定周期分（例えば、１／２周期分や１周期分）が、所定の単位の文字の集合の時系列に沿った位置と同期しているものとみなす。そのうえで、この音声処理ユニット１１は、声認識処理や構文解析の特性に応じて、この所定の単位の文字の集合のうち、時系列に沿った所定の位置（タイミング）が強調されるようにゲインを制御する。

【0113】

以下に、その一例について、図７Ａ及び図７Ｂを参照しながら説明する。図７Ａは、変形例に係る音声処理ユニットの一態様における、話者の振舞いの周期に基づくゲイン制御について説明するための図である。また、図７Ｂは、変形例に係る音声処理ユニットの図７Ａとは異なる一態様を示しおり、この態様における、話者の振舞いの周期に基づくゲイン制御について説明するための図である。なお、図７Ａ及び図７Ｂに示す例では、所定の単位の文字の集合のうち、前半部分を強調する場合を示している。なお、以降では、前述した実施形態と処理の異なるゲイン特定部１１２に着目して説明することとし、その他の構成については、前述した実施形態と同様のため、詳細な説明は省略する。

【0114】

まず、図７Ａに示す例について説明する。図７Ａにおけるｆ１０は、図４で示した入力信号ｆ１０（即ち、入力信号ＩｎＡ）に対応しており、ｆ２０は、図４で示した周期ｆ２０に対応している。また、ｆ５０は、時系列に沿ったゲインの変化を模擬的に示したグラフであり、図４のｆ５０に対応している。また、図７Ａにおけるｆ５１は、この例における、時系列に沿ったゲインの変化を模擬的に示したグラフである。

【0115】

この変形例に係るゲイン特定部１１２は、ゲインの変化を示す制御信号を、動作検出部１１１から受けた話者の振舞いの周期に対して、時系列に沿って所定の時間幅ｈ５１だけ位相をずれるように生成する。例えば、図７Ａに示す例では、グラフｆ５１は、グラフｆ５０に比べて、時間幅ｈ５１だけ前側（時系列上の前側）に位相がずれている。この時間幅ｈ５１には、所定の定数値を用いてもよいし、話者の振舞いの周期の長さ（例えば、１周期の長さ）に対する相対値を用いてもよい。これらのいずれを利用するかは、例えば、音声認識処理や構文解析の特性に応じて決定するとよい。このようにして、このゲイン特定部１１２は、話者の振舞いの周期中の所望の位相でゲインが増幅するように、時系列に沿ったゲインの変化の位相を調整する。

【0116】

これにより、図７Ａに示すように、グラフｆ５１で示された、時系列に沿ったゲインの変化のピーク位置が、時間幅ｈ５１だけ前側にシフトする。そのため、例えば、音声信号ｆ１１０のうちのタイミングｔ２０１からｔ２０３の間で示された部分のうち、前側の信号が減衰されずに残る。即ち、タイミングｔ２０１からｔ２０３の間のうち、前側の部分が強調されることになり、この期間に対応する所定の単位の文字の集合の認識率を向上させることが可能となる。

【0117】

なお、上記では、ゲイン特定部１１２が、ゲインの変化を示す制御信号の位相を調整していたが、例えば、同期演算部１１５が、時間幅ｈ５１を鑑みて、ゲイン制御部１１６２による時系列に沿ったゲイン制御の開始タイミングを調整してもよい。

【0118】

次に、図７Ｂに示す例について説明する。図７Ａに示す例では、ゲインの変化を示す制御信号の位相を調整することで、所定の単位の文字の集合のうち、時系列に沿った所定の位置（タイミング）が強調されるようにゲインを制御していた。図７Ｂに示す例では、位相の調整に替えて、時系列に沿ったゲインの変化のピーク位置をずらすことで、所望の部分が強調されるように制御する。

【0119】

図７Ｂにおけるｆ１０は、図４及び図７Ａで示した入力信号ｆ１０（即ち、入力信号ＩｎＡ）に対応しており、ｆ２０は、図４及び図７Ａで示した周期ｆ２０に対応している。また、ｆ５０は、時系列に沿ったゲインの変化を模擬的に示したグラフであり、図４及び図７Ａのｆ５０に対応している。また、図７Ｂにおけるｆ５２は、この例における、時系列に沿ったゲインの変化を模擬的に示したグラフである。

【0120】

この変形例に係るゲイン特定部１１２は、ゲインの変化を示す制御信号のピーク位置が、動作検出部１１１から受けた話者の振舞いの周期に対して、時系列に沿って所定の時間幅ｈ５２だけずれるように生成する。例えば、図７Ｂに示す例では、グラフｆ５２は、グラフｆ５０に比べて、時間幅ｈ５２だけ前側（時系列上の前側）にピーク位置がずれている。この時間幅ｈ５２には、所定の定数値を用いてもよいし、話者の振舞いの周期の長さ（例えば、１周期の長さ）に対する相対値を用いてもよい。これらのいずれを利用するかは、例えば、音声認識処理や構文解析の特性に応じて決定するとよい。

【0121】

これにより、図７Ｂに示すように、グラフｆ５２で示された、時系列に沿ったゲインの変化のピーク位置が、時間幅ｈ５２だけ前側にシフトする。そのため、例えば、音声信号ｆ１１０のうちのタイミングｔ２０１からｔ２０３の間で示された部分のうち、前側の信号が減衰されずに残る。即ち、タイミングｔ２０１からｔ２０３の間のうち、前側の部分が強調されることになり、この期間に対応する所定の単位の文字の集合の認識率を向上させることが可能となる。また、図７Ｂに示す例では、音声信号ｆ１１０の振幅が最も低下するタイミング（例えば、ｔ２０１、ｔ２０３）と、利得Ｇａｉｎが最も低下するタイミング（例えば、ｔ５０１、ｔ５０３）が一致する。そのため、音声信号ｆ１１０の振幅に対してノイズｆ１３０の振幅の比率が最も大きくなるタイミング、即ち、ノイズｆ１３０が支配的となるタイミングの信号を減衰させ、他の部分を強調することが可能となる。

【0122】

なお、上述で説明した実施形態及び変形例では、話者の振舞いの周期に基づき所望のタイミングで入力信号ＩｎＡが強調されるように、他のタイミングの信号を減衰させる例について説明した。しかしながら、入力信号ＩｎＡのうち、強調する部分と、それとは異なる他の部分との間で、信号の振幅に差を持たせることが可能であれば、この方法には限定されない。例えば、入力信号ＩｎＡ全体を増幅してから、他の部分の信号の振幅を減衰させてもよい。また、強調する部分の信号を増幅するように制御してもよい。このような制御は、例えば、ゲイン特定部１１２が、所望の制御にあわせて、各タイミングにおける利得Ｇａｉｎを調整して制御信号を生成すればよい。

【0123】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0124】

１０１ 集音部
１０２ 画像取得部
１１ 音声処理ユニット
１１１ 動作検出部
１１２ ゲイン特定部
１１３ 音声信号取得部
１１４ 遅延処理部
１１５ 同期演算部
１１６ 信号処理部
１１６１ 増幅器
１１６２ ゲイン制御部
１２ 音声認識部
１３ 動作制御部

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】