特許 7644677 発話検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-04

(45)【発行日】2025-03-12

(54)【発明の名称】発話検出装置

(51)【国際特許分類】

   G10L 15/04 20130101AFI20250305BHJP

   G10L 15/25 20130101ALI20250305BHJP

【ＦＩ】

G10L15/04 300Z

G10L15/25

【請求項の数】 8

(21)【出願番号】P 2021125826

(22)【出願日】2021-07-30

(65)【公開番号】P2023020452

(43)【公開日】2023-02-09

【審査請求日】2024-02-05

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(72)【発明者】

【氏名】山田 仰

(72)【発明者】

【氏名】瀧上 順也

(72)【発明者】

【氏名】川瀬 智子

【審査官】山下 剛史

(56)【参考文献】

【文献】特開２０１９－１２８９３８（ＪＰ，Ａ）

【文献】特開２００４－１１８３１４（ＪＰ，Ａ）

【文献】特開２００３－１７４５０４（ＪＰ，Ａ）

【文献】特開２０１２－２４２６０９（ＪＰ，Ａ）

【文献】特開２０２０－１８５６３０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２６８８１２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／００－１５／３４，２５／７８

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

ユーザの発話を検出し、検出した発話音声を出力する発話検出装置であって、
前記ユーザの顔を撮像した顔画像に基づいて、発話時の口唇の動きとして予め規定された発話予備動作を検知する口唇動作検知部と、
前記ユーザの発話を検出するために設けられた音声検出装置からの音声信号に基づいて、音声を検出する音声検出部と、
前記音声信号を有効化または無効化することを判定する判定部であって、前記発話予備動作が検知された場合に前記音声信号を有効化し、前記音声信号の有効化の後の予め設定された所定の時間である無効化判定時間内に前記音声が検出されなかった場合に前記音声信号を無効化することを判定する判定部と、
前記判定部による音声信号の有効化または無効化の判定に応じて、前記音声信号の有効化及び無効化を制御する制御部と、を備え、
前記判定部は、規定された前記発話予備動作のうちの、第１の発話予備動作を検知した場合に第１の時間に前記無効化判定時間を設定し、前記発話予備動作のうちの第２の発話予備動作を検知した場合に前記第１の時間より長い第２の時間に前記無効化判定時間を設定し、
前記第１の発話予備動作は、即時的に発話が開始される可能性が高い口唇の動きとして予め規定された口唇の動作であり、
前記第２の発話予備動作は、即時的に発話が開始されると断定がしにくい口唇の動きとして予め規定された口唇の動作である、
発話検出装置。

【請求項2】

前記第１の発話予備動作の検知は、口唇の大きさが所定の閾値より大きい／閾値以上であること、口唇の大きさの変動量が所定の閾値より大きい／閾値以上であること、及び、口唇の動きが所定の動作パターンに該当すること、の少なくともいずれか一つに該当することであり、
前記第２の発話予備動作の検知は、口唇の大きさが所定の閾値以下である／閾値より小さいこと、口唇の大きさの変動量が前記所定の閾値以下である／閾値より小さいこと、及び、口唇の動きが前記所定の動作パターンに該当しないこと、の少なくともいずれか一つに該当することである、
請求項１に記載の発話検出装置。

【請求項3】

前記口唇動作検知部は、前記顔画像における口唇部分の占める領域の大きさが所定の大きさ以上であることを前記発話予備動作として検知する、
請求項１または２に記載の発話検出装置。

【請求項4】

前記口唇動作検知部は、前記顔画像における口唇部分の形状及び大きさの少なくともいずれか一方の単位時間あたりの変動量が所定の量以上であることを前記発話予備動作として検知する、
請求項１～３のいずれか一項に記載の発話検出装置。

【請求項5】

前記口唇動作検知部は、前記顔画像における口唇部分の形状及び動きの少なくともいずれか一方が所定の形状パターンまたは所定の動きパターンに該当することを前記発話予備動作として検知する、
請求項１～４のいずれか一項に記載の発話検出装置。

【請求項6】

前記制御部は、前記音声検出装置の音声の検出機能を無効化することにより、前記判定部により音声信号を無効化することが判定された場合における前記音声信号の無効化の制御を実施する、
請求項１～５のいずれか一項に記載の発話検出装置。

【請求項7】

前記制御部は、前記発話検出装置における制御状態を、前記音声信号に基づく音声の検知の有無のみに基づいて前記音声信号の有効化または無効化を判定する制御状態に変更することにより、前記判定部により音声信号を無効化することが判定された場合における前記音声信号の無効化の制御を実施する、
請求項１～６のいずれか一項に記載の発話検出装置。

【請求項8】

前記制御部は、前記発話音声を出力させないことにより、前記判定部により音声信号を無効化することが判定された場合における前記音声信号の無効化の制御を実施する、
請求項１～７のいずれか一項に記載の発話検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの発話を検出し、検出した発話音声を出力する発話検出装置に関する。

【背景技術】

【0002】

通話システム及び音声認識システム等のようなユーザの音声を検出及び取得するシステムでは、ハウリング及びエコーの発生並びに雑音の混入等を防止するために、ユーザが発話していないときには、マイクによる音声の取得をオフにすること等の制御により音声信号を無効化し、ユーザが発話しているときのみに音声信号を有効化することが好ましい。一般に、音声を検知したときに音声信号を有効化する技術が知られている。また、話者の画像に基づいて口唇の動きを検出することにより発話区間を検出する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－７９６２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

音声を検知したときに音声信号を有効化する技術では、音声の検知の後に音声信号が有効化されるので、発話の冒頭部分が取得されない、いわゆる頭切れが生じていた。また、特許文献１に記載された技術のように、口唇の動きにより発話区間を検出する場合には、発話を伴わない口唇の動きが誤検出され、雑音の混入等を防止できない場合があった。

【0005】

そこで、本発明は、上記問題点に鑑みてなされたものであり、音声を検出及び取得するシステムにおいて、ハウリング及びエコーの発生並びに雑音の混入等を防止しつつ、冒頭部分が切れることなく発話音声を取得することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の一形態に係る発話検出装置は、ユーザの発話を検出し、検出した発話音声を出力する発話検出装置であって、ユーザの顔を撮像した顔画像に基づいて、発話時の口唇の動きとして予め規定された発話予備動作を検知する口唇動作検知部と、ユーザの発話を検出するために設けられた音声検出装置からの音声信号に基づいて、音声を検出する音声検出部と、音声信号を有効化または無効化することを判定する判定部であって、発話予備動作が検知された場合に音声信号を有効化し、音声信号の有効化の後の予め設定された所定の時間である無効化判定時間内に音声が検出されなかった場合に音声信号を無効化することを判定する判定部と、判定部による音声信号の有効化または無効化の判定に応じて、音声信号の有効化及び無効化を制御する制御部と、を備える。

【0007】

上記の形態によれば、発話時において口唇の変動が発話よりも僅かに先行して生じるところ、顔画像に基づいて口唇の動きとして規定された発話予備動作が検知された場合に音声信号が有効化されるので、冒頭部分が切れることなく発話音声を取得できる。さらに、発話を伴わない口唇の動きに基づいて音声信号が一旦有効化された場合であっても、音声信号が有効化された後の無効化判定時間以内に音声が検出されなかった場合に音声信号が無効化されるので、ハウリング及びエコーの発生並びに雑音の混入等が防止される。

【発明の効果】

【0008】

音声を検出及び取得するシステムにおいて、ハウリング及びエコーの発生並びに雑音の混入等を防止しつつ、冒頭部分が切れることなく発話音声を取得することが可能となる。

【図面の簡単な説明】

【0009】

【図1】本実施形態の発話検出装置が通話システムに適用される場合の装置構成の例を示す図である。

【図2】本実施形態の発話検出装置の機能的構成を示すブロック図である。

【図3】発話検出装置のハードブロック図である。

【図4】発話予備動作の検知のための顔画像の例を示す図である。

【図5】発話検出装置における発話検出方法の処理内容の例を示すフローチャートである。

【図6】発話検出装置における発話検出方法の処理内容の他の例を示すフローチャートである。

【図7】発話検出プログラムの構成を示す図である。

【発明を実施するための形態】

【0010】

本発明に係る発話検出装置の実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

【0011】

図１は、本実施形態の発話検出装置が通話システムに適用される場合の装置構成の例を示す図である。図１に示されるように、複数の通話システム１は、ネットワークＮを介して通信可能に構成されている。発話検出装置１０は、ユーザの発話を検出し、検出した発話音声を出力する装置である。従って、本実施形態の発話検出装置１０は、図１に示されるように、通話システム１に適用できる。具体的には、通話システム１に適用された発話検出装置１０は、ユーザの発話を検出し、ネットワークＮを介して相手方の通話システム１に検出した発話音声を送信する。

【0012】

図２は、通話システム１の装置構成及び本実施形態に係る発話検出装置１０の機能的構成を示すブロック図である。図２に示されるように、通話システム１は、発話検出装置１０、カメラ２０及びマイク３０（音声検出装置）を含む。通話システム１は、ディスプレイ４０及びスピーカ５０を更に含んでもよい。

【0013】

発話検出装置１０は、機能的には、画像取得部１１、音声取得部１２、口唇動作検知部１３、音声検出部１４、判定部１５及び制御部１６を備える。これらの各機能部１１～１６は、一つの装置（コンピュータ）に構成されてもよいし、複数の装置に分散されて構成されてもよい。

【0014】

カメラ２０は、ユーザの顔を撮像する。カメラ２０は、ユーザの顔を撮像した顔画像を発話検出装置１０に送出する。マイク３０は、音声を検出する。マイク３０は、検出した音声からなる音声信号を発話検出装置１０に送出する。

【0015】

ディスプレイ４０は、例えば、ネットワークＮを解して受信した、通話システム１により通話している相手方のユーザの画像を表示する。スピーカ５０は、例えば、ネットワークＮを解して受信した、通話システム１により通話している相手方の音声を出力する。

【0016】

なお、図２に示したブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

【0017】

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

【0018】

例えば、本発明の一実施の形態における発話検出装置１０は、コンピュータとして機能してもよい。図３は、本実施形態に係る発話検出装置１０のハードウェア構成の一例を示す図である。発話検出装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

【0019】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。発話検出装置１０のハードウェア構成は、図３に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0020】

発話検出装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

【0021】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、図２に示した各機能部１１～１６などは、プロセッサ１００１で実現されてもよい。

【0022】

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、発話検出装置１０の各機能部１１～１６は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

【0023】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る発話検出方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0024】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

【0025】

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

【0026】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカ、ＬＥＤランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0027】

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

【0028】

また、発話検出装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

【0029】

再び図２を参照して、発話検出装置１０の機能部を説明する。画像取得部１１は、カメラ２０により撮像されたユーザの顔画像を取得する。音声取得部１２は、マイク３０により取得された音声からなる音声信号を取得する。

【0030】

口唇動作検知部１３は、画像取得部１１により取得された顔画像に基づいて、発話時の口唇の動きとして予め規定された発話予備動作を検知する。図４を参照して、発話予備動作の例について説明する。図４は、発話予備動作の検知のための顔画像の例を示す図である。

【0031】

口唇動作検知部１３は、ユーザの顔画像ｆから口唇部分ｌｐを抽出し、抽出した口唇部分ｌｐの例えば上唇（口唇部分ｌｐにおける上方向座標が最も大きい点）及び下唇（口唇部分ｌｐにおける上方向座標が最も小さい点）並びに左右の口角（口唇部分ｌｐにおける左右両端点）に標識点ｍｕ，ｍｌ，ｃｌ，ｃｒを設定する。口唇部分ｌｐの抽出及び標識点の設定には、いかなる画像処理技術が適用されてもよく、例えば撮像された画像から顔部分及び口唇部分を抽出するように機械学習されたモデルが適用されてもよいし、その他の周知の画像処理技術（例えば、パターンマッチング等）により抽出してもよい。また、口唇動作検知部１３は、顔画像ｆから、顔の長さｆｌ及び幅ｆｗをさらに取得してもよい。

【0032】

口唇動作検知部１３は、顔画像ｆにおける口唇部分ｌｐの占める領域の大きさが所定の大きさ以上であることを発話予備動作として検知してもよい。具体的には、口唇動作検知部１３は、標識点ｍｕ，ｍｌ，ｃｌ，ｃｒを結ぶ線分に囲まれる領域の大きさを口唇部分ｌｐの大きさの指標として取得してもよい。また、口唇動作検知部１３は、顔画像ｆに示される顔の面積に対する標識点ｍｕ，ｍｌ，ｃｌ，ｃｒを結ぶ線分に囲まれる領域の面積の割合を、口唇部分ｌｐの大きさの指標として取得してもよい。

【0033】

また、口唇動作検知部１３は、標識点ｍｕ（口唇上端部）と標識点ｍｌ（口唇下端部）とを結んだ線分の長さを口唇部分ｌｐの大きさの指標として取得してもよいし、顔の長さｆｌに対する標識点ｍｕと標識点ｍｌとを結んだ線分の長さの割合を、口唇部分ｌｐの大きさの指標として取得してもよい。また、口唇動作検知部１３は、標識点ｃｌ（口唇左端部）と標識点ｃｒ（口唇右端部）とを結んだ線分の長さを口唇部分ｌｐの大きさの指標として取得してもよいし、顔の幅ｆｗに対する標識点ｃｌと標識点ｃｒとを結んだ線分の長さの割合を、口唇部分ｌｐの大きさの指標として取得してもよい。

【0034】

口唇動作検知部１３は、上記の各種の口唇部分ｌｐの大きさの指標のうちの、いずれか一つ、複数または全てが予め設定された閾値を超えた場合に、発話予備動作を検知したこととすることができる。口唇部分の領域が所定の大きさ以上である場合には発話状態である可能性が高いことに鑑みて、口唇部分ｌｐの大きさの指標を取得することにより、発話予備動作を適切に検知できる。

【0035】

口唇動作検知部１３は、顔画像ｆにおける口唇部分ｌｐの形状及び大きさの少なくともいずれか一方の単位時間あたりの変動量が所定の量以上であることを発話予備動作として検知してもよい。具体的には、口唇動作検知部１３は、標識点ｍｕ，ｍｌ，ｃｌ，ｃｒのそれぞれの座標の単位時間（例えば撮像した動画像の所定数の連続するフレーム）あたりの変動量、及び、口唇部分ｌｐの中心点に対する標識点ｍｕ，ｍｌ，ｃｌ，ｃｒのそれぞれの相対座標の単位時間あたりの変動量を、口唇部分ｌｐの形状の変動量の指標として取得してもよい。

【0036】

また、口唇動作検知部１３は、上述したような各種の口唇部分ｌｐの大きさの指標の単位時間あたりの変動量を、口唇部分ｌｐの大きさの変動量の指標として取得してもよい。

【0037】

口唇動作検知部１３は、上記の各種の口唇部分ｌｐの形状及び大きさの変動量の指標のうちの、いずれか一つ、複数または全てが予め設定された閾値を超えた場合に、発話予備動作を検知したこととすることができる。口唇部分の形状または大きさの変動量が所定の量以上である場合には発話状態である可能性が高いことに鑑みて、口唇部分ｌｐの形状及び大きさの変動量の指標を取得することにより、発話予備動作を適切に検知できる。

【0038】

口唇動作検知部１３は、顔画像ｆにおける口唇部分ｌｐの形状及び動きの少なくともいずれか一方が所定の形状パターンまたは所定の動きパターンに該当することを発話予備動作として検知してもよい。

【0039】

具体的には、口唇動作検知部１３は、上記の口唇部分ｌｐの大きさ、形状の変動量及び大きさの変動量等の指標が所定の形状パターンまたは所定の動きパターンに該当する場合に、発話予備動作を検知したこととすることができる。

【0040】

所定の形状及び動き等のパターンは、例えば、母音の発声時の変動パターンであってもよい。母音の発声時の変動パターンは、「あ」、「え」、「お」の発声時のように口唇を上下に開くパターン、「い」の発声時のように口唇を左右に伸ばすパターン、及び、「う」の発声時のように口唇をすぼめるパターンであってもよい。

【0041】

所定の形状及び動き等のパターンは、例えば、所定の子音の発生時の変動パターンであってもよい。子音の発声時の変動パターンは、「ぱ行」等の発声時のように破裂音の前に口唇に力をこめるときのパターンであってもよい。

【0042】

このように、発話状態である可能性が高い口唇部分の形状または動きのパターンを検出することにより、顔画像ｆに基づいて発話予備動作を適切に検知できる。

【0043】

なお、口唇動作検知部１３は、ユーザが相槌を打つ場合のうなずきの動作を発話予備動作として検知してもよい。具体的には、口唇動作検知部１３は、口唇部分ｌｐに対して設定された標識点の下方への所定の動きをうなずきの動作として検知して、これを発話予備動作として検知することとしてもよい。また、発話検出装置１０は、顔画像ｆからユーザの視線の方向を検知し、検知した視線の方向の所定の変化をうなずきの動作として検知して、これを発話予備動作として検知することとしてもよい。

【0044】

再び図２を参照して、音声検出部１４は、ユーザの発話を検出するために設けられたマイク３０（音声検出装置）からの音声信号に基づいて、音声を検出する。

【0045】

音声検出部１４は、音声取得部１２により取得された音声信号が所定のレベル以上であることを以て音声を検出してもよい。また、音声検出部１４は、ＶＡＤ（Ｖｏｉｃｅ Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ）といった技術により、音声取得部１２により取得された音声信号に基づいて、音声を検出してもよい。また、音声検出部１４は、その他の周知の音声検出技術により音声を検出してもよい。

【0046】

判定部１５は、音声信号を有効化または無効化することを判定する。具体的には、判定部１５は、口唇動作検知部１３により発話予備動作が検知された場合に、音声取得部１２により取得された音声信号を有効化し、音声信号の有効化の後の予め設定された所定の時間である無効化判定時間内に音声検出部１４により音声が検出されなかった場合に音声信号を無効化することを判定する。

【0047】

制御部１６は、判定部１５による音声信号の有効化または無効化の判定に応じて、音声信号の有効化及び無効化を制御する。具体的には、制御部１６は、マイク３０の音声の検出機能を無効化することにより、判定部１５により音声信号を無効化することが判定された場合における音声信号の無効化の制御を実施してもよい。これにより、音声信号の無効化を確実に実施できる。

【0048】

また、制御部１６は、発話検出装置１０におけるモード（制御状態）を、音声信号に基づく音声の検知の有無のみに基づいて音声信号の有効化または無効化を判定するモードに変更することにより、判定部１５により音声信号を無効化することが判定された場合における音声信号の無効化の制御を実施してもよい。これにより、音声の検知がされない状態が継続されることにより音声信号を無効化することが判定されるので、音声信号の無効化の制御が確実に実施される。

【0049】

また、制御部１６は、発話音声を出力させないことにより、判定部１５により音声信号を無効化することが判定された場合における音声信号の無効化の制御を実施してもよい。発話検出装置１０が相手方との対話を行うための通話システムを構成する場合には、制御部１６は、発話音声からなる音声信号を相手方の通話システムに送信しないことにより、音声信号の無効化の制御を実施する。また、制御部１６は、音声信号のスピーカによる出力、所定の記憶手段への記憶、所定の表示手段への表示をさせないことにより、音声信号の無効化の制御を実施してもよい。このような制御により、マイク３０の制御を要することなく、音声信号の無効化を確実に実施することが可能となる。

【0050】

また、制御部１６は、音声信号の入力から出力に至る経路のいずれかの段階で音声信号を無効化することにより無効化の制御を実施してもよい。

【0051】

発話時には口唇の変動が発話よりも僅かに先行して生じるところ、このように、顔画像ｆに基づいて口唇の動きとして規定された発話予備動作が検知された場合に音声信号が有効化されるので、冒頭部分が切れることなく発話音声を取得できる。さらに、発話を伴わない口唇の動きに基づいて音声信号が一旦有効化された場合であっても、音声信号が有効化された後の無効化判定時間内に音声が検出されなかった場合に音声信号が無効化されるので、ハウリング及びエコーの発生並びに雑音の混入等が防止される。

【0052】

続いて、音声信号が有効化された後の音声信号の無効化の判定のための無効化判定時間の設定について説明する。判定部１５は、規定された発話予備動作のうちの、第１の発話予備動作を検知した場合に第１の時間に無効化判定時間を設定し、発話予備動作のうちの第２の発話予備動作を検知した場合に第１の時間より長い第２の時間に前記無効化判定時間を設定してもよい。

【0053】

第１の発話予備動作は、即時的に発話が開始される可能性が高い口唇の動きとして予め規定された口唇の動作である。また、第２の発話予備動作は、即時的に発話が開始されると断定がしにくい口唇の動きとして予め規定された口唇の動作である。

【0054】

第１の発話予備動作の検知は、口唇の大きさが所定の閾値より大きい／閾値以上であること、口唇の大きさの変動量が所定の閾値より大きい／閾値以上であること、及び、口唇の動きが所定の動作パターンに該当すること、の少なくともいずれか一つに該当することであってもよい。

【0055】

また、判定部１５は、口唇の動きが発声時特有の口唇の変動パターンに該当することを、第１の発話予備動作として検知してもよい。発声時特有の口唇の変動パターンは、例えば、母音の発声時の変動パターン及び所定の子音の発生時の変動パターン等であってもよい。

【0056】

第２の発話予備動作の検知は、口唇の大きさが所定の閾値以下である／閾値より小さいこと、口唇の大きさの変動量が前記所定の閾値以下である／閾値より小さいこと、及び、口唇の動きが所定の動作パターンに該当しないこと、の少なくともいずれか一つに該当することであってもよい。即ち、第２の発話予備動作は、規定された発話予備動作であって、第１の発話予備動作に該当しない動作であってもよい。

【0057】

このように、即時的に発話が開始される可能性が高い口唇の動きに基づいて音声信号が有効化された場合に、即時的に発話が開始されると断定がしにくい口唇の動きに基づいて音声信号が有効化された場合よりも、音声信号が有効化された後の音声信号の無効化判定に費やす時間が短時間で済むことにより音声信号を無効化することの判定の基準となる無効化判定時間が短く設定される。従って、不必要に音声信号が有効化される時間を短縮することが可能となる。

【0058】

図５は、発話検出装置１０における発話検出方法の処理内容を示すフローチャートである。発話検出処理が開始されると、画像取得部１１による画像取得処理、音声取得部１２による音声の取得処理が、継続的に又は所定時間間隔で断続的に実施される。

【0059】

ステップＳ１において、音声検出部１４は、音声が検出されたか否かを判定する。音声が検出されたと判定された場合には、処理はステップＳ３に進む。一方、音声が検出されたと判定されなかった場合には、処理はステップＳ２に進む。

【0060】

ステップＳ２において、口唇動作検知部１３は、発話予備動作が検知されたか否かを判定する。発話予備動作が検知されたと判定された場合には、処理はステップＳ３に進む。一方、発話予備動作が検知されたと判定されなかった場合には、処理はステップＳ４に進む。

【0061】

ステップＳ３において、判定部１５は、音声信号を有効化することを判定すると共に、音声信号を有効化した時刻である音声信号有効化時刻Ｔｓを記録する。そして、制御部１６は、音声信号を有効化する制御を実施する。

【0062】

ステップＳ４において、判定部１５は、音声信号が無効化された状態を維持することを判定し、処理はステップＳ１に戻る。

【0063】

ステップＳ５において、音声検出部１４は、音声が検出されたか否かを判定する。ここで音声が検出された場合は、発話予備動作に引き続いて実際にユーザが発話した場合である。音声が検出されたと判定された場合には、処理はステップＳ７に進む。一方、音声が検出されたと判定されなかった場合には、処理はステップＳ６に進む。

【0064】

ステップＳ６において、判定部１５は、現在時刻ｔが、音声信号有効化時刻Ｔｓから無効化判定時間Ｔが経過した時刻より後であるか否かを判定する。現在時刻ｔが音声信号有効化時刻Ｔｓから無効化判定時間Ｔが経過した時刻より後であると判定された場合には、処理はステップＳ８に進む。一方、現在時刻ｔが音声信号有効化時刻Ｔｓから無効化判定時間Ｔが経過した時刻より後であると判定されなかった場合には、処理はステップＳ７に進む。

【0065】

なお、判定部１５は、ステップＳ６の判定処理に先立って、検知された発話予備動作が第１及び第２の発話予備動作のいずれに該当するかに基づいて、無効化判定時間Ｔを第１の時間Ｔ１及び第１の時間Ｔ１より長い第２の時間Ｔ２のいずれかに設定することを判定してもよい。

【0066】

ステップＳ５～Ｓ６において、音声が検出されず且つ音声信号有効化時刻Ｔｓから無効化判定時間Ｔが経過した場合は、発話予備動作が検知されたものの、その動作が実際の発話を伴わない場合等に該当する。

【0067】

ステップＳ７において、判定部１５は、音声信号が有効化された状態を維持することを判定し、処理はステップＳ５に戻る。

【0068】

ステップＳ８において、判定部１５は、音声信号を無効化することを判定する。そして、処理はステップＳ１に戻る。

【0069】

なお、ステップＳ５の段階において、ユーザの発話ではない雑音等の音声が検出され続けている場合には、音声信号が有効化された状態が維持される。このような、不必要に音声信号が有効化された状態が維持されることを防止するために、音声が検出され続けたまま音声信号有効化時刻Ｔｓから無効化判定時間Ｔが経過したときにおいて、口唇の変動が検出されない場合には、処理手順がステップＳ８に進められて、判定部１５が音声信号を無効化することを判定してもよい。

【0070】

また、発話検出装置１０における発話検出方法の処理内容は、図６に示すフローチャートのように実行されてもよい。発話検出処理が開始されると、画像取得部１１による画像取得処理、音声取得部１２による音声の取得処理が、継続的に又は所定時間間隔で断続的に実施される。

【0071】

ステップＳ１１において、制御部１６は音声信号が有効化されているか否かを判定する。音声信号が有効化されていると判定された場合には、処理はステップＳ１７に進む。一方、音声信号が有効化されていると判定されなかった場合には、処理はステップＳ１２に進む。

【0072】

ステップＳ１２において、口唇動作検知部１３は、発話予備動作が検知されたか否かを判定する。発話予備動作が検知されたと判定された場合には、処理はステップＳ１３に進む。一方、発話予備動作が検知されたと判定されなかった場合には、処理はステップＳ１１に戻る。

【0073】

ステップＳ１３において、判定部１５は、音声信号を有効化することを判定し、制御部１６は、音声信号を有効化する制御を実施する。そして、処理はステップＳ１４に進む。

【0074】

ステップＳ１４において、判定部１５は無効化判定時間Ｔを設定し、設定した時間Ｔの間だけ待機する。そして、処理はステップＳ１５に進む。なお、判定部１５は、検知された発話予備動作が第１及び第２の発話予備動作のいずれに該当するかに基づいて、無効化判定時間Ｔを第１の時間Ｔ１及び第１の時間Ｔ１より長い第２の時間Ｔ２のいずれかに設定することを判定してもよい。

【0075】

ステップＳ１５において、音声検出部１４は、音声が検出されたか否かを判定する。ここで音声が検出された場合は、発話予備動作に引き続いて実際にユーザが発話した場合等に該当する。音声が検出されたと判定されなかった場合は、発話予備動作が検知されたものの、その動作が実際の発話を伴わない場合等に該当する。音声が検出されたと判定された場合には、処理はステップＳ１１に戻る。一方、音声が検出されたと判定されなかった場合には、処理はステップＳ１６に進む。

【0076】

ステップＳ１６において、判定部１５は、音声信号を無効化することを判定し、制御部１６は、音声信号を無効化する制御を実施する。そして、処理はステップＳ１１に戻る。

【0077】

ステップＳ１７において、口唇動作検知部１３は、発話予備動作が検知されたか否かを判定する。発話予備動作が検知されたと判定された場合には、処理はステップＳ１４に進む。一方、発話予備動作が検知されたと判定されなかった場合には、処理はステップＳ１６に進む。

【0078】

図６に示すフローチャートの動作によれば、音声検出部１４がユーザの発話ではない雑音等の音声が検出され続けている場合においても、口唇の変動が検出されない場合には音声が有効化されない、あるいは即時に無効化されるため、雑音などの音声が不必要に有効化された状態が維持されることを防止することができる。

【0079】

次に、図７を参照して、コンピュータを、本実施形態の発話検出装置１０として機能させるための発話検出プログラムについて説明する。

【0080】

図７は、発話検出プログラムの構成を示す図である。発話検出プログラムＰ１は、発話検出装置１０における発話検出処理を統括的に制御するメインモジュールｍ１０、画像取得モジュールｍ１１、音声取得モジュールｍ１２、口唇動作検知モジュールｍ１３、音声検出モジュールｍ１４、判定モジュールｍ１５及び制御モジュールｍ１６を備えて構成される。そして、各モジュールｍ１１～ｍ１６により、画像取得部１１、音声取得部１２、口唇動作検知部１３、音声検出部１４、判定部１５及び制御部１６のための各機能が実現される。

【0081】

なお、発話検出プログラムＰ１は、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図７に示されるように、記録媒体Ｍ１に記憶される態様であってもよい。

【0082】

以上説明した本実施形態の発話検出装置１０、発話検出方法及び発話検出プログラムＰ１によれば、発話時において口唇の変動が発話よりも僅かに先行して生じるところ、顔画像に基づいて口唇の動きとして規定された発話予備動作が検知された場合に音声信号が有効化されるので、冒頭部分が切れることなく発話音声を取得できる。さらに、発話を伴わない口唇の動きに基づいて音声信号が一旦有効化された場合であっても、音声信号が有効化された後の所定時間以内に音声が検出されなかった場合に音声信号が無効化されるので、ハウリング及びエコーの発生並びに雑音の混入等が防止される。

【0083】

また、別の形態に係る発話検出装置では、判定部は、規定された発話予備動作のうちの、第１の発話予備動作を検知した場合に第１の時間に無効化判定時間を設定し、発話予備動作のうちの第２の発話予備動作を検知した場合に第１の時間より長い第２の時間に無効化判定時間を設定し、第１の発話予備動作は、即時的に発話が開始される可能性が高い口唇の動きとして予め規定された口唇の動作であり、第２の発話予備動作は、即時的に発話が開始されると断定がしにくい口唇の動きとして予め規定された口唇の動作である、こととしてもよい。

【0084】

上記形態によれば、即時的に発話が開始される可能性が高い口唇の動きに基づいて音声信号が有効化された場合に、即時的に発話が開始されると断定がしにくい口唇の動きに基づいて音声信号が有効化された場合よりも、音声信号の有効化の後に音声が検出されない場合に音声信号を無効化することの判定の基準となる無効化判定時間が短く設定される。従って、不必要に音声信号が有効化される時間を短縮することが可能となる。

【0085】

また、別の形態に係る発話検出装置では、第１の発話予備動作の検知は、口唇の大きさが所定の閾値より大きい／閾値以上であること、口唇の大きさの変動量が所定の閾値より大きい／閾値以上であること、及び、口唇の動きが所定の動作パターンに該当すること、の少なくともいずれか一つに該当することであり、第２の発話予備動作の検知は、口唇の大きさが所定の閾値以下である／閾値より小さいこと、口唇の大きさの変動量が所定の閾値以下である／閾値より小さいこと、及び、口唇の動きが所定の動作パターンに該当しないこと、の少なくともいずれか一つに該当することであることとしてもよい。

【0086】

上記形態によれば、即時的に発話が開始されると断定がしにくい口唇の動きを適切に検知できる。

【0087】

また、別の形態に係る発話検出装置では、口唇動作検知部は、顔画像における口唇部分の占める領域の大きさが所定の大きさ以上であることを発話予備動作として検知することとしてもよい。

【0088】

上記形態によれば、口唇部分の領域が所定の大きさ以上である場合には発話状態である可能性が高いので、顔画像に基づいて発話予備動作を適切に検知できる。

【0089】

また、別の形態に係る発話検出装置では、口唇動作検知部は、顔画像における口唇部分の形状及び大きさの少なくともいずれか一方の単位時間あたりの変動量が所定の量以上であることを発話予備動作として検知することとしてもよい。

【0090】

上記形態によれば、口唇部分の形状または大きさの変動量が所定の量以上である場合には発話状態である可能性が高いので、顔画像に基づいて発話予備動作を適切に検知できる。

【0091】

また、別の形態に係る発話検出装置では、口唇動作検知部は、顔画像における口唇部分の形状及び動きの少なくともいずれか一方が所定の形状パターンまたは所定の動きパターンに該当することを発話予備動作として検知することとしてもよい。

【0092】

上記形態によれば、口唇部分の形状または動きが所定のパターンに該当する場合には発話状態である可能性が高いので、顔画像に基づいて発話予備動作を適切に検知できる。

【0093】

また、別の形態に係る発話検出装置では、制御部は、音声検出装置の音声の検出機能を無効化することにより、判定部により音声信号を無効化することが判定された場合における音声信号の無効化の制御を実施することとしてもよい。

【0094】

上記形態によれば、音声信号の無効化が確実に実施される。

【0095】

また、別の形態に係る発話検出装置では、制御部は、発話検出装置における制御状態を、音声信号に基づく音声の検知の有無のみに基づいて音声信号の有効化または無効化を判定する制御状態に変更することにより、判定部により音声信号を無効化することが判定された場合における音声信号の無効化の制御を実施することとしてもよい。

【0096】

上記形態によれば、音声の検知がされない状態が継続されることにより音声信号を無効化することが判定されるので、音声信号の無効化の制御が確実に実施される。

【0097】

また、別の形態に係る発話検出装置では、制御部は、発話音声を出力させないことにより、判定部により音声信号を無効化することが判定された場合における音声信号の無効化の制御を実施することとしてもよい。

【0098】

上記形態によれば、音声検出装置の制御を要することなく、音声信号の無効化を確実に実施することが可能となる。

【0099】

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

【0100】

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

【0101】

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0102】

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0103】

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0104】

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0105】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0106】

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

【0107】

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0108】

なお、本開示において説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

【0109】

本明細書で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。

【0110】

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

【0111】

本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

【0112】

本開示で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0113】

本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0114】

「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

【0115】

本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。

【0116】

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

【符号の説明】

【0117】

１…通話システム、１０…発話検出装置、１１…画像取得部、１２…音声取得部、１３…口唇動作検知部、１４…音声検出部、１５…判定部、１６…制御部、２０…カメラ、３０…マイク、４０…ディスプレイ、５０…スピーカ、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス、Ｍ１…記録媒体、ｍ１０…メインモジュール、ｍ１１…画像取得モジュール、ｍ１２…音声取得モジュール、ｍ１３…口唇動作検知モジュール、ｍ１４…音声検出モジュール、ｍ１５…判定モジュール、ｍ１６…制御モジュール、Ｎ…ネットワーク、Ｐ１…発話検出プログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】