特開 2023-35166 途切れ検出装置、音声処理システムおよび途切れ検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023035166

(43)【公開日】2023-03-13

(54)【発明の名称】途切れ検出装置、音声処理システムおよび途切れ検出方法

(51)【国際特許分類】

   G10L 25/51 20130101AFI20230306BHJP

   G10L 25/18 20130101ALI20230306BHJP

   G10L 25/21 20130101ALI20230306BHJP

【ＦＩ】

G10L25/51

G10L25/18

G10L25/21

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021141800

(22)【出願日】2021-08-31

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】110001461

【氏名又は名称】弁理士法人きさ特許商標事務所

(72)【発明者】

【氏名】原田 裕章

(72)【発明者】

【氏名】有山 義博

(72)【発明者】

【氏名】保田 浩之

(57)【要約】

【課題】信号に含まれるデータの途切れを、より速く、より確実に検出することができる途切れ検出装置などを得る。
【解決手段】データを含むデータ信号から、それぞれ設定された周波数帯域の信号を、通過信号として通過させる複数の帯域フィルタ部１１０と、複数の通過信号に、データの途切れに因る周波数成分および周波数成分の高調波成分が含まれているかどうかを判定し、データの途切れを検出する判定回路１４０とを備えるものである。
【選択図】図１

【特許請求の範囲】

【請求項1】

データを含むデータ信号から、それぞれ設定された周波数帯域の信号を、通過信号として通過させる複数の帯域フィルタ部と、
複数の前記通過信号に、前記データの途切れに因る周波数成分および前記周波数成分の高調波成分が含まれているかどうかを判定し、前記データの途切れを検出する判定回路と
を備える途切れ検出装置。

【請求項2】

前記データ信号および複数の前記通過信号におけるパワーを変換したパワー変換信号をそれぞれ出力する複数のパワー変換回路と、
複数の前記パワー変換回路が変換した前記パワー変換信号を比較して比較結果信号を出力する比較回路と
を備え、
前記判定回路は、前記比較結果信号に基づいて、前記データの途切れを検出する請求項１に記載の途切れ検出装置。

【請求項3】

前記判定回路は、すべての前記パワー変換信号において、あらかじめ定められた設定閾値以上の出力があるときに、前記データの途切れを検出して検出信号を出力する請求項２に記載の途切れ検出装置。

【請求項4】

前記判定回路は、前記比較結果信号に基づき、あらかじめ定められた設定時間以上、前記設定閾値以上の前記出力が継続していると判定すると、前記データの途切れではないとする請求項３に記載の途切れ検出装置。

【請求項5】

前記データは、音声に係る前記データである請求項１～請求項４のいずれか一項に記載の途切れ検出装置。

【請求項6】

前記データは、映像に係る前記データである請求項１～請求項４のいずれか一項に記載の途切れ検出装置。

【請求項7】

請求項１～請求項５のいずれか一項に記載の途切れ検出装置と、
受信した信号を処理して音声に係るデータを含むデータ信号を出力する受信回路および前記データ信号に基づき、音声信号に変換処理する処理回路を有する音声処理装置と
を備え、
前記処理回路は、前記途切れ検出装置から前記音声の途切れの発生を示す検出信号が送られると、前記音声が途切れた部分を補間する処理を行う音声処理システム。

【請求項8】

データを含むデータ信号を、それぞれ設定された周波数帯域を通過させる複数の帯域フィルタに通過させる工程と、
複数の帯域フィルタを通過した複数の通過信号に、前記データの途切れに因る周波数成分および前記周波数成分の高調波成分が含まれているかどうかを判定して、前記データの途切れを検出する工程と
を有する途切れ検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

この技術は、途切れ検出装置、音声処理システムおよび途切れ検出方法に関するものである。特に音声などに係るデータを含む信号に発生した波形などの途切れの検出に係るものである。

【背景技術】

【0002】

デジタル音声信号において、種々の原因により発生するノイズに起因する信号のエラーを検出する方法として、たとえば、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を用いて行う方法がある（たとえば、特許文献１参照）。この方法では、連続するデジタル音声の信号を、５ｍｓ以下の区間で時間的に区切ってサンプリングしたサンプリングデータに対して、ＦＦＴ処理により高周波成分の抽出を行い、抽出された高周波成分に基づいて、デジタル音声信号に生じたエラーの発生を検出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１５／０５９７８２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１のような方法は、ＦＦＴを用いて信号処理を行うため、装置が行う処理の負荷が大きくなる。したがって、このような方法では、装置がエラー発生を判定するまでに時間を要していた。また、特許文献１のような方法は、連続する音声の波形のデータを含む信号を時間的に区切って処理を行うため、区間の境界で信号に途切れなどが生じた場合には、音声などの途切れを検出できない可能性があった。

【0005】

そこで、信号に含まれる音声などのデータの途切れを、より速く、より確実に検出することができる途切れ検出装置などの実現が望まれていた。

【課題を解決するための手段】

【0006】

開示に係る途切れ検出装置は、データを含むデータ信号から、それぞれ設定された周波数帯域の信号を、通過信号として通過させる複数の帯域フィルタ部と、複数の通過信号に、データの途切れに因る周波数成分および周波数成分の高調波成分が含まれているかどうかを判定し、データの途切れを検出する判定回路とを備えるものである。

【0007】

また、開示に係る音声処理システムは、上記の途切れ検出装置と、受信した信号を処理して音声に係るデータを含むデータ信号を出力する受信回路およびデータ信号に基づき、音声信号に変換処理する処理回路を有する音声処理装置とを備え、処理回路は、途切れ検出装置から途切れの発生を示す検出信号が送られると、音声が途切れた部分を補間する処理を行うものである。

【0008】

そして、開示に係る途切れ検出方法は、データを含むデータ信号を、それぞれ設定された周波数帯域を通過させる複数の帯域フィルタに通過させる工程と、複数の帯域フィルタを通過した複数の通過信号に、データの途切れに因る周波数成分および周波数成分の高調波成分が含まれているかどうかを判定して、データの途切れを検出する工程とを有するものである。

【発明の効果】

【0009】

この開示によれば、途切れ検出装置が、データ信号を周波数帯域によって分割した各通過信号に、途切れに因る周波数成分および周波数成分の高調波成分が含まれているかどうかを判定し、音声の波形などのデータの途切れを検出するようにした。このため、ＦＦＴを用いた信号処理による途切れの検出に比べて、処理の負荷が少ない。このため、リアルタイムに送られるデータ信号から途切れの検出を行うことができる。また、時間的に区切った途切れの検出をしなくてよいので、区間の境界における検出ミスを防ぐことができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１に係る音声途切れ検出装置１００を中心とする音声処理システム１の構成を示す図である。

【図2】実施の形態１に係る各パワー変換回路１２０から出力されるパワー変換信号を示す図である。

【発明を実施するための形態】

【0011】

以下、実施の形態に係る途切れ検出装置などについて、図面などを参照しながら説明する。以下の図面において、同一の符号を付したものは、同一またはこれに相当するものであり、以下に記載する実施の形態の全文において共通することとする。また、図面では各構成部材の大きさの関係が実際のものとは異なる場合がある。そして、明細書全文に表わされている構成要素の形態は、あくまでも例示であって、明細書に記載された形態に限定するものではない。明細書に記載された機器がすべて含まれていなくてもよい場合がある。特に構成要素の組み合わせは、各実施の形態における組み合わせのみに限定するものではなく、他の実施の形態に記載した構成要素を別の実施の形態に適用することができる。また、添字で区別などしている複数の同種の機器などについて、特に区別したり、特定したりする必要がない場合には、符号、添字などを省略して記載する場合がある。

【0012】

実施の形態１．
図１は、実施の形態１に係る音声途切れ検出装置１００を中心とする音声処理システム１の構成を示す図である。図１において、音声処理システム１は、音声処理装置２００および音声途切れ検出装置１００を有する。ここで、データの欠損などによる途切れを検出する装置が、検出対象とする波形は、音声の波形であるものとする。音声とは、通話などにおいて人が声として発する音だけではなく、雑音などを除く、情報となる音なども含むものとする。そして、実施の形態１の音声処理システム１は、ＶｏＬＴＥ（Ｖｏｉｃｅ ｏｖｅｒ Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）における通話音声を処理するシステムを一例として説明する。ただし、これに限定するものではない。

【0013】

音声処理装置２００は、たとえば、外部から受信した信号に含まれるデジタルデータを処理し、デジタルデータに含まれる音声を音声信号として出力する装置である。音声処理装置２００は、入力端子２１０、受信回路２２０および処理回路２３０を有する。入力端子２１０は、デジタルデータを含む信号が外部から入力される端子である。受信回路２２０は、入力端子２１０を介して受信した信号を一時的に蓄積し、信号中のデジタルデータを、処理回路２３０が処理可能な形式の音声に係るデータを含む信号に変換し、データ信号として出力する。処理回路２３０は、受信回路２２０からのデータ信号に含まれるデータを処理して、音声信号を出力する。特に、実施の形態１においては、処理回路２３０は、音声途切れ検出装置１００から検出信号が送られたときには、欠損などにより途切れた音声を補間する補間処理を行って処理した音声信号を出力する。

【0014】

また、音声途切れ検出装置１００は、たとえば、受信した信号におけるデータの欠損、ノイズの混入などにより、音声が途切れてしまい、データ信号における音声の連続性が保たれていないことを検出すると、検出信号を処理回路２３０に送る装置である。音声途切れ検出装置１００は、複数の帯域フィルタ部１１０（帯域フィルタ部１１０－１～帯域フィルタ部１１０－６）、複数のパワー変換回路１２０（パワー変換回路１２０－０～パワー変換回路１２０－６）、比較回路１３０および判定回路１４０を有する。

【0015】

複数の帯域フィルタ部１１０は、それぞれ帯域フィルタを有し、受信回路２２０からのデータ信号のうち、それぞれに設定された周波数帯域の信号を、通過信号として通過させる。図１に示すように、ここでは、音声途切れ検出装置１００は、６つの帯域フィルタ部１１０－１～帯域フィルタ部１１０－６を有する。そして、帯域フィルタ部１１０－１は、データ信号のうち、５０Ｈｚ＜Ｆ１≦１５０Ｈｚの周波数帯域Ｆ１の信号を通過信号として通過させる。同様に、帯域フィルタ部１１０－２は、１５０Ｈｚ＜Ｆ２≦２５０Ｈｚの周波数帯域Ｆ２の信号を通過信号として通過させる。また、帯域フィルタ部１１０－３は、２５０Ｈｚ＜Ｆ３≦３５０Ｈｚの周波数帯域Ｆ３の信号を通過信号として通過させる。さらに、帯域フィルタ部１１０－４は、３５０Ｈｚ＜Ｆ４≦４５０Ｈｚの周波数帯域Ｆ４の信号を通過信号として通過させる。また、帯域フィルタ部１１０－５は、４５０Ｈｚ＜Ｆ５≦５５０Ｈｚの周波数帯域Ｆ５の信号を通過信号として通過させる。そして、帯域フィルタ部１１０－６は、５５０Ｈｚ＜Ｆ６≦７４５０Ｈｚの周波数帯域Ｆ６の信号を通過信号として通過させる。帯域フィルタ部１１０－６については、後述する１３倍以上の高調波成分から上限周波数までの高調波成分をまとめて通過させるものである。

【0016】

複数のパワー変換回路１２０は、それぞれ送られた通過信号のパワーを増幅などにより変換し、信号のパワー調整を行ってパワー変換信号を出力する。図１に示すように、実施の形態１の音声途切れ検出装置１００は、７つのパワー変換回路１２０－０～パワー変換回路１２０－６を有する。パワー変換回路１２０－０は、データ信号のパワーを変換する。また、パワー変換回路１２０－１～パワー変換回路１２０－６は、それぞれ帯域フィルタ部１１０－１～帯域フィルタ部１１０－６を通過した信号のパワーを変換する。各パワー変換回路１２０は、音声途切れが発生した部分におけるパワーが同等となるように変換の設定がされる。たとえば、後述するように、音声途切れに因って生じる周波数成分に対して発生する各高調波成分における減衰の程度に応じて設定することができる。

【0017】

比較回路１３０は、複数のパワー変換回路１２０からのパワー変換信号を比較した比較結果信号を送る。また、判定回路１４０は、比較回路１３０からの比較結果信号に基づいて、複数の通過信号に、音声途切れに因る周波数成分および高調波成分が含まれているかどうかを判定し、判定に基づいて検出信号を処理回路２３０に送る。ここで、実施の形態１の判定回路１４０は、計時部１４１を有する。計時部１４１は、タイマなどの装置を有し、計時を行う。

【0018】

次に、音声途切れ検出装置１００の処理動作について説明する。音声処理装置２００の受信回路２２０から音声途切れ検出装置１００に送られたデータ信号は、複数の帯域フィルタ部１１０を通過する。各帯域フィルタ部１１０は、データ信号のうち、それぞれに設定された周波数帯域の信号を、通過信号として通過させる。音声途切れが発生すると、時系列的に音声が連続しなくなる（以下、時系列不連続という）。時系列不連続が発生すると、ある周波数がノイズ成分として発生するとともに、ある周波数に対して、その倍数となる高調波成分が発生する。１００Ｈｚ単位の帯域では、５０Ｈｚの信号に対して、３倍、５倍、７倍、９倍、１１倍および１３倍以上の高調波成分が発生する。実施の形態１の帯域フィルタ部１１０は、データ信号に含まれる音声途切れに因って生じるある周波数成分およびその倍数の高調波成分がすべての帯域フィルタ部１１０において通過するように、通過する周波数帯域が設定される。データ信号および各帯域フィルタ部１１０を通過した通過信号は、それぞれ対応するパワー変換回路１２０に送られる。

【0019】

図２は、実施の形態１に係る各パワー変換回路１２０から出力されるパワー変換信号を示す図である。各パワー変換回路１２０は、音声途切れによって生じる各成分が同等の出力パワーとなるように、それぞれ変換処理を行ってパワーを調整したパワー変換信号を出力する。各パワー変換回路１２０は、たとえば、送られた通過信号の絶対値に基づき、ローパスフィルタによる平均化処理を行って変換を行う。

【0020】

比較回路１３０は、各パワー変換回路１２０から送られる信号の大きさを比較する。そして、比較回路１３０は、比較に基づく比較結果信号を判定回路１４０に出力する。ここで、比較の方法については、判定回路１４０が判定可能な比較結果信号を出力できるものであれば、特に限定するものではない。たとえば、比較回路１３０は、各パワー変換回路１２０から送られるパワー変換信号の大きさの総和を、比較結果信号として出力してもよい。また、各パワー変換回路１２０から送られるパワー変換信号のうち、大きさが最低のパワー変換信号を比較結果信号として出力してもよい。

【0021】

判定回路１４０は、比較回路１３０からの比較結果信号に基づき、すべてのパワー変換回路１２０から出力されたパワー変換信号のパワーが同等であるかどうか（ある周波数の信号およびある周波数の倍数の高調波成分がすべての通過信号に含まれる）を判定する。そして、判定回路１４０は、すべてのパワー変換信号のパワーが同等であると判定すると、時系列不連続に伴う周波数成分および倍数高調波成分が発生しているとして、検出信号を処理回路２３０に出力する。ここで、特に限定するものではないが、パワーが同等であるとは、基準に対してすべての信号のパワーが約±１０％以内に収まっている場合である。

【0022】

ここで、判定回路１４０は、比較結果信号の立ち上がりおよび立ち下がりのそれぞれに設定閾値があらかじめ設定されている。判定回路１４０は、比較結果信号の大きさが設定閾値以上であるときに、すべてのパワー変換回路１２０から出力された信号に同等のパワーがあると判定する。また、判定回路１４０は、計時部１４１において、比較結果信号が閾値以上継続する時間を計時する。そして、判定回路１４０は、設定時間以上継続していると判定すると、継続的に音声に含まれるホワイトノイズまたは無音に因るものであって、音声途切れではないとして、検出信号を出力しない。このため、音声途切れ検出装置１００は、音声途切れにかかる誤検出を回避することができる。

【0023】

以上のように、実施の形態１の音声途切れ検出装置１００によれば、複数の帯域フィルタ部１１０が、フィルタリングによって、音声処理装置２００の受信回路２２０からのデータ信号のうち、設定された帯域の周波数成分の信号を通過させる。また、複数のパワー変換回路１２０が、各帯域フィルタ部１１０を通過した通過信号のパワーを変換する。さらに、比較回路１３０がパワー変換されたパワー変換信号の比較を行って比較結果信号を出力する。そして、判定回路１４０が、比較結果信号に基づいて音声途切れが発生したかどうかを判定し、音声途切れが発生したことを判定すると、音声処理装置２００の処理回路２３０に検出信号を出力する。このように、実施の形態１の音声途切れ検出装置１００は、途切れによる時系列不連続により、ある周波数のノイズ成分およびその高調波成分が発生することを利用して、データ信号の帯域分割によって音声途切れの発生を検出する。このため、実施の形態１の音声途切れ検出装置１００は、ＦＦＴを用いた信号処理による音声途切れの検出に比べて、少ない負荷で処理を行うことができる。したがって、音声途切れ検出装置１００は、受信した信号をリアルタイムで処理して音声途切れの検出を行うことができる。このため、電話などの通話における音声途切れ検出にも適用することができる。また、実施の形態１の音声途切れ検出装置１００は、時間的に区間に分割して音声途切れの検出をしなくてよいので、区間において音声途切れが検出できないことを防ぐことができる。

【0024】

実施の形態２．
上述した実施の形態１の音声途切れ検出装置１００は、パワー変換回路１２０においてパワーを調整したパワー変換信号を比較回路１３０が比較し、判定回路１４０において時系列不連続に伴う周波数成分および倍数高調波成分があるかどうかを判定した。ただし、これに限定するものではない。たとえば、判定回路１４０が倍数高調波成分の減衰分を加味した判定を行うことができる場合には、帯域フィルタ部１１０が帯域分割した通過信号から判定を行ってもよい。

【0025】

上述した実施の形態１の音声途切れ検出装置１００では、複数の帯域フィルタ部１１０について、周波数帯域Ｆ１は５０Ｈｚ＜Ｆ１≦１５０Ｈｚ、周波数帯域Ｆ２は、１５０Ｈｚ＜Ｆ２≦２５０Ｈｚ、周波数帯域Ｆ３は、２５０Ｈｚ＜Ｆ３≦３５０Ｈｚ、周波数帯域Ｆ４は、３５０Ｈｚ＜Ｆ４≦４５０Ｈｚ、周波数帯域Ｆ５は、４５０Ｈｚ＜Ｆ５≦５５０Ｈｚ、周波数帯域Ｆ６は、５５０Ｈｚ＜Ｆ６≦７４５０Ｈｚとしたが、これに限定しない。各高調波成分を中心周波数として、周波数帯域Ｆ１は１００Ｈｚ＜Ｆ１≦２００Ｈｚ、周波数帯域Ｆ２は、２００Ｈｚ＜Ｆ２≦３００Ｈｚ、周波数帯域Ｆ３は、３００Ｈｚ＜Ｆ３≦４００Ｈｚ、周波数帯域Ｆ４は、４００Ｈｚ＜Ｆ４≦５００Ｈｚ、周波数帯域Ｆ５は、５００Ｈｚ＜Ｆ５≦６００Ｈｚ、周波数帯域Ｆ６は、７００Ｈｚ＜Ｆ６≦７０００Ｈｚ（帯域上限）などとしてもよい。また、一般的な電話の場合などでは、３００Ｈｚ～３４００Ｈｚの間で通過する周波数帯域を決めてもよい。

【0026】

また、上述した実施の形態１に係る音声処理システム１では、音声途切れ検出装置１００の判定回路１４０が出力した検出信号に基づいて、音声処理装置２００の処理回路２３０が音声の補間処理を行うようにしたが、これに限定するものではない。たとえば、音声途切れ検出装置１００は、検出信号が送られると、表示および音により、視覚的または聴覚的に報知を行う報知装置などを備えて、報知させるようにしてもよい。また、外部の装置に対して、信号の再送信を要求するなどの処理をしてもよい。

【0027】

また、上述した実施の形態１に係る音声処理システム１は、通話音声を処理するシステムとして説明したが、これに限定するものではない。音楽などのストリーミング配信などにも適用することができる。また、超音波、映像などの時系列に波形の信号が送られるような各種データ通信において、時系列不連続が発生する途切れ検出にも適用することができる。

【符号の説明】

【0028】

１ 音声処理システム
１００ 音声途切れ検出装置
１１０，１１０－１～１１０－６ 帯域フィルタ部
１２０，１２０－０～１２０－６ パワー変換回路
１３０ 比較回路
１４０ 判定回路
１４１ 計時部
２００ 音声処理装置
２１０ 入力端子
２２０ 受信回路
２３０ 処理回路

【図1】

【図2】