特許 7524678 信号処理装置および信号処理方法並びに信号処理方法のプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-22

(45)【発行日】2024-07-30

(54)【発明の名称】信号処理装置および信号処理方法並びに信号処理方法のプログラム

(51)【国際特許分類】

   G10L 19/005 20130101AFI20240723BHJP

【ＦＩ】

G10L19/005

【請求項の数】 7

(21)【出願番号】P 2020144654

(22)【出願日】2020-08-28

(65)【公開番号】P2022039558

(43)【公開日】2022-03-10

【審査請求日】2023-05-11

(73)【特許権者】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】110001461

【氏名又は名称】弁理士法人きさ特許商標事務所

(72)【発明者】

【氏名】武田 啓之

【審査官】間宮 嘉誉

(56)【参考文献】

【文献】特表２００６－５２６１７７（ＪＰ，Ａ）

【文献】特表２０１５－５３４６５５（ＪＰ，Ａ）

【文献】特表２００８－５２９０７３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２０６９０６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ９／００－ ９／４０

Ｇ１０Ｌ １３／００－９９／００

Ｈ０４Ｎ １／４１－ １／４１９

Ｈ０４Ｎ １／６４

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

時間変位を伴う物理量の信号をデジタルデータ化した処理対象データを処理する信号処理装置であって、
あらかじめ設定されたサンプル数の前記処理対象データに抜けがあるかどうかを判定し、検出結果を出力する抜け検出部と、
前記検出結果に基づいて、データの出力を行うデータ判定処理部と、
前回に出力された前記処理対象データを記憶するデータ記憶部と、
前記データ記憶部が記憶する前記処理対象データを巡回シフトさせたシフトデータを生成するサンプルシフト処理部と
を備え、
前記データ判定処理部は、前記検出結果に基づき、前記処理対象データに抜けがないと判定すると前記処理対象データを出力し、前記処理対象データに抜けがあると判定すると前記シフトデータを出力する信号処理装置。

【請求項2】

前記サンプルシフト処理部が巡回シフトさせるシフト量の設定を変動させるシフト量設定処理部を備える請求項１に記載の信号処理装置。

【請求項3】

前記データ判定処理部が出力したデータに基づく信号処理を行う後段信号処理部を備える請求項１または請求項２に記載の信号処理装置。

【請求項4】

前記後段信号処理部は、周波数分析に係る処理を行う請求項３に記載の信号処理装置。

【請求項5】

前記物理量は音であり、前記処理対象データは音響データである請求項１～請求項４のいずれか一項に記載の信号処理装置。

【請求項6】

時間変位を伴う物理量の信号をデジタルデータ化した処理対象データを処理するコンピュータによって実行される信号処理方法であって、
あらかじめ設定されたサンプル数の前記処理対象データに抜けがあるかどうかを判定し、検出結果を出力する工程と、
データ記憶部が記憶する前回に出力された前記処理対象データを巡回シフトさせたシフトデータを生成する工程と、
前記検出結果に基づいて、前記処理対象データに抜けがないと判定すると前記処理対象データを出力し、前記処理対象データに抜けがあると判定すると前記シフトデータを出力する工程と
を有する信号処理方法。

【請求項7】

時間変位を伴う物理量の信号をデジタルデータ化した処理対象データを処理する信号処理方法のプログラムであって、
あらかじめ設定されたサンプル数の前記処理対象データに抜けがあるかどうかを判定し、検出結果を出力する工程と、
データ記憶部が記憶する前回に出力された前記処理対象データを巡回シフトさせたシフトデータを生成する工程と、
前記検出結果に基づいて、前記処理対象データに抜けがないと判定すると前記処理対象データを出力し、前記処理対象データに抜けがあると判定すると前記シフトデータを出力する工程と
をコンピュータに行わせる信号処理方法のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この技術は、信号処理装置および信号処理方法並びに信号処理方法のプログラムに関するものである。特に、時間変位を伴う物理量の信号に係るデータの抜けに対応した処理を行うものである。

【背景技術】

【0002】

たとえば、マイクなどの受波器が受波した音（音波）などの物理量の信号を処理する信号処理装置などがある。受波器が受波した信号は、サンプリングなどの処理が行われて、デジタルされたデータを含む信号が信号処理装置に送られる（たとえば、特許文献１参照）。信号処理装置は、信号に含まれるデータに基づいて、周波数分析、映像化または目的物探知などの処理を行う。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－０５９８５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ ／ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）をプロトコルとして用いた通信を行う場合を考える。ＴＣＰ／ＩＰをプロトコルに用いることで、機器などが標準化され、安価で種類も多いため通信ネットワークを構成しやすく、一般的によく用いられる。

【0005】

ＴＣＰ／ＩＰによる通信では、たとえば、送信側装置において、得られた信号をサンプリングなどの処理を行ってデジタル化したデータをパケット単位の信号（以下、パケット信号という）にして送信する。そして、受信側装置では、受信したパケット信号を並び換えて元の信号のデータに戻して処理を行う。

【0006】

しかしながら、信号量が多い、通信状態が悪いなどのときに、送信側装置から送られたパケット信号が、通信途中に喪失し、受信側装置に届かず、データの抜けが生じることがある。データの抜けが生じると、信号処理により得られる結果に影響を及ぼす。送信側装置から再度信号を再送することもできるが、再送要求および再送の信号などのやりとりにより、通信ネットワークの負荷が大きくなる。また、再送の手続を行うため、装置にも負荷がかかる。また、パケットロスだけでなく、他の要因によっても、データに抜けが生じる可能性がある。

【0007】

そこで、時間変位を伴う物理量の信号に関するデータの抜けに対応することができる信号処理装置および信号処理方法並びに信号処理方法のプログラムの実現が望まれていた。

【課題を解決するための手段】

【0008】

この開示に係る信号処理装置は、時間変位を伴う物理量の信号をデジタルデータ化した処理対象データを処理する信号処理装置であって、あらかじめ設定されたサンプル数の処理対象データに抜けがあるかどうかを判定し、検出結果を出力する抜け検出部と、検出結果に基づいて、データの出力を行うデータ判定処理部と、前回に出力された処理対象データを記憶するデータ記憶部と、データ記憶部が記憶する処理対象データを巡回シフトさせたシフトデータを生成するサンプルシフト処理部とを備え、データ判定処理部は、検出結果に基づき、処理対象データに抜けがないと判定すると処理対象データを出力し、処理対象データに抜けがあると判定するとシフトデータを出力するものである。

【0009】

また、開示に係る信号処理方法は、時間変位を伴う物理量の信号をデジタルデータ化した処理対象データを処理するコンピュータによって実行される信号処理方法であって、あらかじめ設定されたサンプル数の処理対象データに抜けがあるかどうかを判定し、検出結果を出力する工程と、データ記憶部が記憶する前回に出力された処理対象データを巡回シフトさせたシフトデータを生成する工程と、検出結果に基づいて、処理対象データに抜けがないと判定すると処理対象データを出力し、処理対象データに抜けがあると判定するとシフトデータを出力する工程とを有するものである。

【0010】

また、開示に係る信号処理方法のプログラムは、時間変位を伴う物理量の信号をデジタルデータ化した処理対象データを処理する信号処理方法のプログラムであって、あらかじめ設定されたサンプル数の処理対象データに抜けがあるかどうかを判定し、検出結果を出力する工程と、データ記憶部が記憶する前回に出力された処理対象データを巡回シフトさせたシフトデータを生成する工程と、検出結果に基づいて、処理対象データに抜けがないと判定すると処理対象データを出力し、処理対象データに抜けがあると判定するとシフトデータを出力する工程とをコンピュータに行わせるものである。

【発明の効果】

【0011】

これらの開示によれば、処理対象データに抜けがあると判定したときに、前回の出力データを巡回シフトしたシフトデータを出力し、前回出力したデータをそのまま用いないことで、後段の信号処理への影響を軽減することができる。

【図面の簡単な説明】

【0012】

【図1】実施の形態１に係る信号処理装置１００を中心とする信号処理システムの構成を示す図である。

【図2】実施の形態１に係る信号処理装置１００の処理の流れを示す図である。

【図3】実施の形態１のサンプルシフト処理部１２３におけるシフト処理について説明をする図である。

【図4】実施の形態２に係る信号処理装置１００を中心とする信号処理システムの構成を示す図である。

【発明を実施するための形態】

【0013】

以下、この発明の実施の形態について、図面を参照しつつ、説明する。ここで、以下の図面において、同一の符号を付したものは、同一またはこれに相当するものであり、以下に記載する実施の形態の全文において共通することとする。また、明細書全文に示されている構成要素の形態は、あくまで例示であってこれらの記載に限定されるものではない。特に構成要素の組み合わせは、各実施の形態における組み合わせのみに限定するものではなく、他の実施の形態に記載した構成要素を別の実施の形態に適宜、適用することができる。また、添字で区別などしている複数の同種の機器などについて、特に区別したり、特定したりする必要がない場合には、添字などを省略して記載する場合がある。

【0014】

実施の形態１．
図１は、実施の形態１に係る信号処理装置１００を中心とする信号処理システムの構成を示す図である。ここでは、信号処理装置１００が処理対象とする時間変位を伴う波形となる処理対象信号として、受波器アレイとなるマイクアレイ２００が受波した複数の音波の信号である音響信号を例に説明する。

【0015】

マイクアレイ２００は、受波した音響信号を電気信号に変換するｋ個（ｋ＝１，２，…，ｋ）のマイク２１０－１～マイク２１０－ｋを列状に配列させた受波器アレイである。また、マイクアレイ２００は、信号変換装置２２０および信号送信装置２３０を有する。信号変換装置２２０は、各マイク２１０が受波した音響信号に対して、周期的にサンプリング処理および符号化処理などを行って、デジタルデータ化した処理対象データである音響データに変換し、データの生成処理を行う。ここで、たとえば、ｍ回目（ｍは２以上の自然数）の信号処理において用いられる音響データを、ｍ回音響データとする。信号送信装置２３０は、音響データを分けて複数のパケット信号に含めて信号処理装置１００に送る。

【0016】

ここで、１回の信号処理に用いられる音響データは、マイクアレイ２００のｋ個のマイク２１０が受波した所定時間の音響信号を、それぞれＮ回サンプリングして得られたサンプル数Ｎのデータとなる。したがって、信号送信装置２３０が、パケット信号に含めて送るｍ回音響データの総数は、ｋ×Ｎとなる。ここで、サンプル数Ｎの音響データに係る所定時間の音響信号は、分析しようとする全体の音響信号の時間に比して、非常に小さい時間となる。

【0017】

また、通信線３００は、信号送信装置２３０と信号処理装置１００との間を通信接続する線である。ここで、通信線３００は、専用線として通信を行うものとするが、これに限定するものではない。たとえば、一般的に用いられている電気通信回線を介して、信号送信装置２３０から信号処理装置１００にパケット信号を送るようにしてもよい。また、通信線３００は、有線または無線でもよい。

【0018】

実施の形態１に係る信号処理装置１００は、演算処理装置１１０および記憶装置１４０を備える。そして、実施の形態１における演算処理装置１１０は、前段信号処理部１２０および後段信号処理部１３０を有する。前段信号処理部１２０は、さらに、抜け検出部１２１、音響データ判定処理部１２２およびサンプルシフト処理部１２３を有する。

【0019】

前段信号処理部１２０において、抜け検出部１２１は、音響データの抜けが発生しているかどうかを検出し、後述する音響データ判定処理部１２２に抜け検出結果を送る処理を行う。ここでは、抜け検出部１２１は、信号送信装置２３０から送られるパケット信号のパケットロスがあるかどうかを判定する処理を行う。ここで、パケット信号にパケットロスがあると、音響データに抜けが発生することになる。実施の形態１の抜け検出部１２１は、パケットロスがないと判定すれば、その旨の抜け検出結果を送る。また、抜け検出部１２１は、パケットロスがあると判定すると、喪失したパケット信号を特定し、そのパケット信号に含まれる音響データに係る音響信号を受波したマイク２１０を特定し、抜け検出結果を送る。

【0020】

データ判定処理部となる音響データ判定処理部１２２は、抜け検出部１２１から送られる抜け検出結果に基づき、パケット信号内のデータを再構成して音響データを再生成するかどうかを判定する。音響データ判定処理部１２２は、音響データを再生成すると判定すると、パケット信号から音響データを再生成する処理を行い、再生成した音響データを、出力データである出力音響データとして、後段信号処理部１３０に送る。一方、音響データ判定処理部１２２は、音響データを再生成しないと判定すると、サンプルシフト処理部１２３がシフト処理して生成したシフトデータであるシフト音響データを、出力音響データとして、後段信号処理部１３０に送る。

【0021】

サンプルシフト処理部１２３は、記憶装置１４０の音響データ記憶部１４１に記憶された音響データに基づいて、シフト音響データを生成するシフト処理を行う。ここで、シフト処理とは、あらかじめ設定されたシフト量で、後述する記憶装置１４０の音響データ記憶部１４１に記憶された音響データを循環シフトさせる処理である。

【0022】

後段信号処理部１３０は、音響データ判定処理部１２２から送られた音響データに基づいて、周波数分析などの処理を行い、音を発している物の特定、方位の推定などの処理を行う。

【0023】

記憶装置１４０は、演算処理装置１１０が処理を行うために、必要なデータを記憶する装置である。特に、ここでは、記憶装置１４０は、音響データ記憶部１４１を有する。音響データ記憶部１４１は、音響データ判定処理部１２２が後段信号処理部１３０に送った音響データを記憶する。ここで、音響データ記憶部１４１の音響データは、音響データ判定処理部１２２から後段信号処理部１３０に送られる毎に、書き換えられて記憶される。したがって、信号処理装置１００がｍ回音響データを処理するときには、前回信号処理データとなる［ｍ－１］回音響データが、音響データ記憶部１４１に記憶されている。ここでは、記憶装置１４０が音響データ記憶部１４１を有するものとして説明するが、たとえば、サンプルシフト処理部１２３が音響データ記憶部１４１を有するようにしてもよい。

【0024】

ここで、通常、演算処理装置１１０は、たとえば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を中心とするコンピュータなどの制御演算処理を行う装置で構成されている。そして、演算処理装置１１０は、各部が行う信号処理方法の手順を、あらかじめプログラム化したものを実行して、各部の処理を実現する。ここで、たとえば、記憶装置１４０が、プログラムのデータを有する。ただし、これに限定するものではなく、各部を別個に専用機器（ハードウェア）で構成してもよい。

【0025】

また、記憶装置１４０は、前述したように、演算処理装置１１０の処理に係るデータを記憶する。記憶装置１４０は、データを一時的に記憶できるランダムアクセスメモリ（ＲＡＭ）などの揮発性記憶装置（図示せず）およびハードディスクドライブなどの不揮発性の補助記憶装置（図示せず）を有する。不揮発性の補助記憶装置は、ソリッドステートドライブ、データを長期的に記憶できるフラッシュメモリなどでもよい。

【0026】

図２は、実施の形態１に係る信号処理装置１００の処理の流れを示す図である。図２に基づいて、特に、前段信号処理部１２０における処理の流れについて説明する。抜け検出部１２１は、信号送信装置２３０からｍ回音響データを含むパケット信号が送られると、信号送信装置２３０から送られる各パケット信号に付されたシーケンス番号に基づいて、パケットロスがあるかどうかを判定する（ステップＳ１）。抜け検出部１２１は、パケットロスがないと判定すると、音響データの抜けがない旨の抜け検出結果を送る処理を行う（ステップＳ２）。また、抜け検出部１２１は、パケットロスがあると判定すると、喪失したパケット信号に含まれる音響データに係る音響信号を受波したマイク２１０を特定し、特定したマイク２１０のデータを含む抜け検出結果を送る処理を行う（ステップＳ３）。

【0027】

音響データ判定処理部１２２は、抜け検出部１２１から送られる抜け検出結果に基づき、音響データの抜けがあるかどうかを判定する（ステップＳ４）。音響データ判定処理部１２２は、音響データの抜けがないと判定すると、パケット信号に含まれる音響データを再生成する処理を行う（ステップＳ５）。音響データ判定処理部１２２は、再生成した音響データを出力音響データとして、後段信号処理部１３０に送る（ステップＳ７）。

【0028】

一方、音響データ判定処理部１２２は、音響データの抜けがあると判定すると、サンプルシフト処理部１２３に、抜けた音響データに係る音響信号を受波したマイク２１０のシフト音響データを要求する。サンプルシフト処理部１２３は、シフト処理を行って、シフト音響データを生成し、音響データ判定処理部１２２に送る（ステップＳ６）。音響データ判定処理部１２２は、データの抜けがあったマイク２１０の音響データを再生成する代わりに、送られたシフト音響データに置き換え、音響データ判定処理部１２２は、出力音響データを、後段信号処理部１３０に送る（ステップＳ７）。

【0029】

後段信号処理部１３０は、音響データ判定処理部１２２からの出力音響データを用いて、ＦＦＴ（高速フーリエ変換：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）による周波数分析などの信号処理を行う（ステップＳ８）。

【0030】

図３は、実施の形態１のサンプルシフト処理部１２３におけるシフト処理について説明をする図である。図３（ａ）は、音響データ記憶部１４１に記憶された、シフト処理前の［ｍ－１］回音響データを表す。また、図３（ｂ）は、サンプルシフト処理部１２３によりシフト処理したシフト音響データを表す。そして、［ｍ－１］回音響データをｓ_ｋ［ｎ］とする。ここで、ｋ（ｋ＝１，２，…，ｋ）は、マイク２１０の番号である。また、ｎ（ｎ＝１，２，…，Ｎ）は、サンプリングに係る時刻インデックスである。図３では、シフト量を９９として、Ｎ個並んだ［ｍ－１］回音響データを、巡回して時間的にずらせて巡回シフトさせた音響データがシフト音響データとなる。ただし、シフト量は９９に限定するものでなく、シフト量が、０およびサンプル数Ｎの倍数以外であればよく、後段の周波数分析に対する改善は同程度である。シフト量が０およびＮの倍数の場合、シフト音響データは、シフト処理前の音響データと変わらないからである。［ｍ－１］回音響データをそのまま用いずに、シフトさせたシフト音響データを、ｍ回音響データとすることで、後段信号処理部１３０における周波数分析の処理への影響を軽減することができる。

【0031】

以上のように、実施の形態１の信号処理装置１００において、演算処理装置１１０の抜け検出部１２１が、音響データの抜けがあるかどうかを判定する。音響データ判定処理部１２２は、音響データが抜けがない場合には、音響データを再生成し、出力音響データとして、後段信号処理部１３０に送る。一方、音響データ判定処理部１２２は、抜けがあると判定すれば、サンプルシフト処理部１２３が音響データ記憶部１４１に記憶された前回の出力音響データを巡回シフトさせて生成したシフト音響データを出力音響データとして、後段信号処理部１３０に送る。このため、音響データの抜けが発生したときに、後段信号処理部１３０では、前回の音響データをそのまま用いずに、巡回シフトさせたシフト音響データを出力音響データとして用いることで、周波数分析などの処理に係る精度などへの影響を軽減することができる。

【0032】

実施の形態２．
図４は、実施の形態２に係る信号処理装置１００を中心とする信号処理システムの構成を示す図である。図４において、図１と同じ符号を付している装置および処理部などについては、実施の形態１で説明したことと同様の動作などを行う。図４において、シフト量設定処理部１２４は、サンプルシフト処理部１２３がシフト処理を行う際のシフト量を時間によって変動するように設定処理する。

【0033】

実施の形態１の信号処理装置１００におけるサンプルシフト処理部１２３は、毎回、あらかじめ定めたシフト量でシフト処理を行うものであった。実施の形態２の信号処理装置１００は、シフト量を一定値に設定せず、時間によって変動して設定できるようにする。

【0034】

シフト量設定処理部１２４が行う設定処理において、設定するシフト量を決定する方法については、特に限定するものではない。シフト量設定処理部１２４は、たとえば、乱数を用いてシフト量を決定してもよい。また、シフト量設定処理部１２４は、信号処理を行うたびに、所定数を加算した数をシフト量として決定してもよい。ただし、実施の形態１と同様に、シフト量が０およびサンプル数Ｎの倍数以外となるようにする。

【0035】

以上のように、実施の形態２の信号処理装置１００は、時間によってシフト量を変動させて設定するサンプルシフト処理部１２３を有する。このため、連続して音響データの抜けが発生したときに、意図しない周期的な音響データが生じることを抑制することができる。このため、後段信号処理部１３０における信号処理の影響を軽減することができる。

【0036】

実施の形態３．
前述した実施の形態１および実施の形態２では、処理対象となる時間変位を伴う物理量の信号が音響信号である場合について説明したが、これに限定するものではない。たとえば、振動、光波など、他の物理量を処理対象の信号とすることができる。

【0037】

また、前述した実施の形態１および実施の形態２では、マイクアレイ２００が有する複数のマイク２１０が受波した複数の音波による音響信号としたが、これに限定するものではない。たとえば、１つのマイク２１０で受波した音波による信号を音響信号としてもよい。

【符号の説明】

【0038】

１００ 信号処理装置
１１０ 演算処理装置
１２０ 前段信号処理部
１２１ 抜け検出部
１２２ 音響データ判定処理部
１２３ サンプルシフト処理部
１２４ シフト量設定処理部
１３０ 後段信号処理部
１４０ 記憶装置
１４１ 音響データ記憶部
２００ マイクアレイ
２１０，２１０－１，２１０－２，２１０－ｋ マイク
２２０ 信号変換装置
２３０ 信号送信装置
３００ 通信線

【図1】

【図2】

【図3】

【図4】