特許 6349735 音声送信装置、音声受信装置、音声通信装置及び音声通信システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6349735

(24)【登録日】2018年6月15日

(45)【発行日】2018年7月4日

(54)【発明の名称】音声送信装置、音声受信装置、音声通信装置及び音声通信システム

(51)【国際特許分類】

   H04M 1/24 20060101AFI20180625BHJP

   H04M 3/00 20060101ALI20180625BHJP

【ＦＩ】

   H04M1/24 B

   H04M3/00 E

【請求項の数】12

【全頁数】16

(21)【出願番号】特願2014-5993(P2014-5993)

(22)【出願日】2014年1月16日

(65)【公開番号】特開2015-136011(P2015-136011A)

(43)【公開日】2015年7月27日

【審査請求日】2016年11月15日

(73)【特許権者】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100180275

【弁理士】

【氏名又は名称】吉田 倫太郎

(74)【代理人】

【識別番号】100161861

【弁理士】

【氏名又は名称】若林 裕介

(74)【代理人】

【識別番号】100090620

【弁理士】

【氏名又は名称】工藤 宣幸

(72)【発明者】

【氏名】田代 厚史

【審査官】 山岸 登

(56)【参考文献】

【文献】 特開２０１０−０８７７８６（ＪＰ，Ａ）

【文献】 特開平０８−１２６０４７（ＪＰ，Ａ）

【文献】 特開平１１−２１５２２８（ＪＰ，Ａ）

【文献】 特開２０１２−０７４８５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｂ ７／２４− ７／２６

Ｈ０４Ｍ １／００

１／２４− ３／００

３／０８− ３／５８

７／００− ７／１６

１１／００−１１／１０

９９／００

Ｈ０４Ｑ １／２０− １／２６

Ｈ０４Ｗ ４／００− ８／２４

８／２６−１６／３２

２４／００−２８／００

２８／０２−７２／０２

７２／０４−７４／０２

７４／０４−７４／０６

７４／０８−８４／１０

８４／１２−８８／０６

８８／０８−９９／００

(57)【特許請求の範囲】

【請求項1】

音声信号を送信する音声送信装置において、
当該音声送信装置の状況を対向する音声受信装置が判定可能とする送信装置状況判定用信号を作成する判定用信号作成手段と、
送信される音声信号に当該作成された送信装置状況判定用信号を付与するものであって、異常発生個所の切り分け対象となる音声信号の処理系の位置に介挿された判定用信号付与手段とを有し、
上記判定用信号付与手段は、所定周期毎に、所定期間の音声信号を、上記送信装置状況判定用信号に置き換え、
上記所定期間は、上記判定用信号付与手段の後段の各処理手段による処理が、複数の処理単位に亘ることがない期間に選定されている
ことを特徴とする音声送信装置。

【請求項2】

上記判定用信号付与手段は、周囲音を捕捉するマイクロホンと、音声データを符号化する符号化手段との間に介挿されていることを特徴とする請求項１に記載の音声送信装置。

【請求項3】

上記送信装置状況判定用信号は、所定周波数を有する正弦波信号であることを特徴とする請求項１又は２に記載の音声送信装置。

【請求項4】

請求項１に記載の音声送信装置に対向する音声受信装置において、
受信音声信号に付与されている送信装置状況判定用信号を検知する判定用信号検知手段と、
受信音声信号に付与されている送信装置状況判定用信号を検知できたか否か、送信装置状況判定用信号が付与されている期間の少なくとも前の受信音声信号の状態に基づいて、対向する上記音声送信装置内部の状況を判定する送信装置状況判定手段とを有し、
上記送信装置状況判定手段は、
送信装置状況判定用信号を検知でき、かつ、受信音声信号が無信号でない場合に、対向する上記音声送信装置は正常と判定し、
送信装置状況判定用信号を検知でき、かつ、受信音声信号が無信号の場合に、対向する上記音声送信装置は、判定用信号付与手段に至るまでの処理系に異常が生じたと判定し、
送信装置状況判定用信号を検知できず、かつ、受信音声信号が無信号の場合に、対向する上記音声送信装置は、判定用信号付与手段以降の処理系に異常が生じたと判定する
ことを特徴とする音声受信装置。

【請求項5】

判定された対向する上記音声送信装置内部の状況を提示する送信装置状況提示手段をさらに有することを特徴とする請求項４に記載の音声受信装置。

【請求項6】

受信音声信号における送信装置状況判定用信号の付与期間に、擬似信号を付与して出力音声信号を形成する擬似信号付与手段をさらに有することを特徴とする請求項４又は５に記載の音声受信装置。

【請求項7】

上記擬似信号付与手段は、送信装置状況判定用信号の付与期間以外の受信音声信号に基づいて上記擬似信号を生成することを特徴とする請求項６に記載の音声受信装置。

【請求項8】

上記擬似信号付与手段は、上記擬似信号を付与する直前所定期間の受信音声信号と、上記擬似信号を付与する直後所定期間の受信音声信号とのそれぞれに対し、周期的に対応する他の箇所の受信音声信号と重み付け加算し、上記擬似信号への連続性を高めた上記出力音声信号を形成することを特徴とする請求項７に記載の音声受信装置。

【請求項9】

音声信号を送信する音声送信装置と音声信号を受信する音声受信装置とを共に搭載している音声通信装置において、
上記音声送信装置として、請求項１に記載の音声送信装置を適用すると共に、上記音声受信装置として、請求項４に記載の音声受信装置を適用したことを特徴とする音声通信装置。

【請求項10】

音声信号を送信する音声送信装置と音声信号を受信する音声受信装置とがネットワークを介して対向している音声通信システムにおいて、
上記音声送信装置として、請求項１に記載の音声送信装置を適用すると共に、上記音声受信装置として、請求項４に記載の音声受信装置を適用したことを特徴とする音声通信システム。

【請求項11】

音声信号を送信する音声送信装置と音声信号を受信する音声受信装置とを共に搭載している音声通信装置において、
上記音声送信装置は、
当該音声送信装置の状況を対向する音声受信装置が判定可能とする送信装置状況判定用信号を作成する判定用信号作成手段と、
送信される音声信号に当該作成された送信装置状況判定用信号を付与するものであって、異常発生個所の切り分け対象となる音声信号の処理系の位置に介挿された判定用信号付与手段と
を有し、
上記音声受信装置は、
受信音声信号に付与されている送信装置状況判定用信号を検知する判定用信号検知手段と、
受信音声信号に付与されている送信装置状況判定用信号を検知できたか否か、送信装置状況判定用信号が付与されている期間の少なくとも前の受信音声信号の状態に基づいて、対向する音声送信装置内部の状況を判定する送信装置状況判定手段と
を有し、
上記送信装置状況判定手段は、
送信装置状況判定用信号を検知でき、かつ、受信音声信号が無信号でない場合に、上記対向する音声送信装置は正常と判定し、
送信装置状況判定用信号を検知でき、かつ、受信音声信号が無信号の場合に、上記対向する音声送信装置は、判定用信号付与手段に至るまでの処理系に異常が生じたと判定し、
送信装置状況判定用信号を検知できず、かつ、受信音声信号が無信号の場合に、上記対向する音声送信装置は、判定用信号付与手段以降の処理系に異常が生じたと判定する
ことを特徴とする音声通信装置。

【請求項12】

音声信号を送信する音声送信装置と音声信号を受信する音声受信装置とがネットワークを介して対向している音声通信システムにおいて、
上記音声送信装置は、
当該音声送信装置の状況を対向する上記音声受信装置が判定可能とする送信装置状況判定用信号を作成する判定用信号作成手段と、
送信される音声信号に当該作成された送信装置状況判定用信号を付与するものであって、異常発生個所の切り分け対象となる音声信号の処理系の位置に介挿された判定用信号付与手段と
を有し、
上記音声受信装置は、
受信音声信号に付与されている送信装置状況判定用信号を検知する判定用信号検知手段と、
受信音声信号に付与されている送信装置状況判定用信号を検知できたか否か、送信装置状況判定用信号が付与されている期間の少なくとも前の受信音声信号の状態に基づいて、対向する上記音声送信装置内部の状況を判定する送信装置状況判定手段と
を有し、
上記送信装置状況判定手段は、
送信装置状況判定用信号を検知でき、かつ、受信音声信号が無信号でない場合に、対向する上記音声送信装置は正常と判定し、
送信装置状況判定用信号を検知でき、かつ、受信音声信号が無信号の場合に、対向する上記音声送信装置は、判定用信号付与手段に至るまでの処理系に異常が生じたと判定し、
送信装置状況判定用信号を検知できず、かつ、受信音声信号が無信号の場合に、対向する上記音声送信装置は、判定用信号付与手段以降の処理系に異常が生じたと判定する
ことを特徴とする音声通信システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声送信装置、音声受信装置、音声通信装置及び音声通信システムに関し、例えば、ＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ ＩＰ）を適用した電話機やテレビ会議装置などの音声信号（この明細書では、音声信号や音響信号等の音信号を「音声信号」と呼んでいる）を扱う通信機を構成要素として音声通信システムに適用し得るものである。

【背景技術】

【0002】

スマートフォンの普及などにより、ＶｏＩＰを適用した音声通信システムで利用される音声通信端末が増え続けている。

【0003】

しかし、ＩＰネットワークを介する通信において、輻輳などが原因で通話品質が損なわれることがあり、通話中に、こうした事象が発生した際に、発生原因が何かを通知することが求められていた。

【0004】

このような要求に応えるため、特許文献１には、受信パケットの遅延や揺らぎやロス率などを測定して通話品質情報を作成し、作成した通話品質情報をユーザに通知することが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００２−２３２４７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、通話品質を損ねる要因は、音声通信装置自体の問題である場合もあり、特許文献１の記載技術では、音声通信装置自体の問題であるかを判断することができない。

【0007】

そのため、通話品質を損ねる要因が装置自体にあることを判断できるようにした音声送信装置、音声受信装置、音声通信装置及び音声通信システムが望まれている。

【課題を解決するための手段】

【0008】

第１の本発明は、音声信号を送信する音声送信装置において、（１）当該音声送信装置の状況を対向する音声受信装置が判定可能とする送信装置状況判定用信号を作成する判定用信号作成手段と、（２）送信される音声信号に当該作成された送信装置状況判定用信号を付与するものであって、異常発生個所の切り分け対象となる音声信号の処理系の位置に介挿された判定用信号付与手段とを有し、（３）上記判定用信号付与手段は、所定周期毎に、所定期間の音声信号を、上記送信装置状況判定用信号に置き換え、（４）上記所定期間は、上記判定用信号付与手段の後段の各処理手段による処理が、複数の処理単位に亘ることがない期間に選定されていることを特徴とする。

【0009】

第２の本発明は、第１の本発明の音声送信装置に対向する音声受信装置において、（１）受信音声信号に付与されている送信装置状況判定用信号を検知する判定用信号検知手段と、（２）受信音声信号に付与されている送信装置状況判定用信号を検知できたか否か、送信装置状況判定用信号が付与されている期間の少なくとも前の受信音声信号の状態に基づいて、対向する上記音声送信装置内部の状況を判定する送信装置状況判定手段とを有し、（３）上記送信装置状況判定手段は、送信装置状況判定用信号を検知でき、かつ、受信音声信号が無信号でない場合に、対向する上記音声送信装置は正常と判定し、送信装置状況判定用信号を検知でき、かつ、受信音声信号が無信号の場合に、対向する上記音声送信装置は、判定用信号付与手段に至るまでの処理系に異常が生じたと判定し、送信装置状況判定用信号を検知できず、かつ、受信音声信号が無信号の場合に、対向する上記音声送信装置は、判定用信号付与手段以降の処理系に異常が生じたと判定することを特徴とする。

【0010】

第３の本発明は、音声信号を送信する音声送信装置と音声信号を受信する音声受信装置とを共に搭載している音声通信装置において、上記音声送信装置として、第１の本発明の音声送信装置を適用すると共に、上記音声受信装置として、第２の本発明の音声受信装置を適用したことを特徴とする。

【0011】

第４の本発明は、音声信号を送信する音声送信装置と音声信号を受信する音声受信装置とがネットワークを介して対向している音声通信システムにおいて、上記音声送信装置として、第１の本発明の音声送信装置を適用すると共に、上記音声受信装置として、第２の本発明の音声受信装置を適用したことを特徴とする。
第５の本発明は、音声信号を送信する音声送信装置と音声信号を受信する音声受信装置とを共に搭載している音声通信装置において、上記音声送信装置は、（１）当該音声送信装置の状況を対向する音声受信装置が判定可能とする送信装置状況判定用信号を作成する判定用信号作成手段と、（２）送信される音声信号に当該作成された送信装置状況判定用信号を付与するものであって、異常発生個所の切り分け対象となる音声信号の処理系の位置に介挿された判定用信号付与手段とを有し、上記音声受信装置は、（３）受信音声信号に付与されている送信装置状況判定用信号を検知する判定用信号検知手段と、（４）受信音声信号に付与されている送信装置状況判定用信号を検知できたか否か、送信装置状況判定用信号が付与されている期間の少なくとも前の受信音声信号の状態に基づいて、対向する音声送信装置内部の状況を判定する送信装置状況判定手段とを有し、（５）上記送信装置状況判定手段は、送信装置状況判定用信号を検知でき、かつ、受信音声信号が無信号でない場合に、上記対向する音声送信装置は正常と判定し、送信装置状況判定用信号を検知でき、かつ、受信音声信号が無信号の場合に、上記対向する音声送信装置は、判定用信号付与手段に至るまでの処理系に異常が生じたと判定し、送信装置状況判定用信号を検知できず、かつ、受信音声信号が無信号の場合に、上記対向する音声送信装置は、判定用信号付与手段以降の処理系に異常が生じたと判定することを特徴とする。
第６の本発明は、音声信号を送信する音声送信装置と音声信号を受信する音声受信装置とがネットワークを介して対向している音声通信システムにおいて、上記音声送信装置は、（１）当該音声送信装置の状況を対向する上記音声受信装置が判定可能とする送信装置状況判定用信号を作成する判定用信号作成手段と、（２）送信される音声信号に当該作成された送信装置状況判定用信号を付与するものであって、異常発生個所の切り分け対象となる音声信号の処理系の位置に介挿された判定用信号付与手段とを有し、（３）上記音声受信装置は、受信音声信号に付与されている送信装置状況判定用信号を検知する判定用信号検知手段と、（４）受信音声信号に付与されている送信装置状況判定用信号を検知できたか否か、送信装置状況判定用信号が付与されている期間の少なくとも前の受信音声信号の状態に基づいて、対向する上記音声送信装置内部の状況を判定する送信装置状況判定手段とを有し、（５）上記送信装置状況判定手段は、送信装置状況判定用信号を検知でき、かつ、受信音声信号が無信号でない場合に、対向する上記音声送信装置は正常と判定し、送信装置状況判定用信号を検知でき、かつ、受信音声信号が無信号の場合に、対向する上記音声送信装置は、判定用信号付与手段に至るまでの処理系に異常が生じたと判定し、送信装置状況判定用信号を検知できず、かつ、受信音声信号が無信号の場合に、対向する上記音声送信装置は、判定用信号付与手段以降の処理系に異常が生じたと判定することを特徴とする。

【発明の効果】

【0012】

本発明によれば、通話品質を損ねる要因が音声送信装置自体にあることを判断できるようにした音声送信装置、音声受信装置、音声通信装置及び音声通信システムを提供できる。

【図面の簡単な説明】

【0013】

【図1】第１の実施形態の音声送信装置（音声送信ユニット）の詳細構成を示すブロック図である。

【図2】第１の実施形態の音声受信装置（音声受信ユニット）の詳細構成を示すブロック図である。

【図3】第１の実施形態に係る音声通信システムの構成を示すブロック図である。

【図4】第１の実施形態の音声受信装置における送信ユニット状況判定部が判定する音声送信装置の異常の説明図である。

【図5】第１の実施形態の音声受信装置における擬似データ付与部が実行する擬似データの生成・補間方法の説明図である。

【図6】第２の実施形態の音声受信装置における擬似データ付与部が実行する擬似データの生成・補間方法の説明図である。

【発明を実施するための形態】

【0014】

（Ａ）第１の実施形態
以下、本発明による音声送信装置、音声受信装置、音声通信装置及び音声通信システムの第１の実施形態を、図面を参照しながら説明する。

【0015】

（Ａ−１）第１の実施形態の構成
図３は、第１の実施形態に係る音声通信システムの構成を示すブロック図である。

【0016】

図３において、第１の実施形態の音声通信システム１は、２つの第１の実施形態の音声通信装置（以下、音声通信端末と呼ぶ）２−１及び２−２がネットワーク（例えば、ＩＰネットワーク）３を介して対向しているものである。

【0017】

第１の実施形態の音声通信端末２−１、２−２は、第１の実施形態の音声送信装置（以下、音声送信ユニットと呼ぶ）１０−１、１０−２と、第１の実施形態の音声受信装置（以下、音声受信ユニットと呼ぶ）２０−１、２０−２とを含んでいる。

【0018】

図１は、音声送信ユニット１０（１０−１、１０−２）の詳細構成を示すブロック図である。音声送信ユニット１０は、音声通信端末２（２−１、２−２）における音声データを送信するための機能群である。

【0019】

音声送信ユニット１０は、マイクロホン装置１１、送信ユニット状況判定用信号作成部１２、判定用信号付与部１３、符号化部１４及び送信部１５を有する。

【0020】

マイクロホン装置１１は、音声通信端末２の近傍の音声を捕捉し、得られたアナログ音声信号をデジタル信号に変換した原音声データＳ１１を出力するものである。原音声データＳ１１は、所定期間毎のフレームに切り分けられている（なお、相前後するフレームが一部期間を重複するものであっても良い）。

【0021】

送信ユニット状況判定用信号作成部１２は、原音声データＳ１１に付与する、原音声データＳ１１と識別可能な送信ユニット状況判定用信号Ｓ１２を生成するものである。送信ユニット状況判定用信号Ｓ１２は、原音声データＳ１１と識別可能であればどのような信号であっても良い。例えば、送信ユニット状況判定用信号Ｓ１２として、２０００Ｈｚの正弦波信号を挙げることができるが、これに限定されるものではなく、異なる周波数の信号や通常の音声信号では見られない波形の信号等であっても良い。また、複数種類の信号（例えば、異なる周波数の信号）が混合されたものが送信ユニット状況判定用信号Ｓ１２であっても良い。

【0022】

判定用信号付与部１３は、原音声データＳ１１に、送信ユニット状況判定用信号作成部１２から与えられた送信ユニット状況判定用信号Ｓ１２を付与して、送信音声データＳ１３を生成して符号化部１４に与えるものである。付与方法は、置換や重畳のいずれであっても良いが、以下では付与方法が置換であるとして説明する。判定用信号付与部１３は、図示しないタイマの計時に基づいて、定期的に、原音声データＳ１０の一部を送信ユニット状況判定用信号Ｓ１２に置き換える。タイマによる間隔と置き換える信号の長さは、実装する音声通信端末２やネットワーク３の種類等により最適な値は異なるが、一例として、付与間隔は１０秒程度、置換時間は１０ｍｓ（処理単位であるフレーム期間と同一、又は、整数倍若しくは整数分の１）を挙げることができる。また、後述する符号化やパケット化が実行された際に、置き換えた送信ユニット状況判定用信号が、複数のパケットに含まれないようにすることが好ましい。

【0023】

符号化部１４は、判定用信号付与部１３からの送信音声データＳ１３を符号化し、得られた音声符号化データＳ１４を送信部１５へ与えるものである。

【0024】

送信部１５は、符号化部１４からの音声符号化データＳ１４をパケット化し、対向する音声通信端末へ向けて送信するものである。なお、ここでの送信処理に、電力増幅やフィルタリング等を含まれていても良いことは勿論である。

【0025】

図２は、音声受信ユニット２０（２０−１、２０−２）の詳細構成を示すブロック図である。音声受信ユニット２０は、音声通信端末２（２−１、２−２）における音声データを受信するための機能群である。

【0026】

音声受信ユニット２０は、受信部２１、復号部２２、送信ユニット状況判定用信号検知部２３、データ記憶部２５、擬似データ付与部２４、スピーカ装置２６、送信ユニット状況判定部２７及び送信ユニット状況提示部２８を有する。

【0027】

受信部２１は、対向する音声通信端末から到来したパケットを受信し、そのパケットから音声符号化データＳ２１を抽出して復号部２２へ与えるものである。

【0028】

復号部２２は、当該音声符号化データＳ２１を復号し、得られた受信音声データＳ２２を送信ユニット状況判定用信号検知部２３、擬似データ付与部２４及び送信ユニット状況判定部２７へ出力するものである。

【0029】

送信ユニット状況判定用信号検知部２３は、受信音声データＳ２２に送信ユニット状況判定用信号が含まれていることや、その送信ユニット状況判定用信号の前後に有効な音声データ（雑音データであっても良い）が存在すること（言い換えると、無信号でないこと）などを検知し、その検知結果を、音声送信ユニット１０の動作確認情報Ｓ２３として出力するものである。動作確認情報Ｓ２３は、例えば、送信ユニット状況判定用信号を含むフレームと他のフレームとで異なる値がセットされるフラグや、送信ユニット状況判定用信号を含むフレームの前後フレームが無信号であるか否かで異なる値がセットされるフラグなどで構成されている。

【0030】

擬似データ付与部２４は、動作確認情報Ｓ２３に基づいて、受信音声データＳ２２における、送信ユニット状況判定用信号を含むフレームのデータを、擬似データに置き換えて出力音声データＳ２４を形成してスピーカ装置２６に与えるものである。擬似データ付与部２４は、受信音声データＳ２２をデータ記憶部２５へ与えて保存させると共に、データ記憶部２５に記憶されている受信音声データに基づいて置換用の擬似データを形成する。擬似データは、例えば、送信ユニット状況判定用信号を含むフレーム以前のフレームの受信音声データを利用した補間処理によって形成される。

【0031】

データ記憶部２５は、直近所定期間の受信音声データＳ２２を保存するバッファメモリである。

【0032】

スピーカ装置２６は、擬似データ付与部２４からの出力音声データＳ２４をアナログ信号に変換して発音出力するものである。なお、上述したマイクロホン装置１１と当該スピーカ装置２６とが、ハンドセットやヘッドセットを構成しているものであっても良い。

【0033】

送信ユニット状況判定部２７は、動作確認情報Ｓ２３と受信音声データＳ２２とから、対向する音声通信端末の音声送信ユニット（１０）の正常性などの状況を判定し、判定結果を、提示情報Ｓ２７として送信ユニット状況提示部２８へ与えるものである。

【0034】

送信ユニット状況判定部２７は、例えば、以下のように、対向する音声通信端末の音声送信ユニット（１０）の状況を判定する。

【0035】

第１に、送信ユニット状況判定部２７は、動作確認情報Ｓ２３が、送信ユニット状況判定用信号を所定周期で検知し、送信ユニット状況判定用信号期間以外の期間における受信音声データＳ２２が無信号でないことを表している場合には、対向する音声通信端末の音声送信ユニットは正常であると判定する。

【0036】

第２に、送信ユニット状況判定部２７は、動作確認情報Ｓ２３が、送信ユニット状況判定用信号を所定周期で検知しているが、送信ユニット状況判定用信号期間以外の期間における受信音声データＳ２２が無信号であることを表している場合には、対向する音声通信端末の音声送信ユニットは、判定用信号付与部１３よりマイクロホン装置１１側で異常が生じていると判定する。この第２のケースは、受信音声データＳ２２に送信ユニット状況判定用信号だけが含まれている場合であり、このようなことは、図４（Ａ）に示すように、判定用信号付与部１３よりマイクロホン装置１１側で異常が生じており、原音声データＳ１１が判定用信号付与部１３に到達しないときに生じる。

【0037】

第３に、送信ユニット状況判定部２７は、動作確認情報Ｓ２３が、送信ユニット状況判定用信号を検知できず、受信音声データＳ２２が無信号であることを表している場合には、対向する音声通信端末の音声送信ユニットは、判定用信号付与部１３より符号化部１４側で異常が生じていると判定する。この第３のケースは、受信音声データＳ２２に送信ユニット状況判定用信号も有効な音声データも含まれていない場合であり、このようなことは、図４（Ｂ）に示すように、判定用信号付与部１３より符号化部１４側で異常が生じており、符号化データＳ１４に何らの有意なデータが含まれないときに生じる。なお、第３のケースは、判定用信号付与部１３よりマイクロホン装置１１側で異常が生じていると共に、送信ユニット状況判定用信号作成部１２も異常が生じている場合にも生じるが、このような２重の異常が生じることは、判定用信号付与部１３より符号化部１４側で異常が生じることに比べ、ごくごく稀である。そのため、第１の実施形態においては、２重異常を考慮せず、本流の音声データの経路での異常の有無として判定することとしている。

【0038】

送信ユニット状況提示部２８は、送信ユニット状況判定部２７からの提示情報Ｓ２７を当該音声通信端末１０の使用者（ユーザ）に提示するものである。提示方法は限定されるものではない。例えば、表示装置に表示画面で提示しても良く、また、提示情報Ｓ２７の種類毎に対応した発光素子を設けておいて今回の提示情報Ｓ２７に応じた発光素子を点灯若しくは点滅させるようにしても良い。また、視覚的な提示に限定されず、視覚的な提示に加え、若しくは、視覚的な提示に代え、他の感覚に訴える提示であっても良い。例えば、ブザー音の鳴動や鳴動パターン等によって、提示情報Ｓ２７を提示するようにしても良い。この場合において、スピーカ装置２６を提示情報Ｓ２７の提示（鳴動出力）に兼用するものであっても良い。

【0039】

さらに、送信ユニット状況提示部２８が、遠隔地に存在する監視センタ装置等に異常を通知するものであっても良い。

【0040】

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る音声通信システム１の動作を、音声送信ユニット１０の動作、音声受信ユニット２０の動作の順に説明する。

【0041】

以下では、音声送信ユニットが音声送信ユニット１０−１であって、音声受信ユニットが音声受信ユニット２０−２であるとして動作を説明する（なお、以下の説明において、音声送信ユニット１０−１の構成要素等に対しては符号末尾に「−１」を付与し、音声受信ユニット２０−２の構成要素等に対しては符号末尾に「−２」を付与する）。また、音声送信ユニット１０−１及び音声受信ユニット２０−２が１０ｍｓのフレーム毎に処理を行うとして動作を説明する。

【0042】

音声通信端末２−１の音声送信ユニット１０−１においては、当該端末近傍の音声をマイクロホン装置１１−１が捕捉して得た原音声データＳ１１−１が判定用信号付与部１３−１に与えられ、また、送信ユニット状況判定用信号作成部１２−１が生成した送信ユニット状況判定用信号Ｓ１２−１も判定用信号付与部１３−１に与えられる。判定用信号付与部１３−１においては、原音声データＳ１１−１に、送信ユニット状況判定用信号作成部１２−１から与えられた送信ユニット状況判定用信号Ｓ１２−１が付与されて送信音声データＳ１３−１が生成される。この送信音声データＳ１３−１が符号化部１４−１によって符号化された後、得られた音声符号化データＳ１４−１から、送信部１５−１によってパケットが組み立てられて対向する音声通信端末２−２に向けて送信される。

【0043】

音声通信端末２−２の音声受信ユニット２０−２において、対向する音声通信端末２−１から到来したパケットは、受信部２１−２によって受信され、そのパケットから音声符号化データＳ２１−２が抽出されて復号部２２に与えられ、復号されて受信音声データＳ２２−２が得られ、送信ユニット状況判定用信号検知部２３−２、擬似データ付与部２４−２及び送信ユニット状況判定部２７−２に与えられる。

【0044】

送信ユニット状況判定用信号検知部２３−２においては、受信音声データＳ２２−２に送信ユニット状況判定用信号が含まれていること（そのタイミングの情報も含む）、その送信ユニット状況判定用信号の前後に有効な音声データが存在することなどが検知され、その検知結果が、音声送信ユニット１０−１側の動作状況を反映した動作確認情報Ｓ２３−２として擬似データ付与部２４−２及び送信ユニット状況判定部２７−２に与えられる。

【0045】

例えば、送信ユニット状況判定用信号検知部２３−２においては、送信ユニット状況判定用信号（Ｓ１２−１）が２０００Ｈｚの正弦波信号であるので、２０００Ｈｚの成分のみを持つフレームを検出できれば送信ユニット状況判定用信号を検出することができる。このような特定の周波数成分を検出する方法としては、既存の方法を適用することができる。例えば、２０００Ｈｚの信号成分とそれ以外の成分のレベルを比較し、５０ｄＢ以上の成分差があれば送信ユニット状況判定用信号Ｓ１２を含むと判断する。また、フィルタバンクなどを適用して送信ユニット状況判定用信号（のフレーム）を検知するようにしても良い。

【0046】

受信音声データＳ２２−２は、擬似データ付与部２４−２によって、データ記憶部２５に少なくとも直近の所定期間のデータ分だけ保存される。

【0047】

擬似データ付与部２４−２においては、データ記憶部２５−２に記憶されている受信音声データに基づいて擬似データが形成され、受信音声データＳ２２−２における、送信ユニット状況判定用信号を含むフレームのデータが擬似データに置き換えられ、得られた出力音声データＳ２４−２がスピーカ装置２６−２に与えられて発音出力される。

【0048】

また、送信ユニット状況判定部２７−２において、動作確認情報Ｓ２３−２と受信音声データＳ２２−２とから、対向する音声通信端末２−１の音声送信ユニット１０−１の正常性などが判定され、判定結果が、提示情報Ｓ２７−２として送信ユニット状況提示部２８−２に与えられ、送信ユニット状況提示部２８−２によって、当該音声通信端末１０−２の使用者に提示される。

【0049】

図５は、擬似データの生成・補間方法の説明図である。擬似データ付与部２４−２は、送信ユニット状況判定用信号を含むフレームを、ネットワークで消失したフレームと同様に扱って擬似データを生成、補間する。すなわち、公知の消失フレームの補間方法を、擬似データの生成・補間方法として適用することができる。

【0050】

図５の擬似データの生成・補間方法は、送信ユニット状況判定用信号を含むフレームＦＲ３の直前の音声データｓｉｇｎａｌ（Ｓ２２−２）における１周期分のデータＤＴを例えば自己相関係数に基づいて検出し、その１周期分のデータＤＴを、送信ユニット状況判定用信号を含むフレーム期間の先頭から繰り返しそのフレーム期間に挿入することにより、擬似データが生成、補間された出力音声データｏｕｔｐｕｔ（Ｓ２４−２）を得る方法である。

【0051】

図５では、自己相関係数を利用して１周期分のデータＤＴを得て補間データ（擬似データ）を生成する場合を示しているが、自己相関係数を利用して１周期より長い期間のデータを得て補間データ（擬似データ）を生成するようにしても良い。

【0052】

上記説明では、１周期を自己相関関数に基づいて検出していたが、この方法に限定されず、音声データの周期を検出する方法であれば良く、例えば、公知のＦＦＴ（高速フーリエ変換）法により基本周波数を推定し、当該基本周波数から基本周期を変換して得る方法を適用するようにしても良い。

【0053】

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、音声送信ユニットが周期的に音声データに送信ユニット状況判定用信号を付与し、音声受信ユニットが、到来した音声データが無信号であるか否かや、付与信号を検知できたか否か等に基づいて、音声送信ユニット内部の状況を判定して提示するようにしたので、音声受信ユニット側のユーザは、通信異常があった場合に、ネットワークに起因した通信異常か音声送信ユニット内部に起因した通信異常かを認識することができる。しかも、音声送信ユニット内部の異常も、判定用信号付与部に至るまでの処理系の異常か、判定用信号付与部以降の処理系の異常かを切り分けることができる。

【0054】

これにより、原因が不明なことによるユーザの不快感を軽減することが可能となる。また、ユーザが保守者である場合には、通話異常の原因を特定し易くなり、保守コストを低減することが可能となる。さらに、第１の実施形態によれば、音声受信ユニットのユーザが音声送信ユニットの状況を把握するための専用的なパケットを送受信するようなことは不要であり、ネットワークのトラヒックを大きくすることはなく、音声受信ユニットのユーザが音声送信ユニットの状況を把握することができる。

【0055】

（Ｂ）第２の実施形態
次に、本発明による音声送信装置、音声受信装置、音声通信装置及び音声通信システムの第２の実施形態を、図面を参照しながら説明する。

【0056】

第２の実施形態の音声送信装置（以下、音声送信ユニットと呼ぶ）の構成も、第１の実施形態の説明で用いた図２で表すことができ、また、第２の実施形態の音声受信装置（以下、音声受信ユニットと呼ぶ）の構成も、第２の実施形態の説明で用いた図３で表すことができる。以下の第２の実施形態の説明においても、図２及び図３に記載の符号を参照する。

【0057】

第２の実施形態の音声通信システムは、音声送信ユニット１０の判定用信号付与部１３による原音声データＳ１１への送信ユニット状況判定用信号Ｓ１２の付与方法が、第１の実施形態と異なっている。第２の実施形態の判定用信号付与部１３は、付与対象フレーム（処理単位がフレームと一致しているとしている）の全期間に亘って送信ユニット状況判定用信号Ｓ１２に付与するのではなく、付与対象フレームの中央部分の期間に送信ユニット状況判定用信号Ｓ１２に付与する。判定用信号付与部１３は、付与対象フレームの長さが１０ｍｓである場合において、フレームの先頭から２．５ｍｓ経過した時点を起点として７．５ｍｓまでの期間に送信ユニット状況判定用信号Ｓ１２を付与（置換）する。言い換えると、フレームの先頭から２．５ｍｓまでの期間、及び、７．５ｍｓからフレームの終端までの期間は、原音声データＳ１１をそのまま適用する。

【0058】

音声送信ユニット１０の判定用信号付与部１３による付与方法の変更に伴い、音声受信ユニット２０の擬似データ付与部２４による擬似データの生成・補間方法も、第１の実施形態と異なっている。

【0059】

図６は、第２の実施形態における擬似データの生成・補間方法の説明図であり、送信ユニット状況判定用信号を含むフレームｆｒ０２とその前後のフレームｆｒ０１、ｆｒ０３の音声データｓｉｇｎａｌ（Ｓ２２−２）と、擬似データが補間された出力音声データｏｕｔｐｕｔ（Ｓ２４−２）とを示している。

【0060】

擬似データ付与部２４は、送信ユニット状況判定用信号Ｓ１２が含まれている音声フレームｆｒ０２についても、フレーム先頭から２．５ｍｓ経過した時点までの音声データをデータ記憶部２５に記憶させる。

【0061】

その後、擬似データ付与部２４は、データ記憶部２５に記憶されている最新の音声データから、自己相関関数を用いて、その基本周期Ｔ０を推定し、データ記憶部２５に記憶されている音声データの終端（音声フレームｆｒ０２の先頭から２．５ｍｓ経過した時点）から、過去側へ基本周期Ｔ０の期間分のデータを補間候補データＤＫとして抽出する。但し、基本周期Ｔ０が、送信ユニット状況判定用信号Ｓ１２の長さと、後述する重み付け加算期間との和の時間よりも小さくなる場合には、その和の時間より長い、基本周期Ｔ０の整数倍の時間を有するように補間候補データＤＫを決定する。上述したように、フレームの先頭から２．５ｍｓ経過した時点を起点として７．５ｍｓまでの期間に送信ユニット状況判定用信号Ｓ１２を付与する場合には、送信ユニット状況判定用信号Ｓ１２の長さは５ｍｓであり、重み付け加算期間が１ｍｓであれば、これらの和時間６ｍｓより長くなるように補間候補データＤＫが決定される。図６は、基本周期の２倍の長さを有するように補間候補データＤＫが決定された例を示している。第１の実施形態と同様に、この第２の実施形態でも、自己相関関数を用いて基本周期Ｔ０を推定する方法を用いたが、基本周期を推定する方法であれば、この方法に限定されず、例えば、公知のＦＦＴ法により基本周波数を推定し、当該基本周波数から基本周期を変換して得る方法を適用するようにしても良い。

【0062】

擬似データ付与部２４は、補間候補データＤＫを決定した後、データ記憶部２５に記憶されている音声データの中から、補間候補データＤＫの最古側から、さらに過去に重み付け加算期間（例えば１ｍｓ）分のデータを補間補助データＤＨとして抽出する。

【0063】

その後、擬似データ付与部２４は、送信ユニット状況判定用信号Ｓ１２が含まれている音声フレームｆｒ０２についての出力音声データＳ２４を以下のように決定する。

【0064】

出力音声データＳ２４の決定では、音声フレームｆｒ０２の全期間は５つの期間に分割される。３番目の期間は、送信ユニット状況判定用信号Ｓ１２が含まれている期間ｔ５〜ｔ６である。２番目の期間は、３番目の期間の直前の重み付け加算期間分の期間ｔ４〜ｔ５である。１番目の期間は、２番目の期間の直前の音声フレームｆｒ０２の当初側の期間ｔ３〜ｔ４である。４番目の期間は、３番目の期間の直後の重み付け加算期間分の期間ｔ６〜ｔ７である。５番目の期間は、４番目の期間の直後の音声フレームｆｒ０２の終点側の期間ｔ７〜ｔ８である。ここで、送信ユニット状況判定用信号Ｓ１２の長さを５ｍｓ、重み付け加算期間を１ｍｓとした場合、１番目の期間は、フレーム先頭から１．５ｍｓ経過するまでの期間であり、２番目の期間は、１．５ｍｓ経過した時点から２．５ｍｓ経過するまでの期間であり、３番目の期間は、２．５ｍｓ経過した時点から７．５ｍｓ経過するまでの期間であり、４番目の期間は、７．５ｍｓ経過した時点から８．５ｍｓ経過するまでの期間であり、５番目の期間は、８．５ｍｓ経過した時点からフレーム末尾（１０ｍｓ）までの期間である。

【0065】

擬似データ付与部２４は、１番目の期間については、受信音声データＳ２２をそのまま出力音声データＳ２４とする。

【0066】

擬似データ付与部２４は、２番目の期間については、この期間の受信音声データＳ２２と、補間補助データＤＨをこの期間に出力したとみなした補間補助データＤＨＭとの重み付け加算によって出力音声データＳ２４を形成する。この際、２番目の期間の経過時間ｔによって、補間補助データＤＨに対する重み付け係数を徐々に大きくするようにする。２番目の期間の受信音声データＳ２２の信号をｓ（ｔ）、補間補助データＤＨＭをｄ（ｔ）とし、２番目の期間の長さ（すなわち、重み付け加算期間）をＴとしたとき、２番目の期間の重み付け加算は、次の（１）式によって表すことができる。

【0067】

ｓ（ｔ）・（Ｔ−ｔ）／Ｔ＋ｄ（ｔ）・ｔ／Ｔ …（１）
擬似データ付与部２４は、３番目の期間については、補間候補データＤＫをこの期間に出力したとみなした補間候補データＤＫＭをそのまま出力音声データＳ２４とする。

【0068】

擬似データ付与部２４は、４番目の期間については、この期間の受信音声データＳ２２と、補間候補データＤＫＭ（の対応期間）をこの期間に出力したとみなした補間候補データＤＫＭＥとの重み付け加算によって出力音声データＳ２４を形成する。この際、４番目の期間の経過時間ｔによって、補間候補データＤＫＭＥに対する重み付け係数を徐々に小さくするようにする。４番目の期間の受信音声データＳ２２の信号をＳ（ｔ）、補間候補データＤＫＭＥをＤ（ｔ）とし、４番目の期間の長さ（すなわち、重み付け加算期間）をＴとしたとき、４番目の期間の重み付け加算は、次の（２）式によって表すことができる。

【0069】

Ｓ（ｔ）・ｔ／Ｔ＋Ｄ（ｔ）・（Ｔ−ｔ）／Ｔ …（２）
擬似データ付与部２４は、５番目の期間については、受信音声データＳ２２をそのまま出力音声データＳ２４とする。

【0070】

第２の実施形態によっても、第１の実施形態とほぼ同様な効果を奏することができる。これに加え、第２の実施形態によれば、擬似データの当初及び末尾側の生成を、周期的に対応する２箇所の音声データの重み付け加算によって行うようにしたので、擬似データと、その前後の音声データとの連続性を良好なものとすることができ、擬似データの補間による音声劣化を、第１の実施形態より少なくすることができる。

【0071】

（Ｃ）他の実施形態
上記各実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。

【0072】

上記各実施形態においては、送信ユニット状況判定用信号を音声送信ユニット内の１箇所で付与するものを示したが、音声送信ユニット内の２箇所以上で異なる送信ユニット状況判定用信号を付与するようにしても良い。例えば、マイクロホン装置１１と符号化部１４との間にデジタルフィルタが介挿されている場合において、マイクロホン装置１１とデジタルフィルタとの間で第１の送信ユニット状況判定用信号を付与すると共に、デジタルフィルタと符号化部１４との間で第２の送信ユニット状況判定用信号を第１の送信ユニット状況判定用信号の付与期間とは異なる期間で付与するようにしても良い。このようにした場合には、音声受信ユニットにおいて、マイクロホン装置１１とデジタルフィルタとの間に異常が生じたか、デジタルフィルタと符号化部１４との間に異常が生じたか、符号化部１４以降の処理系で異常が生じたかを切り分けることができる。

【0073】

また、音声会議システムなど、ステレオ音声信号を取扱う場合であれば、各チャンネルの音声信号の処理系において、送信ユニット状況判定用信号を付与するようにしても良い。

【0074】

上記各実施形態においては、送信ユニット状況判定用信号の周期性を完全に守って付与する場合を示したが、付与タイミングを多少変更するようにしても良い。例えば、周期性からは付与タイミングであっても、そのときの音声データが、有音／無音判定で有音という結果が得られている期間の音声データである場合には、無音という結果になるのを待って送信ユニット状況判定用信号を付与するようにしても良い。このようにした場合には、送信ユニット状況判定用信号が背景雑音だけを有する期間に付与されているため、音声受信ユニットにおける擬似データとして、固定の背景雑音データをそのまま若しくはパワー調整だけを行って適用することもできる。

【0075】

上記各実施形態においては、音声受信ユニットにおいて、擬似データを生成して、受信音声データにおける送信ユニット状況判定用信号の付与期間のデータを擬似データに置き換えるものを示したが、擬似データを置き換えることなく、受信音声データを発音出力させるようにしても良い。例えば、送信ユニット状況判定用信号は、１０秒毎に、１０ｍｓ期間だけ挿入されるので、そのまま発音出力させたとしても、音声による対話に及ぼす影響はごくわずかであると考えられる。

【0076】

第２の実施形態では、送信ユニット状況判定用信号を１フレーム期間の中央部に付与し、受信側で重み付け加算処理を可能としているものを示したが、重み付け加算による補間処理を、送信ユニット状況判定用信号が１フレーム期間の全期間に挿入されている場合にも適用するようにしても良い。例えば、送信ユニット状況判定用信号が付与されているフレームの直前フレームの終了側期間や、送信ユニット状況判定用信号が付与されているフレームの直後フレームの開始側期間で、重み付け加算による補間処理を適用するようにしても良い。

【0077】

上記各実施形態においては、デジタル信号の音声信号を処理する音声送信ユニットや音声受信ユニットに本発明を適用した場合を示したが、アナログ信号の音声信号を処理する音声送信ユニットや音声受信ユニットに本発明の技術思想を適用することができる。また、アナログ信号及びデジタル信号の処理段階が混在する装置において、アナログ信号の処理段階で送信ユニット状況判定用信号を付与するようにしても良い。

【0078】

上記各実施形態は、音声送信ユニット内部の異常を検出可能とした点に特徴を有するものであるが、この特徴を、特許文献１に記載のようなネットワーク状態を検知する機能と組み合わせて適用するようにしても良い。

【符号の説明】

【0079】

１…音声通信システム、
２−１、２−２…音声通信装置（音声通信端末）、
１０、１０−１、１０−２…音声送信装置（音声送信ユニット）、
１１…マイクロホン装置、１２…送信ユニット状況判定用信号作成部、１３…判定用信号付与部、１４…符号化部、１５…送信部、
２０、２０−１、２０−２…音声受信装置（音声受信ユニット）、
２１…受信部、２２…復号部、２３…送信ユニット状況判定用信号検知部、２４…擬似データ付与部、２５…データ記憶部、２６…スピーカ装置、２７…送信ユニット状況判定部、２８…送信ユニット状況提示部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】