特開 2024-17475 音声通信方式

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024017475

(43)【公開日】2024-02-08

(54)【発明の名称】音声通信方式

(51)【国際特許分類】

   G10L 21/0364 20130101AFI20240201BHJP

   G10L 15/22 20060101ALI20240201BHJP

   G10L 15/10 20060101ALI20240201BHJP

   H04M 3/42 20060101ALI20240201BHJP

   H04M 11/06 20060101ALI20240201BHJP

【ＦＩ】

G10L21/0364

G10L15/22 460Z

G10L15/10 400R

H04M3/42 P

H04M11/06

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022120126

(22)【出願日】2022-07-28

(71)【出願人】

【識別番号】000004330

【氏名又は名称】日本無線株式会社

(72)【発明者】

【氏名】高橋 政行

【テーマコード（参考）】

5K201

【Ｆターム（参考）】

5K201AA01

5K201CA01

5K201CA07

5K201DC05

5K201ED04

(57)【要約】      （修正有）

【課題】騒音等による相手音声の聞き取りの困難さを改善する海上通信における音声通信方式を提供する。
【解決手段】音声通信方式は、送信側マイク入力部と、送信側マイク入力部に入力された音声を分析する音声分析部１０５にて、入力音声の子音を抽出し音声を伝送するチャンネルとは別のチャンネルを用いて当該子音情報を送信することと、音声再生部部１１５にて受信側スピーカー出力部に信号を入力することと、ディスプレイにて音声分析部の出力を表示することと、からなる。
【選択図】図１

【特許請求の範囲】

【請求項1】

海上通信における音声通信方式に関し、
送信側マイク入力部と、
前記送信側マイク入力部に入力された音声を分析する音声分析部と、
受信側スピーカー出力部と、
前記受信側スピーカー出力部に信号を入力する音声再生部と、
前記音声分析部の出力を表示するディスプレイ部と、
からなる音声通信方式

【請求項2】

前記音声分析部は子音抽出部にて入力音声の子音を抽出し、音声を伝送するチャンネルとは別のチャンネルを用いて当該子音情報を送信することを特徴とする請求項１に記載の音声通信方式

【請求項3】

前記音声分析部は音声認識部にて入力音声を音声認識し、音声を伝送するチャンネルとは別のチャンネルを用いて当該文字情報を送信することを特徴とする請求項１に記載の音声通信方式

【請求項4】

前記音声分析部は通信装置の利用者が送信側のスイッチにより子音抽出か音声認識かを選択することで、状況に合った希望の処理を施し、音声を伝送するチャンネルとは別のチャンネルを用いて当該処理結果の情報を送信し、送信側のスイッチと同期して切り替わる受信側のスイッチにより子音情報か文字情報かを選択することを特徴とする請求項１乃至請求項３に記載の音声通信方式

【請求項5】

前記音声再生部は音声を伝送するチャンネルにて受信した音声と音声を伝送するチャンネルとは別のチャンネルにて受信した子音情報を音声強調部にて重畳させてスピーカーから出力することを特徴とする請求項１及び請求項２に記載の音声通信方式

【請求項6】

前記ディスプレイ部は音声を伝送するチャンネルとは別のチャンネルにて受信した文字情報を文字表示部によりディスプレイ部に表示することを特徴とする請求項１及び請求項３に記載の音声通信方式

【請求項7】

前記子音抽出部は入力音素が破裂音なのか摩擦音なのかといった情報から子音が発音する場所、つまり調音点を検出し、これをもって抽出結果とすることを特徴とする請求項２に記載の音声通信方式

【請求項8】

前記送信側マイク入力部に入力された音声を符号化し伝送するチャンネル１と、前記音声分析部が前記マイク入力部に入力された音声を分析し分析結果を伝送するチャンネル２に関し、処理により遅れた方のチャンネルの送信タイミングに、もう一方の送信タイミングを合わせることを特徴とする請求項１に記載の音声通信方式

【請求項9】

前記受信側の音声再生部に到来する符号化音声と、同音声再生部に到来する音声分析結果について、符号化音声の復号処理を終えるタイミングと、分析結果を音声に反映させるタイミングのうち、遅れた方のタイミングにもう一方のタイミングを合わせることを特徴とする請求項１に記載の音声通信方式

【発明の詳細な説明】

【技術分野】

【0001】

国際VHF帯データ通信用チャンネルにはVDES(VHF Data Exchange System)とVDE(VHF Data Exchange)地域CHがあり、VDESはITU-R勧告M.2092等によって技術特性が定められている。またVDE地域CHについて、周波数はITU-R勧告M.1842によって定められているものの、利用方法については具体化されておらず、周波数の有効利用のためにも当該利用方法の具体化が急がれている。

【0002】

本発明は前記VDE地域CHの利用方法について提案するものであり、特に音声通信の高度化に関し、当該CHを用いて行うことを目的とするものである。

【背景技術】

【0003】

VDESでは、地上VDE(VHF Data Exchange)、衛星VDE、AIS(Automatic Identification System)、ASM(Application Specific Messaging)といった複数の方式が各種のデータ伝送速度で用いられている。

【0004】

例えば衛星VDEでは世界無線会議(WRC-19)により周波数分配表が明記されており、その技術特性はITU-R勧告M.2092で定められている。同勧告では他に地上VDEとASMについても記載されている。また、AISはITU-R勧告M.1371で規定されている。

【0005】

例えばAISに関しては、VDESにおいて既存のAISチャンネルに新しいチャンネルを追加し、AISに負荷をかけることなく何らかのアプリケーションを並行動作させることが可能になる。また、衛星VDEでは船舶とLEO衛星(低軌道衛星)を経由して双方向データ通信が可能になり、衛星VDEにより全世界をカバーするデータ通信を実現できる可能性がある。

【0006】

このように、VDESはAISを含むシステムであることから、次世代AISという位置づけにされており、セキュリティレベルの向上など、将来に向けての開発が活発になされているのが現状である。

【0007】

一方で、国際VHF帯データ通信用チャンネルには、VDE地域CHと呼ばれるチャンネルも用意されており、これはITU-R勧告M.1842によって規定されているが、その使い方についてまでは議論されておらず、将来的に有効活用が期待されている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２００３－２４４７５６

【特許文献2】特開平０１－０５５５９５

【0009】

【非特許文献1】大見航也他著「船舶の騒音下における音声情報交換システムの開発」 IEICE ISS-P-124 2016年

【発明の概要】

【発明が解決しようとする課題】

【0010】

非特許文献１によれば、船舶における音声通信では環境騒音等により相手音声の聞き取りが困難なケースが多い。例えば、適度な音量であっても語頭や語尾が判然としないケースがある。タ行やパ行などの破裂音の語頭の子音が聞き取れないと全く違う意味になってしまうし、サ行のような空気が抜ける語頭の子音は背景ノイズと混然一体となり聞き取れないケースも多発している。

【0011】

また、送話ボタン押下と同時に通話をすることによる音声欠けや、流暢な英語では単語の末尾と次の単語の冒頭が繋がったり、人それぞれのなまりがあったり、また根本的に会話スピードが速かったりなど、聞き取りにくくする要素が多く、さらに、通話環境として、エンジン音などが送話側・受話側のいずれかに重畳することによる聞き取り不能も起こりえる。

【0012】

この事象は船員への聞き取り調査でも判明しており、船舶の乗務員にとって音声の聞き取りにくさは大きな問題であることがわかっている。また、陸側の海岸局にとっても、安全面などを考えると聞き取りにくいことは問題である。本発明は以上のように、子音の周辺ノイズとの埋もれによる語頭・語尾の聞き取りにくさや、そもそもの送信不備、また、通話全般にわたる判別不能状態を解決することを目的としている。

【0013】

また、当該解決手段の実施環境として、前述のように効果的に利用されていないVDE地域CHを利用することも特徴として備える。

【0014】

特許文献１では、複数のチャンネルを用いた通信の有効性について述べられており、本発明は前記課題を、当該文献と同様に複数チャンネルを用いるが、チャンネルの利用手段に関して独自な方法を用いることにより解決することを目的とする。

【課題を解決するための手段】

【0015】

海上通信における音声通信方式に関し、
送信側マイク入力部と、
前記送信側マイク入力部に入力された音声を分析する音声分析部と、
受信側スピーカー出力部と、
前記受信側スピーカー出力部に信号を入力する音声再生部と、
前記音声分析部の出力を表示するディスプレイ部と、
からなる音声通信方式とする。

【0016】

前記音声分析部は子音抽出部にて入力音声の子音を抽出し、音声を伝送するチャンネルとは別のチャンネルを用いて当該子音情報を送信することを特徴とする音声通信方式とする。

【0017】

前記音声分析部は音声認識部にて入力音声を音声認識し、音声を伝送するチャンネルとは別のチャンネルを用いて当該文字情報を送信することを特徴とする音声通信方式とする。

【0018】

前記音声分析部は通信装置の利用者が送信側のスイッチにより子音抽出か音声認識かを選択することで、状況に合った希望の処理を施し、音声を伝送するチャンネルとは別のチャンネルを用いて当該処理結果の情報を送信し、送信側のスイッチと同期して切り替わる受信側のスイッチにより子音情報か文字情報かを選択することを特徴とする音声通信方式とする。

【0019】

前記音声再生部は音声を伝送するチャンネルにて受信した音声と音声を伝送するチャンネルとは別のチャンネルにて受信した子音情報を音声強調部にて重畳させてスピーカーから出力することを特徴とする音声通信方式とする。

【0020】

前記ディスプレイ部は音声を伝送するチャンネルとは別のチャンネルにて受信した文字情報を文字表示部によりディスプレイ部に表示することを特徴とする音声通信方式とする。

【0021】

前記子音抽出部は入力音素が破裂音なのか摩擦音なのかといった情報から子音が発音する場所、つまり調音点を検出し、これをもって抽出結果とすることを特徴とする音声通信方式とする。

【0022】

前記送信側マイク入力部に入力された音声を符号化し伝送するチャンネル１と、前記音声分析部が前記マイク入力部に入力された音声を分析し分析結果を伝送するチャンネル２に関し、処理により遅れた方のチャンネルの送信タイミングに、もう一方の送信タイミングを合わせることを特徴とする音声通信方式とする。

【0023】

前記受信側の音声再生部に到来する符号化音声と、同音声再生部に到来する音声分析結果について、符号化音声の復号処理を終えるタイミングと、分析結果を音声に反映させるタイミングのうち、遅れた方のタイミングにもう一方のタイミングを合わせることを特徴とする音声通信方式とする。

【発明の効果】

【0024】

請求項１によれば、送信側受信側の環境ノイズや通信路ノイズの影響で聞き取りにくかった通信音声を、音声の強調により聞き取りやすくすることが出来る。また、音声が文字情報としてディスプレイに表示されるため、聞き逃しても情報を受け取ることが可能となる。

【0025】

請求項２によれば、送信音声のうち、ノイズにより消失しやすい子音を抽出することが出来、受信側で子音強調処理等をすることが可能になる。

【0026】

請求項３によれば、通信経路のノイズや受信側環境ノイズの影響を考慮して、送信側で音声認識をすることにより、受信側で文字情報のディスプレイ表示等をすることが可能になる。

【0027】

請求項４によれば、前記子音強調処理を取るか、前記文字情報のディスプレイ表示を取るかを選択することが可能になる。

【0028】

請求項５によれば、二つの通信チャンネルを用い、一方の通信チャンネルでは通常の音声通信をし、もう一方の通信チャンネルで前記子音情報を送信することで、受信側において子音を強調した音声再生が可能になる。

【0029】

請求項６によれば、二つの通信チャンネルを用い、一方の通信チャンネルでは通常の音声通信をし、もう一方の通信チャンネルで前記文字情報を送信することで、受信側において音声の再生と同時に文字情報によっても通信内容を確認出来る。

【0030】

請求項７によれば、前記子音情報の内容を特定することが可能になり、これにより受信側で子音強調処理をすることが可能になる。

【0031】

請求項８によれば、送信側の出力時にチャンネル間のタイミングがずれていないため、受信側の処理をする際に合わせこみが容易になる。

【0032】

請求項９によれば、受信側の処理によるずれを合わせこむことが出来るため、チャンネル間のずれによる不具合を未然に防ぐことが可能になる。

【図面の簡単な説明】

【0033】

【図1】本発明の全体構成図

【図2】本発明の処理フロー

【図3】複数チャンネルを利用した通信の一例

【図4】複数チャンネル内のデータ列の一例

【図5】音声認識処理に時間を要する場合の音声処理

【図6】受信側におけるチャンネル間の同期の説明

【図7】複数チャンネルのタイミング合わせにおいて受信側でのみこれを実施する例

【発明を実施するための形態】

【0034】

以下、本発明の実施の形態を、図面を参照しながら詳細に説明する。

【実施例0035】

本発明は船舶の音声通信において、伝送路ノイズもしくは送受信の通信機周囲のノイズによって、相手音声が聞き取りにくくなるという問題を解決するものである。この問題を解決する最善の方法は、送信側のマイクに音声を入力する時点で当該音声に何らかの処理を施して受信側の理解を助けることであり、本発明は当該処理に関する。

【0036】

図１は本発明における全体模式図を示したものである。図中において船舶１、船舶２と記載しているが、一方が地上局であってもかまわない。

【0037】

送信側通信機１０１のマイク入力から音声を入力すると、音声分析部１０５にて前記音声を分析する。この際、送信側切り替えスイッチ部にて前記分析内容が変化する。当該スイッチが子音抽出を指していれば、音声分析部１０５における子音抽出部は音声における子音を抽出する。

【0038】

子音の抽出とは、無声破裂音、有声破裂音、無声摩擦音、有声摩擦音といった分類や、口腔内のどこで発声したかを示す調音点など、子音の特徴を抽出することである。

【0039】

なお、子音抽出に関しては特許文献２などに示されているように、歴史のある技術であり、近年では薄型テレビの音声明瞭化手段として子音抽出を行い加工する技術も多用されているため、本発明においては、その手段を特定しない。また、抽出した子音の分類分けについてもパターンマッチングなど様々な方法が考えられるため本発明ではこれを限定しない。

【0040】

また、音声分析部１０５は一つのチャンネルであるところのCH1を介して通常の音声を音声再生部１１５に向けて送信する。前記抽出した子音情報は別のチャンネルであるところのCH2を介して音声強調部１１１に伝送される。

【0041】

音声強調部１１１では受信した子音情報に基づき疑似的な子音を生成する。例えば摩擦音であれば白色ノイズであるし、破裂音であればパルス状のノイズである。なお、受信側切り替えスイッチ部１２１は送信側切り替えスイッチ部１１９と連動しており、その連動させるための船舶１から船舶２への信号送信方法については、CH2で周期的にスイッチの向きの信号を伝送するなど考えられるが、本発明では限定するものではない。

【0042】

音声再生部１１５において前記CH1で受信した音声と、前記音声強調部１１１で生成した疑似子音を重畳し、受信側通信機１０３のスピーカーから当該重畳された音声を再生出力する。

【0043】

本手段によれば、音声通信における単語の冒頭を強調することが出来、受信側において音声を明瞭に聞き取ることが可能になる。

【0044】

次に送信側切り替えスイッチ部１１９が音声認識側を指している場合を説明する。この場合、前記のように受信側切り替えスイッチ部１２１も連動して音声認識側を指している。

【0045】

送信側通信機１０１のマイク入力から音声を入力すると、音声分析部１０５にて前記音声を分析する。送信側切り替えスイッチ部１０１が音声認識部１０９を指していれば、前記音声分析部１０５は音声認識結果を出力する。

【0046】

この際、音声認識手段は本発明においては限定しない。線形予測係数やケプストラム係数などのパターンマッチングや人工知能を用いた手段など、認識方法は任意である。

【0047】

音声認識部１０９はCH2を用いて認識結果を文字列の形の信号にして、文字表示部１１３に伝送する。文字表示部１１３は受信した音声認識結果を文字情報に変換する。変換した文字情報はディスプレイ部１１７にて表示する。

【0048】

この場合はCH1を介して伝送された音声信号と、CH2を介して伝送された文字情報を受信側で同時に知ることとなり、音声のとぎれがあっても受信者は文字情報でそれを補完できる。

【0049】

図２は前記図１を説明した内容について処理フローチャートの形で説明したものである。音声送信部２０１から音声受信部２１５へは任意の音声フォーマットで、且つ任意の通信チャンネルで音声を伝送する。

【0050】

ここで任意の音声フォーマットとは、デジタル圧縮された音声信号であったりアナログ信号であったり種々の方法を想定しており、本発明においてはこれを限定するものではない。

【0051】

一方で、音声送信部２０１に入力される音声信号は、切り替えスイッチ１部にて子音抽出部２０５か、あるいは音声認識部２０９を選択され、それぞれ入力する。

【0052】

なお、当該切り替えスイッチ１部からの分岐に関し、子音抽出部２０５のみが存在してもよいし、音声認識部２０９のみが存在してもよい。例えば後者であれば、システム全体において、以下に述べる子音抽出及び子音強調に関する部位は無くてもかまわない。

【0053】

前記切り替えスイッチ１部が子音抽出部を指していれば、入力音声は当該子音抽出部２０５に入力される。子音抽出部２０５では、任意の音声抽出処理により時間軸上で音声区間と非音声区間に分離され、音声区間において任意の音声処理手段により子音を抽出する。

【0054】

子音の抽出手段に関しては、音声認識技術で子音を認識し分離する際に用いられる方法であるところの、例えばケプストラム係数を算出し、その低次成分を分析する方法などが存在するが、本発明ではこれを限定するものではない。

【0055】

子音情報送信部２０７では前記抽出された子音を、音声送信部２０１が使う通信チャンネルとは別のチャンネルを用いて受信側に伝送する。伝送する内容としては、子音のアナログ波形そのものであったり、摩擦音か破裂音か鼻音かという情報であったり、口の中のどこで生成された音声かを示す調音点であったり、いずれのものでもよいが、本発明ではこれを限定するものではない。

【0056】

切り替えスイッチ２部２１３は切り替えスイッチ１部２０３と連動しているが、その連動方法については、例えば前記子音情報送信部２０７が使う通信チャンネルにおいて、一定間隔で切り替えスイッチ１部２０３の状態を送信し同期することが考えられる。しかるに当該連動手段については本発明ではこれを限定しない。

【0057】

前記のように切り替えスイッチ２部２１３は切り替えスイッチ１部２０３と同じ子音伝送系を示しているため、子音強調部２１７を指している。子音情報送信部２０７から送信された子音情報は子音強調部２１７で受信する。

【0058】

子音情報には前記のように様々な情報の種類がありうるが、例えば子音のアナログ波形そのものであった場合は、音声受信部２１５で受信した音声にそのまま、あるいは増幅して重畳する。

【0059】

また、摩擦音か破裂音か鼻音かの情報であれば、摩擦音であればホワイトノイズ、破裂音であればパルス波形、鼻音であれば正弦波を生成し、音声受信部２１５で受信した音声に重畳する。調音点情報でも、調音点による子音の特徴を生成し、受信音声に重畳する。

【0060】

子音強調部２１７で子音が強調された受信音声は音声再生１部２１９にてスピーカー出力される。ただし、この際、二種の音声出力経路が混在することを防ぐために、図２における音声再生２部２２３は動作が停止している。

【0061】

なお、前記における音声再生１部２１９と後述する音声再生２部２２３は機能的に違うため別ブロックとして図面に表示し、一方が動作する時は他方が停止する、と記載してあるが、同一のスピーカーであっても勿論よく、その場合は切り替えスイッチ２部２１３の状態に応じて再生する音声を切り替えればよい。

【0062】

次に、切り替えスイッチ１部２０３が音声認識側を指していれば、音声送信部２０１に入力される音声は音声認識部２０９にも入力され、音声を認識される。

【0063】

ここで、音声認識の手段には様々な方法が考えられる。例えば線形予測係数やケプストラム係数などの音素を特徴付ける係数に変換し、例えば「あ」という音素のケプストラム係数に最も近いデータ列を音素データベースから探してそのラベルを認識結果とする、といったパターンマッチングによって認識する方法や、ニューラルネットやファジー推論などのAIを利用した方法など、近年ではより高い認識精度になるために数多くの方法が存在する。しかるに本発明においてはこれを限定するものではなく、いかなる認識手段によるものでもよい。

【0064】

音声認識部２０９の認識結果は文字情報送信部２１１にて文字情報に変換され、音声送信部２０１が音声を送信するチャンネルとは別のチャンネルで当該文字列が送信される。なお、文章読解機能を有していれば漢字変換をし、漢字交じりの文字情報を送信する。

【0065】

前記のように切り替えスイッチ２部２１３は切り替えスイッチ１部２０３と同期しているため、切り替えスイッチ１部２０３が音声認識部２０９側を指している場合は、切り替えスイッチ２部２１３は文字情報解析部２２１を指している。

【0066】

文字情報解析部２２１は、文字情報送信部２１１に文章読解機能が無くカナ文字のみを送信している場合には漢字変換をして受信者が読み取りやすい文字列にする。また、送信側が何らかの警報を発している場合には、予め定めた警報装置を起動するなど、受信した文字情報によっては周辺装置を駆動する場合がある。さらに、文章を読解して言語変換することにより、他国からの送信音声を母国語に変換することも可能である。

【0067】

文字情報解析部２２１により読み取りやすい文字列に変換された情報は文字表示部２２５によりディスプレイ表示される。

【0068】

以上の処理により、船舶における音声通信において、環境ノイズや伝搬路のノイズ等、あるいは話し手の癖のある話し方があったり、音声再生系の不具合等があるなど、相手音声を聞き取りにくい状況下であっても、音声を強調したり文字表示することによって、受信者は相手音声の内容を理解することが可能になる。

【0069】

次に図３を用いて、実際の通信において複数チャンネルを用いた方式の一例について説明する。

【0070】

図３は海上VHF帯のデータ通信用チャンネルのうち、ITU-R勧告M.1842で定められたVDE地域チャンネルを示したものである。

【0071】

下側のチャンネルは船舶から陸上への通信に使われ、上側のチャンネルは陸上から船舶への通信に使われる。それぞれの通信はCH80、CH21、CH81、CH22を束ねて最大100kHz幅で使用され、CH23とCH83を束ねて最大50kHz幅で使用され、CH82を25kHz幅の単一チャンネルで使用される。

【0072】

なお、上側と下側を別系統の通信で用いる場合、つまり分割して用いる場合は、チャンネル番号に対して、下側には「10」をつけ、上側には「20」をつける。つまり、CH1080は157.025MHz、CH2080は161.625MHzとして利用する。

【0073】

複数チャンネルの用い方としては、例えばCH80の下側と上側の1チャンネルを用いる方法もあるし、前記のように下側と上側で分割してCH1080とCH1021とCH1081とCH1022の４チャンネルを用いる方法もありうる。

【0074】

複数チャンネルの使われ方としては、図３より高い周波数であるところのVDEグローバルチャンネルについては、ITU-R勧告M.2092で定められているように、捜索救助に関する各種情報収集をするための捜索救助サービスや、船舶位置や目的地を管制するための船舶通航サービスや、港湾での停泊位置や運航計画などの情報提供をする地域港湾サービス等がある。

【0075】

しかるに図３が示すVDE地域チャンネルに関しては具体的な利用法を定めているわけではなく、周波数の有効利用が為されていない状況である。従って、本発明に示したような、複数チャンネルを用いた音声通信を実施することは可能であり、これまで課題とされてきた船舶における音声の聞き取りにくさを解消する手段となりえる。

【0076】

図４は本発明の音声通信に関するもので、各チャンネル内のデータ列の一例を示したものである。当該図面においてはチャンネルを２個使用している。CH1は音声信号であり、送信と受信を同期させるために第一の同期信号４０１が一定間隔で挿入されている。任意のフォーマットの音声信号として音声信号４０３が続いている。

【0077】

CH2は前記音声信号に関する付加情報であり、本発明においては音声認識結果の文字列、あるいは子音抽出した結果の子音データを伝送するためのチャンネルである。送信と受信を同期させるために第二の同期信号４０５が一定間隔で挿入されている。当該チャンネルの付加情報が音声認識結果であるのか子音抽出結果であるのかのどちらをスイッチが示しているかの情報がスイッチの向きの情報４０７であり、この信号も一定間隔で挿入されている。これらに続いて付加情報４０９が伝送される。

【0078】

なお、前記のように、本発明においては当該付加情報として、音声認識結果、あるいは子音抽出結果のいずれか一方に固定したシステムであってもよく、その場合はスイッチの向きの情報４０７は固定値を伝送するよう規定してもよいし、第二の同期信号４０５に引き続いて付加情報４０９を伝送してもよい。

【0079】

次に、図５を用いてチャンネル間の送信側の同期方法について説明する。５０１はある伝送チャンネルを使って音声５０７を伝送している様子である。前述のように、音声認識による認識結果を文字情報で伝送する場合であっても、子音抽出により子音情報を伝送する場合であっても、それぞれ音声認識処理や子音抽出処理には時間を要する。

【0080】

この所要時間幅が５１１である。音声５０７はバッファによる遅延時間５０９を用いて伝送される。また、音声認識処理や子音抽出処理の結果を当該処理に引き続いて５１３で伝送する。

【0081】

このことにより、前記処理に時間を要しても、文字情報や子音情報と音声信号とは同じタイミングで伝送することが可能になる。

【0082】

当該遅延処理を行うために、音声信号を伝送するチャンネルでは、音声認識処理や子音抽出処理の終了に伴う信号を待つこととなり、当該信号を受信し次第、音声信号を伝送するチャンネルで音声信号を伝送する。

【0083】

なお、後述するように、送信側ではチャンネル間同期をさせず、受信側で一括して同期処理をしてもよいものとし、送受信それぞれで同期をとるか、受信のみとするかについては本発明では限定しない。

【0084】

次に、図６を用いてチャンネル間の受信側の同期方法について説明する。送信側でチャンネル間の同期を取っていても、受信側で行う音声信号のデコード処理や音声認識結果情報のディスプレイ表示処理、子音抽出結果から子音波形の生成処理など、各処理の所要時間には差があるため、受信側でもチャンネル間のズレを補正する処理が必要である。

【0085】

チャンネル１-６０１は音声信号を受信したチャンネルであり、信号の先頭が先頭タイミング６１９である。また、チャンネル２-６０３は情報を受信したチャンネルであり、音声認識情報であれば文字列、子音情報であれば子音情報である。なお、図５を用いて前述したように、送信時にチャンネル間の同期を取り先頭位置を合わせこんでいるので、受信時において先頭タイミング６１９を先頭に音声と情報が、それぞれチャンネル１-６０１、チャンネル２-６０３から伝送されてくる。

【0086】

音声信号は任意に事前に決定している処理単位を復元するにあたり音声復号処理時間６０９を要し、複合完了時に受信側フラグ１を立て、音声は６２１のタイミングで生成される。情報チャンネルも事前に決定している処理単位を復元し必要な処理を実施するのに情報復号処理時間６１３を要し、当該処理完了時に受信側フラグ２を立て、処理結果は６１１のタイミングで生成される。

【0087】

ここで、情報チャンネルに関する前記必要な処理の一例としては次のものがある。つまり、本装置が音声認識結果をチャンネル２-６０３に伝送するものであるならば、情報チャンネルの必要な処理とは、音声認識結果のデータ列に関し予め定めたデータと文字を変換するテーブルを参照し、文字情報に変換する。

【0088】

また、本装置が子音情報をチャンネル２-６０３に伝送するものならば、情報チャンネルの必要な処理とは、子音データから子音波形を生成することである。前述のように子音データは無声破裂音、有声破裂音、無声摩擦音、有声摩擦音といった分類データや、口腔内のとこで発声したかを示す調音点であり、例えば無声摩擦音であれば白色雑音を生成するし、有声破裂音であればパルス状の音声を生成する。

【0089】

前記フラグ１とフラグ２のうち、遅い方のフラグが立った時に処理済チャンネル１-６０５及び処理済チャンネル２-６０７において６１５及び６１７のタイミングで音声のスピーカー出力や文字のディスプレイ表示、あるいは処理済チャンネル２-６０７で生成された子音を処理済チャンネル１-６０５の音声信号への重畳を行う。

【0090】

次にチャンネル間の同期に関して、送信側で合わせ込みを行わず受信側でのみこれを行う例を、図７を用いて説明する。

【0091】

７０１ａ、７０１ｂは送信側においてタイミングＣで音声が入力されているタイムチャートである。７０３ａ、７０３ｂは音声信号の符号化及び前記情報信号生成をし、それぞれタイミングＤ、タイミングＥで送信する様子を示したタイムチャートである。７０５ａ、７０５ｂは受信側の様子であり、伝送路及び出力側入力側における遅延によりタイミングＦ、タイミングＧでの受信となるタイムチャートである。７０７ａ、７０７ｂは音声信号の復号、情報データの反映がタイミングＨ、Ｊで完了し出力部へ伝送するタイムチャートである。７０９ａ、７０９ｂはタイミングＫで音声出力と文字表示などを行うタイムチャートである。

【0092】

同図において、黒く塗りつぶした範囲は予め任意に定めた処理単位の幅である。

【0093】

音声データを主眼にデータの流れを見ると、次のようになる。つまり、タイミングＣを任意のまとまった音声区分の先頭とし、これを任意の音声符号化手段によりタイミングＤから符号化し、伝送路に送信する。各部により生じた遅延により受信機においてはタイミングＦからデータの受信を開始する。

【0094】

受信した音声データはタイミングＨを先頭に復号化され、アナログ音声波形が生成される。当該音声波形はタイミングＫを先頭にスピーカー出力される。

【0095】

次に情報データを主眼にデータの流れを見る。入力された音声を分析し、タイミングＥを先頭に情報データを生成し、伝送路に送信する。ここで前記分析とは、音声認識をする場合は認識処理であり、認識処理の方式は限定しない。また、子音抽出をする場合は音声区間から子音を分離抽出し前記のような有声破裂音であるかどうかや口腔内のどこで生成されたかなどの特徴データを決めることになるが、当該抽出手段については限定しない。

【0096】

受信機側においてはタイミングＧから前記情報データを受信し、タイミングＨから復号された音声にたいしてタイミングＪから当該情報データを反映させる。ここで反映とは、音声認識であれば認識結果を文字列情報にて表すことであり、また、子音抽出であれば、アナログ音声の子音位置に人工的な子音波形を付与、あるいは波形を増幅して強調することであるが、子音の強調方法については限定しない。なお、人工的な子音波形とは、無声摩擦音であれば白色雑音、有声摩擦音であれば正弦波、破裂音であればパルス波などを指す。

【0097】

前記文字情報であれば、タイミングＫにおいてディスプレイに文字表示をし、前記子音抽出であればタイミングＫを先頭に、子音抽出位置に前記強調処理を施す。

【0098】

なお、本発明において、情報データ生成の一例として音声認識処理と子音抽出処理の二種類を切り替えられる手段を示したが、どちらか一方のみを有するシステムであっても良く、これを限定するものではない。

【符号の説明】

【0099】

１０１…送信側通信機、 １０３…受信側通信機、
１０５…音声分析部、 １０７…子音抽出部、
１０９…音声認識部、 １１１…音声強調部、
１１３…文字表示部、 １１５…音声再生部、
１１７…表示部、 １１９…送信側切り替えスイッチ部、
１２１…受信側切り替えスイッチ部、
２０１…音声送信部、 ２０３…切り替えスイッチ１部、
２０５…子音抽出部、 ２０７…子音情報送信部、
２０９…音声認識部、 ２１１…文字情報送信部、
２１３…切り替えスイッチ２部、
２１５…音声受信部、 ２１７…子音強調部、
２１９…音声再生１部、 ２２１…文字情報解析部、
２２３…音声再生２部、 ２２５…文字表示部、
４０１…第一のフレーム同期信号、４０３…音声信号、
４０５…第二のフレーム同期信号、４０５…スイッチの向きの信号、
４０７…付加情報、
５０１…音声伝送のタイムチャート、
５０３…バッファを挟んだ音声伝送のタイムチャート、
５０５…音声認識結果の伝送のタイムチャート、
５０７…音声の１フレーム、 ５０９…遅延バッファ、
５１１…音声認識に要する時間、
５１３…音声認識結果の文字情報伝送のタイムチャート、
６０１…チャンネル１、 ６０３…チャンネル２、
６０５…処理済チャンネル１、 ６０７…処理済チャンネル２、
６０９…音声信号の復号処理時間幅、
６１１…情報信号の生成位置、 ６１３…情報信号の処理時間幅、
６１５…チャンネル間同期を取った後の音声伝送位置、
６１７…チャンネル間同期を取った後の情報伝送位置、
６１９…受信信号の先頭、 ６２１…受信音声の生成位置
７０１ａ、７０１ｂ…音声入力のタイミング、
７０３ａ、７０３ｂ…音声符号化、情報データ生成と送信タイミング、
７０５ａ、７０５ｂ…受信タイミング、
７０７ａ、７０７ｂ…音声復号化、情報データ反映のタイミング、
７０９ａ、７０９ｂ…音声出力、文字表示のタイミング

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】