特開 2022-42234 収音システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022042234

(43)【公開日】2022-03-14

(54)【発明の名称】収音システム

(51)【国際特許分類】

   G10L 15/28 20130101AFI20220307BHJP

   G10L 15/00 20130101ALI20220307BHJP

【ＦＩ】

G10L15/28 400

G10L15/00 200A

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2020147564

(22)【出願日】2020-09-02

(71)【出願人】

【識別番号】516168436

【氏名又は名称】株式会社プロジェクト・メイ

(74)【代理人】

【識別番号】100103872

【弁理士】

【氏名又は名称】粕川 敏夫

(74)【代理人】

【識別番号】100088856

【弁理士】

【氏名又は名称】石橋 佳之夫

(74)【代理人】

【識別番号】100149456

【弁理士】

【氏名又は名称】清水 喜幹

(74)【代理人】

【識別番号】100194238

【弁理士】

【氏名又は名称】狩生 咲

(72)【発明者】

【氏名】白石 昌二朗

(57)【要約】      （修正有）

【課題】簡素な構成で、多人数の会議の音声を明瞭に収音することができる収音システムを提供する。
【解決手段】収音システム１は、複数のマイクロホン１０ａ乃至１０ｄとそれぞれ接続され、複数のマイクロホンにより収音される音声をそれぞれ送信する複数の送信機２２ａ乃至２２ｄを有する収音装置２０ａ乃至２０ｄと、それぞれの音声を受信する受信機３０ａ乃至３０ｄと、受信機により受信される複数の音声をミキシングし、１個の音声データに統合するミキサー４０と、統合された音声データに含まれる会話をテキスト化するテキスト化装置（通信装置５０、サーバ１００）と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

マイクロホンと接続され、前記マイクロホンにより収音される音声を送信する複数の送信機と、
それぞれの前記音声を受信する受信機と、
前記受信機により受信される複数の前記音声をミキシングし、１個の音声データに統合するミキサーと、
統合された前記音声データに含まれる会話をテキスト化するテキスト化装置と、
を備える、
収音システム。

【請求項2】

前記受信機を複数備え、複数の前記受信機は、それぞれ前記送信機と接続されている、
請求項１記載の収音システム。

【請求項3】

前記送信機は、無線通信により前記音声を前記受信機に送信する、
請求項１又は２記載の収音システム。

【請求項4】

複数の前記マイクロホンは、同じ空間に配置される、
請求項１乃至３のいずれかに記載の収音システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声データをテキスト化する技術に関する。

【背景技術】

【0002】

近年、音声データをテキスト化するサービスの需要が高まっている。議事録の作成などでは音声データが作成されるが、音声データよりもテキストデータのうほうが後々の確認等では便利である。
この点について例えば、特許文献１では、音声通話している複数の通話者に対して、同時的に通話音声を文字化してデータ配信する方法が提案されている。
また、特許文献２、３では、作業者によって音声データをテキストデータに変換させる装置が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０－４１３０１号公報

【特許文献2】特開２００８－９６９３号公報

【特許文献3】特開２０１３－１８２３５３号公報

【発明の開示】

【発明が解決しようとする課題】

【0004】

多人数の会議での会話を収音しようとすると、反射音声および環境音等によるノイズがあり、正確にテキストデータに変換可能な音声データを取得するのは困難であった。例えば、音響設備のない一般の会議室において、単一のマイク又は会議用集音マイクを持ち込んで録音するものとすると、発話者との距離が離れてしまい反射音声および環境音等によるノイズが主となり、音声のテキスト化に利用できる品質の録音を行うことは困難であった。また、個々の会議参加者に対し１個の集音・記録機材、例えばパソコンによる録音をするものとすると、品質のよい音声を録音できる反面、隣席の音声が複数のパソコンに異なる品質で録音されるため、各録音の文字化に際し、隣席の音声を文字化したデータが不規則に重複して含まれてしまう。このような、不規則に重複する複数の録音音源を、１つの時系列の音源に統合することは非常に困難である。

【0005】

そこで、本発明は、可搬性の高い簡素な構成で、多人数の会議の音声を明瞭に収音することを目的とする。特に、本発明は、収音音源を一つの時系列データとして収音し、多人数会議の音声の正確な文字化に供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の一の観点に係る収音システムは、マイクロホンと接続され、前記マイクロホンにより収音される音声を送信する複数の送信機と、それぞれの前記音声を受信する受信機と、前記受信機により受信される複数の前記音声をミキシングし、１個の音声データに統合するミキサーと、統合された前記音声データに含まれる会話をテキスト化するテキスト化装置と、を備える。

【0007】

前記受信機を複数備え、複数の前記受信機は、それぞれ前記送信機と接続されているものとしてもよい。

【0008】

前記送信機は、無線通信により前記音声を前記受信機に送信するものとしてもよい。

【0009】

複数の前記マイクロホンは、同じ空間に配置されるものとしてもよい。

【発明の効果】

【0010】

本発明に係る収音システムによれば、簡素な構成で、多人数の会議の音声を明瞭に収音することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態に係る収音システムの概略構成図である。

【図2】上記収音システムにより管理端末に表示される表示画面の一例を示す図である。

【図3】上記収音システムによって実行される一連の処理の流れを示すシーケンス図である。

【図4】上記収音システムが有するマイクを机上に配置する一例を示す図である。

【図5】上記収音システムにおいてサーバで音声データをテキスト化する様子の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態に係る収音システムについて、図を参照して説明する。

【0013】

●収音システムの構成
図１に示すように、収音システム１は、多人数の会議を収音するシステムであって、特に、会議室等の同一空間にいる複数の話者の音声を収音する。図１では、複数の話者Ｗ１、Ｗ２、Ｗ３、Ｗ４が同じ会議室で会話している様子を示している。

【0014】

各話者Ｗ１乃至Ｗ４の近傍には、複数のマイクロホン１０ａ、１０ｂ、１０ｃ、１０ｄがそれぞれ載置されている。話者の人数とマイクロホンの個数が同数であり、話者とマイクロホンとが近傍に配置されている構成によれば、各マイクロホンにより話者の声を明瞭に収音することができる。また、マイクロホン１０ａ乃至１０ｄは、例えばエレクトレットコンデンサマイクロホン（ＥＣＭ）であるが、マイクロホンの形態は問わない。また、マイクロホン１０ａ乃至１０ｄの指向性は話者のいる方向の音を収音する狭指向性であることが好ましいが、異なる指向性を有していてもよい。

【0015】

さらに、マイクロホン１０ａは、収音した音声を記録する記録装置を有していてもよい。具体的には、例えば、マイクロホン１０ａとしてボイスレコーダーを使用してもよい。この構成によれば、後述するミキサー４０でミキシングする前のデータを記憶することができる。

【0016】

なお、図１の例では話者は４人であったが、人数は任意である。また、話者の人数およびマイクロホンの個数は、本例においては同数であったが、これに限られない。

【0017】

マイクロホン１０ａ乃至１０ｄは、それぞれ収音装置２０ａ、２０ｂ、２０ｃ、２０ｄに接続されている。収音装置２０ａ乃至２０ｄの構造は略同一であるため、ここでは収音装置２０ａについて説明する。

【0018】

収音装置２０ａは、マイクロホン１０ａにより収音される音声を取得し、後述する受信機３０ａに送信する装置である。収音装置２０ａは、バッファアンプ２１ａと送信機２２ａとを備える。収音装置２０ａは、バッファアンプ２１ａおよび送信機２２ａを１個の筐体に収容していてもよいし、それぞれが異なる筐体に収容され、有線又は無線で接続されている構成であってもよい。

【0019】

バッファアンプ２１ａは、マイクロホン１０ａにより収音される音声を増幅するアンプである。

【0020】

送信機２２ａは、バッファアンプ２１ａからの出力信号を受信機３０ａに送信する。送信機２２ａは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）による無線通信で信号を受信機３０ａに送信する。これによれば、収音装置２０ａ乃至２０ｄ同士が有線で接続されている構成に比べて、マイクロホン１０ａを設置する場所、例えば会議室のテーブル上が簡素になる。

【0021】

また、収音装置２０ａはバッファアンプ２１ａおよび送信機２２ａに給電するためのバッテリを備える。バッテリは、接続されるマイクロホン１０ａがＥＣＭである場合には、マイクロホン１０ａに駆動電圧を印加する。収音装置２０ａがバッテリを有する構成によれば、外部電源からの電力を受給する配線が不要になり、構成が簡素になる。特に、収音装置２０ａを会議室のテーブルに置くだけで、配線を検討することなく収音が開始できる。また、電源ケーブルが不要であるので、可搬性がよく、適宜の場所に移動して使用可能である。

【0022】

収音システム１には、複数の受信機３０ａ乃至３０ｄが含まれている。複数の受信機３０ａ乃至３０ｄは、送信機２２ａ乃至２２ｄとそれぞれ接続されている。

【0023】

複数の受信機３０ａ乃至３０ｄは、１個のミキサー４０に接続されている。なお、ミキサー４０は、所定の個数の接続ポートを有する装置が複数連結されて１個のミキサー４０を構成していてもよい。

【0024】

ミキサー４０は、受信機３０ａ乃至３０ｄにより受信される複数の音声をミキシングし、１個の音声データに統合する。ミキサー４０は、複数の音声をミキシングする際のボリュームを、音声ごとに個別に調整する調整機構を有していてもよい。

【0025】

ミキサー４０は、統合した音声データを通信装置５０に送信する。ミキサー４０と通信装置５０との接続は適宜であり、無線であっても有線であってもよい。

【0026】

通信装置５０は、ミキサー４０から受信した音声データをサーバ１００に送信する装置である。通信装置５０は、例えばは例えば、所謂スマートホンやタブレット端末、パーソナルコンピュータなどの端末で構成され、インターネット等のネットワークＮＷを介したデータの送受信を実行したり、各種のデータの入出力を実行したりすることができる。通信装置５０としてスマートホンやタブレット端末、パーソナルコンピュータ等の汎用装置を利用する構成によれば、本発明に係る収音システムを導入するにあたり、特別な通信装置の購入が不要であり、収音システムを安価に利用できる。

【0027】

通信装置５０は、表示部と、ソフトウェア資源としてのテキスト化部を備えていてもよい。テキスト化部は、ミキサー４０からの音声データをテキスト化する。テキスト化部は、インターネット等のネットワークＮＷを介して音声データを音声テキスト化エンジンに送ることで、データをテキスト化させてもよい。テキスト化部は、所定の第１時間の長さの音声データを受け取るごとに当該受け取った音声データをテキスト化し、表示部に表示させる。通信装置５０には、音声データから変換されたテキストが管理端末６０よりも素早く表示されるため、ユーザはテキスト化の様子を逐次確認できる。テキスト化部は、テキスト化装置の１例である。

【0028】

１つの会議室において多人数が参加する会議を収音する場合において、マイクロホンが遠い場所にいる話者の声を収音すると、話者の声は話者から離れるに従い減衰し、かつ会議室の壁および設備による反射音声や環境音等のノイズが増える。特に、残響は、歪んだ話声により構成されるため、音声のテキスト化において認識精度を劣化させる主要原因の１つである。複数のマイクロホンを配置する場合、至近にいる話者の声を収音したとしても、室内にいる別の話者が話しているときには、認識精度の低い音が収音されてしまう。超強指向性ガンマイクやマイクアレイシステムを用いたとしても、反射音は全方向から来るため、マイクロホンおよび収音空間を固定し、収音空間ごとに調整が必要である。また、超強指向性ガンマイクやマイクアレイシステムは高額である。

【0029】

図４を用いて、本実施形態における収音システム１のマイクロホンＭ１乃至Ｍ３の配置例について説明する。既知の事実として音声文字化に適合する品質の音声録音は、話者からおよそ80 cm以内である。発話者口腔の直近10 cmの音声音響パワーを0 dBとすれば、80 cm離れた地点での音声の音響パワーは、-18 dBとなる。160 cm離れた地点での音声の音響パワーは-24 dBとなる。音声文字化に適した音響パワーは、およそ-3 dB～20 dBである。したがって、隣席間隔Ｄ１が120 cm程度の一般的な会議室では、２席の中間に１台のマイク設置でよい。同図においては、話者Ｗ１１およびW１２の中間にマイクＭ１、話者Ｗ１３およびＷ１４の中間にマイクＭ２、話者Ｗ１５およびＷ１６の中間にマイクＭ３が配置されている。

【0030】

マイクＭ２が収音対象とする話者Ｗ１３、Ｗ１４の両隣に位置する話者Ｗ１２、Ｗ１５の音声は、マイクＭ２から１６０ｃｍ以上（同図の例においては約１９０ｃｍ）離れるため、有効な音声として認識されない。実際にはミキサー４０により、電気信号は増幅可能であるため、変換対象の話者音声の増幅率を-3dB～-20dBに設定することで、周辺の音声は棄却される。

【0031】

互いに隣接する音声取得対象席、すなわち互いに120cm離れた２席（話者Ｗ１３、Ｗ１４）を結ぶ直線よりそれぞれおよそ42°（直交距離ｄ２は約50cmとなる。）の位置にマイクＭ２を設置した場合、マイクＭ２から見て、音声取得対象席の隣席の話者Ｗ１２またはＷ１５までの距離Ｄ２は186cmとなり、空間伝搬速度によりおよそ5msec程度の遅延信号となって記録されるが、この遅延は一般的な会議室の残響卓越成分である2~25 msec程度と同等で、前述の音響パワーの減衰と併せて、音声文字化への影響は無視できる。
話者Ｗ１１およびＷ１２を音声取得対象とする直交距離ｄ３が80cm離れた位置にあるマイクＭ１は、話者Ｗ１３から約245cm離れている。話者Ｗ１３からの音声は、マイクＭ１において空間伝搬速度によりおよそ7msec程度の遅延信号となって記録されるが、この遅延は一般的な会議室の残響卓越成分である2~25 msec程度と同等で、前述の音響パワーの減衰と併せて、音声文字化への影響は無視できる。

【0032】

本発明にかかる収音システム１によれば、複数のマイクロホン１０ａ乃至１０ｄで収音される音声をミキサー４０で統合される。したがって、あるマイクロホン１０ａで収音される反射音声および残響の元となる主音声が、会議室等の同一空間に配置される別のマイクロホン１０ｂによる収音音声で補完される。したがって、残響のみに基づいてテキスト化処理が行われることがなく、主音声に基づいてテキスト化されるため、テキスト化処理を正確に行うことができる。複数のマイクロホン１０ａ乃至１０ｄの収音音声は同時に行われることから、各収音音声の時間ずれは生じず、そのままミキシングすることで、明瞭な音声データを生成することができる。

【0033】

また、ミキサー４０で統合された音声データは、サーバ１００に保存される。すなわち、サーバ１００は、結果を蓄積するアプリケーション・サーバとして機能する。この構成によれば、各マイクロホン１０ａ乃至１０ｄの音源を別々に保存する構成に比べて、処理を行う音声データの容量が小さくなり、処理時間を短くすることができる。

【0034】

また、通信装置５０でテキスト化を行う構成に加えて、又は代えて、サーバ１００は、ミキサー４０および通信装置５０を介して音声データを受け取ると、音声データに適宜の処理を実行し、処理済みの音声データを音声テキスト化エンジンに送ってテキスト化させてもよい。サーバ１００はテキスト化装置の別の例である。音声テキスト化エンジンは、音声データをテキスト化するデータ処理エンジンである。音声テキスト化エンジンは、音声データ中の単語を識別する識別手段、識別される単語の音声データとテキストデータが関連付けられ、変換処理の参照先となる辞書手段などの機能部を有している。サーバ１００は、遠隔に設置されたハードウェアの他、クラウドコンピュータにより構成されていてもよい。すなわち、この場合には、サーバ１００は、音声テキスト化エンジンに渡す音声データを最適化する処理および結果の蓄積を行うアプリケーション・サーバとして機能する。

【0035】

サーバ１００で音声テキスト化する場合では、音声データにおいて音量が所定値以下の区間、所謂無音部を抽出し、当該無音部で音声データを分割してもよい。サーバ１００は、無音部で分割された音声データごとにデータをテキスト化する。この構成によれば、単語が途中で分割されることがなく、誤った変換が行われるのを防ぐことができる。
サーバ１００は、通信装置５０におけるテキスト化処理の時間単位、すなわち第１時間よりも長い、第２時間分のデータを用いて、音声データをテキスト化する。このとき、サーバ１００は、音声データの音量を適宜調整してもよい。また、サーバ１００は、音声データにおいて音量が所定値以下の区間、所謂無音部を抽出し、当該無音部で音声データを分割してもよい。サーバ１００は、無音部で分割された音声データごとにデータをテキスト化する。この構成によれば、単語が途中で分割されることがなく、誤った変換が行われるのを防ぐことができる。

【0036】

図５に示すように、サーバ１００は、例えば第２時間より短い第３時間分のデータを受信すると、当該第３時間分のデータとサーバ１００に蓄積されている該第３時間分のデータより前の音声データとを結合し、該第３時間分のデータを含む第２時間の長さのデータを用いて音声データをテキスト化してもよい。すなわち、テキスト化処理で用いられるデータは前回のテキスト化処理で用いられるデータと一部重なっている。このように、過去のデータを参照してテキスト化する構成によれば、単語が途中で分割されることがなく、短時間分のデータのみをテキスト化する構成に比べて、テキスト化をより高精度に行うことができる。

【0037】

管理端末６０は、収音システム１のユーザが利用する端末であり、ユーザは当該管理端末６０により、所定の音声データをテキスト化したテキストデータを得る。

【0038】

図２に示すように、管理端末６０に表示される表示画面Ｇ１において、テキストデータは、テキスト化処理で生成されたテキストごとにテキストウィンドウＧ１３に表示される。表示画面Ｇ１は、特定の話者の発言のみを表示するメンバ絞込ウィンドウＧ１１、特定の内容種別のタグが付けられている発言のみを表示する種別絞込ウィンドウＧ１２が表示されている。

【0039】

テキストウィンドウＧ１３上には、当該テキストごとに、音声を再生する入力を受け付けるボタンＧ１４が表示され、ユーザがボタンをタップ又はクリック等により選択すると、テキスト化処理の元になった音声データをテキストごとに再生することができる。

【0040】

また、テキストウィンドウＧ１３上において、当該テキストごとに、ユーザにより話者（表示画面Ｇ１上には「メンバ」と表示されている）を選択してタグ付けできる。さらに、テキストウィンドウＧ１３上において、当該テキストごとに、当該テキストの内容種別をタグ付けする機能を有していてもよい。テキストの内容種別を示すタグとは、例えば、重要度の段階を示すタグであり、「最重要」「重要」「やや重要」「留意」「参考」「無視」といったタグであってよい。このような構成によれば、ユーザが会議中にほぼリアルタイムにテキストデータをタグ付けすることができ、会議終了後にすべての音源を聞き直さなくても、必要なタグ付けを行うことができる。内容種別を示すタグを付けられたテキストは、種別ごとに異なる色の文字で表示されている。メンバ絞込ウィンドウＧ１１および種別絞込ウィンドウＧ１２上での操作により、特定のタグがタグ付けされたテキストだけを抽出するだけで、容易に議事録を作成することができる。話者のタグ付け命令と、テキストの内容種別のタグ付け命令と、を、管理端末６０に接続されるマウスの互いに異なるボタンに関連付けることで、タグ付け操作が一層容易になる。

【0041】

●収音システムの処理フロー
続いて、本実施形態に係る収音システム１によって実行される一連の処理の流れについて、図２を参照して説明する。なお、同図においては収音装置２０ａおよび２０ｂの処理について説明するが、収音装置２０ｃ、２０ｄについても同様である。

【0042】

まず、収音装置２０ａ、２０ｂは、それぞれ接続されているマイクロホン１０ａ、１０ｂにより収音される音声を取得し（Ｓ１ａ、Ｓ１ｂ）、音声は、それぞれ送信され（Ｓ２、Ｓ３）、受信機３０ａ、３０ｂを介してそれぞれミキサー４０に入力される。なお、同図中ではステップＳ２およびＳ３は便宜上ずらして記載されているが、同時であってよい。ミキサー４０は、収音装置２０ａ、２０ｂからの音声をミキシングする（Ｓ４）。ミキシングされた音声データは、通信装置５０へ送信される（Ｓ５）。通信装置５０は、受信した音声データをテキスト化し（Ｓ６）、表示する（Ｓ７）と共に、音声データをサーバ１００に送信する（Ｓ８）。サーバ１００は、音声データをテキスト化し（Ｓ９）、当該テキストデータに対応する音声データとともに管理端末６０に送信する（Ｓ１０）。管理端末６０は、サーバ１００によりテキスト化されたテキストデータを表示する。

【0043】

このように、本実施形態に係る収音システムによれば、簡素な構成で、多人数の会議の音声を明瞭に収音することができる。

【符号の説明】

【0044】

１ 収音システム
１０ マイクロホン
２２ 送信機
３０ 受信機
４０ ミキサー
５０ 通信装置（テキスト化装置）
１００ サーバ（テキスト化装置）

【図1】

【図2】

【図3】

【図4】

【図5】