【課題】区画壁により囲まれた部屋での会話を、区画壁から外部に漏洩することを精度よく妨害する妨害音が発生できる音声漏洩防止装置および音声漏洩防止プログラムを提供する。
【解決手段】音声漏洩防止装置を構成する制御装置10および処理装置20は、会議室C1の第1マイクM1による室内音データと、区画壁Wにより隣接するオフィスC2の第2マイクM2による環境音データとに基づいて、会議室C1での会話が第2部屋オフィスC2へ漏洩することを妨害する妨害音データを生成し、妨害音データに基づいてオフィスC2へ向けたスピーカーSから妨害音を放音するものである。処理装置20では、環境音データに基づいて、オフィスC2にて集音される環境音の特徴を抽出し、環境音プロファイルを生成し、室内音データから環境音成分を除去することで、会議室C1での会話である話者音声成分を抽出して、妨害音データを生成する。
第1部屋に設置された第1マイクにより集音された室内音データと、前記第1部屋と区画壁により隣接する第2部屋に設置された第2マイクにより集音された環境音データとに基づいて、前記第1部屋での会話が前記区画壁から前記第2部屋へ漏洩することを妨害する妨害音データを生成し、前記妨害音データに基づいて前記第2部屋へ向けたスピーカーから妨害音を放音するものであり、
前記環境音データに基づいて、前記第2部屋にて集音される環境音の特徴を抽出し、環境音プロファイルを生成するプロファイル生成手段と、
前記環境音プロファイルに基づいて、前記室内音データから環境音成分を除去することで、前記第1部屋での会話である話者音声成分を抽出する会話音声抽出手段と、
前記話者音声成分に基づいて、妨害音データを生成する妨害音生成手段とを備えた音声漏洩防止装置。
前記妨害音生成手段は、前記第1部屋に所在する話者が携帯する端末装置の識別情報に話者音声成分を関連付けることで、前記第1部屋での話者を特定して、前記識別情報に応じた妨害音データを生成する請求項1記載の音声漏洩防止装置。
前記第1マイクと前記第2マイクと前記スピーカーとが接続された1以上の第1装置と、前記第1装置と電気通信回線を介して通信可能に接続された第2装置により構成され、
前記第1装置は、前記第1マイクからの室内音を前記室内音データに変換する第1音声処理手段と、前記第1マイクからの環境音を前記環境音データに変換する第2音声処理手段と、前記妨害音データに基づいて、前記スピーカーから妨害音を放音させる音声出力制御手段とを備え、
前記第2装置は、前記プロファイル生成手段と、前記会話音声抽出手段と、前記妨害音生成手段とを備えた請求項1または2記載の音声漏洩防止装置。
第1部屋に設置された第1マイクにより集音された室内音データと、前記第1部屋と区画壁により隣接する第2部屋に設置された第2マイクにより集音された環境音データとに基づいて、前記第1部屋での会話が前記区画壁から前記第2部屋へ漏洩することを妨害する妨害音データを生成し、前記妨害音データに基づいて前記第2部屋へ向けたスピーカーから妨害音を放音するためにコンピュータを機能させる音声漏洩防止プログラムであり、
前記コンピュータを、
前記環境音データに基づいて、前記第2部屋にて集音される環境音の特徴を抽出し、環境音プロファイルを生成するプロファイル生成手段、
前記環境音プロファイルに基づいて、前記室内音データから環境音成分を除去することで、前記第1部屋での会話である話者音声成分を抽出する会話音声抽出手段、
前記話者音声成分に基づいて、妨害音データを生成する妨害音生成手段として機能させる音声漏洩防止プログラム。
【背景技術】
【0002】
会話の音声にマスキング音と称される妨害音を被せることで、会話が周囲の人に伝わらないようにする技術が知られている。
例えば、非特許文献1には、マスキング音の基本的な説明と、マスキング音の生成についての説明が記載されている。
【0003】
また、特許文献1には、マスキング音生成システムが記載されている。このマスキング音生成システムは、マスキング音を示す音データ(以下、「マスキング音データ」という)を生成するマスキング音データ生成装置と、話者の音声を収音し音データ(以下、「話者音データ」という)を生成する収音装置であるマイクと、マスキング音データを生成するために素材として用いられる音を示す音データ(以下、「ソース音データ」という)を記憶する記憶装置と、聴者(話者の音声の内容の伝達を阻害したい対象となる相手)がいる空間に対してマスキング音データ生成装置が生成するマスキング音データが示す音をマスキング音として放音する放音装置であるスピーカーと、を備えたものである。
【0004】
また、この特許文献1には、マスキング音生成システムの変形例として、話者の音声を収音するマイクに加え、話者のいる空間(もしくは聴者のいる空間)の暗騒音を収音し音データ(以下、「暗騒音データ」という)を生成するマイクを備え、暗騒音の周波数帯域毎のレベルに応じて、マスキング音データの周波数帯域毎のレベルの調整を行うことが記載されている。
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、特許文献1に記載のマスキング音生成システムでは、マイクがマスキングしたい話者の音声だけでなく、周囲の話者の音声まで収音してしまうと、マスキング音データ生成装置が生成するマスキング音が効率よくマスキングできないおそれがある。
これは、特許文献1に記載のマスキング音生成システムが、話者と聴者とが同じ場所に所在したところに設置されることを想定しているためである。
【0008】
例えば、企業の大部屋をパーティションなどの間仕切りを区画壁としていくつかの小部屋を形成して会議室とし、その他をオフィスとすることがある。
そうした場合では、薄い区画壁では、会議室の会話がオフィスに漏れることがある。このとき、特許文献1に記載のマスキング音生成システムが、オフィスに設置されていると、オフィスでの環境音を中心にマスキング音が生成されるため、会議室から漏れる音声がそのままオフィスに聞こえてしまう可能性がある。
【0009】
そこで本発明は、区画壁により囲まれた部屋での会話を、区画壁から外部に漏洩することを精度よく妨害する妨害音が発生できる音声漏洩防止装置および音声漏洩防止プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の音声漏洩防止装置は、第1部屋に設置された第1マイクにより集音された室内音データと、前記第1部屋と区画壁により隣接する第2部屋に設置された第2マイクにより集音された環境音データとに基づいて、前記第1部屋での会話が前記区画壁から前記第2部屋へ漏洩することを妨害する妨害音データを生成し、前記妨害音データに基づいて前記第2部屋へ向けたスピーカーから妨害音を放音するものであり、前記環境音データに基づいて、前記第2部屋にて集音される環境音の特徴を抽出し、環境音プロファイルを生成するプロファイル生成手段と、前記環境音プロファイルに基づいて、前記室内音データから環境音成分を除去することで、前記第1部屋での会話である話者音声成分を抽出する会話音声抽出手段と、前記話者音声成分に基づいて、妨害音データを生成する妨害音生成手段とを備えたことを特徴とする。
【0011】
また、本発明の音声漏洩防止プログラムは、第1部屋に設置された第1マイクにより集音された室内音データと、前記第1部屋と区画壁により隣接する第2部屋に設置された第2マイクにより集音された環境音データとに基づいて、前記第1部屋での会話が前記区画壁から前記第2部屋へ漏洩することを妨害する妨害音データを生成し、前記妨害音データに基づいて前記第2部屋へ向けたスピーカーから妨害音を放音するためにコンピュータを機能させるものであり、前記コンピュータを、前記環境音データに基づいて、前記第2部屋にて集音される環境音の特徴を抽出し、環境音プロファイルを生成するプロファイル生成手段、前記環境音プロファイルに基づいて、前記室内音データから環境音成分を除去することで、前記第1部屋での会話である話者音声成分を抽出する会話音声抽出手段、前記話者音声成分に基づいて、妨害音データを生成する妨害音生成手段として機能させることを特徴とする。
【0012】
本発明によれば、まず、第2マイクからの環境音に基づいて特徴を抽出し、環境音プロファイルを生成する。次に、第1マイクからの室内音データから、会話音声抽出手段が、環境音プロファイルに基づいて、環境音成分を除去することで、話者音声成分を抽出する。そして、妨害音生成手段が、話者音声成分に基づいて、妨害音生成する。従って、話者音声成分には環境音の混在を無くす、または少ないものとすることができる。
【0013】
前記妨害音生成手段は、前記第1部屋に所在する話者が携帯する端末装置の識別情報に話者音声成分を関連付けることで、前記第1部屋での話者を特定して、前記識別情報に応じた妨害音データを生成することができる。端末装置の識別情報に話者音声成分を関連付けることで、第1部屋での話者を特定することができるので、話者(識別情報)に応じた妨害音を関連付けることができる。従って、話者ごとに適した妨害音が生成でき、より効果的な妨害音データを生成することができる。
【0014】
前記第1マイクと前記第2マイクと前記スピーカーとが接続された1以上の第1装置と、前記第1装置と電気通信回線を介して通信可能に接続された第2装置により構成され、
前記第1装置は、前記第1マイクからの室内音を前記室内音データに変換する第1音声処理手段と、前記第1マイクからの環境音を前記環境音データに変換する第2音声処理手段と、前記妨害音データに基づいて、前記スピーカーから妨害音を放音させる音声出力制御手段とを備え、前記第2装置は、前記プロファイル生成手段と、前記会話音声抽出手段と、前記妨害音生成手段とを備えたものとすることができる。
【0015】
本発明の音声漏洩防止装置を、第1装置と、第1装置と電気通信回線により接続された第2装置とにより構成することで、1台の第2装置が、複数の第1装置からの音声データを処理することができる。
【0016】
前記第1装置から送信される前記室内音データと前記環境音データとを間引いて前記第2装置へ送信する秘匿化手段を備えたものとすることができる。
秘匿化手段が、室内音データと環境音データとを間引いて第2装置に送信するため、第1部屋の会話や第2部屋での会話を電気通信回線へ送信しても、悪意あるものが電気通信回線に流れる音声データを盗聴して会話を復元することが防止できる。
【発明の効果】
【0017】
本発明の音声漏洩防止装置によれば、話者音声成分に環境音が少ない混在または混在することが防止できるので、話者の会話を高い精度で妨害できる妨害音を放音することができる。そのため、第1部屋での会話を、第2部屋にて聞かれることを防止することができる。
【発明を実施するための形態】
【0019】
本発明の実施の形態に係る音声漏洩防止装置を図面に基づいて説明する。まずは、
図1に基づいて、全体の構成について説明する。
図1に示すように音声漏洩防止装置は、第1装置である制御装置10と、第2装置である処理装置20とから構成される。
制御装置10は、企業Cを設置場所として設置されたローカル装置として機能するコンピュータである。
処理装置20は、制御装置10と、電気通信回線の一例であるインターネットNを介して通信可能に接続されたクラウド装置として機能するコンピュータである。
【0020】
本実施の形態では、処理装置20には1台の制御装置10が接続されているが、処理装置20は、複数の企業に設置された、それぞれの制御装置10が接続されていてもよい。なお、その場合、制御装置10は処理装置20へデータを送信するときには、企業を識別する識別情報を一緒に送信することで、処理装置20は、企業C(制御装置10)を識別することが可能である。
【0021】
企業Cには、第1部屋と第2部屋とが形成され、第1部屋と第2部屋との間の区画壁により隣接している。本実施の形態では、企業Cの大部屋の一部を、間仕切り(パーティション)や壁面などの区画壁Wにより、囲うことで、第1部屋である会議室C1が形成される。企業Cの大部屋の一部を小部屋の会議室C1とすることで、会議室C1以外の部屋が、社員が業務を行う第2部屋であるオフィスC2となる。
【0022】
本実施の形態では、制御装置10は、第2部屋としたオフィスC2に設置されているが、第1部屋とした会議室C1に設置されていてもよい。
【0023】
制御装置10には、第1マイクM1と、第2マイクM2と、スピーカーSとが接続されている。
第1マイクM1は、会議室C1内に設置されている。第1マイクM1は、話者の音声を集音する。第2マイクM2は、会議室C1の外部となるオフィスC2内に設置されている。第2マイクM2は、オフィスC2内の音声である環境音を集音する。また、スピーカーSは、オフィスC2に向けて設置されている。スピーカーSは、妨害音を発生して放音する。
【0024】
オフィスC2に所在する社員(操作者)は、スピーカーSからの放音の音量を調整するためのスマートフォンP(端末装置)を所持することができる。
また、制御装置10には、スマートフォンPとの無線信号を送受信する無線ルータ装置Rが接続されている。
また、無線ルータ装置Rは、ハブとしての機能を有しており、図示しない中継装置を介してインターネットNに接続されている。
【0025】
次に、
図2に基づいて、制御装置10の構成について説明する。
図2に示すように、制御装置10は、通信手段11と、第1音声処理手段12と、第2音声処理手段13と、秘匿化手段14と、音声出力制御手段15と、記憶手段16とを備えている。
【0026】
通信手段11は、無線ルータ装置Rを介して、または携帯電話会社による無線通信網を介して、インターネットNからの情報を受信して、制御装置10の各手段へ出力したり、各手段からの情報を入力して無線ルータ装置R、または無線通信網へ送信したりする。
通信手段11が無線ルータ装置Rを介してインターネットNに接続する場合には、1000Base−TなどのLANとすることができる。また、通信手段11が無線通信網と通信する場合には、3G〜5G、LTE等とすることができる。
通信手段11は、BLUETOOTH(登録商標)や、その他の近距離無線通信機能を有することができ、この機能により、直接、スマートフォンPと通信することができる。
このとき、この無線通信機能は、会議室C1側に指向性を有することもできる。通信手段11は、近距離(会議室内に在室状態)にある社員が携帯するスマートフォンPであり、識別情報により固体識別されるスマートフォンPとの通信ログ情報を取得し、記憶手段16に格納することができる。
第1音声処理手段12は、第1マイクM1により、
図1に示す会議室C1内の話者の音声およびオフィスC2から会議室C1に漏れた環境音を、室内音として集音したアナログ信号である集音信号をデジタル信号である室内音データにAD変換して、記憶手段16に格納する。
第2音声処理手段13は、第2マイクM2によりオフィスC2の話者の音声およびオフィスC2の雑音、外部からの雑音を集音したアナログ信号である環境音信号をデジタル信号である環境音データにAD変換して、記憶手段16に格納する。
【0027】
秘匿化手段14は、記憶手段16から、室内音データおよび環境音データを読み出し、これらの音声データを間引く秘匿化処理を施して、通信手段11を介して処理装置20へ送信する。
音声出力制御手段15は、処理装置20からの妨害音データからアナログ信号である妨害音を発生してスピーカーSから放音する。また、音声出力制御手段15は、スマートフォンPからの音量指示に基づいて、スピーカーSからの音量を調整する。
記憶手段16は、OS(オペレーティングシステム)やアプリケーションソフト、各種の設定、音声データ(室内音データ,環境音データ,妨害音データ)、スマートフォンPを所持する話者を識別するための識別情報を含む通信ログ情報などが格納される。記憶手段16は、ハードディスクドライブとしたり、フラッシュメモリを使用したSSD(ソリッドステートドライブ)としたりすることができる。
【0028】
次に、
図3に基づいて、処理装置20の構成について説明する。
処理装置20は、通信手段21と、プロファイル生成手段22と、会話音声抽出手段23と、妨害音生成手段24と、記憶手段25とを備えている。
通信手段21は、インターネットNからの情報を受信して、処理装置20の各手段へ出力したり、各手段からの情報を入力してインターネットNへ送信したりする。通信手段21は、LANとすることができる。
【0029】
プロファイル生成手段22は、制御装置10からの環境音データに基づいて、環境音における特徴を抽出し、環境音プロファイルを生成して記憶手段25に蓄積する。
また、プロファイル生成手段22は、環境音の周波数成分を周波数要素データとし、集音時間を時間要素データとして、時間と共に変化する環境音を機械学習により、環境音プロファイル更新・蓄積することもできる。
更に、プロファイル生成手段22が機械学習により環境音プロファイル更新・蓄積するときには、環境音データの録音時刻と、同時刻のスマートフォンPとの通信ログ情報に含まれた識別情報も合わせて機械学習させることにより、環境音に含まれる社員の声の識別に用いることができる。
【0030】
会話音声抽出手段23は、制御装置10からの室内音データから、環境音プロファイルに基づいて、環境音成分を除去することで話者音声成分を抽出して記憶手段25に格納する。
妨害音生成手段24は、話者音声成分に基づいて、妨害音(マスキング音)となる妨害音データを生成して、通信手段21を介して制御装置10へ送信する。
記憶手段25は、制御装置10の記憶手段16と同様に、OSやアプリケーションソフト、各種の設定、音声データ(室内音データ,環境音データ,妨害音データ)、スマートフォンPと制御装置10との通信ログ情報などが格納される。
【0031】
スマートフォンPには、制御装置10と通信して、妨害音の音量調整を行うアプリケーションソフトが動作する。
スマートフォンPは、WiFi(登録商標)により無線ルータ装置Rを介して、またはBLUETOOTH、その他の近距離無線通信により、直接、制御装置10と通信することができる。また、スマートフォンPは、
図1に示すように、携帯電話会社の基地局または中継局などの通信基地Tを介して、インターネットNを通じて、制御装置10と通信することができる。
【0032】
以上のように構成された本発明の実施の形態に係る音声漏洩防止装置(制御装置10,処理装置20)の動作および使用状態を、図面に基づいて説明する。
まず、
図4に示す第2マイクM2により、オフィスC2の話者の音声と、オフィスC2の雑音を、環境音として集音する(S10参照)。
図2に示す制御装置10では、第2音声処理手段13が、環境音を環境音データに変換して、記憶手段16に格納する。
次に、秘匿化手段14が、環境音データを記憶手段16から読み出し、例えば、所定時間ごとに間引いて処理装置20へ送信する(S20参照)。例えば、環境音データから、数秒間分を抽出し、数秒間を空けて、また数秒間分を抽出して連結することを繰り返して、秘匿化された環境音データとすることができる。
【0033】
処理装置20では、プロファイル生成手段22が、通信手段21を介して、制御装置10からの環境音データを受信すると、環境音データを周波数分析することにより環境音における周波数成分の特徴を抽出して環境音プロファイルとして生成する。この特徴は周波数分布や音量、発生パターンなどとすることができる。
【0034】
環境音プロファイルは、オフィスC2にて発生し、時間経過と共に変化する、様々なノイズとなる機械音や会話、外部からの音などを環境音として管理したものである。
制御装置10の第2音声処理手段13は、継続的に環境音データを、処理装置20へ送信することで、処理装置20のプロファイル生成手段22は、環境音プロファイルが記憶手段25に蓄積される(S30参照)。
【0035】
環境音プロファイルが整うと、運用に入ることができる。
図4に示す会議室C1にて会議が行われると、会議での話者の音声や、会議室C1に漏れ聞こえるオフィスC2の話者の音声とオフィスC2の雑音とが、第1マイクM1により室内音として集音される(S40参照)。
【0036】
図2に示す制御装置10では、第1音声処理手段12が、室内音を室内音データに変換して、記憶手段16に格納する。
次に、秘匿化手段14が、室内音データを記憶手段16から読み出し、例えば、所定時間ごとに間引いて処理装置20へ送信する(S50参照)。例えば、環境音データのときと同様に、室内音データから、数秒間分を抽出し、数秒間を空けて、また数秒間分を抽出して連結することを繰り返して、秘匿化された室内音データとすることができる。
このとき、秘匿化手段14は、記憶手段16に格納されたスマートフォンPの識別情報も一緒に通信手段11を介して処理装置20へ送信する。
【0037】
室内音データは、会議への参加者により話者音声成分と、会議室C1に漏れるオフィスC2からの環境音成分との合成である。従って、処理装置20では、会話音声抽出手段23が、室内音データに基づいて周波数分析を行い、環境音プロファイルにおける周波数成分の特徴に基づいて、室内音データから環境音成分を抽出して、室内音データから環境音成分を除去することで、話者音声成分を抽出して記憶手段25に格納する(S60参照)。
【0038】
次に、妨害音生成手段24が、記憶手段16から話者音声成分を読み出し、この話者音声成分に基づいて、妨害音となる妨害音データを生成する。妨害音は、例えば、非特許文献1に記載された理論等により生成することができる。このとき、妨害音データを生成する際の参考データとして、妨害音生成手段24は会議室C1内に所在する話者が携帯するスマートフォンPの識別情報を参照する。そうすることにより、識別情報に話者音声成分を関連付けることで、会議室C1での話者を特定することができるため、話者(識別情報)に応じた妨害音を関連付けることができる。従って、話者ごとに適した妨害音が生成でき、より効果的な妨害音データを生成することができる。
妨害音生成手段24は、妨害音データを制御装置10へ送信する(S70参照)。
【0039】
制御装置10では、音声出力制御手段15が、処理装置20からの妨害音データから妨害音を発生してスピーカーSから放音する(S80参照)。
このとき、スマートフォンPを携帯する社員が、スマートフォンPにて動作する、音量調整を行うアプリケーションソフトを起動して、ボリュームを調整すれば、指定された音量が、無線ルータ装置Rを介して、制御装置10へ送信される。
制御装置10では、通信手段11を介して受信した音量に基づいて、音声出力制御手段15が、指示された音量に、妨害音を調整する。
【0040】
以上のように、本発明の実施の形態に係る制御装置10および処理装置20による音声漏洩防止装置によれば、まず、第2マイクM2からの環境音に基づいて特徴を抽出し、環境音プロファイルを生成する。次に、第1マイクM1からの室内音データから、会話音声抽出手段23が、環境音プロファイルに基づいて、環境音成分を除去することで、話者音声成分を抽出する。そして、妨害音生成手段24が、話者音声成分に基づいて、妨害音生成する。従って、話者音声成分には環境音の混在が少ないまたは無いため、本実施の形態に係る音声漏洩防止装置は、話者の会話を高い精度で妨害できる妨害音を放音することができる。そのため、会議室C1での会話を、オフィスC2にて聞かれることを防止することができる。
【0041】
また、音声漏洩防止装置が、企業Cに設置された制御装置10と、制御装置10とインターネットNにより接続された処理装置20とにより構成することで、1台の処理装置20が、複数の制御装置10からの音声データを処理することができる。
【0042】
処理装置20では、プロファイル生成手段22が環境音データを、会話音声抽出手段23が室内音データを扱っているが、会話内容は不要であり、会話の一部があればよく、周波数成分が解析できればよい。
従って、制御装置10の秘匿化手段14が、音声データを間引いて処理装置20に送信するため、会議室C1の会話やオフィスC2の会話をインターネットNへ送信しても、悪意あるものが音声データを盗聴して会話を復元することが防止できる。
【0043】
なお、本実施の形態では、音声漏洩防止装置を、制御装置10と、処理装置20とよる2台の装置により構成していた。
しかし、制御装置10に含まれる、第1音声処理手段12、第2音声処理手段13、秘匿化手段14、音声出力制御手段15、記憶手段16と、処理装置20に含まれる、プロファイル生成手段22、会話音声抽出手段23、妨害音生成手段24、記憶手段25とを同じ装置内に収容することで、制御装置10と処理装置20とを1台の装置で構成することもできる。