特開 2022-141035 処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022141035

(43)【公開日】2022-09-29

(54)【発明の名称】処理装置

(51)【国際特許分類】

   G10L 25/51 20130101AFI20220921BHJP

   G10L 25/21 20130101ALI20220921BHJP

   G10L 15/00 20130101ALI20220921BHJP

   B66B 3/00 20060101ALN20220921BHJP

【ＦＩ】

G10L25/51

G10L25/21

G10L15/00 200D

B66B3/00 L

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021041158

(22)【出願日】2021-03-15

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】中村 真巳

(72)【発明者】

【氏名】高田 昌幸

(72)【発明者】

【氏名】宮田 哲

(72)【発明者】

【氏名】木下 義仁

(72)【発明者】

【氏名】三原 真哉

【テーマコード（参考）】

3F303

【Ｆターム（参考）】

3F303CB24

3F303CB51

(57)【要約】

【課題】飛散した飛沫量を推定する技術を提供する。
【解決手段】処理装置１００は、マイクロフォン１０に接続されるとともに、音声収音部１１０、音声解析部１２０、飛散飛沫量推定部１３０を含む。音声収音部１１０は、マイクロフォン１０から人が発声した音声を収音する。飛散飛沫量推定部１３０は、音声収音部１１０において集音した音声を解析する。飛散飛沫量推定部１３０は、音声解析部１２０における解析結果をもとに、音声を発する際に飛散した飛沫量を推定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

マイクロフォンから人が発声した音声を収音する音声収音部と、
前記音声収音部において集音した前記音声を解析する音声解析部と、
前記音声解析部における解析結果をもとに、前記音声を発する際に飛散した飛沫量を推定する飛散飛沫量推定部と、
を備える処理装置。

【請求項2】

前記音声解析部は、前記音声収音部において集音した前記音声に対して破裂音と有気音の少なくともいずれかを認識する音声認識処理を実行し、
前記飛散飛沫量推定部は、前記音声解析部における音声認識処理の結果をもとに、単位時間における前記破裂音と前記有気音の少なくともいずれかの発音回数を前記飛沫量として計算する請求項１に記載の処理装置。

【請求項3】

前記音声解析部は、前記音声収音部において集音した前記音声または前記音声解析部において認識した破裂音と有気音の少なくともいずれかの音量を検出し、
前記飛散飛沫量推定部は、前記音声解析部において検出した前記音量をもとに、前記音量の積算値を前記飛沫量として計算する請求項１または２に記載の処理装置。

【請求項4】

前記飛散飛沫量推定部において推定した前記飛沫量がしきい値以上である場合、飛沫の飛散を警告する警告部をさらに備える請求項１から３のいずれかに記載の処理装置。

【請求項5】

前記音声が発せられる環境についての情報を取得する取得部と、
前記取得部において取得した情報をもとに、前記警告部における前記警告のしやすさを制御する警告制御部とをさらに備える請求項４に記載の処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理技術に関し、特に音声を処理する処理装置に関する。

【背景技術】

【0002】

感染症の感染者が咳、くしゃみなどを行うことによってウイルスを含んだ飛沫が飛散すると、感染症が拡大しやすくなる。例えばエレベータや車室において、感染症の拡大を防ぐ機能が必要とされる。そのため、エレベータ乗かご内の音声を収集して乗客が咳またはくしゃみをしているか否かを解析し、画像解析結果と合わせて感染症に感染した乗客が存在することが検知される（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－６２１６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、咳やくしゃみを検出することにより、体調不良の乗客が存在することが検知される。しかしながら、体調不良の明示的な症状がなくとも、潜在的な感染者と長時間の会話を行うことによって感染症に感染するリスクがある。また、車内の乗員が無言であれば、飛沫が飛散する確率は小さい。会話に含まれる発音の特徴によって、感染症を拡散するリスクが高まる恐れがある。

【0005】

本発明はこうした状況に鑑みてなされたものであり、その目的は、飛散した飛沫量を推定する技術を提供することである。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の処理装置は、マイクロフォンから人が発声した音声を収音する音声収音部と、音声収音部において集音した音声を解析する音声解析部と、音声解析部における解析結果をもとに、音声を発する際に飛散した飛沫量を推定する飛散飛沫量推定部と、を備える。

【0007】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0008】

本発明によれば、飛散した飛沫量を推定できる。

【図面の簡単な説明】

【0009】

【図1】実施例に係る処理装置の構成を示す図である。

【図2】図１の警告部に記憶されるテーブルのデータ構造を示す図である。

【図3】図３（ａ）－（ｂ）は、図１の警告制御部に記憶されるテーブルのデータ構造を示す図である。

【図4】図４（ａ）－（ｂ）は、図１の警告制御部に記憶される別のテーブルのデータ構造を示す図である。

【図5】図１の警告制御部に記憶されるさらに別のテーブルのデータ構造を示す図である。

【図6】図１の処理装置による処理手順を示すフローチャートである。

【発明を実施するための形態】

【0010】

本発明を具体的に説明する前に、まず概要を述べる。本発明の実施例は、閉じられた空間において感染症を拡散するリスクを低減するために、飛散した飛沫量を推定する処理装置に関する。処理装置は、例えば、車両に搭載される。処理装置は、車室の車内の乗員による飛散した飛沫量を推定し、推定した飛沫量が多ければ、警告のメッセージを表示したり、窓を開けたり、空調装置を外気導入に切りかえたりする。本実施例に係る処理装置は、発音の特徴（破裂音・有気音などの回数）あるいは発音量（発音／会話時間、声量）から、飛散させた飛沫量を推定する。

【0011】

図１は、処理装置１００の構成を示す。処理装置１００は、マイクロフォン１０、センサ２０に接続される。処理装置１００は、音声収音部１１０、音声解析部１２０、飛散飛沫量推定部１３０、警告部１４０、表示制御部１５０、窓制御部１６０、空調制御部１７０、取得部２００、警告制御部２１０を含み、音声解析部１２０は、音声認識部１２２、音量検出部１２４を含む。

【0012】

マイクロフォン１０は、例えば、車両の車内の搭乗者席近傍に設置される。マイクロフォン１０は、処理装置１００専用として準備されてもよく、カーナビゲーションシステムあるいはドライブレコーダに内蔵されてもよい。音声収音部１１０は、マイクロフォン１０からの音声を電気信号として取得する。音声収音部１１０は集音した音声（以下、「音声信号」という）を音声解析部１２０に出力する。

【0013】

音声解析部１２０は、音声収音部１１０から音声信号を受けつけ、音声信号を解析する。音声認識部１２２は、音声信号に対して音声認識処理を実行する。音声認識処理には公知の技術が使用されればよいが、音声認識処理により発音特徴の抽出がなされる。また、音声認識処理により、人の声であること、登録したユーザの声であることが認識されてもよい。音源の到来方向がユーザの頭部方向であること（車内であれば搭乗席方向であること）、周波数解析により人の声の周波数帯であることなどの公知技術を用いて、人の声であること、登録したユーザの声であることの認識精度を向上させてもよい。発音特徴の抽出では、発音内の破裂音（Ｐ、Ｂなど）、有気音（Ｐ、Ｔ、Ｋなど息が強く出る音）の特徴を持つ発音が認識される。破裂音とは、調音器官を閉鎖して呼気を止めたのち、急に開放して発する音（子音）である。有気音とは、破裂音が強い気息に伴われて発せられる音（子音）である。破裂音と有気音では、唾や飛沫が多く飛ぶ。音声認識部１２２は、破裂音と有気音以外にも、唾や飛沫が多く飛ぶ発音を認識してもよい。音量検出部１２４は、音声収音部１１０が収音した音声信号における音声の音量を検出する。音量検出部１２４は、音声認識部１２２において認識した音声の音量、例えば破裂音と有気音の少なくともいずれかの音量を検出してもよい。この場合、通常の音量であっても唾や飛沫が多く飛ぶ破裂音と有気音において、さらに唾や飛沫の飛散量が増加する大音量の音声を検出することができる。音量の検出には公知の技術が使用されればよい。

【0014】

飛散飛沫量推定部１３０は、音声解析部１２０における解析結果、例えば検出した音量をもとに、音声を発する際に飛散した飛沫量を推定する。飛散飛沫量推定部１３０は、単位時間における人が発声した音声の発音回数をカウントする。単位時間は、例えば１分に設定される。また、飛散飛沫量推定部１３０は、音量の検出結果をもとに、音量の積算値を計算する。積算値も単位時間に対して計算されてもよい。飛散飛沫量推定部１３０は、人の発声の発音回数αと音量の積算値βをもとに、飛沫量γを音量の積算値に準じた概略値として、次のように計算する。

【数1】

このとき、発音回数とは、例えば日本語でいえば「あ」「か」などの母音が発音された回数である。単語が発音された回数であってもよい。また音量とは、マイクロフォン１０で収音された音の音圧レベルである。

【0015】

飛沫量の計算はこれに限定されない。飛散飛沫量推定部１３０は、人の声が発音したことを認識してその都度人の声の音量を検出し、人の声の音量を発音回数分の総和として音量の積算値および飛沫量γを計算してもよい。

【数2】

飛沫量は、人の声の発音回数が大きくなるほど大きくなり、音量の積算値が大きくなるほど大きくなる値である。

【0016】

飛散飛沫量推定部１３０は、破裂音と有気音の少なくともいずれかの発音を認識して、破裂音・有気音の発音回数をα、その際の発音音量をβとして上述の数式により音量の積算値および飛沫量γを計算してもよい。破裂音・有気音の発音を検出し、その際の発音音量を、発音回数分の総和として音量の積算値および飛沫量γを計算してもよい。飛散飛沫量推定部１３０は、破裂音と有気音に限定せず、予め測定された、発音する音（日本語でいえば「あ」「か」などの一音）ごとの飛散する唾や飛沫量をパラメータとして数値化したデータベースとして備え、発音ごとにデータベースを参照して飛散する唾や飛沫量を推定し、その総和としての飛沫量γを推定してもよい。上述したパラメータは、破裂音や有気音であれば高く、その他の音であれば低くなるパラメータである。

【数3】

【0017】

警告部１４０は、飛散飛沫量推定部１３０において推定した飛沫量を受けつける。図２は、警告部１４０に記憶されるテーブルのデータ構造を示す。テーブルでは、飛沫量がしきい値以上である場合に警告がなされ、飛沫量がしきい値より小さい場合に警告がなされないことが示される。図１に戻る。警告部１４０は、テーブルを参照して、飛沫量をしきい値と比較する。警告部１４０は、飛沫量がしきい値以上である場合に、表示制御部１５０、窓制御部１６０、空調制御部１７０のうちの少なくとも１つを使用して、飛沫の飛散を警告する。表示制御部１５０は、飛沫の飛散を警告するためのメッセージを表示する。窓制御部１６０は、飛沫の飛散を警告するために、車両や部屋の窓を自動的に開ける。窓制御部１６０は、飛沫の飛散量に応じて窓の開度を制御してもよい。このようにすることで、窓の開度によって車両の車室内や部屋の中で飛散した飛沫量をユーザに知らせることができる。空調制御部１７０は、飛沫の飛散を警告するために、車両や部屋の空調装置をオンにしたり、車両の空調装置を外気導入に切りかえたりする。空調制御部１７０は、飛沫の飛散量に応じて空調装置の風量を制御してもよい。このようにすることで、空調装置の風量によって車両の車室内や部屋の中で飛散した飛沫量をユーザに知らせることができる。警告部１４０は、その他に、図示しない音声制御部によって飛沫の飛散を警告するためのメッセージを音声出力したり、ブザーで警告したりしてもよい。警告部１４０は、飛沫量がしきい値より小さい場合に、表示制御部１５０、窓制御部１６０、空調制御部１７０を動作させない。

【0018】

（変形例１）
実施例に次の処理が追加されてもよい。例えば車室の車内であってマイクロフォン１０が車内の前方部分に配置される場合、音声収音部１１０が集音した前部座席に着座した乗員からの音声と、音声収音部１１０が集音した後部座席に着座した乗員からの音声とが同じ音量であれば、後部座席に着座した乗員からの音声、つまりマイクロフォン１０から遠い位置に着座する乗員の音声の方が、発音音量としては大きいと推測できる。センサ２０は、車内の各座席に乗員が着座しているか否かを検出するための着座センサである。着座センサは、各座席に設置される。着座センサには公知の技術が使用されればよく、乗員が着座しているか否かの検出結果を出力する。取得部２００は、センサ２０に接続され、センサ２０から検出結果を取得する。また図示しない撮像装置によって撮像された画像の認識結果または音声のビームフォーミング技術により、マイクロフォン１０で収音した発音ごとに、どの座席に着座した人が発話したかの情報を認識する。センサ２０からの検出結果やどの座席に着座した人が発話したかの情報は、音声が発せられる環境についての情報といえる。

【0019】

警告制御部２１０は、取得部２００が取得した検出結果をもとに、警告部１４０における警告のしやすさを制御する。警告部１４０は、取得部２００が取得した検出結果をもとに、飛沫の飛散を警告するか否かを判定するしきい値を制御してもよく、取得部２００が取得した検出結果をもとに、飛散飛沫量推定部１３０において計算される音量の積算値に所定の係数を掛けることによって、警告のしやすさを制御してもよい。図３（ａ）－（ｂ）は、警告制御部２１０に記憶されるテーブルのデータ構造を示す。図３（ａ）は、検出結果に応じて飛散飛沫量推定部１３０において計算される音量の積算値を調整するためのテーブルを示す。検出結果により後部座席への着座がある場合、積算値がＡ（Ａ＞１）倍の係数が掛けられ、検出結果により後部座席への着座がない場合、積算値はそのまま、つまり係数が１倍にされる。マイクロフォン１０が車内の前方部分に配置される場合、後部座席に着座した乗員からの音声の音量は、前部座席に着座した乗員からの音声の音量よりも小さい値で検出される。警告制御部２１０は、後部座席に着座した乗員が存在する場合、積算値を大きくさせる。これらの係数は、マイクロフォン１０の設置位置によって、つまり各座席からのマイクロフォン１０との距離をパラメータとして、調整されてよい。

【数4】

【0020】

図３（ｂ）は、検出結果に応じて警告部１４０において飛沫量と比較されるしきい値を調整するためのテーブルを示す。検出結果により後部座席への着座がある場合、しきい値にＢ（Ｂ＜１）倍の係数が掛けられ、検出結果により後部座席への着座がない場合、しきい値はそのまま、つまり係数が１倍にされる。警告制御部２１０は、図３（ａ）をもとにした積算値の調節と、図３（ｂ）をもとにしたしきい値の調節とのいずれかを実行する。検出結果により後部座席への着座がある場合、音量の積算値を大きくしたり、しきい値を小さくしたりすることによって、警告部１４０が警告をしやすくなる。これらの係数は、マイクロフォン１０の設置位置によって、つまり各座席からのマイクロフォン１０との距離をパラメータとして、調整されてよい。またこれらの係数は、車両の種別によって大まかに定まる、各座席からのマイクロフォン１０との距離や、図示しないセンサによって検出された各座席のシート位置とマイクロフォン１０との距離をパラメータとして、調整されてよい。

【0021】

（変形例２）
実施例に次の処理が追加されてもよい。センサ２０は、車両の窓が開いているか、あるいは閉まっているかを検出するための開閉センサである。開閉センサは、各窓に設置される。開閉センサには公知の技術が使用されればよく、窓が開いているか、あるいは閉まっているかの検出結果を出力する。取得部２００は、センサ２０に接続され、センサ２０から検出結果を取得する。

【0022】

警告制御部２１０は、取得部２００が取得した検出結果をもとに、警告部１４０における警告のしやすさを制御する。図４（ａ）－（ｂ）は、警告制御部２１０に記憶される別のテーブルのデータ構造を示す。図４（ａ）は、検出結果に応じて飛散飛沫量推定部１３０において破裂音と有気音の少なくとも１つの発音回数をカウントすべき単位時間を調整するためのテーブルを示す。検出結果によりいずれかの窓が開状態である場合、単位時間にＣ（Ｃ＜１）倍の係数が掛けられ、検出結果によりすべての窓が閉状態である場合、単位時間はそのまま、つまり係数が１倍にされる。窓が開いている場合、車内が換気されるので、飛沫による感染症拡散のリスクが小さくなる。そのため、警告制御部２１０は、窓が開いている場合、単位時間を短くさせる。これらの係数は、窓の開度や開いている窓の個数をパラメータとして、調整されてよい。

【数5】

【0023】

図４（ｂ）は、検出結果に応じて警告部１４０において飛沫量と比較されるしきい値を調整するためのテーブルを示す。検出結果によりいずれかの窓が開状態である場合、しきい値にＤ（Ｄ＞１）倍の係数が掛けられ、検出結果によりすべての窓が閉状態である場合、しきい値はそのまま、つまり係数が１倍にされる。警告制御部２１０は、図４（ａ）をもとにした単位時間の調節と、図４（ｂ）をもとにしたしきい値の調節とのいずれかを実行する。検出結果によりいずれかの窓が開状態である場合、単位時間を短くしたり、しきい値を大きくしたりすることによって、警告部１４０が警告をしにくくなる。変形例２は、窓が開いているときにだけに限定されず、空調装置を外気導入に設定されているときにも実行されてもよい。これらの係数は、窓の開度や開いている窓の個数をパラメータとして、調整されてよい。

【0024】

（変形例３）
実施例に次の処理が追加されてもよい。センサ２０は、実施例１と同様の着座センサである。着座センサは、各座席に設置される。取得部２００は、センサ２０に接続され、センサ２０から検出結果を取得する。警告制御部２１０は、取得部２００が取得した検出結果をもとに、警告部１４０における警告のしやすさを制御する。図５は、警告制御部２１０に記憶されるさらに別のテーブルのデータ構造を示す。これは、検出結果に応じて警告部１４０において飛沫量と比較されるしきい値を調整するためのテーブルを示す。検出結果により人数がＸ人以上である場合、しきい値にＥ（Ｅ＜１）倍の係数が掛けられ、検出結果により人数がＸ人より下である場合、しきい値はそのまま、つまり係数が１倍にされる。「Ｘ」は予め設定された値である。検出結果により人数がＸ人以上である場合、しきい値を小さくすることによって、警告部１４０が警告をしやすくなる。これらの係数は、着座する人数をパラメータとして、調整されてよい。

【数6】

【0025】

（変形例４）
処理装置１００の飛散飛沫量推定部１３０は、発音特徴の解析結果をもとに、単位時間における破裂音と有気音の少なくとも１つの発音回数をカウントする。飛散飛沫量推定部１３０は、発音回数を飛沫量とする。飛散飛沫量推定部１３０は、飛沫量を導出する際に音量の積算値を使用しない。

【0026】

（変形例５）
処理装置１００の飛散飛沫量推定部１３０は、音量の解析結果をもとに、音量の積算値を計算する。飛散飛沫量推定部１３０は、音量の積算値を飛沫量とする。飛散飛沫量推定部１３０は、飛沫量を導出する際に発音回数を使用しない。

【0027】

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

【0028】

以上の構成による処理装置１００の動作を説明する。図６は、処理装置１００による処理手順を示すフローチャートである。音声収音部１１０は音声を収音する（Ｓ１０）。音声解析部１２０は音声を解析する（Ｓ１２）。飛散飛沫量推定部１３０は飛沫量を推定する（Ｓ１４）。飛沫量がしきい値以上ある場合（Ｓ１６のＹ）、警告部１４０は警告を実行する（Ｓ１８）。飛沫量がしきい値以上ない場合（Ｓ１６のＮ）、処理を終了する。

【0029】

本実施例によれば、集音した音声の解析結果をもとに、音声を発する際に飛散した飛沫量を推定するので、飛沫量の推定精度を向上できる。また、推定した飛沫量がしきい値以上である場合、飛沫の飛散を警告するので、ユーザに注意を促すことができる。また、音声が発せられる環境についての情報をもとに、警告のしやすさを制御するので、警告を適切なタイミングに実行できる。また、単位時間における破裂音と有気音の少なくとも１つの発音回数をもとに飛沫量を計算するので、飛散した飛沫量を推定できる。また、音量の積算値をもとに飛沫量を計算するので、飛散した飛沫量を推定できる。

【0030】

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0031】

本実施例において処理装置１００は車両に搭載される。しかしながらこれに限らず例えば、処理装置１００はスマートフォン等に搭載され、電車内や会議・会食中に警告を実行してもよい。本変形例によれば、本開示の適用範囲を拡大できる。

【0032】

例えば、処理装置１００は、ユーザがマスクを装着しているか否かに基づいて、飛散する飛沫量を推定してもよい。このとき処理装置１００は、図示しない撮像部によってユーザの顔を撮像し、マスク装着の有無を画像認識技術により認識しても良い。図示しない入力部を備えて、マスク装着の有無をユーザが入力してもよい。またマスクの種類を判別して飛散抑制能力に基づいて飛散する飛沫量を推定してもよい。本変形例によれば、本開示の推定精度を向上できる。

【符号の説明】

【0033】

１０ マイクロフォン、 ２０ センサ、 １００ 処理装置、 １１０ 音声収音部、 １２０ 音声解析部、 １２２ 音声認識部、 １２４ 音量検出部、 １３０ 飛散飛沫量推定部、 １４０ 警告部、 １５０ 表示制御部、 １６０ 窓制御部、 １７０ 空調制御部、 ２００ 取得部、 ２１０ 警告制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】