特開 2023-72552 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023072552

(43)【公開日】2023-05-24

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G10L 25/51 20130101AFI20230517BHJP

   G10L 15/00 20130101ALI20230517BHJP

【ＦＩ】

G10L25/51

G10L15/00 200J

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021185184

(22)【出願日】2021-11-12

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】二神 拓也

(72)【発明者】

【氏名】小林 広幸

(72)【発明者】

【氏名】瀬戸 直人

(72)【発明者】

【氏名】鈴木 美彦

(72)【発明者】

【氏名】大嶽 達哉

(72)【発明者】

【氏名】高橋 雄介

(72)【発明者】

【氏名】服部 陽平

(57)【要約】

【課題】車両の内部の異常音を効果的に検出することができる情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】実施形態によれば、情報処理装置は、マイクインターフェースと、メモリと、プロセッサと、を備える。マイクインターフェースは、車両の内部の音を収集するマイクに接続する。メモリは、音に影響する状態を示す周辺情報と異常音を検出するための音響モデルとを対応付けて格納する。プロセッサは、前記車両に関連する周辺情報を生成し、生成された周辺情報に対応する音響モデルを前記メモリから取得し、取得された前記音響モデルを用いて、前記マイクが収集した音を示す音データから異常音を検出する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

車両の内部の音を収集するマイクに接続するマイクインターフェースと、
音に影響する状態を示す周辺情報と異常音を検出するための音響モデルとを対応付けて格納するメモリと、
前記車両に関連する周辺情報を生成し、
生成された周辺情報に対応する音響モデルを前記メモリから取得し、
取得された前記音響モデルを用いて、前記マイクが収集した音を示す音データから異常音を検出する、
プロセッサと、
を備える情報処理装置。

【請求項2】

前記プロセッサは、
生成された前記周辺情報に基づいて、音響モデルの候補を選択し、
前記音データに基づいて、前記候補から音響モデルを選択し、
選択された前記音響モデルを用いて、前記音データから異常音を検出する、
請求項１に記載の情報処理装置。

【請求項3】

前記音響モデルは、背景音の特徴に関連する背景音モデルを含み、
前記プロセッサは、前記音データと前記候補の各音響モデルが含む背景音モデルとをマッチングして、前記候補から前記音響モデルを選択する、
請求項２に記載の情報処理装置。

【請求項4】

前記音響モデルは、異常音の特徴に関連する異常音モデルを含み、
前記プロセッサは、前記異常音モデルを用いて前記音データから異常音を検出する、
請求項１乃至３の何れか１項に記載の情報処理装置。

【請求項5】

前記音響モデルは、雑音を除去するための雑音除去モデルを含み、
前記プロセッサは、前記音データに異常音が含まれると判定した場合、前記雑音除去モデルを用いて前記音データから雑音を除去する、
請求項１乃至４の何れか１項に記載の情報処理装置。

【請求項6】

前記車両を測位するための信号を受信するアンテナに接続するアンテナインターフェースを備え、
前記プロセッサは、前記車両の現在位置を含む前記周辺情報を生成する、
請求項１乃至５の何れか１項に記載の情報処理装置。

【請求項7】

前記車両の内部を撮影するカメラに接続するカメラインターフェースを備え、
前記プロセッサは、
前記カメラが撮影した撮影画像から前記車両の混雑度を算出し、
前記混雑度を含む前記周辺情報を生成する、
請求項１乃至６の何れか１項に記載の情報処理装置。

【請求項8】

前記プロセッサは、現在時刻を含む前記周辺情報を生成する、
請求項１乃至７の何れか１項に記載の情報処理装置。

【請求項9】

前記プロセッサは、
前記マイクを用いて、背景音を示す音データを取得し、
前記音データに基づいて背景音モデルを生成する、
請求項１乃至８の何れか１項に記載の情報処理装置。

【請求項10】

プロセッサによって実行される情報処理方法であって、
マイクを用いて車両の内部の音を収集し、
前記車両に関連する周辺情報を生成し、
音に影響する状態を示す周辺情報と異常音を検出するための音響モデルとを対応付けて格納するメモリから、生成された周辺情報に対応する音響モデルを取得し、
取得された前記音響モデルを用いて、前記マイクが収集した音を示す音データから異常音を検出する、
情報処理方法。

【請求項11】

プロセッサによって実行されるプログラムであって、
前記プロセッサに、
マイクを用いて車両の内部の音を収集する機能と、
前記車両に関連する周辺情報を生成する機能と、
音に影響する状態を示す周辺情報と異常音を検出するための音響モデルとを対応付けて格納するメモリから、生成された周辺情報に対応する音響モデルを取得する機能と、
取得された前記音響モデルを用いて、前記マイクが収集した音を示す音データから異常音を検出する機能と、
を実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

悲鳴などの異常音を検出するシステムが提供されている。そのようなシステムは、所定の領域の音を収集する。システムは、異常音を検出するためのモデルを用いて、収集された音から異常音を検出する。

【0003】

また、自動運転などのために車両に車掌などのオペレータが居ない場合がある。

【0004】

そのため、車両の内部の異常音を効果的に検出する技術が望まれている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１８２１４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記の課題を解決するため、車両の内部の異常音を効果的に検出することができる情報処理装置、情報処理方法及びプログラムを提供する。

【課題を解決するための手段】

【0007】

実施形態によれば、情報処理装置は、マイクインターフェースと、メモリと、プロセッサと、を備える。マイクインターフェースは、車両の内部の音を収集するマイクに接続する。メモリは、音に影響する状態を示す周辺情報と異常音を検出するための音響モデルとを対応付けて格納する。プロセッサは、前記車両に関連する周辺情報を生成し、生成された周辺情報に対応する音響モデルを前記メモリから取得し、取得された前記音響モデルを用いて、前記マイクが収集した音を示す音データから異常音を検出する。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施形態に係る車両システムの概略図である。

【図2】図２は、第１の実施形態に係る車両の制御系を示すブロック図である。

【図3】図３は、第１の実施形態に係る音響モデルデータベースの例を示す図である。

【図4】図４は、第１の実施形態に係る車両の動作例を示す図である。

【図5】図５は、第２の実施形態に係る車両の動作例を示す図である。

【発明を実施するための形態】

【0009】

以下、実施形態について、図面を参照して説明する。
（第１の実施形態）
実施形態に係る車両システムが備える車両は、線路を通過する列車を構成する。車両は、内部の音を収集する。車両は、収集された音から異常音を検出する。異常音を検出した場合、車両は、運転手などのオペレータに異常音を検出したことを通知する。また、自動運転である場合、車両は、停止、又は、上位装置に異常音を検出したことを通知する。たとえば、異常音は、悲鳴、怒号、銃声、衝突音、爆発音、破裂音、ガラスが割れる音などである。異常音の内容は、特定の構成に限定されるものではない。

【0010】

図１は、実施形態に係る車両システム１００の概略図である。図１が示すように、車両システム１００は、車両１０及び上位装置４０などから構成される。車両１０と上位装置４０とは、互いに通信可能に接続する。

【0011】

車両１０は、線路Ｒを走行する列車を構成する。車両１０は、運転手の操作又は自動運転により線路Ｒ上を走行する。

【0012】

車両１０は、筐体１、カメラ２、アンテナ３及びマイク４などを備える。

【0013】

筐体１は、車両１０の外形を形成する。たとえば、筐体１は、内部に人又は荷物などを収容可能に形成されている。

【0014】

筐体１には、カメラ２が設置されている。たとえば、カメラ２は、筐体１の上部に下向きに設置されている。カメラ２は、筐体１の内部（即ち、車両１０の内部）を撮影する。たとえば、カメラ２は、筐体１に滞在する人物を撮影する。

【0015】

たとえば、カメラ２は、ＣＣＤ（Charge Coupled Device）カメラである。また、カメラ２は、筐体１内を照らすライトを備えるものであってもよい。
また、カメラ２は、複数のカメラから構成されるものであってもよい。

【0016】

また、筐体１には、アンテナ３が設置されている。アンテナ３は、車両１０を測位するための信号を受信するためのアンテナである。たとえば、アンテナ３は、ＧＮＳＳ（Global Navigation Satellite System）の信号を受信するためのアンテナである。

【0017】

また、筐体１には、マイク４が設置されている。たとえば、マイク４は、筐体１の内部に設置されている。マイク４は、筐体１の内部（即ち、車両１０の内部）の音を収集する。また、マイク４は、複数のマイクから構成されるものであってもよい。

【0018】

上位装置４０は、車両１０の動作を管理する。上位装置４０は、車両１０の運行に関連する種々の情報を車両１０に提供する。また、上位装置４０は、運行に関連する種々の情報を車両１０から取得する。たとえば、上位装置４０は、鉄道会社が管理するサーバなどである。

【0019】

次に、車両１０について説明する。
図２は、実施形態に係る車両１０の構成例を示す。図２は、車両１０の構成例を示すブロック図である。図２が示すように、車両１０は、カメラ２、アンテナ３、マイク４及び情報処理装置５などを備える。

【0020】

情報処理装置５は、車両１０の内部の音から異常音を検出する。
情報処理装置５は、プロセッサ１１、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、通信部１５、操作部１６、表示部１７、カメラインターフェース１８、アンテナインターフェース１９及びマイクインターフェース２０などを備える。

【0021】

プロセッサ１１と、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、通信部１５、操作部１６、表示部１７、カメラインターフェース１８、アンテナインターフェース１９及びマイクインターフェース２０と、は、データバスなどを介して互いに接続する。また、カメラインターフェース１８は、カメラ２に接続する。また、アンテナインターフェース１９は、アンテナ３に接続する。また、マイクインターフェース２０は、マイク４に接続する。

【0022】

なお、車両１０及び情報処理装置５は、図２が示すような構成の他に必要に応じた構成を具備したり、車両１０から特定の構成が除外されたりしてもよい。

【0023】

プロセッサ１１は、車両１０全体の動作を制御する機能を有する。プロセッサ１１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ１１は、内部メモリ、ＲＯＭ１２又はＮＶＭ１４が予め記憶するプログラムを実行することにより種々の処理を実現する。

【0024】

なお、プロセッサ１１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ１１は、ハードウエア回路により実行される機能を制御する。

【0025】

ＲＯＭ１２は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ＲＯＭ１２に記憶される制御プログラム及び制御データは、車両１０の仕様に応じて予め組み込まれる。

【0026】

ＲＡＭ１３は、揮発性のメモリである。ＲＡＭ１３は、プロセッサ１１の処理中のデータなどを一時的に格納する。ＲＡＭ１３は、プロセッサ１１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ１３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

【0027】

ＮＶＭ１４は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ１４は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリなどから構成される。ＮＶＭ１４は、車両１０の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。

【0028】

また、ＮＶＭ１４は、複数の音響モデルを含む音響モデルデータベースを格納する。音響モデルデータベースについては、後述する。

【0029】

通信部１５は、上位装置４０などとデータを送受信するインターフェースである。たとえば、通信部１５は、ネットワークを介して上位装置４０などに接続する。たとえば、通信部１５は、有線又は無線のＬＡＮ（Local Area Network）接続をサポートするインターフェースである。

【0030】

操作部１６は、オペレータ（たとえば、運転手など）から種々の操作の入力を受け付ける。操作部１６は、入力された操作を示す信号をプロセッサ１１へ送信する。操作部１６は、タッチパネルから構成されてもよい。

【0031】

表示部１７は、プロセッサ１１からの画像データを表示する。たとえば、表示部１７は、液晶モニタから構成される。操作部１６がタッチパネルから構成される場合、表示部１７は、操作部１６と一体的に形成されてもよい。

【0032】

カメラインターフェース１８は、カメラ２に接続するインターフェースである。カメラインターフェース１８は、プロセッサ１１からの信号をカメラ２に送信する。また、カメラインターフェース１８は、カメラ２からの信号（撮影画像など）を取得しプロセッサ１１に送信する。

【0033】

アンテナインターフェース１９は、アンテナ３に接続するインターフェースである。アンテナインターフェース１９は、アンテナ３からの信号などに基づいて車両１０の現在位置を測定する。

【0034】

たとえば、アンテナインターフェース１９は、アンテナ３からの信号に基づいて位置を測定する。位置を測定すると、アンテナインターフェース１９は、線路Ｒの位置を含む地図情報に基づいて、測定された位置を近傍の線路Ｒ上にフィッティングする。アンテナインターフェース１９は、フィッティングされた位置を車両１０の現在位置として取得する。
アンテナインターフェース１９は、取得された現在位置をプロセッサ１１に送信する。

【0035】

マイクインターフェース２０は、マイク４に接続するインターフェースである。たとえば、マイクインターフェース２０は、マイク４が測定した音を示す信号を増幅してデジタル信号に変換する。マイクインターフェース２０は、変換されたデジタル信号（音データ）をプロセッサ１１に送信する。

【0036】

なお、アンテナインターフェース１９の機能は、プロセッサ１１が実現するものであってもよい。
また、車両１０が自動運転によって走行する場合、情報処理装置５は、操作部１６及び表示部１７を備えなくともよい。

【0037】

次に、音響モデルデータベースについて説明する。
音響モデルデータベースは、予めＮＶＭ１４に格納される。

【0038】

図３は、音響モデルデータベースの構成例を示す。図３が示すように、音響モデルデータベースは、複数の音響モデルと複数の周辺情報とをそれぞれ対応付けて格納する。

【0039】

周辺情報は、車両１０が音響モデルを選択するための情報である。即ち、周辺情報は、車両１０の内部の音（主に、背景音）に影響する状態（たとえば、要因など）を示す情報である。

【0040】

ここでは、周辺情報は、車両１０の現在位置、現在時刻及び混雑度から構成される。混雑度は、筐体１に収容されている人数に関する指標（たとえば、乗車率）である。

【0041】

なお、周辺情報は、車内放送の内容、加速中、減速中、停止中、一定速度での運行中又は天候などを含むものであってもよい。
周辺情報の構成は、特定の構成に限定されるものではない。

【0042】

各音響モデルは、各周辺情報に対応する。即ち、音響モデルは、対応する周辺情報が示す状態において異常音を検出するためのモデルである。

【0043】

図３が示すように、音響モデルデータベースは、複数の音響モデル３０（３０ａ、３０ｂ…）を含む。

【0044】

ここでは、音響モデル３０ａについて説明する。他の音響モデル３０は、音響モデル３０ａと同様の構成であるため説明を省略する。

【0045】

音響モデル３０ａは、異常検出モデル３１ａ及び雑音除去モデル３２ａなどから構成される。

【0046】

異常検出モデル３１ａは、異常音モデル３１１ａ及び背景音モデル３１２ａなどから構成される。

【0047】

異常音モデル３１１ａは、周辺情報が示す状態における異常音のモデルである。たとえば、異常音モデル３１１ａは、周辺情報が示す状態における背景音に異常音が重なった音データのモデルである。

【0048】

異常音モデル３１１ａは、周辺情報が示す状態における異常音の特徴量を示す。たとえば、異常音モデル３１１ａは、異常音の特徴量の分布（たとえば、ＧＭＭ（Gaussian Mixture Model））を示す。

【0049】

背景音モデル３１２ａは、周辺情報が示す状態における背景音のモデルである。
背景音モデル３１２ａは、周辺情報が示す状態における背景音の特徴量を示す。たとえば、背景音モデル３１２ａは、背景音の特徴量の分布（たとえば、ＧＭＭ）を示す。

【0050】

雑音除去モデル３２ａは、異常音を含む音データから背景音を除去するためのモデルである。たとえば、雑音除去モデル３２ａは、周辺情報が示す状態における背景音とクリーン時の音との差分に基づいて生成される。たとえば、雑音除去モデル３２ａは、背景音を構成する音の周波数などに関連する。

【0051】

なお、音響モデルデータベースは、適宜更新されるものであってもよい。たとえば、音響モデルデータベースは、新たな音響モデルを追加されてもよいし既存の音響モデルを削除されてもよい。また、音響モデルの内容は、適宜更新されるものであってもよい。

【0052】

次に、車両１０が実現する機能について説明する。車両１０が実現する機能は、プロセッサ１１が内部メモリ、ＲＯＭ１２又はＮＶＭ１４などに格納されるプログラムを実行することで実現される。

【0053】

まず、プロセッサ１１は、マイク４を用いて音データを取得する機能を有する。
たとえば、プロセッサ１１は、操作部１６に入力される操作に従ってマイク４を開始する。また、プロセッサ１１は、通信部１５を通じて上位装置４０から受信される制御信号に従ってマイク４を開始してもよい。

【0054】

マイク４を開始すると、プロセッサ１１は、マイクインターフェース２０を通じて、所定の期間における筐体１の内部の音を示す音データを取得する。
プロセッサ１１は、継続してマイク４を用いて音データを取得する。

【0055】

なお、車両１０は、運行されていてもよいし、運行されていなくともよい。

【0056】

また、プロセッサ１１は、車両１０の現在の状態を示す周辺情報（車両１０に関連する周辺情報）を生成する機能を有する。

【0057】

プロセッサ１１は、アンテナ３及びアンテナインターフェース１９を用いて、車両１０の現在位置を取得する。現在位置を取得すると、プロセッサ１１は、現在時刻を取得する。

【0058】

現在時刻を取得すると、プロセッサ１１は、車両１０の内部の混雑度を取得する。
たとえば、プロセッサ１１は、カメラ２を用いて、車両１０の筐体１の内部を撮影した撮影画像を取得する。撮影画像を取得すると、プロセッサ１１は、所定の画像処理アルゴリズムに従って撮影画像から人物を識別する。人物を識別すると、プロセッサ１１は、識別された人数などに基づいて、混雑度を算出する。

【0059】

混雑度を取得すると、プロセッサ１１は、車両１０の現在位置、現在時刻及び混雑度を示す周辺情報を生成する。

【0060】

また、プロセッサ１１は、生成された周辺情報に基づいて、音響モデルの候補を音響モデルデータベースから選択する機能を有する。

【0061】

周辺情報を生成すると、プロセッサ１１は、所定のアルゴリズムに従って、音響モデルデータベースの各周辺情報と生成された周辺情報との類似度を算出する。たとえば、プロセッサ１１は、周辺情報同士の各要素を比較して、類似度を算出する。ここでは、類似度は、周辺情報同士の類似性が高いほど大きな値となるものとする。

【0062】

類似度を算出すると、プロセッサ１１は、類似度に基づいて、音響モデルデータベースから候補を選択する。たとえば、プロセッサ１１は、類似度が高い所定の個数の周辺情報に対応する音響モデルを候補として選択する。また、プロセッサ１１は、類似度が所定の閾値よりも大きい周辺情報に対応する音響モデルを候補として選択してもよい。

【0063】

また、プロセッサ１１は、取得された音データに基づいて、候補から１つの音響モデルを選択する機能を有する。

【0064】

候補を選択すると、プロセッサ１１は、音データと各候補の背景音モデルとをマッチングする。たとえば、プロセッサ１１は、所定のアルゴリズムに従って、音データから特徴量を抽出する。音データから特徴量を抽出すると、プロセッサ１１は、抽出された特徴量と各背景音モデルとの類似度を算出する。ここでは、類似度は、類似性が高いほど大きな値となるものとする。

【0065】

音データと各背景音モデルとの類似度を算出すると、プロセッサ１１は、最も類似度が高い背景音モデルを特定する。最も類似度が高い背景音モデルを特定すると、プロセッサ１１は、当該背景音モデルを含む音響モデルを選択する。ここでは、最も高い類似度を第１の類似度とする。

【0066】

また、プロセッサ１１は、選択された音響モデルを用いて、音データから異常音を検出する機能を有する。

【0067】

候補から１つの音響モデルを選択すると、プロセッサ１１は、音データと選択された音響モデルの異常音モデルとをマッチングする。プロセッサ１１は、音データと異常音モデルとのマッチングによって類似度（第２の類似度）を算出する。第２の類似度を算出すると、プロセッサ１１は、第１の類似度と第２の類似度とを比較する。

【0068】

第２の類似度が第１の類似度より大きい場合（即ち、音データが背景音モデルより異常音モデルに類似する場合）、プロセッサ１１は、音データに異常音が含まれると判定する。

【0069】

また、第２の類似度が第１の類似度以下である場合、プロセッサ１１は、音データに異常音が含まれないと判定する。

【0070】

なお、プロセッサ１１は、カメラ２からの撮影画像にさらに基づいて異常音を検出してもよい。たとえば、プロセッサ１１は、所定の画像処理アルゴリズムに従って撮影画像から異常（たとえば、銃など）を検出する。プロセッサ１１は、撮影画像から検出された異常などにさらに基づいて、異常音を検出してもよい。

【0071】

また、プロセッサ１１は、音データから雑音を除去する機能を有する。
音データに異常音が含まれると判定すると、プロセッサ１１は、選択された音響モデルから雑音除去モデルを取得する。雑音除去モデルを取得すると、プロセッサ１１は、取得された雑音除去モデルを用いて、音データから雑音（背景音など）を除去する。即ち、プロセッサ１１は、取得された雑音除去モデルを用いて、音データから異常音を抽出する。

【0072】

音データから異常音を抽出すると、プロセッサ１１は、抽出された異常音を出力する。たとえば、プロセッサ１１は、通信部１５などを通じて、抽出された異常音の音データを上位装置４０に送信する。

【0073】

また、プロセッサ１１は、異常音の検出結果を出力する機能を有する。
たとえば、プロセッサ１１は、異常音の検出結果を表示部１７に表示する。また、プロセッサ１１は、通信部１５を通じて、異常音の検出結果を上位装置４０に送信してもよい。

【0074】

次に、車両１０の動作例について説明する。
図４は、車両１０の動作例について説明するためのフローチャートである。

【0075】

車両１０のプロセッサ１１は、マイク４を用いて音データを取得する（Ｓ１１）。音データを取得すると、プロセッサ１１は、アンテナ３及びアンテナインターフェース１９を用いて車両１０の現在位置を取得する（Ｓ１２）。

【0076】

車両１０の現在位置を取得すると、プロセッサ１１は、現在時刻を取得する（Ｓ１３）。現在時刻を取得すると、プロセッサ１１は、混雑度を取得する（Ｓ１４）。混雑度を取得すると、プロセッサ１１は、車両１０の現在位置、現在時刻及び混雑度を示す周辺情報を生成する（Ｓ１５）。

【0077】

周辺情報を生成すると、プロセッサ１１は、生成された周辺情報に基づいて、音響モデルの候補を音響モデルデータベースから選択する（Ｓ１６）。候補を選択すると、プロセッサ１１は、取得された音データに基づいて、候補から１つの音響モデルを選択する（Ｓ１７）。

【0078】

１つの音響モデルを選択すると、プロセッサ１１は、選択された音響モデルの異常音モデルと音データとをマッチングする（Ｓ１８）。異常音モデルと音データとをマッチングすると、プロセッサ１１は、音データに異常音が含まれるかを判定する（Ｓ１９）。

【0079】

音データに異常音が含まれると判定すると（Ｓ１９、ＹＥＳ）、プロセッサ１１は、選択された音響モデルの雑音除去モデルを用いて音データから異常音を抽出する（Ｓ２０）。

【0080】

音データに異常音が含まれていないと判定した場合（Ｓ１９、ＮＯ）、又は、音データから異常音を抽出した場合（Ｓ２０）、プロセッサ１１は、異常音の検出結果を出力する（Ｓ２１）。
異常音の検出結果を出力すると、プロセッサ１１は、動作を終了する。

【0081】

なお、プロセッサ１１は、Ｓ１１乃至Ｓ２１を繰り返し実行してもよい。

【0082】

また、異常検出モデルは、異常音モデルを備えなくともよい。この場合、プロセッサ１１は、音データと背景音モデルとの類似度が所定の閾値以下である場合、音データに異常音が含まれると判定する。

【0083】

また、異常検出モデルは、複数の異常音モデルを備えるものであってもよい。たとえば、異常検出モデルは、異常音の種類（悲鳴、銃声など）ごとに異常音モデルを備える。この場合、プロセッサ１１は、音データと各異常音モデルとの類似度を算出する。プロセッサ１１は、最も類似度が高い異常音モデルに対応する異常音が音データに含まれると判定する。

【0084】

また、プロセッサ１１は、第１の類似度が所定の閾値以下である場合、その旨を表示部１７に表示してもよい。また、プロセッサ１１は、通信部１５を通じて、その旨を上位装置４０に通知してもよい。

【0085】

また、プロセッサ１１は、第１の類似度が所定の閾値以下である場合、過去の所定の期間において、異常音を検出するために選択された音響モデルに基づいて、音響モデルを選択してもよい。たとえば、プロセッサ１１は、過去の所定の期間において、最も多く用いられた音響モデルを選択してもよい。また、プロセッサ１１は、過去の所定の期間において用いられた音響モデルに重みを付けて（たとえば、直近の音響モデルに多く重みを付けて）、音響モデルを選択してもよい。

【0086】

以上のように構成された車両は、周辺情報に基づいて音響モデルの候補を選択する。車両は、音データに基づいて、候補から１つの音響モデルを選択する。車両は、選択された音響モデルに基づいて、音データから異常音を検出する。その結果、車両は、車両の状態に適した音響モデルに基づいて異常音を検出することができる。よって、車両は、車両内の音から異常音を効果的に検出することができる。

【0087】

（第２の実施形態）
次に、第２の実施形態について説明する。
第２の実施形態に係る車両システムは、背景音モデルを生成する点で第１の実施形態に係るそれと異なる。従って、その他の点については同一の符号を付して詳細な説明を省略する。

【0088】

第２の実施形態に係る車両システム１００の構成は、第１の実施形態に係るそれと同様であるため説明を省略する。

【0089】

次に、車両１０が実現する機能について説明する。車両１０が実現する機能は、プロセッサ１１が内部メモリ、ＲＯＭ１２又はＮＶＭ１４などに格納されるプログラムを実行することで実現される。
第２の実施形態に係る車両１０は、第１の実施形態に係るそれの機能に加えて以下の機能を実現する。

【0090】

まず、プロセッサ１１は、マイク４を用いて、背景音を示す音データを取得する機能を有する。

【0091】

たとえば、プロセッサ１１は、操作部１６に入力される操作に従ってマイク４を開始する。また、プロセッサ１１は、通信部１５を通じて上位装置４０から受信される制御信号に従ってマイク４を開始してもよい。

【0092】

ここでは、車両１０内において異常音が発生していないものとする。即ち、車両１０内において背景音が発生しているものとする。

【0093】

マイク４を開始すると、プロセッサ１１は、マイクインターフェース２０を通じて、所定の期間における背景音を示す音データを取得する。
プロセッサ１１は、音データから背景音モデルを生成する機能を有する。

【0094】

ここでは、プロセッサ１１は、音データが取得された状態を示す周辺情報を生成しているものとする。

【0095】

たとえば、プロセッサ１１は、所定のアルゴリズムに従って、音データから特徴量を抽出する。音データから特徴量を抽出すると、プロセッサ１１は、抽出された特徴量の分布などに基づいて背景音モデルを生成する。

【0096】

背景音モデルを生成すると、プロセッサ１１は、生成された背景音モデルと周辺情報とを対応付けて音響モデルデータベースに格納する。

【0097】

なお、プロセッサ１１は、音データに基づいて、雑音除去モデルを生成するものであってもよい。この場合、プロセッサ１１は、生成された雑音除去モデルをさらに周辺情報と対応付けて音響モデルデータベースに格納する。

【0098】

次に、車両１０が背景音モデルを生成する動作例について説明する。
図５は、車両１０が背景音モデルを生成する動作例について説明するためのフローチャートである。

【0099】

車両１０のプロセッサ１１は、マイク４を用いて音データを取得する（Ｓ３１）。音データを取得すると、プロセッサ１１は、アンテナ３及びアンテナインターフェース１９を用いて車両１０の現在位置を取得する（Ｓ３２）。

【0100】

車両１０の現在位置を取得すると、プロセッサ１１は、現在時刻を取得する（Ｓ３３）。現在時刻を取得すると、プロセッサ１１は、混雑度を取得する（Ｓ３４）。混雑度を取得すると、プロセッサ１１は、車両１０の現在位置、現在時刻及び混雑度を示す周辺情報を生成する（Ｓ３５）。

【0101】

周辺情報を生成すると、プロセッサ１１は、取得された音データに基づいて背景音モデルを生成する（Ｓ３６）。背景音モデルを生成すると、プロセッサ１１は、生成された背景音モデルと生成された周辺情報とを対応付けて音響モデルデータベースに格納する（Ｓ３７）。

【0102】

生成された背景音モデルと生成された周辺情報とを対応付けて音響モデルデータベースに格納すると、プロセッサ１１は、動作を終了する。

【0103】

なお、プロセッサ１１は、複数の状態において同様に背景音モデルを生成してもよい。即ち、プロセッサ１１は、周辺情報が変わるごとに、Ｓ３１乃至Ｓ３７を実行してもよい。

【0104】

また、プロセッサ１１は、オペレータなどによって発生した異常音を含む音データを取得して、異常音モデルを生成してもよい。

【0105】

以上のように構成された車両は、周辺情報を生成する。また、車両は、音データから背景音モデルを生成する。車両は、生成された周辺情報と生成された背景音モデルとを対応付けて格納する。その結果、車両は、周辺情報に対応する背景音モデルを生成することができる。

【0106】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0107】

１…筐体、２…カメラ、３…アンテナ、４…マイク、５…情報処理装置、１０…車両、１１…プロセッサ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＮＶＭ、１５…通信部、１６…操作部、１７…表示部、１８…カメラインターフェース、１９…アンテナインターフェース、２０…マイクインターフェース、３０…音響モデル、３０ａ…音響モデル、３１ａ…異常検出モデル、３２ａ…雑音除去モデル、４０…上位装置、１００…車両システム、３１１ａ…異常音モデル、３１２ａ…背景音モデル。

【図1】

【図2】

【図3】

【図4】

【図5】