特開 2022-170413 異常判断装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022170413

(43)【公開日】2022-11-10

(54)【発明の名称】異常判断装置

(51)【国際特許分類】

   G08B 21/00 20060101AFI20221102BHJP

【ＦＩ】

G08B21/00 A

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021076517

(22)【出願日】2021-04-28

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】室井 秀夫

(72)【発明者】

【氏名】武藤 健二

【テーマコード（参考）】

5C086

【Ｆターム（参考）】

5C086AA22

5C086BA22

5C086CA09

5C086CA28

5C086CB26

5C086CB36

5C086DA08

5C086FA06

5C086FA18

(57)【要約】      （修正有）

【課題】より高精度に異常の発生の有無を判断することができる異常判断装置を提供する。
【解決手段】異常判断装置による処理は、センサ情報を取得しＳ１、異常が発生している発生確率を算出しＳ２、センサ情報の検出の信頼性を示す信頼度を算出しＳ３、いずれかの信頼度が閾値以上であるかを判定しＳ４、いずれかの信頼度が閾値以上である場合Ｓ４ＹＥＳ、発生確率と信頼度を用いてＳ５異常の有無を判断しＳ６、異常であればＳ６ＮＯ、警告を出力するＳ７。
【選択図】図３

【特許請求の範囲】

【請求項1】

監視対象空間（１０１）を監視して、前記監視対象空間において人の動作に異常が発生しているか否かを判断する異常判断装置（１０）であって、
前記監視対象空間にいる人の動作を監視する複数のセンサ情報を取得し、各センサ情報を用いて前記監視対象空間において人の動作に異常が発生している発生確率をセンサ情報毎に算出する発生確率算出部（５１）と、
複数の前記センサ情報を取得し、各センサ情報の検出の信頼性を示す信頼度をセンサ情報毎に算出する信頼度算出部（５２）と、
算出した前記発生確率および前記信頼度を用いて、前記監視対象空間において人の動作に異常が発生しているか否かを判断する異常判断部（５３）と、を含む異常判断装置。

【請求項2】

前記異常判断部は、少なくとも１つの前記信頼度が所定の許容範囲内にある場合には、前記発生確率を用いて異常が発生しているか否かを判断する請求項１に記載の異常判断装置。

【請求項3】

前記異常判断部は、全ての前記センサ情報を用いて、前記信頼度を重み係数とした前記発生確率の加重平均値を算出し、算出した前記加重平均値が所定の異常平均値よりも高い場合には、異常が発生していると判断する請求項１または２に記載の異常判断装置。

【請求項4】

前記異常判断部は、最も前記信頼度が高い前記センサ情報の前記発生確率が、所定の異常発生確率よりも高い場合には、異常が発生していると判断する請求項１～３のいずれか１つに記載の異常判断装置。

【請求項5】

前記信頼度算出部は、前記センサ情報がセンサ異常とみなせる異常な値である場合には、異常な前記センサ情報の前記信頼度を最も低い最低値として算出する請求項１～４のいずれか１つに記載の異常判断装置。

【請求項6】

前記異常判断部によって異常と判断された場合には、前記監視対象空間に対して警告を発するように警告出力部（１３）を制御する警告制御部（５４）をさらに含み、
前記警告制御部は、全ての前記信頼度が所定の許容範囲外にある場合には、外部に位置する外部装置に信頼度低情報を出力する請求項１～５のいずれか１つに記載の異常判断装置。

【請求項7】

前記異常判断部によって異常と判断された場合には、前記監視対象空間に対して警告を発するように警告出力部（１３）を制御する警告制御部（５４）をさらに含み、
前記警告制御部は、全ての前記信頼度が所定の低信頼度よりも低い場合には、前記監視対象空間に対して監視中であることを示す監視中情報を出力するように前記警告出力部を制御する請求項１～６のいずれか１つに記載の異常判断装置。

【発明の詳細な説明】

【技術分野】

【0001】

この明細書における開示は、監視対象空間の異常が発生しているか否かを判断する異常判断装置に関する。

【背景技術】

【0002】

バスが自動運転を実施する場合、自動運転バスにおいて車両には乗客しかいない場合がある。乗客しかいない場合に、乗客間でトラブルが発生したとき、遠隔通話などによって早期に対応する必要がある。

【0003】

このようなトラブルに早期に対応するためには、乗客間のトラブルを早期に機械的に検知することが望ましい。そこで、トラブルを検知する監視モジュールとして、車内カメラおよび車内マイクなどを用いる方法がある。たとえば車内マイクによって怒号などの通常とは異なる声量を検出した場合は、トラブルが発生している判断することができる。またたとえば車内カメラによって、喧嘩する動作を検出した場合には、トラブルが発生していると判断することができる。

【0004】

自動運転バスにおいては、走行環境および車室内の状況によって、それぞれの監視モジュールの得意不得意がある。例えば車内マイクの音によるトラブル検知は、踏切警報機および外部環境音の影響を受け、トラブル音を検知しにくくなる場合がある。また、車内カメラの映像による検知は、乗客の骨格を利用して動作を検出する場合、乗客同士が重なっている場合には骨格の検出が困難になる。また車内カメラの目の前が手および帽子などによって遮蔽されれば検出機能が制限を受けることになる。

【0005】

そこでマイクのノイズ対策として、特許文献１に記載の環境モニタ付音声認識装置では、モニタによって周囲の環境を監視し、人数が多くなった場合には、ノイズが大きくなることを予想して、自動的にマイクへの入力音量を絞っている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平２－３０８２９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

前述の特許文献１に記載の技術では、ノイズが多い場合は、マイクへの入力音量を絞っているので、トラブルの検出精度が低下するという問題がある。また監視モジュールの得手不得手に対する対処方法については開示されていないので、走行環境および車室内の状況によって、トラブルなどの異常の発生有無を検出できないという問題がある。

【0008】

そこで、開示される目的は前述の問題点を鑑みてなされたものであり、より高精度に異常の発生の有無を判断することができる異常判断装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示は前述の目的を達成するために以下の技術的手段を採用する。

【0010】

ここに開示された異常判断装置は、監視対象空間（１０１）を監視して、監視対象空間において人の動作に異常が発生しているか否かを判断する異常判断装置（１０）であって、監視対象空間にいる人の動作を監視する複数のセンサ情報を取得し、各センサ情報を用いて監視対象空間において人の動作に異常が発生している発生確率をセンサ情報毎に算出する発生確率算出部（５１）と、複数のセンサ情報を取得し、各センサ情報の検出の信頼性を示す信頼度をセンサ情報毎に算出する信頼度算出部（５２）と、算出した発生確率および信頼度を用いて、監視対象空間において人の動作に異常が発生しているか否かを判断する異常判断部（５３）と、を含む異常判断装置である。

【0011】

このような異常判断装置に従えば、センサ情報毎に、異常が発生している発生確率と、センサ情報の検出の信頼性を示す信頼度とが算出される。発生確率が高い場合でも、信頼度が低いと、信頼度が低いセンサ情報に基づいた発生確率であるので、異常が発生していると判断しにくい。同様に、発生確率が低い場合でも、信頼度が低いと、信頼度が低いセンサ情報に基づいた発生確率であるので、異常が発生していないと判断しにくい。このようにセンサ情報の信頼度は、異常の発生有無を判断するのには、重要な要因となる。また信頼度が高い場合には、発生確率は、当然に異常の発生有無の判断に必要な要因である。そして異常判断部は、１つのセンサ情報ではなく、複数のセンサ情報を用いて、発生確率と信頼度を用いて異常の有無を判断している。したがって、複数のセンサ情報によって多角的に異常の有無を判断しているので、より高精度に異常の発生の有無を判断することができる。

【0012】

なお、前述の各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。

【図面の簡単な説明】

【0013】

【図1】異常判断装置１０の構成を示すブロック図である。

【図2】車両１００の構成を簡略化して示す斜視図である。

【図3】異常判断装置１０の処理を示すフローチャートである。

【発明を実施するための形態】

【0014】

（第１実施形態）
本開示の第１実施形態に関して、図１～図３を用いて説明する。本実施形態の異常判断装置１０は、車両１００に搭載され、車両１００の客室１０１における異常の有無を判定する。そして異常判断装置１０は、客室１０１内の異常有りと判定した場合には、客室１０１に対して警報を発するように各部を制御する。

【0015】

異常判断装置１０は、車両１００に複数搭載された車載コンピュータのうちの一つである。異常判断装置１０は、車両１００に搭載される他の装置と情報を送受信して、異常判定処理などの各種の処理を実施する。

【0016】

車両１００には、図１に示すように、車内マイク１１、車内カメラ１２、警告出力部１３、距離検出部１４、人数カウンタ１５、走行センサ群１６、車外通信器１７、および異常判断装置１０が搭載されている。本実施形態の車両１００は、運転者による運転操作がない状態で自律走行可能な自動運転バスであり、車外の通信ネットワーク２００と通信可能なコネクテッドカーである。

【0017】

車両１００には、図２に示すように、例えば所定の定員、たとえば数名から数十名程度まで乗客を搭乗させることが可能な客室１０１が設けられている。客室１０１には、乗客を着座させる多数の座席が客席として設置されている。

【0018】

走行センサ群１６は、車両１００の走行に関する各種の情報を検出する。走行センサ群１６は、車外の情報を取得する車外センサ、および車両１００の走行情報を示す状態情報を取得する車載センサを含む。走行センサ群１６は、取得した情報を車内ネットワークに出力する。

【0019】

車外センサは、自律走行に必要な車外の情報を取得する構成である。車外センサには、例えばカメラユニット、ライダユニット、ミリ波レーダユニットおよび車外マイク等に加えて、地図データベースと組み合わされたＧＮＳＳ（Global Navigation Satellite System）受信器等が含まれている。カメラユニット、ライダユニット及びミリ波レーダユニットは、歩行者及び他車両等の移動物体、並びに交通信号、道路標識及び区画線等の静止物体を検出する。車外マイクは、車外の音を検出する。ＧＮＳＳ受信器は、車両１００の現在位置を特定するための情報として、複数の人工衛星から送信された測位信号を受信する。

【0020】

車載センサは、車両１００の状態を検出する複数のセンサである。車載センサには、例えば車速センサ、加速度センサ、ヨーレートセンサ等が含まれている。

【0021】

また車両１００には、図１に示すように、車両１００の各部を制御する車両用制御装置であって、自立走行を担うユニットとして、たとえば自動運転制御ユニット２０、走行制御ユニット３０および自動運転インターフェースユニット４０等が搭載されている。

【0022】

自動運転インターフェースユニット４０は、プロセッサ、ＲＡＭ、メモリ装置及び入出力インターフェースを有する制御回路を主体に構成された車載コンピュータである。自動運転インターフェースユニット４０は、自動運転制御ユニット２０及び走行制御ユニット３０の間に介在し、車両１００の自律走行を統合的に管理する。自動運転インターフェースユニット４０は、走行センサ群１６の出力に基づく情報を、自動運転制御ユニット２０および走行制御ユニット３０に提供する。また自動運転インターフェースユニット４０は、自動運転制御ユニット２０から取得する制御コマンドに基づいて、走行制御ユニット３０の制御指令を出力する。

【0023】

自動運転インターフェースユニット４０は、異常判断装置１０および車外通信器１７と電気的に接続されている。自動運転インターフェースユニット４０は、客室１０１に搭乗する乗客の状況を反映した走行制限指令を、異常判断装置１０から取得する。加えて自動運転インターフェースユニット４０は、車外通信器１７を通じて管理センタ９２からも走行制限指令を取得する。自動運転インターフェースユニット４０は、これらの走行制限指令に基づき、自動運転制御ユニット２０から取得する制御コマンドに対して、走行制御ユニット３０へ出力する制御指令を調整する。したがって管理センタ９２からの走行制限指令によって、車両１００が遠隔制御される。また異常判断装置１０が客室１０１内に異常ありと判定した場合には、走行制限指令によって緊急停車などの制御を実施することができる。

【0024】

自動運転制御ユニット２０は、自動運転インターフェースユニット４０と電気的に接続されている。自動運転制御ユニット２０は、車両１００の状態を示す状態情報を、自動運転インターフェースユニット４０から取得する。自動運転制御ユニット２０は、プロセッサ、ＲＡＭ、メモリ装置及び入出力インターフェースを有する制御回路を主体に構成された車載コンピュータである。自動運転制御ユニット２０は、メモリ装置に記憶された自律走行プログラムをプロセッサによって実行し、位置推定部２１、環境認識部２２、ルート生成部２３及び自律走行制御部２４等の機能部を実装する。

【0025】

位置推定部２１は、走行センサ群１６が取得した測位信号及び検出情報等に基づき、車両１００の現在位置を高精度に推定する。環境認識部２２は、位置推定部２１にて特定された位置情報、位置情報に基づき地図データベースから取得する地図データ、及びカメラユニット等の検出情報を組み合わせて、車両１００の周囲の走行環境、及び当該周囲の障害物等を認識する。環境認識部２２は、車両１００の周囲の認識結果に基づき、車両１００の周囲の走行環境を再現した仮想空間を生成する。

【0026】

ルート生成部２３は、環境認識部２２によって認識された走行環境、及び自動運転インターフェースユニット４０から取得する車両１００の状態情報に基づき、車両１００を自律走行させるための走行計画を生成する。自律走行制御部２４は、ルート生成部２３によって生成された走行計画に基づき、走行計画に従った走行を実現させる駆動、制動及び操舵の各制御量を演算する。自律走行制御部２４は、各制御量を指示する制御コマンドを生成し、自動運転インターフェースユニット４０へ向けて逐次出力する。

【0027】

走行制御ユニット３０は、車両１００に搭載された走行センサ群１６及び車載アクチュエータ群と直接的又は間接的に電気接続されている。車載アクチュエータ群は、車両１００の加減速制御及び操作制御等を実行する。車載アクチュエータ群には、例えば、駆動用及び回生用のモータジェネレータ駆動用モータ、ブレーキアクチュエータ、並びにステアリングアクチュエータ等が含まれている。

【0028】

走行制御ユニット３０は、プロセッサ、ＲＡＭ、メモリ装置及び入出力インターフェースを有する制御回路を主体に構成された車載コンピュータである。走行制御ユニット３０は、自動運転インターフェースユニット４０と電気的に接続されている。走行制御ユニット３０は、駆動、制動及び操舵等の制御指令を自動運転制御ユニット２０から取得する。走行制御ユニット３０は、取得した制御指令に基づき、車載アクチュエータ群を作動させ、走行計画に基づく自動走行を実施する。

【0029】

次に、客室１０１内を監視する車内検出デバイスに関して説明する。車内カメラ１２、車内マイク１１および距離検出部１４は、客室１０１における乗客の状況を把握するためのセンサであって、図２に示すように、例えば客室１０１の天井に設置されている。車内カメラ１２は、客室１０１及び乗客を撮影し、生成した客室１０１の映像を異常判断装置１０へ向けて逐次出力する。車内カメラ１２は、広角レンズと組み合わされており、客室１０１内に死角ができない配置で設置されている。車内カメラ１２は、可視光域の光に加えて、近赤外線域の光を検出可能な構成であってもよく、又はレーザスキャナ等と組み合わされていてもよい。

【0030】

車内マイク１１は、客室１０１の音を検出した客室音声を、異常判断装置１０へ向けて逐次出力する。距離検出部１４は、たとえば客室１０１の天井に設けられ、設置位置から乗客までの距離を検出する。距離検出部１４は、検出した距離を異常判断装置１０へ向けて逐次出力する。距離検出部１４は、たとえば超音波センサ、ライダ等の測距センサによって実現される。

【0031】

人数カウンタ１５は、客室１０１の乗員数を検出し、異常判断装置１０へ向けて逐次出力する。人数カウンタ１５は、各座席に設置された感圧センサ及びシートベルトスイッチ等の検出情報が用いて人数を検出する。

【0032】

警告出力部１３は、客室１０１内に設置され、客室１０１の乗客に警告情報を含む各種の情報を出力する。警告出力部１３は、たとえばモニタ及びスピーカによって実現される。モニタは、例えば液晶ディスプレイ等であり、広告、ニュース、車両１００の運行情報、警告情報、警戒情報、注意喚起情報等を画面に表示する。スピーカは、乗客へ向けた警告メッセージを含む音声メッセージを客室１０１内に再生する。

【0033】

車外通信器１７は、車外の通信ネットワーク２００と無線通信可能である。通信ネットワーク２００には、クラウドサーバ９０等に構築された監視システム９１、多数の車両１００の運行を管理する管理センタ９２、及び病院などの救急センタ９９のシステム等が接続されている。管理センタ９２には、運行管理コンピュータ９３及びオペレータ端末９４等が設置されている。車外通信器１７は、監視システム９１、管理センタ９２及び救急センタ９９との間で情報を送受信する。

【0034】

異常判断装置１０は、監視対象空間である車室内の乗客の動作を監視する監視機能と、乗客の動作に異常が発生しているか否かを判断する判断機能などを有する車載コンピュータである。異常判断装置１０は、プロセッサ、ＲＡＭ、メモリ装置及び入出力インターフェースを有する制御回路を主体に構成されている。プロセッサは、ＲＡＭと結合された演算処理のためのハードウェアであって、種々のプログラムを実行可能である。メモリ装置は、不揮発性の記憶媒体を含む構成であって、プロセッサによって実行される種々のプログラムを格納している。メモリ装置に格納されたプログラムには、乗客を監視する監視プログラムおよび異常発生の有無を判断する検出プログラムが少なくとも含まれている。

【0035】

異常判断装置１０が検出する異常とは、乗客によって発生する異常である。異常として、たとえば乗客間トラブル、具体的には一方的に危険を振りまく危険人物の発生と、何かをきっかけに２人以上での争いがおこる喧嘩がある。また異常として、急病人の発生などもある。具体的に、フロア上に乗客が倒れた状態、乗客が床に座り込んだ状態、乗客の体が横に大きく傾いた状態等を、異常として検出する。

【0036】

異常判断装置１０は、車内マイク１１、車内カメラ１２、距離検出部１４および人数カウンタ１５からのセンサ情報を用いて、総合的に判断して、異常であるか否かを判断する。車内マイク１１のセンサ情報は、たとえば音量の絶対値、音量変化および音声パターンである。車内カメラ１２のセンサ情報は、たとえば乗客の密集度、密集度の時間変化、乗客の位置、乗客の動作のキーポイントを用いる。距離検出部１４のセンサ情報は、たとえば天井からの乗客までの距離である。人数カウンタ１５のセンサ情報は、乗客の人数である。

【0037】

異常判断装置１０は、危険人物が検出対象である場合、たとえば車内マイク１１のセンサ情報を用いて、奇声、怒声を音量から検出することができる。また、たとえば車内マイク１１のセンサ情報を用いて、トリガーワード「何するんだ」「やめて」「キャー」などを検出した場合は、危険人物がいる可能性があると判断できる。また車内カメラ１２のセンサ情報を用いて、危険人物が車室内を歩き回ると、乗客に密集度が変化する。したがって継続して密集度が変化すると、危険人物がいる可能性があると判断できる。

【0038】

異常判断装置１０は、喧嘩が検出対象である場合、トリガーワードとして、「殺す」「あやまれよ」などを検出した場合は、喧嘩が起きている可能性があると判断できる。またたとえば車内カメラ１２のセンサ情報を用いて、殴りかかるポーズをキーポイントから認識すると、喧嘩が起きている可能性があると判断できる。同様に、車内カメラ１２によって、激しいキーポイントの動きを認識しても、喧嘩が起きている可能性があると判断できる。

【0039】

異常判断装置１０は、転倒事故などの急病人の発生が検出対象である場合、倒れた人の周囲の大声、およびトリガーワード「大丈夫ですか」「１１９番」「救急車」などを検出した場合は、急病人が発生した可能性があると判断できる。また乗客が倒れたとき、倒れた人の周りに人が集まるので、車内カメラ１２によって、密集度変化および密集の形状から、急病人が発生した可能性があると判断できる。また距離検出部１４によって、天井から人の距離が急に変化した場合に転倒事故の可能性があると判断できる。

【0040】

異常判断装置１０は、車内汚損破損が検出対象である場合、車内カメラ１２のセンサ情報を用いて、乗客が検出対象を避けて乗車し続けることによって、検出することができる。具体的には、特定箇所以外の密集度が閾値以上であり、かつ特定箇所の密集度０を検出することで、特定箇所における車内汚損破損などの異常を検出することができる。また乗車人数と座席数の比較し、座席位置と乗客位置の照合し、着席率が閾値以下の場合には、その座席に汚損破損などの異常があると判断することができる。

【0041】

異常判断装置１０は、図１に示すように、機能ブロックとして、発生確率算出部５１、信頼度算出部５２、異常判断部５３、および警告制御部５４を含んで構成される。

【0042】

異常判断部５３は、センサ情報を用いて、客室１０１に異常が発生しているか否かを判断する。異常判断部５３は、センサ情報に基づいて算出される異常が発生している発生確率と、センサ情報の検出の信頼性を示す信頼度をパラメータとして、異常か否かを判断する。発生確率は、発生確率算出部５１によって算出される。信頼度は、信頼度算出部５２によって算出される。

【0043】

警告制御部５４は、異常判断部５３によって異常と判断された場合には、客室１０１に対して警告を発するように警告出力部１３を制御する。これによって異常と判断された場合には、警告出力部１３によって、警告が発せされる。

【0044】

発生確率算出部５１は、客室１０１にいる乗客の動作を監視する複数のセンサ情報を取得し、各センサ情報を用いて乗客の動作に異常が発生している発生確率をセンサ情報毎に算出する。発生確率算出部５１は、異常で１、それ以外の場合で０の値を算出してもよく、発生確率として０～１の値を算出するものであってもよい。例えば、危険人物の検出では各センサ情報において、以下の発生確率の算出をセンサ情報毎に行う。

【0045】

車内マイク１１における発生確率は、車内マイク１１が検出した音量と音声から、人の声を抽出し、人の声の声量を用いて算出される。具体的には、車内マイク１１による音量検知および車内マイク１１が検出した音声に対して解析、たとえば短時間フーリエ変換（略称：ＳＴＦＴ）を実行し、パワースペクトルを取得する。取得したパワースペクトルから人声帯域の振幅、すなわち人が発した声の声量で閾値判定し、発生確率として０か１を返す。もしくは、閾値以上で１に飽和させ、発生確率として、０～１の中間の値も返せるようにする。

【0046】

車内カメラ１２における発生確率は、骨格検知によって検出されるキーポイントを用いて算出される。具体的には、車内カメラ１２による骨格検知では、たとえばＯｐｅｎｐｏｓｅおよびＨＲＮｅｔなどの骨格検知方式で取得したキーポイントをある一点、もしくは重心を原点として規格化し、規格化座標をＳＶＭに入力する。ここでＳＶＭ（Support Vector Machine）は、機械学習モデルの一種である。換言すると、ＳＶＭは、教師あり学習を用いるパターン認識モデルの一つである。これによって規格化座標を分類して、発生確率として、０または１で返す、もしくは分離超平面を０．５とし、超平面からの最短距離を発生確率として０～１の中間値を返せるようしてもよい。

【0047】

また車内カメラ１２による密集度では、車室内平面上の人物座標を取得し、クラスター分析する。そしてクラスター中心からの半径および中心位置の継続変化を閾値判定し、発生確率として０または１を返す。もしくは、静止を０、閾値以上で１に飽和させ、発生確率として０～１の中間の値を返せるようにしてもよい。

【0048】

信頼度算出部５２は、複数のセンサ情報を取得し、各センサ情報の検出の信頼性を示す信頼度をセンサ情報毎に算出する。

【0049】

まず、車内マイク１１の信頼度の算出方法に関して説明する。信頼度算出部５２は、走行センサ群１６の車外マイクで検出される音量レベルに反比例するように車内マイク１１の信頼度を算出する。車外の騒音が大きくなると、車内で検出される音量に与える影響が大きくなるからである。

【0050】

また信頼度算出部５２は、ノイズマップを用いて現在地がノイズの大きい地点である場合には、車内マイク１１の信頼度が低くなるように算出する。車外マイクで騒音を検出してなくても、または車外マイクが備えていない場合であっても、現在位置と時間で騒音を予測するためである。ノイズマップは、位置と時間と外部音量とが関連付けられたデータである。したがってノイズマップを参照することで、たとえばある位置のある時間での外部音量を参照できる。

【0051】

次に、ノイズマップの作成方法の一例に関しては説明する。ノイズマップして、騒音値＝ｆ（位置，時間）という関数で表す。したがって騒音値は、位置と時間とに関連付けられており、たとえばある場所で、ある時間の騒音値がノイズマップに記憶されている。

【0052】

ノイズマップのデータとして、道路などに設置されるインフラ、たとえば騒音計インフラによって測定した騒音、もしくは町中のカメラインフラおよびＶＩＣＳ（登録商標）から算出した交通量の騒音換算値を用いる。

【0053】

またノイズマップのデータとして、車両１００が走行することで、車外マイクが取得した音量を統計情報として随時収集する。具体的には、車両１００の車外マイクが検出した値の振幅から測定した騒音を収集し、時間ごとに統計化したものを周波数で重みづけして内挿することで、走行車両１００の走行ルートにおけるノイズマップを作成する。換言すると、車外マイクで測定した音に騒音計に応じた周波数重みを乗じて騒音値とし、位置情報に関連付けて記憶する。したがって、車両１００が通過することで、各位置には時間と騒音値とが記録される。時間分解能は騒音レベルが道路交通量に大まかに比例するため、たとえば１０分から１時間刻みの粒度に設定される。走行車両１００によって収集された統計情報は、随時、管理センタ９２に送信されて、データベースに蓄積される。

【0054】

また統計情報は十分なデータ量が収集済みであると仮定し、そこに管理センタ９２に新たにデータが来た場合、該当位置と該当時間は、次式（１）によって更新される。

【0055】

統計情報（更新値）＝統計情報×ａ＋収集した情報×（１－ａ） …（１）
そして、該当時間の周辺時間は、次式（２）によって更新される。

【0056】

統計情報（更新値）＝統計情報×ａ２＋収集した情報×（１－ａ２） …（２）
ただし、係数ａは０～１に設定され、たとえば０．９９などの固定値を持たせる。また、係数ａ２は、次式（３）によって表される。

【0057】

ａ２＝１－１／ｆ（対象時刻－収集時刻）×（１－ａ） …（３）
係数ａ２は、対象時刻と収集時刻の差に応じて減衰させる。また、最新のインフラ情報を活用する。インフラが新たにデータを取得すると、次式（４）によって更新される。

【0058】

統計情報（更新値）＝騒音計インフラ計測値×ｂ１＋統計情報×（１－ｂ１） （４）
係数ｂ１は騒音計インフラ設置個所と該当設置箇所との距離に反比例するように設定し、騒音計インフラから最も近い箇所で１を設定し、スペック上の収音限界の箇所で０となるように線形に設定する。

【0059】

また車内マイク１１の信頼度は、周辺の交通参加者に応じて設定してもよい。具体的には、信頼度算出部５２は、走行センサ群１６のライダなどで検出される自車周囲に交通参加者数に反比例するように車内マイク１１の信頼度を算出する。交通参加者数は、周囲の車両の数、周囲の人の数の合計である。交通参加者数が多くなれば、外部騒音レベルが上がるため、車内マイク１１の信頼度が低くなる。また検出した周囲の車両の車種によって、信頼度を算出してもよい。たとえばバイクおよびトラックは、エンジン音が大きくなる傾向にあるので、信頼度が低くなるように重み付けを設定してもよい。

【0060】

また車内マイク１１の信頼度は、警告出力部１３が音声を出力している音量に応じて設定してもよい。具体的には、信頼度算出部５２は、スピーカが車内に出力する間、たとえば車内に車両１００の運行情報をアナウンスしている間、車内マイク１１の信頼度が低くなるように設定される。アナウンスが一種の妨害音となるからである。

【0061】

また車内マイク１１の信頼度は、車体の振動に応じて設定してもよい。具体的には、信頼度算出部５２は、車が振動している間、たとえば未舗装の道路およびハンプを通過している間、車内マイク１１の信頼度が低くなるように設定される。車体の振動によって、車内マイク１１が振動するので、一種の妨害音となるからである。車体の振動は、走行センサ群１６を検出する加速度によって検出、および現在位置によって予測することができる。

【0062】

次に、車内マイク１１の信頼度Ｆ１を出すための評価関数の一例を説明する。たとえば、以下式（５）のように評価関数を構成する。

【0063】

Ｆ１＝マイク状態（正常：１，故障：０）×ｍｉｎ｛（１－ｃｏｅｆ１×ｍａｘ（（マイク音量－規定音量），０）），ｍａｐ（自己位置，時間）｝×アナウンス有無（有：０．５，無：１） …（５）
式（５）は、第１項がマイク故障に対応し、第２項が車外音の影響に対応し、第３項が車内音からの影響に対応する。ここで係数ｃｏｅｆ１は、重み係数であり、ｍａｐは、前述のノイズマップの関数を示す。

【0064】

次に、車内カメラ１２の信頼度の算出方法に関して説明する。信頼度算出部５２は、人数カウンタ１５が検出した乗客数を用いて算出される客室１０１の混雑度に反比例するように車内カメラ１２の信頼度を算出する。混雑度は、椅子数と乗客数によって算出され、椅子数よりも乗客数が多くなるに従って高くなる。混雑度が高くなると、乗客同士が密着する可能性が高くなり、キーポイントを誤検出する可能性が高くなるからである。また混雑度が高くなると、密集の疎密がつかないため、乗客の位置の変化および密集度の変化がわかりにくくなるからである。

【0065】

人数が座席数を上回ると立ち客が発生するため、立ち客同士のキーポイント誤取得が懸念される。したがって立ち客数に応じて混雑度重みをかけることで、キーポイントの誤取得リスクを割り出すことができる。

【0066】

また信頼度算出部５２は、人数カウンタ１５によって検出される乗客数を用いて算出されるキーポイント補足率に比例するように車内カメラ１２の信頼度を算出する。キーポイント補足率は、人数と車内カメラ１２が補足したキーポイントの数とによって算出され、キーポイント補足率１００％の場合は、全ての乗客のキーポイントを補足していることを意味する。逆に、キーポイント補足率が低下すると、一部の乗客のキーポイントしか補足できてないことを意味する。したがって乗客同士が重なると、キーポイントの検出が困難になるので、キーポイント補足率に応じて信頼度が算出される。

【0067】

例えば、肩周り４点のキーポイントを使うアルゴリズムでは、人数が１０人の場合、２０点検出であれば、キーポイント捕捉率は１／２になり、半数のキーポイントが補足できていないため異常判定が困難であることがわかる。

【0068】

次に、車内カメラ１２の骨格検知の信頼度Ｆ２を出すための評価関数の一例を説明する。たとえば、以下式（６）のように評価関数を構成する。

【0069】

Ｆ２＝カメラ状態（正常：１，故障：０）×（１－ｃｏｅｆ２×ｍａｘ（（人数－椅子数），０））×キーポイント補足率 …（６）
式（６）は、第１項が車内カメラ１２故障に対応し、第２項が誤判定リスクに対応し、第３項が判断性能に対応する。ここで係数ｃｏｅｆ２は、重み係数である。

【0070】

次に、車内カメラ１２の密集度検知の信頼度の算出に関して説明する。天井視点の車内カメラ１２から乗客位置を計測し、位置座標や密集度分布や変化から異常判定を行う。具体的に判断できる異常は、「ある椅子一ヵ所を避けていれば、そこが汚れている汚損」、「一人の人の周りに人が集まってきたら、緊急」および、「密集度が継続的に変化していたら、危険人物」などである。

【0071】

密集度で判断する場合、位置座標の粗密を見ているため、粗密がつきにくい状況では判定が困難である。そして粗密がつきにくいのは、人数が少ない場合と、人が多すぎて身動きが取れない場合である。混雑度は、人数カウンタ１５によって判断する。

【0072】

次に、車内カメラ１２の混雑度の信頼度Ｆ３を出すための評価関数の一例を説明する。たとえば、以下式（７）のように評価関数を構成する。

【0073】

Ｆ３＝カメラ状態（正常：１，故障：０）×ｆ１（人数） …（７）
関数ｆ１は例えば、座席数が１０人の場合を想定すると、１人のときｆ１＝０、６人以上１５人以下のときｆ１＝１、２０人のときｆ１＝０となるように線形補間テーブルによって実現される。

【0074】

次に、距離検出部１４の信頼度の算出方法に関して説明する。信頼度算出部５２は、人数カウンタ１５が検出した乗客数を用いて算出される客室１０１の混雑度に反比例するように距離検出部１４の信頼度を算出する。混雑度が高くなると、乗客同士が密着する可能性が高くなり、特定人物の距離を検出することができないからである。

【0075】

したがって混雑度が高くなると、転倒した人に重なるように、立位の人が見えてしまい、天井からの距離が正しく測れない場合がある。また混雑度が高くなると、キーポイントの点群が密集しており、一人一人の区別がつかない場合がある。これらはともに混雑度に関係しており、車両１００の混雑度によってリスクを定量化できる。

【0076】

次に、距離検出部１４の混雑度の信頼度Ｆ４を出すための評価関数の一例を説明する。たとえば、以下式（８）のように評価関数を構成する。

【0077】

Ｆ４＝距離検出部１４の状態（正常：１，故障：０）×ｆ２（人数） …（８）
関数ｆ２は例えば、座席数が１０人の場合を想定すると、１人のときｆ２＝１、２０人のときｆ２＝０となるような線形補間によって実現される。

【0078】

信頼度算出部５２は、センサ情報がセンサ異常とみなせる異常な値である場合には、異常なセンサ情報の信頼度を最も低い最低値として算出する。車内マイク１１などの車内検出デバイスに異常が発生している場合、そもそもの車内検出デバイスが正常動作しないため、車内検出デバイスを利用している方法の信頼度は無条件で最低値、たとえば０とする。前述の評価関数でも、第１項にて、センサの状態（正常：１，故障：０）としてい通りである。

【0079】

車内カメラ１２に異常は、たとえば目隠し、および受光素子破損などによって発生する。信頼度算出部５２は、たとえば車両１００が運転中にも関わらず、車内カメラ１２による受光量が継続して閾値以下である場合には、車内カメラ１２が異常であると判断する。

【0080】

車内マイク１１の異常は、たとえば受音部の遮蔽によって発生する。信頼度算出部５２は、たとえ車内アナウンス実施時に音量が閾値以上にならない場合には、車内マイク１１は異常であると判断する。

【0081】

距離検出部１４の異常は、たとえば回転部などの検出機構、受光部および投光部の破損によって発生する。信頼度算出部５２は、距離検出部１４がライダである場合に、駆動電流を流しているのにエンコーダからパルスが来ない場合には、距離検出部１４は異常であると判断する。また信頼度算出部５２は、距離検出部１４がライダである場合に、投光しているにも関わらず、正常な反応がない場合には、距離検出部１４は異常であると判断する。

【0082】

また車内検出デバイスの異常は、たとえば電源喪失および伝送路切断によって発生する。したがって信頼度算出部５２は、車内検出デバイスからデータが継続して送られてこない場合に、その車内検出デバイスは異常であると判断する。

【0083】

次に、異常判断装置１０の処理に関して、図３のフローチャートを用いて説明する。図３に示す処理は、車両１００のイグニッションがオン状態において、短時間に繰り返し実行される。

【0084】

ステップＳ１では、複数のセンサ情報を取得し、ステップＳ２に移る。ステップＳ２では、各センサ情報を用いて乗客の動作に異常が発生している発生確率をセンサ情報毎に算出し、ステップＳ３に移る。ステップＳ２の処理は、前述のように発生確率算出部５１によって実行される。

【0085】

ステップＳ３では、センサ情報毎の信頼度を算出し、ステップＳ４に移る。ステップＳ３の処理は、前述のように信頼度算出部５２によって実行される。ステップＳ４では、いずれかセンサ情報の信頼度が閾値以上であるか否かを判断し、閾値以上である場合には、ステップＳ５に移り、閾値以上でない場合には、ステップＳ９に移る。

【0086】

ステップＳ５では、いずれかのセンサ情報の信頼度が閾値以上であり、少なくとも１つのセンサ情報は信頼性があるので、異常評価値を算出し、ステップＳ６に移る。異常評価値は、発生確率および信頼度を用いて、乗客の動作に異常が発生しているか否かを判断するための評価値である。異常評価値の算出方法は、後述する。

【0087】

ステップＳ６では、異常評価値によって正常であるか否かを判断し、正常である場合には本フローを終了し、正常でなく異常の場合には、ステップＳ７に移る。ステップＳ６の処理は、異常判断部５３によって実行される。正常であるか否かは、たとえば異常評価値と閾値とを比較することによって判断される。

【0088】

ステップＳ７では、異常が発生しているので、警告を出力するように警告出力部１３を制御し、ステップＳ８に移る。ステップＳ７の処理は、警告制御部５４によって実行される。これによって客室１０１に対して、警告出力部１３から警告が出力される。

【0089】

ステップＳ８では、警告が出力されて所定時間が経過したか否かを判断し、所定時間が経過した場合には、ステップＳ９に移り、所定時間が経過していない場合には、本フローを終了する。

【0090】

ステップＳ９では、センサ情報のいずれかの信頼度が閾値以上でないので、警戒情報を出力するように警告出力部１３を制御し、ステップＳ１０に移る。ステップＳ９の処理は、警告制御部５４によって実行される。これによって客室１０１に対して、警告出力部１３から警戒情報が出力されるが、ステップＳ９の警戒情報は信頼度低情報であり、ステップＳ７の警告とは異なる内容である。信頼度低情報は、センサ情報の信頼度が所定の低信頼度よりも低いことを示す情報である。ステップＳ９では、異常であるかどうかをセンサ情報で判断できない状況であるので、警告をよりも弱い警戒情報として、たとえば監視中であることを示す監視中情報として「オペレータが見守り中」などの情報を文字および車内アナウンスによって出力する。

【0091】

ステップＳ１０では、警告が出力されて所定時間が経過したか、またはセンサ情報のいずれかの信頼度が閾値以上でないので、支援要求するように制御し、本フローを終了する。支援要求は、たとえば車外通信器１７によって、管理センタ９２に支援を求めることである。また支援要求するときは、出力中の警告も引き続き出力するように制御する。

【0092】

このように警告制御部５４は、ステップＳ４およびステップＳ１０に示したように、全てのセンサ情報の信頼度が所定の閾値未満、すなわち許容範囲外にある場合には、外部に位置する外部装置に警戒情報を出力する。外部装置は、たとえばクラウドサーバ９０、および管理センタ９２である。全ての信頼度が所定の閾値未満である場合には、信頼に値するセンサ情報がないので、センサ情報を信頼することができず、異常の有無を判断することができない。このような場合には、外部に支援を依頼することで、異常判定を外部に依頼することができる。

【0093】

また異常判断部５３は、ステップＳ４およびステップＳ５に示したように、少なくとも１つの信頼度が所定の閾値以上、すなわち許容範囲内にある場合には、発生確率を用いて異常が発生しているか否かを判断する。少なくとも１つの信頼度が閾値以上である場合には、信頼に値するセンサ情報が１つはある。したがって信頼できるセンサ情報を用いて、異常の有無を判断することができる。

【0094】

また警告制御部５４は、ステップＳ６およびステップＳ７に示したように、異常判断部５３によって異常と判断された場合には、客室１０１に対して警告を発するように警告出力部１３を制御する。警告制御部５４は、警告出力部１３に対して、警告を発するように制御指令を与える。これによって警告出力部１３は、客室１０１に対して監視中であることや、関係機関に通報したことなどを出力する。これによって異常がたとえば乗客間のトラブルである場合には、トラブルを停止する抑止力なる可能性がある。またトラブルに関与していない乗客に対して、安心感を与えることができる。

【0095】

次に、異常評価値に関して説明する。異常評価値は、信頼度と発生確率とを用いて、種々の方法によって算出することができる。異常評価値は、たとえば、センサ情報毎に信頼度と発生確率との乗算を求め、その総和によって求めることができる。また異常評価値は、たとえば信頼度を重み係数とした発生確率の加重平均値を算出することによって、算出することができる。

【0096】

以下、具体例を用いて、異常評価値を用いた異常の有無の判断について説明する。異常判断部５３は、センサ情報を用いて、信頼度を重み係数とした発生確率の加重平均値を異常評価値として算出し、算出した異常評価値が所定の異常平均値よりも高い場合には、異常が発生していると判断する。具体的には、次式（６）を用いて、判断する。

【0097】

Σ信頼度ｉ×発生確率ｉ／（Σ信頼度ｉ）＞閾値ｂ …（９）
係数ｉは、センサ情報毎に割り当てられており、たとえばｉ＝１が車内マイク１１の音量に対応し、ｉ＝２が車内カメラ１２の密集度に対応、ｉ＝３が車内カメラ１２のキーポイント補足率に対応する。したがって係数ｉは、１からセンサ情報の数までである。異常平均値である閾値ｂは、たとえば０．６に設定される。

【0098】

次に、具体的な状況を用いて、異常評価値の算出を説明する。第１の状況は、乗客数が３人で全員着席しており、外部騒音である踏切の音がうるさいとき、危険人物を検出する状況である。

【0099】

まず、センサ情報毎の発生確率を算出する。車内マイク１１については、踏切音のため音量が所定の閾値以上であるので、発生確率を１として算出する。車内カメラ１２については、密集度に変化がないので、発生確率を０として算出する。また車内カメラ１２については、キーポイントでは通常の着席状態であるので、発生確率を０として算出する。

【0100】

次に、センサ情報毎の信頼度を算出する。車内マイク１１については、外部音量が所定の閾値以上であるので、信頼度を低く０．１として算出する。車内カメラ１２については、密集度が低いので、信頼度が普通の０．５として算出する。また車内カメラ１２については、キーポイントについては通常の着席状態であるので、信頼度が高く０．９として算出する。すべての信頼度が０．２以下でなく、信頼に値するセンサ情報があるので、これらを式（９）に代入すると、次式（１０）となる。

【0101】

（１×０．１＋０×０．５＋０×０．９）／１．５≒０．０６ …（１０）
したがって０．０６＜閾値（０．６）であるので、異常なしと判定する。

【0102】

第２の状況は、乗客数が２０人で非常に混雑しており、外部騒音である踏切の音がうるさいとき、危険人物を検出する状況である。

【0103】

まず、センサ情報毎の発生確率を算出する。車内マイク１１については、音量が所定の閾値以上であるので、発生確率を１として算出する。車内カメラ１２については、密集度に変化がないので、発生確率を０として算出する。また車内カメラ１２については、キーポイントについては混雑状態であるので検出困難であり、発生確率を０として算出する。

【0104】

次に、センサ情報毎の信頼度を算出する。車内マイク１１については、外部音量が所定の閾値以上であるので、信頼度を低く０．１として算出する。車内カメラ１２については、密集度が高いので、信頼度を低くの０．１として算出する。また車内カメラ１２については、混雑状態であるので、信頼度が低く０．１として算出する。これによってすべての信頼度が０．２以下であるので、信頼に値するセンサ情報がなく、異常評価値を計算することなく、支援要求となる。

【0105】

以上説明したように本実施形態の異常判断装置１０は、センサ情報毎に、異常が発生している発生確率と、センサ情報の検出の信頼性を示す信頼度とが算出される。発生確率が高い場合でも、信頼度が低いと、信頼度が低いセンサ情報に基づいた発生確率であるので、異常が発生していると判断しにくい。同様に、発生確率が低い場合でも、信頼度が低いと、信頼度が低いセンサ情報に基づいた発生確率であるので、異常が発生していないと判断しにくい。このようにセンサ情報の信頼度は、異常の発生有無を判断するのには、重要な要因となる。また信頼度が高い場合には、発生確率は、当然に異常の発生有無の判断に必要な要因である。そして本実施形態では、１つのセンサ情報ではなく、複数のセンサ情報を用いて、発生確率と信頼度を用いて異常の有無を判断している。したがって、複数のセンサ情報によって多角的に異常の有無を判断しているので、より高精度に異常の発生の有無を判断することができる。

【0106】

本実施形態の異常判断部５３は、加重平均値を用いた異常評価値によって異常の発生の有無を判断しているが、このような異常評価値に限るものではない。たとえば異常判断部５３は、最も信頼度が高いセンサ情報の発生確率が、所定の異常発生確率よりも高い場合には、異常が発生していると判断してもよい。信頼度が高いセンサ情報は、異常の発生判断に有用であるからである。

【0107】

さらに本実施形態の警告制御部５４は、全ての信頼度が閾値以上でないので、外部装置に信頼度低情報として警戒情報を出力するように警告出力部１３を制御しているが、警戒情報は他の場合に出力してもよい。警告制御部５４は、たとえば全てのセンサ情報の信頼度の平均値が所定の許容値未満、すなわち許容範囲外にある場合には、外部に位置する外部装置に警戒情報を出力するようにしてもよい。信頼度の平均値が所定の許容値未満の場合には、複数のセンサ情報が総合的に信頼に値しないレベルにあるからである。

【0108】

（その他の実施形態）
以上、本開示の好ましい実施形態について説明したが、本開示は前述した実施形態に何ら制限されることなく、本開示の主旨を逸脱しない範囲において種々変形して実施することが可能である。

【0109】

前述の実施形態の構造は、あくまで例示であって、本開示の範囲はこれらの記載の範囲に限定されるものではない。本開示の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味及び範囲内での全ての変更を含むものである。

【0110】

前述の第１実施形態では、警告出力部１３は、モニタおよびスピーカによって警告を発するが、他の出力部であってもよい。たとえば、車両１００のハザードランプを点灯するようにしてもよく、客室１０１がリラックスするように音楽を流してもよい。また警告制御部５４は、警告だけでなく、走行制御ユニット３０に対して、緊急停止するように制御してもよく、緊急停止後にドアを開けるように制御してもよい。

【0111】

前述の第１実施形態では、異常判断装置１０は車両１００で用いられているが、車両１００に搭載された状態に限定されるものではなく、少なくとも一部が車両１００に搭載されていなくてもよい。したがって監視対象空間は、自動運転中の車室内であったが、他の空間であってもよい。したがって監視対象空間は、有人無人を問わず、いわゆる監視カメラの撮影対象となる空間、たとえば建物内、駐車場、電車内および飛行機内であってもよい。

【0112】

前述の第１実施形態において、異常判断装置１０によって実現されていた機能は、前述のものとは異なるハードウェアおよびソフトウェア、またはこれらの組み合わせによって実現してもよい。異常判断装置１０は、たとえば他の制御装置と通信し、他の制御装置が処理の一部または全部を実行してもよい。異常判断装置１０が電子回路によって実現される場合、それは多数の論理回路を含むデジタル回路、またはアナログ回路によって実現することができる。

【符号の説明】

【0113】

１０…異常判断装置 １１…車内マイク １２…車内カメラ １３…警告出力部
１４…距離検出部 １５…人数カウンタ １６…走行センサ群 １７…車外通信器
３０…走行制御ユニット ４０…自動運転インターフェースユニット
５１…発生確率算出部 ５２…信頼度算出部 ５３…異常判断部
５４…警告制御部 ９０…クラウドサーバ ９１…監視システム
９２…管理センタ ９３…運行管理コンピュータ ９４…オペレータ端末
９９…救急センタ １００…車両 １０１…客室（監視対象空間）
２００…通信ネットワーク

【図1】

【図2】

【図3】