(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-20
(45)【発行日】2024-05-28
(54)【発明の名称】監視システム、監視方法、監視装置、監視プログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20240521BHJP
G06T 7/20 20170101ALI20240521BHJP
【FI】
H04N7/18 D
H04N7/18 F
G06T7/20 300Z
(21)【出願番号】P 2020207777
(22)【出願日】2020-12-15
【審査請求日】2023-02-15
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】眞方山 貴也
【審査官】西島 篤宏
(56)【参考文献】
【文献】特開2017-174152(JP,A)
【文献】特開2022-017903(JP,A)
【文献】特開2020-061121(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G06T 7/20
(57)【特許請求の範囲】
【請求項1】
複数の移動体の各々の客室を撮影する撮影部によって撮影された撮影画像を取得し、(16)
取得した撮影画像に基づいて、前記複数の移動体の各々の客室に存在する乗客の
一定時間毎の移動量を取得し、(56)
取得した移動量
が大きいほど、前記乗客を監視する必要性の度合いを示す優先度
が高くなるように、当該優先度を計算し、(58)
前記複数の移動体の各々の客室を表示切替時期に順次切り替えて表示する表示デバイスへの表示対象を
決定する場合に、前記優先度が高いほど表示頻度を高くする、(64、66)
監視システム(S)。
【請求項2】
乗客を客室に乗せて所定の区間を運行する複数の移動体の客室を撮影した画像情報に基づいて乗客を抽出し、
一定期間毎の当該乗客の移動量を取得し、
前記移動量
が大きいほど、前記乗客を監視する必要性の度合いを示す優先度
が高くなるように、当該優先度を計算し、
複数の移動体の客室を表示切替時期に順次切り替えて表示する表示デバイスへの表示対象を
決定する場合に、前記優先度が高いほど表示頻度を高くして、
時系列で移動体の客室の状態を監視する、
監視方法。
【請求項3】
乗客を客室に乗せて所定の区間を運行する複数の移動体の各々の客室で撮影した画像情報から乗客を抽出し、一定期間毎の当該乗客の移動量を取得し、前記移動量
が大きいほど、前記乗客を監視する必要性の度合いを示す優先度
が高くなるように、当該を計算する監視制御部と、
複数の移動体の客室を表示切替時期に順次切り替えて表示する表示デバイス、及び、前記監視制御部で計算した優先度
が高いほど表示頻度を高くして、前記表示デバイスに表示する移動体の客室を決定する決定部を備え、時系列で移動体の客室の状態を監視する監視サーバと、
を有する監視装置。
【請求項4】
前記監視制御部が、複数の移動体の各々に設けられ、前記優先度を、前記監視サーバへ通知する、請求項3記載の監視装置。
【請求項5】
前記監視制御部が、前記監視サーバが設けられた監視拠点に設けられ、撮影された複数の移動体の客室の撮影情報を集約する、請求項3記載の監視装置。
【請求項6】
前記監視制御部は、前記移動量に、予め定めた重み付け要因に付与されている重みを付加して、前記優先度を決定する、請求項3~請求項5の何れか1項記載の監視装置。
【請求項7】
前記重み付け要因が、前記移動体の運行区間の地点情報、前記移動体の状態情報、前記移動体の挙動情報、前記移動体に乗っている乗客の位置情報、前記移動体に乗っている乗客の種類情報の少なくとも1つの情報である、請求項6記載の監視装置。
【請求項8】
前記監視制御部は、前記移動量を取得する場合に、前記移動体の客室の広さに応じて、補正する、請求項3~請求項7の何れか1項記載の監視装置。
【請求項9】
前記表示デバイスの表示領域が、複数に区画されて、それぞれ独立して表示対象を制御可能であり、前記監視サーバは、前記優先度に基づいて区画された表示領域の位置を決定する、請求項3~請求項8の何れか1項記載の監視装置。
【請求項10】
前記表示デバイスの表示領域が、複数に区画されて、それぞれ独立して表示対象を制御可能であり、前記監視サーバは、2以上の区画された表示領域に、同一の移動体の車室内における異なる時間帯の画像を表示する、請求項3~請求項9の何れか1項記載の監視装置。
【請求項11】
前記監視サーバは、何れかの移動体において、異常事態が発生した場合は、前記移動量に基づく優先度に対して、さらに優先して、当該異常事態が発生した移動体の客室を表示する、請求項3~請求項10の何れか1項記載の監視装置。
【請求項12】
前記監視サーバは、前記優先度が予め定めたしきい値を超えた場合に、前記表示切替時期に関係なく、当該しきい値を超えた移動体の車室内を表示する、請求項3~請求項11の何れか1項記載の監視装置。
【請求項13】
コンピュータを、
請求項3~請求項12の何れか1項記載の監視装置の前記監視制御部及び前記監視サーバとして機能させる、
監視プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、移動体における乗客が乗車する内部を監視する監視システム、監視方法、監視制御装置、監視プログラムに関する。
【背景技術】
【0002】
移動体、特に、バスや電車に代表される車両を用いた交通機関において、一人の監視員が、複数の車両の各々に設置された監視カメラで撮影された車室内の映像を監視し、例えば、乗客の安全を担保する場合がある。
【0003】
ところで、自動運転車両の車室内を監視するシステムにおいて、車室内の異常時の対応や問い合せ対応に備え、遠隔地で監視員がカメラ映像を監視している。車両や車室内設備等の自動化が進むと、車室内の異常に対応する頻度が低減するため監視員一人が監視対象とする車両台数が増加する。
【0004】
監視員一人あたり、100台の車両を想定した場合、全ての車両の車室内映像を一斉に表示するのは非現実的であり、例えば、モニタ画面を分割(例えば、4分割)して、一部(4台分)の映像を時系列で順次切り替えながら表示するのが一般的である。
【0005】
一斉表示の場合、監視員は、多くの画面を注視しなければならず、監視員の負荷が増加すると共に、必要な確認が実施できず重要な異常を見落としてしまう可能性がある。
【0006】
一方で、分割表示の場合、監視員の負荷は、一斉表示に比べて低減されるが、表示を必要とする異常が発生している車両の車室内の映像は表示されず、異常が迅速に発見できないという課題がある。
【0007】
特許文献1には、監視カメラで施設等を撮像した映像を見て監視する技術が開示されている。
【0008】
具体的には、画像処理装置は、指標値算出部及び提示部を有し、指標値算出部は、カメラによって撮像された複数の画像(撮像画像)を取得し、取得した撮像画像を用いて、撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出すると共に、提示部は、カメラによって撮像された撮像画像上に、指標値算出部が算出した指標値に基づく表示を提示する。
【0009】
特許文献1によれば、監視カメラを監視する監視員が即座に監視対象の現状を把握することができる。
【先行技術文献】
【特許文献】
【0010】
【発明の概要】
【発明が解決しようとする課題】
【0011】
しかしながら、特許文献1の監視対象の変化度合いを示す指標値は、監視対象自身の意思で移動するときの変化度合いである。言い換えれば、特許文献1では、一例として駅のプラットフォームを撮影領域とし、人や荷物の行列の長さや変化度合いを、監視対象の状態の変化度合いとしている。
【0012】
従って、例えば、交通機関(例えば、バス等の車両)の車室内において、車両走行中の挙動に依存する不可抗力的な変化(移動)については考慮されていない。
【0013】
本発明は、監視員一人当たりが、複数の移動体の各々に設置された車室内の映像を監視する場合に、移動体の挙動に依存して変化する乗客の移動量に基づいて表示優先度を決めることができる監視システム、監視方法、監視制御装置、監視プログラムを得ることが目的である。
【課題を解決するための手段】
【0014】
本発明に係る監視システムは、複数の移動体の各々の客室を撮影する撮影部によって撮影された撮影画像を取得し、取得した撮影画像に基づいて、前記複数の移動体の各々の客室に存在する乗客の一定時間毎の移動量を取得し、取得した移動量が大きいほど、前記乗客を監視する必要性の度合いを示す優先度が高くなるように、当該優先度を計算し、前記複数の移動体の各々の客室を表示切替時期に順次切り替えて表示する表示デバイスへの表示対象を決定する場合に、前記優先度が高いほど表示頻度を高くする、ことを特徴としている。
【0015】
本発明に係る監視方法は、乗客を客室に乗せて所定の区間を運行する複数の移動体の客室を撮影した画像情報に基づいて乗客を抽出し、一定期間毎の当該乗客の移動量を取得し、前記移動量が大きいほど、前記乗客を監視する必要性の度合いを示す優先度が高くなるように、当該優先度を計算し、複数の移動体の客室を表示切替時期に順次切り替えて表示する表示デバイスへの表示対象を決定する場合に、前記優先度が高いほど表示頻度を高くして、時系列で移動体の客室の状態を監視する、ことを特徴としている。
【0016】
本発明に係る監視装置は、乗客を客室に乗せて所定の区間を運行する複数の移動体の各々の客室で撮影した画像情報から乗客を抽出し、一定期間毎の当該乗客の移動量を取得し、前記移動量が大きいほど、前記乗客を監視する必要性の度合いを示す優先度が高くなるように、当該を計算する監視制御部と、複数の移動体の客室を表示切替時期に順次切り替えて表示する表示デバイス、及び、前記監視制御部で計算した優先度が高いほど表示頻度を高くして、前記表示デバイスに表示する移動体の客室を決定する決定部を備え、時系列で移動体の客室の状態を監視する監視サーバと、を有している。
【0017】
本発明に係る監視プログラムは、コンピュータを、上記の監視装置の前記監視制御部及び前記監視サーバとして機能させる、ことを特徴としている。
【発明の効果】
【0018】
本発明によれば、監視員一人当たりが、複数の移動体の各々に設置された車室内の映像を監視する場合に、移動体の挙動に依存して変化する乗客の移動量に基づいて表示優先度を決めることができる。
【図面の簡単な説明】
【0019】
【
図1】第1の実施の形態に係る移動体としてのコミュニティバスであり、(A)は外観の斜視図、(B)は車室内の平面図である。
【
図2】第1の実施の形態に係るコミュニティバスに搭載された監視制御装置及び複数の監視制御装置からの情報を集約して表示デバイスに監視画像を表示する監視サーバを含む車両監視システム図である。
【
図3】第1の実施の形態に係る車両監視システムにおいて、車室内の監視を実行するための処理を機能別に分類した制御ブロック図である。
【
図4】第1の実施の形態に係る車両監視システムで車室内の監視のために、各コミュニティバスに搭載される監視制御装置で実行される優先度計算ルーチンを示す制御フローチャートである。
【
図5】第1の実施の形態に係る車両監視システムで車室内の監視のために、監視サーバで実行される表示対象選択ルーチンを示す制御フローチャートである。
【
図6】第1の実施の形態に係る表示デバイスへ表示する画像の切替制御タイミングチャートである。
【
図7】第1の実施の形態に係る表示デバイスに分割表示される車室内画像の正面図である。
【
図8】第1の実施の形態の変形例1に係り、
図7に対して、緊急度合いの高い車両に対して、複数画面(2画面)を用いて異常発生時画像と現在画像とを表示した場合の表示デバイスの正面図である。
【
図9】第1の実施の形態の実施例1に係り、(A)~(C)は、異なる車両の車室内のそれぞれの乗客の移動状況を示す平面図である。
【
図10】第1の実施の形態の実施例2に係り、複数台(12台)の車両における、時間変化に応じた乗客移動に起因する優先度特性図である。
【
図11】第1の実施の形態の実施例2に係り、複数台(13台)の車両における、時間変化に応じた乗客移動(優先度急増)を顕著に表現した優先度特性図である。
【
図12】第1の実施の形態の実施例2に係り、
図11に対して、優先度レベルに緊急表示しきい値が設定された場合の優先度特性図である。
【
図13】第1の実施の形態の実施例3に係り、(A)~(C)は、異なる車両の車室内のそれぞれの乗客の移動状況を示す平面図であり、(B)の車両において、乗降扉が開放された場合を示す平面図である。
【
図14】第2の実施の形態に係る車両監視システムにおいて、車室内の監視を実行するための処理(重み付け付加)を機能別に分類した制御ブロック図である。
【
図15】第2の実施の形態の実施例4に係り、コミュニティバスが予め定めた運行ルートに従って運行(走行)している状態を示す平面図である。
【
図16】第2の実施の形態の実施例6に係る重み設定例であり、(A)~(C)は、異なる車両の車室内のそれぞれの乗客の移動状況を示し、特に(C)において車両が急減速したときの状況を示す平面図である。
【
図17】第2の実施の形態の実施例7に係る重み設定例であり、(A)及び(B)は重み度合いが異なる領域が設けられた車室内の平面図である。
【
図18】第2の実施の形態の実施例7に係る重み設定例であり、乗客の移動エリアに依存して重み付けられる状態を示す車室内の平面図である。
【
図19】第2の実施の形態の実施例8に係る重み設定例であり、(A)は乗客が成人の場合、(B)は乗客が子供や高齢者の場合を示し、それぞれにおいて、異なる重み付けを実施する車室内の平面図である。
【
図20】本発明のシステム構築例1に係り、(A)は第1の実施の形態の車両監視システムの概略図、(B)は(A)の車両監視システムにおける通信シーケンスである。
【
図21】本発明のシステム構築例2(
図20の変形例)に係り、(A)は車両監視システムの概略図、(B)は(A)の車両監視システムにおける通信シーケンスである。
【
図22】第3の実施の形態に係り、移動体として適用された複数のカメラが設置された大型バスの正面図である。
【発明を実施するための形態】
【0020】
図1(A)は、第1の実施の形態に係る移動体としてのコミュニティバス10が示されている。コミュニティバス10は、乗客P(一例として、
図9等参照)を乗せて、目的地まで輸送することを目的とする。
【0021】
コミュニティバス10は、通常の路線バスに比べて小型(乗車定員数が少ない)で、比較的近距離を巡回することで、地域住民の移動手段として利用されるバスを指すことが多いが、確立した定義はない。言い換えれば、移動体としては、コミュニティバス10以外のバスやタクシー、及び電車を含む旅客車両全般を含むが、以下では、コミュニティバス10を例にとり説明する。なお、一部において車両と称する場合がある。
【0022】
第1の実施の形態に適用されるコミュニティバス10は、予め定めたルートを、往復又は巡回する、乗車定員数が6人の小型の移動体であり、自動運転によって運行される。
【0023】
自動運転とは、以下に示す非特許文献1においてレベル3以上に相当する運転自動化レベルを指し、手動運転とは、前記非特許文献1においてレベル2以下に相当する運転自動化レベルを指す。
【0024】
非特許文献1は、「高度情報通信ネットワーク社会推進戦略本部 官民データ活用推進戦略会議“官民ITS構想ロードマップ2020”、内閣府、2020年7月15日、p.23」である。
【0025】
コミュニティバス10は、運転手による手動運転が行われていても、自動運転が行われていてもどちらでもよいが、特に断りがない場合、以降では、自動運転が行われている車両の例について説明する。
【0026】
コミュニティバス10は、予め予約管理システム28(
図2参照)によって予約した予約者が乗車可能となっている。予約管理システム28については、周知の技術であるため、詳細は省略するが、少なくとも、予約する際に、予約者(乗客P)を識別可能な識別情報と予約情報とを取得し、識別情報及び予約情報は、予約データベース28Aに格納される。なお、予約に基づくシステムによらず、路線バス等、予約無しで乗降可能な運行システムであってもよい。
【0027】
予約者は、自身が予約した起点の停留所に、発車時刻までに出向き、待機することで、コミュニティバス10に乗車可能となる。なお、予約による乗車は必須ではない。すなわち、乗客Pが停留所に、発車時刻までに出向き、待機することで、乗車可能となる。
【0028】
図1(A)に示される如く、コミュニティバス10は、側面の中央に、スライド式の開閉扉12が設けられている。この開閉扉12の開閉動作も、自動運転制御の1つとして制御される。なお、開閉扉12は、路線バスに見られる蛇腹式、或いは、折りたたみ
式、観音開き式等、
他の開閉構造であってもよい。さらに、開閉扉12は、自動開閉に限らず、乗客P等のボタン操作等による手動開閉であってもよい。
【0029】
図1(B)に示される如く、コミュニティバス10の客室の一例としての車室内は3人掛けのシート14が後方壁及び右側壁のそれぞれに沿って配置され、乗客Pは、開閉扉12の開放時に乗車し、それぞれ席に移動して乗車することになる。
【0030】
ここで、本実施の形態に係るコミュニティバス10には、
図2に示される如く、車両監視システムSの一部を構成する、車室内の乗客Pの状態を監視する監視制御装置18が搭載されている。
【0031】
図2に示される如く、監視制御装置18は、マイクロコンピュータ20を備えている。マイクロコンピュータ20は、CPU20A、RAM20B、ROM20C、入出力部(I/O)20D、及びこれらを接続するデータベースやコントロールバス等のバス20Eを有している。
【0032】
I/O20Dには、主として、料金決済を目的として乗客情報を読み取るためのID読取デバイス15と、カメラユニット16と、HDDやSSD等の大容量記憶装置22とが接続されている。
【0033】
また、I/O20Dには、ネットワークI/F24を介して、インターネット等のネットワーク26に接続されている。
【0034】
ID読取デバイス15は、コミュニティバス10を乗降する乗客Pが所持している乗車券(ICカード等)を所定の読み取り位置にかざすことで、例えば近距離無線通信によって乗客Pの識別情報と乗車区間等の乗車情報とを読み取る。監視制御装置18では、ネットワーク26を介して、予約管理システム28の予約データベース28Aに格納された情報(識別情報及び予約情報)と照合する。なお、乗客Pの識別情報と乗車区間等の乗車情報を読み取る必要はなく、カメラユニット16で撮影した画像情報から必要な情報を取得するようにしてもよい。
【0035】
一方、カメラユニット16は、例えば、コミュニティバス10の天井面に取り付けられ、車室内のほぼ全域を撮影する。
【0036】
監視制御装置18では、カメラユニット16で撮影した画像情報に基づいて、人(乗客P)を抽出し、乗客Pの状態、すなわち、乗客Pの移動量を計算する。
【0037】
なお、マイクロコンピュータ20では、ID読取デバイス15とカメラユニット16とを連携させることで、所定の読み取り位置にいる乗客Pと、乗車券から読み取った識別情報とを紐付けして、以後、車室内において、乗客P毎に位置の追従が可能である。
【0038】
(乗客Pの抽出の手段)
【0039】
乗客Pの抽出に適用可能な技術として、カメラ16によって撮影された画像情報から、物体毎に分類する技術があり、以下に3例を示す。なお、乗客Pを抽出する技術は、この3例に限定されるものではない。第1例は「背景差分による抽出」であり、第2例は「物体検出による抽出」であり、第3例は「セマンティックセグメンテーションによる抽出」である。
【0040】
(第1例)背景差分による抽出
【0041】
コミュニティバス10の室内画像情報を予め取得しておき、背景画像として記憶する。この背景画像と、現在の撮影画像情報との差分をとることで、差分画像(物体)を得ることができる。また、シート14との差分画像(物体)との比較により、物体の大きさを認識することができる。
【0042】
差分画像による物体の認識は、ニューラルネットワーク、教師あり学習を用いるパターン認識(SVM「Support Vector Machine」)等の機械学習手段を用いることができる。
【0043】
(第2例)物体検出による抽出
【0044】
また、1コマが画像情報において、何処に何が映っているかを直接特定する技術として、物体検知が知られている。物体検知は、多層ニューラルネットワーク(DNN)で行われる方式が主流で、SSD、Yolo、M2Det等があり、物体の存在を長方形で囲う、「バウンディングボックス」により物体の占有領域を得ることができる。
【0045】
(第3例)セマンティックセグメンテーションによる抽出
【0046】
セマンティックセグメンテーションとは、画素毎にクラス属性を分類する技術である。
【0047】
例えば、与えられた画像を、属性(例えば、人、床面、座席、窓等)に分類するものであり、これをコミュニティバス10の車室内で適用することで、乗客Pを特定することができる。
【0048】
図2に示される如く、ネットワーク26には、監視制御装置18と共に車両監視システムSを構成する監視サーバ30が接続されている。
【0049】
監視サーバ30は、マイクロコンピュータ32を備えている。マイクロコンピュータ32は、CPU32A、RAM32B、ROM32C、入出力部(I/O)32D、及びこれらを接続するデータベースやコントロールバス等のバス32Eを有している。
【0050】
I/O32Dには、表示デバイス34と、HDDやSSD等の大容量記憶装置36とが接続されている。
【0051】
また、I/O32Dには、ネットワークI/F38を介して、ネットワーク26に接続されている。
【0052】
ここで、第1の実施の形態における車両監視システムSは、複数のコミュニティバス10に搭載された監視制御装置18の監視に基づき、車室内の乗客Pの移動量(合計)を計算し、ネットワーク26を介して(コミュニティバス10とネットワーク26との間は無線通信)、監視サーバ30へ送出する。監視サーバ30では、受信した移動量に基づき、表示デバイス34に表示する優先度を計算して、優先度の高い順から、コミュニティバス10の車室内の画像の一部を選択し、表示デバイス34に表示する。
【0053】
第1の実施の形態では、100台のコミュニティバス10を監視し、表示デバイス34には、4分割された各画面のそれぞれに、同時に4台の車室内画像を表示すると共に、定期的に各画面の表示対象(車室内画像)を切り替える(
図7参照、詳細後述)。
【0054】
図3は、車両監視システムSにおいて、乗客Pの移動量に依存する表示デバイス34への表示対象を選択する処理を機能別に分類した制御ブロック図である。なお、
図3の各ブロックは、ハード構成を限定するものではない。例えば、マイクロコンピュータ20、32のROM20C、32C(又は大容量記憶装置22、36)に記憶された車両監視プログラムを、CPU20A、32Aで実行し、一部又は全ての処理をソフトウェアで動作させるようにしてもよい。
【0055】
(監視制御装置18)
【0056】
図3に示される如く、各コミュニティバス10に搭載される監視制御装置18は、画像取得部を備え、画像取得部50は、カメラユニット16で撮影された画像を取得すると、画像解析部52へ送出する。画像解析部52では、撮影画像が解析され(例えば、乗客抽出に適した画像処理等)、乗客抽出部54へ送出される。乗客抽出部54では、前述した物体分類技術に基づき、乗客Pを抽出する。
【0057】
乗客抽出部54は、乗客別移動量計算部56に接続されており、抽出された乗客P毎に移動量を計算する。
【0058】
移動量を計算するインタバル(分解能)は、例えば、カメラユニット16の画像読取間隔等に準じるのが最も精度が高いが、遠隔で乗客の動向を監視するという目的を鑑み、例えば、1秒前後単位の移動量を累積するといった比較的粗めの移動量を計算してもよい。なお、カメラユニット16は、異常発生時の画像を監視する必要があるため、監視に必要な画像読取間隔及び解像度が要求される。
【0059】
乗客別移動量計算部56は、優先度計算部58に接続され、乗客毎に計算した移動量が、優先度計算部58に送出される。優先度計算部58では、(1)式に基づき、乗客毎に計算した移動量の総計を計算し、当該総計が優先度として適用される。
【0060】
【0061】
優先度は、監視する必要の優劣を明確に判定するための数値評価であり、リスク値と言ってもよい。
【0062】
優先度計算部58は、優先度送出部60に接続されており、優先度送出部60では、優先度計算部58で計算された優先度を、通信部25(24)から、無線通信でネットワーク26を介して、監視サーバ30へ送出する。
【0063】
監視サーバ30は、車両別優先度取得部62を備えている。車両別優先度取得部62は、ネットワーク26及び通信部39(38)を介して、各コミュニティバス10からの優先度を取得する。
【0064】
車両別優先度取得部62は、優先度比較部64に接続されている。優先度比較部64では、車両別優先度取得部62から取得した各コミュニティバス10の優先度を比較し、比較結果を表示車両選択部66へ送出する。
【0065】
表示車両選択部66には、表示切替タイマ68が接続されており、基本的には定期的に表示切替タイマ68から受信する切替指示信号に基づいて、優先度の高い順から4台のコミュニティバス10を選択し、表示切替指示部70へ送出する。
【0066】
表示切替指示部70は、表示デバイス34に接続されており、表示されるコミュニティバス10の車室内の画像を切り替える。
【0067】
以下に、第1の実施の形態の作用を、
図4及び
図5のフローチャートに従い説明する。
【0068】
図4は、各コミュニティバス10に搭載される監視制御装置18で実行される優先度計算ルーチンを示す制御フローチャートである。
【0069】
ステップ100では、運行を開始したか否かを判断する。このステップ100で否定判定された場合は、このルーチンは終了する。また、ステップ100で肯定判定されると、ステップ102へ移行する。
【0070】
ステップ102では、カメラユニット16で撮影した画像を取得し、次いで、ステップ104へ移行して、画像解析処理を実行する。画像解析処理では、撮影した画像情報から、乗客Pを抽出し、それぞれの位置を特定する。
【0071】
次のステップ106では、乗客P毎に移動量を計算する。移動量は、予め定めた時間での対象とした乗客Pの位置の差分である。移動量を計算するインタバルは、例えば、1秒前後単位で十分である。
【0072】
次のステップ108では、乗客P毎に計算した移動量の総数、すなわち、全乗客Pの移動量を累積値である優先度を計算し、ステップ110へ移行する。
【0073】
ステップ110では、優先度送出時期か否かを判断する。この優先度送出時期は、ステップ108の優先度計算毎を最短とした一定時間毎であってもよいし、優先度が予め定めた数値以上となったときであってもよい。
【0074】
ステップ110で否定判定された場合は、優先度送出時期ではないと判断し、ステップ102へ戻り、上記工程を繰り返す。また、ステップ110で肯定判定された場合は、優先度送出時期であると判断し、ステップ112へ移行して優先度(累積値)を監視サーバ30へ送出し、ステップ114へ移行する。
【0075】
ステップ114では、運行が終了したか否かを判断する。このステップ114で否定判定された場合は、運行が継続中であると判断し、ステップ102へ戻り上記工程を繰り返す。また、ステップ114で肯定判定された場合は、運行が終了したと判断し、ステップ116へ移行し、このステップ116で乗客全員の降車を確認した時点で、このルーチンは終了する。
【0076】
図5は、監視サーバ30で実行される表示対象選択ルーチンを示す制御フローチャートである。
【0077】
ステップ120では、初期処理が実行される。初期処理とは、監視サーバ30における表示対象選択制御プログラムの起動時、又は、毎日の始業時等が挙げられる。
【0078】
次のステップ122では、表示切替時期か否かを判断する。表示切替時期は、定常時は一定時間経過である。このステップ122で否定判定された場合は、ステップ134へ移行し、表示を終了するか否かを判断する(後述)。
【0079】
また、ステップ122で肯定判定された場合は、表示切替時期であると判断し、ステップ124へ移行する。
【0080】
ステップ124では、現在表示されているコミュニティバス10の優先度をリセットし、次いで、ステップ126へ移行して各コミュニティバス10から優先度を取得し、ステップ128へ移行する。
【0081】
ステップ128では、各コミュニティバス10から受信した優先度を比較(数値の大小を比較)し、次いで、ステップ130へ移行して、ステップ128の比較結果から表示対象を選定し、ステップ132へ移行する。
【0082】
ステップ132では、表示デバイス34に表示する映像を、ステップ130で選定された表示対象であるコミュニティバス10の車室内の映像に切り替える処理を実行し、ステップ134へ移行する。
【0083】
ステップ134へは、ステップ122の否定判定でも移行し、表示を終了するか否かを判断する。例えば、終業時か否かを判断する。このステップ134で否定判定された場合は、表示を継続するべく、ステップ122へ移行し、上記工程を繰り返す。
【0084】
また、ステップ134で肯定判定された場合は、このルーチンは終了する。
【0085】
なお、表示切替時期は、定常時は一定時間経過であるが(ステップ122参照)、例えば、特定のコミュニティバス10から異常信号等を受信した場合は、ステップ122の成否に関係なく、当該特定のコミュニティバス10に関わる画像を表示することが好ましい。
【0086】
図6は、表示デバイス34への表示切替のタイミングチャートであり、表示デバイス34は、表示画面が4分割(画面左上、画面右上、画面左下、画面右下)され、それぞれ独立して表示切替制御が実行される。コミュニティバス10は、末尾の括弧内のシリアル番号で識別するものとする。
【0087】
図6に示される如く、画面左上にはコミュニティバス10(No.10)が表示され、表示切替時期t1ではコミュニティバス10(No.1)が表示され、表示切替時期t2ではコミュニティバス10(No.5)が表示され、表示切替時期t3ではコミュニティバス10(No.23)が表示される。
【0088】
図6に示される如く、画面右上にはコミュニティバス10(No.64)が表示され、表示切替時期t1ではコミュニティバス10(No.2)が表示され、表示切替時期t2ではコミュニティバス10(No.6)が表示され、表示切替時期t3ではコミュニティバス10(No.76)が表示される。
【0089】
図6に示される如く、画面左下にはコミュニティバス10(No.38)が表示され、表示切替時期t1ではコミュニティバス10(No.3)が表示され、表示切替時期t2ではコミュニティバス10(No.7)が表示され、表示切替時期t3ではコミュニティバス10(No.27)が表示される。
【0090】
図6に示される如く、画面右下にはコミュニティバス10(No.72)が表示され、表示切替時期t1ではコミュニティバス10(4)が表示され、表示切替時期t2ではコミュニティバス10(No.8)が表示され、表示切替時期t3ではコミュニティバス10(No.86)が表示される。
【0091】
図7は、
図6のタイミングチャートに基づき、表示デバイス34に4台のコミュニティバス10の映像を分割表示する場合の表示例である。
【0092】
表示デバイス34は、4個の同一面積の表示領域に区画され、それぞれ異なるコミュニティバス10の車室内の画像(ここでは、画像処理によりコミュニティバス10の車室内に加え、コミュニティバス10の側壁の輪郭を合成した画像)が表示される。
【0093】
区画された表示領域の周縁(
図7の右上)には、現在時刻が表示されると共に、各表示領域の右上には、車両識別番号とカメラユニット16による撮影時刻とが表示される。現在時刻と異なるのは、コミュニティバス10とネットワーク26との間の無線通信区間における通信遅延等により画像取得時刻が現在時刻から遅れていることを示している。また、静止画の表示の場合、表示されてから次の表示切替時期まで表示が継続されるため、当該画面を見たときの時刻が、表示開始時刻から一定時間経過している場合もある。
表示切替時期の静止画像であってもよいことを示している。
【0094】
なお、4画像の4個の表示領域への表示画像は、監視員が最も注目し易い表示領域(例えば、右上の表示領域)に優先度の高い画像を表示するようにしてもよい。
【0095】
(変形例1)
【0096】
なお、
図8に示される如く、4分割した領域をそれぞれ異なるコミュニティバス10の車室内の映像である必要はなく、例えば、表示領域の左下と左上は同一のコミュニティバス10の車室内の映像とし、左下は表示切替時期の静止画像、左上は表示切替時期からリアルタイムに変化する動画像とすれば、乗客Pの状況の把握がし易くなり、乗客Pのリスクの判断の精度を向上することができる。より詳しくは、突発の異常が発生した場合に、その異常が発生した瞬間の静止画像と、現在の動画像をリアルタイムに表示することで、どんな異常があり、現在はどのような状態かを一目で同時に確認することができるため、安全な監視を実現できる上で有効となる。
【0097】
(実施例1)
【0098】
図9は、第1の実施の形態の車両監視システムSを用いた車両監視の実施例(実施例1)であり、(A)~(C)はそれぞれ異なるコミュニティバス10の車室内の平面図であり、この3台のコミュニティバス10における表示優先度を決める手順を説明する。
【0099】
図9(A)は、コミュニティバス10Aに2名の乗客Pが乗車しており、一方の乗客P(A1)は立った状態で、黒点から一定時間経過後に点線矢印のように移動しており、他方の乗客P(A2)は着座した状態で一定時間前後に移動はない。点線矢印の長さが移動量に比例しており、
図9(A)の乗客P(A1)は移動量1となり、乗客P(A2)は移動量0となり、合計移動量が1で、これが優先度1となる。
【0100】
図9(B)は、コミュニティバス10Bに3名の乗客Pが乗車しており、それぞれの移動量を計算すると、着座中の乗客P(B1)の移動量は0、立った状態の2名の乗客P(B2)、乗客P(B3)は、それぞれ移動量が5及び4となり、合計移動量が9で、これが優先度9となる。
【0101】
図9(C)は、コミュニティバス10Cに5名の乗客Pが乗車しており、それぞれの移動量を計算すると、着座中の乗客P(C1)、乗客P(C4)、乗客P(C5)は0、立った状態の2名の乗客P(C2)及び乗客P(C3)は、それぞれ移動量が2及び3となり、合計移動量が5で、これが優先度5となる。
【0102】
以上の結果、表示優先度は、コミュニティバス10B→10C→10Aの順となり、相対的に乗客の転倒等、リスクの高い車室内の映像を表示デバイス34に優先して表示することができる。
【0103】
(実施例2)
【0104】
図10は、第1の実施の形態の車両監視システムSを用いた車両監視の実施例(実施例2)であり、12台のコミュニティバス10(i)の優先度遷移特定図である。なお、変数iは、コミュニティバス10を識別するためのシリアル番号であり、例えば、1から順に正の整数を割り振る。
【0105】
図10に示される如く、最初の表示切替時期t1において、優先度の高い4台のコミュニティバス10が選択され、表示対象車両として選択され、表示デバイス34に表示される。この表示は、次の表示切替時期t2まで継続されるが、表示切替時期t1の時点で、今まで累積した優先度はリセットされる。
【0106】
全てのコミュニティバス10において、乗客Pにリスクのない(少ない)状態が続けば、一定時間で予め定められた順序で、4台毎に異なるコミュニティバス10の車室内が表示される(
図10の各特性図の正比例特性参照)。
【0107】
しかし、次の表示切替時期t2までの間に、何れかのコミュニティバス10(
図10の特性
図X参照)で乗客Pが車室内で大きく移動すると、当該コミュニティバス10の優先度が短期間で増大する。
【0108】
これにより、特性
図Xのコミュニティバス10は、表示切替時期t2において、優先して表示対象の車両に選定される。
【0109】
表示切替時期t3においても同様に、何れかのコミュニティバス10(
図10の特性
図Y参照)で乗客Pが車室内で大きく移動すると、当該コミュニティバス10の優先度が短期間で増大し、特性
図Yのコミュニティバス10は、表示切替時期t3において、優先して表示対象の車両に選定される。
【0110】
(変形例2)
【0111】
図11は、
図10に対して、乗客Pに移動が発生して優先度が急激に増加したコミュニティバス10の特性
図Yと、状態が変化したコミュニティバス10の特性
図Zを加えたものである。
【0112】
急激に優先度が増加することで、特性
図Y及び特性
図Zはそれぞれ次の表示切替時期において、表示対象として選択する確率が高くなる。
【0113】
(変形例3)
【0114】
なお、画像の表示切替時期は、予め定めた一定のインタバルによる表示切替時期に限定されず、
図12に示される如く、優先度のしきい値Sを予め定めておき、優先度がこのしきい値Sを超えた直後の車室内の画像に切り替えるようにしてもよい。
【0115】
(実施例3)
【0116】
図13は、第1の実施の形態の車両監視システムSを用いた車両監視の実施例(実施例3)であり、(A)~(C)はそれぞれ異なるコミュニティバス10の車室内の映像を示しており、この3台のコミュニティバス10における表示優先度を決める手順を説明する。
【0117】
図13(A)は、コミュニティバス10Aに2名の乗客Pが乗車しており、一方の乗客P(A1)は立った状態で、黒点から一定時間経過後に点線矢印のように移動しており、他方の乗客P(A2)は着座した状態で一定時間前後に移動はない。点線矢印の長さが移動量に比例しており、
図9(A)の乗客P(A1)は移動量1となり、乗客P(A2)は移動量0となり、合計移動量が1で、これが優先度1となる。
【0118】
図13(B)は、コミュニティバス10Bの開閉扉12が開放されている状態で、コミュニティバス10Bに3名の乗客Pが乗車しようとしており、それぞれの移動量を計算すると、乗客P(B1)の移動量は4、乗客P(B2)の移動量は5、乗客P(B3)の移動量は4となり、合計移動量が13で、これが優先度13となる。
【0119】
図13(C)は、コミュニティバス10Cに5名の乗客Pが乗車しており、それぞれの移動量を計算すると、着座中の乗客P(C1)、乗客P(C4)、乗客P(C5)は0、立った状態の2名の乗客P(C2)及び乗客P(C3)は、それぞれ移動量が2及び3となり、合計移動量が5で、これが優先度5となる。
【0120】
以上の結果、通常の計算では、表示優先度は、コミュニティバス10B→10C→10Aの順となるが、開閉扉12が開放されているということは、コミュニティバス10Bは停車中であるため、乗客Pがコミュニティバス10Bの移動中の揺れを要因とする移動がないと判断し、コミュニティバス10Bの優先度を0と判断する。当然であるが、コミュニティバス10が静止していたとしても、乗客Pが移動することで車内構造の凹凸等に躓き、転倒する可能性があるため、開閉扉12の状況によらず、優先度を算出してもよい。
【0121】
この結果、表示優先度は、コミュニティバス10C→10A→10Bの順となり、相対的に乗客の転倒等、リスクの高い車室内の映像を表示デバイス34に優先して表示することができる。
【0122】
以上、第1の実施の形態によれば、表示領域数が限定(第1の実施の形態では4画面)されている表示デバイス34において、複数台(第1の実施の形態では、100台)のコミュニティバス10の車室内の画像を表示する場合、単純に、一定時間毎に切り替えるのみならず、車室内の乗客Pの移動量に応じて優先度を計算し、当該優先度に応じて、優先して表示デバイス34に表示する。優先度は、コミュニティバス10に乗車している乗客Pの車内相対移動量をファクタとすることができ、周期的に一定時間の車内の全乗客Pが移動した移動量の総和を算出し加算することで、優先度を確定する。
【0123】
これにより、例えば、車室内における乗客の転倒等のリスクが高いコミュニティバス10を優先して監視することができる。
【0124】
また、第1の実施の形態及び各実施例(実施例1~実施例3)によれば、以下のバリエーションが可能である。
【0125】
コミュニティバス10の車室内を表示し、前回表示からの経過時間が0となった時点で、コミュニティバス10の乗客Pの車内相対移動量も0にリセットすることが好ましい。
【0126】
優先度は、コミュニティバス10の車室内を表示し、乗客数と前回表示からの経過時間の積に対し、比例して増加するが、例えば経過時間を変数とする指数関数や対数関数を用いて算出してもよい。
【0127】
優先度は、コミュニティバス10の車室内を表示し、乗客数と前回表示からの経過時間の積に対し、比例して増加するが、例えば乗客数に依らず経過時間に対して比例して優先度が増加する数式を用いて算出してもよい。
【0128】
車内相対移動量に、コミュニティバス10のサイズあたりの乗客の移動を用いてもよい。
【0129】
コミュニティバス10の加速度センサを用い、当該加速度センサから算出される一般的な人モデル移動量で、乗客の観測移動量を補正した値を、車内相対移動量に用いることが好ましい。
【0130】
車両情報を用い、コミュニティバス10内の乗客Pの車内相対移動量の総和でなくてもよい。例えば、扉開放中は乗降に伴う移動があるため、該当する乗客の移動量を加算せず、その他の領域で発生している移動量の総和としてもよい。
【0131】
車内の特定の位置について、優先度の算出に含めない位置を設けても良い。例えば、コミュニティバス10を運営する事業者の従業員が同乗する場合に、事前に設定された前記従業員の滞在エリアから前記従業員が車内外の安全確認のために移動することについては危険な移動と判断せず、不必要な優先度の増加を防止することができる。
【0132】
(第2の実施の形態)
【0133】
第1の実施の形態では、単純に乗客Pの移動量を累積して、各コミュニティバス10の優先度を決定していた。
【0134】
一方、第2の実施の形態では、コミュニティバス10の運行中の様々な状況や乗客の状況に応じて、カメラユニット16による撮影に基づいて検出した乗客Pの移動量に重み付けをし、運行時状況及び乗客Pの状況に応じた移動量の補正を行うものである。
【0135】
図14は、第2の実施の形態に係る車両監視システムにおいて、車室内の監視を実行するための処理(重み付け付加)を機能別に分類した制御ブロック図である。
【0136】
第2の実施の形態において、
図3(第1の実施の形態)と同一構成部分については、同一の符号の末尾に「A」を付し、その構成の説明を省略する。
【0137】
図14に示される如く、優先度計算部58Aで計算した優先度(リスク値)は、重み付け補正部72に送出される。
【0138】
重み付け補正部72には、車両状況特定部73及び重み付けデータベース74が接続されている。車両状況特定部73は、運行情報及び顧客情報から車両状況を特定し、重み付け補正部72へ送出する。
【0139】
重み付け補正部72には、複数種類の車両状況や乗客状況に分類された重み付け要因と、重み付け要因に対する重みと、が関連付けられたテーブルが格納されている。
【0140】
重み付け補正部72では、(2)式に基づき、重み付けデータベース74から読み出した種類による重み付け補正を実行し、その結果を優先度送出部60Aへ送出する。
【0141】
【0142】
ここで、重み付け補正部72には、設定情報記憶部76が接続されている。重み付け補正部72では、重み付けデータベース74から取り込む重み付けの種類を、設定情報記憶部76に記憶された重み付け種に基づいて決定する。設定情報記憶部76では、重み付けの種類の少なくとも一つが設定により記憶可能であり、設定は適宜変更可能である。
【0143】
各種類の重み付けについては、実施例4~実施例9において詳細に説明する。
【0144】
(実施例4)
【0145】
図15は、コミュニティバス10が予め定めた運行ルートに従って運行(走行)している状態を示す平面図である。
【0146】
図15に示される如く、コミュニティバス10が走行する道路80(片側1車線の道路)に沿って、停留所A及び停留所Bが存在しており、基本的にはコミュニティバス10は、当該停留所A及び停留所Bで停車する。
【0147】
この停車に基づき、例えば、コミュニティバス10は停車までは減速し、発車後は加速することになるため、通常走行(定速走行)に比べて、乗客Pにかかる負担(転倒等)のリスクが高くなる。また、乗客Pの一部は、降車する準備のため、着座状態から立ちあがる場合もある。
【0148】
そこで、実施例4では、停留所A及び停留所Bの近傍に、リスクエリアRAを設けて、当該リスクエリアRAに進入することを予測して、事前にそれぞれ重み付けを行う。例えば、周囲環境に応じて、停留所A(地点A)では重みを3.0に設定し、停留所B(地点B)では、重みを2.0に設定することで、当該リスクエリアRAに進入する前から重み付けが実行される。表1は地点A及び、地点Bを含めた、各地点の重み付け設定例である。なお、重み付けの数値は適宜変更可能である。
【0149】
【0150】
各地点(リスクエリアRA)に到達したコミュニティバス10では、実際に減速や加速、或いは、乗客Pの立ち上がり等がなくとも、各地点(リスクエリアRA)に到達した時点から、(3)式に基づき、重み付けを実行する。
【0151】
【0152】
図15は、コミュニティバス10が運行中に、停留所A及び停留所Bでそれぞれ乗客Pの数及び位置が異なることを想定したものである。
【0153】
停留所Aの手前では、2名の乗客Pに対して、以下のような重み付けが実行される。
【0154】
(乗客P(A1)) 移動量1×重み3.0
(乗客P(A2)) 移動量0×重み3.0
停留所Bの手前では、3名の乗客Pに対して、以下のような重み付けが実行される。
(乗客P(B1)) 移動量4×重み2.0
(乗客P(B2)) 移動量5×重み2.0
(乗客P(B3)) 移動量4×重み2.0
【0155】
停留所Bを通過した地点では、5名の乗客Pに対して、以下のような重み付けが実行される。
【0156】
(乗客P(C1)) 移動量0×重み1.0
(乗客P(C2)) 移動量2×重み1.0
(乗客P(C3)) 移動量3×重み1.0
(乗客P(C4)) 移動量0×重み1.0
(乗客P(C5)) 移動量0×重み1.0
【0157】
実施例4では、表示切替周期に応じて、重みが適用されるリスクエリアRAに到着した後からの監視となるが、到着を予測することで重みが設定されたリスクエリアRAに進入する場面から表示切替を実行することができる。
【0158】
(実施例5)
【0159】
実施例5では、車両の状態に応じて重みを設定することで、車両の状態に起因する乗客Pのリスクをいち早く察知し、監視対象(表示対象)とすることができる。
【0160】
車両の状態と重みとの関係を、表2に示す。なお、重み付けの数値は適宜変更可能である。
【0161】
【0162】
コミュニティバス10の状態が予め定めた状態(表2参照)になると、(4)式に基づき、重み付けを実行する。
【0163】
【0164】
(実施例6)
【0165】
実施例6では、車両の挙動に応じて重みを設定することで、車両の挙動に起因する乗客Pのリスクをいち早く察知し、監視対象(表示対象)とすることができる。
【0166】
車両の状態と重みとの関係を、表3に示す。なお、重み付けの数値は適宜変更可能である。
【0167】
【0168】
コミュニティバス10の挙動が予め定めた状態(表3参照)になると、(5)式に基づき、重み付けを実行する。
【0169】
コミュニティバス10の挙動が予め定めた状態(表3参照)の複数に該当する場合は、例えば条件に合致した中で最も大きい重みを適用してもよく、また、該当する重みの和を用いても良く、また、該当する重みの平均(算術平均、加重平均、及び二乗平均等)を用いても良く、また、該当する重みの積を用いても良い。
【0170】
【0171】
図16は、第2の実施の形態の実施例6に係るコミュニティバス10の車室内の平面図である。
【0172】
図16(A)及び(B)は、前述した
図9(A)及び(B)である。
【0173】
すなわち、
図16(A)は、コミュニティバス10Aに2名の乗客Pが乗車しており、一方の乗客P(A1)は立った状態で、黒点から一定時間経過後に点線矢印のように移動しており、他方の乗客P(A2)は着座した状態で一定時間前後に移動はない。点線矢印の長さが移動量に比例しており、
図16(A)の乗客P(A1)は移動量1となり、乗客P(A2)は移動量0となり、合計移動量が1で、これが優先度1となる。
【0174】
図16(B)は、コミュニティバス10Bに3名の乗客Pが乗車しており、それぞれの移動量を計算すると、着座中の乗客P(B1)の移動量は0、立った状態の2名の乗客P(B2)、乗客P(B3)は、それぞれ移動量が5及び4となり、合計移動量が9で、これが優先度9となる。
【0175】
一方、
図16(C)は、コミュニティバス10Cに5名の乗客Pが乗車している状態で、急減速が発生している。
【0176】
それぞれの移動量を計算すると、急減速に起因して、着座中の乗客P(C1)、乗客P(C4)、乗客P(C5)は移動量1、立った状態の2名の乗客P(C2)及び乗客P(C3)は、それぞれ移動量が1及び2となり、合計移動量が6であるが、
図16(C)のコミュニティバス10は急減速状態であるため、表3に基づき、それぞれの移動量に重み3を乗算する。これが優先度18となる。
【0177】
(実施例7)
【0178】
実施例7では、コミュニティバス10の車室内を区画して、乗客Pの位置に応じて重みを設定することで、乗客がどのエリアにいるか(乗客位置)に起因する乗客Pのリスクをいち早く察知し、監視対象(表示対象)とすることができる。
【0179】
実施例7では、コミュニティバス10の車室内の区画の基準として開閉扉12の幅方向中央を中心とした半径によって設定した。すなわち、中心から半径1m未満の範囲を最大の重み、中心から半径2mを超える範囲を最小の重みとした。
【0180】
乗客Pの位置と重みとの関係を、表4に示す。表4では、1m未満が重み3.0、1m以上2m未満が重み2.0、2m超が重み1.0としているが、この数値に限定されるものではない。
【0181】
【0182】
コミュニティバス10の車室内の乗客Pの位置が予め定めた状態(表4参照)になると、(6)式に基づき、重み付けを実行する。
【0183】
【0184】
図17(A)及び(B)に基づき、コミュニティバス10の車室内で乗客Pが移動したときの、乗客位置に基づく重み付けの実行例を示す。
【0185】
図17(A)の乗客P(A1)は移動量1であるが、エリアβでの移動なので、重み2.0を乗算して、2となり、乗客P(A2)は移動量2であるが、エリアγでの移動なので重み1.0を乗算して、2となり、乗客P(A3)は移動量0となり、合計移動量が4で、これが優先度4となる。
【0186】
図17(B)の乗客P(B1)の移動量3であるが、エリアαでの移動なので、重み3.0を乗算して、9となり、乗客P(B2)は移動量2であるが、エリアαでの移動なので、重み3.0を乗算して、6となり、乗客P(B3)は移動量2であるが、エリアβでの移動なので、重み2.0を乗算して、4となり、乗客P(B4)は移動量2であるが、エリアβでの移動なので、重み1.0を乗算して、6となり、乗客P(B5)は移動量0となり、合計移動量が21で、これが優先度21となる。
【0187】
次に、
図18に基づき、一人の乗客Pがエリアを跨いで車室内を移動した場合の重み付けに際し、エリアは、以下の条件成立した場合に設定することが可能である。
【0188】
(エリア設定1) 表示切替時間の開始時に滞在したエリア
(エリア設定2) 表示切替時間の終了時に滞在したエリア
(エリア設定3) 表示切替期間(インタバル)の平均値が最も大きいエリア
(エリア設定4) 表示切替期間(インタバル)中に最も滞在したエリア
(エリア設定5) 表示切替期間の内の移動開始位置となるエリア
(エリア設定6) 表示切替期間の内の移動終了位置となるエリア
【0189】
図18に示される如く、エリア設定1及びエリア設定5の場合は、移動開始が危険エリアの場合により優先度を高く設定できるため、もとから危険エリアに存在している乗客Pに着目することが可能となる。
【0190】
図18に示される如く、エリア設定2及びエリア設定6の場合は、表示切替時期に存在していた位置に基づいて優先度を計算するため、コミュニティバス10の車室内の映像が表示された状況を最も反映した優先度の設定が実現できる。
【0191】
図18に示される如く、エリア設定3及びエリア設定4の場合は、周期的な優先度計算間隔の開始時又は終了時に、たまたま一瞬だけ危険エリアに存在していた場合でも、優先度の過剰又は過小に計算することなく、移動軌跡を信頼性高く反映した優先度の設定が実現できる。
【0192】
(実施例8)
【0193】
実施例8では、乗客Pの種類に応じて重みを設定することで、乗客Pの種類に起因する乗客Pのリスクをいち早く察知し、監視対象(表示対象)とすることができる。
【0194】
乗客Pの種類と重みとの関係を、表5に示す。なお、重み付けの数値は適宜変更可能である。
【0195】
【0196】
コミュニティバス10に乗車している乗客Pの種類に応じて(表3参照)、(5)式に基づき、重み付けを実行する。
【0197】
【0198】
図19は、第2の実施の形態の実施例7に係るコミュニティバス10の車室内の平面図である。
【0199】
図19(A)は全ての乗客P(A1)、P(A2)及びP(A3)が成人男性(重み付け無=1)であり、(B)は着座中の乗客P(B1)が成人、立っている乗客P(B2)が子供、及び立っている乗客P(B2)が高齢者である。
【0200】
すなわち、
図19(A)は、乗客P(A1)が移動量2、乗客P(A2)は移動量2で、それぞれ重みは1となり、合計移動量が4で、これが優先度4となる。
【0201】
一方、
図19(B)は、着座中の乗客P(B1)の移動量は0、立った状態の乗客P(B2)は子供であり、移動量が2で、重み3を乗算し6となり、乗客P(B3)は高齢者であり、移動量が2で、重み2を乗算し4となり、合計移動量が10となり、これが優先度10となる。
【0202】
なお、乗客Pが成人であっても、例えば、画像解析により特異な物(例えば、杖等)を抽出した場合は、当該特異な物に応じた重み(例えば、杖の場合は高齢者と同等の重み)を付与するようにしてもよい。
【0203】
(実施例9)
【0204】
実施例9は、実施例4~実施例8の全ての重み付けの種類を統括して重み付けを行ったものである。
【0205】
(8)式に示すように、(3)式~(7)式の重み付け結果を加算すればよいが、全てを加算せず、2以上のリスク(重み)を組み合わせるといった、取捨選択を行ってもよい。
【0206】
【0207】
なお、表1~表5に示す重みは一例であり、運行時間、運行地域等によって変更するようにしてもよい。
【0208】
(システム構築例1)
【0209】
上記第1の実施の形態及び第2の実施の形態(各実施例を含む)では、
図20(A)に示される如く、各コミュニティバス10に搭載した監視制御装置18において、移動量を計算し、かつ優先度(重み付けを含む)を計算し、監視サーバ30へ通知し、表示デバイス34の表示切替時期を制御するようにした。このようなシステムでの通信シーケンスを
図20(B)に示す。
【0210】
(システム構築例2)
【0211】
これに対して、システム構成としては、
図21(A)に示される如く、各コミュニティバス10からはカメラユニット16で撮影した画像(カメラ撮影情報)を監視サーバ30へ送信し、監視サーバ30において、撮影画像の解析、移動量の計算、及び優先度(重み付けを含む)の計算を行い、表示デバイス34の表示切替時期を制御するようにしてもよい。このようなシステムでの通信シーケンスを
図21(B)に示す。
【0212】
(第3の実施の形態)
【0213】
上記第1の実施の形態及び第2の実施の形態(各実施例を含む)では、移動体としてコミュニティバス10を一例に説明したが、
図22に示される如く、所謂大型バス82(例えば、定員数が40~50人程度)や電車のような移動体であっても、本発明は適用可能である。この場合、5~10人程度の乗客を撮影対象として、複数のカメラユニット16を設置し、それぞれのカメラユニット16を独立した優先度計算領域としてもよいし(カメラユニット16毎に監視制御装置18を設置する必要がある。)、一部又は全部のカメラユニット16で撮影した画像から得られる移動量の合計値を優先度としてもよい(集約した数の監視制御装置18を設置すればよい。
【0214】
なお、上記コミュニティバス10と大型バス82を含め、車室内の広さは様々であるため、車両サイズに基づいて、移動量を補正するようにしてもよい。
【0215】
また、何れかのコミュニティバス10において、他のセンサ等で明確に異常事態が発生したことを検出した場合は、移動量に基づく優先度に、さらに優先して、当該異常事態が発生したコミュニティバス10の車室内を表示するようにしてもよい。
【0216】
本発明において、自動運転を前提としているため、撮影部として自動運転制御システムとして必要なデバイスを利用しているが、本発明を実現するために、後付けしたカメラの映像を利用するようにしてもよい。
【0217】
なお、上記では加速度の対象としてコミュティバス10について説明したが、個々の乗客Pの移動にも加速度が発生する。
【0218】
そこで、乗客Pの移動に対しても、乗客Pの加速度を重み係数として優先度算出してもよい。
【0219】
具体的には、実施例7のように車両が急減速したシーンで、優先度計算部58が3秒間隔で移動量を計算している場合を考える。このとき、乗客Pが3秒間のうち初めの1秒間で大きな加速度で移動し急停止して移動量1だけ移動し、残りの2秒では全く移動しない場合に、全体の移動量1として算出される。一方、前記乗客Pとは別の乗客P’が3秒間のうち、小さい加速度で移動し始め、その後、小さい加速度で静止して移動量1だけ移動した場合も、全体の移動量1として算出される。このように、車室内で急峻な挙動を示唆する大きな加速度を検出した場合は、車内の異常発生のリスクが高いと考えられ、優先度が高く設定されることが望ましいが、短時間に大きな加速度で乗客Pが車内を移動したとしても、移動量の計算間隔の時間内に小さい加速度で他の乗客Pが移動している場合には、大きな加速度で移動した乗客Pは、優先度が高く算出されることがないため、危険の発生を監視員へ通知できない場合が発生する可能性がある。
【0220】
この問題を解決するためには、優先度計算部58が乗客Pの移動量を算出する時間間隔を短くすると、瞬時的な移動(加速度の大きい移動)を把握しやすくなるが、一方で正常な姿勢変化(足の組み換えや荷物取り出しなど一般的な挙動)を危険な移動として誤判定しやすくなり、本来抽出したい異常挙動が埋もれてしまう可能性がある。
【0221】
そこで、過去の移動量を用いて、乗客Pの時間平均を算出し、算出した時間平均の移動量を優先度算出用の移動量に用いることで、正常な姿勢変化の誤判定を抑制しつつ、瞬時的な移動(加速度の大きい移動)を把握し、車内の異常発生リスクに応じた優先度の設定が可能となる。
【符号の説明】
【0222】
P 乗客P、S 車両監視システム、10 コミュニティバス、12 開閉扉、14 シート、15 ID読取デバイス、16 カメラユニット、18 監視制御装置、20 マイクロコンピュータ、20A CPU、20B RAM、20C ROM、20D 入出力部(I/O)、20E バス、22 大容量記憶装置、24 ネットワークI/F、25 通信部、26 ネットワーク、28 予約管理システム、28A 予約データベース、30 監視サーバ、32 マイクロコンピュータ、32A CPU、32B RAM、32C ROM、32D 入出力装置(I/O)、32E バス、34 表示デバイス、36 大容量記憶装置、38 ネットワークI/F、39 通信部、50 画像取得部、52 画像解析部、54 乗客抽出部、56 乗客別移動量計算部、58 優先度計算部、60 優先度送出部、62 車両別優先度取得部、64 優先度比較部、66 表示車両選択部、68 表示切替タイマ、70 表示切替指示部、72 重み付け補正部、74 重み付けデータベース、76 設定情報記憶部、80 道路、A 停留所、B 停留所、RA リスクエリア