IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社エヌケービーの特許一覧

特開2024-103328画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法
<>
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図1
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図2
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図3
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図4
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図5
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図6
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図7
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図8
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図9
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図10
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図11
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図12
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図13
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図14
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図15
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図16
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図17
  • 特開-画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024103328
(43)【公開日】2024-08-01
(54)【発明の名称】画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法
(51)【国際特許分類】
   H04N 7/18 20060101AFI20240725BHJP
   H04M 11/00 20060101ALI20240725BHJP
【FI】
H04N7/18 D
H04N7/18 K
H04N7/18 V
H04M11/00 301
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023007602
(22)【出願日】2023-01-20
(71)【出願人】
【識別番号】390023168
【氏名又は名称】株式会社エヌケービー
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】久保田 充男
(72)【発明者】
【氏名】藤原 拓
【テーマコード(参考)】
5C054
5K201
【Fターム(参考)】
5C054CA04
5C054CC02
5C054CE00
5C054DA07
5C054EA03
5C054EA05
5C054EA07
5C054FC12
5C054FE13
5C054FE16
5C054FE17
5C054FE28
5C054GB02
5C054GB05
5C054HA19
5C054HA27
5K201BA02
5K201CA04
5K201CB10
5K201CB16
5K201CC01
5K201CC04
5K201DC07
5K201EA07
5K201EB07
5K201EC05
5K201EC06
5K201ED04
5K201EF04
5K201EF10
(57)【要約】
【課題】通信コストがカメラ台数に正比例しないよう効率的に、カメラ画像を送信可能な画像送信システム、画像監視装置、画像送信方法及び画像送信プログラムを提供すること。
【解決手段】画像送信システムは、公共交通機関の車両に取り付けられたカメラ2と、前記カメラ2それぞれに対応し、前記カメラ2が撮影した画像を無線通信にて送信する複数の第1送信部と、前記第1送信部が送信した前記画像を、移動体通信網を介して送信する第2送信部とを備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
公共交通機関の車両に取り付けられたカメラと、
前記カメラそれぞれに対応し、前記カメラが撮影した画像を無線通信にて送信する複数の第1送信部と、
前記第1送信部が送信した前記画像を、移動体通信網を介して送信する第2送信部と
を備える画像送信システム。
【請求項2】
前記カメラと前記第1送信部とは一体化したカメラユニットを構成している
請求項1に記載の画像送信システム。
【請求項3】
前記カメラユニットは、直管型蛍光灯に取付可能であり、前記直管型蛍光灯への供給電源を利用して動作するようしてある
請求項2に記載の画像送信システム。
【請求項4】
前記車両は鉄道車両であり、無線通信は無線LAN、又は、近距離無線通信を用いた通信であり、移動体通信網はLTE(登録商標)通信ネットワークである
請求項1から請求項3の何れか一項に記載の画像送信システム。
【請求項5】
公共交通機関の車両に取り付けられた複数のカメラ、前記カメラそれぞれに対応し、前記カメラが撮影した画像を無線通信にて送信する複数の第1送信部、及び、前記第1送信部が送信した前記画像を、移動体通信網を介して送信する第2送信部を有する画像送信システムより、前記画像を、受信する受信部と、
受信した前記画像の異常を検知する検知部と、
前記検知部が異常を検知した場合、異常通知を出力する通知部と
を備える画像監視装置。
【請求項6】
前記異常通知は、検知した異常内容と検知対象となった画像とを含む
請求項5に記載の画像監視装置。
【請求項7】
前記検知部は、前記画像内に不審人物、急病人、又は、痴漢行為若しくは暴力行為を含む迷惑行為を行っている人物を認識した場合に、異常を検知したと判定する
請求項5又は請求項6に記載の画像監視装置。
【請求項8】
前記車両は鉄道車両であり、列車番号が対応付けられた前記画像を受信し、複数の前記画像を、列車番号ごとにタイル表示を行う表示部を備える
請求項5又は請求項6に記載の画像監視装置。
【請求項9】
公共交通機関の車両に取り付けられた複数のカメラそれぞれが撮影した画像を無線通信にて送信し、
送信された前記画像を、移動体通信網を介して送信する
画像送信方法。
【請求項10】
公共交通機関の車両に取り付けられた複数のカメラそれぞれが撮影した画像を無線通信にて送信し、
送信された前記画像を、移動体通信網を介して送信する
処理をコンピュータに行わせる画像送信プログラム。
【請求項11】
公共交通機関の車両に取り付けられた複数のカメラそれぞれが撮影した画像を、前記カメラそれぞれに対応する複数の第1送信部が無線通信にて送信し、
受信した複数の前記画像を、第2送信部が移動体通信網により送信し、
受信した複数の前記画像に基づいて、サーバが前記車両内の状況を分析する
分析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラで撮影された画像を送信する画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法に関する。
【背景技術】
【0002】
監視カメラシステムにおいては、カメラケーブルを切断されてしまうリスクがある。そのため、特許文献1には、無線基地局を介してサービス制御局と無線電話端末とが定常的に制御信号による応答を行う簡易型携帯電話システムを使用した監視カメラシステムが提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平9-172504号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術においては、カメラ毎に無線端末を設けている。そのため、通信コストがカメラ台数に比例して増大してしまう。
【0005】
本発明はこのような状況に鑑みてなされたものである。その目的は、通信コストがカメラ台数に正比例しないよう効率的に、カメラ画像を送信可能な画像送信システム、画像監視装置、画像送信方法、画像送信プログラム及び分析方法を提供することである。
【課題を解決するための手段】
【0006】
本願の一態様に係る画像送信システムは、公共交通機関の車両に取り付けられたカメラと、前記カメラそれぞれに対応し、前記カメラが撮影した画像を無線通信にて送信する複数の第1送信部と、前記第1送信部が送信した前記画像を、移動体通信網を介して送信する第2送信部とを備える。
【発明の効果】
【0007】
本願の一態様にあっては、カメラ画像を効率的に送信可能となる。
【図面の簡単な説明】
【0008】
図1】監視システムの構成例を示す説明図である。
図2】集配信装置のハードウェア構成例を示すブロック図である。
図3】車両内におけるカメラ配置の例を示す平面図である。
図4】サーバのハードウェア構成例を示すブロック図である。
図5】監視端末のハードウェア構成例を示すブロック図である。
図6】カメラDBの例を示す説明図である。
図7】画像DBの例を示す説明図である。
図8】編成DBの例を示す説明図である。
図9】カメラDBの例を示す説明図である。
図10】画像DBの例を示す説明図である。
図11】検知画像DBの例を示す説明図である。
図12】学習モデルの入出力例を示す説明図である。
図13】学習モデル生成処理の手順例を示すフローチャートである。
図14】画像配信処理の手順例を示すフローチャートである。
図15】判定処理の手順例を示すフローチャートである。
図16】通知画面の例を示す説明図である。
図17】検知画像DBの例を示す説明図である。
図18】判定処理の手順例を示すフローチャートである。
【発明を実施するための形態】
【0009】
(実施の形態1)
以下実施の形態を、図面を参照して説明する。図1は監視システムの構成例を示す説明図である。監視システム100は集配信装置1、カメラ2、サーバ3、監視端末4及びマルチディスプレイシステム5を含む。集配信装置1、サーバ3、監視端末4、マルチディスプレイシステム5はネットワークNにより、互いに通信可能に接続されている。集配信装置1及びカメラ2は公共交通機関の車両、例えば、鉄道車両に設置される。監視端末4及びマルチディスプレイシステム5は監視センタに設置される。なお、画像送信システムは、監視システム100を構成するサブシステムであり、少なくとも集配信装置1及びカメラ2を含む。
【0010】
集配信装置1は1又は複数車両ごとに設置される。集配信装置1は無線LAN(Local Area Network)のアクセスポイント機能を有しており、無線LAN(近距離無線通信)を介して、カメラ2より撮影した画像を収集する。無線LANは例えば、WiFi(登録商標)規格に則したネットワークを構築する。集配信装置1は収集した画像を携帯電話網、例えばLTE(登録商標:Long Term Evolution)通信ネットワークを介して、サーバ3へ送信する。
【0011】
カメラ2は各車両に複数台、設置される。カメラ2は直管型蛍光灯に取付可能となっている。カメラ2は蛍光灯へ供給される電源(供給電源)を利用して動作する。カメラ2は直管型LED(Light Emitting Diode)ランプに取り付け可能となっていてもよい。カメラ2は無線LANクライアントを介して、撮影した画像を集配信装置1へ送信する。カメラ2は無線LAN通信部(第1送信部)を備えるカメラユニットであってもよい。無線LANクライアント又はカメラ2から集配信装置1へ無線LANの電波が届きにくい場合は、中継ポイントを設置するか、又は、アドホックモードを用いて、他の無線LANクライアント又はカメラ2を介して、送信する。カメラ2は撮影した画像を記憶可能な記憶部を備えていてもよい。例えば記憶部はmicroSD(Secure Digital)カードを用いて構成する。なお、以下の説明において、無線LAN通信部を備えるカメラユニットについても、カメラ2と呼ぶ。また、無線LANクライアントを介してカメラ2が通信を行う場合においても、カメラ2が通信を行うかのように記載する。
【0012】
サーバ3は集配信装置1から収集した画像を解析し、車両を監視する。車両内での異常発生を検知した場合、集配信装置1は監視端末4へ異常通知を行う。サーバ3はサーバコンピュータ、ワークステーション、PC(Personal Computer)等で構成する。また、サーバ3を複数のコンピュータからなるマルチコンピュータ、ソフトウェアによって仮想的に構築された仮想マシン又は量子コンピュータで構成しても良い。さらに、サーバ3の機能をクラウドサービスで実現してもよい。
【0013】
監視端末4は、集配信装置1が収集したカメラ2の画像を表示する。監視端末4は、ノートパソコン、パネルコンピュータ、タブレットコンピュータ、スマートフォン等で構成する。
【0014】
マルチディスプレイシステム5は行方向及び列方向に配置された複数の表示装置(ディスプレイ)を用いて複数画像をタイル表示可能なシステムである。マルチディスプレイシステム5は複数のカメラ2からの画像を同時に表示することが可能である。例えば、マルチディスプレイシステムは、運行している列車番号ごとに画像を表示する。
【0015】
図2は集配信装置のハードウェア構成例を示すブロック図である。集配信装置1は制御部11、主記憶部12、補助記憶部13、集信部15及び配信部16を含む。制御部11、主記憶部12、補助記憶部13、集信部15及び配信部16はバスBにより接続されている。
【0016】
制御部11は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の演算処理装置を有する。制御部11は、補助記憶部13に記憶された制御プログラム1P(プログラム、プログラム製品)を読み出して実行することにより、集配信装置1に係る種々の情報処理、制御処理等を行う。
【0017】
主記憶部12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等である。主記憶部12は主として制御部11が演算処理を実行するために必要なデータを一時的に記憶する。
【0018】
補助記憶部13はハードディスク又はSSD(Solid State Drive)等であり、制御部11が処理を実行するために必要な制御プログラム1Pや各種DB(Database)を記憶する。補助記憶部13は、カメラDB131、画像DB132及び検知画像DB133を記憶する。また、補助記憶部13は学習モデル14を記憶する。本実施の形態において、検知画像DB133及び学習モデル14は不要であり、後述の実施の形態において説明する。
【0019】
集信部15は無線LANのアクセスポイント機能を有し、複数のカメラ2と通信を行う。集信部15は、複数のカメラ2それぞれが撮影した画像を収集する。
【0020】
配信部16(第2送信部)はLTE通信ネットワーク(移動体通信網)に接続して、サーバ3と通信を行う。配信部16は、集信部15が収集したカメラ2が撮影した画像を、サーバ3へ送信する。
【0021】
図3は車両内におけるカメラ配置の例を示す平面図である。車両6は進行左右にそれぞれ4つの扉61を有している。ひとつの扉61上方に、集配信装置1が格納されている。また、各扉61の付近に設置されている蛍光灯62にカメラ2が取り付けられている。
【0022】
図4はサーバのハードウェア構成例を示すブロック図である。サーバ3は制御部31、主記憶部32、補助記憶部33、通信部35及び読み取り部36を含む。制御部31、主記憶部32、補助記憶部33、通信部35及び読み取り部36はバスBにより接続されている。
【0023】
制御部31は、一又は複数のCPU、MPU、GPU等の演算処理装置を有する。制御部31は、補助記憶部33に記憶された制御プログラム3P(プログラム、プログラム製品)を読み出して実行することにより、受信部、検知部、通知部などの機能部を実現する。
【0024】
主記憶部32は、SRAM、DRAM、フラッシュメモリ等である。主記憶部32は主として制御部31が演算処理を実行するために必要なデータを一時的に記憶する。
【0025】
補助記憶部33はハードディスク又はSSD等であり、制御部31が処理を実行するために必要な制御プログラム3Pや各種DBを記憶する。補助記憶部33は、編成DB331、カメラDB332、画像DB333及び検知画像DB334を記憶する。また、補助記憶部33は学習モデル34を記憶する。補助記憶部33はサーバ3と別体であって外部接続された外部記憶装置であってもよい。補助記憶部33に記憶する各種DB等を、サーバ3とは異なるデータベースサーバやクラウドストレージに記憶してもよい。
【0026】
通信部35はネットワークNを介して、集配信装置1及び監視端末4と通信を行う。また、制御部31が通信部35を用い、ネットワークN等を介して他のコンピュータから制御プログラム3Pをダウンロードし、補助記憶部33に記憶してもよい。
【0027】
読み取り部36はCD(Compact Disc)-ROM及びDVD(Digital Versatile Disc)-ROMを含む可搬型記憶媒体3aを読み取る。制御部31が読み取り部36を介して、制御プログラム3Pを可搬型記憶媒体3aより読み取り、補助記憶部33に記憶してもよい。また、半導体メモリ3bから、制御部31が制御プログラム3Pを読み込んでもよい。
【0028】
図5は監視端末のハードウェア構成例を示すブロック図である。監視端末4は制御部41、主記憶部42、補助記憶部43、通信部44、入力部45及び表示部46を含む。各構成はバスBで接続されている。
【0029】
制御部41は、一又は複数のCPU、MPU、GPU等の演算処理装置を有する。制御部41は、補助記憶部43に記憶された制御プログラム4P(プログラム、プログラム製品)を読み出して実行することにより、種々の機能を提供する。
【0030】
主記憶部42は、SRAM、DRAM、フラッシュメモリ等である。主記憶部42は主として制御部41が演算処理を実行するために必要なデータを一時的に記憶する。
【0031】
補助記憶部43はハードディスク又はSSD等であり、制御部41が処理を実行するために必要な各種データを記憶する。補助記憶部43は、監視端末4と別体であって、外部接続された外部記憶装置であってもよい。補助記憶部43に記憶する各種DB等を、データベースサーバやクラウドストレージに記憶してもよい。
【0032】
通信部44はネットワークNを介して、サーバ3と通信を行う。また、制御部41が通信部44を用い、ネットワークN等を介して他のコンピュータから制御プログラム4Pをダウンロードし、補助記憶部43に記憶してもよい。
【0033】
入力部45はキーボードやマウスである。表示部46は液晶表示パネル等を含む。表示部46はカメラ2が撮影した画像などを表示する。なお、入力部45と表示部46とを一体化し、タッチパネルディスプレイを構成してもよい。また、監視端末4は外部の表示装置に表示を行ってもよい。
【0034】
次に監視システム100が使用するデータベースについて説明する。まず、集配信装置1が備えるデータベースについて説明する。図6はカメラDBの例を示す説明図である。カメラDB131は集配信装置1が画像を収集するカメラ2についての情報を記憶する。カメラDB131はカメラID列、号車列及び位置列を含む。カメラID列はカメラ2を特定可能なカメラIDを記憶する。カメラIDは、カメラ2の備える通信部のMACアドレス(Media Access Control address)としてもよい。号車列はカメラ2が設置されている編成の号車番号を記憶する。位置列はカメラ2が設置されている車両内での位置を記憶する。
【0035】
図7は画像DBの例を示す説明図である。画像DB132はカメラ2が撮影した画像の属性などを記憶する。画像DB132はカメラID列、開始日列、開始時刻列、終了日列、終了時刻列及び画像列を含む。カメラID列はカメラIDを記憶する。開始日列は撮影を開始した日付を記憶する。開始時刻列は撮影を開始した時刻を記憶する。終了日列は撮影を終了した日付を記憶する。終了時刻列は撮影を終了した時刻器を記憶する。画像列は撮影した画像を記憶する。なお、画像の実体はファイルとして補助記憶部13に記憶し、画像列に当該ファイル名を記憶してもよい。また、記憶する画像は動画であるが、カメラ2が撮影したフレーム速度や解像度を落とし、データ容量を削減した上で、記憶してもよい。
【0036】
続いて、サーバ3が備えるデータベースについて説明する。図8は編成DBの例を示す説明図である。編成DB331は車両編成についての情報を記憶する。編成DB331は会社列、編成ID列、両数列及び集配装置列を含む。会社列は車両を運行している会社、例えば鉄道会社を特定する会社IDを記憶する。編成ID列は編成を特定可能な編成IDを記憶する。(会社ID+編成ID)又は編成IDにより、車両編成を一意に特定可能となる。両数列は編成の車両数を記憶する。集配装置列は編成が備えている集配装置の識別情報、例えば、LTE通信ネットワークで利用する電話番号である。一編成に複数の集配装置が搭載されている場合、集配装置列は複数の識別情報を記憶する。
【0037】
図9はカメラDBの例を示す説明図である。カメラDB332は車両に搭載されているカメラ2についての情報を記憶する。カメラDB332は会社列、編成ID列、カメラID列、号車列及び位置列を含む。会社列は車両を運行している会社の会社IDを記憶する。編成ID列は編成を特定可能な編成IDを記憶する。カメラID列から位置列のそれぞれは、集配信装置1が備えるカメラDB131の同名列と同様であるから説明を省略する。
【0038】
図10は画像DBの例を示す説明図である。画像DB333はカメラ2が撮影した画像を記憶する。画像DB333は会社列、編成ID列、列車番号列、カメラID列、開始日列、開始時刻列、終了日列、終了時刻列及び画像列を含む。会社列は車両を運行している会社の会社IDを記憶する。編成ID列は編成を特定可能な編成IDを記憶する。カメラID列から画像列のそれぞれは、集配信装置1が備える画像DB132の同名列と同様であるから説明を省略する。
【0039】
図11は検知画像DBの例を示す説明図である。検知画像DB334は異常検知した際の画像を記憶する。カメラ2が撮影した画像から異常検知した場合、検知した時点から所定時間前の時刻から、検知した時点から所定時間後の時刻までの画像を切り出し記憶する。検知画像DB334は会社列、編成ID列、列車番号列、カメラID列、検知時刻列、種別列、検知画像列、開始日列、開始時刻列、終了日列、終了時刻列及び画像列を含む。会社列は車両を運行している会社の会社IDを記憶する。編成ID列は編成を特定可能な編成IDを記憶する。列車番号列は運行時の列車番号を記憶する。なお、列車番号は、例えば、編成ID及び検知時刻等を用いて、列車の運行指示に鉄道会社の運行システム(図示しない)から取得しておく。カメラID列は異常が検知された画像を撮影したカメラ2のカメラIDを記憶する。検知時刻列は異常が検知された画像を撮影した時刻を記憶する。種別列は検知された異常の種別を記憶する。異常の種別は、例えば、迷惑行為、急病人などである。迷惑行為は更に痴漢行為、暴力行為等に分けてもよい。検知画像列は異常が検知された画像(静止画)を記憶する。開始日列及び開始時刻列は切り出した画像の開始日、開始時刻を記憶する。終了日列及び終了時刻列は切り出した画像の終了日、終了時刻を記憶する。画像列は切り出した画像を記憶する。なお、画像の実体はファイルとして補助記憶部13に記憶し、画像列に当該ファイル名を記憶してもよい。
【0040】
次に、学習モデルについて説明する。図12は学習モデルの入出力例を示す説明図である。学習モデル34は、深層学習により生成されるニューラルネットワークである。学習モデル34は、カメラ2が撮影した画像の1フレームを入力した場合に、異常有無の判定結果を出力する。図12に示す例では、判定結果は各事象の発生可能性を数値で出力している。ここでは、正常が0.74で最大値となっているので、正常と判断される。例えば、暴力の値が最大値となっている場合は、暴力行為を検知していると判定される。
【0041】
続いて、監視システム100で行われる情報処理について説明する。図13は学習モデル生成処理の手順例を示すフローチャートである。当該処理は学習モデル34を生成する処理である。サーバ3の制御部31は訓練データを取得する(ステップS1)。訓練データは静止画像と検出すべき事象(正常、暴力行為、痴漢行為、急病人発生)を示す正解ラベルが対応付けられたデータである。制御部31は訓練データを用いて学習を行う(ステップS2)。例えば、制御部31は訓練データに含まれる静止画像を学習モデル34に入力し、学習モデル34から出力された値のうち、検出すべき事象が付されたノードの出力値が最大となるように、学習モデル34を構成するニューロン間の重み等のパラメータを最適化する。制御部31は学習に使用されていない未処理の訓練データが有るか否かを判定する(ステップS3)。制御部31は未処理の訓練データが有ると判定した場合(ステップS3でYES)、処理をステップS1へ戻し処理を継続する。制御部31は未処理の訓練データがないと判定した場合(ステップS3でNO)、学習して得た学習モデル14を記憶し(ステップS4)、処理を終了する。
【0042】
図14は画像配信処理の手順例を示すフローチャートである。画像配信処理は集配信装置1で実行される処理である。鉄道車両に集配信装置1が搭載されている場合、例えば、車両が始発駅に入線する際に、画像配信処理が開始される。画像配信処理の開始時には、カメラ2は既に動作していることが望ましい。したがって、カメラ2が蛍光灯のソケットから電源供給を受けている場合、画像配信処理が開始される前に、蛍光灯は点灯されていることが望ましい。集配信装置1の制御部11はヘルスチェックを行う(ステップS11)。制御部11はカメラDB131に記録されている全てのカメラ2と通信が行えるかを確認する。1回目で通信が行えないカメラ2がある場合、制御部11は複数回、通信を試みてもよい。所定回数、試みても、通信が行えないカメラ2がある場合、制御部11は通信エラーをサーバ3や監視センタへ通知する。制御部11は、車掌室の通信機や車掌が所持している業務用携帯通信機へ通知を行ってもよい。なお、通信が行えないカメラ2がある場合、ヘルスチェックに失敗したとして、画像配信処理を終了してもよいが、運行規則上、数台のカメラ2と通信できなくとも許される場合、画像配信処理を継続してもよい。制御部11はカメラ2から画像を受信する(ステップS12)。制御部11は受信した画像を画像DB132に記憶する(ステップS13)。制御部11は受信した画像をサーバ3へ送信する(ステップS14)。送信する画像に付加する属性は、画像DB132に記憶する属性に加えて、予め設定された編成IDもサーバ3へ送信する。制御部11は終了するか否かを判定する(ステップS15)。制御部11は終了しないと判定した場合(ステップS15でNO)、処理をステップS12へ戻す。制御部11は終了すると判定した場合(ステップS15でYES)、処理を終了する。例えば、制御部11は全てのカメラ2からの通信が途絶えた場合、終了判定する。車両の運行が終了した場合、蛍光灯は消灯されるので、カメラ2は電源断により動作しなくなるからである。制御部11はサーバ3から終了指示を受けて、処理を終了すると判定してもよい。また、折り返し運転、回送運転、乗り入れ等に伴い、車両編成に付された列車番号が変更された場合、制御部11は画像配信処理を一旦終了し、再度、実行開始してもよい。画像DB132に記憶する画像は、カメラID、撮影開始日、撮影開始時刻を対応付けて記憶する。動画像を記憶する場合、一つ動画につき録画時間の上限を定め、条件に達したら、他の動画として、画像DB132において他のレコードとして記憶するようにしてもよい。記録を終了した画像については、撮影終了日、撮影終了時刻を対応付けて記憶する。
【0043】
制御部11はカメラ2から受信した画像を画像DB132に記憶する場合、容量を削減するために、画像の解像度やフレーム速度を落としてから、記憶してもよい。サーバ3へ送信する画像についても、画像の解像度やフレーム速度を落としてから、送信してもよい。カメラ2は通信量を削減するために、集配信装置1へ送信する画像の解像度やフレーム速度を落としてもよい。
【0044】
図15は判定処理の手順例を示すフローチャートである。判定処理はサーバ3が行う処理である。判定処理は集配信装置1から画像を受信した開始され、画像を受信している間は繰り返し実行される。サーバ3の制御部31は集配信装置1から画像を受信する(ステップS21)。制御部31は受信した画像を画像DB333に記憶する(ステップS22)。容量削減のため、解像度やフレーム速度を落とした画像を画像DB333に記憶してもよい。制御部31は正常か否かを判定する(ステップS23)。制御部31は受信した画像を学習モデル34に入力し、学習モデル34の出力値を取得する。動画像の場合、学習モデル34に1フレーム毎に画像を入力する。制御部31は学習モデル34の出力値の中で、正常に対応したノードの出力値が最大で、所定の閾値を超えている場合、正常と判定する。それ以外の場合、異常と判定する。制御部31は正常と判定した場合(ステップS23でYES)、処理を終了する。制御部31は正常でない(異常である)と判定した場合(ステップS23でNO)、画像をクリップする(ステップS24)。制御部31は異常を検知した静止画像(検知対象となった画像)を、鉄道会社のID、編成ID、列車番号、カメラID、検知時刻、及び、異常の種別(異常内容)と対応付けて記憶する。検知画像DB334に記憶する。列車番号は編成ID及び検知時刻等を用いて、鉄道会社の運行システム(図示しない)から取得する。記憶する画像として、検知時刻前から検知時刻後までの動画像を記憶することが望ましい。当該動画像は、開始日、開始時刻、終了日(省略可)、終了時刻と対応付けて記憶する。検知画像DB334に記憶する画像は、解像度が高く、フレーム速度が大きいものが望ましいので、解像度やフレーム速度を落とした画像を画像DB333に記憶している場合、解像度やフレーム速度を落とす前の画像を、主記憶部32等にバッファリングしておき、バッファリングしている画像から、検知画像DB334に記憶する画像を抽出する。制御部31は通知画面を作成する(ステップS25)。制御部31は通知画面を監視センタの監視端末4やマルチディスプレイシステム5へ出力し(ステップS26)、処理を終了する。通知画面を該当する列車に乗務している車掌の通信端末へ送信してもよい。
【0045】
図16は通知画面の例を示す説明図である。図16Aはマルチディスプレイシステム5での通知画面の表示例を示す。マルチディスプレイシステム5での表示は複数の監視員が見ていることが前提であるので、なるべく見易い位置、例えば中心付近に通知画面51を表示する。
【0046】
図16Bは監視端末4に表示する通知画面d01の例である。通知画面51は異常検知した路線及び列車番号d011、発生箇所d012、異常検知画像d013、検知箇所の現在画像d014、検知箇所前後に位置するカメラからの現在画像d015、d016を含む。異常検知画像を表示する領域を2つ設けて、一の領域には異常を検知した静止画像を、他の領域には検知時刻前から検知時刻後までの動画像を繰り返し表示するようにしてもよい。
【0047】
本実施の形態は、以下の効果を奏する。集配信装置1は複数のカメラ2それぞれが撮影した画像を収集し、収集した画像をサーバ3へ送信する。各カメラ2がサーバ3へ送信するのではなく、集配信装置1が送信することにより効率的な送信が可能となる。そして、画像の送信についての通信費を低減することが可能となる。サーバ3はカメラ2が撮影した画像を用いて、車両内で異常が発生しているか否かを判定する。それにより、目視のみの監視と比較して、異常の発生の検知精度を高めることが可能となる。また、カメラ2は直管型蛍光灯に取付可能であり、撮影画像を無線LANで送信可能であるので、既に運行している車両にも、配線工事等をすることなく設置可能である。
【0048】
(実施の形態2)
本実施の形態は、集配信装置1が学習モデルを有する形態に関する。以下の説明においては、実施の形態1と同様な内容は省略し、実施の形態1と異なる点を主に述べる。本実施の形態における集配信装置1の補助記憶部13は、制御プログラム1P、並びに、カメラDB131及び画像DB132に加えて、検知画像DB133及び学習モデル14を記憶する。
【0049】
学習モデル14は、サーバ3が備える学習モデル34と同様な構成である。モデルの生成、再学習は、学習モデル34を用いて、サーバ3で実行する。そして、生成、再学習の結果で得た学習モデル34を特徴づけるバラメータを、集配信装置1に送信する。集配信装置1において、受信したパラメータを、学習モデル14のパラメータとして記憶することにより、学習モデル14の生成、再学習が実現される。
【0050】
図17は検知画像DBの例を示す説明図である。検知画像DB133はカメラID列、検知時刻列、種別列、検知画像列、開始日列、開始時刻列、終了日列、終了時刻列及び画像列を含む。各列が記憶する内容は、図11に示した検知画像DB334の同名列が記憶する内容と同様であるので、説明を省略する。
【0051】
図18は判定処理の手順例を示すフローチャートである。図18に示す判定処理は、集配信装置1が行う処理である。集配信装置1が行う判定処理は、図15に示した判定処理と類似し、また、図14に示した画像配信処理に相当する処理も含む。本実施の形態において、集配信装置1は画像配信処理を行わなくともよい。判定処理は集配信装置1が起動後に実行を開始する。カメラ2からの画像送信が途絶えた場合、処理を終了する。上述した画像配信処理と同様に、判定処理の開始時には、カメラ2は既に動作していることが望ましい。その理由等は、上述した内容と同様であるから説明を省略する。
【0052】
集配信装置1の制御部11はヘルスチェックを行う(ステップS31)。ヘルスチェックは画像配信処理のステップS11と同様であるから、説明を省略する。制御部11はカメラ2から画像を受信する(ステップS32)。制御部11は受信した画像を画像DB132に記憶する(ステップS33)。容量削減のため、解像度やフレーム速度を落とした画像を画像DB132に記憶してもよい。但し、検知画像DB133に記憶する画像用として、解像度やフレーム速度を落とす前の画像を所定容量、主記憶部32等にバッファリングしておく。制御部11は正常か否かを判定する(ステップS34)。制御部11は受信した画像を学習モデル14に入力し、学習モデル14の出力値を取得する。動画像の場合、学習モデル14に1フレーム毎に画像を入力する。制御部11は学習モデル14の出力値の中で、正常に対応したノードの出力値が最大で、所定の閾値を超えている場合、正常と判定する。それ以外の場合、異常と判定する。制御部11は正常と判定した場合(ステップS34でYES)、処理を終了するか否か判定する(ステップS35)。当該判定は、画像配信処理のステップS15と同様であるから、説明を省略する。制御部11は処理を終了しないと判定した場合(ステップS35でNO)、処理をステップS32へ戻す。制御部11は処理を終了すると判定した場合(ステップS35でYES)、処理を終了する。制御部11は正常でない(異常である)と判定した場合(ステップS34でNO)、画像をクリップする(ステップS36)。制御部11は異常を検知した静止画像を、カメラID、検知時刻、及び、異常の種別と対応付けて記憶する。検知画像DB133に記憶する。記憶する画像として、検知時刻前から検知時刻後までの動画像を記憶することが望ましい。当該動画像は、開始日、開始時刻、終了日(省略可)、終了時刻と対応付けて記憶する。検知画像DB334に記憶する画像は、解像度が高く、フレーム速度が大きいものが望ましいので、解像度やフレーム速度を落とした画像を画像DB333に記憶している場合、上述したバッファリングしている画像から、検知画像DB334に記憶する画像を抽出する。制御部11は異常を検知した旨を、サーバ3へ送信する(ステップS37)。その際、制御部11はクリップした画像(静止画像、動画像)をサーバ3へ送信するクリップした画像に付加する属性は、検知画像DB133に記憶する属性に加えて、予め設定された編成IDもサーバ3へ送信する。サーバ3の制御部31はクリップした画像を受信する(ステップS38)。サーバ3は通知画面を作成する(ステップS39)。サーバ3は通知画面を送信する(ステップS40)。ステップS39及びステップS40はそれぞれ図15で示した判定処理のステップS25及びステップS26と同様であるから、説明を省略する。通知画面の例についても、図16で示したものと同様である。
【0053】
本実施の形態においては、異常検知した場合にのみ、画像をサーバ3へ送信するので、集配信装置1とサーバ3との通信費を更に低減することが可能となる。なお、学習モデル14での異常検知は100%ではないことを考慮し、学習モデル14が正常と判定している場合において、集配信装置1はカメラ2の撮影画像をサーバ3へ送信してもよい。この場合、サーバ3へ送信する画像は、解像度及びフレーム速度を落としてもよい。但し、学習モデル14が正常と判定したが、監視員が異常の発生を疑った場合、監視端末4からの指示等に基づき、集配信装置1がバッファリングしている解像度及びフレーム速度を落とす前の画像をサーバ3が取得し、監視端末4等に表示するようにしてもよい。それにより、学習モデル14が見逃したが、監視員が異常の発生を疑った状況について、再確認することが可能となり、異常の検知の精度をシステム全体として向上させることが可能となる。
【0054】
学習モデル34又は学習モデル14は、1フレームの画像から異常検知を行うとしたがそれに限らない。複数フレームの画像を用いて、被写体となっている人の動きを認識し、不審人物等の検出を行ってもよい。異常の検知を学習モデル34又は学習モデル14を用いて行ったが、それに限らない。異常を示す典型な画像とのパターンマッチングや類似度により判定してもよい。
【0055】
上述の実施の形態においては、カメラ2が撮影画像により、車両内の異常を検知したが、それに限らない。カメラ2にマイクロフォンを内蔵し、車両内から収集した音声を用いて、異常を検知してもよい。音声により異常検知は、画像と同様に学習モデル34又は学習モデル14を用いて行う。なお、異常検知は、音声認識により異常を示す典型的な用語や表現を検知することによって行ってもよい。また、人の声のトーンや、鳴き声、叫び声、悲鳴などにより、異常を検知してもよい。
【0056】
各実施の形態で記載されている技術的特徴(構成要件)はお互いに組み合わせ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
特許請求の範囲には他の2以上のクレームを引用するクレームを記載する形式(マルチクレーム形式)を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム(マルチマルチクレーム)を記載する形式を用いて記載してもよい。
【符号の説明】
【0057】
100 :監視システム
1 :集配信装置
11 :制御部
12 :主記憶部
13 :補助記憶部
131 :カメラDB
132 :画像DB
133 :検知画像DB
14 :学習モデル
15 :集信部
16 :配信部
1P :制御プログラム
2 :カメラ
3 :サーバ
31 :制御部
32 :主記憶部
33 :補助記憶部
331 :編成DB
332 :カメラDB
333 :画像DB
334 :検知画像DB
34 :学習モデル
35 :通信部
36 :読み取り部
3P :制御プログラム
3a :可搬型記憶媒体
3b :半導体メモリ
4 :監視端末
5 :マルチディスプレイシステム
6 :車両
B :バス
N :ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18