特許 7438738 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-16

(45)【発行日】2024-02-27

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G08B 17/12 20060101AFI20240219BHJP

   G08B 17/00 20060101ALI20240219BHJP

   G06T 7/593 20170101ALI20240219BHJP

   G01C 3/06 20060101ALI20240219BHJP

   G01J 5/48 20220101ALI20240219BHJP

   G08B 25/00 20060101ALI20240219BHJP

【ＦＩ】

G08B17/12 A

G08B17/00 C

G06T7/593

G01C3/06 110V

G01J5/48 A

G08B25/00 510M

【請求項の数】 5

(21)【出願番号】P 2019223388

(22)【出願日】2019-12-11

(65)【公開番号】P2021092987

(43)【公開日】2021-06-17

【審査請求日】2022-11-04

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(73)【特許権者】

【識別番号】504158881

【氏名又は名称】東京地下鉄株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】松本 耕輔

(72)【発明者】

【氏名】星子 遼

(72)【発明者】

【氏名】相葉 貴光

(72)【発明者】

【氏名】宮島 康行

(72)【発明者】

【氏名】田坂 洋祐

(72)【発明者】

【氏名】宮崎 創

【審査官】山岸 登

(56)【参考文献】

【文献】特開２００４－３０４２４９（ＪＰ，Ａ）

【文献】特開２０００－０７６５６８（ＪＰ，Ａ）

【文献】特開２００２－２０４４４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ３／００－３／３２

Ｇ０１Ｊ５／００－５／９０

Ｇ０６Ｔ７／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０

３０／４１８

４０／１６

４０／２０

Ｇ０８Ｂ１７／００－１７／１２

２３／００－３１／００

(57)【特許請求の範囲】

【請求項1】

第１の可視光画像を取得する第１の可視光カメラインターフェースと、
前記第１の可視光画像に対応する第２の可視光画像を取得する第２の可視光カメラインターフェースと、
前記第１の可視光画像及び前記第２の可視光画像の解像度よりも低い解像度であって、前記第１の可視光画像に対応する赤外線画像を取得する赤外線カメラインターフェースと、
ここで、前記第１の可視光画像、前記第２の可視光画像及び前記赤外線画像は、走行する車両から進行方向を撮影した画像であり、
前記第１の可視光画像と前記第２の可視光画像とに基づいて、前記第１の可視光画像の各座標における距離を特定し、
前記赤外線画像に基づいて、前記第１の可視光画像の各座標における温度を特定し、
前記第１の可視光画像の各座標の温度に基づいて、火災を検知し、
前記車両の建築限界を設定し、
前記火災までの距離および前記建築限界に基づいて、火災を検知したことを示す通知を出力する、
プロセッサと、
を備える情報処理装置。

【請求項2】

前記プロセッサは、前記第１の可視光画像の座標を前記赤外線画像の座標に変換するテーブルを用いて、前記第１の可視光画像の各座標における温度を特定する、
請求項１に記載の情報処理装置。

【請求項3】

前記プロセッサは、前記火災の規模にさらに基づいて、前記通知を出力する、
請求項１に記載の情報処理装置。

【請求項4】

前記プロセッサは、
前記第１の可視光画像から所定の火災温度を超える温度の火災領域を特定し、
前記火災領域の温度と、前記火災領域の面積と、前記建築限界と前記火災との距離と、に基づいて前記通知を出力する、
請求項３に記載の情報処理装置。

【請求項5】

前記第１の可視光画像を撮影する第１の可視光カメラと、
前記第２の可視光画像を撮影する第２の可視光カメラと、
前記赤外線画像を撮影する赤外線カメラと、
を備える、
請求項１乃至４の何れか１項に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置に関する。

【背景技術】

【0002】

電車などの車両の自動運転に用いる監視装置（情報処理装置）には、前方の火災を検知するものがある。そのような監視装置は、赤外線カメラなどを用いて撮影された画像から高温の領域を特定することで、火災を検知する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１６２４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記した監視装置は、車両の運行に影響がない遠方の火災を検知してしまうおそれがある。そこで、このような課題を解決するため、赤外線カメラで撮影した各部までの距離を詳細に測定することができる情報処理装置を提供する。

【課題を解決するための手段】

【0005】

実施形態によれば、情報処理装置は、第１の可視光カメラインターフェースと、第２の可視光カメラインターフェースと、赤外線カメラインターフェースと、プロセッサと、を備える。第１の可視光カメラインターフェースは、第１の可視光画像を取得する。第２の可視光カメラインターフェースは、前記第１の可視光画像に対応する第２の可視光画像を取得する。赤外線カメラインターフェースは、前記第１の可視光画像及び前記第２の可視光画像の解像度よりも低い解像度であって、前記第１の可視光画像に対応する赤外線画像を取得する。プロセッサは、前記第１の可視光画像と前記第２の可視光画像とに基づいて、前記第１の可視光画像の各座標における距離を特定し、前記赤外線画像に基づいて、前記第１の可視光画像の各座標における温度を特定する。

【図面の簡単な説明】

【0006】

【図1】図１は、実施形態に係る運行システムの構成例を示すブロック図である。

【図2】図２は、実施形態に係る監視装置の構成例を示すブロック図である。

【図3】図３は、実施形態に係る監視装置の動作例を示す図である。

【図4】図４は、実施形態に係る監視装置の動作例を示す図である。

【図5】図５は、実施形態に係る監視装置の動作例を示す図である。

【図6】図６は、実施形態に係る監視装置の動作例を示す図である。

【図7】図７は、実施形態に係る監視装置の動作例を示す図である。

【図8】図８は、実施形態に係る監視装置の動作例を示すフローチャートである。

【図9】図９は、実施形態に係る監視装置の動作例を示すフローチャートである。

【図10】図１０は、実施形態に係る監視装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0007】

以下、実施形態について、図面を参照して説明する。
実施形態に係る運行システムは、電車（車両）の運行を制御する。運行システムは、電車に搭載されるカメラを用い、電車の運行に支障を来すおそれのある火災を検知する。なお、運行システムは、自動運転で走行する電車の運行を制御するものであってもよく、また、有人運転で走行する電車の運行を制御するものであってもよい。

【0008】

図１は、実施形態に係る運行システム１００の構成例を示す。図１が示すように、運行システム１００は、車両１、司令室２及び信号機３などで構成される。ここで、司令室２は、車両１及び信号機３と無線通信路や有線通信路を介して通信する。また、車両１は、信号機３と通信可能に接続する。また、運行システム１００は、火災４を検知するものである。

【0009】

なお、運行システム１００は、図１が示すような構成の他に必要に応じた構成を具備したり、特定の構成が除外されたりしてもよい。

【0010】

車両１は、所定の線路上を走行する電車である。車両１は、司令室２からの指令又は信号機３の表示状態などに基づいて走行する。また、車両１は、火災４を検知する。車両１は、火災４を検知すると、司令室２に火災を検知したことを通知する。

【0011】

車両１は、自動運転で走行するものであってもよい。また、車両１は、有人運転で走行するものであってもよい。

【0012】

車両１については、後に詳述する。

【0013】

司令室２は、運行システム１００全体を制御する。司令室２は、車両１からの信号、線路状況、天候などに基づいて、車両１の運行を制御する。例えば、司令室２は、車両１へ進行又は停止の指示を送信する。司令室２は、有人よって車両１の運行を制御するものであってもよい。また、司令室２は、自動で車両１の運行を制御するものであってもよい。

【0014】

信号機３は、司令室２からの制御に従って、進行の可否を表示する。例えば、信号機３は、進行の可否を示すランプを点灯する。また、信号機３は、制限速度を表示してもよい。信号機３は、車両１の運転者が目視可能な位置、例えば線路際、に設置される。

【0015】

また、信号機３は、有線又は無線で、進行の可否又は制限速度を示す信号情報を車両１へ送信する。例えば、信号機３は、信号機３に差し掛かる車両１に対して、進行の可否又は制限速度を示す信号情報を送信する。

【0016】

次に、車両１について説明する。
図１が示すように、車両１は、監視装置１０、通信装置２０、案内装置３０、運転装置４０、信号装置５０及び制御装置６０などを備える。監視装置１０は、通信装置２０、案内装置３０、運転装置４０及び制御装置６０などと接続する。また、制御装置６０は、運転装置４０及び信号装置５０などと接続する。

【0017】

なお、車両１は、図１が示すような構成の他に必要に応じた構成を具備したり、特定の構成が除外されたりしてもよい。

【0018】

監視装置１０（情報処理装置）は、車両１の運行に支障を来す恐れのある障害物や火災などを検知する。監視装置１０については、後に詳述する。

【0019】

通信装置２０は、司令室２と通信するための有線又は無線のインターフェースである。

【0020】

案内装置３０は、車両１の乗客に対して、音声アナウンス、警告音又は画像などの案内を出力する。案内装置３０は、監視装置１０からの信号に従って案内を出力する。また、案内装置３０は、車掌又は運転手などの制御に従って案内を出力する。

【0021】

運転装置４０は、監視装置１０や信号装置５０からの信号などに基づいて、加速、減速又は惰行などを指示する信号を制御装置６０に送信する。例えば、運転装置４０は、ＡＴＯ（Automatic Train Operation）装置などである。

【0022】

信号装置５０は、信号機３から信号情報を受信する。信号装置５０は、受信した信号情報を運転手などに提示する。また、信号装置５０は、信号情報に基づいて、停止又は減速を指示する信号を制御装置６０に送信する。例えば、信号装置５０は、車両１の速度が、信号情報が示す制限速度を超えている場合、減速を指示する信号を制御装置６０に送信する。例えば、信号装置５０は、ＡＴＣ（Automatic Train Control）装置又はＣＢＴＣ（Communication-Based Train Control）装置などである。

【0023】

制御装置６０は、監視装置１０、運転装置４０及び信号装置５０などからの信号などに基づいて、車両１を加速、減速又は停止させる。制御装置６０は、駆動装置及びブレーキ装置などを制御し、車両１を加速、減速又は停止させる。

【0024】

次に、監視装置１０について説明する。
図２は、監視装置１０の構成例を示す。図２が示すように、監視装置１０は、プロセッサ１１は、メモリ１２、通信部１３、操作部１４、表示部１５、第１の可視光カメラインターフェース１６、第１の赤外線カメラインターフェース１７、第２の可視光カメラインターフェース１８、第２の赤外線カメラインターフェース１９、第１の可視光カメラ１０１、第１の赤外線カメラ１０２、第２の可視光カメラ１０３及び第２の赤外線カメラ１０４などを備える。プロセッサ１１と、メモリ１２、通信部１３、操作部１４、表示部１５、第１の可視光カメラインターフェース１６、第１の赤外線カメラインターフェース１７、第２の可視光カメラインターフェース１８及び第２の赤外線カメラインターフェース１９と、は、互いに通信可能に接続する。第１の可視光カメラインターフェース１６と第１の可視光カメラ１０１とは、互いに通信可能に接続する。第１の赤外線カメラインターフェース１７と第１の赤外線カメラ１０２とは、互いに通信可能に接続する。第２の可視光カメラインターフェース１８と第２の可視光カメラ１０３とは、互いに通信可能に接続する。第２の赤外線カメラインターフェース１９と第２の赤外線カメラ１０４とは、互いに通信可能に接続する。

【0025】

なお、監視装置１０は、図２が示すような構成の他に必要に応じた構成を具備したり、特定の構成が除外されたりしてもよい。

【0026】

プロセッサ１１は、監視装置１０全体の動作を制御する機能を有する。プロセッサ１１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ１１は、内部メモリ又はメモリ１２が予め記憶するプログラムを実行することにより種々の処理を実現する。

【0027】

なお、プロセッサ１１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ１１は、ハードウエア回路により実行される機能を制御する。

【0028】

メモリ１２は、種々のデータを格納する。例えば、メモリ１２は、ＲＯＭ、ＲＡＭ及びＮＶＭとして機能する。
例えば、メモリ１２は、制御プログラム及び制御データなどを記憶する。制御プログラム及び制御データは、監視装置１０の仕様に応じて予め組み込まれる。例えば、制御プログラムは、監視装置１０で実現する機能をサポートするプログラムなどである。

【0029】

また、メモリ１２は、プロセッサ１１の処理中のデータなどを一時的に格納する。また、メモリ１２は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

【0030】

通信部１３は、他の装置とデータを送受信するためのインターフェースである。例えば、通信部１３は、通信装置２０、案内装置３０、運転装置４０及び制御装置６０などと接続する。

【0031】

操作部１４は、オペレータから種々の操作の入力を受け付け、入力された操作を示す信号をプロセッサ１１へ送信する。操作部１４は、タッチパネルから構成されてもよい。

【0032】

表示部１５は、プロセッサ１１からの画像データを表示する。例えば、表示部１５は、液晶モニタから構成される。操作部１４がタッチパネルから構成される場合、表示部１５は、操作部１４と一体的に形成されてもよい。

【0033】

第１の可視光カメラインターフェース１６は、第１の可視光カメラ１０１とデータを送受信するためのインターフェースである。例えば、第１の可視光カメラインターフェース１６は、有線で第１の可視光カメラ１０１と接続する。第１の可視光カメラインターフェース１６は、画像を撮影させる信号を第１の可視光カメラ１０１に送信する。また、第１の可視光カメラインターフェース１６は、第１の可視光カメラ１０１からの撮影画像をプロセッサ１１に送信する。また、第１の可視光カメラインターフェース１６は、第１の可視光カメラ１０１に電力を供給するものであってもよい。

【0034】

第１の赤外線カメラインターフェース１７は、第１の赤外線カメラ１０２とデータを送受信するためのインターフェースである。第１の赤外線カメラインターフェース１７の構成は、第１の可視光カメラインターフェース１６の構成と同様であるため説明を省略する。

【0035】

第２の可視光カメラインターフェース１８は、第２の可視光カメラ１０３とデータを送受信するためのインターフェースである。第２の可視光カメラインターフェース１８の構成は、第１の可視光カメラインターフェース１６の構成と同様であるため説明を省略する。

【0036】

第２の赤外線カメラインターフェース１９は、第２の赤外線カメラ１０４とデータを送受信するためのインターフェースである。第２の赤外線カメラインターフェース１９の構成は、第１の可視光カメラインターフェース１６の構成と同様であるため説明を省略する。

【0037】

第１の可視光カメラ１０１は、車両１の進行方向を撮影するカメラである。例えば、第１の可視光カメラ１０１は、車両１の前面に進行方向を向いた状態で設置される。第１の可視光カメラ１０１は、可視光で画像（第１の可視光画像）を撮影する。第１の可視光カメラ１０１は、第１の可視光カメラインターフェース１６を通じて、撮影した第１の可視光画像をプロセッサ１１に送信する。例えば、第１の可視光カメラ１０１は、ＣＣＤ（Charge Coupled Device）カメラ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor Sensor）カメラなどである。

【0038】

第１の赤外線カメラ１０２は、車両１の進行方向を撮影するカメラである。例えば、第１の赤外線カメラ１０２は、車両１の前面に進行方向を向いた状態で第１の可視光カメラ１０１の近傍に設置される。第１の赤外線カメラ１０２は、赤外線で画像（第１の赤外線画像）を撮影する。第１の赤外線カメラ１０２は、第１の赤外線カメラインターフェース１７を通じて、撮影した第１の赤外線画像をプロセッサ１１に送信する。

【0039】

第１の赤外線画像の解像度は、第１の可視光画像の解像度よりも低い。即ち、第１の赤外線画像の画素数は、第１の可視光画像の画素数よりも少ない。

【0040】

第２の可視光カメラ１０３は、第１の可視光カメラ１０１の位置とは異なる位置から車両１の進行方向を撮影するカメラである。例えば、第２の可視光カメラ１０３は、車両１の前面に進行方向を向いた状態で第１の可視光カメラ１０１と異なる位置に設置される。第２の可視光カメラ１０３は、第２の可視光カメラインターフェース１８を通じて、撮影した画像（第２の可視光画像）をプロセッサ１１に送信する。第２の可視光カメラ１０３の構成は、第１の可視光カメラ１０１の構成と同様であるため説明を省略する。

【0041】

第２の赤外線カメラ１０４は、車両１の進行方向を撮影するカメラである。例えば、第２の赤外線カメラ１０４は、車両１の前面に進行方向を向いた状態で第２の可視光カメラ１０３の近傍に設置される。第２の赤外線カメラ１０４は、赤外線で画像（第２の赤外線画像）を撮影する。第２の赤外線カメラ１０４は、第２の赤外線カメラインターフェース１９を通じて、撮影した画像をプロセッサ１１に送信する。第２の赤外線カメラ１０４の構成は、第１の赤外線カメラ１０２の構成と同様であるため説明を省略する。

【0042】

監視装置１０は、パーソナルコンピュータやプログラマブルコントローラなどから構成されるものであってもよい。また、監視装置１０は、ＡＳＩＣ（Application Specific Integrated Circuit）から構成されるものであってもよい。また、監視装置１０は、ＦＰＧＡ（Field Programmable Gate Array）から構成されるものであってもよい。監視装置１０の構成は、特定の構成に限定されるものではない。

【0043】

次に、監視装置１０が実現する機能について説明する。監視装置１０が実現する機能は、プロセッサ１１がメモリ１２などに格納されるプログラムを実行することで実現される。

【0044】

まず、プロセッサ１１は、第１の可視光画像、第１の赤外線画像、第２の可視光画像及び第２の赤外線画像を取得する機能を有する。

【0045】

例えば、プロセッサ１１は、所定の間隔（例えば、０．１秒）で、第１の可視光カメラ１０１、第１の赤外線カメラ１０２、第２の可視光カメラ１０３及び第２の赤外線カメラ１０４からそれぞれ第１の可視光画像、第１の赤外線画像、第２の可視光画像及び第２の赤外線画像を取得する。即ち、第２の可視光画像、第１の赤外線画像及び第２の赤外線画像は、第１の可視光画像に対応する。例えば、第２の可視光画像、第１の赤外線画像及び第２の赤外線画像は、第１の可視光画像が撮影されるタイミングに対応するタイミングで撮影される。

【0046】

また、プロセッサ１１は、第１の赤外線画像に基づいて、第１の可視光画像の各座標における温度を特定する。即ち、プロセッサ１１は、第１の赤外線画像に基づいて、第１の可視光画像の各座標に写る画素に写る対象物の温度を特定する。

【0047】

図３は、プロセッサ１１が第１の赤外線画像に基づいて、第１の可視光画像の各座標における温度を特定する動作例を示す。

【0048】

ここでは、温度（ｕ，ｖ）は、第１の赤外線画像における座標（ｕ，ｖ）の温度を示す。温度（ｕ，ｖ）は、プロセッサ１１が座標（ｕ，ｖ）の画素において検知された赤外線の強度又は周波数などに基づいて算出される温度である。

【0049】

プロセッサ１１は、第１の可視光画像の座標（ｘ，ｙ）を第１の赤外線画像の座標（ｕ，ｖ）に変換する座標変換テーブルＭＡＰ（Ｘ，Ｙ）を取得する。座標変換テーブルＭＡＰ（ｘ，ｙ）は、第１の可視光画像の座標（ｘ，ｙ）に対応する第１の赤外線画像の座標（ｕ，ｖ）を返す関数である。即ち、座標変換テーブルＭＡＰは、第１の可視光画像の座標を入力すると、第１の赤外線画像において当該座標の対象物と同一の対象物が写る座標を出力する。

【0050】

座標変換テーブルＭＡＰは、第１の可視光カメラ１０１と第１の赤外線カメラ１０２との位置関係及び両カメラの画角などに基づいて生成される。座標変換テーブルＭＡＰは、予めメモリ１２などに格納されてもよい。

【0051】

図３が示すように、第１の赤外線画像のドットは、第１の可視光画像のドットよりも大きい。即ち、第１の赤外線画像の１ドットは、第１の可視光画像の複数のドットに対応する。

【0052】

プロセッサ１１は、第１の可視光画像の所定の座標を座標変換テーブルＭＡＰに入力することで、当該所定の座標に対応する第１の赤外線画像の座標を取得する。当該所定の座標に対応する第１の赤外線画像の座標を取得すると、プロセッサ１１は、第１の赤外線画像に基づいて、取得した座標における温度を取得する。温度を取得すると、プロセッサ１１は、当該温度を、第１の可視光画像における当該所定の座標の温度として、特定する。
プロセッサ１１は、同様に、第１の可視光画像の各座標において温度を特定する。プロセッサ１１は、第１の可視光座標の各座標における温度を示す温度（ｘ，ｙ）を取得する。

【0053】

また、プロセッサ１１は、第２の赤外線画像に基づいて、第２の可視光画像の各座標における温度を特定するが、第２の可視光画像の各画素における温度を特定する動作は、第１の可視光画像の各画像における温度を特定する動作と同様であるため、説明を省略する。

【0054】

また、プロセッサ１１は、第１の可視光画像（又は、第２の可視光画像）の各座標における距離を算出する。

【0055】

即ち、プロセッサ１１は、基準点又は基準面からの第１の可視光画像の各座標における画素に写る対象物までの距離を算出する。

【0056】

プロセッサ１１は、第１の可視光画像と第２の可視光画像との視差に基づいて各座標の画素に写る対象物との距離を算出する。プロセッサ１１は、第１の可視光座標の各座標における距離を示す距離（ｘ，ｙ）を取得する。

【0057】

また、プロセッサ１１は、車両１の前方方向に建築限界を設定する。建築限界は、障害物が存在すると車両１と衝突するおそれがある領域である。

【0058】

図４及び図５は、プロセッサ１１が建築限界を設定する動作例を示す。

【0059】

プロセッサ１１は、車両１が進行する経路を特定する。例えば、プロセッサ１１は、第１の可視光画像（又は第２の可視光画像）から、車両１が走行する線路を分岐させる転轍機７０を特定する。転轍機７０を特定すると、プロセッサ１１は、転轍機７０の画像に基づいて、転轍機７０の開通状態を認識する。転轍機７０の開通状態を認識すると、プロセッサ１１は、認識結果に基づいて、車両１が進行する経路を特定する。

【0060】

車両１が進行する経路を特定すると、プロセッサ１１は、特定した経路上において車両１から進行方向に所定の距離離れた複数の位置における建築限界を設定する。

【0061】

図４及び図５が示す例では、プロセッサ１１は、建築限界８０（８０ａ、８０ｂ、…）を設定する。建築限界８０（８０ａ、８０ｂ、…）は、車両１の前面から進行方向に向って距離Ｌ（Ｌａ、Ｌｂ…）離れた位置に設定される建築限界である。

【0062】

また、プロセッサ１１は、火災４の規模及び車両１から火災４までの距離に基づいて火災を検知したことを示す通知を出力する機能を有する。

【0063】

図４及び図５は、プロセッサ１１が火災を検知したことを示す通知を出力する動作例を示す。

【0064】

プロセッサ１１は、第１の赤外線画像（又は第２の赤外線画像）に基づいて算出された温度が対応付けられた第１の可視光画像（又は、第２の可視光画像）から、火災４を検知する。例えば、プロセッサ１１は、第１の可視光画像（又は、第２の可視光画像）から所定の閾値（火災４を検出するための温度（火災温度））を超える温度の領域（火災４が写る火災領域９０）を検出する。即ち、プロセッサ１１は、温度（ｘ，ｙ）＞火災温度となる座標（ｘ，ｙ）が存在するか判定する。プロセッサ１１は、温度（ｘ，ｙ）＞火災温度となる座標（ｘ，ｙ）が存在する場合、火災４を検知する。

【0065】

火災４を検知した場合、プロセッサ１１は、第１の可視光画像における火災４の規模を算出する。ここでは、プロセッサ１１は、温度が所定の閾値を超える各座標において温度×面積（ドットの大きさ）を算出し、各値を加算した評価値（規模評価値）を算出する。

【0066】

規模評価値を算出すると、プロセッサ１１は、規模評価値が所定の閾値（火災規模規定値）以上であるか判定する。

【0067】

規模評価値が火災規模規定値以上であると判定すると、プロセッサ１１は、前述の通り建築限界を設定する。

【0068】

建築限界を設定すると、プロセッサ１１は、３次元空間において、所定の点を原点として各建築限界８０の中心座標を算出する。

【0069】

各建築限界８０の中心の座標を算出すると、プロセッサ１１は、第１の可視光画像の距離（ｘ，ｙ）などに基づいて、各建築限界８０の中心座標から火災４（火災領域９０）までの距離Ｋ（Ｋａ、Ｋｂ…）を算出する。

【0070】

例えば、プロセッサ１１は、車両１の前面から各建築限界８０までの距離（水平方向の距離）と、車両１の前面から火災領域９０までの距離（水平方向の距離）との差を、各建築限界８０の中心座標から火災４までの距離として算出する。

【0071】

各距離を算出すると、プロセッサ１１は、１つの建築限界８０（例えば、建築限界８０ａ）に基づく危険度を算出する。例えば、プロセッサ１１は、火災領域９０の各座標において温度×面積（ドットの大きさ）／距離（例えば、距離Ｋａ）を算出し、算出した各値を加算した危険度（例えば、危険度ａ）を算出する。例えば、プロセッサ１１は、規模評価値を距離で減算した値を危険度として算出してもよい。

【0072】

なお、プロセッサ１１は、３次元空間における各建築限界８０の中心座標から火災領域９０の各座標までの距離を算出し、火災領域９０の各座標において温度×面積（ドットの大きさ）／距離を算出し、算出した各値を加算した危険度を算出してもよい。

【0073】

また、プロセッサ１１は、第１の可視光画像において、建築限界８０と火災領域９０とが少なくとも一部が重なる場合、当該建築限界８０の危険度を算出してもよい。プロセッサ１１は、建築限界８０と火災領域９０とが重ならない場合、当該建築限界８０の危険度を「０」と算出してもよい。

【0074】

プロセッサ１１は、各建築限界８０（８０ａ、８０ｂ…）に基づいて各危険度（危険度ａ、危険度ｂ…）を算出する。

【0075】

各危険度を算出すると、プロセッサ１１は、各危険度に基づいて、車両１の運行に支障が生じる程度を示す支障度を算出する。例えば、プロセッサ１１は、各危険度を加算した値を支障度として算出する。また、プロセッサ１１は、各危険度に重みを付けて加算した値を支障度して算出してもよい。例えば、プロセッサ１１は、車両１から近距離に設定される建築限界８０の危険度に大きな重みを付けてもよい。プロセッサ１１が支障度を算出する方法は、特定の方法に限定されるものではない。

【0076】

支障度を算出すると、プロセッサ１１は、支障度に基づいて、火災を検知したことを示す通知を出力する。例えば、プロセッサ１１は、支障度が所定の閾値（支障判定規定値）以上である場合、当該通知を出力する。なお、プロセッサ１１は、支障度が増加傾向である場合に、当該通知を出力してもよい。プロセッサ１１が当該通知を出力する条件は、特定の構成に限定されるものではない。

【0077】

また、プロセッサ１１は、通信装置２０を通じて、当該通知を司令室２に送信する。また、プロセッサ１１は、案内装置３０、運転装置４０及び制御装置６０に送信する。また、プロセッサ１１は、他の車両に対して当該通知を送信してもよい。プロセッサ１１が当該通知を出力する出力先は、特定の構成に限定されるものではない。

【0078】

図４及び図５が示す例では、プロセッサ１１は、火災領域９０が大きく写っているため、火災４の規模評価値を比較的高く算出する。しかしながら、図５が示すように、各建築限界８０から火災４までの距離（Ｋａ、Ｋｂ、…）は、比較的遠い。そのため、プロセッサ１１は、支障度を低く算出する。その結果、プロセッサ１１は、火災を検知したことを示す通知を出力しない。

【0079】

図６及び図７は、火災４の他の例を示す。図６及び図７が示す例では、プロセッサ１１は、火災領域９０が小さく写っているため、火災４の規模評価値を比較的小さく算出する。しかしながら、図７が示すように、各建築限界８０から火災４までの距離（Ｋａ、Ｋｂ、…）は、比較的近い。そのため、プロセッサ１１は、支障度を高く算出する。その結果、プロセッサ１１は、火災を検知したことを示す通知を出力する。

【0080】

また、プロセッサ１１は、第１の可視光画像において、各建築限界８０内に障害物を検知すると、通信装置２０を通じて司令室２に障害物を検知したことを示す通知を送信してもよい。また、監視装置１０は、障害物を検知すると、停止することを指示する信号を運転装置４０に送信してもよい。

【0081】

次に、監視装置１０の動作例について説明する。
図８は、監視装置１０の動作例について説明するためのフローチャートである。

【0082】

まず、監視装置１０のプロセッサ１１は、メモリ、タイマ又は入出力などを初期化する（Ｓ１１）。メモリ、タイマ又は入出力などを初期化すると、プロセッサ１１は、第１の可視光画像及び第２の可視光画像の各座標における温度を特定する（Ｓ１２）。

【0083】

第１の可視光画像の各座標における温度を特定すると、プロセッサ１１は、第１の可視光画像又は第２の可視光画像から火災領域を検出する（Ｓ１３）。

【0084】

第１の可視光画像から火災領域を検出すると（Ｓ１４、ＹＥＳ）、プロセッサ１１は、規模評価値を算出する（Ｓ１５）。規模評価値を算出すると、プロセッサ１１は、規模評価値が火災規模規定値以上であるか判定する（Ｓ１６）。

【0085】

規模評価値が火災規模規定値以上であると判定すると（Ｓ１６、ＹＥＳ）、プロセッサ１１は、第１の可視光画像の各座標における距離を算出する（Ｓ１７）。第１の可視光画像の各座標における距離を算出すると、プロセッサ１１は、建築限界を設定する（Ｓ１８）。

【0086】

建築限界を設定すると、プロセッサ１１は、建築限界と火災領域までの距離とに基づいて、支障度を算出する（Ｓ１９）。支障度を算出すると、プロセッサ１１は、支障度が支障判定規定値以上であるか判定する（Ｓ２０）。

【0087】

支障度が支障判定規定値以上であると判定すると（Ｓ２０、ＹＥＳ）、プロセッサ１１は、火災を検知したことを示す通知を出力する（Ｓ２１）。

【0088】

第１の可視光画像に火災領域がない場合（Ｓ１４、ＮＯ）、又は、規模評価値が火災規模規定値以上でないと判定した場合（Ｓ１６、ＮＯ）、支障度が支障判定規定値以上でないと判定した場合（Ｓ２０、ＮＯ）、又は、火災を検知したことを示す通知を出力した場合（Ｓ２１）、プロセッサ１１は、Ｓ１２に戻る。なお、プロセッサ１１は、所定の時間待機してからＳ１２に戻ってもよい。

【0089】

プロセッサ１１は、操作部１４などを通じて、所定の操作の入力を受け付けるまで上記の動作を繰り返す。

【0090】

次に、プロセッサ１１が第１の可視光画像及び第２の可視光画像の各座標における温度を特定する動作例（Ｓ１２）について説明する。

【0091】

図９は、プロセッサ１１が第１の可視光画像及び第２の可視光画像の各座標における温度を特定する動作例（Ｓ１２）について説明するためのフローチャートである。

【0092】

まず、プロセッサ１１は、第１の赤外線カメラ１０２を用いて第１の赤外線画像を取得する（Ｓ３１）。第１の赤外線画像を取得すると、プロセッサ１１は、第１の可視光カメラ１０１を用いて第１の可視光画像を取得する（Ｓ３２）。

【0093】

第１の可視光画像を取得すると、プロセッサ１１は、第１の赤外線画像に基づいて、第１の可視光画像における所定の座標の温度を特定する（Ｓ３３）。第１の可視光画像における所定の座標の温度を特定すると、プロセッサ１１は、第１の可視光画像における各座標の温度の特定を完了したか判定する（Ｓ３４）。

【0094】

第１の可視光画像における各座標の温度の特定を完了していないと判定すると（Ｓ３４、ＮＯ）、プロセッサ１１は、Ｓ３３に戻る。

【0095】

第１の可視光画像における各座標の温度の特定を完了したと判定すると（Ｓ３４、ＹＥＳ）、プロセッサ１１は、第２の赤外線カメラ１０４を用いて第２の赤外線画像を取得する（Ｓ３５）。第２の赤外線画像を取得すると、プロセッサ１１は、第２の可視光カメラ１０３を用いて第２の可視光画像を取得する（Ｓ３６）。

【0096】

第２の可視光画像を取得すると、プロセッサ１１は、第２の赤外線画像に基づいて、第２の可視光画像における所定の座標の温度を特定する（Ｓ３７）。第２の可視光画像における所定の座標の温度を特定すると、プロセッサ１１は、第２の可視光画像における各座標の温度の特定を完了したか判定する（Ｓ３８）。

【0097】

第２の可視光画像における各座標の温度の特定を完了していないと判定すると（Ｓ３８、ＮＯ）、プロセッサ１１は、Ｓ３７に戻る。第２の可視光画像における各座標の温度の特定を完了したと判定すると（Ｓ３８、ＹＥＳ）、プロセッサ１１は、動作を終了する。

【0098】

次に、プロセッサ１１が建築限界を設定する動作例（Ｓ１８）について説明する。図１０は、プロセッサ１１が建築限界を設定する動作例（Ｓ１８）について説明するためのフローチャートである。

【0099】

まず、プロセッサ１１は、第１の可視光画像（又は、第２の可視光画像）から、転轍機７０の開通状態などを認識する（Ｓ４１）。転轍機７０の開通状態などを認識すると、プロセッサ１１は、車両１が走行する経路を特定する（Ｓ４２）。

【0100】

経路を特定すると、プロセッサ１１は、Ｌに初期値を代入する（Ｓ４３）。Ｌに初期値を代入すると、プロセッサ１１は、車両１から進行方向にＬ離れた位置における建築限界を設定する（Ｓ４４）。

【0101】

車両１から進行方向にＬ離れた位置における建築限界を設定すると、プロセッサ１１は、Ｌに所定の値（ΔＬ）を加算する（Ｓ４５）。Ｌに所定の値（ΔＬ）を加算すると、プロセッサ１１は、Ｌが所定の閾値を超えたか判定する（Ｓ４６）。

【0102】

Ｌが所定の閾値以下であると判定すると（Ｓ４６、ＮＯ）、プロセッサ１１は、Ｓ４４に戻る。
Ｌが所定の閾値を超えたと判定すると（Ｓ４６、ＹＥＳ）、プロセッサ１１は、動作を終了する。

【0103】

なお、監視装置１０は、１つの赤外線カメラを備えるものであってもよい。この場合、プロセッサ１１は、１つの赤外線画像に基づいて、第１の可視光画像及び第２の可視光画像の各座標の温度を特定してもよい。また、プロセッサ１１は、１つの赤外線画像に基づいて、第１の可視光画像又は第２の可視光画像の各座標の温度を特定してもよい。また、監視装置１０は、第２の可視光画像の各座標の温度を特定しなくともよい。

【0104】

また、監視装置１０は、１つの可視光カメラを備えるものであってもよい。この場合、プロセッサ１１は、１つの可視光画像に基づいて、当該可視光画像の各座標における距離を測定してもよい。

【0105】

また、監視装置１０は、距離センサなどを用いて、各部との距離を測定してもよい。この場合、監視装置１０は、赤外線画像に基づいて、距離を測定した各部の温度を測定してもよい。

【0106】

また、監視装置１０は、車、飛行機又は船舶などに設置されるものであってもよい。また、監視装置１０は、所定の場所に設置されてもよい。監視装置１０が設置される場所は、特定の構成に限定されるものではない。

【0107】

以上のように構成された監視装置は、２つの可視光カメラを用いて、可視光画像の各座標における対象物との距離を測定する。また、監視装置は、赤外線カメラを用いて、赤外線画像の各座標における対象物の温度を測定する。監視装置は、可視光画像と赤外線画像とのキャリブレーションにより、可視光画像の各座標における温度を特定する。その結果、監視装置は、可視光画像の各座標において、距離及び温度を特定することができる。

【0108】

通常、赤外線カメラの解像度は、可視光カメラの解像度よりも低い。そのため、２つの赤外線カメラを用いた距離の測定は、２つの可視光カメラを用いた距離の測定よりも精度が低い。

【0109】

監視装置は、上記の構成により、可視光画像を用いることで各座標における距離を高精度に測定しつつ、各座標における温度を測定することができる。

【0110】

また、監視装置は、火災との距離に基づいて、火災を検知したことを示す通知を出力する。その結果、監視装置は、電車の運行に支障を来すおそれのある火災を検知した場合に、当該通知を出力することができる。

【0111】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0112】

１…車両、２…司令室、３…信号機、４…火災、１０…監視装置、１１…プロセッサ、１２…メモリ、１３…通信部、１４…操作部、１５…表示部、１６…第１の可視光カメラインターフェース、１７…第１の赤外線カメラインターフェース、１８…第２の可視光カメラインターフェース、１９…第２の赤外線カメラインターフェース、２０…通信装置、３０…案内装置、４０…運転装置、５０…信号装置、６０…制御装置、７０…転轍機、８０…建築限界、８０ａ…建築限界、９０…火災領域、１００…運行システム、１０１…第１の可視光カメラ、１０２…第１の赤外線カメラ、１０３…第２の可視光カメラ、１０４…第２の赤外線カメラ、Ｌ…距離。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】