特許 7526073 車側灯判定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-23

(45)【発行日】2024-07-31

(54)【発明の名称】車側灯判定システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240724BHJP

   B61L 25/02 20060101ALI20240724BHJP

【ＦＩ】

G06T7/00 350C

B61L25/02 Z

【請求項の数】 6

(21)【出願番号】P 2020181070

(22)【出願日】2020-10-29

(65)【公開番号】P2022071932

(43)【公開日】2022-05-17

【審査請求日】2023-10-13

(73)【特許権者】

【識別番号】000196587

【氏名又は名称】西日本旅客鉄道株式会社

(73)【特許権者】

【識別番号】509335144

【氏名又は名称】株式会社ＪＲ西日本テクシア

(74)【代理人】

【識別番号】100113712

【弁理士】

【氏名又は名称】野口 裕弘

(72)【発明者】

【氏名】横井 偉士

(72)【発明者】

【氏名】妹尾 潤

(72)【発明者】

【氏名】天野 勝裕

(72)【発明者】

【氏名】浅野 貴彦

(72)【発明者】

【氏名】原田 航太郎

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０１７－１２１８３４（ＪＰ，Ａ）

【文献】特開２０１４－１８４８０３（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／００６９４００（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６１Ｌ １／００ － ９９／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

鉄道における車側灯の状態を判定するための車側灯判定システムであって、
駅に設けられたカメラと、
入力された画像を複数のクラスに分類する分類器と、
前記分類器の出力が入力される判定部とを備え、
前記カメラによって撮像された画像中、前記駅に車両が停まっている場合にその車両の車側灯が１つだけ含まれる範囲が前記分類器に入力され、
前記分類器は、入力された画像が点灯状態の車側灯が写っているクラスに属する信頼度である点灯信頼度と、その画像が消灯状態の車側灯が写っているクラスに属する信頼度である消灯信頼度とを出力し、
前記点灯信頼度が所定の点灯信頼度閾値未満、かつ前記消灯信頼度が所定の消灯信頼度閾値以上であるとき、前記判定部は、消灯状態の車側灯を検出したとの判定結果を出力することを特徴とする車側灯判定システム。

【請求項2】

前記点灯信頼度が前記点灯信頼度閾値以上、かつ前記消灯信頼度が前記消灯信頼度閾値未満であるとき、前記判定部は、点灯状態の車側灯を検出したとの判定結果を出力することを特徴とする請求項１に記載の車側灯判定システム。

【請求項3】

前記点灯信頼度が前記点灯信頼度閾値未満、かつ前記消灯信頼度が前記消灯信頼度閾値未満であるとき、前記判定部は、車側灯を検出しないとの判定結果を出力することを特徴とする請求項１又は請求項２に記載の車側灯判定システム。

【請求項4】

前記点灯信頼度が前記点灯信頼度閾値以上、かつ前記消灯信頼度が前記消灯信頼度閾値以上であるとき、前記判定部は、誤検出が発生したとの判定結果を出力することを特徴とする請求項１又は請求項２に記載の車側灯判定システム。

【請求項5】

前記分類器は、入力された画像を、点灯状態の車側灯が写っているクラスと、消灯状態の車側灯が写っているクラスとに分類する多層ニューラルネットワークであり、前記駅に車両が停まっている時に撮像された画像が入力されることを特徴とする請求項１乃至請求項４のいずれか一項に記載の車側灯判定システム。

【請求項6】

前記分類器は、入力された画像を、点灯状態の車側灯が写っているクラスと、消灯状態の車側灯が写っているクラスと、車側灯が写っていないクラスとに分類する多層ニューラルネットワークであることを特徴とする請求項１乃至請求項４のいずれか一項に記載の車側灯判定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、鉄道における車側灯の状態を判定するための車側灯判定システムに関する。

【背景技術】

【0002】

鉄道の車両には、乗客乗降用のドアの開閉状態を示す車側灯を車体側面の上部付近に有する。車側灯は、戸閉車側灯とも呼ばれ、ドアが閉まっていない時に点灯し、ドアが閉まっている時に消灯する。車掌は、車側灯の点灯と消灯を目視で確認することによって、ドアの開閉状態を判断する。しかし、車両の編成における全ての車側灯が車掌から見易い位置にあるとは限らない。そこで、車側灯の確認をバックアップする装置に対するニーズがある。

【0003】

従来から、点灯している車側灯を画像処理によって検出する方法が知られている（例えば、特許文献１参照）。この方法は、画像の高輝度領域を抽出し（同文献の図６のＳ３）、点灯している車側灯（戸閉表示灯）を検出する（Ｓ４のＹ）。しかし、消灯している車側灯は、高輝度領域ではないので検出することができない。このため、点灯している車側灯を検出しない場合（Ｓ４のＮ）、車側灯の消灯状態とみなしている（Ｓ５）。

【0004】

しかし、車側灯の消灯状態はドアが閉まっている状態を意味するため、点灯状態の車側灯の検出がフェール（検出失敗）すると、実際にはドアが閉まっていないにもかかわらず、ドアが閉まっているとみなされ、発車が可能になるので、安全側のフェール（フェールセーフ）ではない。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１１－２４０８６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、上記問題を解決するものであり、消灯状態の車側灯を検出したとの判定が可能な車側灯判定システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の車側灯判定システムは、鉄道における車側灯の状態を判定するための車側灯判定システムであって、駅に設けられたカメラと、入力された画像を複数のクラスに分類する分類器と、前記分類器の出力が入力される判定部とを備え、前記カメラによって撮像された画像中、前記駅に車両が停まっている場合にその車両の車側灯が１つだけ含まれる範囲が前記分類器に入力され、前記分類器は、入力された画像が点灯状態の車側灯が写っているクラスに属する信頼度である点灯信頼度と、その画像が消灯状態の車側灯が写っているクラスに属する信頼度である消灯信頼度とを出力し、前記点灯信頼度が所定の点灯信頼度閾値未満、かつ前記消灯信頼度が所定の消灯信頼度閾値以上であるとき、前記判定部は、消灯状態の車側灯を検出したとの判定結果を出力することを特徴とする。

【0008】

この車側灯判定システムにおいて、前記点灯信頼度が前記点灯信頼度閾値以上、かつ前記消灯信頼度が前記消灯信頼度閾値未満であるとき、前記判定部は、点灯状態の車側灯を検出したとの判定結果を出力することが好ましい。

【0009】

この車側灯判定システムにおいて、前記点灯信頼度が前記点灯信頼度閾値未満、かつ前記消灯信頼度が前記消灯信頼度閾値未満であるとき、前記判定部は、車側灯を検出しないとの判定結果を出力することが好ましい。

【0010】

この車側灯判定システムにおいて、前記点灯信頼度が前記点灯信頼度閾値以上、かつ前記消灯信頼度が前記消灯信頼度閾値以上であるとき、前記判定部は、誤検出が発生したとの判定結果を出力することが好ましい。

【0011】

この車側灯判定システムにおいて、前記分類器は、入力された画像を、点灯状態の車側灯が写っているクラスと、消灯状態の車側灯が写っているクラスとに分類する多層ニューラルネットワークであり、前記駅に車両が停まっている時に撮像された画像が入力されることが好ましい。

【0012】

この車側灯判定システムにおいて、前記分類器は、入力された画像を、点灯状態の車側灯が写っているクラスと、消灯状態の車側灯が写っているクラスと、車側灯が写っていないクラスとに分類する多層ニューラルネットワークであってもよい。

【発明の効果】

【0013】

本発明の車側灯判定システムによれば、カメラが画像を撮像し、車側灯が１つだけ含まれる範囲が分類器に入力され、点灯状態の車側灯が写っているクラスに属する信頼度（点灯信頼度）と、消灯状態の車側灯が写っているクラスに属する信頼度（消灯信頼度）とを分類器が出力するので、消灯状態の車側灯を検出したとの判定が可能となる。また、点灯信頼度が所定の点灯信頼度閾値未満、かつ消灯信頼度が所定の消灯信頼度閾値以上であるとき、判定部は、消灯状態の車側灯を検出したとの判定結果を出力するので、点灯信頼度の出力がフェールしても、消灯状態の車側灯を検出したとの判定結果が出力されるリスクが低減される。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係る車側灯判定システムのブロック構成図。

【図2】同システムにおけるカメラの配置を示す平面図。

【図3】点灯状態の車側灯を含む画像をモノクロ変換した画像。

【図4】消灯状態の車側灯を含む画像をモノクロ変換した画像。

【図5】同システムにおける分類器の模式図。

【図6】ホームドアがある場合の同システムのブロック構成図。

【図7】同システムにおける分類器の変形例の模式図。

【図8】同システムにおける判定部の動作を示すフローチャート。

【図9】同システムの判定結果をまとめて表示するブロック構成図。

【図10】同システムの判定結果を個別に表示するブロック構成図。

【発明を実施するための形態】

【0015】

本発明の一実施形態に係る車側灯判定システムについて図１乃至図１０を参照して説明する。図１に示すように、車側灯判定システム１は、鉄道における車側灯２の状態を判定するためのシステムであり、カメラ３と、分類器５と、判定部６とを備える。本実施形態では、車側灯判定システム１は、さらに、カメラ３と分類器５との間に前処理部４を有する。カメラ３は、駅に設けられる。分類器５は、入力された画像を複数のクラスに分類する学習済みの画像分類器である。判定部６は、分類器５の出力が入力される。判定部６による判定結果は、例えば、表示部７に表示される。

【0016】

カメラ３によって撮像された画像中、駅に車両が停まっている場合にその車両の車側灯２が１つだけ含まれる範囲が分類器５に入力される。

【0017】

本実施形態では、図２に示すように、各カメラ３は、駅に車両２０が停まっている場合にその車両２０の車側灯２が撮像範囲３１に１つだけ含まれるように配置される。したがって、駅に車両２０が停まっている時、カメラ３によって撮像された画像の全範囲を分類器５に入力しても、その画像中に車側灯２が１つだけ含まれる。なお、当然であるが、駅に車両２０が停まっていない時、カメラ３によって撮像された画像に車側灯２は写っていない。

【0018】

車側灯判定システム１のカメラ３として旅客の乗降を監視するためのカメラを併用する場合等、カメラ３の撮像範囲は、分類器５にとって不必要に広い範囲となる。また、１台のカメラ３で複数の車側灯２を撮像する場合もある。そのような場合に対応するため、前処理部４が設けられる。前処理部４は、カメラ３によって撮像された画像から一定範囲を切り出して分類器５に出力する。その一定範囲には、駅に車両が停まっている場合にその車両の車側灯２が１つだけ含まれる。なお、カメラ３の撮像範囲の設定によっては前処理部４を省略してもよい。

【0019】

車側灯判定システム１の構成について詳述する。車側灯２は、車両のドアが閉まっていない時に点灯し、ドアが閉まっている時に消灯する戸閉車側灯である。点灯状態の車側灯２を図３に示す。図３の中央付近に写っている明るい部分が点灯状態の車側灯２である。消灯状態の車側灯２を図４に示す。図４の中央付近に写っている暗い部分（カラー画像では暗赤色の部分）が消灯状態の車側灯２である。消灯状態の車側灯２は、車両の屋根、ドア及び窓等との相対位置、並びに形状等が、点灯状態の車側灯２と同じである。また、駅のホームは、安全確保の観点から、照度が規定されている（ＪＩＳ Ｚ ９１１０：２０１０「照明基準総則」表１９－駅舎）。このため、ホームにいる人は、消灯状態の車側灯２を視覚によって認識することができる。したがって、脳神経系をモデルとした多層ニューラルネットワークを用いることにより、点灯状態の車側灯２だけでなく、消灯状態の車側灯２も識別することが可能である。ただし、ディープラーニングを行う多層ニューラルネットワークを用いても１００％の正解率を得ることは難しく、多層ニューラルネットワークの出力は、正解の確率（信頼度）で表される。

【0020】

カメラ３は、ビデオカメラであり、一定のフレームレートでカラー画像を撮像し、その画像をディジタルデータとして出力する。

【0021】

前処理部４、分類器５、判定部６は、車側灯判定システム１におけるデータ処理を行う機能部分であり、ＣＰＵ、メモリ等のハードウェアを有し、ソフトウェアを実行することによって動作する。前処理部４、分類器５、判定部６は、同じハードウェアを共用しても、それぞれ別のハードウェアを有してもよい。分類器５は、並列計算能力を向上するためのＧＰＵ（Graphics Processing Unit）又はＦＰＧＡ（Field Programmable Gate Array）を有してもよい。

【0022】

分類器５には、カメラ３によって撮像された画像が、前処理部４を介して入力される。前処理部４が無い場合、分類器５には、カメラ３によって撮像された画像が、直接入力される。

【0023】

分類器５の数理モデルを図５に示す。本実施形態では、分類器５は、入力された画像を、点灯状態の車側灯２が写っているクラス５０ａと、消灯状態の車側灯２が写っているクラス５０ｂとに分類する多層ニューラルネットワークである。この分類器５は、入力層５１と、複数の中間層５２（５２１、５２２、…５２ｎ）と、出力層５３とを有し、入力層５１から出力層５３に向けて信号が伝達される。各中間層５２は、複数のノード５４（ニューロン）を有する（大きな白丸で図示）。出力層５３は、２クラス５０ａ、５０ｂに対応する２つのノード５４を有する。各ノード５４は、層間において、エッジ５５で接続される（線分で図示）。各エッジ５５は、終端にシナプス５６を有する（小さな白丸で図示）。ノード５４への複数の入力から、シナプス強度を重みとする重み付き和（線形和）が計算される。ノード５４の次のノード５４への出力は、その重み付き和を活性化関数に入れて計算される。活性化関数は、例えばシグモイド関数又はＲｅＬＵ関数である。入力層５１は、入力された画像のディジタルデータである。出力層５３の出力は、点灯信頼度５７ａと消灯信頼度５７ｂである。点灯信頼度５７ａは、分類器５に入力された画像が、点灯状態の車側灯２が写っているクラス５０ａに属する信頼度である。消灯信頼度５７ｂは、分類器５に入力された画像が、消灯状態の車側灯２が写っているクラス５０ｂに属する信頼度である。分類器５は、消灯信頼度＝１－点灯信頼度の数式（余事象の確率）によって点灯信頼度から消灯信頼度を計算するのではなく、入力された画像から、点灯信頼度５７ａと消灯信頼度５７ｂを多層ニューラルネットワークでそれぞれ計算する。

【0024】

分類器５の多層ニューラルネットワークに、畳み込みニューラルネットワーク（Convolutional Neural Network, ＣＮＮ）を用いることが望ましい。一般的に、ＣＮＮは、画像内の識別対象物の位置が多少違っても識別することができる。このため、車両の停止位置が許容範囲内でずれても、分類器５は、車側灯２を識別することができる。

【0025】

分類器５は、駅に車両が停まっている時に撮像された画像が入力される（図２参照）。車側灯判定システム１は、駅に車両が停まっている時に、その車両のドアの開閉状態を確認するためのものだからである。駅のホームにホームドアがある場合、それを制御するホームドアシステムは、車両がホームに停まっているとの停車情報を有する。このため、図６に示すように、停車情報をホームドアシステム９から車側灯判定システム１に入力してもよい。これにより、前処理部４は、停車情報が入力されている時に、画像を分類器５に出力する。

【0026】

分類器５は、事前に学習済みである。その学習は、ディープラーニングの教師あり学習である。分類器５の学習において、点灯状態の車側灯２が写っている多数の画像と、消灯状態の車側灯２が写っている多数の画像が分類器５に入力され、分類器５の多層ニューラルネットワークが調整される。車側灯２の形状は、円形タイプや縦長タイプ等があり、車種によって同じとは限らない。また、車側灯２の車両の屋根、ドア及び窓等との相対位置も、車種によって同じとは限らない。このため、分類器５の学習用の画像は、カメラ３の撮像対象となる全ての車種の車側灯２について用意されることが望ましい。ただし、車側灯２の形状等の違いの数は、顔認識における顔の違いの数と比べると、各段に少ない。なお、今後、車側灯２の形状が標準化されることが望ましい。

【0027】

本実施形態の変形例として、図７に示すように、分類器５は、入力された画像を３クラスに分類する多層ニューラルネットワークであってもよい。この分類器５は、入力された画像を、点灯状態の車側灯２が写っているクラス５０ａと、消灯状態の車側灯２が写っているクラス５０ｂと、車側灯２が写っていないクラス５０ｃとに分類する。出力層５３は、それら３クラス５０ａ、５０ｂ、５０ｃに対応する３つのノード５４を有する。出力層５３の出力のうち、点灯信頼度５７ａと消灯信頼度５７ｂが判定部６によって用いられる。車側灯２が写っていないクラス５０ｃの信頼度５７ｃは、学習において必要である。この分類器５の学習において、点灯状態の車側灯２が写っている多数の画像と、消灯状態の車側灯２が写っている多数の画像と、車両が停まっていない時に撮像された多数の画像が分類器５に入力され、分類器５の多層ニューラルネットワークが調整される。この変形例では、分類器５は、駅に車両が停まっているか否かにかかわらず、入力された画像を分類する。

【0028】

上記のように構成された車側灯判定システム１における判定動作について説明する。図８に示すように、分類器５の出力が判定部６に入力される（ステップＳ１０１）。分類器５の出力は、点灯信頼度５７ａと消灯信頼度５７ｂである。その点灯信頼度５７ａが所定の点灯信頼度閾値５８ａ未満（ステップＳ１０２でＮｏ）、かつ消灯信頼度５７ｂが所定の消灯信頼度閾値５８ｂ以上であるとき（ステップＳ１０３でＹｅｓ）、判定部６は、消灯状態の車側灯２を検出したとの判定結果を出力する（ステップＳ１０４）。

【0029】

点灯信頼度５７ａが点灯信頼度閾値５８ａ以上（ステップＳ１０２でＹｅｓ）、かつ消灯信頼度５７ｂが消灯信頼度閾値５８ｂ未満であるとき（ステップＳ１０５でＮｏ）、判定部６は、点灯状態の車側灯２を検出したとの判定結果を出力する（ステップＳ１０６）。

【0030】

点灯信頼度５７ａが点灯信頼度閾値５８ａ未満（ステップＳ１０２でＮｏ）、かつ消灯信頼度５７ｂが消灯信頼度閾値５８ｂ未満であるとき（ステップＳ１０３でＮｏ）、判定部６は、車側灯２を検出しないとの判定結果を出力する（ステップＳ１０７）。この時、ホームに車両が停まっていれば、車側灯判定システム１が車側灯２の検出を失敗した可能性がある。

【0031】

点灯信頼度５７ａが点灯信頼度閾値５８ａ以上（ステップＳ１０２でＹｅｓ）、かつ消灯信頼度５７ｂが消灯信頼度閾値５８ｂ以上であるとき（ステップＳ１０５でＹｅｓ）、判定部６は、誤検出が発生したとの判定結果を出力する（ステップＳ１０８）。カメラ３によって撮像された画像中、駅に車両が停まっている場合にその車両の車側灯２が１つだけ含まれる範囲が分類器５に入力されるので、その範囲に点灯状態の車側灯２と消灯状態の車側灯２が同時に写っていることはないからである。

【0032】

判定部６による判定結果は、表示部７に表示される（図１参照）。表示部７は、ディスプレイであり、例えば、車掌から見易い位置に設けられる。車掌から直接見難い位置にある車側灯２が車両の１編成中１つである場合、配置されるカメラ３は１台となるので、図１に示す構成で足りる。判定部６による判定結果は、カメラ３が撮像した画像と共に、表示部７に表示される。

【0033】

車両１編成に対して複数のカメラ３が配置される場合、図９に示すように、各カメラ３に対応する判定部６による判定結果を、論理部８で１つの判定結果にまとめて、表示部７に表示してもよい。論理部８は、ＣＰＵ、メモリ等のハードウェアを有し、ソフトウェアを実行することによって論理演算を行う。論理部８は、車側灯判定システム１と同じハードウェアを共用してもよい。また、論理部８は、半導体の論理回路であってもよい。論理部８は、入力される全ての判定結果が、消灯状態の車側灯２を検出したとの判定結果であるとき、全ての車側灯２が消灯しているとの判定結果（論理積）を表示部７に出力する。また、論理部８は、入力される全ての判定結果が、点灯状態の車側灯２を検出したとの判定結果であるとき、全ての車側灯２が点灯しているとの判定結果（論理積）を表示部７に出力する。この構成により、車側灯判定システム１による判定結果が見易くなる。論理部８よる判定結果は、カメラ３が撮像した画像と共に、表示部７に表示される。判定結果の表示は、例えば、記号（○、×）及び色彩である。例えば、カメラ３が９台ある場合、カメラ３が撮像した画像は、表示部７に９分割表示（３×３分割表示）される。

【0034】

図１０に示すように、各カメラ３に対応する判定部６による判定結果を、個別に表示部７に表示してもよい。この構成により、個別の車側灯２の状態を知ることができる。

【0035】

以上、本実施形態に係る車側灯判定システム１によれば、カメラ３が画像を撮像し、車側灯２が１つだけ含まれる範囲が分類器５に入力され、点灯状態の車側灯２が写っているクラス５０ａに属する信頼度（点灯信頼度５７ａ）と、消灯状態の車側灯２が写っているクラス５０ｂに属する信頼度（消灯信頼度５７ｂ）とを分類器５が出力するので、消灯状態の車側灯２を検出したとの判定が可能となる。また、点灯信頼度５７ａが所定の点灯信頼度閾値５８ａ未満、かつ消灯信頼度５７ｂが所定の消灯信頼度閾値５８ｂ以上であるとき、判定部６は、消灯状態の車側灯２を検出したとの判定結果を出力するので、点灯信頼度５７ａの出力がフェールしても、消灯状態の車側灯２を検出したとの判定結果が出力されるリスクが低減される。

【0036】

なお、本発明は、上記の実施形態の構成に限られず、発明の要旨を変更しない範囲で種々の変形が可能である。例えば、車側灯判定システム１が複数のカメラ３を有する場合（図９、図１０参照）、複数の前処理部４、分類器５、判定部６を１つのハードウェアで構成し、複数のカメラ３からの入力を並列処理してもよい。

【符号の説明】

【0037】

１ 車側灯判定システム
３ カメラ
５ 分類器
５０ａ 点灯状態の車側灯２が写っているクラス
５０ｂ 消灯状態の車側灯２が写っているクラス
５７ａ 点灯信頼度
５７ｂ 消灯信頼度
５８ａ 点灯信頼度閾値
５８ｂ 消灯信頼度閾値
６ 判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】