IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社コシダテックの特許一覧

特開2025-5941障害物検知装置、プログラム及び障害物検知方法
<>
  • 特開-障害物検知装置、プログラム及び障害物検知方法 図1
  • 特開-障害物検知装置、プログラム及び障害物検知方法 図2
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025005941
(43)【公開日】2025-01-17
(54)【発明の名称】障害物検知装置、プログラム及び障害物検知方法
(51)【国際特許分類】
   B61L 23/00 20060101AFI20250109BHJP
   G06T 7/00 20170101ALI20250109BHJP
   G06T 7/254 20170101ALI20250109BHJP
【FI】
B61L23/00 A
G06T7/00 650A
G06T7/254 B
G06T7/00 350C
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023106402
(22)【出願日】2023-06-28
(71)【出願人】
【識別番号】591003884
【氏名又は名称】株式会社コシダテック
(74)【代理人】
【識別番号】100160794
【弁理士】
【氏名又は名称】星野 寛明
(74)【代理人】
【識別番号】100214938
【弁理士】
【氏名又は名称】樋熊 政一
(72)【発明者】
【氏名】宮城 大輔
(72)【発明者】
【氏名】鈴木 一郎
(72)【発明者】
【氏名】塔 思
【テーマコード(参考)】
5H161
5L096
【Fターム(参考)】
5H161AA01
5H161MM05
5H161MM12
5H161NN10
5H161PP07
5H161PP11
5L096AA06
5L096BA02
5L096BA04
5L096BA18
5L096CA04
5L096CA05
5L096DA02
5L096EA18
5L096FA32
5L096FA59
5L096GA08
5L096GA51
5L096HA11
5L096JA11
(57)【要約】
【課題】線路敷又は道路敷内の障害物を、障害物の高さ、大きさ及び形状などによらず検知することができる障害物検知装置、プログラム及び障害物検知方法を提供すること。
【解決手段】実施形態の障害物検知装置は、取得部及び障害物検知部を備える。取得部は、列車が通行する線路を含む線路敷又はBRT用の車両が通行する道路を含む道路敷を撮影するカメラが撮影した画像を取得する。障害物検知部は、前記画像を用いた背景差分を用いて、前記線路敷又は前記道路敷内の障害物を検知する処理、及び学習済みモデルに前記画像を入力して前記画像内に障害物が映っているか否かを示す出力を得る方法を用いて、前記線路敷又は前記道路敷内の障害物を検知する処理の少なくともいずれかの処理を行う。
【選択図】図2
【特許請求の範囲】
【請求項1】
列車が通行する線路を含む線路敷又はBRT用の車両が通行する道路を含む道路敷を撮影するカメラが撮影した画像を取得する取得部と、
前記画像を用いた背景差分を用いて、前記線路敷又は前記道路敷内の障害物を検知する処理を行う障害物検知部と、を備える障害物検知装置。
【請求項2】
列車が通行する線路を含む線路敷又はBRT用の車両が通行する道路を含む道路敷を撮影するカメラが撮影した画像を取得する取得部と、
学習済みモデルに前記画像を入力して前記画像内に障害物が映っているか否かを示す出力を得る方法を用いて、前記線路敷又は前記道路敷内の障害物を検知する処理を行う障害物検知部と、を備える障害物検知装置。
【請求項3】
前記障害物検知部は、前記画像を用いた前記背景差分、及び学習済みモデルに前記画像を入力して前記画像内に障害物が映っているか否かを示す出力を得る方法を用いて、前記線路敷又は前記道路敷内の前記障害物を検知する処理を行う、請求項1に記載の障害物検知装置。
【請求項4】
前記学習済みモデルは、変分オートエンコーダを用いて学習した学習済みモデルである、請求項2又は3に記載の障害物検知装置。
【請求項5】
前記取得部は、前記線路敷又は前記道路敷内を撮影する複数の前記カメラのそれぞれが撮影した前記画像を取得し、
前記障害物検知部は、異なる前記カメラによって撮影された複数の前記画像を用いて前記障害物を検知する処理を行う、請求項1又は請求項2に記載の障害物検知装置。
【請求項6】
前記線路敷又は前記道路敷は、踏切であり、
前記踏切が遮断されていること、及び前記踏切の警報器が鳴っていることの少なくともいずれかを判定する遮断判定部をさらに備え、
前記障害物検知部は、前記遮断判定部によって前記踏切が遮断されていると判定された場合、及び前記遮断判定部によって前記警報器が鳴っていると判定された場合の少なくともいずれかの判定がされた場合、前記障害物を検知する処理を行う、請求項1又は請求項2に記載の障害物検知装置。
【請求項7】
前記画像を用いて前記線路敷内の前記列車又は前記道路敷内のBRT用の前記車両を検出する列車検出部をさらに備え、
前記障害物検知部は、前記列車検出部によって前記列車又はBRT用の前記車両が検出されなかった場合に、前記障害物を検知する処理を行う、請求項1又は請求項2に記載の障害物検知装置。
【請求項8】
障害物検知装置が備えるプロセッサーを、
列車が通行する線路を含む線路敷又はBRT用の車両が通行する道路を含む道路敷を撮影するカメラが撮影した画像を取得する取得部と、
前記画像を用いた背景差分を用いて、前記線路敷又は前記道路敷内の障害物を検知する処理を行う障害物検知部と、して機能させるプログラム。
【請求項9】
障害物検知装置が備えるプロセッサーを、
列車が通行する線路を含む線路敷又はBRT用の車両が通行する道路を含む道路敷を撮影するカメラが撮影した画像を取得する取得部と、
学習済みモデルに前記画像を入力して前記画像内に障害物が映っているか否かを示す出力を得る方法を用いて、前記線路敷又は前記道路敷内の障害物を検知する処理を行う障害物検知部と、して機能させるプログラム。
【請求項10】
列車が通行する線路を含む線路敷又はBRT用の車両が通行する道路を含む道路敷を撮影するカメラが撮影した画像を取得し、
前記画像を用いた背景差分を用いて、前記線路敷又は前記道路敷内の障害物を検知する処理を行う、障害物検知方法。
【請求項11】
列車が通行する線路を含む線路敷又はBRT用の車両が通行する道路を含む道路敷を撮影するカメラが撮影した画像を取得し、
学習済みモデルに前記画像を入力して前記画像内に障害物が映っているか否かを示す出力を得る方法を用いて、前記線路敷又は前記道路敷内の障害物を検知する処理を行う、障害物検知方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、障害物検知装置、プログラム及び障害物検知方法に関する。
【背景技術】
【0002】
踏切などの、線路が設置された線路敷には、線路敷内の障害物を検知するための障害物検知装置が設置されている場合がある。しかしながら、既存の障害物検知装置は車両を検知することを目的として設置されている。このため、既存の障害物検知装置では、ある程度の高さ以上の障害物しか検知できない又はある程度の大きさ以上の障害物しか検知できないなどの制約がある。このため、既存の障害物検知装置は、障害物の高さ、大きさ及び形状などによっては検知できない場合がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-192181号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の実施形態が解決しようとする課題は、線路敷又は道路敷内の障害物を、障害物の高さ、大きさ及び形状などによらず検知することができる障害物検知装置、プログラム及び障害物検知方法を提供することである。
【課題を解決するための手段】
【0005】
実施形態の障害物検知装置は、取得部及び障害物検知部を備える。取得部は、列車が通行する線路を含む線路敷又はBRT用の車両が通行する道路を含む道路敷を撮影するカメラが撮影した画像を取得する。障害物検知部は、前記画像を用いた背景差分を用いて、前記線路敷又は前記道路敷内の障害物を検知する処理、及び学習済みモデルに前記画像を入力して前記画像内に障害物が映っているか否かを示す出力を得る方法を用いて、前記線路敷又は前記道路敷内の障害物を検知する処理の少なくともいずれかの処理を行う。
【図面の簡単な説明】
【0006】
図1】実施形態に係る検知システム及び当該検知システムに含まれる構成要素の要部構成の一例を示すブロック図。
図2図1中のサーバー装置のプロセッサーによる処理の一例を示すフローチャート。
【発明を実施するための形態】
【0007】
以下、実施形態に係る検知システムについて図面を用いて説明する。なお、以下の実施形態の説明に用いる各図面は、説明のため、構成を省略して示している場合がある。また、各図面及び本明細書中において、同一の符号は同様の要素を示す。
図1は、実施形態に係る検知システム1及び検知システム1に含まれる構成要素の要部構成の一例を示すブロック図である。なお、各装置の各構成要素は、内蔵であっても外付けであっても良い。検知システム1は、踏切内の障害物を検知するためのシステムである。踏切は、典型的には、鉄道と道路の平面交差として設置されるものである。検知システム1は、一例として、サーバー装置100、ルーター200、カメラ300、踏切リレー400、障害物検知リレー500、特殊信号リレー600及び端末装置700を含む。なお、検知システム1は、このうちの一部を含むものであっても良い。また、図1に示す各装置の数はそれぞれ1つであるが、各装置の数は限定しない。
【0008】
サーバー装置100及びルーター200は、ネットワークNW1に接続する。ネットワークNW1は、典型的にはWAN(wide area network)を含む通信網である。ネットワークNW1は、典型的にはイントラネットなどのプライベートネットワークを含む通信網である。ネットワークNW1は、LAN(local area network)を含む通信網であっても良い。ネットワークNW1は、インターネットを含む通信網であっても良い。
【0009】
ルーター200及びカメラ300は、ネットワークNW2に接続する。ネットワークNW2は、典型的にはLANを含む通信網である。ネットワークNW2は、インターネットを含む通信網であっても良い。ネットワークNW2は、WANを含む通信網であっても良い。
【0010】
サーバー装置100及び端末装置700は、ネットワークNW3に接続する。ネットワークNW3は、典型的にはインターネットを含む通信網である。ネットワークNW3は、典型的にはWANを含む通信網である。ネットワークNW3は、イントラネットなどのプライベートネットワークを含む通信網であっても良い。ネットワークNW3は、LANを含む通信網であっても良い。
【0011】
ネットワークNW1~ネットワークNW3のそれぞれは、無線回線でも良いし有線回線でも良く、無線回線と有線回線とが混在していても良い。また、ネットワークNW1~ネットワークNW3のそれぞれは、専用線又は公衆携帯電話網などを含む通信網であっても良い。また、ネットワークNW1~ネットワークNW3のいずれか複数は、共通の通信網であっても良い。
【0012】
なお、検知システム1は、図示しないネットワーク機器を含んでも良い。
【0013】
サーバー装置100は、踏切内の障害物を検知するための処理を行う装置である。また、サーバー装置100は、検知システム1の制御を行う。サーバー装置100は、一例として、プロセッサー101、ROM(read-only memory)102、RAM(random-access memory)103、補助記憶装置104及び通信I/F(interface)105を含む。そして、バス106などが、これら各部を接続する。サーバー装置100は、障害物検知装置の一例である。
【0014】
プロセッサー101は、サーバー装置100の動作に必要な演算及び制御などの処理を行うコンピューターの中枢部分であり、各種演算及び処理などを行う。プロセッサー101は、例えば、CPU(central processing unit)、MPU(micro processing unit)、SoC(system on a chip)、DSP(digital signal processor)、GPU(graphics processing unit)、ASIC(application specific integrated circuit)、PLD(programmable logic device)又はFPGA(field-programmable gate array)などである。あるいは、プロセッサー101は、これらのうちの複数を組み合わせたものである。また、プロセッサー101は、これらにハードウェアアクセラレーターなどを組み合わせたものであっても良い。プロセッサー101は、ROM102又は補助記憶装置104などに記憶されたファームウェア、システムソフトウェア及びアプリケーションソフトウェアなどのプログラムに基づいて、サーバー装置100の各種の機能を実現するべく各部を制御する。また、プロセッサー101は、当該プログラムに基づいて後述する処理を実行する。なお、当該プログラムの一部又は全部は、プロセッサー101の回路内に組み込まれていても良い。
【0015】
ROM102及びRAM103は、プロセッサー101を中枢としたコンピューターの主記憶装置である。ROM102は、専らデータの読み出しに用いられる不揮発性メモリである。ROM102は、上記のプログラムのうち、例えばファームウェアなどを記憶する。また、ROM102は、プロセッサー101が各種の処理を行う上で使用するデータなども記憶する。
【0016】
RAM103は、データの読み書きに用いられるメモリである。RAM103は、プロセッサー101が各種の処理を行う上で一時的に使用するデータを記憶するワークエリアなどとして利用される。RAM103は、典型的には揮発性メモリである。
【0017】
補助記憶装置104は、プロセッサー101を中枢としたコンピューターの補助記憶装置である。補助記憶装置104は、例えばEEPROM(electric erasable programmable read-only memory)、HDD(hard disk drive)又はフラッシュメモリなどである。補助記憶装置104は、上記のプログラムのうち、例えば、システムソフトウェア及びアプリケーションソフトウェアなどを記憶する。また、補助記憶装置104は、プロセッサー101が各種の処理を行う上で使用するデータ、プロセッサー101での処理によって生成されたデータ及び各種の設定値などを記憶する。
【0018】
補助記憶装置104が記憶するアプリケーションソフトウェアは、検知システム1の制御用のソフトウェア(以下「検知ソフト」という。)を含む。
【0019】
通信I/F105は、サーバー装置100がネットワークNW1及びネットワークNW3などを介して通信するためのインターフェースである。
【0020】
バス106は、コントロールバス、アドレスバス及びデータバスなどを含み、サーバー装置100の各部で授受される信号を伝送する。
【0021】
ルーター200は、異なる通信網を接続する装置である。ルーター200は、異なる通信網間の通信を中継する。また、ルーター200は、リレー装置との間で信号の入出力を行う。ルーター200は、例えば、1つの踏切に対して1つ設置される。ルーター200は、一例として、プロセッサー201、ROM202、RAM203、補助記憶装置204、第1通信I/F205、第2通信I/F206及びリレーI/F207を含む。そして、バス208などが、これら各部を接続する。
【0022】
プロセッサー201は、ルーター200の動作に必要な演算及び制御などの処理を行うコンピューターの中枢部分であり、各種演算及び処理などを行う。プロセッサー201は、例えば、CPU、MPU、SoC、DSP、GPU、ASIC、PLD又はFPGAなどである。あるいは、プロセッサー201は、これらのうちの複数を組み合わせたものである。また、プロセッサー201は、これらにハードウェアアクセラレーターなどを組み合わせたものであっても良い。プロセッサー201は、ROM202又は補助記憶装置204などに記憶されたファームウェア、システムソフトウェア及びアプリケーションソフトウェアなどのプログラムに基づいて、ルーター200の各種の機能を実現するべく各部を制御する。また、プロセッサー201は、当該プログラムに基づいて後述する処理を実行する。なお、当該プログラムの一部又は全部は、プロセッサー201の回路内に組み込まれていても良い。
【0023】
ROM202及びRAM203は、プロセッサー201を中枢としたコンピューターの主記憶装置である。ROM202は、専らデータの読み出しに用いられる不揮発性メモリである。ROM202は、上記のプログラムのうち、例えばファームウェアなどを記憶する。また、ROM202は、プロセッサー201が各種の処理を行う上で使用するデータなども記憶する。
【0024】
RAM203は、データの読み書きに用いられるメモリである。RAM203は、プロセッサー201が各種の処理を行う上で一時的に使用するデータを記憶するワークエリアなどとして利用される。RAM203は、典型的には揮発性メモリである。
【0025】
補助記憶装置204は、プロセッサー201を中枢としたコンピューターの補助記憶装置である。補助記憶装置204は、例えばEEPROM、HDD又はフラッシュメモリなどである。補助記憶装置204は、上記のプログラムのうち、例えば、システムソフトウェア及びアプリケーションソフトウェアなどを記憶する。また、補助記憶装置204は、プロセッサー201が各種の処理を行う上で使用するデータ、プロセッサー201での処理によって生成されたデータ及び各種の設定値などを記憶する。
【0026】
ROM202又は補助記憶装置204などは、ルーター200が設置されている踏切の踏切IDを記憶する。踏切ID(identifier)は、踏切ごとにユニークな識別情報である。踏切IDは、ルーターIDであっても良い。ルーターIDは、ルーター200ごとにユニークな識別情報である。
【0027】
第1通信I/F205は、ルーター200がネットワークNW1などを介して通信するためのインターフェースである。
【0028】
第2通信I/F206は、ルーター200がネットワークNW2などを介して通信するためのインターフェースである。
【0029】
ルーター200は、第1通信I/F205及び第2通信I/F206を用いてネットワークNW1とネットワークNW2を接続する。
【0030】
リレーI/F207は、リレー装置と接続するためのインターフェースである。ルーター200は、リレーI/F207を介してリレー装置が出力する信号の入力を受ける。また、ルーター200は、リレーI/F207を介してリレー装置に信号を出力する。
【0031】
バス208は、コントロールバス、アドレスバス及びデータバスなどを含み、ルーター200の各部で授受される信号を伝送する。
【0032】
カメラ300は、踏切内を撮影するように設置されたカメラである。1つの踏切に対してカメラ300は複数設置される。複数のカメラ300は、死角を無くすために、異なる方向から踏切内を撮影することが好ましい。また、カメラ300は、撮影した画像データを出力する。出力された画像データは、ネットワークNW2を介してルーター200に入力する。なお、動画像は、画像の一種である。カメラ300は、例えば、動画像を撮影し続ける。
【0033】
踏切リレー400は、踏切の遮断状態を示す信号を出力するリレー装置である。踏切リレー400は、例えば、踏切が遮断されている場合に信号を出力する。そして、踏切リレー400は、踏切が遮断されていない場合に信号を出力しない。なお、踏切が遮断されているとは、当該踏切に設置された遮断機によって踏切が遮断されていることを示す。踏切リレーは、例えば、遮断機に信号を出力することで踏切を遮断する。
【0034】
障害物検知リレー500は、障害物が検知された場合に送出される信号(以下「検知信号」という。)の入力を受けたことに応じて、障害物が検知されたことを示す信号を出力するリレー装置である。検知信号は、ルーター200が出力する他、既存の障害物検知装置が出力する場合もある。障害物検知リレー500が出力する信号を受けた各装置は、障害物が検知された場合に行う予め定められた動作を実行する。障害物検知リレー500の出力先の装置は、特殊信号リレー600を含んでも良い。
【0035】
特殊信号リレー600は、信号の入力を受けたことに応じて、特殊信号発光機に対して信号を出力するリレー装置である。特殊信号リレー600からの信号の入力を受けた特殊信号発光機は、特殊信号である発光信号を現示する。
【0036】
端末装置700は、検知システム1に関する各種情報を表示する装置である。端末装置700は、カメラ300によって撮影された画像をリアルタイムに表示可能である。端末装置700は、PC、タブレット端末又はスマートホンなどの汎用の装置であっても良い。端末装置700は、一例として、プロセッサー701、ROM702、RAM703、補助記憶装置704、通信I/F705、入力デバイス706及び表示デバイス707を含む。そして、バス708などが、これら各部を接続する。
【0037】
プロセッサー701は、端末装置700の動作に必要な演算及び制御などの処理を行うコンピューターの中枢部分であり、各種演算及び処理などを行う。プロセッサー701は、例えば、CPU、MPU、SoC、DSP、GPU、ASIC、PLD又はFPGAなどである。あるいは、プロセッサー701は、これらのうちの複数を組み合わせたものである。また、プロセッサー701は、これらにハードウェアアクセラレーターなどを組み合わせたものであっても良い。プロセッサー701は、ROM702又は補助記憶装置704などに記憶されたファームウェア、システムソフトウェア及びアプリケーションソフトウェアなどのプログラムに基づいて、端末装置700の各種の機能を実現するべく各部を制御する。また、プロセッサー701は、当該プログラムに基づいて後述する処理を実行する。なお、当該プログラムの一部又は全部は、プロセッサー701の回路内に組み込まれていても良い。
【0038】
ROM702及びRAM703は、プロセッサー701を中枢としたコンピューターの主記憶装置である。ROM702は、専らデータの読み出しに用いられる不揮発性メモリである。ROM702は、上記のプログラムのうち、例えばファームウェアなどを記憶する。また、ROM702は、プロセッサー701が各種の処理を行う上で使用するデータなども記憶する。
【0039】
RAM703は、データの読み書きに用いられるメモリである。RAM703は、プロセッサー701が各種の処理を行う上で一時的に使用するデータを記憶するワークエリアなどとして利用される。RAM703は、典型的には揮発性メモリである。
【0040】
補助記憶装置704は、プロセッサー701を中枢としたコンピューターの補助記憶装置である。補助記憶装置704は、例えばEEPROM、HDD又はフラッシュメモリなどである。補助記憶装置704は、上記のプログラムのうち、例えば、システムソフトウェア及びアプリケーションソフトウェアなどを記憶する。また、補助記憶装置704は、プロセッサー701が各種の処理を行う上で使用するデータ、プロセッサー701での処理によって生成されたデータ及び各種の設定値などを記憶する。
【0041】
通信I/F705は、端末装置700がネットワークNW3などを介して通信するためのインターフェースである。
【0042】
入力デバイス706は、端末装置700の操作者による操作を受け付ける。入力デバイス706は、例えば、キーボード、キーパッド、タッチパッド、マウス又はコントローラーなどである。また、入力デバイス706は、音声入力用のデバイスであっても良い。
【0043】
表示デバイス707は、端末装置700の操作者などに各種情報を通知するための画面を表示する。表示デバイス707は、例えば、液晶ディスプレイ又は有機EL(electro-luminescence)ディスプレイなどのディスプレイである。また、入力デバイス706及び表示デバイス707としては、タッチパネルを用いることもできる。すなわち、タッチパネルが備える表示パネルを表示デバイス707として、タッチパネルが備える、タッチ入力によるポインティングデバイスを入力デバイス706として用いることができる。
【0044】
バス708は、コントロールバス、アドレスバス及びデータバスなどを含み、端末装置700の各部で授受される信号を伝送する。
【0045】
以下、実施形態に係る検知システム1の動作を図2などに基づいて説明する。なお、以下の動作説明における処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。図2は、サーバー装置100のプロセッサー101による処理の一例を示すフローチャートである。プロセッサー101は、例えば、ROM102又は補助記憶装置104などに記憶されたプログラムに基づいて図2の処理を実行する。プロセッサー101は、例えば、検知ソフトの実行にともない、図2に示す処理を開始する。なお、プロセッサー101は、踏切ごとに図2の処理を行う。以下の説明では特定の1つの踏切を対象として行う図2の処理を説明する。当該特定の1つの踏切を以下「対象踏切」という。
【0046】
図2のステップST11においてサーバー装置100のプロセッサー101は、対象踏切が遮断されているか否かを判定する。このために、プロセッサー101は、例えば、対象踏切に設置されたルーター200に問い合わせることで踏切リレー400が信号を出力しているか否かを確認する。そして、プロセッサー101は、踏切リレー400が信号を出力している場合に、対象踏切が遮断されていると判定する。対して、プロセッサー101は、踏切リレー400が信号を出力していない場合に対象踏切が遮断されていないと判定する。プロセッサー101は、対象踏切が遮断されていないと判定するならば、ステップST11においてNoと判定してステップST11の処理を繰り返す。対して、プロセッサー101は、対象踏切が遮断されていると判定するならば、ステップST11においてYesと判定してステップST12へと進む。
【0047】
以上より、プロセッサー101は、ステップST11の処理を行うことで、踏切が遮断されていることを判定する遮断判定部の一例として機能する。
【0048】
ステップST12においてプロセッサー101は、通信I/F105及びルーター200を介して、対象踏切に設置された複数のカメラ300が撮影した画像を取得する。ここで取得される画像は、最新の画像であることが好ましい。ここで取得されるそれぞれの画像を以下「取得画像」という。また、プロセッサー101は、取得画像を補助記憶装置104などに記憶する。
【0049】
以上より、プロセッサー101は、ステップST12の処理を行うことで、踏切内を撮影するカメラが撮影した画像を取得する取得部の一例として機能する。あるいは、プロセッサー101は、通信I/F105と協働してステップST12の処理を行うことで、取得部の一例として機能する。
【0050】
ステップST13においてプロセッサー101は、取得画像を画像処理することにより、対象踏切内から列車を検出する処理を行う。なお、列車とは、2両以上の連結された鉄道車両に限らず、連結されていない1両の鉄道車両であっても良い。プロセッサー101は、例えば、オブジェクト認識によって対象踏切内の列車を検出する。プロセッサー101は、例えば、ディープラーニングによるオブジェクト認識によって対象踏切内の列車を検出する。プロセッサー101は、例えば、取得画像中に、列車の特徴量と近い部分がある場合に、列車を検出する。物体を検出するアルゴリズムとしては、例えば、YOLOなどを用いることができる。
【0051】
プロセッサー101は、複数の取得画像それぞれについてステップST13の処理を行う。プロセッサー101は、複数の取得画像それぞれについてステップST13の処理を行う際、逐次処理しても良いし、並行又は並列で処理しても良い。
【0052】
ステップST14においてプロセッサー101は、複数の取得画像それぞれについてのステップST13の処理結果を用いて、対象踏切内に列車が存在するか否かの判定を行う。プロセッサー101は、例えば、複数の取得画像のうちのいずれか1つ以上から列車を検出した場合に、対象踏切内に列車が存在すると判定する。あるいは、プロセッサー101は、例えば、複数の取得画像のうちの予め定められた所定の数以上の取得画像から列車を検出した場合に、対象踏切内に列車が存在すると判定する。当該所定の数は、一例として、過半数となる最低の数である。あるいは、プロセッサー101は、例えば、複数の取得画像のすべての取得画像から列車を検出した場合に、対象踏切内に列車が存在すると判定する。
【0053】
プロセッサー101は、ステップST13及びステップST14の処理において、対象踏切内に列車が存在する可能性の高さを示すスコア(以下「列車スコア」という。)を用いて対象踏切内に列車が存在するか否かの判定を行っても良い。例えば、プロセッサー101は、ステップST13において、列車スコアを算出する。そして、プロセッサー101は、ステップST14において複数の取得画像の列車スコアの合計、平均値又は中央値などの統計値が予め定められた所定の閾値TH1以上である場合に、対象踏切内に列車が存在すると判定する。
【0054】
以上より、プロセッサー101は、ステップST13の処理を行うことで、画像を用いて踏切内の列車を検出する列車検出部の一例として機能する。あるいは、プロセッサー101は、ステップST13及びステップST14の処理を行うことで列車検出部の一例として機能する。
【0055】
ステップST15においてプロセッサー101は、ステップST14において対象踏切内に列車が存在すると判定したか否かを判定する。プロセッサー101は、ステップST14において対象踏切内に列車が存在すると判定しないならば、ステップST15においてNoと判定してステップST11へと戻る。対して、プロセッサー101は、ステップST14において対象踏切内に列車が存在すると判定したならば、ステップST15においてYesと判定してステップST16へと進む。
【0056】
ステップST16においてプロセッサー101は、取得画像を画像処理することにより、対象踏切内の障害物の存在を検知する。プロセッサー101は、例えば、取得画像と、取得画像より過去に撮影された背景画像とを用いた背景差分により障害物を検知する。すなわち、プロセッサー101は、取得画像と当該背景画像とを比較することで、所定以上に異なっている部分を抽出する。そして、プロセッサー101は、異なっている部分が抽出できた場合に障害物が存在すると判定する。プロセッサー101は、異なっている部分の面積が予め定められた面積以上である場合に、障害物が存在すると判定しても良い。
【0057】
プロセッサー101は、例えば、予め様々な撮影条件においてカメラ300によって撮影された画像を、背景画像として取得しておく。当該カメラ300は、取得画像を撮影するカメラ300と同じカメラ300である。撮影条件とは、撮影時の時期、時間帯、明るさ及び天候などである。また、背景画像は、撮影時において、踏切が遮断していること、列車が踏切内に存在しないこと、及び障害物が存在しないことという条件を満たす。踏切が遮断しているという条件については、ステップST11と同様の処理により判定が可能である。列車が踏切内に存在しないことという条件については、ステップST13及びステップST14と同様の処理により判定が可能である。障害物が存在しないことという条件については、ステップST16~ステップST18と同様の処理により判定が可能である。
【0058】
プロセッサー101は、予め取得しておいた背景画像の中から、取得画像の撮影条件と近い撮影条件の画像を選択する。そして、プロセッサー101は、選択した背景画像と取得画像とを用いて背景差分を行う。なお、プロセッサー101は、選択した背景画像について、背景差分を行う前に、色調補正を行うことで、明るさなどの撮影条件の違いによる取得画像との差異を小さくしても良い。
【0059】
また、プロセッサー101は、撮影条件の変化による画像の変化の大きさが背景差分に影響を与えない程度に小さいような過去に撮影した背景画像を用いて背景差分を行っても良い。当該過去は、例えば、数フレーム前、数秒前又は数分前など様々な時間を用いることができる。また、プロセッサー101は、踏切が遮断していること、列車が踏切内に存在しないこと、及び障害物が存在しないことという条件を満たす画像を背景画像として用いる。
【0060】
また、プロセッサー101は、上記で説明した方法に限らず、公知の方法を適用して背景差分による障害物の検知を行っても良い。
【0061】
プロセッサー101は、複数の取得画像それぞれについてステップST16の処理を行う。プロセッサー101は、複数の取得画像それぞれについてステップST16の処理を行う際、逐次処理しても良いし、並行又は並列で処理しても良い。
【0062】
ステップST17においてプロセッサー101は、取得画像を画像処理することにより、対象踏切内の障害物の存在を検知する。なお、プロセッサー101は、ステップST17では、ステップST16と異なる方法により障害物を検知する。プロセッサー101は、オートエンコーダを用いて学習した学習済みモデルを用いて障害物を検知する。好ましくは、プロセッサー101は、変分オートエンコーダを用いて学習した学習済みモデルを用いて障害物を検知する。プロセッサー101は、取得画像を撮影するカメラ300と同じカメラ300で撮影された複数の画像を用いて、予め学習済みモデルを生成しておく。学習に用いる画像は、踏切が遮断していること、列車が踏切内に存在しないこと、及び障害物が存在しないことという条件を満たすことが好ましい。プロセッサー101は、取得画像を学習済みモデルに入力する。学習済みモデルは、当該取得画像中に障害物が映っている場合に、障害物を検知したことを示す情報を出力する。学習済みモデルは、当該取得画像中に障害物が映っていない場合に、障害物を検知しなかったことを示す情報を出力する。なお、障害物を検知したことを示す情報は、異常を検知したことを示す情報であっても良い。障害物を検知しなかったことを示す情報は、異常を検知しなかったことを示す情報であっても良い。プロセッサー101は、異常を検知したことを示す情報を、障害物を検知したことを示す情報とみなす。プロセッサー101は、異常を検知しなかったことを示す情報を、障害物を検知しなかったことを示す情報とみなす。
【0063】
また、プロセッサー101は、上記で説明した方法以外の、オートエンコーダに関する公知の技術を用いても良い。
【0064】
プロセッサー101は、複数の取得画像それぞれについてステップST17の処理を行う。プロセッサー101は、複数の取得画像それぞれについてステップST17の処理を行う際、逐次処理しても良いし、並行又は並列で処理しても良い。
【0065】
プロセッサー101は、ステップST16及びステップST17の処理を並行又は並列で処理しても良い。
【0066】
ステップST18においてプロセッサー101は、複数の取得画像それぞれについてのステップST16の処理結果、及び複数の取得画像それぞれについてのステップST17の処理結果を用いて、対象踏切内に障害物が存在するか否かの判定を行う。なお、対象踏切に設置されたカメラ300の数がN個であるならば、ステップST16の処理結果の数とステップST17の処理結果の数の合計は、2N個である。ここで、Nは、2以上の整数である。プロセッサー101は、例えば、2N個の処理結果のうちのいずれか1つ以上の処理結果が障害物を検知したことを示すならば、対象踏切内に障害物が存在すると判定する。あるいは、プロセッサー101は、例えば、2N個の処理結果のうちの予め定められた所定の数以上の処理結果が障害物を検知したことを示すならば、対象踏切内に障害物が存在すると判定する。当該所定の数は、一例として、過半数となる最低の数である。あるいは、プロセッサー101は、例えば、2N個の処理結果のすべてが、障害物を検知したことを示すならば、対象踏切内に障害物が存在すると判定する。あるいは、プロセッサー101は、2N個の処理結果がその他の所定の条件を満たす場合に、対象踏切内に障害物が存在すると判定しても良い。
【0067】
プロセッサー101は、2N個の処理結果のうちの予め定められた所定の数以上の処理結果が障害物を検知したことを示すか否かの判定を行う場合に、処理結果それぞれについて重みをつけても良い。一例として、ステップST16の処理結果は処理結果1.2個分、ステップST17の処理結果は処理結果0.8個分というようにする。
【0068】
プロセッサー101は、ステップST16~ステップST18の処理において、対象踏切内に障害物が存在する可能性の高さを示すスコア(以下「障害物スコア」という。)を用いて対象踏切内に障害物が存在するか否かの判定を行っても良い。例えば、プロセッサー101は、ステップST16及びステップST17それぞれにおいて、障害物スコアを算出する。そして、プロセッサー101は、ステップST18において、ステップST16及びステップST17で算出した複数の障害物スコアの合計、平均値又は中央値などの統計値が予め定められた所定の閾値TH2以上である場合に、対象踏切内に障害物が存在すると判定する。なお、プロセッサー101は、2N個の処理結果それぞれの障害物スコアについて重みをつけても良い。
【0069】
以上より、プロセッサー101は、ステップST16の処理を行うことで、画像を用いた背景差分を用いて、踏切内の障害物を検知する処理を行う障害物検知部の一例として機能する。あるいは、プロセッサー101は、ステップST16及びステップST18の処理を行うことで、画像を用いた背景差分を用いて、踏切内の障害物を検知する処理を行う障害物検知部の一例として機能する。
【0070】
また、プロセッサー101は、ステップST17の処理を行うことで、学習済みモデルに画像を入力して画像内に障害物が映っているか否かを示す出力を得る方法を用いて、踏切内の障害物を検知する処理を行う障害物検知部の一例として機能する。あるいは、プロセッサー101は、ステップST17及びステップST18の処理を行うことで、学習済みモデルに画像を入力して画像内に障害物が映っているか否かを示す出力を得る方法を用いて、踏切内の障害物を検知する処理を行う障害物検知部の一例として機能する。
【0071】
また、プロセッサー101は、ステップST16~ステップST18の処理を行うことで、画像を用いた背景差分、及び学習済みモデルに画像を入力して画像内に障害物が映っているか否かを示す出力を得る方法を用いて、踏切内の前記障害物を検知する処理を行う障害物検知部の一例として機能する。
【0072】
ステップST19においてプロセッサー101は、ステップST18において対象踏切内に障害物が存在すると判定したか否かを判定する。プロセッサー101は、ステップST18において対象踏切内に障害物が存在すると判定しないならば、ステップST19においてNoと判定してステップST11へと戻る。対して、プロセッサー101は、ステップST18において対象踏切内に障害物が存在すると判定したならば、ステップST19においてYesと判定してステップST20へと進む。
【0073】
ステップST20においてプロセッサー101は、障害物を検知した場合に行う予め定められた処理(以下「所定処理」という。)を実行する。プロセッサー101は、所定処理として、例えば、対象踏切を通過する路線上を走行する列車を停止させる処理を行う。プロセッサー101は、所定処理として、例えば、ルーター200を介して障害物検知リレー500に信号を入力する。プロセッサー101は、所定処理として、例えば、ルーター200を介して特殊信号リレー700に信号を入力する。プロセッサー101は、所定処理として、例えば、ステップST12~ステップST19の処理結果を示す情報を補助記憶装置104などに記憶する。
【0074】
プロセッサー101は、所定処理として、例えば、検知情報を生成する。検知情報は、対象踏切の踏切ID、取得画像及びステップST12~ステップST19の処理結果を示す情報を含む。検知情報は、当該踏切IDで特定される踏切で障害物が検知されたことを示す情報である。プロセッサー101は、検知情報を生成した後、当該検知情報を端末装置700に送信するように通信I/F105に対して指示する。この送信の指示を受けて通信I/F105は、当該検知情報を端末装置700に送信する。送信された当該検知情報は、端末装置700の通信I/F705によって受信される。
【0075】
端末装置700のプロセッサー701は、検知情報が受信されたことに応じて、当該検知情報に含まれる踏切IDで特定される踏切において障害物が検知されたこと報知する。プロセッサー701は、例えば、当該踏切において障害物が検知されたことを示す画像、当該検知情報に含まれる取得画像、及び当該検知情報に含まれる処理結果を示す情報を含む画像を表示デバイス707に表示させる。なお、文字は画像の一種である。
【0076】
また、プロセッサー101は、検知情報を、対象踏切を通過する路線上を走行する列車に対して送信しても良い。
【0077】
プロセッサー101は、ステップST20の処理の後、ステップST11へと戻る。
【0078】
実施形態の検知システム1によれば、サーバー装置100は、背景差分を用いて踏切内の障害物検知を行う。これにより、実施形態のサーバー装置100は、既存の障害物検知装置では検知できないような障害物検知も可能である。また、背景差分を用いた方法は、処理速度が速い。
【0079】
また、実施形態の検知システム1によれば、サーバー装置100は、学習済みモデルを用いて踏切内の障害物検知を行う。これにより、実施形態のサーバー装置100は、既存の障害物検知装置では検知できないような障害物検知も可能である。
【0080】
また、実施形態の検知システム1によれば、サーバー装置100は、背景差分を用いた方法と、学習済みモデルを用いた方法とを用いて踏切内の障害物検知を行う。これにより、実施形態のサーバー装置100は、片方だけを用いた場合よりも障害物検知の精度が向上する。
【0081】
また、実施形態の検知システム1によれば、サーバー装置100は、変分オートエンコーダを用いて学習した学習済みモデルを用いて踏切内の障害物検知を行う。これにより、実施形態のサーバー装置100は、精度よく障害物検知が可能である。また、実施形態のサーバー装置100は、ノイズを弾くことができる。
【0082】
また、実施形態の検知システム1によれば、サーバー装置100は、複数のカメラ300で撮影された複数の画像を用いて踏切内の障害物検知を行う。これにより、実施形態のサーバー装置100は、1つのカメラ300だけでは死角になるような位置に障害物があっても障害物の検知が可能である。
【0083】
また、実施形態の検知システム1によれば、サーバー装置100は、踏切が遮断されていない場合、障害物の検知を行わない。したがって、実施形態のサーバー装置100は、障害物の検知を行う必要の無い間に障害物の検知を行わないことで、不要な処理を減らすことができる。
【0084】
また、実施形態の検知システム1によれば、サーバー装置100は、踏切内に列車が存在することを判定する。そして、実施形態のサーバー装置100は、踏切内に列車が存在する場合、障害物の検知を行わない。したがって、実施形態のサーバー装置100は、障害物の検知を行う必要の無い間に障害物の検知を行わないことで、不要な処理を減らすことができる。
【0085】
また、実施形態の検知システム1によれば、サーバー装置100は、障害物判定にはオブジェクト認識を使わない。これにより、実施形態のサーバー装置100は、障害物が未知の物体であっても検知可能である。
【0086】
上記の実施形態は、以下のような変形も可能である。
上記の実施形態における検知システム1の典型的な例では、サーバー装置100が、複数の踏切の障害物検知に関する処理を行う。しかしながら、検知システム1は、サーバー装置100に代えて、エッジコンピューターを備えていても良い。当該エッジコンピューターは、例えば、1つの踏切に対して1つ設置される。当該エッジコンピューターは、設置された踏切を対象踏切とする図2の処理を行う。当該エッジコンピューターは、障害物検知装置の一例である。
【0087】
上記の実施形態では、サーバー装置100のプロセッサー101は、背景差分とオートエンコーダの2種類の方法を用いて障害物を検知する処理を行った。しかしながら、プロセッサー101は、M種類の方法で障害物を検知する処理を行っても良い。ここで、Mは、3以上の整数である。この場合、プロセッサー101は、ステップST18においてM×N個の処理結果を用いる。
【0088】
上記の実施形態では、サーバー装置100のプロセッサー101は、背景差分とオートエンコーダの2種類の方法を用いて障害物を検知する処理を行った。しかしながら、プロセッサー101は、背景差分とオートエンコーダのいずれかのみを用いて障害物を検知する処理を行っても良い。この場合、プロセッサー101は、ステップST18においてN個の処理結果を用いる。
【0089】
プロセッサー101は、モデルの学習に用いる画像として、障害物が存在する画像も用いても良い。ただし、障害物が存在する画像については、障害物が存在するということを示す画像であることを示す教師ラベルを付与する教師あり学習又は自己教師あり学習に用いることが好ましい。
【0090】
プロセッサー101は、対象踏切用の学習モデルの学習に、他の踏切を映した画像も用いても良い。また、プロセッサー101は、対象踏切用の学習モデルの学習に、他の踏切用の学習済みモデルを用いても良い。
【0091】
プロセッサー101は、オートエンコーダ以外の学習方法を用いて学習した学習済みモデルを用いても良い。また、プロセッサー101は、複数の学習方法を組み合わせて学習した学習済みモデルを用いても良い。オートエンコーダ以外の学習方法としては、畳み込みニューラルネットワーク及びmetric learningなどを挙げることができる。
【0092】
プロセッサー101は、学習済みモデルを特徴量抽出器として用いることで障害物を検知しても良い。
【0093】
プロセッサー101は、上述した方法以外の方法を用いて、学習済みモデルを用いた障害物の検知を行っても良い。上述した方法以外の方法としては、例えば、SURF(Speeded Up Robust Features)及びDOC(Learning Deep Features for One-Class Classification)などを挙げることができる。また、プロセッサー101は、複数の方法を組み合わせて、学習済みモデルを用いた障害物の検知を行っても良い。
【0094】
学習済みモデルの生成は、サーバー装置100以外の装置で行っても良い。
【0095】
1つの踏切に設置されたカメラ300は1つであっても良い。この場合、サーバー装置100のプロセッサー101は、1つの取得画像を用いて図2中の処理を行う。
【0096】
サーバー装置100及びルーター200は、踏切リレー400以外の装置から、遮断機の遮断状態を示す情報を取得しても良い。
【0097】
踏切リレー400は、上記の実施形態とは信号のオンオフが逆でも良い。すなわち、踏切リレー400は、踏切が遮断していない場合に信号を出力する。そして、踏切リレー400は、踏切が遮断している場合に信号を出力しない。また、他のリレー装置も上記の実施形態とは信号のオンオフが逆でも良い。
【0098】
検知システム1は、踏切が遮断されているか否かに拘らずに障害物の検知を行っても良い。この場合、サーバー装置100のプロセッサー101は、例えば、ステップST11の処理を行わずにステップST12の処理を行う。踏切が遮断されている場合に用いる背景画像は、踏切が遮断されている際に撮影されたものであることが好ましい。
【0099】
検知システム1は、踏切内に列車が存在するか否かに拘らずに障害物の検知を行っても良い。この場合、サーバー装置100のプロセッサー101は、例えば、ステップST12の処理の後、ステップST16の処理を行う。踏切内に列車が存在する場合に用いる背景画像は、踏切内に列車が存在する際に撮影されたものであることが好ましい。
【0100】
上記の実施形態では、サーバー装置100のプロセッサー101は、ステップST11において踏切が遮断されているか否かを判定した。しかしながら、プロセッサー101は、ステップST11において、踏切が遮断されているか否かに代えて、踏切警報器が鳴っているか否かを判定しても良い。この場合、ルーター200は、例えば、踏切リレー400に代えて、踏切警報器を鳴らしているか否かに応じて信号を出力しているか否かが決まるリレー装置から信号の入力を受ける。あるいは、踏切リレー400は、このようなリレー装置を兼ねていても良い。検知システム1は、踏切警報機の状態を用いることで、遮断機が無く踏切警報器が設置されている踏切でも使用が可能である。また、プロセッサー101は、踏切が遮断されているか否かの判定と踏切警報器がなっているか否かの判定とを併用しても良い。プロセッサー101は、踏切警報器が鳴っているか否かを判定するステップST11の処理を行うことで、踏切の警報器が鳴っていることを判定する遮断判定部の一例として機能する。
【0101】
上記の実施形態では、検知システム1は、踏切内の障害物を検知する。しかしながら、検知システム1は、踏切内に限らず、鉄道が通行する線路及び当該線路を含む線路敷内の障害物を検知しても良い。線路敷は、駅間の線路及び駅内の線路並びに駅間の線路が通る敷地を含む。以上より、実施形態の検知システム1は、踏切に限らず線路敷内の障害物を検知することができる。
【0102】
上記の実施形態における踏切は、鉄道用の踏切である。しかしながら、実施形態の検知システムは、鉄道用の踏切に代えてBRT(bus rapid transit)用の踏切を対象とすることもできる。また、実施形態の検知システムは、鉄道用の列車に代えて、BRT用の車両を対象とすることもできる。また、実施形態の検知システムは、踏切内に限らず、BRT用の車両が専用に通行する道路を含む道路敷内の障害物を検知しても良い。道路敷は、駅(停留所)間の専用道路及び駅内の専用道路並びに駅間の専用道路が通る敷地を含む。以上より、実施形態の検知システムは、BRT用の道路が通る道路敷内の障害物を検知することができる。
【0103】
上記の実施形態では、検知システム1は、踏切ごとに踏切内の障害物検知をする。しかしながら、検知システム1は、エリアごとに踏切内の障害物検知をしても良い。1つの踏切は、1又は複数のエリアを含む。検知システム1は、踏切IDに代えてエリアIDを用いることでエリアを識別する。エリアIDは、エリアごとにユニークな識別情報である。
【0104】
上記の実施形態においてサーバー装置100が行う処理の一部又は全部をルーター200が行っても良い。上記の実施形態においてルーター200が行う処理の一部又は全部をサーバー装置100が行っても良い。上記の実施形態において端末装置700が行う処理の一部又は全部をサーバー装置100が行っても良い。
【0105】
実施形態の各装置は、複数の装置からなるものであっても良い。
【0106】
プロセッサー101、プロセッサー201及びプロセッサー701は、上記実施形態においてプログラムによって実現する処理の一部又は全部を、回路のハードウェア構成によって実現するものであっても良い。
【0107】
実施形態の処理を実現するプログラムは、例えば装置内の非一時的なコンピューター可読記憶媒体に記憶された状態で譲渡される。しかしながら、当該装置は、当該プログラムが記憶されない状態で譲渡されても良い。そして、当該プログラムが別途に譲渡され、当該装置へと書き込まれても良い。このときのプログラムの譲渡は、例えば、リムーバブルで非一時的なコンピューター可読記憶媒体に記録して、あるいはインターネット又はLANなどのネットワークを介したダウンロードによって実現できる。
【0108】
以上、本発明の実施形態を説明したが、例として示したものであり、本発明の範囲を限定するものではない。本発明の実施形態は、本発明の要旨を逸脱しない範囲において種々の態様で実施可能である。
【符号の説明】
【0109】
1 検知システム
100 サーバー装置
101,201,701 プロセッサー
102,202,702 ROM
103,203,703 RAM
104,204,704 補助記憶装置
105,705 通信I/F
106,208,708 バス
200 ルーター
205 第1通信I/F
206 第2通信I/F
207 リレーI/F
300 カメラ
400 踏切リレー
500 障害物検知リレー
600 特殊信号リレー
700 端末装置
706 入力デバイス
707 表示デバイス
図1
図2