特許第6427797号(P6427797)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社明電舎の特許一覧

<>
  • 特許6427797-画像処理によるハンガー検出装置 図000002
  • 特許6427797-画像処理によるハンガー検出装置 図000003
  • 特許6427797-画像処理によるハンガー検出装置 図000004
  • 特許6427797-画像処理によるハンガー検出装置 図000005
  • 特許6427797-画像処理によるハンガー検出装置 図000006
  • 特許6427797-画像処理によるハンガー検出装置 図000007
  • 特許6427797-画像処理によるハンガー検出装置 図000008
  • 特許6427797-画像処理によるハンガー検出装置 図000009
  • 特許6427797-画像処理によるハンガー検出装置 図000010
  • 特許6427797-画像処理によるハンガー検出装置 図000011
  • 特許6427797-画像処理によるハンガー検出装置 図000012
  • 特許6427797-画像処理によるハンガー検出装置 図000013
  • 特許6427797-画像処理によるハンガー検出装置 図000014
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6427797
(24)【登録日】2018年11月9日
(45)【発行日】2018年11月28日
(54)【発明の名称】画像処理によるハンガー検出装置
(51)【国際特許分類】
   B60M 1/28 20060101AFI20181119BHJP
   G01B 11/00 20060101ALI20181119BHJP
【FI】
   B60M1/28 R
   G01B11/00 H
【請求項の数】4
【全頁数】11
(21)【出願番号】特願2015-50139(P2015-50139)
(22)【出願日】2015年3月13日
(65)【公開番号】特開2016-168937(P2016-168937A)
(43)【公開日】2016年9月23日
【審査請求日】2017年12月4日
(73)【特許権者】
【識別番号】000006105
【氏名又は名称】株式会社明電舎
(74)【代理人】
【識別番号】100078499
【弁理士】
【氏名又は名称】光石 俊郎
(74)【代理人】
【識別番号】230112449
【弁護士】
【氏名又は名称】光石 春平
(74)【代理人】
【識別番号】100102945
【弁理士】
【氏名又は名称】田中 康幸
(74)【代理人】
【識別番号】100120673
【弁理士】
【氏名又は名称】松元 洋
(74)【代理人】
【識別番号】100182224
【弁理士】
【氏名又は名称】山田 哲三
(72)【発明者】
【氏名】庭川 誠
(72)【発明者】
【氏名】渡部 勇介
(72)【発明者】
【氏名】川畑 匠朗
【審査官】 笹岡 友陽
(56)【参考文献】
【文献】 特開2010−285054(JP,A)
【文献】 国際公開第2013/002047(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
B60M 1/28
G01B 11/00
(57)【特許請求の範囲】
【請求項1】
等間隔に設置されトロリ線を支持するハンガーを車両の屋根上から撮影するラインセンサカメラと、前記車両の内部に設置され前記ラインセンサカメラによって得られる画像を解析する画像処理部とを備えて前記画像中のハンガーを検出する画像処理によるハンガー検出装置であって、
前記画像処理部が、
前記ラインセンサカメラから入力されるラインセンサ画像に対して前記ラインセンサカメラの撮影ライン方向及び時間方向に順次GSTH処理を行って前記画像中の前記ハンガーを強調したGSTH画像を取得するGSTH処理部と、
前記GSTH画像からハンガーを検出するハンガー検出部と
を有することを特徴とする画像処理によるハンガー検出装置。
【請求項2】
前記GSTH処理部が、前記GSTH処理として、前記ラインセンサ画像に対し、前記ラインセンサカメラの撮影ライン方向について収縮処理を行った後膨張処理を行って第一のGSTH画像を取得し、前記ラインセンサ画像と前記第一のGSTH画像との差分を取って差分画像を取得し、前記差分画像に対し時間方向について収縮処理を行った後膨張処理を行って前記ラインセンサ画像中の前記ハンガーを強調した第二のGSTH画像を取得し、
前記ハンガー検出部が、前記第二のGSTH画像から前記ハンガーを検出する
ことを特徴とする請求項1記載の画像処理によるハンガー検出装置。
【請求項3】
前記GSTH処理部が、前記GSTH処理として、前記ラインセンサ画像に対し、前記ラインセンサカメラの撮影ライン方向については収縮処理のみを行ってgsth画像を取得し、前記gsth画像に対し時間方向について収縮処理を行った後膨張処理を行って前記ラインセンサ画像中の前記ハンガーを強調した前記GSTH画像を取得し、
前記ハンガー検出部が、前記GSTH画像から前記ハンガーを検出する
ことを特徴とする請求項1記載の画像処理によるハンガー検出装置。
【請求項4】
前記GSTH処理部が、前記ラインセンサ画像に対し、前記ラインセンサカメラの撮影ライン方向について1ラインずつ、当該撮影ライン方向で主成分の輝度値が淡色の場合は輝度値を反転し主成分の輝度値が濃色の場合は輝度値を反転しない輝度反転処理を行った後、前記GSTH処理を行う
ことを特徴とする請求項1から請求項3のいずれか1項に記載の画像処理によるハンガー検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ハンガーを画像処理によって検出し、電車車両の走行位置やハンガーの角度異常を検出する画像処理によるハンガー検出装置に関する。
【背景技術】
【0002】
まずハンガーを検出する必要性について説明する。
鉄道事業者では、走行中に電車線路を録画し、録画画像から電車の走行位置を特定している。従来、電車の走行位置を特定する技術としてはGPSやATC技術があるが、これらは電車の運行上支障がない程度の精度を有するものの、画像中から電車の走行位置を特定するような場合には、より正確に走行位置を把握することが要求されている。
【0003】
また、正常なハンガーは鉛直に架設されているが、温度変化等により鉛直方向に対して傾斜を有すると電車の集電特性を劣化させるため、ハンガーの角度を把握することも重要となっている。従来、ハンガーを検出する技術として、下記特許文献1、2が公知となっている。特許文献1は、撮影した画像からテンプレートマッチング処理または鉛直のエッジ検出処理によって、ハンガーを検出する特許である。また特許文献2は、撮影した画像から、Hough変換処理または輝度ヒストグラム処理または2本の直線の交点を検出して、ハンガーを検出する特許である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許5402096号公報
【特許文献2】特許5402096号公報
【特許文献3】特開2013-015336号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献1、2に開示された発明は、単純な線条構成であればハンガー検出が可能であるが、わたり線や、オーバーラップ箇所など、図8に示すように複数の線条4,5が交差する箇所では、ハンガー6を検出することが難しい。
特許文献1は鉛直のエッジ検出によってハンガーを検出する。一般的なエッジ検出は2pixel間の微分値の大きい箇所をエッジとして検出する。2pixelの局所的な検出は、誤検出が多い課題がある。
特許文献2は、Hough変換でハンガーを検出する特許である。Hough変換は画像全体の特徴とハンガー特徴との相対的な投票量を用いてハンガーを見つけるので、図8のように画像全体に対して小さく写るハンガー6を検出することは難しい。
【0006】
関連特許として、上記特許文献3がある。これはトロリ線の摩耗を測定する発明で、GSTH処理(図4,5参照)で背景除去を行いトロリ線の摩耗した箇所をロバストに検出する特許である。特許文献3のGSTH処理は、トロリ線の下面の照明光が白く反射することを利用する点に特徴がある。本件の目的とするハンガーには白く反射する箇所は無いので、特許文献3を使用してハンガー検出させることは難しい。
【0007】
このようなことから本発明は、より高精度にハンガーを検出することを可能とした画像処理によるハンガー検出装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記の課題を解決するための第1の発明に係る画像処理によるハンガー検出装置は、
等間隔に設置されトロリ線を支持するハンガーを車両の屋根上から撮影するラインセンサカメラと、前記車両の内部に設置され前記ラインセンサカメラによって得られる画像を解析する画像処理部とを備えて前記画像中のハンガーを検出する画像処理によるハンガー検出装置であって、
前記画像処理部が、
前記ラインセンサカメラから入力されるラインセンサ画像に対して前記ラインセンサカメラの撮影ライン方向及び時間方向に順次GSTH処理を行って前記画像中の前記ハンガーを強調したGSTH画像を取得するGSTH処理部と、
前記GSTH画像からハンガーを検出するハンガー検出部と
を有することを特徴とする。
【0009】
また、第2の発明に係る画像処理によるハンガー検出装置は、第1の発明において、
前記GSTH処理部が、前記GSTH処理として、前記ラインセンサ画像に対し、前記ラインセンサカメラの撮影ライン方向について収縮処理を行った後膨張処理を行って第一のGSTH画像を取得し、前記ラインセンサ画像と前記第一のGSTH画像との差分を取って差分画像を取得し、前記差分画像に対し時間方向について収縮処理を行った後膨張処理を行って前記ラインセンサ画像中の前記ハンガーを強調した第二のGSTH画像を取得し、
前記ハンガー検出部が、前記第二のGSTH画像から前記ハンガーを検出する
ことを特徴とする。
【0010】
また、第3の発明に係る画像処理によるハンガー検出装置は、第1の発明において、
前記GSTH処理部が、前記GSTH処理として、前記ラインセンサ画像に対し、前記ラインセンサカメラの撮影ライン方向については収縮処理のみを行ってgsth画像を取得し、前記gsth画像に対し時間方向について収縮処理を行った後膨張処理を行って前記ラインセンサ画像中の前記ハンガーを強調した前記GSTH画像を取得し、
前記ハンガー検出部が、前記GSTH画像から前記ハンガーを検出する
ことを特徴とする。
【0011】
また、第4の発明に係る画像処理によるハンガー検出装置は、第1から第3のいずれか一つの発明において、
前記GSTH処理部が、前記ラインセンサ画像に対し、前記ラインセンサカメラの撮影ライン方向について1ラインずつ、当該撮影ライン方向で主成分の輝度値が淡色の場合は輝度値を反転し主成分の輝度値が濃色の場合は輝度値を反転しない輝度反転処理を行った後、前記GSTH処理を行う
ことを特徴とする。
【発明の効果】
【0012】
本発明によれば、画像中に所定の方向で且つ所定の太さより細い直線として存在するハンガーのみを抽出することができるため、設置角度が管理値内にある正常なハンガーのみを高精度に検出することができる。
【図面の簡単な説明】
【0013】
図1】本発明の実施例1に係る画像処理によるハンガー検出装置の設置例を示す説明図である。
図2】本発明に係る画像処理によるハンガー検出装置の装置構成を示すブロック図である。
図3】GSTH処理を説明するための原画像の例を示す説明図である。
図4】GSTH処理における収縮処理の一例を示す説明図である。
図5】GSTH処理における膨張処理の一例を示す説明図である。
図6図3に示す原画像をGSTH処理した結果得られる変換画像を示す説明図である。
図7】本発明の実施例1におけるハンガー検出の流れを示すフローチャートである。
図8】ラインセンサ画像の一例を示す模式図である。
図9図8に示すラインセンサ画像を輝度値反転した画像を示す模式図である。
図10図9に示す画像をx方向に長い領域でGSTH処理した例を示す模式図である。
図11図9に示す画像と図10に示す画像との差分をとった画像を示す模式図である。
図12図11に示す画像をy方向に長い領域でGSTH処理した例を示す模式図である。
図13】本発明の実施例2におけるハンガー検出の流れを示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、図面を参照しつつ本発明に係る画像処理によるハンガー検出装置について説明するが、本発明は以下の実施例に限定されるものではない。
以下の説明において、GSTH処理と表記する処理は図4に示す収縮処理後図5に示す膨張処理を行うものを示し、gsth処理と表記する処理はGSTH処理を簡略化した処理で、図5に示す膨張処理を行わず、図4に示す収縮処理だけを行うものを示すものとする。
【実施例1】
【0015】
〔GSTH処理を用いたハンガー検出装置:GSTH(A-GSTH(A))〕
図1から図12を用いて本発明の実施例1に係る画像処理によるハンガー検出装置の詳細を説明する。
【0016】
図1に示すように、本実施例において画像処理によるハンガー検出装置は、電車車両1の屋根上に設置されたラインセンサカメラ2と、車両1の内部に設置された画像処理部3とを備えている。
また、トロリ線4はちょう架線5に概ね等間隔に設置された複数のハンガー6によって支持されている。
【0017】
ラインセンサカメラ2は、車両1の屋根上の側方に設置され、その光軸が車両1の進行方向に直交するように、且つ、その視野に一つのハンガー6が収まるように設置角度及び仰角を設定されている。ここで、図1中の一点鎖線は撮影ラインを示している。ラインセンサカメラ2によって取得した図8に示すような画像(以下、ラインセンサ画像という)Iは画像処理部3に入力される。
なお、図8に示す例においてラインセンサ画像Iには、トロリ線4、ちょう架線5、及び四つのハンガー6が表示されている。
【0018】
画像処理部3はラインセンサ画像を解析してハンガー6を検出するものであり、演算装置31と記録装置32とから構成されている。
【0019】
図2に示すように、演算装置31はGSTH処理部31a、ハンガー検出部31b、及びメモリ31cを備えている。
【0020】
GSTH処理部31aは、記録装置32からメモリ31cを経て入力されるパラメータとラインセンサカメラ2からメモリ31cを経て入力されたラインセンサ画像Iとに基づき、ラインセンサ画像Iに対して画像輝度反転処理及びGSTH処理を行う。
ここで、画像輝度反転処理とはラインセンサ画像Iに対してx方向の1ラインずつ輝度値を反転する処理である。ただし、x方向で主成分の輝度値が濃色の場合は、夜間やトンネルと判定し輝度反転処理は行わないものとする。
また、GSTH処理とはグレイスケール−トップハット処理(Gray Scale-Top Hat処理)であり、その名の通り、グレイスケール画像に対してTop Hat処理をかけるものである。Top Hat処理とは原画像に対してオープニング画像(同じ回数分収縮→膨張処理した画像)を差し引く処理のことである。
【0021】
以下に、図3から図6を用いてGSTH処理部31aによるGSTH処理について簡単に説明する。GSTH処理は、以下の流れで行う。
(1)図4に示すように、図3に示す原画像11に対してN画素(図3では三画素)の範囲(以下、探索範囲という)SD−m(m=1〜M)をずらしながらそれぞれ最も暗い画素の輝度値を別バッファ(収縮処理バッファ)12−mに書き込む収縮処理を行い、収縮処理画像12(12−M)を作成する。
(2)続いて、図5に示すように、収縮処理画像12に対してN画素(本実施例では三画素)の範囲(以下、探索範囲)SL−mをずらしながらそれぞれ最も明るい画素の輝度値を別バッファ(膨張処理バッファ)13−mに書き込む膨張処理を行い、オープニング画像13(13−M)を作成する。
(3)続いて、原画像11から(2)で作成したオープニング画像13(13−M)を差し引く。
以上の処理を行うことで、図6に示すように画像内の暗い部分に囲まれた明るい画素を強調したGSTH画像14が得られる。
【0022】
GSTH処理部31aにおいて画像輝度反転処理後、GSTH処理が施されたラインセンサ画像(変換画像)はメモリ31cを経てハンガー検出部31bへ入力される。
【0023】
ハンガー検出部31bは、記録装置32からメモリ31cを経て入力されるパラメータとGSTH処理部31aからメモリ31cを経て入力される変換画像とに基づいて、二値化処理等によりハンガー6を検出する。
ここで、架設されているハンガー6は所定の等間隔(距離)で設置されているので、検出したハンガー6の数を計数することにより画像中の位置を把握することができる。
また、図12に示すように、本実施例では鉛直に設置されたハンガー6のみを検出し、傾斜したハンガー6は検出されない。また電柱間のハンガー6の数は、予め設備データとして管理されている。したがって別途電柱検出信号と連動させることで、電柱ごとのハンガー6の本数が少ない場合は、異常角度のハンガー6として検出できる。
ハンガー検出部31bによって検出したハンガー6の情報は、ハンガ検出結果としてメモリ31cへ出力される。
【0024】
メモリ31cは各種データを一時的に保管する。記録装置32には各種データが保存される。なお、上述したパラメータは、探索範囲を設定するための画素数N、GSTH処理を行う際に必要となるピクセル数w,hや、二値化しきい値等である。
【0025】
以下、図7に基づいて本実施例に係る画像処理によるハンガー検出装置における処理の流れを説明する。
【0026】
図7に示すように、本実施例に係る画像処理によるハンガー検出装置においては、まずラインセンサカメラ2から図8に一例を示すようなラインセンサ画像Iを入力する(ステップS1)。なお、図8に示すx方向は、図1におけるラインセンサカメラ2の撮影ラインに対応する。また、図8に示すy方向は、ラインセンサカメラ2で1ラインずつ撮影した時間である。等速走行する車両から撮影した画像は図8のようになる。
【0027】
続いて、GSTH処理部31aにおいてラインセンサ画像Iに対して輝度値を反転する処理を行う(ステップS2)。これにより、図9に示すような輝度反転画像IAを得る。なお、上述したように輝度反転はラインセンサ画像Iのx方向の1ラインずつで処理し、x方向で主成分の輝度値が濃色の場合は、夜間やトンネルと判定し輝度反転しないため、図8の上部に示す背景が濃色であるトンネル箇所を、空等の背景が淡色である区間と同化させることができる。
【0028】
続いて、同じくGSTH処理部31aにおいて、図8に示す輝度反転画像IAをx方向へGSTH処理する(ステップS3)。すなわち、x方向に長いw×1[pixel]の領域内で最も暗い画素を取得する図4に示す収縮処理を施し、次に最も明るい画素を取得する図5に示す膨張処理を施す。これによって図10に示すような白色箇所がx方向について幅w以下で抽出された第一のGSTH画像IBを得る。なおwはトロリ線などの線条の幅に対応しており、実験的に算出する。図10に示す例では、第一のGSTH画像IBは、輝度反転画像IAに対してハンガー6及び電柱や建物等の外乱7が除去された画像となっている。
【0029】
続いて、同じくGSTH処理部31aにおいて、輝度反転画像IAから第一のGSTH画像IBを差し引いて、図11に示すような差分画像ICを得る(ステップS4)。図11に示す例では、差分画像ICは、ハンガー6及び電柱や建物等の外乱7が抽出された画像となっている。なお差分処理で負になる領域ができる場合、0以下は0に切り上げるものとする。
【0030】
続いて、同じくGSTH処理部31aにおいて、差分画像ICをy方向へGSTH処理する(ステップS5)。すなわち、y方向に長い1×h[pixel]の領域内で最も暗い画素を取得する図4に示す収縮処理を施し、次に最も明るい画素を取得する図5に示す膨張処理を施す。これによって図12に示すように白色箇所が、y方向でかつh以下の長さで抽出された画像(以下、第二のGSTH画像)IDを得る。なおhはハンガー6の直径に対応しており、実験的に算出する。図12に示す例では、第二のGSTH画像IDは、差分画像ICに対しハンガー6のみが抽出された画像となっている。
第二のGSTH画像IDは変換画像としてメモリ31cを経てハンガー検出部31bへ入力される。
【0031】
続いて、ハンガー検出部31bにおいて、図12に示す第二のGSTH画像IDから、二値化処理等を使用してハンガー6を検出する(ステップS6)。架設されているハンガー6は所定の等間隔(距離)で設置されているので、検出したハンガー6の数を計数し画像中の位置を把握する。
【0032】
以上のステップP1〜ステップP6の処理を全てのラインセンサ画像Iの入力が終了するまで行う。
【0033】
このように構成される本実施例に係る画像処理によるハンガー検出装置では、GSTH処理は図4に示した収縮処理と図5に示した膨張処理を組み合わせて、かつ、w×1[pixel]と1×h[pixel]の領域から直線を求めることで、輝度反転画像IA中に写る直線のなかから所定の方向で、かつ所定の太さより細い直線だけを抽出することができる。
そのため、本実施例に係る画像処理によるハンガー検出装置にはGSTHの特徴を生かした次の利点がある。
・所定の方向と所定の太さで写るハンガーだけを検出できる。
・トンネル坑口や電柱7などハンガー6とは異なる特徴を有する外乱を排除しハンガーだけを検出できる。
・本実施例では鉛直方向に設置された正常なハンガー6のみを検出し、設置角度が管理値外の正常でない斜めのハンガーは検出しない。そのため、本実施例で検出したハンガー6の本数と、予め設備データとして管理されている電柱ごとの正常なハンガー6の本数とを比較することで、異常なハンガーを検出することもできる。
【実施例2】
【0034】
〔簡略化したGSTH処理を用いたハンガー検出装置:GSTH(gsth(A))〕
以下、図1から図6及び図8から図13を用いて本発明の実施例2に係る画像処理によるハンガー検出装置について説明する。本実施例に係る画像処理によるハンガー検出装置は、GSTH処理部31bにおける処理が簡略化されている点が実施例1とは異なる。装置構成については実施例1に係る画像処理によるハンガー検出装置と同様であり、以下、重複する説明は省略し、画像処理部3における処理を中心に説明する。
【0035】
図13に基づいて、本実施例に係る画像処理によるハンガー検出装置における処理の流れを説明する。
図13に示すように、本実施例に係る画像処理によるハンガー検出装置おいては、まずラインセンサカメラ2から図8に一例を示すようなラインセンサ画像Iを入力し(ステップS11)、続いて、GSTH処理部31aにおいてラインセンサ画像Iに対してx方向で主成分の輝度値が淡色の撮影ラインについて輝度値を反転する処理を行う(ステップS12)。これにより、図9に示すような輝度反転画像IAを得る。
【0036】
続いて、同じくGSTH処理部31aにおいて、図8に示す輝度反転画像IAをx方向へgsth処理する(ステップS13)。すなわち、x方向に長いw×1[pixel]の領域内で最も暗い画素を取得する図4に示す収縮処理を施す一方、最も明るい画素を取得する図5に示す膨張処理は実施しない。これによって図11に示すような白色箇所がx方向について幅w以下で抽出されたgsth画像ICを得る。なおwはトロリ線などの線条の幅に対応しており、実験的に算出する。
【0037】
続いて、同じくGSTH処理部31aにおいて、gsth画像ICをy方向へGSTH処理する(ステップS14)。すなわち、y方向に長い1×h[pixel]の領域内で最も暗い画素を取得する図4に示す収縮処理を施し、次に最も明るい画素を取得する図5に示す膨張処理を施す。これによって図12に示すように白色箇所が、y方向でかつh以下の長さで抽出されたGSTH画像IDを得る。なおhはハンガー6の直径に対応しており、実験的に算出する。
GSTH画像IDは変換画像としてメモリ31cを経てハンガー検出部31bへ入力される。
【0038】
続いて、ハンガー検出部31bにおいて、図12に示すGSTH画像IDから、二値化処理等を使用してハンガー6を検出する(ステップS15)。ハンガー6は所定の間隔(距離)で設置されているので、検出したハンガー6を計数することで車両の現在位置を把握し、また、ハンガー6の設置角度には管理値があるので、所定の設置角度かどうかを検査する。
【0039】
以上のステップP11〜ステップP15の処理を全てのラインセンサ画像Iの入力が終了するまで行う。
【0040】
このように構成される本実施例に係る画像処理によるハンガー検出装置では、輝度反転画像IAをx方向へgsth処理する(図4に示した収縮処理のみを実施する)ことにより処理を簡略化しているので、実施例1に比べてハンガー検出処理を高速化できる利点がある。なお、gsth処理を行うことにより、画像上で検出されたハンガー6が短くはなるが、本実施例はハンガー6の有無の判定が目的であるので、検出したハンガー6が短くなっても影響はない。
【産業上の利用可能性】
【0041】
本発明は、画像処理によるハンガー検出装置に適用して好適なものである。
【符号の説明】
【0042】
1 車両
2 ラインセンサカメラ
3 画像処理部
4 トロリ線
5 ちょう架線
6 ハンガー
7 構造物
31 演算装置
31a GSTH処理部
31b ハンガー検出部
31c メモリ
32 記録装置
I ラインセンサ画像
A 輝度反転画像
B 第一のGSTH画像
C 差分画像,gsth画像
D 第二のGSTH画像,GSTH画像
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13