(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-06
(45)【発行日】2023-10-17
(54)【発明の名称】信号検出装置
(51)【国際特許分類】
B61L 5/18 20060101AFI20231010BHJP
B61L 23/00 20060101ALI20231010BHJP
【FI】
B61L5/18 Z
B61L23/00 E
(21)【出願番号】P 2019125108
(22)【出願日】2019-07-04
【審査請求日】2022-06-09
(73)【特許権者】
【識別番号】000004651
【氏名又は名称】日本信号株式会社
(73)【特許権者】
【識別番号】000196587
【氏名又は名称】西日本旅客鉄道株式会社
(74)【代理人】
【識別番号】100181146
【氏名又は名称】山川 啓
(74)【代理人】
【識別番号】100109221
【氏名又は名称】福田 充広
(72)【発明者】
【氏名】岩上 顕夫
(72)【発明者】
【氏名】八木 誠
(72)【発明者】
【氏名】松田 和之
(72)【発明者】
【氏名】丹羽 順一
(72)【発明者】
【氏名】三津野 隆宏
(72)【発明者】
【氏名】木村 哲也
【審査官】岩田 健一
(56)【参考文献】
【文献】特開2016-078528(JP,A)
【文献】特開2009-157492(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B61L 5/18
B61L 23/00
(57)【特許請求の範囲】
【請求項1】
連続画像を撮像する撮像部と、
前記連続画像における輝度の周波数スペクトルに関して平均及び分散を算出する周波数演算部と
を備え、
輝度の周波数スペクトルから閾値を超えた特発周波数成分が検出された場合に、前記周波数演算部により算出された平均及び分散に基づき
、前記特発周波数成分と前記特発周波数成分以外の成分とを比較して、特殊信号発光機の点滅
検出であるかノイズであるかを判断する、信号検出装置。
【請求項2】
前記周波数演算部は、輝度の周波数スペクトルに関して正規化された成分値を算出し、前記成分値のうち前記特発周波数成分に対応する値が、予め定めた閾値より大きい場合に、前記特殊信号発光機の点滅が検出されたと判定する、請求項1に記載の信号検出装置。
【請求項3】
前記周波数演算部は、分散について設定した下限値に基づき前記成分値を定める、請求項2に記載の信号検出装置。
【請求項4】
前記周波数演算部は、検出される輝度の周波数スペクトルの全周波数についての平均及び分散を算出する、請求項1~3のいずれか一項に記載の信号検出装置。
【請求項5】
前記周波数演算部は、検出される輝度の周波数スペクトルのうち特定の周波数成分を除去したものについての平均及び分散を算出する、請求項1~3のいずれか一項に記載の信号検出装置。
【請求項6】
前記周波数演算部での算出において、除去の対象となる前記特定の周波数成分に特発周波数成分及び直流成分のうち少なくともいずれかを含む、請求項5に記載の信号検出装置。
【請求項7】
前記撮像部で取得した連続画像について、対象外
色光波長帯域の成分検出に基づきノイズ領域を除去するノイズ除去部を備え、
前記周波数演算部は、前記ノイズ除去部により前記ノイズ領域を除去した連続画像の輝度の周波数スペクトルに関して平均及び分散を算出する、請求項1~
6のいずれか一項に記載の信号検出装置。
【請求項8】
前記周波数演算部は、前記連続画像の全体に対して、フーリエ変換処理して輝度の周波数スペクトルを抽出する、請求項1~
7のいずれか一項に記載の信号検出装置。
【請求項9】
前記
特殊信号発光機における発光有りと判断された場合に、報知を行う報知部を備える、請求項1~
8のいずれか一項に記載の信号検出装置。
【請求項10】
前記報知部は、警報を発する音声部である、請求項
9に記載の信号検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば特殊信号発光機における発光等の信号を検出する信号検出装置に関する。
【背景技術】
【0002】
列車の運転士に列車運行情報を伝達する装置である鉄道信号機では、例えば色灯の点灯又は消灯を運転士が目視確認することで信号の伝達がなされる。このため、運転士が見落とさないように、鉄道信号機の視認可否を確認すべく、例えば、赤外線発光器を鉄道信号機に取り付け、赤外線発光器からの赤外線発光を赤外線ビデオカメラで撮影するものが知られている(特許文献1参照)。なお、特許文献1において、鉄道信号機とは、鉄道用色灯式信号機、標識又は特殊信号発光機である、とされている。すなわち、特殊信号発光機が鉄道信号機の一態様に含まれるものとされている。
【0003】
また、特殊信号発光機の視認可否の確認において、特殊信号発光機等において現存するケーブルをそのまま利用できるように、内部構造において断線検出を行うものも知られている(特許文献2参照)。
【0004】
しかし、上記特許文献1のように、赤外線発光器を利用するには、発光を行う既設の信号機等の装置に赤外線発光器を取り付けるといった改修を加える必要があり、改修の時間や労力等が莫大なものになるという問題がある。また、上記引用文献2においても、断線検出を行うための構造を新たに設ける必要があると考えられる。
【0005】
さらに、例えば走行する列車に搭載された撮像部での撮像により、特殊信号発光機等を捉えるに際して、光を発する物体が画面内に占める面積が不規則に変動することで、実際には特殊信号発光機が点滅していない場合であるにもかかわらず、特殊信号発光機の発生時と同等の点滅周期が検出されてしまう可能性がある、すなわち誤検出が生じる可能性がある。
【先行技術文献】
【特許文献】
【0006】
【文献】特許第4925987号公報
【文献】特開2015-178357号公報
【発明の概要】
【0007】
本発明は上記した点に鑑みてなされたものであり、不規則な変動等に起因する点滅周期に関するノイズの影響を抑制して検出すべき点滅動作を的確かつ確実に検出できる信号検出装置を提供することを目的とする。
【0008】
上記目的を達成するための信号検出装置は、連続画像を撮像する撮像部と、連続画像における輝度の周波数スペクトルに関して平均及び分散を算出する周波数演算部とを備え、周波数演算部により算出された平均及び分散に基づき所定対象物の点滅を検出する。
【0009】
上記信号検出装置では、周波数演算部により算出された平均及び分散に基づき所定対象物の点滅を検出することで、不規則な変動等のノイズが影響しても、これに基づく誤検出を回避あるいは抑制し、検出すべき点滅動作の有無すなわち検出すべき信号の有無を的確かつ確実に判断できる。
【0010】
本発明の具体的な側面では、周波数演算部において検出される輝度の周波数スペクトルのうち、所定対象物の点滅周期に対応する成分と所定対象物の点滅周期以外の成分とを比較して、所定対象物の点滅を検出する。この場合、当該比較に基づいて、所定対象物の点滅の発生であるか、不規則な変動であるかを判断できる。
【0011】
本発明の別の側面では、所定対象物は、特殊信号発光機である。この場合、特殊信号発光機の点滅の発生を識別できる。
【0012】
本発明のさらに別の側面では、周波数演算部は、検出される輝度の周波数スペクトルの全周波数についての平均及び分散を算出する。この場合、輝度の周波数スペクトル全体についての平均及び分散に基づいて、所定対象物の点滅であるか否かを判定できる。
【0013】
本発明のさらに別の側面では、周波数演算部は、検出される輝度の周波数スペクトルのうち特定の周波数成分を除去したものについての平均及び分散を算出する。この場合、特性の違いをより顕著に示す平均及び分散に基づいて、所定対象物の点滅であるか否かを判定できる。
【0014】
本発明のさらに別の側面では、周波数演算部での算出において、除去の対象となる特定の周波数成分に特発周波数成分及び直流成分のうち少なくともいずれかを含む。この場合、ノイズとなり得る成分の特性をより顕著に示す平均及び分散に基づいて、所定対象物の点滅であるか否かを判定できる。
【0015】
本発明のさらに別の側面では、周波数演算部は、輝度の周波数スペクトルに関して正規化された成分値を算出する。この場合、画一的な判定基準を設けることができる。
【0016】
本発明のさらに別の側面では、周波数演算部は、分散について設定した下限値に基づき成分値を定める。この場合、分散の値が小さくなり過ぎることに起因する誤検知を抑制できる。
【0017】
本発明のさらに別の側面では、撮像部で取得した連続画像について、対象外波長帯域の成分検出に基づきノイズ領域を除去するノイズ除去部を備え、周波数演算部は、ノイズ除去部によりノイズ領域を除去した連続画像の輝度の周波数スペクトルに関して平均及び分散を算出する。この場合、特殊信号発光機等の所定対象物から発光される光以外に由来する成分をノイズとして除去したものについて、判定できる。
【0018】
本発明のさらに別の側面では、周波数演算部は、連続画像の全体に対して、フーリエ変換処理して輝度の周波数スペクトルを抽出する。この場合、フーリエ変換処理を施すことで、検出すべき信号の有無を判断できる。
【0019】
本発明のさらに別の側面では、所定対象物における発光有りと判断された場合に、報知を行う報知部を備える。この場合、特殊信号発光機が作動することに基づく異常事態発生について、信号検出装置の側において、特殊信号発光機による伝達とは別の方法で報知を行うことができる。
【0020】
本発明のさらに別の側面では、報知部は、警報を発する音声部である。この場合、特殊信号発光機が作動することに基づく異常事態発生について、信号検出装置の側において警報による音声での報知ができる。
【図面の簡単な説明】
【0021】
【
図1】第1実施形態に係る信号検出装置としての特殊信号検出装置の一例についての概要を説明するための概念図である。
【
図2】特殊信号発光機の外観について一例を示す正面図である。
【
図3】(A)は、特殊信号検出装置の一構成例について説明するためのブロック図であり、(B)は、特殊信号検出装置における演算処理について一例を説明するためのブロック図である。
【
図4】(A)は、処理対象となる複数のフレームからなる全体画像についての概念図であり、(B)は、(A)の全体画像に対する処理結果から得られる輝度についての周波数に関する振幅データを示す周波数スペクトルのグラフである。
【
図5】(A)は、特殊信号発光機の点滅時における周波数スペクトルの典型的一例を示すグラフであり、(B)は、特殊信号発光機の点滅ではなくノイズの発生における周波数スペクトルの典型的一例を示すグラフである。
【
図6】平均及び分散の算出対象となる周波数成分の選択について一例を説明するためのグラフである。
【
図7】特殊信号検出装置の動作についての一例を説明するためのフローチャートである。
【
図8】特殊信号発光機の周波数成分の検出に関する一例を説明するためのフローチャートである。
【
図9】(A)は、第2実施形態に係る信号検出装置としての特殊信号検出装置の一構成例について説明するためのブロック図であり、(B)は、特殊信号検出装置における各種処理について一例を説明するためのブロック図である。
【
図10】特殊信号検出装置の動作についての一例を説明するためのフローチャートである。
【
図11】平均及び分散の算出対象となる周波数成分の選択について一例を説明するためのグラフである。
【
図12】正規化の方法について一例と他の一例の際を説明するためのグラフである。
【
図13】(A)は、平均及び分散の算出対象となる周波数成分の選択について他の一例を説明するためのグラフであり、(B)は、平均及び分散の算出対象となる周波数成分の選択についてさらに他の一例を説明するためのグラフである。
【
図14】撮像部の他の一構成例について説明するためのブロック図である。
【発明を実施するための形態】
【0022】
〔第1実施形態〕
以下、
図1等を参照して、本発明の第1実施形態に係る信号検出装置としての特殊信号検出装置について、一例を説明する。
図1は、本実施形態に係る特殊信号検出装置100の一例についての概要を説明するための概念図であり、
図1では、特殊信号検出装置100を搭載した鉄道の列車TRや、列車TRが走行する専用走行路である線路RRの脇に設置された特殊信号発光機200(以下、特殊信号発光機を単に特発とも言う。)を含む地上側の特殊信号発生システムSGの様子を示している。特に、ここでは、列車TRが走行する線路RRの脇に設置された特殊信号発光機200で異常事態の発生を示す赤色光の点滅動作がなされた場合にこれを列車TRに搭載された特殊信号検出装置100において確認する場合についての様子を概略的に示している。
【0023】
以上のような構成の前提として、図示の例では、まず、列車TRに搭載されている特殊信号検出装置100は、移動体である列車TRの進行方向(矢印A1で示す方向)前方に設置されている。より具体的には、一部拡大して示すように、特殊信号検出装置100は、例えば、カメラ等で構成される撮像部10を備え、さらに、列車TRの車内(特に運転士)に報知するための報知部IPとしてスピーカーやモニター等で構成される音声部30や表示部40を備え、また、これらを統括制御するための管理装置MCを備える。特殊信号検出装置100は、撮像部10を列車TRの進行方向前方に向けて配置して前方の特殊信号発光機200を捉え、撮像部10での特殊信号発光機200についての画像データを管理装置MCにおいて処理することで、異常事態の発生を示す点滅動作がなされているかを確認し、必要に応じて、確認結果に基づく車内への報知を報知部IPによって行う。
【0024】
ここで、既述のように、
図1では、上記した特殊信号検出装置100に関するもののほか、特殊信号発光機200を含む地上側の特殊信号発生システムSGについても例示している。ここでは、一例として、特殊信号発生システムSGは、踏切CRに設けられており、踏切CRに連動する非常ボタンEBに加え、非常ボタンEBが押されることで発動する特殊信号発光機200を有した構成となっている。この場合、例えば図示のように、踏切CR内において自動車等の車両VEが立ち往生して非常ボタンEBが押されると、特殊信号発光機200が赤色光による所定の点滅動作を開始することで、踏切CRに近づく列車TRへの点滅表示による緊急事態発生の連絡がなされる。
【0025】
以下、本実施形態の特殊信号検出装置100を説明するための前提として、まず、特殊信号発光機200の構造等について、
図2を参照して説明する。なお、ここでの例では、特殊信号発光機200は、踏切付近に設けられるものとしているが、この他、落石のおそれがある場所等、異常事態が発生する可能性のある種々の場所に設置されている。
【0026】
図2に外観の一例を示すように、ここでの特殊信号発光機200は、前面200aに配された多数の線状に並ぶLED光源LSを赤色に発光させて点滅することにより、踏切等で異常が発生したなどの情報を運転士などに伝えている。すなわち、前面200aが列車TRに配置された特殊信号検出装置100(
図1等参照)に向けられるように、特殊信号発光機200は線路脇に設置されている。
【0027】
特殊信号発光機200での点滅動作の一例として、ここでは、1分間に500回程度で点滅の動作をするものとする。言い換えると、特殊信号発光機200での点滅動作についての周波数は、8.3Hz程度になっている。この周波数8.3Hzは、特殊信号発光機200での点滅動作を示す特殊信号発光機200に固有の周波数であると考えることができる。以下では、この周波数8.3Hzを、特発点滅周波数、あるいは特発周波数と呼ぶ。なお、上記のような点滅動作については、全ての特殊信号発光機200において共通している。すなわち、2以上の特殊信号発光機200が存在する場合、各特殊信号発光機200のいずれもが、周波数8.3Hzを特発点滅周波数として点滅動作をする。
【0028】
以上のように、特殊信号発光機200は、異常発生を知らせるための動作として、一定の特定周期で赤色をすなわち特定周波数帯域の光を点滅する。なお、特殊信号発光機200の発光に採用する特定周波数帯域の光について、具体的一例としては、赤色LEDとして、ピーク波長660nm、半値幅20nmのものとすることが考えられる。
【0029】
また、以上のような特殊信号発光機200の点滅周期の検出方法として、ここでは、フーリエ変換を利用している。ここでのフーリエ変換とは、撮像部10で取得した時系列のデータを周波数成分ごとの大きさに変換する手法であり、例えば撮像部10で取得した連続画像から抽出した連続部分画像全体の輝度に対して複数フレームごとにフーリエ変換を行うことで、特殊信号発光機200での点滅周期を検出できる。つまり、フーリエ変換処理をすることで特殊信号発光機200での点滅動作の周期すなわち周波数を捉え、確実な特殊信号発光機200の動作検出を可能にしている。言い換えると、連続部分画像についてフーリエ変換処理を施すことで、各部分画像中の輝度に関する周波数特性を抽出した場合に、上記特発点滅周波数が存在するか否かによって特殊信号発光機200において点滅動作の発光がなされているか否かを判定する。
【0030】
また、上記のような解析の結果、特殊信号発光機200において点滅動作する発光有りと判断された場合には、報知部IPにより報知を行う。すなわち、特殊信号検出装置100側において、特殊信号発光機200による伝達とは別の方法で運転士に対して報知を行うことができるようにしている。
【0031】
ここで、上記のような特殊信号発光機200での点滅動作による緊急事態発生の検知において、実際には特殊信号発光機200が点滅していない場合であるにもかかわらず、特殊信号発光機200の発生時と同等の点滅周期が検出されてしまう可能性がある、すなわち誤検出が生じる可能性がある。例えば、列車TRが走行することに起因して、列車TRに搭載されている撮像部10による撮像に際して、被写体のうち光を発する物体の画面内に占める面積が、不規則に変動することで、特発点滅周波数(特発周波数)と同等の条件を満たす点滅周期が検出され得る。
【0032】
以上に対して、本実施形態の特殊信号検出装置100では、上記に例示したような不規則な変動等のノイズが影響しても、これに基づく特殊信号発光機200に関する誤検出を回避あるいは抑制し、検出すべき点滅動作の有無すなわち検出すべき信号の有無を的確かつ確実に判断できるための構成を有している。
【0033】
以下、
図3(A)及び
図3(B)のブロック図を参照して、特殊信号検出装置100における構成及び特殊信号検出装置100を構成する各部の機能等について説明する。
【0034】
図3(A)に示すように、また、
図1を参照して既述のように、特殊信号検出装置100は、撮像部10と、管理装置MCと、報知部IPとを備える。このうち、管理装置MCは、図示のように、各種画像処理を行う画像処理部20と、各種データを記憶する記憶装置50と、各部の動作を司る制御部60とを備える。なお、報知部IPは、図示のように、また、既述のように、音声部30と、表示部40とを備える。
【0035】
特殊信号検出装置100のうち、まず、撮像部10は、カメラ等で構成されており、例示するように、撮像用のレンズLLと、CMOSやCCD等で構成される撮像素子(受光素子)SDとを有し、動画すなわち連続画像を撮像することが可能であり、撮像により取得した画像データを管理装置MC(
図3(A)参照)に送信する。ここでの連続画像として、例えば30fps程度での動画の録画が可能となっている。したがって、8.3Hz程度で点滅する特殊信号発光機200の発光動作についてであれば、数フレーム程度で1回分の点滅動作を捉えることになる。
【0036】
次に、
図3(A)に示すように、管理装置MCのうち、画像処理部20は、例えばGPU等で構成され、撮像部10で取得した連続画像について各種処理を行う。特に、ここでは、画像処理部20は、撮像部10で取得した連続画像について、輝度の周波数に関する各種演算を行う周波数演算部20cを有する。周波数演算部20cは、例えば、連続画像における輝度の周波数スペクトルに関して平均及び分散を算出し、さらに、平均及び分散に基づいて周波数スペクトルに関する正規化をすることで、平均及び分散に基づき所定対象物たる特殊信号発光機200の点滅の有無を検出するための判断指標を作成する。なお、周波数演算部20cは、上記のような周波数スペクトルに関する演算を行うための前提として、上述したフーリエ変換処理を施すための変換処理部20fを有する。また、変換処理部20fでは、フーリエ変換処理の一例として高速フーリエ変換(FFT)を用いるものとする。
【0037】
次に、管理装置MCのうち、記憶装置50は、例えばストレージデバイス等で構成され、各種データ等を格納する。すなわち、記憶装置50は、撮像部10で取得されたデータやこれを画像処理部20の周波数演算部20cにおいて加工したデータ等の各種画像データを格納する録画装置として機能するほか、例えば、特殊信号発光機200における発光での点滅周期(点滅周波数)や周波数演算部20cでの算出結果に基づく判定を行うための各種閾値等の各種データ、さらに、画像処理部20の周波数演算部20cのうち、変換処理部20fでの高速フーリエ変換(FFT)の処理を行うためのプログラムや、平均や分散等を算出するための演算プログラム等の各種プログラムを格納する。
【0038】
次に、管理装置MCのうち、制御部60は、例えばCPU等で構成されて、特殊信号検出装置100を構成する各部の動作を統括制御する。すなわち、処理に応じて必要なデータやプログラムを記憶装置50から適宜読み出して、各種指令を行う。また、制御部60は、画像処理部20の周波数演算部20cによる平均及び分散等の算出結果に基づき所定対象物たる特殊信号発光機200の点滅の有無を検出する。すなわち、制御部60は、周波数演算部20cによる算出結果に基づいて、所定周期で点滅する特殊信号発光機200における発光の有無を判断する判断部として機能する。
【0039】
次に、報知部IPのうち、音声部30は、スピーカー等で構成される。音声部30は、例えば運転席内において十分聞こえる程度の音量で警報を発することで、運転士に対して聴覚による異常発生の報知が可能となっている。通常の運転のため、各種操作や確認を行っている運転士に対して、聴覚による異常発生通知を行うことで、より気づきやすくし、見落とす可能性を低減させることができる。
【0040】
最後に、報知部IPのうち、表示部40は、モニター等で構成される。表示部40は、例えば運転席内において運転士の眼にとまりやすい位置に配置されて文字や図柄表示、あるいは各種点滅・点灯表示等を行うことで、特殊信号発光機200での発光による表示とは別個に、運転席内において運転士に対して視覚による異常発生の報知が可能となっている。
【0041】
以下、
図3(B)等を参照して、撮像部10で取得した連続画像の処理から特殊信号発光機200における発光の有無の判断に至るまでの一連の処理の概要を説明する。
【0042】
図3(B)において一動作例を概念的に示すように、周波数演算部20cにおいて、変換処理部20fは、撮像部10で取得した連像画像における点滅動作の周波数(輝度周波数)の特性を抽出すべく高速フーリエ変換処理を施す。これにより、連続画像における輝度の周波数スペクトルが算出される。周波数演算部20cは、得られた周波数スペクトルに関して、平均及び分散を算出する。ここでは、さらに、周波数演算部20cは、算出された平均及び分散に基づき、周波数成分についての正規化を行うものとする。判断部としての制御部60は、輝度周波数に関して、平均及び分散から正規化された値(成分値)に基づいて、特殊信号発光機200の発光動作の有無を判断する。
【0043】
以下、
図4を参照して、画像処理部20の変換処理部20fでの画像解析のための高速フーリエ変換(FFT)についてより詳細に説明する。
図4(A)は、画像処理部20での処理対象となる連続画像GC(より具体的には連続画像GCの画像データあるいは連続画像データ)についての概念図であり、図示では、連続画像GCを構成する各フレームGIdを時系列に順次並べた様子を概念的に示している。ここでは、これらの時系列に並ぶ複数のフレームGIdを取り出し、これらについて高速フーリエ変換(FFT)を行うことで、時系列のデータを周波数成分ごとの大きさに変換している。
【0044】
また、
図4(B)は、
図4(A)に例示した連続画像GCを構成する複数のフレームGIdについてのフーリエ変換処理の結果から得られる輝度に関する周波数スペクトルについて示すデータの一例についてグラフで示している。
図4(B)において、横軸は、周波数であり、縦軸は、振幅すなわち成分の強度を示しており、これは、各周波数で繰り返される輝度変化の度合に相当する。ここでは、この値を周波数成分とする。なお、図示の場合、特発点滅周波数(特発周波数)である8.3Hzあるいはこれの近傍においてピークが発生している場合、すなわち特殊信号発光機200での点滅動作が生じている可能性がある場合を示している。
【0045】
以上において、連続画像GCを構成する複数のフレームGIdに関して、上記高速フーリエ変換(FFT)による処理を可能とするために必要となるフレーム数は、特発点滅周波数とフレームレートとの関係で定まる。上記例のように、特発点滅周波数が8.3Hz程度(1分間に500回程度の点滅)であり、撮像部10での動画撮像が30fps程度のフレームレートで処理されている場合に、
図4(B)のようなデータ取得を1回行うために最低限必要な特殊信号発光機200の点滅回数(点滅周期)を2~3回分程度とすると、数フレームから十数フレーム分の画像データが必要となる。すなわち、数フレームから十数フレーム分のフレームGIdについて高速フーリエ変換(FFT)をすることで、判定に必要なデータが取得できる。なお、一般には、撮像部10においては、フレームレート数が大きいほど、すなわち細かな動きを捉えられるほどより詳細な輝度変化を捉えられるが、以上の考察から、特発点滅周波数が8.3Hz程度(1分間に500回程度の点滅)であれば、撮像部10に30fps程度の動画撮像能力があれば、必要に足る程度のデータが十分に得られると言える。
【0046】
ここで、
図4(B)に例示したような周波数スペクトルがフーリエ変換処理の結果として算出された場合において、実際に、特殊信号発光機200の点滅が生じていると言えるか否かが問題となる。すなわち、特発点滅周波数に相当する周波数成分が検出されてもこれがノイズであるか否かが問題となる。
【0047】
図5は、周波数スペクトルの典型例について示すグラフであり、
図5(A)は、特殊信号発光機200の点滅時における周波数スペクトルの典型的一例を示すグラフであり、
図5(B)は、特殊信号発光機200の点滅ではなくノイズの発生における周波数スペクトルの典型的一例を示すグラフである。特に、
図5(B)は、ノイズとして、特発点滅周波数の成分もある程度以上含んでいるものを例示している。例えば、列車TRすなわち撮像部10(
図1参照)から比較的近い位置において、光を発する面積が不規則に変化するような物体が画面内を占めているような場合には、
図5(B)に示されるような算出結果が特殊信号発光機200の点滅ではなくノイズに起因して生じる可能性がある。
【0048】
例えば、
図5(A)に示す場合のように特殊信号発光機200の点滅が生じているのか、そうではないのかの判定に関する1つの考え方として、図中において直線L1で示す閾値を予め定めておき、領域CR1として囲って示す特発点滅周波数の範囲において、当該閾値を超える値になっているか否かで判断する、という手法が考えられる。しかしながら、このような手法をとると、
図5(B)に示すようなノイズの場合も、当該閾値を超えてしまっていると、特殊信号発光機200の点滅が生じているという誤検知を招いてしまう。
【0049】
これに対して、本実施形態では、周波数スペクトルにおける分布の特性の違いを勘案することで、上記のような誤検知を回避している。
図5(A)の場合と
図5(B)の場合とを比較すると、例えば領域CR2として囲って示す特発点滅周波数以外の範囲において、顕著な差異があると考えられる。具体的には、
図5(A)のように、特殊信号発光機200の点滅を捉えている場合には、特発点滅周波数の範囲である領域CR1について比較的高い値が検出される一方、特発点滅周波数以外の範囲である領域CR2については、領域CR1と比較するとあまり高い値が検知されず、低い値となっている。これに対して、
図5(B)の場合、領域CR1のみならず、領域CR2についても比較的高い値を示している。すなわち、ノイズの場合、特定の周波数(特発点滅周波数)だけでなく不特定多数の波長帯域でピークを生じている。本実施形態に係る特殊信号検出装置100では、周波数演算部20cにおいて検出される輝度の周波数スペクトルのうち、特殊信号発光機200の点滅周期に対応する成分すなわち領域CR1に示される成分と特殊信号発光機200の点滅周期以外の成分すなわち領域CR2に示される成分とを比較して、特殊信号発光機200の点滅を検出することで、当該比較に基づいて、所定対象物の点滅の発生であるか、不規則な変動等のノイズであるかを判断している。
【0050】
なお、
図5(A)の場合及び
図5(B)の場合を問わず、領域CR3で示す最も低い周波数帯域では、常に直流成分が発生している。直流成分は、例えば背景画像や列車の走行に伴う不可避的な変化等に起因して発生する。
【0051】
ここでは、既述のように、周波数演算部20cにおいて、周波数スペクトルに関して、周波数成分の平均及び分散を算出し、算出された平均及び分散に基づいて、制御部60により、特殊信号発光機200における点滅動作の発生であるか否かを判断することで、上記のような周波数スペクトルにおける分布の特性の違いを的確に捉え、誤検出を抑制している。
【0052】
以下、周波数演算部20cにおける平均及び分散の算出等について、一例を説明する。まず、周波数演算部20cは、周波数スペクトルのうち、平均及び分散の算出対象となる周波数成分の選択を行う。ここでは、一例として、
図6に示すように、直流成分や特発点滅周波数あるいはその近傍の成分を含んだ全ての周波数スペクトルを算出対象として選択する。すなわち、図中に示す周波数f(1)、f(2)、…、f(N)の全てを用いる。つまり、ここでの一例では、周波数演算部20cは、検出される輝度の周波数スペクトルの全周波数についての平均及び分散を算出する。なお、図中において、特発周波数(あるいは特発点滅周波数:8.3Hz)あるいはこれに最も近い周波数を、f(t)とする。
【0053】
選択された周波数成分に対して、周波数演算部20cは、以下の式(1)、(2)にしたがって、周波数成分(振幅あるいは成分強度)の平均μ及び分散Vを算出する。なお、i=1、2、…、Nについて、S(f(i))は、周波数f(i)おける周波数成分の値を示す。したがって、例えば、S(f(t))は、特発周波数における周波数成分である特発周波数成分を意味する。
さらに、周波数演算部20cは、以下の式(3)にしたがって、周波数成分S(f(i))を正規化する。すなわち、平均が0、分散が1なるように、
と規定する。なお、上記のような目的とする判断を行うための相対的な値(偏差値に相当)であるA(i)を、成分値とする。この場合における特発周波数成分S(f(t))の成分値は、上式(3)から、以下の式(4)のように算出される。
この成分値A(t)が、ある程度以上に大きければ、周波数成分の全体的な分布を加味した相対的な関係において、特発周波数成分が他の成分に比して十分大きい、すなわち
図5(A)に典型例を示したように、特殊信号発光機200の点滅が生じていると判断できる。一方、成分値A(t)が、ある程度以下であれば、特発周波数成分が他の成分に比して十分大きいとは言えない、すなわち
図5(B)に典型例を示したように、特殊信号発光機200の点滅が生じているのではなくノイズによるものと判断できる。したがって、成分値A(t)に関して、予め閾値を定めておき、算出した成分値A(t)が当該閾値よりも大きいか否かによって特殊信号発光機200の点滅が生じているか否かを判定できる。すなわち、
図5(A)に例示するような特性を有するとの結果が得られた場合、成分値A(t)が当該閾値よりも大きくなり、判断部としての制御部60は、特殊信号発光機200における点滅動作する発光有り、との判断をし、判断結果に従って、報知部IPに前方で異常が発生している旨の報知の動作を行わせる。一方、
図5(B)に例示するような特性を示している場合、成分値A(t)が当該閾値以下となり、制御部60は、特殊信号発光機200における発光ではない、と判断する。以上のように、本実施形態では、周波数演算部20cが、輝度の周波数スペクトルに関して正規化された成分値A(t)を算出し、これに基づいて判断がなされている。この場合、例えば連続画像の検出によって差異があっても、これらについて画一的な判定基準を設けて判定できることになる。
【0054】
以下、
図7等のフローチャートを参照して、特殊信号検出装置100の動作についての一例を説明する。
【0055】
まず、特殊信号検出装置100の制御部60は、撮像部10から入力された映像(連続画像)を読み出す(ステップS1)。次に、制御部60は、画像処理として、画像処理部20に、連続画像についての画面全体の輝度を合計させ(ステップS2)、周波数成分に関する検出処理を行わせる(ステップS3)。すなわち、周波数成分の平均及び分散を算出し、さらにこれに基づく正規化を行ったものから特発周波数成分に関する値を算出する。なお、ステップS3の詳細については、
図8を参照して後述する。
【0056】
制御部60は、ステップS3により取得された特発周波数成分に関する成分値について、予め定めた閾値と比較し、閾値以上である場合(ステップS4:Yes)、特殊信号発光機200の動作が検出されたと判断し、制御部60は、管理装置MCとして、報知部IPによる運転士に対する報知を行うことで、注意喚起をする(ステップS5)。ステップS5の処理の後、あるいは、ステップS4において、閾値以上でない場合(ステップS4:No)、制御部60は、一連の処理動作を終了する。なお、ステップS5の報知部IPによる報知動作については、例えば運転士による終了動作等が別途なされるまで継続される。
【0057】
以下、
図8のフローチャートを参照して、上記のうちステップS3における画像処理部20の周波数演算部20cによる演算処理について一例を説明する。まず、ステップS2で算出された連続画像における輝度の合計について、変換処理部20fでのフーリエ変換処理(FFT)により周波数スペクトルを算出する(ステップS101)。次に、周波数演算部20cは、ステップS101で得られた周波数スペクトルに関して、
図6を参照して例示したように、算出対象とすべき周波数成分の選択を行い(ステップS102)、選択された周波数成分の平均及び分散を算出し(ステップS103)、さらに、ステップS103で算出された平均及び分散に基づき周波数成分についての正規化を行う(ステップS104)。特に、ここでは、周波数成分を正規化したものについて、特発周波数(8.3Hz)に対応する特発周波数成分について、成分値A(t)を抽出する。以上が、ステップS3での処理となっている。なお、ステップS104において抽出された成分値A(t)が、ステップS4において予め定められた閾値と比較されることで、目的とする判断がなされる。
【0058】
以上のように、本実施形態では、連続画像を撮像する撮像部10と、連続画像における輝度の周波数スペクトルに関して平均及び分散を算出する周波数演算部20cとを備え、周波数演算部20cにより算出された平均及び分散に基づき所定対象物たる特殊信号発光機200の点滅を検出する。この場合、周波数演算部20cにより算出された平均μ及び分散Vに基づき特殊信号発光機200の点滅を検出することで、不規則な変動等のノイズが影響しても、これに基づく誤検出を回避あるいは抑制し、検出すべき点滅動作の有無すなわち検出すべき信号の有無を的確かつ確実に判断できる。
【0059】
〔第2実施形態〕
以下、
図9等を参照して、第2実施形態に係る信号検出装置としての特殊信号検出装置の一例について説明する。なお、本実施形態に係る特殊信号検出装置は、第1実施形態の特殊信号検出装置100の変形例であり、画像処理部においてノイズ除去部を有することを除いて第1実施形態の場合と同様であるため、各部の詳細な説明は省略する。なお、
図9は、
図3に対応する図である。
【0060】
第1実施形態において説明したように、検出における所定対象物たる特殊信号発光機200での発光動作は、例えば赤色LEDとして、ピーク波長660nm、半値幅20nmのものとする、といった特定周波数帯域の光による点滅動作となっている。
【0061】
本実施形態では、この点に着目し、特殊信号検出装置100の撮像部10で取得した画像データから赤色成分を抽出し、連続する動画の各コマを構成するフレームに関して、現フレームと前フレームとの差分から赤色の点灯を検出している。すなわち、取得した画像データにおいて、赤色の点灯が一定フレームの周期であることを検出した場合に、特殊信号検出装置100は、特殊信号発光機200における発光があると判断し、スピーカーである音声部30から警報を鳴らすようにしている。
【0062】
上記態様を可能とするため、本実施形態では、
図9(A)及び
図9(B)に示すように、画像処理部220において、周波数演算部20cに加えて、ノイズ除去部20nを有している。
【0063】
ノイズ除去部20nは、撮像部10で取得した連続画像について、特殊信号発光機200において発光される成分(特定の赤色成分)以外の成分についての検出に基づきノイズ領域を除去する。ここでは、
図9(B)に例示するように、画像処理部220において、まず、ノイズ除去部20nにより、赤色光以外のノイズを含んだ画像領域をノイズ領域とみなして除去した上で、周波数演算部20cによる各種処理を施している。
【0064】
上記について、より具体的に説明すると、まず、前提として、ここでは、特殊信号発光機200からの特定波長帯域の光を検出対象としており、当該特定波長帯域を対象波長帯域とする。一方、これ以外の波長帯域を対象外波長帯域とする。本実施形態の場合、特殊信号発光機200が赤色光の点滅動作をするため、赤色光の波長帯域が対象波長帯域であり、これ以外の波長帯域が対象外波長帯域となる。例えば緑色光の波長帯域や青色光の波長帯域が、対象外波長帯域である。
【0065】
図9(B)に示すように、ノイズ除去部20nは、撮像部10で取得した連続画像を形成する画像領域において、対象外波長帯域すなわち緑色光や青色光の波長帯域の成分を検出するか否かによって画像領域中のノイズ領域を決定し、当該ノイズ領域を除去する。周波数演算部20cは、ノイズ除去された連像画像における点滅動作の周波数(輝度周波数)の特性を抽出する。すなわち、変換処理部20fによる高速フーリエ変換処理や、その後の各種演算処理を行う。以上のような処理がなされた画像について、判断部としての制御部60は、輝度周波数に基づく特殊信号発光機200の発光動作の有無を判断する。
【0066】
以上のように、本実施形態では、撮像部10で取得した連続画像について、対象外波長帯域の成分検出に基づきノイズ領域を除去するノイズ除去部20nを備え、周波数演算部20cは、ノイズ除去部20nによりノイズ領域を除去した連続画像の輝度の周波数スペクトルに関して平均及び分散を算出している。
【0067】
以下、
図10のフローチャートを参照して、特殊信号検出装置100の動作についての一例を説明する。
【0068】
まず、制御部60は、撮像部10から入力された映像(連続画像)を読み出し(ステップS1)。次に、制御部60は、画像処理として、画像処理部20のうちノイズ除去部20nに、連続画像中に含まれる対象外波長帯域を含むノイズ領域(特に太陽光等の白色光ノイズを含むノイズ領域)を除去させる(ステップSA)。ステップS2以降の処理については、処理対象がノイズ領域を除去した連続画像となっていることを除いて、
図7の場合と同様であるので説明等を省略する。また、ステップS3における処理手順は、
図8の場合と同様であるので説明等を省略する。
【0069】
さらに、本実施形態では、上記のうち、ステップS3での演算処理のうち、周波数スペクトルの選択において(
図8ステップS102参照)、周波数スペクトルのうち特定の周波数成分を除去したものについての平均及び分散を算出する。ここでは、
図11に示すように、除去する特定の周波数成分として、特発周波数成分及び直流成分の双方を選択している。すなわち、図中に示す周波数f(1)、f(2)、…、f(N)のうち、特発周波数成分を含む周波数f(t-1)、f(t)、f(t+1)に対応する周波数成分と、直流成分を含む周波数f(1)、f(2)、f(3)に対応する周波数成分を平均や分散の算出対象から除外している、すなわち未選択としている。
【0070】
さらに、本実施形態では、分散Vについて、第1実施形態に示した分散Vについての式(2)をそのまま採用せず、分散Vについて設定した下限値V
minに基づき新たな分散を設定している。具体的には、分散Vと下限値Vminのうち大きい方を採用している。この場合、判断を行うための成分値A(i)は、式(3)を変形した以下の式(5)
で規定される。なお、分散Vをそのまま使用した場合と、上記の場合とを比較すると、
図12のようになる。すなわち、
図12において、曲線CC1は、分散Vをそのまま使用した場合を示しており、曲線CC2は、上記のように設定した下限値V
minを利用した場合を示している。図示から、特に、分散Vの値が小さくなる場合、成分値A(i)の値が発散しやすくなることが分かる。上記のように、設定した下限値V
minを利用することで、成分値A(i)のとりうる範囲を制限でき、かかる事態を回避できる。なお、下限値V
minの設定基準については、種々の態様が考えられるが、例えば、列車が走行する環境下において、どの程度分散Vが小さくなるかや、特殊信号発光機200の点滅が発生していると判断すべき特発周波数のピーク値の基準設定等に応じて定めることが考えられる。
【0071】
本実施形態においても、周波数演算部20cにより算出された平均μ及び分散Vに基づき所定対象物たる特殊信号発光機200の点滅を検出することで、不規則な変動等のノイズが影響しても、これに基づく誤検出を回避あるいは抑制し、検出すべき点滅動作の有無すなわち検出すべき信号の有無を的確かつ確実に判断できる。特に、本実施形態では、ノイズ除去部20nによる除去により、特殊信号発光機等の所定対象物から発光される光以外に由来する成分をノイズとして除去したものについて、判定できる。
【0072】
また、周波数演算部20cにおいて、検出される輝度の周波数スペクトルのうち特定の周波数成分を除去したものについての平均及び分散を算出している、特に、特発周波数成分及び直流成分を除去の対象としていることで、ノイズとなり得る成分の特性をより顕著に示す平均及び分散に基づいて、所定対象物たる特殊信号発光機200の点滅であるか否かを判定できる。
【0073】
さらに、上記では、分散について設定した下限値に基づき成分値を定めることで、分散の値が小さくなり過ぎることに起因する誤検知を抑制できる。
【0074】
なお、上記において、ノイズ除去部20nによって除去すべきノイズ領域の特定は、画素単位で行ってもよいが、これに限らず、例えばある程度の大きさを持った領域単位でノイズ領域の特定を行うものとしてもよい。
【0075】
〔その他〕
この発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。
【0076】
例えば、
図13において、一変形例として示すように、平均及び分散の算出対象となる周波数成分の選択について、
図6や
図11に示した場合以外の態様も考えられる。すなわち、
図13(A)のグラフにおいて他の一例として示すように、直流成分を含む周波数f(1)、f(2)、f(3)に対応する周波数成分のみを平均や分散の算出対象から除外することが考えられる。また、
図13(B)に示すように、特発周波数成分を含む周波数f(t-1)、f(t)、f(t+1)に対応する周波数成分のみを平均や分散の算出対象から除外することも考えられる。
【0077】
また、算出対象となる周波数成分の選択について、列車の走行位置等に応じて、選択する態様を変更可能としてもよい。
【0078】
なお、
図11や
図13において、除外する対象となる周波数の帯域は、例示であり、例えば直流成分側を周波数f(1)、f(2)、f(3)の3つとする場合に限らず、隣接する周波数間の間隔等に応じて、種々変更可能である。
【0079】
また、
図14に例示する他の一構成例の撮像部210のように、撮像用のレンズLLの前段に、フィルタFLを有しているものとしてもよい。すなわち、フィルタFLにおいてカットされずに通過した成分のみが撮像素子SDにおいて検出される態様としてもよい。
【0080】
ここで、フィルタFLについては、ノイズ等を除去すべく種々の態様とすることが考えられ、特定波長帯域について高い透過特性を示すものや、逆に、特定波長帯域について透過させない特性を示すものを採用することが考えられる。さらに、対象波長帯域の抽出(あるいは排除)の精度をより高めるべく、対象波長帯域に関する半値幅をより狭めるようにしてもよい。
【0081】
また、上記各実施形態や、変形例等について、適宜組み合わせることも考えられる。
【0082】
一方、上記第2実施形態や他の変形例では、フィルタやノイズ除去部により、例えば特定波長帯域の光や当該光の通過領域を予め除去するようにしているが、これらを除去しなくても適切な判断が可能である状況下においては、かかる事前の除去を行うことなく簡易な構成で処理を行うようにできる。
【0083】
また、上記では、特殊信号発光機200において、特定の赤色光波長帯域の発光がなされるものとしているが、発光させる波長帯域については、これに限らず、例えば緑色光波長帯域の光を発光する場合も考えられる。
【0084】
また、各種閾値についても、種々定められ、例えば、朝晩や昼間等時間帯によって太陽光等の特性分布が変化する可能性もあり、一方で、列車TRが通過するルートや時間に応じて、影響するノイズの特性も異なり、これらに対応させるようにする、といったことも考えられる。
【0085】
また、上記では、専用走行路として線路において、移動体としての鉄道の列車に特殊信号検出装置100を搭載した場合について説明しているが、これに限らず、例えば、専用走行路としての軌道(新設軌道、併用軌道)を走行する車両(移動体)である路面電車、専用走行路としての専用道路を走行する車両であるバスについて、当該専用道路脇等に設けられた特殊信号発光機200に対して特殊信号検出装置100を設けることも可能である。
【0086】
また、列車等の移動体において、障害物の有無の検知のためといった各種検知のためにカメラを設けている場合には、当該カメラを撮像部10として利用してもよい。すなわち、各種検知のために設けたカメラにおいて取得された画像情報を利用して、本願構成による特殊信号発光機200での発光検知を行ってもよい。例えば障害物検知のカメラで撮像したデータのうち、特殊信号検出装置100による検出対象区間における画像データのみ利用する、といった態様が考えられる。また、撮像部10については、カメラとしているが、データ抽出に必要な光の受光が可能であれば、種々のものが適用でき、例えばレンズを有さず撮像素子(受光素子)のみで構成するといったことも考えられる。
【0087】
また、例えば
図1において一部拡大して例示した特殊信号検出装置100を構成する各部を、例えば一つの筐体にユニット化したひとまとまりの装置として、既存の列車等の移動体に、後から取り付けることができるようにしてもよい。
【符号の説明】
【0088】
10…撮像部、20…画像処理部、20c…周波数演算部、20f…変換処理部、20n…ノイズ除去部、30…音声部、40…表示部、50…記憶装置、60…制御部、100…特殊信号検出装置、200…特殊信号発光機、200a…前面、210…撮像部、220…画像処理部、A1…進行方向、CC1,CC2…曲線、CR…踏切、CR1~CR3…領域、EB…非常ボタン、FL…フィルタ、GC…連続画像、GId…フレーム、IP…報知部、L1…直線、LL…レンズ、LS…LED光源、MC…管理装置、RR…線路、SD…撮像素子、SG…特殊信号発生システム、TR…列車、VE…車両