特開 2022-7013 撮像装置の故障判定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022007013

(43)【公開日】2022-01-13

(54)【発明の名称】撮像装置の故障判定システム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220105BHJP

   G03B 17/54 20210101ALI20220105BHJP

   G03B 15/06 20210101ALI20220105BHJP

   G03B 15/00 20210101ALI20220105BHJP

【ＦＩ】

H04N5/232

G03B17/54

G03B15/06

G03B15/00 U

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2020109652

(22)【出願日】2020-06-25

(71)【出願人】

【識別番号】000004651

【氏名又は名称】日本信号株式会社

(74)【代理人】

【識別番号】110000752

【氏名又は名称】特許業務法人朝日特許事務所

(72)【発明者】

【氏名】北川 朝靖

(72)【発明者】

【氏名】白井 稔人

【テーマコード（参考）】

2H104

5C122

【Ｆターム（参考）】

2H104AA01

5C122DA11

5C122DA14

5C122EA09

5C122FB07

5C122FB11

5C122FH11

5C122FH14

5C122GE23

5C122GG01

5C122HA86

5C122HB01

5C122HB02

(57)【要約】

【課題】撮像装置の故障の有無を実質的に瞬時に判定可能とする技術を提供する。
【解決手段】故障判定システム１は、動画を撮像する撮像装置１１１と、十分に短い所定の時間間隔をあけてテストパターンを照射する照射装置１１２と、照射装置１１２がテストパターンを照射する間、反射状態となってテストパターンの光を撮像装置１１１に向けて反射し、照射装置１１２がテストパターンを照射しない間、透過状態となる調光ミラー１１３を備える。また、故障判定システム１は、撮像装置１１１が撮像した画像のうち、テストパターンを撮像した画像を用いて、撮像装置１１１の故障の有無を判定する故障判定処理と、その他の画像を用いて、列車９の走行を妨げる障害物を検知する物体検知処理とを行うデータ処理装置１２を備える。データ処理装置１２は、故障判定処理において撮像装置１１１の故障を検知すると、その旨を制御装置８に通知する。
【選択図】図３

【特許請求の範囲】

【請求項1】

動画を撮影する撮像装置の撮像範囲内に間欠的にテストパターンを照射し、テストパターンが写った前記撮像装置の画像から前記撮像装置の故障の有無を判定する
撮像装置の故障判定システム。

【請求項2】

照射されたテストパターンを前記撮像装置に向けて反射する反射部材を備える
請求項１に記載の撮像装置の故障判定システム。

【請求項3】

前記反射部材は、テストパターンが照射されているときに鏡状態となり、テストパターンが照射されていないときに透過状態となる調光ミラーである
請求項２に記載の撮像装置の故障判定システム。

【請求項4】

前記反射部材は、テストパターンが照射されているときに前記撮像装置の撮像範囲内にあり、テストパターンが照射されていないときに前記撮像装置の撮像範囲外にあるミラーである
請求項２に記載の撮像装置の故障判定システム。

【請求項5】

前記反射部材はハーフミラーである
請求項２に記載の撮像装置の故障判定システム。

【請求項6】

前記撮像装置は、テストパターンが照射されているときに、テストパターンが照射されていないときよりも短い時間間隔で撮影する
請求項１乃至５のいずれか１項に記載の撮像装置の故障判定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置の故障を判定する技術に関する。

【背景技術】

【0002】

撮像装置が撮像した画像から物体を認識し、その認識の結果に応じて装置を制御する技術がある。例えば、車両に搭載された撮像装置により撮像した画像から通行人等を認識し、認識した通行人等に車両が衝突しないように車両を停車する等の制御を行う技術が開発されている。

【0003】

上記のような目的で撮像装置が用いられる場合、撮像装置が故障すると、撮像された画像に誤りが生じ、その画像から物体が正しく認識されず、その結果、車両が通行人等の回避に失敗する危険性がある。

【0004】

従って、撮像装置の故障の有無を判定し、故障が有ると判定した場合、車両を緊急停車する等の対策が必要となる。

【0005】

撮像装置の故障の有無を判定する技術を開示している文献として、例えば特許文献１がある。特許文献１には、デジタルカメラが撮像したデジタル画像が所定時間にわたって一様であると、デジタルカメラが故障であると判定する仕組みが記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００１－３６９２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に記載の仕組みによる場合、撮像装置に故障が生じた後、一様な画像が所定枚数、撮像された後に撮像装置が故障と判定される。従って、車両の自動運転等のリアルタイム性が求められる制御のために用いられる撮像装置の故障の有無の判定には、特許文献１に記載の仕組みは時間がかかり過ぎる。

【0008】

上記の事情に鑑み、本発明は、撮像装置の故障の有無を実質的に瞬時に判定可能とする技術を提供する。

【課題を解決するための手段】

【0009】

本発明は、動画を撮影する撮像装置の撮像範囲内に間欠的にテストパターンを照射し、テストパターンが写った前記撮像装置の画像から前記撮像装置の故障の有無を判定する撮像装置の故障判定システムを第１の態様として提案する。

【0010】

第１の態様に係る故障判定システムによれば、撮像装置の故障の有無が実質的に瞬時に判定される。

【0011】

第１の態様に係る故障判定システムにおいて、照射されたテストパターンを前記撮像装置に向けて反射する反射部材を備える、という構成が第２の態様として採用されてもよい。

【0012】

第２の態様に係る故障判定システムによれば、テストパターンを反射部材に照射することで、撮像装置にテストパターンを撮像させることができる。

【0013】

第２の態様に係る故障判定システムにおいて、前記反射部材は、テストパターンが照射されているときに鏡状態となり、テストパターンが照射されていないときに透過状態となる調光ミラーである、という構成が第３の態様として採用されてもよい。

【0014】

第３の態様に係る故障判定システムによれば、反射部材の移動を要しない。

【0015】

第２の態様に係る故障判定システムにおいて、前記反射部材は、テストパターンが照射されているときに前記撮像装置の撮像範囲内にあり、テストパターンが照射されていないときに前記撮像装置の撮像範囲外にあるミラーである、という構成が第４の態様として採用されてもよい。

【0016】

第４の態様に係る故障判定システムによれば、例えば反射部材に調光ミラーが採用される場合と比較し、テストパターンが照射されていないときに、より鮮明な画像が撮像される。

【0017】

第２の態様に係る故障判定システムにおいて、前記反射部材はハーフミラーである、という構成が第５の態様として採用されてもよい。

【0018】

第５の態様に係る故障判定システムによれば、例えば反射部材に調光ミラーや移動するミラーを用いる場合と比較し、反射部材が簡易に構成できる。

【0019】

第１乃至第５のいずれかの態様に係る故障判定システムにおいて、前記撮像装置は、テストパターンが照射されているときに、テストパターンが照射されていないときよりも短い時間間隔で撮影する、という構成が第６の態様として採用されてもよい。

【0020】

第６の態様に係る故障判定システムによれば、テストパターンの撮影により通常の撮影が行えない時間が短くなる。

【図面の簡単な説明】

【0021】

【図1】一実施形態に係る故障判定システムの全体構成を模式的に示した図。

【図2】一実施形態に係る撮像ユニットの構成を模式的に示した図。

【図3】一実施形態に係るデータ処理装置の構成を示した図。

【図4】一実施形態に係る画像処理部の処理の流れを示した図。

【図5】一実施形態に係る照射指示信号出力部の処理の流れを示した図。

【図6】一実施形態に係る撮像装置が撮像する画像と、データ処理装置が行う処理の対応関係を示した図。

【図7】一変形例に係る撮像ユニットの構成を模式的に示した図。

【図8】一変形例に係る撮像ユニットの構成を模式的に示した図。

【図9】一変形例に係る故障判定システムで用いられるテストパターンの態様を例示した図。

【発明を実施するための形態】

【0022】

［実施形態］
以下に、本発明の一実施形態に係る故障判定システム１を説明する。図１は故障判定システム１の全体構成を模式的に示した図である。図１の故障判定システム１は、列車９の前方を撮像した画像に写っている物体を認識し、列車９の走行の障害となる物体を検知した場合に列車９の走行を制御する制御装置８に障害物の検知を通知する物体検知システムである。ただし、故障判定システム１は、通常の物体検知システムが備える機能に加え、撮像装置の故障の有無を実質的にリアルタイムに判定し、撮像装置が故障していると判定した場合、制御装置８に撮像装置の故障を通知する機能を備えている。

【0023】

故障判定システム１は、撮像ユニット１１とデータ処理装置１２を備えている。撮像ユニット１１は列車９の先頭車両の前方に配置され、列車９の前方の画像を撮像する。

【0024】

データ処理装置１２は、列車９の車内に配置され、撮像ユニット１１が撮像した画像を取得し、その画像から物体を認識し、障害物を認識した場合、制御装置８に障害物の検知を通知する。そのため、データ処理装置１２は撮像ユニット１１及び制御装置８と通信接続されている。

【0025】

図２は、撮像ユニット１１の構成を模式的に示した図である。撮像ユニット１１は、画像を撮像する撮像装置１１１と、テストパターンを照射する照射装置１１２と、調光ミラー１１３（反射部材の一例）を備える。なお、図２において図示を省略しているが、撮像装置１１１、照射装置１１２、調光ミラー１１３は各々、データ処理装置１２と通信接続されている。

【0026】

撮像装置１１１は動画を撮像する可視光カメラである。本実施形態においては、例として、撮像装置１１１が画像を撮像する時間間隔、すなわちフレームレートは、６０ｆｐｓ（Frames per Second）であるものとする。

【0027】

撮像装置１１１は、１／６０秒毎に撮像した画像を速やかにデータ処理装置１２に出力する。また、撮像装置１１１は、撮像するタイミングで、１／６０秒毎に同期信号をデータ処理装置１２に出力する。

【0028】

照射装置１１２は、カラープロジェクタである。照射装置１１２は、データ処理装置１２から出力される照射指示信号に応じてテストパターンを照射する。本実施形態においては、例として、撮像装置１１１が１秒間に撮像するフレームを第１フレーム乃至第６０フレームとするとき、照射装置１１２は、第５８フレームの撮像のタイミングで全面が赤のテストパターンを照射し、第５９フレームの撮像のタイミングで全面が緑のテストパターンを照射し、第６０フレームの撮像のタイミングで全面が青のテストパターンを照射する。

【0029】

調光ミラー１１３は、電気的な制御により、大多数の光を反射する鏡状態と、大多数の光を透過する透過状態との間で切り替わる装置である。調光ミラー１１３は、データ処理装置１２から出力される照射指示信号に応じて鏡状態となり、データ処理装置１２からの照射指示信号の出力が停止すると透過状態となる。

【0030】

図２において、破線は撮像装置１１１の撮像範囲を示し、一点鎖線は照射装置１１２の照射範囲を示している。図２に示すように、照射装置１１２が照射したテストパターンが鏡状態の調光ミラー１１３で反射した反射光が撮像装置１１１に向かうように、撮像装置１１１、照射装置１１２及び調光ミラー１１３の配置が調整されている。

【0031】

データ処理装置１２のハードウェアは、通信機能を備えた一般的なコンピュータである。データ処理装置１２のハードウェアであるコンピュータが備えるプロセッサが、メモリに記憶しているプログラムに従ったデータ処理を行うことにより、図３に示す構成を備えるデータ処理装置１２が実現される。なお、データ処理装置１２がいわゆる専用装置として構成されてもよい。

【0032】

以下に、図３に示すデータ処理装置１２の構成部の各々を説明する。画像取得部１２１は、撮像装置１１１が出力する画像を取得する。

【0033】

画像処理部１２２は、画像取得部１２１が撮像装置１１１から取得した画像を受け取り、受け取った画像のフレーム番号に応じて、物体検知処理及び故障判定処理のいずれかを行う。本実施形態において、画像処理部１２２は、フレーム番号が１乃至５７の画像（第１フレーム乃至第５７フレームの画像）に関しては物体検知処理を行い、フレーム番号が５８乃至６０の画像（第５８フレーム乃至第６０フレームの画像）に関しては故障検知処理を行う。

【0034】

物体検知処理は、画像に写っている物体を既知の画像認識手法により認識し、認識した物体の種別及び画像における認識した物体の位置に基づき、その物体が列車９の走行の障害となる物体か否かを判定し、障害となる物体であると判定した場合、制御装置８に障害物を検知したことを通知する障害物検知信号を出力する処理である。

【0035】

故障検知処理は、第５８フレームの画像に関しては実質的に全面が赤であるか否か、第５９フレームの画像に関しては実質的に全面が緑であるか否か、第６０フレームの画像に関しては実質的に全面が青であるか否かを判定し、これらのいずれかのフレームの画像に関し、実質的に全面が所定色でないと判定した場合、制御装置８に撮像装置１１１の故障を検知したことを通知する故障検知信号を出力する処理である。

【0036】

なお、「実質的に全面が○○（○○は所定色の名称）である」とは、画像の全画素が所定色である場合に加え、撮像装置１１１が正常動作していても不可避的に生じるノイズのみが画像に含まれる場合を意味する。画像処理部１２２は、例えば、所定色でない画素の比率が閾値以下であり、連続する所定色でない画素の数が閾値以下である、といった所定の条件を満たす場合、その画像の全面が実質的に所定色である、と判定する。

【0037】

図４は、画像処理部１２２の処理の流れを示した図である。画像処理部１２２は、画像取得部１２１を介して撮像装置１１１から画像を取得すると（ステップＳ１０１）、その画像に付されているフレーム番号が５８、５９、６０、それ以外、のいずれであるかを判定する（ステップＳ１０２）。

【0038】

フレーム番号が５８乃至６０のいずれかである場合（ステップＳ１０２：「１」、「２」又は「３」）、画像処理部１２２はエラーの有無の判定処理を行う（ステップＳ１０３）。具体的には、ステップＳ１０３において、画像処理部１２２は、フレーム番号が５８である場合（ステップＳ１０２：「１」）、ステップＳ１０１において取得した画像が、実質的に全面が赤の画像であればエラーは無く、実質的に全面が赤の画像でなければエラーが有る、と判定する。

【0039】

同様に、ステップＳ１０３において、画像処理部１２２は、フレーム番号が５９である場合（ステップＳ１０２：「２」）、ステップＳ１０１において取得した画像が、実質的に全面が緑の画像であればエラーは無く、実質的に全面が緑の画像でなければエラーが有る、と判定する。また、ステップＳ１０３において、画像処理部１２２は、フレーム番号が６０である場合（ステップＳ１０２：「３」）、ステップＳ１０１において取得した画像が、実質的に全面が青の画像であればエラーは無く、実質的に全面が青の画像でなければエラーが有る、と判定する。

【0040】

ステップＳ１０３においてエラーが有ると判定した場合（ステップＳ１０３：「Ｙｅｓ」）、画像処理部１２２は、撮像装置１１１の故障が検知されたことを通知する故障検知信号をデータ処理装置１２に出力する（ステップＳ１０４）。

【0041】

制御装置８は、データ処理装置１２の画像処理部１２２から出力された故障検知信号を受け取った場合、例えば列車９の運転者に撮像装置１１１の故障の通知を行うと共に、列車９に対し、減速等の予め定められた制御の処理を行う。

【0042】

ステップＳ１０３においてエラーが無いと判定した場合（ステップＳ１０３：「Ｎｏ」）、又は、ステップＳ１０４の処理を完了した場合、画像処理部１２２はステップＳ１０１に処理を戻し、画像取得部１２１を介して撮像装置１１１から取得される次の画像に関し、ステップＳ１０１以降の処理を繰り返す。

【0043】

なお、ステップＳ１０３及びＳ１０４の処理が、上述した故障判定処理である。

【0044】

ステップＳ１０２において、フレーム番号が５８乃至６０のいずれでもないと判定した場合（ステップＳ１０２：「４」）、画像処理部１２２はステップＳ１０１において取得した画像に写っている物体を既知の画像認識手法により認識する（ステップＳ１０５）。

【0045】

続いて、画像処理部１２２はステップＳ１０５において認識した物体の種別及び画像における認識した物体の位置に基づき、その物体が列車９の走行の障害となる物体か否かを判定する（ステップＳ１０６）。

【0046】

ステップＳ１０６において、列車９の走行の障害となる物体が認識された、と判定した場合（ステップＳ１０６：「Ｙｅｓ」）、画像処理部１２２は、障害物が検知されたことを通知する障害物検知信号をデータ処理装置１２に出力する（ステップＳ１０７）。

【0047】

制御装置８は、データ処理装置１２の画像処理部１２２から出力された障害物検知信号を受け取った場合、例えば列車９の運転者に障害物が検知された旨の通知を行うと共に、列車９に対し、停車等の予め定められた制御の処理を行う。

【0048】

ステップＳ１０６において、列車９の走行の障害となる物体は認識されていないと判定した場合（ステップＳ１０６：「Ｎｏ」）、又は、ステップＳ１０７の処理を完了した場合、画像処理部１２２はステップＳ１０１に処理を戻し、画像取得部１２１を介して撮像装置１１１から取得される次の画像に関し、ステップＳ１０１以降の処理を繰り返す。

【0049】

なお、ステップＳ１０５乃至Ｓ１０７の処理が、上述した物体検知処理である。

【0050】

図３を参照し、データ処理装置１２の構成部の説明を続ける。同期信号取得部１２３は、撮像装置１１１が出力する同期信号を取得する。同期信号は、既述のように、撮像装置１１１が１／６０秒毎に画像を撮像するタイミングで出力する信号である。

【0051】

照射指示信号出力部１２４は、照射装置１１２及び調光ミラー１１３に対し、照射指示信号を出力する。照射指示信号出力部１２４は、同期信号取得部１２３が取得した同期信号に基づき、撮像装置１１１が第５７フレームの画像を撮像した後、第５８フレームの画像を撮影する前のタイミングで赤のテストパターンの照射を指示する照射指示信号の出力を開始する。続いて、照射指示信号出力部１２４は、撮像装置１１１が第５８フレームの画像を撮像した後、第５９フレームの画像を撮影する前のタイミングで、それまで出力していた照射指示信号に代えて、緑のテストパターンの照射を指示する照射指示信号の出力を開始する。続いて、照射指示信号出力部１２４は、撮像装置１１１が第５９フレームの画像を撮像した後、第６０フレームの画像を撮影する前のタイミングで、それまで出力していた照射指示信号に代えて、青のテストパターンの照射を指示する照射指示信号の出力を開始する。続いて、照射指示信号出力部１２４は、撮像装置１１１が第６０フレームの画像を撮像した後、第１フレームの画像を撮影する前のタイミングで、照射指示信号の出力を停止する。

【0052】

照射装置１１２は、データ処理装置１２の照射指示信号出力部１２４から出力される照射指示信号に応じて、赤、緑、又は青のテストパターンを照射する。また、調光ミラー１１３は、データ処理装置１２の照射指示信号出力部１２４から、いずれかの色に関する照射指示信号が出力されている間は鏡状態となり、照射指示信号が出力されていない間は透過状態となる。

【0053】

図５は、照射指示信号出力部１２４の処理の流れを示した図である。照射指示信号出力部１２４は、例えばデータ処理装置１２の起動に伴い、まず、カウンタＣに初期値０を代入する（ステップＳ２０１）。

【0054】

続いて、照射指示信号出力部１２４は、同期信号取得部１２３を介して撮像装置１１１から同期信号を取得すると（ステップＳ２０２）、カウンタＣに１を加算した後（ステップＳ２０３）、カウンタＣが５７、５８、５９、６０、それ以外、のいずれであるかを判定する（ステップＳ２０４）。

【0055】

カウンタＣが５７乃至５９のいずれかである場合（ステップＳ２０４：「１」、「２」又は「３」）、照射指示信号出力部１２４は照射装置１１２及び調光ミラー１１３に対する照射指示信号の出力を開始する（ステップＳ２０５）。

【0056】

具体的には、カウンタＣが５７である場合（ステップＳ２０４：「１」）、照射指示信号出力部１２４はステップＳ２０５において、赤のテストパターンの照射を指示する照射指示信号の出力を開始する。カウンタＣが５８である場合（ステップＳ２０４：「２」）、照射指示信号出力部１２４はステップＳ２０５において、赤に代えて緑のテストパターンの照射を指示する照射指示信号の出力を開始する。そして、カウンタＣが５９である場合（ステップＳ２０４：「３」）、照射指示信号出力部１２４はステップＳ２０５において、緑に代えて青のテストパターンの照射を指示する照射指示信号の出力を開始する。

【0057】

カウンタＣが６０である場合（ステップＳ２０４：「４」）、照射指示信号出力部１２４は照射装置１１２及び調光ミラー１１３に対する照射指示信号の出力を停止する（ステップＳ２０６）。なお、ステップＳ２０６において出力が停止される照射指示信号は、青のテストパターンの照射を指示する照射指示信号である。

【0058】

カウンタＣが５７乃至６０のいずれでもない場合（ステップＳ２０４：「５」）、又は、ステップＳ２０５の処理が完了した場合、照射指示信号出力部１２４はステップＳ２０２に処理を戻し、同期信号取得部１２３を介して撮像装置１１１から取得される次の同期信号に応じて、ステップＳ２０２以降の処理を繰り返す。

【0059】

一方、ステップＳ２０６の処理を完了した場合、照射指示信号出力部１２４はステップＳ２０１に処理を戻し、カウンタＣに初期値０を代入した後（ステップＳ２０１）、同期信号取得部１２３を介して撮像装置１１１から取得される次の同期信号に応じて、ステップＳ２０２以降の処理を繰り返す。

【0060】

図６は、撮像装置１１１が撮像する画像と、データ処理装置１２が行う処理の対応関係を示した図である。撮像装置１１１が毎秒撮像する６０枚の画像のうち、第１フレームから第５７フレームまでは列車９の前方を撮像した画像である。そして、第５８フレームから第６０フレームまでは赤、緑又は青のテストパターンを撮像した画像である。

【0061】

データ処理装置１２は、撮像装置１１１が毎秒撮像する６０枚の画像のうち、第１フレームから第５７フレームまでの画像を用いて物体検知処理を行う。そして、データ処理装置１２は、第５８フレームから第６０フレームまでの画像を用いて故障判定処理を行う。

【0062】

上述した故障判定システム１によれば、撮像装置１１１に故障が発生した場合、遅くとも約１秒後にはその故障が検知される。すなわち、撮像装置１１１の故障の有無が実質的に瞬時に判定される。その結果、例えば、撮像装置１１１の故障により検知すべき障害物が検知されない状態で列車９がその障害物に衝突する、といった事故が回避される。

【0063】

［変形例］
上述した実施形態は本発明の技術的思想の範囲内で様々に変形されてよい。以下にそれらの変形例を示す。なお、以下に示す変形例の２以上が適宜組み合わされてもよい。

【0064】

［第１変形例］
上述した実施形態において採用されている調光ミラー１１３に代えて、照射装置１１２によりテストパターンが照射されているときに撮像装置１１１の撮像範囲にあり、照射装置１１２によりテストパターンが照射されていないときに撮像装置１１１の撮像範囲外にあるように、移動するミラーが採用されてもよい。

【0065】

図７は、この第１変形例に係る故障判定システム１が撮像ユニット１１に代えて備える撮像ユニット２１の構成を模式的に示した図である。なお、撮像ユニット２１が撮像ユニット１１と共通して備える構成部には、撮像ユニット１１において用いた符号と同じ符号が用いられている。

【0066】

撮像ユニット２１は、調光ミラー１１３に代えて、可動型ミラー２１３（反射部材の一例）を備える。図７（ａ）は、可動型ミラー２１３が撮像装置１１１の撮像範囲外にある状態を示し、図７（ｂ）は、可動型ミラー２１３が撮像装置１１１の撮像範囲内にある状態を示している。可動型ミラー２１３は、図示せぬ駆動機構により、照射装置１１２がテストパターンを照射していないときには図７（ａ）の位置となるように移動され、照射装置１１２がテストパターンを照射しているときには図７（ｂ）の位置となるように移動される。

【0067】

第１変形例によっても、撮像装置１１１の故障の有無が実質的に瞬時に判定される。

【0068】

［第２変形例］
上述した実施形態において採用されている調光ミラー１１３に代えて、概ね半分の光を透過し、残りの光を反射するハーフミラー（反射部材の一例）が採用されてもよい。この第２変形例に係る故障判定システム１が備える撮像ユニットの構成は、上述した実施形態に係る撮像ユニット１１が備える調光ミラー１１３（図２参照）の位置に、調光ミラー１１３に代えてハーフミラーを配置したものである。

【0069】

照射装置１１２がテストパターンを照射していないとき、撮像装置１１１が撮像する画像は、列車９の前方からハーフミラーを透過して撮像装置１１１に届く光と、ハーフミラーに様々な方向から届く光のうちハーフミラーで反射して撮像装置１１１に向かう光により描かれる画像となる。この場合、ハーフミラーに様々な方向から届く光のうちハーフミラーで反射して撮像装置１１１に向かう光の量は、列車９の前方からハーフミラーを透過して撮像装置１１１に届く光の量と比較すると十分に少なく、無視できる。従って、撮像装置１１１が撮像する画像は実質的に列車９の前方を撮像した画像となる。

【0070】

照射装置１１２がテストパターンを照射しているとき、撮像装置１１１が撮像する画像は、列車９の前方からハーフミラーを透過して撮像装置１１１に届く光と、ハーフミラーに様々な方向から届く光のうちハーフミラーで反射して撮像装置１１１に向かう光と、照射装置１１２から照射されハーフミラーで反射して撮像装置１１１に向かうテストパターンの光により描かれる画像となる。照射装置１１２から照射されハーフミラーで反射して撮像装置１１１に向かうテストパターンの光の量は、照射装置１１２の出力が大きい程、多くなる。従って、照射装置１１２の出力が十分に大きい場合、撮像装置１１１に向かう光に占めるテストパターンの光の比率が十分に大きくなり、撮像装置１１１が撮像する画像は、実質的にテストパターンの画像となる。

【0071】

第２変形例によっても、撮像装置１１１の故障の有無が実質的に瞬時に判定される。

【0072】

［第３変形例］
上述した実施形態に係る故障判定システム１による場合、１秒間のうち、第５８フレームから第６０フレームまでの３枚の画像が撮像される期間、すなわち、３／６０秒＝０．０５秒の期間は、列車９の前方の画像が撮像されず、その間、物体検知処理が行われない。この物体検知処理が行われない期間を短縮するために、撮像装置１１１が、テストパターンが照射されているときに、テストパターンが照射されていないときよりも短い時間間隔で撮像を行ってもよい。

【0073】

例えば、この第３変形例において、撮像装置１１１は、第１フレームから第５９フレームまでは１／６０秒間隔で撮像を行い、第６０フレームから第６２フレームまでは１／１８０秒間隔で撮像を行う。

【0074】

そして、照射指示信号出力部１２４は、撮像装置１１１が第５９フレームの画像を撮像した後、第６０フレームの画像を撮像する前のタイミングで赤のテストパターンの照射を指示する照射指示信号の出力を開始し、撮像装置１１１が第６０フレームの画像を撮像した後、第６１フレームの画像を撮像する前のタイミングで赤に代えて緑のテストパターンの照射を指示する照射指示信号の出力を開始し、撮像装置１１１が第６１フレームの画像を撮像した後、第６２フレームの画像を撮像する前のタイミングで緑に代えて青のテストパターンの照射を指示する照射指示信号の出力を開始し、撮像装置１１１が第６２フレームの画像を撮像した後、第１フレームの画像を撮像する前のタイミングで照射指示信号の出力を停止する。

【0075】

そして、画像処理部１２２は、第１フレームから第５９フレームまでの画像を物体検知処理に用い、第６０フレームから第６２フレームまでの画像を故障判定処理に用いる。

【0076】

第３変形例に係る故障判定システム１によれば、上述した実施形態に係る故障判定システム１による場合と比較し、物体検知処理が行われない時間が短くなり望ましい。

【0077】

［第４変形例］
上述した第３変形例とは異なる方法により、物体検知処理が行われない時間が短縮されてもよい。具体的には、撮像装置１１１が、列車９の障害物との衝突を回避するために要求されるフレームレート（例えば、１／６０ｆｐｓ）よりも高いフレームレート（例えば、１／１８０ｆｐｓ）で常時、撮像を行い、列車９の前方を撮像した画像に関しては、間引いた画像を物体検知処理に用いる、という構成が採用されてもよい。

【0078】

例えば、この第４変形例において、撮像装置１１１は常時、１８０ｆｐｓで撮像する。そして、照射指示信号出力部１２４は、撮像装置１１１が第１７７フレームの画像を撮像した後、第１７８フレームの画像を撮像する前のタイミングで赤のテストパターンの照射を指示する照射指示信号の出力を開始し、撮像装置１１１が第１７８フレームの画像を撮像した後、第１７９フレームの画像を撮像する前のタイミングで赤に代えて緑のテストパターンの照射を指示する照射指示信号の出力を開始し、撮像装置１１１が第１７９フレームの画像を撮像した後、第１８０フレームの画像を撮像する前のタイミングで緑に代えて青のテストパターンの照射を指示する照射指示信号の出力を開始し、撮像装置１１１が第１８０フレームの画像を撮像した後、第１フレームの画像を撮像する前のタイミングで照射指示信号の出力を停止する。

【0079】

そして、画像処理部１２２は、第１フレームから第１７７フレームまでの画像（列車９の前方を撮像した画像）のうち、例えば、フレーム番号が（３ｎ－２）（ただし、ｎは１≦ｎ≦５９を満たす自然数）であるフレームの画像のみを物体検知処理に用いる。

【0080】

第４変形例に係る故障判定システム１によっても、上述した実施形態に係る故障判定システム１による場合と比較し、物体検知処理が行われない時間が短くなり望ましい。

【0081】

［第５変形例］
上述した実施形態において採用されている調光ミラー１１３を用いず、照射装置１１２が直接、撮像装置１１１にテストパターンを照射してもよい。図８は、この第５変形例に係る故障判定システム１が撮像ユニット１１に代えて備える撮像ユニット３１の構成を模式的に示した図である。なお、撮像ユニット３１が撮像ユニット１１と共通して備える構成部には、撮像ユニット１１において用いた符号と同じ符号が用いられている。

【0082】

図８に示されるように、撮像ユニット３１においては、照射装置１１２が照射するテストパターンが撮像装置１１１の対物レンズに直接向かうように、撮像装置１１１と照射装置１１２の配置が調整されている。

【0083】

第５変形例によっても、撮像装置１１１の故障の有無が実質的に瞬時に判定される。

【0084】

［第６変形例］
上述した実施形態においては、赤、緑、青の３つのテストパターンは連続する３つのフレームで撮像される。これに代えて、これらの３つのテストパターンが連続しない３つのフレームで撮像されてもよい。

【0085】

この第６変形例において、例えば、照射指示信号出力部１２４は、撮像装置１１１が第１９フレームの画像を撮像した後、第２０フレームの画像を撮像する前のタイミングで赤のテストパターンの照射を指示する照射指示信号の出力を開始し、第２０フレームの画像を撮像した後、第２１フレームの画像を撮像する前のタイミングで照射指示信号の出力を停止する。また、照射指示信号出力部１２４は、撮像装置１１１が第３９フレームの画像を撮像した後、第４０フレームの画像を撮像する前のタイミングで緑のテストパターンの照射を指示する照射指示信号の出力を開始し、第４０フレームの画像を撮像した後、第４１フレームの画像を撮像する前のタイミングで照射指示信号の出力を停止する。また、照射指示信号出力部１２４は、撮像装置１１１が第５９フレームの画像を撮像した後、第６０フレームの画像を撮像する前のタイミングで青のテストパターンの照射を指示する照射指示信号の出力を開始し、第６０フレームの画像を撮像した後、第１フレームの画像を撮像する前のタイミングで照射指示信号の出力を停止する。

【0086】

上述した照射指示信号出力部１２４の処理に従い照射装置１１２と調光ミラー１１３が動作する結果、撮像装置１１１が１秒毎に撮像する６０枚の画像のうち、第２０フレームは赤のテストパターンを撮像した画像となり、第４０フレームは緑のテストパターンを撮像した画像となり、第６０フレームは青のテストパターンを撮像した画像となり、その他のフレームは列車９の前方を撮像した画像となる。

【0087】

画像処理部１２２は、第２０フレーム、第４０フレーム及び第６０フレームの画像を用いて故障判定処理を行い、その他のフレームの画像を用いて物体検知処理を行う。

【0088】

第６変形例によれば、上述した実施形態に係る故障判定システム１による場合と比較し、物体検知処理が行われない期間の発生頻度は高くなるが、それらの期間の時間長が短くなり望ましい。

【0089】

［第７変形例］
上述した実施形態に係る故障判定システム１において用いられる調光ミラー１１３は、理想的には、反射状態において全ての光を反射し、透過状態において全ての光を透過する。ただし、技術的な制約により、反射状態の調光ミラー１１３がある程度の比率で光を透過してしまう場合がある。従って、テストパターンを撮像したフレームにおいて、テストパターンの画像に列車９の前方の画像がオーバーレイされたような画像（以下、「混合画像」という）が撮像される場合がある。そのような現象は、上述した第２変形例（調光ミラー１１３に代えてハーフミラーを採用）や第５変形例（テストパターンを撮像装置１１１に直接照射）においても生じ得る。

【0090】

そこで、画像処理部１２２が、混合画像から、列車９の前方の画像の成分の少なくとも一部を除去し、テストパターンのみを撮像した画像に近い画像（以下、「テストパターン分離画像」という）を生成して、テストパターン分離画像を用いて故障判定処理を行う構成が採用されてもよい。

【0091】

この第７変形例において、例えば、照射指示信号出力部１２４は、第６変形例と同様に、第２０フレーム、第４０フレーム、第６０フレームにおいてテストパターンが撮像されるように、照射指示信号の出力を行う。そして、画像処理部１２２は、第２０フレームの画像（混合画像）から第１９フレームの画像の成分を除去することで赤のテストパターン分離画像を生成し、第４０フレームの画像（混合画像）から第３９フレームの画像の成分を除去することで緑のテストパターン分離画像を生成し、第６０フレームの画像（混合画像）から第５９フレームの画像の成分を除去することで青のテストパターン分離画像を生成する。

【0092】

赤のテストパターン分離画像を例に、その生成の手順を以下に説明する。画像処理部１２２は、第２０フレームの画像（混合画像）の各画素の赤、緑、青の各々に関し、それらの値から、第１９フレームの対応する画素の色の値に所定の乗数を乗じた値を減算した値を求める。この乗数としては、列車９の前方の画像とテストパターンの画像が合成された画像から、前方の画像の成分をできるだけ除去できるように、撮像装置１１１の特性、照射装置１１２から照射されるテストパターンの光の強さ、撮像装置１１１の周囲の環境光の強さ等により適宜、決定される値が用いられる。

【0093】

画像処理部１２２は、上記の減算により算出した値を画素値とする画像をテストパターン分離画像として生成する。

【0094】

第７変形例によれば、テストパターンを撮像したフレームの画像に、列車９の前方の画像が混ざり込む状況下においても、高い精度で撮像装置１１１の故障の有無が判定される。

【0095】

［その他の変形例］
（１）上述した実施形態においては、テストパターンを撮像するときをのぞき、調光ミラー１１３は照射装置１１２から照射された光を撮像装置１１１に向けて反射しない。同様に、上述した第１変形例においても、テストパターンを撮像するときをのぞき、可動型ミラー２１３は照射装置１１２から照射された光を撮像装置１１１に向けて反射しない。従って、上述した実施形態又は第１変形例において、照射装置１１２が常時、テストパターンを照射していてもよい。

【0096】

（２）上述した実施形態においては、全面が所定色の画像がテストパターンとして用いられる。テストパターンの態様はこれに限られない。例えば、図９（ａ）に示す縦縞や、図９（ｂ）に示す横縞のパターンや、図９（ｃ）に示す千鳥格子のテストパターンが採用されてもよい。また、１枚のテストパターンに複数の異なる色が含まれてもよい。また、テストパターンに用いられる色は３原色に限られない。例えば、光の３原色を混合して得られる白色のテストパターンを照射し、撮像装置１１１が撮像する画像の画素値の赤、緑、青の成分を確認することで、撮像装置１１１の故障の有無の判定が行われてもよい。

【0097】

（３）上述した実施形態においては、説明の便宜のために１秒毎にテストパターンの撮像が行われるものとしたが、テストパターンの撮像の頻度は１秒毎に限られない。

【0098】

（４）上述した実施形態においては、撮像装置１１１は可視光カメラであるものとしたが、赤外光カメラ等の他の種類の撮像装置が採用されてもよい。

【符号の説明】

【0099】

１…故障判定システム、８…制御装置、９…列車、１１…撮像ユニット、１２…データ処理装置、２１…撮像ユニット、３１…撮像ユニット、１１１…撮像装置、１１２…照射装置、１１３…調光ミラー、１２１…画像取得部、１２２…画像処理部、１２３…同期信号取得部、１２４…照射指示信号出力部、２１３…可動型ミラー。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】