特許 7592499 カメラの異常検出装置およびカメラの異常検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-22

(45)【発行日】2024-12-02

(54)【発明の名称】カメラの異常検出装置およびカメラの異常検出方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241125BHJP

   B60R 11/02 20060101ALI20241125BHJP

   G01C 3/00 20060101ALI20241125BHJP

   G01B 11/00 20060101ALI20241125BHJP

【ＦＩ】

H04N7/18 J

B60R11/02 Z

G01C3/00 120

G01B11/00 H

【請求項の数】 3

(21)【出願番号】P 2021004485

(22)【出願日】2021-01-14

(65)【公開番号】P2022109132

(43)【公開日】2022-07-27

【審査請求日】2023-08-24

(73)【特許権者】

【識別番号】000144027

【氏名又は名称】株式会社ミツバ

(74)【代理人】

【識別番号】110002871

【氏名又は名称】弁理士法人坂本国際特許商標事務所

(72)【発明者】

【氏名】岩田 知之

(72)【発明者】

【氏名】長谷部 実

(72)【発明者】

【氏名】磯村 俊章

(72)【発明者】

【氏名】塩谷 敏昭

【審査官】薄井 義明

(56)【参考文献】

【文献】特開２０１５－０２５７３０（ＪＰ，Ａ）

【文献】特開２０２０－０６０５３１（ＪＰ，Ａ）

【文献】特開平１１－３１１５６３（ＪＰ，Ａ）

【文献】特開２００８－２８３４３１（ＪＰ，Ａ）

【文献】特開２０２０－１６０７０８（ＪＰ，Ａ）

【文献】特開２００６－３４６７６７（ＪＰ，Ａ）

【文献】特開２０２０－１４９４６３（ＪＰ，Ａ）

【文献】特開２００４－２１６５５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／４５

Ｈ０４Ｎ ２３／６０

Ｂ６０Ｒ １１／０２

Ｇ０１Ｃ ３／００

Ｇ０１Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

移動体に取り付けられたカメラの異常を検出するカメラの異常検出装置であって、
前記移動体に取付けられ、撮影状態が第１の状態である点灯と、前記第１の状態と区別可能な第２の状態である消灯と、の間で時系列的に切り替わる撮影対象としての自発光マーカーと、
撮像対象を撮影する、前記カメラとしての第１のカメラおよび第２のカメラの撮影画像を取得し、前記第１および前記第２のカメラによる、それぞれの前記撮影対象の撮影位置を特定する画像取得部と、
前記画像取得部により取得された前記第１のカメラによる前記撮影対象の撮影位置、または前記画像取得部により取得された前記第２のカメラによる前記撮影対象の撮影位置に基づいて、前記第１のカメラまたは前記第２のカメラの前記撮影対象の撮影位置の、既定された位置に対する位置ずれを検出し、前記位置ずれが所定の閾値よりも大きいか否かを判断する位置ずれ検出部と、
前記画像取得部により取得された前記撮影画像に基づいて、前記第１のカメラにより撮影された前記撮影対象の前記撮影状態が前記第１の状態にあるか前記第２の状態にあるかを判別可能な判別情報を時系列的に記憶する記憶部と、
前記記憶部に記憶された前記判別情報に基づいて、前記第１のカメラの撮影画像が更新されていないことを検出する動作異常検出部と、
前記移動体の動作を制御する制御部と、
前記自発光マーカーを制御するマーカー制御装置と、
を備え、
前記制御部が、前記マーカー制御装置を経由して前記自発光マーカーの状態を制御し、
前記撮影対象としての前記自発光マーカーが、前記第１のカメラおよび前記第２のカメラの画角内にあるカメラの異常検出装置。

【請求項2】

前記画像取得部、前記位置ずれ検出部、前記記憶部および前記動作異常検出部は、前記制御部により制御される、請求項１に記載のカメラの異常検出装置。

【請求項3】

移動体に取り付けられたカメラの異常を検出するカメラの異常検出方法であって、
前記移動体の動作を制御する制御ステップと、
撮影状態が第１の状態である点灯と、前記第１の状態と区別可能な第２の状態である消灯との間で時系列的に切り替わる撮影対象としての前記移動体に取付けられた自発光マーカーを撮影する、前記カメラとしての第１のカメラおよび第２のカメラの撮影画像を取得し、前記第１および前記第２のカメラによる、それぞれの前記撮影対象の撮影位置を特定する画像取得ステップと、
前記画像取得ステップにより取得された前記第１のカメラによる前記撮影対象の撮影位置、または前記画像取得ステップにより取得された前記第２のカメラによる前記撮影対象の撮影位置に基づいて、前記第１のカメラまたは前記第２のカメラの撮影位置の、既定された位置に対する位置ずれを検出し、前記位置ずれが所定の閾値よりも大きいか否かを判断する位置ずれ検出ステップと、
前記画像取得ステップにより取得された前記撮影画像に基づいて、前記第１のカメラにより撮影された前記撮影対象の前記撮影状態が前記第１の状態にあるか第２の状態にあるかを判別可能な判別情報を時系列的に記憶する記憶ステップと、
前記記憶ステップにより記憶された前記判別情報に基づいて、前記第１のカメラの撮影画像が更新されていないことを検出する動作異常検出ステップと、
前記移動体の動作を制御する制御部が、前記自発光マーカーを制御するマーカー制御装置を経由して前記自発光マーカーの状態を制御するステップと、
を備え、
前記撮影対象としての前記自発光マーカーが、前記第１のカメラおよび前記第２のカメラの画角内にあるカメラの異常検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体に取り付けられたカメラの異常を検出するカメラの異常検出装置およびカメラの異常検出方法に関する。

【背景技術】

【0002】

特許文献１には、ステレオカメラの撮影画像からステレオカメラの位置ずれを検出し、検出した位置ずれ量に基づいてステレオカメラの異常を検出する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６２２１４６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された方法において、例えば、周知のブロックマッチング手法を用いて位置ずれを求めようとしたとき、暗闇の中での撮影や白い壁に接近しての撮影により得られた画像では、対応点が出現しない場合がある。また、撮影画像中に、格子などの繰り返しパターンが含まれると、対応点の検索を誤り、正しい対応点が認識できない場合がある。これらの場合には、正しい位置ずれ量を算出できず、ステレオカメラの異常検出ができなくなってしまう。

【0005】

本発明は、移動体に取り付けられたカメラの異常を正しく検出することができるカメラの異常検出装置およびカメラの異常検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記問題を解決するために、本発明の一態様は、
移動体に取り付けられたカメラの異常を検出するカメラの異常検出装置であって、
撮影状態が第１の状態と、前記第１の状態と区別可能な第２の状態との間で時系列的に切り替わる撮影対象を撮影する、前記カメラとしての第１のカメラおよび第２のカメラの撮影画像を取得する画像取得部と、
前記画像取得部により取得された前記第１のカメラによる前記撮影対象の撮影位置、または前記画像取得部により取得された前記第２のカメラによる前記撮影対象の撮影位置に基づいて、前記第１のカメラまたは前記第２のカメラの撮影位置の位置ずれを検出する位置ずれ検出部と、
前記画像取得部により取得された前記撮影画像に基づいて、前記第１のカメラにより撮影された前記撮影対象の前記撮影状態が前記第１の状態にあるか前記第２の状態にあるかを判別可能な判別情報を時系列的に記憶する記憶部と、
前記記憶部に記憶された前記判別情報に基づいて、前記第１のカメラの撮影画像が更新されていないことを検出する動作異常検出部と、
を備えるカメラの異常検出装置を提供する。

【発明の効果】

【0007】

本発明によれば、移動体に取り付けられたカメラの異常を正しく検出することができる。

【図面の簡単な説明】

【0008】

【図1】本実施例のカメラの異常検出装置の構成を示すブロック図である。

【図2】移動体に取り付けられた自発光マーカーおよびカメラを示す図である。

【図3】制御部のメイン処理を示すフローチャートである。

【図3A】位置ずれ検出処理を示すフローチャートである。

【図3B】動作異常検出処理を示すフローチャートである。

【図4】位置ずれ量を算出する処理の一例を示す図である。

【図4A】位置ずれ量を算出する処理の別の一例を示す図である。

【図5】投影装置を設けた例を示す図である。

【図6】図１に示すカメラの異常検出装置を、車両に搭載されたステレオカメラの異常検出に適用した例を示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照しながら実施例について詳細に説明する。

【0010】

図１は、本実施例のカメラの異常検出装置の構成を示すブロック図、図２は、移動体に取り付けられた自発光マーカーおよびカメラを示す図である。

【0011】

図１に示すように、本実施例のカメラの異常検出装置は、移動体１００に取り付けられたステレオカメラ１０（図２）を構成するカメラ１Ａ（第１のカメラまたは第２のカメラの一例）およびカメラ１Ｂ（第２のカメラまたは第１のカメラの一例）の撮影画像を取得する画像取得部２と、画像取得部２により取得されたカメラ１Ａによる撮影対象の撮影位置、または画像取得部２により取得されたカメラ１Ｂによる撮影対象の撮影位置に基づいて、ステレオカメラ１０による撮影位置の位置ずれを検出する位置ずれ検出部３と、画像取得部２により取得された撮影画像に基づいて、ステレオカメラ１０により撮影された撮影対象の撮影状態を判別可能な判別情報を時系列的に記憶する記憶部４と、記憶部４に記憶された判別情報に基づいて、ステレオカメラ１０の撮影画像が更新されていないことを検出する動作異常検出部５と、を備える。なお、ステレオカメラ１０は、カメラ１Ａとカメラ１Ｂが同期（時間同期）している同期ステレオカメラである。

【0012】

また、図１に示すように、画像取得部２には、取得されたステレオカメラ１０の画像に対して画像処理を施す画像処理装置２１が設けられている。

【0013】

図１に示すように、制御部６には、移動体１００に設けられた各種センサや外部からの情報の入力を受け付ける情報入力装置６１と、移動体１００を走行させるための各種アクチュエータを駆動するアクチュエータ駆動装置６２と、警報等の所定の音声を出力する音声出力装置６３と、外部との間で通信を実行する通信装置６４と、後述する自発光マーカーＭ（図１、図２）を制御するマーカー制御装置６５と、が接続される。

【0014】

制御部６は、画像処理装置２１からの情報および情報入力装置６１からの情報に基づいて、アクチュエータ駆動装置６２を介して移動体１００の走行状態を制御するとともに、必要な音声を音声出力装置６３を介して出力する。また、制御部６は、通信装置６４を介して、外部との間で必要な通信を実行する。

【0015】

さらに、制御部６は、マーカー制御装置６５を介して、ステレオカメラ１０（カメラ１Ａおよびカメラ１Ｂ）により撮影される自発光マーカーＭ（撮影対象の一例）の状態を制御する。具体的には、制御部６は、自発光マーカーＭの状態を点灯状態と、消灯状態とが交互に繰り返されるように制御する。

【0016】

図２に示すように、ステレオカメラ１０および自発光マーカーＭは、ともに移動体１００に取り付けられている。移動体１００は、例えば、工場などの施設内で既定のルートを走行し、自発光マーカーＭは、光を点滅させて移動体１００の位置を周囲に知らせる機能などを有する。移動体１００として、工場で使用される自動搬送車などの自律移動ロボットを例示することができ、自発光マーカーＭとして、自律移動ロボットに搭載された行灯を例示することができる。

【0017】

自発光マーカーＭは、カメラ１Ａおよびカメラ１Ｂの画角内にあり、ステレオカメラ１０が正常に取り付けられている場合、自発光マーカーＭは、カメラ１Ａおよびカメラ１Ｂの撮影画像内における所定の領域に写り込む。他方、ステレオカメラ１０の取付状態が正常な状態から変化した場合には、カメラ１Ａまたはカメラ１Ｂにより撮影される自発光マーカーＭの位置が、撮影画像内で移動する。あるいは、自発光マーカーＭの位置がカメラ１Ａまたはカメラ１Ｂの画角から外れる。本実施例では、自発光マーカーＭの位置が撮影画像内における所定の領域からずれた場合に、位置ずれ検出部３は、ステレオカメラ１０の位置ずれに係る異常を検出する。

【0018】

また、点灯状態と消灯状態とが交互に繰り返される自発光マーカーＭの状態が、ステレオカメラ１０における撮影状態に反映されていない場合、動作異常検出部５は、ステレオカメラ１０の動作異常を検出する。

【0019】

次に、本実施例のカメラの異常検出装置の動作について説明する。以下の処理は、制御部６が、画像取得部２、位置ずれ検出部３、記憶部４および動作異常検出部５と協働して実行する。

【0020】

図３は、制御部のメイン処理を示すフローチャート、図３Ａは、位置ずれ検出処理を示すフローチャート、図３Ｂは、動作異常検出処理を示すフローチャートである。

【0021】

図３に示すメイン処理は、制御部６の制御に従って、任意のタイミングで、例えば、所定の周期で繰り返し実行される。

【0022】

メイン処理のステップＳ１では、画像取得部２は、カメラ１Ａおよびカメラ１Ｂから画像を取得する。なお、画像取得部２で取得された画像は画像処理装置２１において画像処理され、その画像処理の結果、すなわち移動体１００の前方の状況が制御部６に与えられ、移動体１００の走行等の制御に用いられる。

【0023】

また、ステップＳ１において、画像処理装置２１は、新たに取得されたカメラ１Ａの画像に含まれる自発光マーカーＭの位置、およびカメラ１Ｂの画像に含まれる自発光マーカーＭの位置を特定する。同時に、画像処理装置２１は、新たに取得されたカメラ１Ａの画像およびカメラ１Ｂの画像に含まれる自発光マーカーＭの状態が、それぞれ点灯状態（第１の状態の一例）にあるか、消灯状態（第２の状態の一例）にあるかを判別する。

【0024】

ステップＳ２では、位置ずれ検出部３により位置ずれ検出処理が実行される。後述するように、位置ずれ検出処理ではカメラ１Ａおよびカメラ１Ｂの位置ずれの有無が検出される。

【0025】

ステップＳ３では、記憶部４に判別情報を記憶する記憶処理が実行される。記憶処理の詳細については後述する。

【0026】

ステップＳ４では、動作異常検出部５により動作異常検出処理が実行され、制御部６はメイン処理を終了する。後述するように、動作異常検出処理では、カメラ１Ａおよびカメラ１Ｂから画像取得部２を介して取得される画像が、正常に更新されているか否かが判断される。

【0027】

次に、位置ずれ検出処理（ステップＳ２）について説明する。

【0028】

図３ＡのステップＳ２０１では、位置ずれ検出部３は、ステップＳ１において特定されたカメラ１Ａの画像およびカメラ１Ｂの画像に含まれる自発光マーカーＭの位置に基づいて、位置ずれ量を算出する。なお、カメラ１Ａの画像およびカメラ１Ｂの画像に含まれる自発光マーカーＭの位置は、自発光マーカーＭが点灯している場合にのみ、ステップＳ１において特定されてもよい。また、カメラ１Ａの画像およびカメラ１Ｂの画像に含まれる自発光マーカーＭの位置が、自発光マーカーＭの点灯、消灯に関わりなく、ステップＳ１において特定されてもよい。

【0029】

図４は、位置ずれ量を算出する処理の一例を示す図である。この例では、カメラ１Ａの画像Ｉｍａに含まれる自発光マーカーＭの高さと、カメラ１Ｂの画像Ｉｍｂに含まれる自発光マーカーＭの高さとが比較され、その差の絶対値を位置ずれ量Δとしている。この場合、ステレオカメラ１０が正常に固定されていれば、カメラ１Ａの画像Ｉｍａおよびカメラ１Ｂの画像Ｉｍｂに含まれる自発光マーカーＭの高さが同じとなることを前提としている。

【0030】

図４Ａは、位置ずれ量を算出する処理の別の一例を示す図である。この例では、カメラ１Ａの画像Ｉｍａに含まれる自発光マーカーＭの位置の、既定された位置Ｍｓに対するずれ幅を位置ずれ量Δとしている。この場合、ステレオカメラ１０が正常に固定されていれば、カメラ１Ａの画像Ｉｍａに含まれる自発光マーカーＭの位置が位置Ｍｓに一致することを前提としている。図４Ａの例では、カメラ１Ａの画像Ｉｍａについて位置ずれ量Δを算出しているが、カメラ１Ｂの画像Ｉｍｂについて位置ずれ量Δを算出してもよい。ステレオカメラ１０が正常に固定されていない場合には、少なくとも、カメラ１Ａの画像Ｉｍａおよびカメラ１Ｂの画像Ｉｍｂのいずれかで位置ずれが発生するはずである。

【0031】

ステップＳ２０２では、位置ずれ検出部３は、ステップＳ２０１において算出された位置ずれ量Δが、所定の閾値よりも大きいか否か判断し、判断が肯定されればステップＳ２０３へ進み、判断が否定されれば、ステップＳ３（図３）へリターンする。なお、画像処理装置２１における画像処理（ステップＳ１）において、カメラ１Ａの画像Ｉｍａまたはカメラ１Ｂの画像Ｉｍｂ内に自発光マーカーＭが認識されない場合にも、位置ずれ検出部３において、ステップＳ２０２における判断が肯定されてもよい。

【0032】

ステップＳ２０３では、位置ずれ検出部３は、ステレオカメラ１０の位置ずれが検出された旨、すなわち、位置ずれ量Δが所定の閾値を越えた旨を制御部６に通知し、ステップＳ３（図３）へリターンする。この場合、制御部６は、ステレオカメラ１０の位置ずれが検出された場合に予定されている所定の動作が実行されるように、各部を制御する。例えば、制御部６は、アクチュエータ駆動装置６２を介して移動体１００を停止させるとともに、音声出力装置６３を介して警報を発報してもよい。また、制御部６は、通信装置６４を介して、外部との間で必要な通信を実行してもよい。

【0033】

ステップＳ３では、記憶部４が記憶処理を実行する。ここでは、記憶部４は、ステップＳ１において画像処理装置２１により判別された、カメラ１Ａの画像およびカメラ１Ｂの画像に含まれる自発光マーカーＭの状態、すなわち、点灯状態または消灯状態を記憶する。これにより、記憶部４には、カメラ１Ａの画像およびカメラ１Ｂの画像に含まれる自発光マーカーＭの状態を時系列的に格納した判別情報の履歴が記録される。

【0034】

次に、動作異常検出処理（ステップＳ４）について説明する。

【0035】

図３ＢのステップＳ４０１では、動作異常検出部５は、記憶部４に記録された自発光マーカーＭの状態を示す判別情報の履歴を取得する。

【0036】

ステップＳ４０２では、動作異常検出部５は、カメラ１Ａの画像およびカメラ１Ｂの画像（フレーム）が正しく更新されているか否かを判断する。

【0037】

ここでは、例えば、記憶部４に記録された自発光マーカーＭの状態が、点灯状態および消灯状態の間で、切り替わっているか否かを判断する。上記のように、自発光マーカーＭは点滅を繰り返しているため、カメラ１Ａの画像およびカメラ１Ｂの画像が正しく更新されていれば、記憶部４に記録された自発光マーカーＭの状態も点灯状態と消灯状態とを繰り返しているはずである。したがって、記憶部４に記録された自発光マーカーＭの状態が点灯状態または消灯状態に固定されたままとなっていれば、ステレオカメラ１０の動作異常により、フレームが更新されていないと判断することができる。例えば、自発光マーカーＭの点滅周期よりも長時間にわたり、点灯状態または消灯状態が連続して記憶部４に記録されていれば、ステレオカメラ１０の動作異常と判断することができる。

【0038】

なお、カメラ１Ａの画像およびカメラ１Ｂの画像に含まれる自発光マーカーＭの位置が、自発光マーカーＭが点灯している場合にのみ、ステップＳ１において特定可能な場合、消灯状態においては、実際には自発光マーカーＭが画像上で認識されない状態となる。一方、カメラ１Ａの画像およびカメラ１Ｂの画像に含まれる自発光マーカーＭの位置が、自発光マーカーＭの点灯、消灯に関わりなく、ステップＳ１において特定可能な場合には、消灯状態にある自発光マーカーＭが画像上で認識されることになる。

【0039】

本実施例では、制御部６によりマーカー制御装置６５を介して自発光マーカーＭの状態が制御されているため、制御部６による実際の自発光マーカーＭの制御状態と、記憶部４に記録された自発光マーカーＭの状態とを対比することにより、より確実にステレオカメラ１０の動作異常を検出することができる。この場合、自発光マーカーＭの点滅周期よりも短時間で、ステレオカメラ１０の動作異常の有無を判別することが可能となる。カメラ１Ａの画像およびカメラ１Ｂの画像のいずれかで、実際の自発光マーカーＭの制御状態と異なる自発光マーカーＭの状態が記憶部４に記憶されている場合には、ステレオカメラ１０の動作異常と判断することができる。

【0040】

また、上記したようにステレオカメラ１０はカメラ１Ａとカメラ１Ｂが同期（時間同期）している同期ステレオカメラであるので、カメラ１Ａの画像における自発光マーカーＭの状態と、カメラ１Ｂの画像における自発光マーカーＭの状態とが食い違う場合に、ステレオカメラ１０の動作異常と判断することもできる。例えば、カメラ１Ａの画像における自発光マーカーＭの状態、すなわち判別情報が点灯状態を示し、カメラ１Ｂの画像における自発光マーカーＭの状態、すなわち判別情報が消灯状態を示す場合には、ステレオカメラ１０の動作異常と判断することができる。

【0041】

ステレオカメラ１０の動作異常の誤検出を防止するために、判別情報から動作異常を判断するアルゴリズムにおいて冗長性をもたせてもよい。例えば、記憶部４の履歴において、複数回、判別情報により連続して動作異常を示唆する状態が示される場合に、はじめて動作異常と判断してもよい。

【0042】

ステップＳ４０２において、カメラ１Ａの画像およびカメラ１Ｂの画像（フレーム）が正しく更新されていないと判断されれば、ステップＳ４０３へ進み、正しく更新されていると判断されれば、図３の処理を終了する。

【0043】

ステップＳ４０３では、動作異常検出部５は、ステレオカメラ１０の動作異常が検出された旨を制御部６に通知し、図３の処理を終了する。この場合、制御部６は、ステレオカメラ１０の動作異常が検出された場合に予定されている所定の動作が実行されるように、各部を制御する。例えば、制御部６は、アクチュエータ駆動装置６２を介して移動体１００を停止させるとともに、音声出力装置６３を介して警報を発報してもよい。また、制御部６は、通信装置６４を介して、外部との間で必要な通信を実行してもよい。

【0044】

上記のステップＳ３では、画像処理装置２１において判別されたカメラ１Ａの画像およびカメラ１Ｂの画像に含まれる自発光マーカーＭの時系列的な点灯状態、消灯状態を、判別情報として記憶部４に履歴として記録している。しかし、カメラ１Ａまたはカメラ１Ｂにより撮影された自発光マーカーＭの撮影状態が点灯状態にあるか消灯状態にあるかを判別可能な情報であれば、情報の形態は任意であり、それを判別情報として記憶部４に時系列的に記憶することができる。

【0045】

例えば、カメラ１Ａの画像およびカメラ１Ｂの画像の全体を判別情報として記憶することもできる。あるいは、カメラ１Ａの画像およびカメラ１Ｂの画像のうち、自発光マーカーＭが撮影される領域の画像のみを判別情報として記憶してもよい。また、自発光マーカーＭが撮影される領域の画像の輝度や色を判別情報として記憶してもよい。これらの場合、動作異常検出処理（ステップＳ４）において、記憶部４に記憶された判別情報に対して必要な処理、例えば、記憶された画像に対する画像処理や、輝度や色に対する二値化処理を介して、カメラ１Ａまたはカメラ１Ｂにより撮影された自発光マーカーＭの撮影状態が点灯状態にあるか消灯状態にあるかを判別することができる。

【0046】

以上のように、本実施例によれば、カメラ１Ａの画像およびカメラ１Ｂの画像に含まれる自発光マーカーＭの位置に基づいてステレオカメラ１０の位置ずれに係る異常を検出している。このため、自発光マーカーＭの背景と無関係に、常に、ステレオカメラ１０の位置ずれを正しく検出できる。例えば、移動体１００が暗闇の中にあったり、白い壁に向かってステレオカメラ１０が向いている場合、あるいは、格子などの繰り返しパターンがステレオカメラ１０の画像の背景に存在する場合でも、ステレオカメラ１０の画像に含まれる自発光マーカーＭの位置に基づいて、ステレオカメラ１０の位置ずれを正しく認識できる。

【0047】

また、本実施例によれば、点滅を繰り返す自発光マーカーＭの撮影状態（点灯状態および消灯状態）を示す判別情報に基づいて、ステレオカメラ１０のフレームが更新されているか否かを判断している。このため、ステレオカメラ１０のフレームの更新が停止した場合には、ステレオカメラ１０の動作異常が発生していると判断することができる。上記のように、自発光マーカーＭは、常にステレオカメラ１０により撮影されているので、ステレオカメラ１０に写り込む背景などの撮影状況に関わらず、ステレオカメラ１０の動作異常を確実に検出することができる。また、ステレオカメラ１０の位置ずれおよび動作停止に係る異常を、共通の撮影対象である自発光マーカーＭを用いて検出できるので、複数の撮影対象を用意する必要がない。

【0048】

本実施例では、制御部６の制御を介して、自発光マーカーＭを点滅させているが、自発光マーカーＭをＬＥＤなどの点滅を繰り返す発光素子を用いて構成する場合に、フリッカー現象を利用することができる。例えば、ステレオカメラ１０のフレームレートを適切に設定すれば、フリッカー現象により、自発光マーカーＭの撮影状態として点灯状態および消灯状態の２つの状態が得られる。したがって、この場合には、自発光マーカーＭを意図的に点滅させる装置が不要となるメリットがある。

【0049】

ステレオカメラ１０による撮影対象は、自発光マーカーＭに限定されない。移動体１００上ではない所定部位に設けられた撮影対象を利用することもできる。例えば、移動体１００が所定の位置に停止したときに、ステレオカメラ１０に写り込むマーカーを設置することができる。このとき、マーカーがカメラ１Ａおよびカメラ１Ｂの画角内にあれば、そのマーカーを撮影対象として画像取得部２により取得し、上記実施例と同様の位置ずれ検出処理を実行することができる。そのマーカーが互いに区別可能な複数の状態（例えば、点灯状態と消灯状態）を有し、その状態を切り替えるようにすれば、上記実施例と同様の動作異常検出処理を実行することができる。

【0050】

また、上記実施例では、撮影状態が点灯状態と消灯状態との間で切り替わる例を示したが、２つの撮影状態が判別できればよく、撮影対象が点滅する場合に限定されない。例えば、撮影対象の色が切り替わってもよく、撮影対象の向きや形状が切り替わってもよい。撮影対象は自発光を発生するものに限定されない。

【0051】

施設内、例えば工場屋内など、移動体１００の使用環境において、ＬＥＤ照明や蛍光灯照明が使用されている場合、その点滅周期（例えば、商用電源の周波数に対応する周期）に応じてステレオカメラ１０のフレームレートの値を適切に設定することにより、フリッカー現象を発生させることができる。この場合、フリッカー現象を利用することにより判別可能な２つの撮影状態を得ることができる。したがって、撮影対象自体に変化を与えることなく、ステレオカメラ１０の動作異常を検出することが可能となる。

【0052】

図５は、投影装置を設けた例を示す図である。図５に示すように、例えば、マーカー制御装置６５および自発光マーカーＭに代えて、所定のイメージを投影する投影装置７０を設けてもよい。投影装置７０は制御部６により制御され、施設内の既定のルートを走行する移動体１００が所定の位置に停止したときに、所定のイメージを投影する。投影装置７０として、例えば、移動体１００に取り付けたレーザポインタやプロジェクタを使用することができる。

【0053】

この場合、例えば、移動体１００が所定の位置に停止したときに、施設内に設置された壁、床、あるいは天井等の反射性部材に所定のイメージを投影し、これをステレオカメラ１０で撮影することができる。投影されたイメージがカメラ１Ａおよびカメラ１Ｂの画角内にあれば、投影されたイメージを撮影対象として画像取得部２により取得し、上記実施例と同様の位置ずれ検出処理を実行することができる。また、投影されたイメージが互いに区別可能な複数の状態を有し、その状態を切り替えるようにすれば、上記実施例と同様の動作異常検出処理を実行することができる。例えば、イメージが投影されている状態と、投影されていない状態の２つの状態を切り替えることができる。

【0054】

イメージの投影には、プロジェクションマッピングの技術を用いることもできる。この場合、移動体１００が所定の位置に停止したときにおける、ステレオカメラ１０に対する壁、床、あるいは天井等の反射性部材の位置や形状が決まっているため、壁、床、あるいは天井等に鮮明なイメージを投影することができる。このため、ステレオカメラ１０における位置ずれを正確に把握することができる。なお、プロジェクションマッピングの技術を用いたイメージの投影は、ステレオカメラ１０の異常検出のみに止まらず、投影されるイメージを、施設内の作業者等の支援等のために広く使用することができる。例えば、移動体１００の接近を知らせ、あるいは、必要な情報を提示する手段として用いることも可能である。

【0055】

このように、投影装置７０からの光が作るイメージを間接的にステレオカメラ１０で撮影することにより、自発光マーカーＭなどを常時、ステレオカメラ１０の撮影範囲に入るように設置することが困難な場合に、間接光ないし反射光を利用して、撮影対象を得ることができる。

【0056】

図６は、図１に示すカメラの異常検出装置を、車両に搭載されたステレオカメラの異常検出に適用した例を示す図である。

【0057】

図６の例では、ステレオカメラ２０は自動車２００の前方をウィンドシールド２０１を介して撮影する。ステレオカメラ２０の画像は、自動車２００の自動運転や運転支援に用いられる。

【0058】

自動車２００には、ステレオカメラ２０により撮影される、撮影対象としての自発光マーカーＭ１が取り付けられている。自発光マーカーＭ１として、自動車２００のコーナーポールやセンターポールのＬＥＤなどを用いることができる。あるいは、自動車２００のボンネット上に自発光マーカーＭ１を取り付けてもよい。

【0059】

ステレオカメラ２０の異常検出のための撮影対象として、プロジェクションマッピングの技術を用いて投影されたイメージを用いることもできる。この場合、自動車２００に投影装置を設け、自動車２００の走行中または停止中に、例えば、自動車２００の前方の道路上に所定のイメージを投影することができる。プロジェクションマッピングの技術を用いたイメージの投影は、ステレオカメラ２０の異常検出のみに止まらず、投影されるイメージを、運転支援のために広く使用することができる。例えば、自動車２００の車幅や、運転に必要な各種の情報を提示する手段として用いることも可能である。

【0060】

以上説明したように、本発明によれば、撮影対象の撮影位置に基づいて、第１のカメラまたは第２のカメラの撮影位置の位置ずれを検出するので、撮影位置の位置ずれを効果的に検出できる。また、撮影状態が前記第１の状態にあるか前記第２の状態にあるかを判別可能な判別情報を時系列的に記憶し、判別情報に基づいて、第１のカメラの撮影画像が更新されていないことを検出するので、カメラの動作異常を確実に検出できる。

【0061】

以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形および変更が可能である。また、前述した実施例の構成要素を全部または複数を組み合わせることも可能である。

【0062】

なお、以上の実施例に関し、さらに以下の付記を開示する。

【0063】

［付記１］
移動体に取り付けられたカメラの異常を検出するカメラの異常検出装置であって、
撮影状態が第１の状態と、前記第１の状態と区別可能な第２の状態との間で時系列的に切り替わる撮影対象を撮影する、前記カメラとしての第１のカメラおよび第２のカメラの撮影画像を取得する画像取得部と、
前記画像取得部により取得された前記第１のカメラによる前記撮影対象の撮影位置、または前記画像取得部により取得された前記第２のカメラによる前記撮影対象の撮影位置に基づいて、前記第１のカメラまたは前記第２のカメラの撮影位置の位置ずれを検出する位置ずれ検出部と、
前記画像取得部により取得された前記撮影画像に基づいて、前記第１のカメラにより撮影された前記撮影対象の前記撮影状態が前記第１の状態にあるか前記第２の状態にあるかを判別可能な判別情報を時系列的に記憶する記憶部と、
前記記憶部に記憶された前記判別情報に基づいて、前記第１のカメラの撮影画像が更新されていないことを検出する動作異常検出部と、
を備えるカメラの異常検出装置。

【0064】

付記１の構成によれば、撮影対象の撮影位置に基づいて、第１のカメラまたは第２のカメラの撮影位置の位置ずれを検出するので、撮影位置の位置ずれを効果的に検出できる。また、撮影状態が前記第１の状態にあるか前記第２の状態にあるかを判別可能な判別情報を時系列的に記憶し、判別情報に基づいて、第１のカメラの撮影画像が更新されていないことを検出するので、カメラの動作異常を確実に検出できる。

【0065】

［付記２］
前記撮影対象が前記移動体に取り付けられている、付記１に記載のカメラの異常検出装置。

【0066】

付記２の構成によれば、撮影対象が移動体に取り付けられているので、移動体の位置に関わりなく、カメラにより撮影対象を撮影できる。このため、撮影位置の位置ずれに関する異常および動作異常を常時、検出することができる。

【0067】

［付記３］
前記撮影対象は、自発光マーカーであり、前記第１の状態では前記自発光マーカーが点灯し、前記第２の状態では前記自発光マーカーが消灯する、付記１または付記２に記載のカメラの異常検出装置。

【0068】

付記３の構成によれば、自発光マーカーの点滅が第１のカメラの撮影画像に反映されて更新されないことにより、カメラの動作異常を検出できる。

【0069】

［付記４］
前記撮影対象が前記移動体上ではない所定部位に設けられ、
前記画像取得部は、前記撮影対象が前記第１のカメラおよび前記第２のカメラで撮影される所定の位置に前記移動体が位置付けられたときに、前記撮影画像を取得する、付記１に記載のカメラの異常検出装置。

【0070】

付記４の構成によれば、所定の位置に移動体が位置付けられたときに、撮影対象が第１のカメラおよび第２のカメラで撮影されるので、このときに、撮影位置の位置ずれに係る異常およびカメラの動作異常を検出できる。

【0071】

［付記５］
前記移動体が施設内の既定のルートを走行し、前記所定の位置が前記ルート上に設定された、付記４に記載のカメラの異常検出装置。

【0072】

付記５の構成によれば、ルート上に設定された所定の位置に移動体が位置付けられたときに、撮影対象が第１のカメラおよび第２のカメラで撮影されるので、このときに、撮影位置の位置ずれに係る異常およびカメラの動作異常を検出できる。

【0073】

［付記６］
前記撮影対象は反射性部材に投影された像である、付記１に記載のカメラの異常検出装置。

【0074】

付記６の構成によれば、間接光または反射光を用いて、撮影対象を作ることができるので、自発光マーカーを移動体に取り付けることができない場合等にも対応できる。

【0075】

［付記７］
前記移動体の動作を制御する制御部を備え、
前記画像取得部、前記位置ずれ検出部、前記記憶部および前記動作異常検出部は、前記制御部により制御される、付記１～付記６のいずれか１項に記載のカメラの異常検出装置。

【0076】

付記７の構成によれば、移動体の動作を制御する制御部により、画像取得部、位置ずれ検出部、記憶部および動作異常検出部が制御されるので、移動体の動作とカメラの異常検出の処理を協調させることができる。

【0077】

［付記８］
移動体に取り付けられたカメラの異常を検出するカメラの異常検出方法であって、
前記移動体の動作を制御する制御ステップと、
撮影状態が第１の状態と、前記第１の状態と区別可能な第２の状態との間で時系列的に切り替わる撮影対象を撮影する、前記カメラとしての第１のカメラおよび第２のカメラの撮影画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された前記第１のカメラによる前記撮影対象の撮影位置、または前記画像取得ステップにより取得された前記第２のカメラによる前記撮影対象の撮影位置に基づいて、前記第１のカメラまたは前記第２のカメラの撮影位置の位置ずれを検出する位置ずれ検出ステップと、
前記画像取得ステップにより取得された前記撮影画像に基づいて、前記第１のカメラにより撮影された前記撮影対象の前記撮影状態が前記第１の状態にあるか前記第２の状態にあるかを判別可能な判別情報を時系列的に記憶する記憶ステップと、
前記記憶ステップにより記憶された前記判別情報に基づいて、前記第１のカメラの撮影画像が更新されていないことを検出する動作異常検出ステップと、
を備えるカメラの異常検出方法。

【0078】

付記８の構成によれば、撮影対象の撮影位置に基づいて、第１のカメラまたは第２のカメラの撮影位置の位置ずれを検出するので、撮影位置の位置ずれを効果的に検出できる。また、撮影状態が前記第１の状態にあるか前記第２の状態にあるかを判別可能な判別情報を時系列的に記憶し、判別情報に基づいて、第１のカメラの撮影画像が更新されていないことを検出するので、カメラの動作異常を確実に検出できる。

【符号の説明】

【0079】

１Ａ カメラ
１Ｂ カメラ
２ 画像取得部
３ 位置ずれ検出部
４ 記憶部
５ 動作異常検出部
６ 制御部
１０ ステレオカメラ
Ｍ 自発光マーカー
Ｍ１ 自発光マーカー

【図1】

【図2】

【図3】

【図3A】

【図3B】

【図4】

【図4A】

【図5】

【図6】