(58)【調査した分野】(Int.Cl.,DB名)
前記1つ以上のインターフェース回路はさらに、前記最小コントラスト要求が満たされるかどうかを表示する1つ以上の信号を記録またはそうでなければ出力するように構成される、請求項7に記載の装置。
【発明を実施するための形態】
【0010】
この開示は、(1)物体についてのコントラストを保証するためのライティングレイアウト、(2)ライティング条件を監視するための方法および装置、(3)コントラストを測定するための方法および装置を含む、いくつかの分野における有利な教示を提供する。これらのおよび他の利点が、少なくとも部分的には
図1に示すような例示的な照明監視装置10の構成および動作によって、実現され得る。
【0011】
1つ以上の実施形態における照明監視装置10は、主光源12としての役割を果たす照明源を監視するように構成され、主光源12からの照明は、マシンビジョンシステム14の視野内の物体コントラストを向上させる。視野は、一般的に「監視される体積16」と呼ばれる、監視されるエリアまたは体積16を定義する。監視される体積16は、非限定的な例において、危険な機械またはエリア18の周りの領域またはゾーンとして理解されることができ、マシンビジョンシステム14は、たとえば機械の停止または他の防護関連動作をトリガするために、監視される体積16への人間または他の物体による侵入を検出するように構成される。その体積監視の役割を果たすために、マシンビジョンシステム14は、例示的な実施形態において、監視される体積16の三次元(3D)撮像のために構成された立体カメラのような1つ以上の画像センサ20を含む。
【0012】
それに対応して、主光源12の監視におけるその役割を果たすために、例示的な実例における照明監視装置10は、マシンビジョンシステム14の動作中、主光源12の1つ以上の動作パラメータを監視するように構成された1つ以上のセンサユニット22を含む。このように、照明監視装置10は、監視される体積16内の任意の物体のコントラストを向上させる照明を提供するその役割に影響する主光源12の故障または障害を検出するための機構として理解され得る。次に、1つ以上の実施形態において、主光源12は、視野を撮像するためにマシンビジョンシステム14によって使用される画像センサ20の最も近くに設置された照明源として理解され得る。
【0013】
図2は、さらに例示的な詳細にわたり照明監視装置10を示す。ここで、照明監視装置10は、評価ユニット30、制御ユニット32を含み、任意で検査および通信回路34を含む。評価ユニット30は、主光源12の1つ以上の監視されたパラメータが予め定義された動作要求を満たすかどうかを判定するように構成される。それに対応して、制御ユニット32は、主光源12からの照明の損失を検出することと、監視されたパラメータの1つ以上が予め定義された動作要求を満たさないと判定することとの少なくとも1つに応答して、1つ以上の情報または制御信号を生成するように構成される。
【0014】
上記機能をサポートする上で、センサユニット22が、評価ユニット30による評価のために、検知された照明パラメータについての1つ以上の信号を提供する、ということが理解されるだろう。さらに、評価ユニット30は、主光源12が監視されたパラメータのいずれについて仕様を満たしていないかを表示する、離散信号、デジタルデータ、等であり得る1つ以上の評価信号を、制御ユニット32に出力する。かくして、制御ユニット32は、評価ユニット30からの表示に応答して動作を起こすものとして理解され得る。それは、「機械停止」信号、アラーム信号、保全信号、ステータス表示、等といった、制御および/または通信信号を出力し得る。
【0015】
任意の検査および通信回路34は、制御ユニット32から、1つ以上のそのような信号または関連する内部信号を受信し得、それは、評価ユニット30および/またはセンサユニット22とインターフェース接続し得る。少なくとも1つの実施形態において、検査および通信回路34は、照明監視装置10にネットワーク通信能力を提供する。たとえば、照明ステータス情報が、ネットワーク通信によって提供され得る。
【0016】
主光源12の監視されたパラメータに関し、1つ以上の実施形態において、センサユニット22は、主光源12の照明強度と、主光源12の変調位相または周波数と、の1つ以上を監視する。主光源12の変調位相または周波数が監視されたパラメータの1つである場合において、1つ以上の実施形態における制御ユニット32は、その画像の取得を主光源12の変調周波数または位相と同期させるためにマシンビジョンシステム14により使用され得る、主光源12の監視された変調周波数または位相に追従する周波数表示または位相表示信号を生成するように構成される。対応する例示的な構成において、マシンビジョンシステム14は、マシンビジョンシステム14の1つ以上の画像センサ20の露光を制御するために、周波数表示または位相表示信号を使用することによってその画像の取得を同期させるように構成される。たとえば、マシンビジョンシステム14は、画像センサ20が主光源12の変調サイクルの高位相中に露光するよう画像センサ20を制御するために、照明監視装置10からの周波数表示または位相表示信号を使用する。
【0017】
照明監視装置10が制御ユニット32によって出力される情報または制御信号の1つ以上として機械停止信号または他のセーフティクリティカル信号を生成するように構成される実施形態において、制御ユニット32は、評価ユニット30が主光源12の照明強度が予め定義された照明強度しきい値を下回っていることを検出することに応答して、そうするように構成される。照明監視装置10が制御ユニット32によって出力される情報または制御信号の1つ以上として1つ以上の保全または警告タイプの信号を生成するように構成される実施形態において、制御ユニット32は、評価ユニット30が主光源12の1つ以上の監視されたパラメータの1つ以上が正常限界外であることを検出することに応答して、そうするように構成される。
【0018】
図3は、評価ユニット30および制御ユニット32を実装するデジタル処理回路40の使用といった、照明監視装置10についてのさらなる例示的な実装の詳細を示す。一例において、デジタル処理回路30は、マイクロコントローラ、DSP、等といった1つ以上のデジタルプロセッサを備え、監視プログラム命令44および評価パラメータしきい値またはレンジ46を記憶するプログラムおよびデータメモリ42または何らかの他のコンピュータ可読媒体を含むか、またはそれらに関連づけられる。かくして、1つ以上の実施形態におけるデジタル処理回路40は、記憶されたコンピュータプログラム命令44のその実行に基づいて、本明細書に開示される主光源監視動作を実行するように構成され、それは、記憶された測定しきい値またはレンジ46に対し測定された主光源パラメータを評価し得る。
【0019】
それが
図3に示すように実装されるにせよそうでないにせよ、
図4は、照明監視装置10が実行するように構成され得る例示的な方法400を示す。方法400は、主光源12としての役割を果たす照明源を監視することを提供し、主光源12からの照明は、マシンビジョンシステム14の視野内の物体コントラストを向上させる。方法400の例示された実施形態は、マシンビジョンシステム14の動作中、主光源12の1つ以上の動作パラメータを監視すること(ブロック402)と、1つ以上の監視されたパラメータが予め定義された動作要求を満たすかどうかを判定すること(ブロック404)と、主光源12からの照明の損失を検出することと監視されたパラメータの1つ以上が予め定義された動作要求を満たさないと判定することとの少なくとも1つに応答して、1つ以上の情報または制御信号を生成すること(ブロック406)とを含む。
【0020】
したがって、照明監視装置10は、監視される体積16の不適切な照明が検出されることを保証し、少なくとも1つのそのような実施形態において、適切な対応する動作が照明の検出に応答して起動されることを保証するように構成されるものとして、広く理解され得る。1つの例示的なケースにおいて、主光源12は、主光源12の適切な動作が、監視される体積16における物体が最悪のケースの検出シナリオにおいてさえ十分なコントラストを有することを保証するように、非対称的なライティングを提供するか、またはそうでなければ、監視される体積16を撮像するためにマシンビジョンシステム14によって使用される1つ以上の画像センサ20の相対的近くに設置される。
【0021】
たとえば、評価ユニット30は、主光源12によって出力された光の1つ以上の監視された特徴が所望のパラメータ内にあるかどうかを判定するために、デジタルまたはアナログかつ比例的または階段状/非線形的であり得るセンサユニット22からの単数または複数の出力信号を評価するように構成される。非限定的な例は、光強度に比例したアナログ信号を最小許容照明に対応する定義されたしきい値電圧と比較することを含む。同様に、センサユニット22または評価ユニット30は、最小強度レベルに対応するデジタルワードとの比較のために、強度信号をデジタル化する。周波数カウンタ、フィルタ回路、位相検出回路、等が、主光源12の1つ以上の他の特徴を監視するために、評価ユニット30の1つ以上の実施形態にさらに含まれる。
【0022】
特定の例において、評価ユニット30は、変調周波数が正常な目標変調周波数の指定されたレンジ内にあることを保証するために、主光源12の変調周波数を監視する。少なくとも1つのそのような実施形態では、測定された周波数および位相情報が、マシンビジョンシステム14によって使用されるカメラベースの画像センサ20のための露光タイミングをトリガするために使用される。そのようにすることは、監視される体積16を照明する1つ以上の変調光源によってもたらされ得るコントラストの劣化を制限する。
【0023】
照明監視装置10のコア照明監視特徴に関し、制御ユニット32は、評価ユニット30からの評価結果、たとえば、離散論理信号、またはデジタルワード、またはアナログ信号、または何らかの他のインジケータを受信するように構成される。制御ユニット30は、主光源12が故障していること、またはそうでなければ定義された動作レンジ外で動作していることを評価ユニット16から認識するように構成される。複数の故障タイプ、たとえば、非常に低い光強度、レンジ外の変調周波数、等が存在し得る。
【0024】
一実施形態における制御ユニット30は、評価ユニット30によって表示されたイベントの重大度を、たとえば、監視された光強度が第1のしきい値まで下がると保全アラートをトリガし、続いて、監視された光強度がより低い第2のしきい値まで下がるとアラームおよび/または機械停止制御信号を起動することにより差別化することができるほど、高性能化されている。この点について、1つ以上の実施形態における評価ユニット30がマルチしきい値監視を使用するように構成されることが理解されるだろう。
【0025】
照明監視装置10のデュアルチャネルの実施形態において、安全性の完全性を保証するために、評価ユニット30および/または制御ユニット32からの冗長な出力が使用される。安全性および体積監視設備の全体的な完全性をさらに改善するために、照明監視装置10はさらに、最小コントラスト確認能力を含み得る。すなわち、その処理およびセンサ回路は、監視される体積16内で最小物体コントラスト要求が満たされることを確認するために必要とされる検知および処理能力を含み(または、マシンビジョンシステム14から借用し)得る。
【0026】
当然ながら、そのような機能は、照明監視装置10とは別個に実装され得、および/または、照明監視装置10がマシンビジョンシステム14に統合されるか否かに関わらず、マシンビジョンシステム14内に統合され得る。かくして、議論の明確性のために、
図5は、スタンドアロンか、照明監視装置10の一部か、および/または、マシンビジョンシステム14の一部であり得る、最小コントラスト確認装置50の例示的な実施形態を示す。簡潔性のために、最小コントラスト確認装置50は、「コントラスト確認装置50」と呼ばれる。
【0027】
それらが統合されるにせよそうでないにせよ、照明監視装置10およびコントラスト確認装置50は共に、監視される体積16をマシンビジョンシステム14によって監視するために使用されるライティング構成を初期化し、確認するための方法を実行する。すなわち、上述した主光源監視方法400および照明監視装置10の関連づけられた例示的な実施形態に加え、マシンビジョンシステム14の1つ以上の撮像センサ20によって見られる視野内の最小物体コントラストを確認することもまた、本明細書において意図される。
【0028】
注意されるように、
図5は、画像処理ユニット54を実装するデジタル処理回路52を含む、コントラスト確認装置50についての例示的な実装の詳細を提供する。デジタル処理回路52はさらに、インターフェースおよび通信ユニット56と、デジタル処理回路52による実行のためのコントラスト確認プログラム命令60を記憶するプログラムおよびデータメモリ58または何らかの他のコンピュータ可読媒体とを含むか、またはそれらに関連づけられる。
【0029】
確認装置50はかくして、検査物体が視野内の最小コントラスト位置にある間の、1つ以上の撮像センサ20、たとえばカメラ、による視野の撮像に対応する画像データを処理するように構成された1つ以上の処理回路を備えるものとして理解され得る。すなわち、処理されている画像データが、監視される体積16の「ライブ」供給を表現するにせよ、または以前に取り込まれた画像データを表現するにせよ、画像データは、監視される体積16内の最小コントラスト位置に位置する検査物体を取り込む。
【0030】
その点について、画像データは、強度画像データまたは3Dレンジデータを備える。それに対応して、確認装置50の1つ以上の処理回路は、画像データ処理に基づいて検査物体についてのコントラスト値を計算し、そのコントラスト値が、プログラムおよびデータメモリ58に記憶され得る予め定義されたしきい値62によって表現された最小コントラスト要求を満たすかどうかを判定するように構成される。
【0031】
画像処理ユニット54による処理のために3Dレンジデータが使用されるケースにおいて、検査物体についてのコントラスト値は、最小コントラスト位置にある検査物体に対応する3Dレンジデータの有無と、たとえば検査物体の表面の広がりに対応する画素位置での3Dレンジデータといった検査物体についての3Dレンジデータの密度および/または統計的特性(たとえば、分散)と、の少なくとも1つに基づいて判定される。
【0032】
マシンビジョンシステム14の撮像センサから画像ストリームを受信することに加えて、または代えて、インターフェースおよび通信ユニット56は、最小コントラスト確認処理のための画像データを受信するように構成された1つ以上のインターフェース回路を含み得る。そのような配列は、たとえば、コントラスト確認装置50がマシンビジョンシステム14と別個に実装されることを可能にし、または少なくとも、コントラスト確認装置50が必ずしも画像センサ20から流れてくる撮像データへの直接的なアクセスを必要としない場合にコントラスト確認装置50がよりフレキシブルに実装されることを可能にする。さらに、インターフェースおよび通信ユニット56は、最小コントラスト要求が満たされるかどうかを表示する1つ以上の信号を記録またはそうでなければ出力するように構成され得る。
【0033】
図6は、コントラスト確認装置50によって実行される、対応する確認方法600を示す。実例において、方法600は、検査物体が視野内の最小コントラスト位置にある間に1つ以上の撮像センサによって取得された画像データを処理すること(ブロック602)を含み、さらに、そのような処理に基づいて検査物体についてのコントラスト値を計算すること(ブロック604)を含む。さらにまた、方法600は、コントラスト値が予め定義されたしきい値によって表現される最小コントラスト要求を満たすかどうかを判定すること(ブロック606)を含む。加えて、その実現に依存して、方法600は、最小コントラスト要求が満たされるかどうかに依存した1つ以上の信号を生成すること(ブロック608)を含み得る。
【0034】
一実施形態では、ガンマ、γが、シーンライティングに応じてテクスチャのない球形の検査片の表面上に作り出されるコントラストを表現し、
【0036】
として定義され、ここで、I_maxおよびI_minはそれぞれ、検査片の画像における最大および最小の強度値であり、コントラスト値を計算すること(ブロック604)は、検査物体についてのガンマを計算することを備え、最小コントラスト要求が満たされるかどうかを判定すること(ブロック606)は、ガンマを予め定義されたしきい値と比較することを備える。
【0037】
照明監視装置10について注意したように、コントラスト確認装置50は、マシンビジョンシステム14に統合された1つ以上の機能処理回路として実装され得る。この配列は、多数の点で有利である。たとえば、マシンビジョンシステム14はすでに、1つ以上の画像センサ20を含むか、またはそれらに関連づけられ、それは、関連づけられた制御および処理ユニット、たとえば、視野についての画像センサデータを処理し、対応する画素の強度および/または3Dレンジデータを判定するようにすでに適合した画像処理回路、を含む。
【0038】
実際、照明監視装置10および確認装置50は、共に実装されることができ、それらの一方または両方が、マシンビジョンシステム14全体に機能的に組み込まれることができ、そのケースを例として
図7に示す。ここで、マシンビジョンシステム14は、主光源監視のための上述した照明監視装置10(図では「IMA10」と示されている)とコントラスト確認装置50(図では「CVA50」と示されている)とを含む。例示的なマシンビジョンシステム14はさらに、主光源監視のためのセンサユニット22と、たとえば監視される体積16の立体的な3D撮像のための、図ではカメラ70−1および70−2として示された、1つ以上の画像センサ20とを含むか、またはそれらに関連づけられる。
【0039】
IMA10およびCVA50の動作を実行するための処理は、マシンビジョン制御/処理ユニット72内で実現され得、それ自身は、マイクロコントローラおよび/またはDSP、FPGA、等といったデジタル処理回路と、サポート回路とを備え得る。そのような回路はさらに、カメラ70からの生の画像データを処理するために構成された画像取得回路74を含み、それは、処理された画像データをマシンビジョンシステム14の動作の確認モード中に最小コントラスト確認のためにCVA50に供給し得、それはまた、監視される体積16についての画像データを画像処理および3Dレンジング回路76に供給する。回路76は、監視される体積16に関する物体検出処理を提供するものとして理解され、機械制御および通信回路78は、物体検出、主光源監視、および最小コントラスト確認の文脈において、制御および通信シグナリング、たとえば、アラーム、機械停止制御、等を提供するように構成されるものとして理解されるだろう。
【0040】
少なくとも1つのそのような実施形態では、監視される体積16を照明するために使用されるライトが、それらの意図された場所に設置され、3D検査片、たとえば、低テクスチャの球形が、監視される体積16のさまざまな場所へと移動させられる間に、少なくともコントラスト確認装置50を統合したマシンビジョンシステム14が、監視される体積16を撮像し、検出されたコントラストレベルを評価する。
【0041】
代替例であるが同様の実施形態では、
図8に示すような「検査片」80が、特に、コントラスト確認における使用のために構成される。たとえば、検査片80は、光センサ82のアレイを保持し、それは、監視される体積16の中に設置されたときにそれが受ける照明に対応する光測定信号を提供するか、または、それは、そのような光測定から導出された信号を提供する。この点について、検査片80は、処理された出力を提供し得るか、または、光センサ82のアレイによって生成された照明信号についての前処理を少なくとも提供し得る、処理回路84を含むか、またはそれに関連づけられる。
【0042】
次に、コントラスト確認装置の画像処理ユニット54は、検査片からの光測定情報を評価することによってコントラストを推定するように構成される。同様に、1つ以上の実施形態における照明監視装置10の評価回路30は、検査片80とインターフェース接続するように構成される。かくして、ライトが、監視される体積16に対し最小コントラスト確認のために配置されると、確認装置50または照明監視装置10が、オペレータによって使用され得る。
【0043】
別の実施形態では、同一の機能がマシンビジョンシステム14に統合され、マシンビジョンシステム14は、マシンビジョンシステム14が、監視される体積16内のさまざまなまたは少なくとも最悪のケースの場所からの検査片80の画像を処理し、検出されたコントラストを定義された最小コントラストレベルと比較する、「構成」または「確認」モードを含むように構成され得る。
【0044】
そのような統合は、特に、マシンビジョンシステム14が、セーフティクリティカル動作のために構成され、デュアルチャネル監視および処理、および/または、照明監視装置10によって提供される照明監視機能のセルフチェック/セルフ検査、および/または、最小コントラスト確認を可能にする、他の形態の動作確認検査を含む、ケースにおいて、ある特定の利点を有する。別の実施形態において、照明監視装置10は、物体の侵入について監視される体積16を監視することを担うマシンビジョンシステム14と別個に実装されるが、機械の停止または他の動作をトリガするためにマシンビジョンシステム14によって使用される、マシンビジョンシステム14へのシグナリング、たとえば、主光源故障および/または警告シグナリングを提供する。そのような実施形態において、照明監視装置10は一般的に、機械の停止および/または他の制御動作のためのそれ独自の制御出力を有するだろう。
【0045】
上記緩和および確認をよりよく理解するために、強度Iを有する点光源によって照明された、均一拡散(ランバートの)反射率を有する任意の凸状の本体の表面素子の明度が、式1によって与えられることを考慮する。
【0046】
I(φ)=I×cos(φ) (1)
ここで、φは、光源と表面素子とを結ぶ線によって作られる、表面素子の法線ベクトルに対する角度を表す。式から理解されるように、明度は、表面素子上の照明の方向に依存する。
【0047】
当然ながら、マシンビジョンシステム14のために、検査物体上に作り出されるコントラストは、検出精度を決定する際の重要なファクターである。本明細書において前述したように、メトリックのガンマ、γが、シーンライティングに応じてテクスチャのない球形の検査片の表面上に作り出されるコントラストの概念を取り込むために使用され得る。前出のごとく、
【0049】
であり、ここで、I
maxおよびI
minはそれぞれ、検査片の画像上の最大および最小強度値である。なお、上記式の分子は、コントラストを表す。メトリックγは、検査片の2D投影エリア全体にわたって定義される。すなわち、γは、所与の検査片の投影された表面全体にわたって測定された最大および最小の強度から計算される。
【0050】
直観的に、球形の検査片について、メトリックγは、光源の指向性の尺度として理解され得る。たとえば、検査片がすべての側面から均等かつ一様に照明された場合、検査片上の最小および最大の強度は、極めて類似するだろう。これは、極めて小さなコントラスト、また、極めて低いγ値、という結果を生じるだろう。それゆえに、γは、一様または均一なライティング条件では低い。もう一方で、球形の検査片が指向的な光源(たとえば、スポットライト)によって照明された場合、検査片上の測定されるコントラストは、(検査片上の最も明るいおよび最も暗い可視部間の差が大きいであろうから)極めて高いだろう。結果として、測定されるγ値は、極めて高いだろう。
【0051】
したがって、より大きな割合の指向的なライティングコンポーネントを一般的に有するライティング構成が、より高いγという結果を生じるだろう。さらに、メトリックγは照明条件に依存するので、それは、大きな監視される体積16にわたって大幅に変化し得る。しかしながら、γの局所的な変化は一般的に滑らかである。典型的なライティング状況は十分なコントラストを生み出すので、テクスチャのない球形の検査片上にほとんどのケースについて許容できるγを提供する。
【0052】
しかしながら、最悪のケースの検査片が、あらゆる側面から一様に照明されるのみである一方で、上部からの照明を全く欠如している(画像センサ20もまた上部から検査片を臨むと想定)、異常なライティングのケースが考えられ得る。このライティング構成下では、球形の検査片のより暗い部分(境界)は、より明るく見え、典型的により明るい表面(上部)は、より暗く見え得るので、低コントラスト状況、それゆえに、許容できないほど低いγ、を作り出す。そのような条件は、実世界の状況において滅多にありそうもなく、本開示の目的の1つは、そのような異常なケースを定義し、排除することである。
【0053】
検査物体90についてのメトリックγが空間にわたって変化する照明について、
図9を参照する。γの分布は、カメラから検査片までの距離の関数である。カメラ70が、2つの同様の強度の光源92−1および92−2の中間にセットされる。検査片90についてのγの値は、物体の距離zに応じて変化する。検査片90が相対的にカメラ70の近くにある(そして、光源92から等距離である)場合、その側面は、その上部と同じくらい明るく、それは、検査片90を通る水平な中心線上で測定した場合にγの小さな値という結果を生じる。かくして、本明細書における教示の一態様は、監視システムの保護体積がそのような低γ領域を包含しないことを保証するための条件および/または要求を定義する。ここで、当業者は、「保護体積」という用語が、たとえば、物体の存在または侵入が所与の監視システムによって監視される体積のことを言うものであることを認識するだろう。
【0054】
以下のセクションにおいて、この開示は、適切なライティングについてのこれらのおよび他の要求を完全に取り込んだ構成の具体的な方法を提示する。特に、とりわけ、この開示は、(a)低コントラスト(ガンマ)状況の回避を保証するためのライティングレイアウトについての要求、(b)(a)における要求が満足され、適切なコントラストが監視される体積において利用可能であることを保証するためのセットアップ中の構成ステップ(および関連する装置)、(c)主光源12を監視することによって保護体積がランタイム中(据え付け後)に十分なコントラストを維持することを保証するための方法および装置を提供する。
【0055】
危険な機械またはエリアの周りの監視される体積16において床の高さまたは床の近傍の高さで良好な物体コントラストを維持することが特に重要である。それに対応して、低ガンマγの領域が主に2つの理由のために床の近傍で生じることが本明細書において観察される。すなわち、床により近い、より低い高さの監視される体積16のための光源92の据え付け、または、最も近傍の光源92からの相対的に長い距離におけるカメラ70の配置である。
【0056】
光源92の最低の高さについての制限を設けることは、一つ目の問題を有効に防止する。しかしながら、ライティングの高さの制限は、不適切なカメラの配置という二つ目の問題に対応しない。ライト92とカメラ70との間のより大きな隔たりは、相対的に床により近い距離での低γ領域という結果を生じる。そのようなケースにおいて、検査片90の上部は、検査片90の側面よりも暗くなるであろうし、それゆえに低コントラスト条件を作り出すだろう。
【0057】
図10は、いくつかの異なるライティング間隔についてのγの分布を示し、ここで、「ライティング間隔」は、規則的な格子上に配置された2つの隣接するライト92間の直線(またはシティブロックまたはマンハッタンまたはミンコフスキーL
1)距離を意味する。ライティング間隔が増加すると、危険な低γ領域が、カメラ70から離れたところへ、かつ、安全防護される必要のある(床の近傍の)よりクリティカルな体積のより近くへと移動することが図面から理解される。
【0058】
上記問題への1つの対応策は、監視される体積16のカメラの撮像に対し対称なライティングを乱すことを含む。非対称性は、ライト92の1つのより近くに、たとえば、ライト92−1と比較してライト92−2のより近くに、カメラ70を据え付けることによって導入され得る。この配列は、
図11に示され、そうでなければ床の近傍で生じたであろう低ガンマ領域を防止するための1つの有効な対応策である。すなわち、ライト92についての対称軸から離れたところにカメラ位置をセットすることにより、カメラ70は、この軸上に配置された検査片90を斜方向の見晴らしのきく点から臨むだろう。
【0059】
そのようなケースにおいて、カメラ70は、球体の上部および下部の側面を同時に見ることができる。しかしながら、球体のより低い側面は普通、上部よりもはるかに暗いので、結果として生じる画像は、カメラ70がライティング対称軸上に配置された場合と比較してより高いコントラストを有するだろう。あるいは、同一の効果が、
図12に示すようにカメラ70の隣に追加のライト92を据え付けることによって達成され得る。この新たなライト92は、ライティングの対称性を乱すとともに良好なコントラストをもたらし、それは、「主光源12」の前述した役割を果たすものとして理解され得る。
【0060】
それゆえに、本明細書において教示されるイノベーションの中で、ライティングおよびカメラのレイアウトを制約することに基づいて監視される体積16における低コントラスト状況を防止するための方法が提示される。制約は、(a)据え付けられたライトの床からの最低の高さを保証すること、(b)監視される体積16を照明するために使用されるライト92の1つのより近くにカメラ70を据え付けること、または、カメラ70のより近くに1つ以上の追加のライトを据え付けること、に基づいて、監視される体積16を撮像するために使用されるカメラ70に対し非対称的なライティングを導入することを含む。カメラ70の最も近くに設置されるライト92、すなわち、ライティングの非対称性をもたらすライト92は、主光源12と呼ばれ、監視される体積16を監視するために使用されるマシンビジョンシステム14のライブ動作中に監視され得る。
【0061】
すなわち、主光源12の使用が監視される体積16内の最小検出能力を維持するために不可欠であることが本明細書において認識され、したがって、任意の低下または故障について主光源12をアクティブに監視する必要があることがさらに認識される。かくして、先に詳述したように、主光源12を監視し、それが許容できる動作条件におけるものであることを保証し、それによって監視される体積16内の物体についての良好なコントラストを保証するために、照明監視装置10またはそのような機能を組み込んだマシンビジョンシステム14を使用することが、本明細書における教示の別の態様である。
【0062】
主光源監視のために使用される、
図1〜3に示すセンサユニット22は、主光源12の近傍に設置され、その光出力をアクティブに監視するために使用される、CMOSまたはCCD、フォトダイオード、フォトトランジスタ、フォトレジスタ、または他の感光性素子であることができる。光監視装置10の先の議論において注意したように、センサユニット22は、その光監視信号または他のそのような検出出力を、
図2および
図3に示すような評価ユニット30に提供する。次に、評価ユニット30は、たとえば光パワーの低下(たとえば、トリガ点または定義されたしきい値を下回る)を検出することによって、主光源12の光出力の顕著な低下を検出し、それに対応して制御ユニット32に信号を送るように構成される。例示的な構成において、制御ユニット32は、たとえば、危険な機械を停止すること、または、事故を防止するようユーザにアラームを発することによる、適切な応答を行う。
【0063】
センサユニット22、評価ユニット30、および制御ユニット32は、それらの間のシグナリング接続を伴って別個に実装され得るか、または、これらのユニットの2つ以上が共に統合されることができ、たとえば、評価および制御ユニットが、主光源12に適度に近接して配置された検知ユニット22への有線または無線接続を伴って共に統合されることができる。統合のレベルとは無関係に、さまざまなユニットが照明監視装置10とみなされることができ、機能が、離散回路、固定処理回路、プログラマブル処理回路、またはそれらの任意の組み合わせを使用して実現され得る。
【0064】
セーフティクリティカルの態様がまた、照明監視装置10の1つ以上の実施形態において対処される。たとえば、照明監視装置10は、主光源12が適切に監視されていることを保証するために、検知ユニット22(およびそれへの接続)の動作条件を検査またはそうでなければ識別するように構成され得る。さらに、先に注意したように、照明監視装置10の1つ以上の実施形態は、位相および周波数といった主光源12の他の特性を測定するように構成される。これらの他の主光源の特徴の監視は、監視される体積16を照明するために使用されるライト92がある特定の周波数および振幅で変調される状況において有用である。
【0065】
照明監視装置10およびその使用に伴ういくつかの利点およびイノベーションの中には以下の項目がある。(1)潜在的に低コントラスト状況が生じることを防止し、または、低コントラスト状況がいつ生じたのかを少なくとも検出するために、主光源12がアクティブに監視されるので、適切な動作(たとえば、保全信号、アラーム信号、機械停止起動信号をアサートにすること、機械停止リレーを制御すること、等)が行われることができ、(2)本明細書に開示された主光源監視のための技法は、たとえば、放射照度および光の位相(該当する場合)のライブ監視のために主光源12の近くにセンサを配置することに基づいて、コスト効率が良く、信頼性が高い。
【0066】
危険な低コントラスト領域が初期設定時に存在しないことを保証するために、保護体積の照明および監視のためのセットアップ中、実際のシーンにおいてコントラストおよびγを測定可能であることが重要である。セットアップ時のコントラストおよびγのレベルが十分である場合には、それらは、主光源12が存在し、適切に機能している限り、任意の光源の追加または除去によって維持または改善されるだろう。
【0067】
主光源12以外のライトをオフにすることは、初期の条件と比較してライティングの真指向性を増大させ、それゆえにγの増大を有効にもたらすだろう。よって、初期のシーンライティングが最小γ要求を満たす限り、危険な状況(すなわち、低コントラスト)は、既存の光源の除去により、結果として生じないだろう。しかしながら、なおも、光源の除去(またはスイッチオフ)は、シーン明度を最小レベルよりも下に減じ得る。そのような低明度条件は、単純な方法(たとえば、撮像カメラ70についての画素明度レベルを監視すること)によって検出され得る。最小(だが、クリティカルではない)γ領域は、監視される体積16内の他の場所に移動し得、いくらかの程度までのγの低減をもたらし得るが、主光源12がオンである限り、異常なライティング構成は現れないであろうし、新たなクリティカルなγ領域は監視される体積16において出現しないだろう。
【0068】
もう一方で、追加の光源を追加することは、いくつかのケースにおいてγを低減し得、それは、極限の状況において危険な状況をもたらし得る。異常なライティング条件と呼ばれるこれらの条件は、カメラ70に対し監視される体積16の外に対称的に配置された複数の強い光源を追加する結果として生じ得る。そのようなケースは滅多に起こりそうにないが、ユーザがそのような構成を回避することが要求される。このセクションにおいて説明されたセットアップ確認方法は、この条件が構成時に生じないことを保証する。さらに、上述した異常なライティング条件とは対照的に、監視される体積16の周りにライトを追加することは、それらがライティングの真指向性を追加するであろうから、γを増大させる傾向があるであろうし、それゆえに、危険な(低γまたはコントラストの)状況をもたらさないであろう。
【0069】
前述したように、コントラストは、ライティング条件、照明される物体の3D形状、およびカメラ70の見晴らしのきく点によって影響される。3Dの球体上でのコントラスト測定値を得るために、同一の外形を有する検査片90、すなわち3Dの球体が用いられ得る。
【0070】
例示的な測定処理は以下のように説明される。
1)γの測定が必要とされる位置に検査片を配置する。
【0071】
2)所望のまたは計画された位置に取り付けられたカメラを使用して画像を取り込む。
【0072】
3)検査片の画像投影を表す領域が手動または自動のいずれかで選択される。
4)最大および最小の強度(I
maxおよびI
min)が選択された領域内で得られる。
【0073】
5)γの値が式(2)に従って計算される。
さらに、ライティングのレイアウトおよび物体の形状によってのみもたらされる真のコントラストの変化を得るために、検査片90の表面は拡散するものでなくてはならない。
【0074】
γを測定するための別の方法は、光検知素子82のそのアレイを有する
図8に示す検査片80のような球形の検査片上に分布した、センサアレイを作り出すことを含む。これらの複数の光検知素子82は、球形の検査片80の表面上にアラインメントされ、複数の方向からの光を受け取り、光パワーに依存して処理ユニット84に適切な信号を送る。入来信号は、光照射野の分布を包含するであろうし、球体上の有効コントラストを算出するために処理ユニット84によってさらに処理され得る。そのような装置はまず入来信号を、それらが入来放射照度、すなわち、球体上に落ちる光、に対する関係を維持するように変換する。続いて、γが以下の式によって計算される。
【0076】
ここで、S
maxおよびS
minはそれぞれ、光検知素子82からの最大および最小の変換信号である。この方法において、球形の検査片80の上部は、γの正しい測定値を得るためにカメラ70のほうに向けられるべきである。
【0077】
かくして、さらなる態様において、この開示は、体積監視のために使用されるライティング構成の初期化および確認のための方法および装置を提示する。本開示のこの態様のための革新的なエレメントは、以下の項目、すなわち、(1)3D形状の検査片と据え付けられたカメラからの取り込まれた画像とを使用することによってγを測定する方法、および/または、(2)特に適合した球形の「検査物体」の表面上に分布した光センサのアレイによってγを測定するための方法および装置を含むが、これらに限定されない。
【0078】
ステレオ相関が良好に機能し、撮像されているシーン内のダイナミックレンジバイオレーションを回避するために、マシンビジョンシステム14は、シーン画像を取得するために使用されるカメラ70のダイナミックレンジを超えるハイダイナミックレンジ(HDR)画像を要求し得る。要求されたダイナミックレンジを達成するために、マシンビジョンシステム14は、2つ以上のカメラの露光を組み合わせてハイダイナミックレンジ画像を生成するように構成され得る。この処理は、HDR融合と呼ばれる。
【0079】
実施形態の一例において、HDR画像融合のための主なステップは、製造段階時に要求される逆カメラ応答関数(CRF)、g:Z→Rを回復するためのキャリブレーション特徴づけステップを含む。非限定的な例として、gの領域は、(Zによって表される)0−1023からの10ビット(画像データ解像度)整数レンジングである。レンジは、実数の集合Rである。HDR画像融合はさらに、異なる(既知の)露出で撮られた画像を組み合わせて放射照度画像Eを作り出すためにCRFが使用される、ランタイム融合ステップと、回復された放射照度画像が対数演算子を使用してトーンマッピングされる、トーンマッピングステップとを含む。トーンマッピングステップは、融合ステップの自然な結果として理解されることができ、トーンマッピングされた画像は、たとえば、マシンビジョンシステム14のための
図7に示す画像処理および3Dレンジング回路76に実装され得るステレオ画像プロセッサ(SVP)への供給のために、12ビット強度画像に再マッピングされる。
【0080】
CRFを回復するためのいくつかの異なるキャリブレーション/特徴づけアルゴリズムが、P.Debevec and J.Malik,“Recovering High Dynamic Range Radiance Maps from Photographs”,SIGGRAPH 1998およびT.Matsunaga and S.Nayar,“Radiometric Self Calibration”,CVPR 1999の著作を含む文献において提案されている。
【0083】
として算出される。ここで、w:Z→Rは、重み付け関数(たとえば、ガウシアン、ハット、等)であり、g:Z→Rは、逆カメラ応答関数であり、I
L、t
L、I
H、およびt
Hはそれぞれ、低露光および高露光フレームについての、測定された10ビット強度および露出時間である。
【0084】
球形の検査片の表面からの放射輝度マップを考慮する。L
maxおよびL
minが、球体の最も明るい部分および最も暗い部分からの放射輝度を表すものとすると、単一の露光におけるコントラストは、C=L
max−L
minとして定義される。メトリックγは、この放射輝度マップを結果として生じるシーンにおけるライティング分布を取り込み、先に説明したように、光の分布および検査片の形状の関数であるのみである。また、放射輝度Lを有するシーン素子を臨む画素上の放射照度(入来光)の量EはLに比例し、すなわち、E=ηLである。
【0085】
取り込まれたHDR対数放射照度画像lnEにおける明示されたコントラストC
Eは、
【0087】
である。ここで、シーンが、ある変調周波数、たとえば120Hzの、変調光源によって照明されると想定する。また、振幅減衰係数αが変調サイクルにわたる任意の点での光強度の変化の割合を定義するものとする。最悪のケースにおいて、特定のシーン素子は、異なる露光による2つの連続したフレームにおける放射輝度LおよびαLを明示し得る。検査片の上部に対応する低露光フレームおよび高露光フレームで測定された放射照度をそれぞれE
maxおよびαE
maxとすると、融合後、対応する放射照度は、(対数放射照度領域において)
【0089】
によって与えられる。同様に、検査片の側面に対応する低露光フレームおよび高露光フレームで測定された放射照度をそれぞれE
minおよびαE
minとして表す。かくして、融合後、対応する放射照度は、(対数放射照度領域において)
【0091】
によって与えられる。
それゆえに、対数領域におけるコントラストは、
【0096】
として書かれることができる。
したがって、
【0100】
である。
式4によって示されるごとく、βlnα>0を保つことにより、物体についての有効コントラストを増大させることができる。有効コントラストが劣化しないことを保証するために、マシンビジョンシステム14は、低露光フレームの露光時間を光の位相に同期させ、高い(すなわち、放射照度がサイクルの平均放射照度よりも大きい)変調サイクル期間中のみに露光するように構成され得る。この技法はまた、(異なる位相を有する)2つ以上の変調光源が存在するケースにおいて最小コントラストを維持するのにも有効である。この点について、主光源12の変調位相および周波数は、本明細書の他の箇所で教示したように監視され得る。
【0101】
特に、開示された発明の変更および他の実施形態が、上述した説明および関連づけられた図面に提示された教示の恩恵を有する当業者によって想起されるだろう。したがって、発明が開示された特定の実施形態に限定されないこと、変更および他の実施形態がこの開示の範囲内に含まれるように意図されることが理解されるべきである。特定の用語が本明細書において用いられ得るが、それらは、一般的かつ説明的な意味で使用されたものにすぎず、限定を目的としたものではない。