IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーセミコンダクタソリューションズ株式会社の特許一覧

特開2024-90012信号処理装置、信号処理方法、及び撮像システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024090012
(43)【公開日】2024-07-04
(54)【発明の名称】信号処理装置、信号処理方法、及び撮像システム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240627BHJP
   H04N 25/47 20230101ALI20240627BHJP
【FI】
G06T7/00 C
H04N25/47
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022205630
(22)【出願日】2022-12-22
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(72)【発明者】
【氏名】東坂 達也
(72)【発明者】
【氏名】井原 敏
(72)【発明者】
【氏名】和田 和司
(72)【発明者】
【氏名】高橋 知宏
【テーマコード(参考)】
5C024
5L096
【Fターム(参考)】
5C024CY26
5C024EX51
5C024GX03
5C024GX07
5C024GY31
5C024HX29
5C024HX50
5L096AA09
5L096BA03
5L096CA04
5L096CA17
5L096DA01
5L096FA23
5L096FA53
5L096FA69
5L096GA34
5L096GA51
5L096HA02
5L096JA11
(57)【要約】      (修正有)
【課題】対象物の表面状態の定量化をより高速化する信号処理装置、信号処理方法及び撮像システムを提供する。
【解決手段】撮像装置と、照明装置と、情報処理装置と、表示装置と、操作装置と、を備える撮像システムにおいて、情報処理装置30は、検査対象である研削ワークにおける所定領域内の反射光の強度変化が、所定の閾値を超えた位置に対応する座標情報を含む第1信号を取得する取得部400と、第1信号に基づき、所定の領域内の表面状態を定量化する処理部406と、を備える。処理部は、所定の時間内に、所定の閾値を超えた座標の数に基づき、表面状態を定量化してもよい。
【選択図】図10
【特許請求の範囲】
【請求項1】
検査対象における所定領域内の反射光の強度変化が、所定の閾値を超えた位置に対応する座標情報を含む第1信号を取得する取得部と、
前記第1信号に基づき、前記所定の領域内の表面状態を定量化する処理部と、
を、備える、情報処理装置。
【請求項2】
前記処理部は、所定の時間内に、前記所定の閾値を超えた座標の数に基づき、表面状態を定量化する、請求項1に記載の情報処理装置。
【請求項3】
前記第1信号は、前記強度変化が増加する方向に変化し、強度変化値が所定の第1閾値を超えたことを示す第1情報と、前記強度変化が減少する方向に変化し、所定の第2閾値を超えたことを示す第2情報と、を含む、請求項1に記載の情報処理装置。
【請求項4】
前記処理部は、所定の時間内で取得された、前記第1閾値を超えた領域に対応する座標の数に基づき、表面状態を定量化する、請求項3に記載の情報処理装置。
【請求項5】
前記処理部は、所定の時間内で取得された、前記第2閾値を超えた領域に対応する座標の数に基づき、表面状態を定量化する、請求項3に記載の情報処理装置。
【請求項6】
前記処理部は、第1信号に含まれる座標を用いて演算したテクスチャ特徴量に基づき、表面状態を定量化する、請求項1に記載の情報処理装置。
【請求項7】
所定の時間内で取得された前記第1信号に基づき、前記第1信号に含まれる座標を用いて、前記強度変化が所定の閾値を超えた領域情報を有する2次元画像を生成する生成部を更に備える、請求項1に記載の情報処理装置。
【請求項8】
前記処理部は、前記2次元画像を2次元フーリエ変換処理し、得られた情報に基づき定量化する、請求項7に記載の情報処理装置。
【請求項9】
前記処理部で得られた定量化の数値に応じて、前記閾値に関する信号を生成する調整部を、更に備える、請求項1に記載の情報処理装置。
【請求項10】
前記処理部は、前記2次元画像における前記強度変化が所定の閾値を超えた領域をラベリングし、ブラーの状態を定量化する、請求項7に記載の情報処理装置。
【請求項11】
前記生成部は、ブラーの状態を示す数値に基づき、前記所定の時間を変更する、請求項7に記載の情報処理装置。
【請求項12】
前記2次元画像を表示装置に表示させる表示制御部を更に備え、
前記生成部は、所定の時間を減少させる場合に、前記所定の時間を10~90%にする、請求項7に記載の情報処理装置。
【請求項13】
前記2次元画像を表示装置に表示させる表示制御部を更に備え、
前記生成部は、所定の時間を増加させる場合に、前記所定の時間を110~220%にする、請求項7に記載の情報処理装置。
【請求項14】
前記生成部は、検査対象の表面の移動速度に応じて、前記所定の時間を変更する、請求項7に記載の情報処理装置。
【請求項15】
前記生成部は、検査対象を撮像している画角範囲に応じて、前記所定の時間を変更する、請求項7に記載の情報処理装置。
【請求項16】
前記生成部は、前記所定領域を撮像している撮像素子の画素数に応じて、前記所定の時間を変更する、請求項15に記載の情報処理装置。
【請求項17】
前記生成部は、前記所定の時間を、前記検査対象の所定点が前記所定領域の一端から他端に移動する時間を前記一端から前他端に対応する前記撮像素子の数で除算した時間の90~190%にする、請求項16に記載の情報処理装置。
【請求項18】
検査対象における所定領域内の反射光の強度変化が、所定の閾値を超えた位置に対応する座標情報を含む第1信号を取得する取得工程と、
前記第1信号に基づき、前記所定の領域内の表面状態を定量化する処理工程と、
を、備える、情報処理方法。
【請求項19】
撮像装置と、
信号処理装置と、を備える、撮像システムであって、
前記撮像装置は、
検査対象における所定領域内の反射光の強度変化が、所定の閾値を超えた位置に対応する座標情報を含む第1信号を出力し、
前記信号処理装置は、
前記第1信号を取得する取得部と、
前記第1信号に基づき、前記所定の領域内の表面状態を定量化する処理部と、
を、有する、撮像システム。
【請求項20】
前記信号処理装置は、
所定の時間内で取得された前記第1信号に基づき、前記第1信号に含まれる座標を用いて、前記閾値を超えた領域情報を有する2次元画像を生成する生成部と、
前記2次元画像を表示装置に表示させる表示制御部を更に有し、
検査光を検査対象に照射可能な照明装置と、
前記所定の時間を変更する操作装置と、を更に備え、
前記検査対象は前記撮像装置の撮像範囲内で移動しており、
前記撮像装置は、白黒フィルタ、及びカラーフィルタの少なくともいずれかに対応する光学フィルタを用いて、特定の波長の光を選択的に取り込むことが可能であり、
前記生成部は、操作装置が変更した前記所定の時間に基づき、前記2次元画像を生成する、請求項19に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は信号処理装置、信号処理方法、及び撮像システム
に関する。
【背景技術】
【0002】
研削加工後の金属表面状態の良否を判断する信号処理方法として、静止画像、又は動画を撮像する方法が一般に知られている。
【0003】
ところが、このような一般的な静止画像の信号処理方法では、対象物の移動スピードがカメラのシャッタースピードに合っていないとブラーが発生し、ブラーの修正が撮像後にできないと共に、正しいデータが出力されなくなってしまう。また、一般的な動画を撮像する信号処理方法では、同期信号の周期(例えば、1/60秒)ごとにしか画像データを取得することができないため、より高速な処理が要求された場合に対応することが困難となる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011-031370号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
そこで、本開示では、対象物の表面状態の定量化をより高速化することが可能である信号処理装置、信号処理方法、及び撮像システムを提供するものである。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本開示によれば、検査対象における所定領域内の反射光の強度変化が、所定の閾値を超えた位置に対応する座標情報を含む第1信号を取得する取得部と、
前記第1信号に基づき、前記所定の領域内の表面状態を定量化する処理部と、
を、備える、情報処理装置が提供される。
【0007】
前記処理部は、所定の時間内に、前記所定の閾値を超えた座標の数に基づき、表面状態を定量化してもよい。
【0008】
前記第1信号は、前記強度変化が増加する方向に変化し、強度変化値が所定の第1閾値を超えたことを示す第1情報と、前記強度変化が減少する方向に変化し、所定の第2閾値を超えたことを示す第2情報と、を含んでもよい。
【0009】
前記処理部は、所定の時間内で取得された、前記第1閾値を超えた領域に対応する座標の数に基づき、表面状態を定量化してもよい。
【0010】
前記処理部は、所定の時間内で取得された、前記第2閾値を超えた領域に対応する座標の数に基づき、表面状態を定量化してもよい。
【0011】
前記処理部は、第1信号に含まれる座標を用いて演算したテクスチャ特徴量に基づき、表面状態を定量化してもよい。
【0012】
所定の時間内で取得された前記第1信号に基づき、前記第1信号に含まれる座標を用いて、前記強度変化が所定の閾値を超えた領域情報を有する2次元画像を生成する生成部を更に備えてもよい。
【0013】
前記処理部は、前記2次元画像を2次元フーリエ変換処理し、得られた情報に基づき定量化してもよい。
【0014】
前記処理部で得られた定量化の数値に応じて、前記閾値に関する信号を生成する調整部を、更に備えてもよい。
【0015】
前記処理部は、前記2次元画像における前記強度変化が所定の閾値を超えた領域をラベリングし、ブラーの状態を定量化してもよい。
【0016】
前記生成部は、ブラーの状態を示す数値に基づき、前記所定の時間を変更してもよい。
【0017】
前記2次元画像を表示装置に表示させる表示制御部を更に備え、
前記生成部は、所定の時間を減少させる場合に、前記所定の時間を10~90%にしてもよい。
【0018】
前記2次元画像を表示装置に表示させる表示制御部を更に備え、
前記生成部は、所定の時間を増加させる場合に、前記所定の時間を110~220%にしてもよい。
【0019】
前記生成部は、検査対象の表面の移動速度に応じて、前記所定の時間を変更してもよい。
【0020】
前記生成部は、検査対象を撮像している画角範囲に応じて、前記所定の時間を変更してもよい。
【0021】
前記生成部は、前記所定領域を撮像している撮像素子の画素数に応じて、前記所定の時間を変更してもよい。
【0022】
前記生成部は、前記所定の時間を、前記検査対象の所定点が前記所定領域の一端から他端に移動する時間を前記一端から前他端に対応する前記撮像素子の数で除算した時間の90~190%にしてもよい。
【0023】
上記の課題を解決するために、本開示によれば、検査対象における所定領域内の反射光の強度変化が、所定の閾値を超えた位置に対応する座標情報を含む第1信号を取得する取得工程と、
前記第1信号に基づき、前記所定の領域内の表面状態を定量化する処理工程と、
を、備える、情報処理方法が提供される。
【0024】
上記の課題を解決するために、本開示によれば、撮像装置と、
信号処理装置と、を備える、撮像システムであって、
前記撮像装置は、
検査対象における所定領域内の反射光の強度変化が、所定の閾値を超えた位置に対応する座標情報を含む第1信号を出力し、
前記信号処理装置は、
前記第1信号を取得する取得部と、
前記第1信号に基づき、前記所定の領域内の表面状態を定量化する処理部と、
を、有する撮像システムが提供される。
【0025】
前記信号処理装置は、
所定の時間内で取得された前記第1信号に基づき、前記第1信号に含まれる座標を用いて、前記閾値を超えた領域情報を有する2次元画像を生成する生成部と、
前記2次元画像を表示装置に表示させる表示制御部を更に有し、
検査光を検査対象に照射可能な照明装置と、
前記所定の時間を変更する操作装置と、を更に備え、
前記検査対象は前記撮像装置の撮像範囲内で移動しており、
前記撮像装置は、白黒フィルタ、及びカラーフィルタの少なくともいずれかに対応する光学フィルタを用いて、特定の波長の光を選択的に取り込むことが可能であり、
前記生成部は、操作装置が変更した前記所定の時間に基づき、前記2次元画像を生成してもよい。
【0026】
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【図面の簡単な説明】
【0027】
図1】本技術の実施の形態における撮像システムの構成例を示す模式図。
図2】研削ワークを撮像装置が撮像している様子を模式的に示している図。
図3】本技術の第1実施形態における撮像装置の一構成例を示すブロック図。
図4】本技術の実施の形態における固体撮像素子の積層構造の一例を示す図。
図5】本技術の実施の形態における受光基板の平面図。
図6】本技術の実施の形態における回路基板の平面図。
図7】本技術の実施の形態におけるアドレスイベント検出部の平面図。
図8】本技術の実施の形態における有効画素の構成を説明するための図。
図9】本技術の実施の形態における有効画素の一構成例を示す回路図。
図10】信号処理装置の構成例示すブロック図。
図11】係数の分布図を示す図。
図12】閾値調整部の処理例を示すフローチャート。
図13】第1数値と閾値を用いた判定部の判定処理例を示す図。
図14】第5数値と閾値を用いた判定部の判定処理例を示す図。
図15】第2実施形態に係る信号処理装置の構成例示すブロック図。
図16】ブラー調整時に表示装置に表示されるGUI画面を示す図。
図17】ブラー調整時に表示装置に表示される画面例を示す図。
図18】第2モードが選択された場合のブラーの調整状態を模式的に示す図。
図19】時間範囲t0における輝度パターンの端部を模式的に示す図。
図20】時間範囲t1における輝度パターンの端部を模式的に示す図。
図21】時間範囲t2における輝度パターンの端部を模式的に示す図。
図22】時間範囲t3における輝度パターンの端部を模式的に示す図。
図23】パターンが受光部の上端から下端に移動する時間Tを示す図。
図24】第3モードでの調整部の処理例を示すフローチャート。
図25】アドレスイベント検出回路の構成の一例を示す回路図。
図26】検出周期の一周期を構成する各期間を示す図。
【発明を実施するための形態】
【0028】
以下、図面を参照して、信号処理装置、信号処理方法、及び撮像システムの実施形態について説明する。以下では、信号処理装置、信号処理方法、及び撮像システムの主要な構成部分を中心に説明するが、信号処理装置、信号処理方法、及び撮像システムには、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
【0029】
(第1実施形態)
[撮像システムの構成例]
図1は、本技術の実施の形態における撮像システム1の構成例を示す模式図である。図1に示すように、この撮像システム1は、撮像装置10と、照明装置20と、信号処理装置30と、表示装置40と、操作装置50と、を備えて構成される。
【0030】
図1には、更に撮影対象である研削ワークOvjが図示されている。研削ワークOvjは、例えば研削が終了した金属の円柱体である。すなわち、研削ワークOvjは、例えば金属材料を回転させながら研削された円柱体の金属である。このような金属は、例えばベアリングの構成部品である。ベアリングの内輪または外輪(以下、研削ワークOvjと称する)におけるボールやコロの軌道面である場合、軌道面の同心軸に対して研削ワークOvjを回転させ、ワークの回転方向に直交する方向で砥石を接触かつ揺動する研削が行われる。
【0031】
この円柱体である研削ワークOvjは、例えば円柱の中心軸を同心軸として、不図示の回転装置に回転可能に固定されている。なお、本実施形態では、検査対象を回転体としているがこれに限定されない。例えば、検査対象は撮像装置10の撮像範囲内で移動しておればよく、必ずしも回転体である必要はない。またその動きも等速である必要はない。
【0032】
撮像装置10は、検査対象における所定領域内の反射光の強度変化が所定の閾値を超えた座標の情報を含む第1信号を出力する。撮像装置10は、例えば画素毎の輝度変化をイベントとしてリアルタイムに検出する非同期型の撮像装置である。また、この撮像装置10は、不図示のカメラを有しており、一般的な2次元画像の撮像も可能である。この撮像装置10が有する画素毎にイベントを検出する固体撮像素子は、EVS(Event-based Vision Sensor)やDVS(Dynamic Vision Sensor)とも称される。なお、撮像装置10の詳細は後述する。また、撮像装置10は、白黒フィルタ、及びカラーフィルタの少なくともいずれかに対応する光学フィルタを用いて、特定の波長の光を選択的に取り込むことが可能である。
【0033】
照明装置20は、研削ワークOvjを照明する照明装置である。この照明装置20は、例えば波長帯域の異なる複数の光源20a、bを有する。例えば、光源20aは可視光光源であり、光源20bは、光学フィルタを用いた特定の帯域の波長の光を選択的に照射する光源である。なお、照明装置20は、撮像装置10の固体撮像素子が感度を有する波長帯域であればよい。
【0034】
図2は、照明装置20の検査光で照明された研削ワークOvjを撮像装置10が撮像している様子を模式的に示している図である。例えば、研削ワークOvjの所定領域Area10は、撮像装置10の撮像光学系の撮像範囲を示している。一般に、所定領域Area10は、撮像装置10の撮像光学系の画角で示すことが可能である。すなわち、撮像装置10は、検査対象である研削ワークOvjを撮像光学系の画角範囲で撮像する。輝度パターンPaは、図5を用いて後述する撮像装置10における受光部220上の光学像である。研削ワークOvjが回転しているため、輝度パターンPaは、受光部220上で例えば上側の一端から下側の他端に移動する。撮像光学系の構成レンズの組み合わせによれば、輝度パターンPaの移動方向が逆になる場合もある。すなわち、本実施形態に係る査対象における所定領域内の反射光は、撮像装置10における撮像光学系の撮像範囲内の研削ワークOvj(検査対象)からの反射光に対応する。
【0035】
撮像装置10は、例えば検査対象における所定領域Area10内の輝度パターンPaによる画素毎の輝度変化、すなわち、所定領域Area10内の反射光の強度変化をイベントとしてリアルタイムに検出することが可能である。所定領域Area10内の座標は、撮像装置10における受光部220上の座標に対応する。これにより、この撮像装置10は、イベント情報を用いて、検査対象における所定領域Area10内の反射光の強度変化が所定の閾値を超えた位置に対応する座標情報を含む第1信号を出力することが可能である。
【0036】
図1で示すように、信号処理装置30は、例えばCPU(Central Processing Unit)を含んで構成される。この信号処理装置30は、撮像装置10で得られたイベント情報、画像データなどを処理する装置である。例えば、この信号処理装置30は、研削ワークOvjの表面の状態や模様を定量化することが可能である。また、信号処理装置30は、イベント情報、画像データなどに基づき、撮像装置10、及び照明装置20の撮像パラメータを生成することも可能である。なお、信号処理装置30の詳細も後述する。
【0037】
表示装置40は、例えばモニタであり、イベント情報、画像データなどに基づく画像を表示する。また、表示装置40は、操作装置50の操作に用いるグラフイックユーザーインターフェース(GUI)画面を表示することが可能である。
【0038】
操作装置50は、撮像システム1を操作する操作者の操作により処理信号を信号処理装置30に入力する装置である。操作装置50は、例えばマウス、キーボードなどにより構成される。
【0039】
[撮像装置の構成例]
ここで、撮像装置10の詳細を説明する。図3は、本技術の第1実施形態における撮像装置10の一構成例を示すブロック図である。この撮像装置10は、撮像レンズ110、固体撮像素子200、記録部120および制御部130を備える。
【0040】
撮像レンズ110は、入射光を集光して固体撮像素子200に導くものである。固体撮像素子200は、複数の画素のそれぞれについて、基準輝度に対する変化後輝度の比(コントラスト)が閾値を超えた旨をアドレスイベントとして検出するものである。このアドレスイベントは、例えば、輝度の上昇量が上限閾値を超えた旨を示すオンイベントと、輝度の低下量が上限閾値未満の下限閾値を下回った旨を示すオフイベントとを含む。
【0041】
そして、固体撮像素子200は、アドレスイベントの検出結果を示す検出信号を画素毎に生成する。それぞれの検出信号は、オンイベントの有無を示すオンイベント検出信号VCHと、オフイベントの有無を示すオフイベント検出信号VCLとを含む。なお、固体撮像素子200は、オンイベントおよびオフイベントの両方の有無を検出しているが、一方のみを検出することもできる。また、本実施形態に係るオンイベント検出信号VCHが第1情報に対応し、オフイベント検出信号VCLが第2情報に対応する。すなわち、固体撮像素子200は、研削ワークOvjの所定領域Area10の反射光の固体撮像素子200の受光面における強度変化が所定の閾値である上限閾値、及び下限閾値を超えた座標の情報を含む検出信号を情報処理装置30に出力する。
【0042】
このように、固体撮像素子200は、「アドレスイベントの発生した時刻、オンイベント検出信号VCH、オフイベント検出信号VCL、受光部220(図5参照)上のアドレスイベントの発生した2次元座標(x、y)」を例えば含む、検出信号を画素毎に生成し、信号処理装置30に出力可能である。なお、本実施形態に係る検出信号が第1信号に対応する。
【0043】
記録部120は、固体撮像素子200からのデータを記録するものである。制御部130は、固体撮像素子200を制御して画像データを撮像させる。
【0044】
[固体撮像素子の構成例]
図4は、本技術の実施の形態における固体撮像素子200の積層構造の一例を示す図である。この固体撮像素子200は、回路基板202と、その回路基板202に積層された受光基板201とを備える。これらの基板は、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Cu-Cu接合やバンプにより接続することもできる。
【0045】
図5は、本技術の実施の形態における受光基板201の平面図の一例である。受光基板201には、受光部220と、ビア配置部211、212および213とが設けられる。
【0046】
ビア配置部211、212および213には、回路基板202と接続されるビアが配置される。また、受光部220には、二次元格子状に複数の受光回路221が配列される。受光回路221は、入射光を光電変換して光電流を生成し、その光電流を電流電圧変換して電圧信号を出力するものである。これらの受光回路221のそれぞれには、行アドレスおよび列アドレスからなる画素アドレスが割り当てられる。
【0047】
図6は、本技術の実施の形態における回路基板202の平面図の一例である。この回路基板202には、負電位供給部230と、ビア配置部231、232および233と、信号処理回路240と、行駆動回路251と、列駆動回路252と、アドレスイベント検出部260とが設けられる。ビア配置部231、232および233には、受光基板201と接続されるビアが配置される。
【0048】
負電位供給部230は、所定の基準電位(接地電位など)より低い所定電位を負電位として受光基板201に供給するものである。例えば、チャージポンプ回路が負電位供給部230として用いられる。負電位の供給により生じる効果については後述する。なお、負電位供給部230は、特許請求の範囲に記載の電位供給部の一例である。
【0049】
アドレスイベント検出部260は、複数の受光回路221のそれぞれの電圧信号から検出信号を生成して信号処理回路240に出力するものである。
【0050】
行駆動回路251は、行アドレスを選択して、その行アドレスに対応する検出信号をアドレスイベント検出部260に出力させるものである。
【0051】
列駆動回路252は、列アドレスを選択して、その列アドレスに対応する検出信号をアドレスイベント検出部260に出力させるものである。
【0052】
信号処理回路240は、不図示のクロック回路を有し、アドレスイベント検出部260からの検出信号に対して、「アドレスイベントの発生した時刻、オンイベント検出信号VCH、オフイベント検出信号VCL、受光部220(図5参照)上のアドレスイベントの発生した2次元座標(x、y)」を例えば含む、検出信号を画素毎に生成する。
【0053】
図7は、本技術の実施の形態におけるアドレスイベント検出部260の平面図の一例である。このアドレスイベント検出部260には、二次元格子状に複数のアドレスイベント検出回路261が配列される。アドレスイベント検出回路261のそれぞれには画素アドレスが割り当てられ、同一アドレスの受光回路221と接続される。
【0054】
アドレスイベント検出回路261は、受光回路221からの電圧信号を量子化し、検出信号として出力するものである。
【0055】
[有効画素の構成例]
図8は、本技術の実施の形態における有効画素310の構成を説明するための図である。有効画素310のそれぞれは、同一の画素アドレス(x、y)が割り当てられた、受光基板201内の受光回路221と、回路基板202内のアドレスイベント検出回路261とから構成される。前述したように、基板のそれぞれには、複数の受光回路221と、複数のアドレスイベント検出回路261とが二次元格子状に配列されている。このため、固体撮像素子200においては、それらにより構成される複数の有効画素310が二次元格子状に配列される。
【0056】
図9は、本技術の実施の形態における有効画素310の一構成例を示す回路図である。この有効画素310は、フォトダイオード311、電流電圧変換回路320、バッファ330、減算器340、量子化器350および転送回路360を備える。
【0057】
フォトダイオード311は、入射光を光電変換して光電流を生成するものである。このフォトダイオード311は、生成した光電流を電流電圧変換回路320に供給する。
【0058】
電流電圧変換回路320は、フォトダイオード311からの光電流を、その対数の電圧信号に変換するものである。この電流電圧変換回路320は、電圧信号をバッファ330に入力する。
【0059】
バッファ330は、入力された電圧信号を減算器340に出力するものである。このバッファ330により、後段を駆動する駆動力を向上させることができる。また、バッファ330により、後段のスイッチング動作に伴うノイズのアイソレーションを確保することができる。
【0060】
減算器340は、減算により、補正信号の変化量を求めるものである。この減算器340は、変化量を微分信号として量子化器350に供給する。
【0061】
量子化器350は、微分信号と所定の閾値との比較により、アナログの微分信号をデジタルの検出信号に変換(言い換えれば、量子化)するものである。この量子化器350は、微分信号と上限閾値および下限閾値のそれぞれとを比較し、それらの比較結果を2ビットの検出信号として転送回路360に供給する。なお、本実施形態に係る上限閾値が、第1閾値に対応し、下限閾値が第2閾値に対応す。
【0062】
転送回路360は、列駆動回路252からの列駆動信号に従って、検出信号を信号処理回路240に転送するものである。
【0063】
また、電流電圧変換回路320は、N型トランジスタ321および322とP型トランジスタ323とを備える。これらのトランジスタとして、例えば、MOS(Metal-Oxide-Semiconductor)トランジスタが用いられる。
【0064】
N型トランジスタ321のソースはフォトダイオード311のカソードに接続され、ドレインは電源電圧VDD1の端子に接続される。P型トランジスタ323およびN型トランジスタ322は、電源電圧VDD2の端子と基準電位(接地電位GNDなど)の端子との間において、直列に接続される。また、P型トランジスタ323およびN型トランジスタ322の接続点は、N型トランジスタ321のゲートとバッファ330の入力端子とに接続される。また、P型トランジスタ323のゲートには、所定のバイアス電圧Vblogが印加される。
【0065】
N型トランジスタ321および322のドレインは電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのうちN型トランジスタ321は、光電流をゲートおよびソースの間の電圧に変換し、N型トランジスタ322は、光電流に応じた電位のゲートと基準電位(接地電位GNDなど)のソースとの間の電圧を増幅してドレインから出力する。また、P型トランジスタ323は、一定の電流をN型トランジスタ322に供給する。このような構成により、フォトダイオード311からの光電流は電圧信号に変換される。
【0066】
なお、N型トランジスタ321は、特許請求の範囲に記載の変換トランジスタの一例であり、N型トランジスタ322は、特許し請求の範囲に記載の増幅トランジスタの一例である。
【0067】
また、フォトダイオード311とN型トランジスタ321および322とは、受光基板201に配置され、P型トランジスタ323以降の回路は、回路基板202に配置される。
【0068】
そして、負電位供給部230は、基準電位(接地電位GNDなど)よりも低い負電位Vnを受光基板201のPウェル領域に供給する。このPウェル領域には、フォトダイオード311が埋め込まれており、また、その領域にはN型トランジスタ321および322のバックゲート(バルク)が形成される。このため、Pウェル領域に負電位Vnを供給することにより、フォトダイオード311のアノードとN型トランジスタ321および322のそれぞれのバックゲートとに負電位Vnを供給することができる。
【0069】
フォトダイオード311のアノードを負電位Vnとすることにより、その電位を基準電位とする場合と比較して、フォトダイオード311の逆バイアスが大きくなる。これにより、フォトダイオード311の感度が高くなり、暗電流を低減することができる。また、N型トランジスタ321および322のバックゲートを負電位Vnとすることにより、それらの電位を基準電位とする場合と比較して、基板バイアス効果により、それぞれのトランジスタの閾値電圧が高くなる。これにより、それらのトランジスタのゲート-ソース間電圧が0以下になることを防止することができる。ゲート-ソース間電圧が0以下になると、電流電圧変換回路320の回路構成上、正常な出力が得られなくなるため、負電位Vnの供給により、そのような事態を抑制することができる。このように、フォトダイオード311の感度向上、暗電流の低下や、閾値電圧の上昇により、検出信号の信号品質を向上させることができる。
【0070】
バッファ330以降の後段の回路に含まれるN型トランジスタについても、負電位VnのPウェル領域に配置することが可能であるが、仮にそのような構成としても、電流電圧変換動作で説明したような特性観点での効果は得にくい。また、通常、電流電圧変換回路320は外乱から隔離したいモチベーションがある一方で、後段の回路は、大振幅もしくは論理レベルで動作する形となるため、基本的には、受光側のPウェル領域を後段回路から分離する構成が好ましい。
【0071】
また、バッファ330は、P型トランジスタ331および332を備える。これらのトランジスタとして、例えば、MOSトランジスタが用いられる。
【0072】
P型トランジスタ331および332は、電源電圧VDD2の端子と基準電位(GND等)との間において直列に接続される。また、P型トランジスタ331のゲートには所定のバイアス電圧Vbsfが印加される。P型トランジスタ332のゲートは、電流電圧変換回路320の出力端子に接続される。そして、P型トランジスタ331および332の接続点からは、電圧信号が減算器340へ出力される。
【0073】
減算器340は、コンデンサ341および343と、P型トランジスタ342および344と、N型トランジスタ345とを備える。
【0074】
P型トランジスタ344およびN型トランジスタ345は、電源電圧VDD2の端子と基準電位の端子との間に直列に接続される。P型トランジスタ344のゲートを入力端子、P型トランジスタ344およびN型トランジスタ345の接続点を出力端子として、P型トランジスタ344およびN型トランジスタ345は入力信号を反転するインバータとして機能する。
【0075】
コンデンサ341の一端は、バッファ330の出力端子に接続され、他端は、インバータの入力端子(すなわち、P型トランジスタ344のゲート)に接続される。コンデンサ343は、インバータに並列に接続される。P型トランジスタ342は、コンデンサ343の両端を接続する経路を行駆動信号に従って開閉するものである。
【0076】
P型トランジスタ342をオンした際にコンデンサ341のバッファ330側に電圧信号Vinitが入力され、その逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、コンデンサ341に蓄積されている電位Qinitは、コンデンサ341の容量をC1とすると、次の式により表される。一方、コンデンサ343の両端は、短絡されているため、その蓄積電荷はゼロとなる。
Qinit=C1×Vinit ・・・式1
【0077】
次に、P型トランジスタ342がオフされて、コンデンサ341のバッファ330側の電圧が変化してVafterになった場合を考えると、コンデンサ341に蓄積される電荷Qafterは、次の式により表される。
Qafter=C1×Vafter ・・・式2
【0078】
一方、コンデンサ343に蓄積される電荷Q2は、出力電圧をVoutとすると、次の式により表される。
Q2=-C2×Vout ・・・式3
【0079】
このとき、コンデンサ341および343の総電荷量は変化しないため、次の式が成立する。
Qinit=Qafter+Q2 ・・・式4
【0080】
式4に式1乃至式3を代入して変形すると、次の式が得られる。
Vout=-(C1/C2)×(Vafter-Vinit) ・・・式5
【0081】
式5は、電圧信号の減算動作を表し、減算結果の利得はC1/C2となる。通常、利得を最大化することが望まれるため、C1を大きく、C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、有効画素310ごとに減算器340が搭載されるため、容量C1やC2には、面積上の制約がある。これらを考慮して、例えば、C1は、20乃至200フェムトファラッド(fF)の値に設定され、C2は、1乃至20フェムトファラッド(fF)の値に設定される。
【0082】
量子化器350は、P型トランジスタ351および353とN型トランジスタ352および354とを備える。これらのトランジスタとして、例えば、MOSトランジスタが用いられる。
【0083】
P型トランジスタ351およびN型トランジスタ352は、電源電圧VDD2の端子と基準電位の端子との間において直列に接続される。P型トランジスタ353およびN型トランジスタ354も、電源電圧VDD2の端子と基準電位の端子との間において直列に接続される。また、P型トランジスタ351および353のゲートは、減算器340の出力端子に接続される。N型トランジスタ352のゲートには上限閾値を示すバイアス電圧Vbonが印加され、N型トランジスタ354のゲートには下限閾値を示すバイアス電圧Vboffが印加される。
【0084】
P型トランジスタ351およびN型トランジスタ352の接続点は、転送回路360に接続され、この接続点の電圧が、オンイベント検出信号VCHとして出力される。P型トランジスタ353およびN型トランジスタ354の接続点も、転送回路360に接続され、この接続点の電圧が、オフイベント検出信号VCLとして出力される。このような接続により、微分信号が上限閾値を超えた場合に量子化器350は、ハイレベルのオンイベント検出信号VCHを出力し、微分信号が下限閾値を下回った場合にローレベルのオフイベント検出信号VCLを出力する。
【0085】
[信号処理装置の構成例]
図10は、信号処理装置30の構成例を示すブロック図である。図10に示すように、信号処理装置30は、取得部400と、記憶部402と、生成部404と、処理部406と、調整部408と、判定部410と、表示制御部412と、制御部414とを、備える。制御部414は、信号処理装置30の全体を制御すると共に、記憶部402内に記憶されるプログラムを実行することにより、生成部404と、処理部406と、調整部408と、判定部410と、表示制御部412と、を構成可能である。
【0086】
また、これらの生成部404と、処理部406と、調整部408と、判定部410と、表示制御部412とは、電子回路として構成することも可能である。回路構成の場合には、取得部400と、記憶部402と、生成部404と、処理部406と、調整部408と、判定部410と、表示制御部412と、制御部414とは、例えば内部バスで接続される。
【0087】
取得部400は、インターフェースであり、撮像装置10、表示装置40、及び操作装置50と通信する。例えば取得部400は、撮像装置10から検査対象である研削ワークOvjにおける所定領域Area10内(図2参照)の反射光の強度変化が所定の閾値を超えた位置に対応する座標情報を含む検査信号を取得する。上述のように、検査信号のそれぞれは、「アドレスイベントの発生した時刻、オンイベント検出信号VCH、オフイベント検出信号VCL、受光部220(図5参照)上のアドレスイベントの発生した2次元座標(x、y)」の情報を有する。つまり、アドレスイベントの発生した座標における情報のみを取得することが可能であり、所定領域Area10内の2次元画像を取得するよりも、よりデータ量を抑制できると共に、信号処理を高速化することが可能となる。
【0088】
記憶部402は、イベントデータ記憶部402aと、画像データ記憶部402bとを有する。イベントデータ記憶部402aは、検査信号を記憶する。画像データ記憶部402bは、可視画像などを記憶する。また、画像データ記憶部402bは、撮像装置10外の装置で撮像された画像データを記憶することも可能である。
【0089】
生成部404は、所定の時間範囲の検査信号を用いて、所定領域Area10内(図2参照)における反射光の強度変化が所定の閾値を超えた領域情報を有する2次元画像を生成する。この生成部404は、画像生成用データ処理部404aと、画像化処理部404bと、を有する。
【0090】
画像生成用データ処理部404aは、検査信号に含まれる「アドレスイベントの発生した時刻の情報」を用いて所定の時間範囲内に生成された検査信号を、イベントデータ記憶部402aから取得する。
【0091】
画像化処理部404bは、オンイベント検出信号VCH、及びオフイベント検出信号VCLの情報を用いて、所定の時間範囲にオンイベントが発生した座標に所定の第1定数を割振り、オフイベントが発生した座標に所定の第2定数を割振り、所定領域Area10に対応する2次元画像を生成する。イベントの発生していない座標には、第3定数を割振る。例えば、第1定数を100とし、第2定数を-100とし、第3定数を0とする。或いは、第2定数と第3定数を同じ値としてもよい。この場合には、オンイベントが発生した領域情報を有する2次元画像が生成される。或いは、第1定数と第3定数を同じ値としてもよい。この場合には、オフイベントが発生した領域情報を有する2次元画像が生成される。或いは、第1定数と第2定数を同じ値としてもよい。この場合には、イベントが発生した領域が同一の値を有するように、2次元画像が生成される。
【0092】
処理部406は、検査信号に基づき、研削ワークOvjにおける所定領域Area10内(図2参照)の表面状態を定量化する。処理部406は、イベントデータ処理部406aと、第1画像処理部406bと、を有する。
【0093】
イベントデータ処理部406aは、所定の時間内に、所定の閾値(上限閾値、及び下限閾値)を超えた座標の数に基づき、表面状態を定量化する。すなわち、イベントデータ処理部406aは、所定の時間内に発生した、オンイベント、及びオフイベントの数を積算し、所定の係数を乗算して、第1数値として定量化する。係数は、任意の定数でよく、例えば最大値が1となるように、正規化する係数でもよい。この第1数値は、0であれば、所定領域Area10内(図2参照)における反射光の強度変化が所定閾値以内であったことを示す。すなわち、所定領域Area10内の表面状態は、高低差が僅少であり、よりよい状態であることを示す。一方で、この第1数値が増加すると、所定領域Area10内(図2参照)における反射光の強度変化が所定閾値以上であった領域がより多くなったことを示す。すなわち、所定領域Area10内の表面状態は、高低差がある領域がより増加し、より悪い状態であることを示す。
【0094】
また、イベントデータ処理部406aは、所定の時間内に、上限閾値を超えた座標の数に基づき、表面状態を定量化する。すなわち、イベントデータ処理部406aは、所定の時間内に発生した、オンイベントの数を積算して、所定の係数を乗算して、第2数値として定量化する。例えば、オンイベントの発生した領域は、研削ワークOvjの回転により、光の反射が増加する傾斜面が存在したことを示している。係数は、任意の定数でよく、例えば最大値が1となるように、正規化する係数でもよい。この第2数値は、0であれば、所定領域Area10内(図2参照)における反射光の強度変化が上限値(第1閾値)以内であったことを示す。すなわち、所定領域Area10内の表面状態は、高低差が僅少であり、よりよい状態であることを示す。一方で、この第2数値が増加すると、所定領域Area10内(図2参照)における反射光の強度変化が上限値(第1閾値)以上であった領域がより多くなったことを示す。すなわち、所定領域Area10内の表面状態は、高低差がある領域がより増加し、より悪い状態であることを示す。
【0095】
また、イベントデータ処理部406aは、所定の時間内に、下限閾値を超えた座標の数に基づき、表面状態を定量化する。すなわち、イベントデータ処理部406aは、所定の時間内に発生した、オフイベントの数を積算して、所定の係数を乗算して、第3数値として定量化する。例えば、オフイベントの発生した領域は、研削ワークOvjの回転により、光の反射が減少する傾斜面が存在したことを示している。係数は、任意の定数でよく、例えば最大値が1となるように、正規化する係数でもよい。この第3数値は、0であれば、所定領域Area10内(図2参照)における反射光の強度変化が下限閾値(第2閾値)以内であったことを示す。すなわち、所定領域Area10内の表面状態は、高低差が僅少であり、よりよい状態であることを示す。一方で、この第3数値が増加すると、所定領域Area10内(図2参照)における反射光の強度変化が下限閾値(第2閾値)以上であった領域がより多くなったことを示す。すなわち、所定領域Area10内の表面状態は、高低差がある領域がより増加し、より悪い状態であることを示す。なお、第1数値、第2数値、第3数値は、閾値の設定状態によれば、相関が高くなるので、第1数値、第2数値、第3数値のうちのいずれかだけを、表面状態の状態判定に用いることも可能である。
【0096】
また、イベントデータ処理部406aは、所定の時間内に生成された検査信号に含まれる座標を用いて演算したテクスチャ特徴量に基づき、表面状態を第4数値として、定量化する。より具体的には、イベントデータ処理部406aは、表面状態に相関するテクスチャ特徴量を演算する。この場合には、所定の時間内に生成された第1信号には、所定領域Area10内に対応する座標、及びオンイベント検出信号VCH、及びオフイベント検出信号VCLの情報が含まれるので、画像を構成せずに、テクスチャ特徴量を演算可能である。例えば、イベントデータ処理部406aは、オンイベント検出信号VCHの座標に10、オフイベント検出信号VCLの座標に-10、それ以外の領域座標に0を割振り、テクスチャ特徴量を演算する。このような、テクスチャ特徴量には、例えば、GCLM(Gray-Level Co-occurrence Matrix)、 GLSZM(Gray-Level Size Zone Matrix)、NGTDM(Neghbourhood Gray-Tone-Difference Matrix)などを用いることが可能である。
【0097】
このように、イベントデータ処理部406aは、画像を構成することなく、検査信号の情報を用いて、所定領域Area10内の表面状態を定量化可能となる。すなわち、イベントデータ処理部406aは、画像データ(例えば所定領域Area10内の輝度値)を用いることなく、より高速に所定領域Area10内の表面状態を定量化することが可能である。
【0098】
第1画像処理部406bは、画像化処理部404bが生成した2次元画像に対して、2次元フーリエ変換処理し、得られた情報に基づき定量化する。例えば、所定領域Area10の水平方向の幅をH、垂直方向の幅をWとし、座標(x、y)を(x=0、1、..W-1、y =0、1、...、H)とする。このとき、画像化処理部404bが生成した2次元画像f(x、y)は、(1)式となる。また、このときの係数Fuvは、(2)式となる。例えば、第1画像処理部406bは、係数Fuvを演算する。
【数1】
【数2】
【0099】
図11は、係数Fuvの分布図を示す図である。横軸が(1)式のv、縦軸が(1)式のuを示す。uvが小さくなるにしたがいより低周波であることを示し、逆に大なるにしたがいより高周波であることを示す。つまり、係数Fuvが0近傍に集まっていれば、所定領域Area10内の表面状態は、高低差がなく均一であることを示している。例えば、係数Fuvが範囲R10内に集まっていれば、所定領域Area10内の表面状態は、高低差がより少なく、より均一であることを示している。一方で、例えばR10からR12の範囲の係数Fuvは、縞模様を構成する成分を示している。これらのR10、R12は、例えば予備実験により定めることが可能である。
【0100】
なお、本実施形態では、研削ワークOvjの高低差は、研削ワークOvjの回転により、反射高の強度変化が縞状に発生する例により、第1乃至第7数値を説明するが、これに限定されない。検査対象の目的とする定量化対象に応じて、各種のパラメータ、条件などは変更可能である。例えば、研削ワークOvjのカラー模様の輝度差を定量化対象としてもよい。この場合、研削ワークOvjに高低差が無い場合にも、定量化が可能である。
【0101】
第1画像処理部406bは、例えばR10からR12の範囲の係数の値を積算して、表面状態を第5数値として、定量化する。第5数値が大きくなるにしたがい、縞状のイベントが発生する領域が増加することを示している。このため、第5数値が大きくなるにしたがい、表面状態がより悪い状態を示し、逆に小さくなるにしたがい、表面状態がより良い状態を示す。これら、第1乃至第5数値は、最大値の絶対値が、例えば同値となるように正規化することが可能である。
【0102】
調整部408は、上限閾値を示すバイアス電圧Vbon(図9参照)、下限閾値を示すバイアス電圧Vboff(図9参照)を、動的に調整することが可能である。この調整部408は、閾値調整部408aを有する。閾値調整部408aは、イベントデータ処理部406aで得られた第2数値、第3数値を用いて、上限閾値を示すバイアス電圧Vbon(図9参照)、下限閾値を示すバイアス電圧Vboff(図9参照)を、動的に調整することが可能である。
【0103】
例えば、閾値調整部408aは、予備測定の段階で、第2数値、第3数値が所定の範囲となるように、制御部130(図2参照)を介して、調整する。例えば、第2数値、第3数値それぞれが最大値を1とする正規化がされている場合に、0.5を越える場合には、所定領域Area10内の50%の領域にイベントが発生しており、閾値の絶対値が小さすぎることを示している。このような場合には、閾値調整部408aは、上限閾値の絶対値を増加させる方向の信号を生成し、制御部130(図2参照)に出力する。同様に、閾値調整部408aは、下限閾値の絶対値を増加させる方向の信号を生成し、制御部130(図2参照)に出力する。このように、閾値調整部408aは、イベントデータ処理部406aで得られた定量化された第2数値、第3数値に応じて、上限閾値、下限閾値に関する信号を生成することが可能である。
【0104】
図12は、閾値調整部408aの処理例を示すフローチャートである。ここでは、撮像装置10の撮像を継続している予備実験において、上限閾値の動的な調整例を説明する。下限閾値の動的な調整例も同様に実施することが可能である。
【0105】
図12に示す様に、まず、取得部400は、イベントの発生状態を示すイベントデータとして検査信号を取得する(ステップS100)。続けて、第1画像処理部406bは、第2数値(下限閾値なら第3数値)をイベント量として算出する(ステップS102)。
【0106】
次に、閾値調整部408aは、第2数値が所定の範囲であるか否かを判定する(ステップS104)。閾値調整部408aは、例えば0.1以上、且つ0.3以下であれば、所定の範囲であると判定し(ステップS104のYES)、処理を中止する。一方で、閾値調整部408aは、所定の範囲にない場合(ステップS104のNO)、例えば0.1未満であれば、上限閾値の絶対値を減少させる方向の信号を生成し、例えば0.3以上であれば、上限閾値の絶対値を増加させる方向の信号を生成し、制御部130(図2参照)に出力する(ステップS106)。そして、ステップS100からの処理をくり返す。なお条件範囲としての0.1以上、且つ0.3以下は、一例であり、これに限定されない。例えば、表面状態の評価目標に適した上限閾値の範囲を適宜に設定することが可能である。
【0107】
また、上述の処理部406は、例えば、研削ワークOvjの回転の回転数、照明光などの環境状態が同一であれば、第2数値を同一値とする上限閾値を研削ワークOvjの表面状態を示す定量化数値としてもよい。この場合、上限閾値の絶対値が小さくなるほど、表面状態がいいことを客観的に示している。同様に、第3数値を同一値とする下限閾値により、研削ワークOvjの表面状態を判定することも可能である。ここで、第2数値を同一値とする上限閾値の絶対値を第6数値とし、第3数値を同一値とする下限閾値の絶対値を第7数値とする。これらは、例えば最大値が1となるように、正規化してもよい。
【0108】
判定部410は、処理部406で得られた定量化の数値に応じて、所定領域Area10内の表面状態を判定する。判定部410は、例えば第1乃至第7数値の少なくともいずれかにより、所定領域Area10内の表面状態を判定する。
【0109】
図13は、第1数値と閾値Th1を用いた判定部410の判定処理例を示す図である。縦軸は、第1数値を示す。研削ワークOvj1~5は、異なる検査体を示す。例えば判定部410は、第1数値が閾値Th1を越えているOvj2、3の状態が悪いと判定する。閾値Th1は、予備実験により予め、定めておくことが可能である。
【0110】
図14は、第5数値と閾値Th5を用いた判定部410の判定処理例を示す図である。縦軸は、第5数値を示す。研削ワークOvj1~5は、異なる検査体を示す。例えば判定部410は、第5数値が閾値Th5を越えているOvj2、3、5の状態が悪いと判定する。閾値Th5は、予備実験により予め、定めておくことが可能である。同様に、第1乃至第4、第6、第7数値の閾値を設定して、状態判定が可能である。
【0111】
判定部410は、このような各判定処理結果を、例えばオア処理、又はアンド処理することにより、統合判定が可能である。例えば、オア処理では、例えば第1乃至第7数値のいずれかにより状態が悪いと判定されたら、状態が悪いと判定する。一方で、アンド処理では、例えば第1乃至第7数値のそれぞれを用いた判定で、いずれとも状態が悪いと判定されたら、状態が悪いと判定する。また、判定部410は、例えば第1乃至第7数値のそれぞれを用いて、良、悪状態を学習させたニューラルネットワーク、多変量解析関数などの識別器を用いることも可能である。
【0112】
以上説明したように、本実施形態によれば、取得部400が研削ワークOvjの所定領域Area10内の反射光の強度変化が所定の閾値を超えた位置に対応する座標情報を含む検査信号を取得し、処理部406が、検査信号に基づき、研削ワークOvjの所定領域Area10内の表面状態を定量化することとした。これにより、検査信号として、反射光の強度変化が所定の閾値を超えた座標の情報を用いるので、画像データを用いることなく、対象物の表面状態を定量化可能となる。このため、情報処理装置30は、研削ワークOvjの所定領域Area10の表面状態を定量化する際に、所定領域Area10内の輝度データを取得することが不要となり、より高速な処理が可能となる。また、輝度データを取得するための撮像条件の影響を抑制可能となる。
【0113】
(第2実施形態)
第2実施形態に係る撮像システム1は、情報処理装置30における生成部404が2次元画像を生成する際の時間範囲を調整可能である点で、第1実施形態に係る撮像システム1と相違する。以下では、第1実施形態に係る撮像システム1と相違する点を説明する。
【0114】
図15は、第2実施形態に係る信号処理装置30の構成例示すブロック図である。図15に示すように、処理部406は、更に第2画像処理部406cを有する。また、調整部408は、ブラー調整部408bを更に有する。
【0115】
第2画像処理部406cは、生成部404が生成した2次元画像に対してラベリング処理を実行することが可能である。すなわち、この生成部404は、上述した第1定数、第2定数それぞれの領域に対してラベリング処理を実行可能である。これにより、第2画像処理部406cは、第1定数に対応する孤立領域毎の面積、輪郭線長を演算する。同様に、第2画像処理部406cは、第2定数に対応する孤立領域毎の面積、輪郭線長を演算する。第2画像処理部406cは、上述した第1定数と第3定数を同じ値とする場合、第2定数と第3定数を同じ値とする場合、第1定数と第2定数を同じ値とする場合のそれぞれの場合に対しても、ラベリング処理を実行し、孤立領域毎の面積、輪郭線長を演算することが可能である。
【0116】
また、第2画像処理部406cは、ブラーの発生状況を定量化する。例えば、ラベリングした孤立領域の輪郭線長と、孤立領域の面積との比で、ブラーの発生状況を定量化し、第1ブラー数とする。例えば、第1ブラー数は、孤立領域の面積を輪郭線長で除算した値である。この第1ブラー数は、孤立領域の接続性を定量化した値であり、ブラーが減少し、縞状の孤立領域が分離する(例えば後述する図18(c)の状態を参照)と、第1所定値を越えた値を示す。例えば第1所定値は、予備実験により予め算出されている。第1ブラー数は、ブラーが増加しても増加傾向を示すので、以下の第2ブラー数を参照して判定することも可能である。
【0117】
また、第2画像処理部406cは、図11で示したR10からR12内に存在する係数の積算値に基づき、ブラーの発生状況を定量化し、第2ブラー数とする。例えば、第2ブラー数は、図11で示したR10からR12内に存在する係数の積算値を、全係数の積算値で除算した値である。第2ブラー数は、孤立領域が分離していない場合(例えば後述する図18(a)、(b)、(d)の状態を参照)に、縞の特性を有するので第2所定値よりも大きくなる。
【0118】
このため、ブラーを低減させる場合には、例えば第2ブラー数を第2所定値よりも大きな状態で維持し、第1ブラー数が減少するように調整することが可能である。このように、第2画像処理部406cは、第1ブラー数、第2ブラー数として、ブラーの発生状況に応じて変動する定量化数値を生成する。
【0119】
調整部408のブラー調整部408bは、生成部404が2次元画像を生成する際の時間範囲を調整する。ブラー調整部408bは、例えば3つの処理モードを有する。
【0120】
第1モードは、例えば手動モードであり、操作者の操作装置50に対する入力に従い、時間範囲を調整する。第2モードは、例えばセミオートモードであり、操作者の操作装置50に対する入力と、調整部408の制御とに従い時間範囲を調整するモードである。第3モードは、例えば自動モードであり、処理部406における第1ブラー数、第2ブラー数に基づき、調整部408の制御に従い時間範囲を自動的に調整するモードである。
【0121】
図16は、ブラー調整時に表示装置に表示されるGUI画面を示す図である。表示制御部412は、例えば図16に示すGUI画面を表示装置40に表示させる。40a~40cは、それぞれ、第1モードから第3モードの選択ボタンに対応する。例えば、操作装置50の操作により、ボタン40aが選択されると、ブラー調整部408bは、第1モードでの制御を開始する。同様に、ボタン40bが選択されると、ブラー調整部408bは、第2モードでの制御を開始する。同様に、ボタン40cが選択されると、ブラー調整部408bは、第3モードでの制御を開始する。
【0122】
ボタン40dは、第1モード、及び第2モードで、時間範囲を短縮する場合に、操作装置50の操作により選択されるボタンである。同様に、ボタン40eは、第1モード、及び第2モードで、時間範囲を増加する場合に、操作装置50の操作により選択されるボタンである。
【0123】
図17は、ブラー調整時に表示装置に表示される画面例を示す図である。画面40fは、一般的な2次元画像が撮像されている場合の動画を表示する。表示制御部412は、一般的な2次元画像が撮像されている場合に、画像データ記憶部402bに記憶させつつ、表示装置40に画面40fを表示させる。
【0124】
画面40gは、生成部404が生成したイベントに基づく2次元画像を時系列に動画として表示する。表示制御部412は、生成部404が生成したイベントに基づく2次元画像を時系列に、表示装置40に対して画面40gを表示させる。生成部404が生成したイベントに基づく2次元画像は、画面40fに表示される一般的な2次元画像よりも、フレームレートを高速化可能であるが、表示装置40は、画面40fと、画面40gとを同期させてもよい。例えば、操作者は、第1モード、及び第2モードを選択した場合に、画面40f、40gを監察しながら、生成部404が2次元画像を生成する際の時間範囲を調整することが可能である。
【0125】
図18は、第2モードが選択された場合のブラーの調整状態を模式的に示す図である。(a)図は、調整前の初期画面であり、(b)図は、ボタン40dを選択した後の画面であり、(c)図は、ボタン40dを更に選択した後の画面であり、(d)図は、ボタン40eを更に選択した後の画面である。
【0126】
第2モードが選択され、ボタン40dが選択された場合に、ブラー調整部408bは、生成部404が2次元画像を生成する際の時間範囲を10~90%に短縮する。例えば、ブラー調整部408bは、生成部404が2次元画像を生成する際の時間範囲を50%に短縮する。これにより、生成部404は、時間範囲を50%に短縮させて2次元画像を生成する。
【0127】
一方で、第2モードが選択され、ボタン40eが選択された場合に、ブラー調整部408bは、生成部404が2次元画像を生成する際の時間範囲を110~220%に増加する。例えば、ブラー調整部408bは、生成部404が2次元画像を生成する際の時間範囲を150%に増加する。これにより、生成部404は、時間範囲を150%に増加させて2次元画像を生成する。このように、短縮する場合に時間範囲を50%にし、増加する場合に時間範囲を150%にすることで、より効率的に、時間範囲を調整可能となる。
【0128】
図19乃至図22は、生成部404が2次元画像を生成する際の時間範囲を模式的に示す図である。図19乃至図22は、図5における受光部220の一部を拡大した図である。ここでは、第1定数(上限閾値を超た領域に対応する)に対応する領域を画像化する例で説明する。輝度パターンPaの端部を模式的に示している。つまり、輝度パターンPaは、高輝度領域の端部である。時間範囲t0、t1、t2、t3は、t0>t1>t3>t2の関係がある。図19は、時間範囲t0における輝度パターンPaの端部を模式的に示す図であり、図20は、時間範囲t1における輝度パターンPaの端部を模式的に示す図であり、図21は、時間範囲t2における輝度パターンPaの端部を模式的に示す図であり、図22は、時間範囲t3における輝度パターンPaの端部を模式的に示す図である。
【0129】
図19では、時間範囲t0でパターンPaの端部が受光回路221の4画素分を横断している例を模式的に示している。このため、時間範囲t0では、画素行2211、2212、2213、2214で生じたオンイベント情報が生成部404により生成され、2次元画像に含まれる。このように、同一のパターンPaの端部により、複数行2211~2213で生じるイベントによる領域を、本実施形態ではブラーと称する。例えば、図19の状態は、図18(a)図に対応する。ブラーにより縞はより太く形成され、処理部406の定量化に影響を与えてしまう恐れがある。同様の現象は、オフイベント情報を用いて2次元画像を生成する場合にも生じる。
【0130】
図20では、時間範囲t1でパターンPaの端部が受光回路221の2画素分を横断している例を模式的に示している。このため、時間範囲t1では、画素行2213、2214で生じたイベント情報が生成部404により生成される2次元画像に含まれる。例えば、時間範囲t1は、時間範囲t0の50パーセントである。例えば、図20の状態は、図18(b)図に対応し、ブラーによる縞は、図18(a)図よりも細く形成される。
【0131】
図21では、時間範囲t2でパターンPaの端部が受光回路221の1画素分のおよそ66パーセントを横断している例を模式的に示している。このため、時間範囲t2では、画素行2214で生じたイベント情報が生成部404により生成される2次元画像に含まれる。例えば、時間範囲t2は、時間範囲t1の50パーセントである。例えば、図21の状態は、図18(c)図に対応する。パターンPaの端部は、実際には湾曲しており、画素行2214においても、イベントとして検知できない受光回路221が生じる。このような場合には、図18(c)図に示す様に、パターンPaの形状が崩れ、所謂「輪郭崩れ」が発生し、不連続にイベントが発生した領域が形成される。
【0132】
図22では、時間範囲t3でパターンPaの端部が受光回路221の1画素分を横断している例を模式的に示している。このため、時間範囲t2では、画素行2214で生じたイベント情報が生成部404により生成される2次元画像に含まれる。例えば、時間範囲t3は、時間範囲t2の150パーセントである。例えば、図22の状態は、図18(d)図に対応する。
【0133】
図23は、パターンPaが受光部220の上端から下端に移動する時間Tを示す図である。パターンPaが受光部220の上端から下端に移動する時間をTとし、受光部220の上端から下端における列方向の受光回路221の総数をNとする。すなわち、時間範囲t3は、パターンPaが受光部220の上端から下端に移動する時間Tを、列方向の受光回路221の総数Nで除算したT/N時間に対応する。
【0134】
本実施形態の第3モードでは、例えば、生成部404が2次元画像を生成する際の時間範囲Twを、パターンPaが受光部220の上端から下端に移動する時間Tを、列方向の受光回路221の総数で除算した時間Nに対応させる。なお、T/N時間が既知である場合には、生成部404が2次元画像を生成する際の時間範囲をT/N時間に設定しておくことも可能である。すなわち、生成部404は、検査対象の表面の移動速度に応じて、2次元画像を生成する際の時間範囲を設定することも可能である。同様に、生成部404は、検査対象を撮像している撮像光学系(図2参照)の画角範囲に応じて、2次元画像を生成する際の時間範囲を設定することも可能である。
【0135】
第3モードでは、例えば調整部408は、処理部406における第1ブラー数、第2ブラー数に基づき、時間範囲を、パターンPaが受光部220の上端から下端に移動する時間Tを、列方向の受光回路221の総数Nで除算したT/N時間に近づくように調整する。例えば、パターンPaの濃淡状況により、ブラーの発生状況がかわるので、調整部408は、検査対象の所定点が受光部220の一端から他端に移動する時間Tを受光部220の一端から他端に対応する受光部220の数Nで除算したT/N時間の90~190%にする。なお、本実施形態に係る受光回路221が、撮像素子の画素に対応する。
【0136】
図24は、第3モードでの調整部408の処理例を示すフローチャートである。ここでは、2次元画像をオンイベント検出信号VCHに基づき生成する例で説明する。
【0137】
図24に示すように、生成部404は、初期パラメータの時間範囲Twに設定する(ステップS200)。次に、生成部404の画像生成用データ処理部404aは、時間範囲Twに対応する検査信号を、イベントデータ記憶部402aを取得する(ステップS202)。
【0138】
次に、生成部404の画像化処理部404bは、検査信号に含まれる「オンイベント検出信号VCH、及び受光部220(図5参照)上のアドレスイベントの発生した2次元座標(x、y)」を用いて、2次元画像を生成する(ステップS204)。続けて、処理部の第1画像処理部406bは、2次元画像に対してフーリエ変換処理を実行する(ステップS206)。生成部404の第1画像処理部406cは、フーリエ変換処理で得られた係数Fuvを用いて第2ブラー数を演算する。
【0139】
次に、生成部404の第1画像処理部406cは、2次元画像に対してラベリング処理を実行し、輪郭情報を用いた第1ブラー数を演算する(ステップS208)。続けて、調整部408は、時間範囲Twを減少させるか否かを判定する(ステップS210)。調整部408は、第1ブラー数が上述の第1所定値未満であり、且つ第2ブラー数が、上述の第2所定値以上であれば(ステップS210のYES)、時間範囲Twを50パーセントにして、ステップS202からの処理をくり返す。なお、第1ブラー数が上述の第1所定値未満であり、且つ第2ブラー数が、上述の第2所定値以上である状態は、「輪郭崩れ」が発生していないことを示す。
【0140】
一方で、調整部408は、第1ブラー数が第1所定値未満から第1所定値以上となった場合に、時間範囲Twを150パーセントにする。なお、時間範囲Twを低減させている場合に、第1ブラー数が第1所定値未満から第1所定値以上となると、「輪郭崩れ」が発生したことを示す。「輪郭崩れ」が発生すると、調整部408は、第1ブラー数が第1所定値未満になるまで、時間範囲Twを50パーセントずつ増加させ、ステップS202からの処理をくり返す。そして、第1ブラー数が第1所定値未満になると全体処理を終了する(ステップS210のNO)。これにより、ブラーの発生を抑制し、且つ所謂「輪郭崩れ」が発生していない範囲に、時間範囲Twを自動的に調整可能となる。
【0141】
以上説明したように、本実施形態によれば、第2画像処理部406cが、第1ブラー数、第2ブラー数として、ブラーの発生状況に応じて変動する定量化数値を生成し、調整部408は、第1ブラー数、及び第2ブラー数に基づき、時間範囲Twを調整することとした。第1ブラー数は、所謂「輪郭崩れ」が発生すると第1所定値以上となり、「輪郭崩れ」が発生していない状態では、ブラーの減少とともに低下する。一方で、第2ブラー数は、所謂「輪郭崩れ」が発生していない状況では、第2所定値以上となる。これにより、第1ブラー数、及び第2ブラー数に基づき、ブラーの発生を抑制し、且つ所謂「輪郭崩れ」が発生しない範囲に、時間範囲Twを調整可能となる。
【0142】
(変形例)
変形例に係る撮像システム1は、撮像装置10におけるアドレスイベント検出回路の回路構成が第1実施形態に係る撮像システム1と相違する。以下では、第1実施形態に係る撮像システム1と相違する点を説明する。
【0143】
図25は、アドレスイベント検出回路500の構成の一例を示す回路図である。対数変換回路510は、N型トランジスタ511、513とP型トランジスタ512とを備える。これらのトランジスタとして、例えば、MOS(Metal-Oxide-Semiconductor)トランジスタが用いられる。
【0144】
N型トランジスタ511のソースは受光部521のカソードに接続され、ドレインは電源ラインに接続される。P型トランジスタ512とN型トランジスタ513は、電源ラインとグランドとの間において、直列に接続される。また、P型トランジスタ512およびN型トランジスタ513の接続点は、N型トランジスタ511のゲートとバッファ520の入力端子とに接続される。また、P型トランジスタ512のゲートには、所定のバイアス電圧Vbias1が印加される。
【0145】
N型トランジスタ511および513のドレインは電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された2つのソースフォロワにより、受光部521からの光電流は対数変換された電圧信号に変換される。また、P型トランジスタ512は、一定の電流をN型トランジスタ513に供給する。
【0146】
上記した対数変換回路510により、受光部521が受け取る光強度が、対数変換された電圧信号に変換される。
【0147】
なお、受光チップ201のグランドと検出チップ202のグランドとは、干渉対策のために互いに分離されている。また、受光チップ201には受光部521及びアドレスイベント検出回路500のN型トランジスタ511、513が配置され、検出チップ202にはN型トランジスタ511、513以外のアドレスイベント検出回路500が配置されている。
【0148】
量子化器330は、コンデンサ531と、スイッチング素子532、533、534、535と、コンパレータ536とを備える。各スイッチング素子は、制御部700の動作制御信号に応じて導通される。スイッチング素子532、533、534、535には、例えばMOSトランジスタが用いられる。
【0149】
コンデンサ531の一端は、バッファ520の出力端子に接続され、他端は、コンパレータ536の反転入力端子に接続されている。従ってバッファ520からの電圧信号についての変化量としての電圧がコンパレータ536に入力される電圧信号となる。つまり光電変換による検知される輝度の変化量に相当する電圧信号が、コンパレータ536の反転入力端子に入力される。コンパレータ536の非反転入力端子には、比較基準電圧(Vref+、又はVref、又はVref-)が入力される。
【0150】
スイッチング素子532は、コンパレータ536の出力端子と反転入力端子の間を制御部40からの動作制御信号に応じてオン/オフする。スイッチング素子532とスイッチング素子534を導通することでリセット動作が行われる。
【0151】
スイッチング素子533、534、535は、コンパレータ536の非反転入力端子に接続されている3つの各経路を制御部700からの動作制御信号Son、Srs、Soffに応じて導通する。制御部700による動作制御信号(ON制御信号Son、リセット制御信号Srs、OFF制御信号Soff)により、各動作制御信号に対応するスイッチング素子533、534、535の何れかが導通され、これにより、動作制御信号に応じた比較基準電圧(Vref+、又はVref、又はVref-)が、コンパレータ536の非反転入力端子に選択的に入力される。
【0152】
コンパレータ536では、反転入力端子に入力された電圧信号と、非反転入力端子に入力された比較基準電圧とを比較して、検出結果に応じてイベント信号を出力するイベント信号検出が行われる。イベント信号はコンパレータ536から出力され、記録部600に記録される。
【0153】
制御部700は、ON制御信号Son、リセット制御信号Srs、OFF制御信号Soffにより、アドレスイベント検出回路500の動作制御を時分割で行う。制御部700は、ON制御信号Sonによりスイッチング素子533を導通させる。これにより、コンパレータ536の非反転入力端子にプラス側の比較基準電圧Vref+が入力される。コンパレータ536では、入力された電圧信号の変化量と比較基準電圧Vref+とを比較し、当該電圧信号が比較基準電圧Vref+を上回ることでオンイベント信号を出力するオンイベント信号検出が行われる。コンパレータ536から出力されたオンイベント信号は記録部600に記録される。以下、オンイベント信号検出が行われる期間をオンイベント検出期間DET1として説明する。
【0154】
また制御部700は、記録されたオンイベント信号を記録部600から読み出す処理を実行する。以下、オンイベント信号の読み出しが行われる期間をオンイベント読み出し期間Ronとして説明する。
【0155】
制御部700は、OFF制御信号Soffによりスイッチング素子535を導通させる。これにより、コンパレータ536の非反転入力端子にマイナス側の比較基準電圧Vref-が入力される。コンパレータ536では、入力された電圧信号の変化量と比較基準電圧Vref-とを比較し、当該電圧信号が比較基準電圧Vref-を下回ることでオフイベント信号を出力するオフイベント信号検出が行われる。コンパレータ536から出力されたオフイベント信号は記録部600に記録される。以下、オフイベント信号検出が行われる期間をオフイベント検出期間DET2として説明する。
【0156】
また制御部700は、記録されたオフイベント信号を記録部600から読み出す処理を実行する。以下、オフイベント信号の読み出しが行われる期間をオフイベント読み出し期間Roffとして説明する。
【0157】
制御部700は、リセット制御信号Srsによりスイッチング素子532、334を導通させる。これにより、アドレスイベント検出回路500においてON制御信号SonやOFF制御信号Soffにより変動した比較基準電圧がリセットされる。以下、比較基準電圧のリセットが行われる期間をリセット期間RSTとして説明する。
【0158】
図26は、検出周期の一周期を構成する各期間を示す図である。なお、以下の説明においては、説明の便宜上、リセット期間RST、オンイベント検出期間DET1、オンイベント読み出し期間Ron、オフイベント検出期間DET2、オフイベント読み出し期間Roffの各期間は、すべて同じ期間長で示しているが、これは一例である。例えばリセット期間RSTの期間長は他の期間より短くてもよいし、オンイベント検出期間DET1とオンイベント読み出し期間Ronが異なる期間長でもよい。
【0159】
例えば図26Aに示すように、検出周期の一周期が、リセット期間RST、オンイベント検出期間DET1、オンイベント読み出し期間Ron、オフイベント検出期間DET2、オフイベント読み出し期間Roffの順となるように、制御部700はそれぞれの期間に応じた動作制御を実行する。
【0160】
なお、検出周期における各期間の順番は上記に限られることはなく、様々な順番で設定することができる。例えば図26Bに示すように、検出周期の一周期が、リセット期間RST、オンイベント検出期間DET1、オンイベント読み出し期間Ron、オフイベント検出期間DET2、オフイベント読み出し期間Roff、の順となるように、制御部700は動作制御を実行することができる。
【0161】
また、例えば図26Cに示すように、検出周期が、リセット期間RST、オンイベント検出期間DET1、オフイベント検出期間DET2、オンイベント読み出し期間Ron、オフイベント読み出し期間Roff、の順となるように、制御部700は動作制御を実行することもできる。
【0162】
なお、本技術は以下のような構成を取ることができる。
【0163】
検査対象における所定領域内の反射光の強度変化が、所定の閾値を超えた位置に対応する座標情報を含む第1信号を取得する取得部と、
前記第1信号に基づき、前記所定の領域内の表面状態を定量化する処理部と、
を、備える、情報処理装置。
【0164】
前記処理部は、所定の時間内に、前記所定の閾値を超えた座標の数に基づき、表面状態を定量化する、(1)に記載の情報処理装置。
【0165】
前記第1信号は、前記強度変化が増加する方向に変化し、強度変化値が所定の第1閾値を超えたことを示す第1情報と、前記強度変化が減少する方向に変化し、所定の第2閾値を超えたことを示す第2情報と、を含む、(1)に記載の情報処理装置。
【0166】
前記処理部は、所定の時間内で取得された、前記第1閾値を超えた領域に対応する座標の数に基づき、表面状態を定量化する、(3)に記載の情報処理装置。
【0167】
前記処理部は、所定の時間内で取得された、前記第2閾値を超えた領域に対応する座標の数に基づき、表面状態を定量化する、(3)に記載の情報処理装置。
【0168】
前記処理部は、第1信号に含まれる座標を用いて演算したテクスチャ特徴量に基づき、表面状態を定量化する、(1)に記載の情報処理装置。
【0169】
所定の時間内で取得された前記第1信号に基づき、前記第1信号に含まれる座標を用いて、前記強度変化が所定の閾値を超えた領域情報を有する2次元画像を生成する生成部を更に備える、(1)に記載の情報処理装置。
【0170】
前記処理部は、前記2次元画像を2次元フーリエ変換処理し、得られた情報に基づき定量化する、(7)に記載の情報処理装置。
【0171】
前記処理部で得られた定量化の数値に応じて、前記閾値に関する信号を生成する調整部を、更に備える、(1)に記載の情報処理装置。
【0172】
前記処理部は、前記2次元画像における前記強度変化が所定の閾値を超えた領域をラベリングし、ブラーの状態を定量化する、(7)に記載の情報処理装置。
【0173】
前記生成部は、ブラーの状態を示す数値に基づき、前記所定の時間を変更する、(7)に記載の情報処理装置。
【0174】
前記2次元画像を表示装置に表示させる表示制御部を更に備え、
前記生成部は、所定の時間を減少させる場合に、前記所定の時間を10~90%にする、(7)に記載の情報処理装置。
【0175】
前記2次元画像を表示装置に表示させる表示制御部を更に備え、
前記生成部は、所定の時間を増加させる場合に、前記所定の時間を110~220%にする、(7)に記載の情報処理装置。
【0176】
前記生成部は、検査対象の表面の移動速度に応じて、前記所定の時間を変更する、(7)に記載の情報処理装置。
【0177】
前記生成部は、検査対象を撮像している画角範囲に応じて、前記所定の時間を変更する、(7)に記載の情報処理装置。
【0178】
前記生成部は、前記所定領域を撮像している撮像素子の画素数に応じて、前記所定の時間を変更する、(15)に記載の情報処理装置。
【0179】
前記生成部は、前記所定の時間を、前記検査対象の所定点が前記所定領域の一端から他端に移動する時間を前記一端から前他端に対応する前記撮像素子の数で除算した時間の90~190%にする、(16)に記載の情報処理装置。
【0180】
検査対象における所定領域内の反射光の強度変化が所定の閾値を超えた座標の情報を含む第1信号を取得する取得工程と、
前記第1信号に基づき、前記所定の領域内の表面状態を定量化する処理工程と、
を、備える、情報処理方法。
【0181】
撮像装置と、
信号処理装置と、を備える、撮像システムであって、
前記撮像装置は、
検査対象における所定領域内の反射光の強度変化が、所定の閾値を超えた位置に対応する座標情報を含む第1信号を出力し、
前記信号処理装置は、
前記第1信号を取得する取得部と、
前記第1信号に基づき、前記所定の領域内の表面状態を定量化する処理部と、
を、有する。
【0182】
前記信号処理装置は、
所定の時間内で取得された前記第1信号に基づき、前記第1信号に含まれる座標を用いて、前記閾値を超えた領域情報を有する2次元画像を生成する生成部と、
前記2次元画像を表示装置に表示させる表示制御部を更に有し、
検査光を検査対象に照射可能な照明装置と、
前記所定の時間を変更する操作装置と、を更に備え、
前記検査対象は前記撮像装置の撮像範囲内で移動しており、
前記撮像装置は、白黒フィルタ、及びカラーフィルタの少なくともいずれかに対応する光学フィルタを用いて、特定の波長の光を選択的に取り込むことが可能であり、
前記生成部は、操作装置が変更した前記所定の時間に基づき、前記2次元画像を生成する、(19)に記載の撮像システム。
【符号の説明】
【0183】
1:撮像システム、10:撮像装置、30:情報処理装置、40:表示装置、50:操作装置、400:取得部、404:生成部、406:処理部、412:表示制御部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26