(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022080155
(43)【公開日】2022-05-27
(54)【発明の名称】距離測定装置、距離測定方法、及びプログラム
(51)【国際特許分類】
G01C 3/06 20060101AFI20220520BHJP
G01S 17/89 20200101ALI20220520BHJP
G06T 5/00 20060101ALI20220520BHJP
【FI】
G01C3/06 120Q
G01S17/89
G06T5/00 705
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2020191168
(22)【出願日】2020-11-17
(71)【出願人】
【識別番号】000153443
【氏名又は名称】株式会社 日立産業制御ソリューションズ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】特許業務法人磯野国際特許商標事務所
(72)【発明者】
【氏名】小迫 健太郎
(72)【発明者】
【氏名】西澤 明仁
【テーマコード(参考)】
2F112
5B057
5J084
【Fターム(参考)】
2F112AD01
2F112BA03
2F112BA06
2F112CA12
2F112EA11
2F112FA03
2F112FA07
2F112FA21
2F112FA29
2F112FA33
2F112FA41
2F112FA45
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE02
5J084AA05
5J084AD01
5J084BA02
5J084BA40
5J084CA12
5J084CA19
5J084CA28
5J084CA32
5J084CA44
5J084CA49
5J084CA70
5J084DA01
5J084EA01
5J084EA04
5J084EA07
(57)【要約】
【課題】対象物までの距離を適切に測定する距離測定装置等を提供する。
【解決手段】距離測定装置100は、対象物Jに光を照射する発光部1と、対象物Jからの反射光を含む光の受光を、タイミングを所定にずらして複数回行い、複数回行った受光の受光量をそれぞれ蓄積する受光部2と、複数回行った受光に対応する複数の撮像信号を用いて、Time-of-Flight方式に基づき、対象物Jまでの距離を画素ごとに算出する制御部5と、を備え、制御部5は、複数の撮像信号のそれぞれのノイズを低減させる雑音低減処理を行い、雑音低減処理に用いられる所定の雑音低減制御信号が、複数の撮像信号において、画素ごとに共通している。
【選択図】
図1
【特許請求の範囲】
【請求項1】
対象物に光を照射する発光部と、
前記対象物からの反射光を含む光の受光を、タイミングを所定にずらして複数回行い、前記複数回行った受光の受光量をそれぞれ蓄積する受光部と、
前記複数回行った受光に対応する複数の撮像信号を用いて、Time-of-Flight方式に基づき、前記対象物までの距離を画素ごとに算出する制御部と、を備え、
前記制御部は、複数の前記撮像信号のそれぞれのノイズを低減させる雑音低減処理を行い、
前記雑音低減処理に用いられる所定の雑音低減制御信号が、複数の前記撮像信号において、画素ごとに共通していること
を特徴とする距離測定装置。
【請求項2】
前記受光部は、前記発光部による光の照射に同期して受光し、第1受光量を蓄積した後、前記発光部による光の照射の終了時から受光して、第2受光量を蓄積し、
前記制御部は、前記第1受光量に基づく第1撮像信号と、前記第2受光量に基づく第2撮像信号と、を画素ごとに所定に合成してなる合成信号を用いて、前記雑音低減制御信号を生成し、
前記雑音低減制御信号は、前記合成信号に含まれる各画素のうち、前記雑音低減処理の対象となる画素の位置を示すとともに、前記対象となる画素の近傍の画素のうち、その画素値と前記対象となる画素の画素値との差の絶対値が所定値以下であるものの位置を示す信号であること
を特徴とする請求項1に記載の距離測定装置。
【請求項3】
前記受光部は、前記発光部による光の照射に同期して受光し、第1受光量を蓄積した後、前記発光部による光の照射の終了時から受光して、第2受光量を蓄積し、
前記制御部は、
前記第1受光量に基づく第1撮像信号を用いて、所定の第1制御信号を生成するとともに、前記第2受光量に基づく第2撮像信号を用いて、所定の第2制御信号を生成し、
前記第1制御信号は、前記第1撮像信号に含まれる各画素のうち、前記雑音低減処理の対象となる画素の位置を示すとともに、前記対象となる画素の近傍の画素のうち、その画素値と前記対象となる画素の画素値との差の絶対値が所定値以下であるものの位置を示す信号であり、
前記第2制御信号は、前記第2撮像信号に含まれる各画素のうち、前記雑音低減処理の対象となる画素の位置を示すとともに、前記対象となる画素の近傍の画素のうち、その画素値と前記対象となる画素の画素値との差の絶対値が所定値以下であるものの位置を示す信号であり、
前記第1制御信号と、前記第2制御信号と、を画素ごとに所定に合成してなる合成信号に基づいて、前記雑音低減制御信号を生成すること
を特徴とする請求項1に記載の距離測定装置。
【請求項4】
前記制御部が行う前記雑音低減処理は、
前記第1撮像信号及び前記第2撮像信号のそれぞれにおいて、前記雑音低減制御信号で位置が示される画素の画素値の和を当該画素の個数で除算してなる平均値を、新たな画素値として置き換える処理である、
又は、
前記第1撮像信号及び前記第2撮像信号のそれぞれにおいて、前記雑音低減制御信号で位置が示される画素の画素値に基づき、前記対象となる画素の位置を基準として算出した加重平均を、新たな画素値として置き換える処理であること
を特徴とする請求項2又は請求項3に記載の距離測定装置。
【請求項5】
前記受光部は、前記発光部による光の照射に同期して受光し、第1受光量を蓄積した後、前記発光部による光の照射の終了時から受光して、第2受光量を蓄積し、さらに、前記第2受光量の受光の終了時から受光して、第3受光量を蓄積し、
前記制御部は、前記第1受光量に基づく第1撮像信号と、前記第2受光量に基づく第2撮像信号と、前記第3受光量に基づく第3撮像信号と、を画素ごとに所定に合成してなる合成信号を用いて、前記雑音低減制御信号を生成し、
前記雑音低減制御信号は、前記合成信号に含まれる各画素のうち、前記雑音低減処理の対象となる画素の位置を示すとともに、前記対象となる画素の近傍の画素のうち、その画素値と前記対象となる画素の画素値との差の絶対値が所定値以下であるものの位置を示す信号であること
を特徴とする請求項1に記載の距離測定装置。
【請求項6】
前記受光部は、前記発光部による光の照射に同期して受光し、第1受光量を蓄積した後、前記発光部による光の照射の終了時から受光して、第2受光量を蓄積し、さらに、前記第2受光量の受光の終了時から受光して、第3受光量を蓄積し、
前記制御部は、
前記第1受光量に基づく第1撮像信号を用いて、所定の第1制御信号を生成するとともに、前記第2受光量に基づく第2撮像信号を用いて、所定の第2制御信号を生成し、さらに、前記第3受光量に基づく第3撮像信号を用いて、所定の第3制御信号を生成し、
前記第1制御信号は、前記第1撮像信号に含まれる各画素のうち、前記雑音低減処理の対象となる画素の位置を示すとともに、前記対象となる画素の近傍の画素のうち、その画素値と前記対象となる画素の画素値との差の絶対値が所定値以下であるものの位置を示す信号であり、
前記第2制御信号は、前記第2撮像信号に含まれる各画素のうち、前記雑音低減処理の対象となる画素の位置を示すとともに、前記対象となる画素の近傍の画素のうち、その画素値と前記対象となる画素の画素値との差の絶対値が所定値以下であるものの位置を示す信号であり、
前記第3制御信号は、前記第3撮像信号に含まれる各画素のうち、前記雑音低減処理の対象となる画素の位置を示すとともに、前記対象となる画素の近傍の画素のうち、その画素値と前記対象となる画素の画素値との差の絶対値が所定値以下であるものの位置を示す信号であり、
前記第1制御信号と、前記第2制御信号と、前記第3制御信号と、を画素ごとに所定に合成してなる合成信号に基づいて、前記雑音低減制御信号を生成すること
を特徴とする請求項1に記載の距離測定装置。
【請求項7】
前記制御部が行う前記雑音低減処理は、
前記第1撮像信号、前記第2撮像信号、及び前記第3撮像信号のそれぞれにおいて、前記雑音低減制御信号で位置が示される画素の画素値の和を当該画素の個数で除算してなる平均値を、新たな画素値として置き換える処理である、
又は、
前記第1撮像信号、前記第2撮像信号、及び前記第3撮像信号のそれぞれにおいて、前記雑音低減制御信号で位置が示される画素の画素値に基づき、前記対象となる画素の位置を基準として算出した加重平均を、新たな画素値として置き換える処理であること
を特徴とする請求項5又は請求項6に記載の距離測定装置。
【請求項8】
前記制御部は、所定のフィルタを用いて前記合成信号を平滑化し、平滑化後の前記合成信号を用いて、前記雑音低減制御信号を生成し、
前記フィルタは、平均フィルタ、ガウシアンフィルタ、又はメディアンフィルタであること
を特徴とする請求項2又は請求項5に記載の距離測定装置。
【請求項9】
対象物に光を照射する発光処理と、
前記対象物からの反射光を含む光の受光を、タイミングを所定にずらして複数回行い、前記複数回行った受光の受光量をそれぞれ蓄積する受光処理と、
前記複数回行った受光に対応する複数の撮像信号を用いて、Time-of-Flight方式に基づき、前記対象物までの距離を画素ごとに算出する演算処理と、を順次に行い、
前記演算処理には、複数の前記撮像信号のそれぞれのノイズを低減させる雑音低減処理が含まれ、
前記雑音低減処理に用いられる所定の雑音低減制御信号が、複数の前記撮像信号において、画素ごとに共通していること
を特徴とする距離測定方法。
【請求項10】
請求項9に記載の距離測定方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離測定装置等に関する。
【背景技術】
【0002】
画像のノイズを低減する技術として、例えば、特許文献1には、「画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する」ことが記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、対象物に光を照射し、その反射光を含む光の露光を複数回行って、対象物までの距離を算出するTime-of-Flight方式(TOF方式ともいう)の技術が知られている。このようなTime-of-Flight方式を用いた場合、複数回の露光に伴って、複数の撮像信号が得られる。これら複数の撮像信号のノイズを低減するために、特許文献1に記載の技術を用いた場合、同一の画素(距離の測定位置)であっても、露光の各タイミングでノイズ低減処理の特性(パラメータ等)が異なるものになる。その結果、対象物までの距離の測定値の誤差が大きくなる可能性がある。
【0005】
そこで、本発明は、対象物までの距離を適切に測定する距離測定装置等を提供することを課題とする。
【課題を解決するための手段】
【0006】
前記した課題を解決するために、本発明は、対象物に光を照射する発光部と、前記対象物からの反射光を含む光の受光を、タイミングを所定にずらして複数回行い、前記複数回行った受光の受光量をそれぞれ蓄積する受光部と、前記複数回行った受光に対応する複数の撮像信号を用いて、Time-of-Flight方式に基づき、前記対象物までの距離を画素ごとに算出する制御部と、を備え、前記制御部は、複数の前記撮像信号のそれぞれのノイズを低減させる雑音低減処理を行い、前記雑音低減処理に用いられる所定の雑音低減制御信号が、複数の前記撮像信号において、画素ごとに共通していることを特徴とする。
【発明の効果】
【0007】
本発明によれば、対象物までの距離を適切に測定する距離測定装置等を提供できる。
【図面の簡単な説明】
【0008】
【
図1】第1実施形態に係る距離測定装置を含む構成図である。
【
図2】第1実施形態に係る距離測定装置の制御部を含む機能ブロック図である。
【
図3】第1実施形態に係る距離測定装置の発光タイミング制御信号や露光タイミング制御信号等に関するタイムチャートである。
【
図4】第1実施形態に係る距離測定装置が実行する一連の処理のタイムチャートである。
【
図5】第1実施形態に係る距離測定装置において、第1撮像信号と第2撮像信号とに基づいて、合成信号が生成される例を示す説明図である。
【
図6】第1実施形態に係る距離測定装置における雑音低減制御信号の生成に関する説明図である。
【
図7】第1実施形態に係る距離測定装置において、入力画像の縁部の画素に対する雑音低減制御信号の生成に関する説明図である。
【
図8】第1実施形態に係る距離測定装置の雑音低減制御部が実行する雑音低減処理の説明図である。
【
図9】第1実施形態に係る距離測定装置において、縁部の画素に対して雑音低減制御部が実行する処理の説明図である。
【
図10】第2実施形態に係る距離測定装置の制御部を含む機能ブロック図である。
【
図11】第2実施形態に係る距離測定装置の発光タイミング制御信号や露光タイミング制御信号等に関するタイムチャートである。
【
図12】第2実施形態に係る距離測定装置で実行される一連の処理のタイムチャートである。
【
図13】第2実施形態に係る距離測定装置における第1撮像信号、第2撮像信号、第3撮像信号に基づいて、合成信号が生成される例を示す説明図である。
【
図14】第3実施形態に係る距離測定装置の制御部を含む機能ブロック図である。
【発明を実施するための形態】
【0009】
≪第1実施形態≫
<距離測定装置の構成>
図1は、第1実施形態に係る距離測定装置100を含む構成図である。
図1に示す距離測定装置100は、対象物J(被写体)までの距離を測定する装置である。
図1に示すように、距離測定装置100は、発光部1と、受光部2と、基準クロック生成部3と、記憶部4と、制御部5と、距離画像出力部6と、を備えている。
【0010】
発光部1は、対象物Jに光を照射する機能を有している。すなわち、発光部1は、撮像制御部51から入力される発光タイミング制御信号S0に基づいて、所定にパルス変調した光を対象物Jに照射する。このような発光部1として、例えば、LED(Light Emitting Diode)やレーザダイオードが用いられる。
【0011】
受光部2は、対象物Jからの反射光を含む光の受光を、タイミングを所定にずらして複数回行い、複数回行った受光の受光量をそれぞれ蓄積する。すなわち、受光部2は、撮像制御部51から入力される露光タイミング制御信号S1,S2に基づいて、対象物Jからの反射光を含む光の露光を行う。
【0012】
受光部2は、複数の画素がマトリクス状に配置されてなる画素回路21を備えている。このような画素回路21として、例えば、CCD(Charge Coupled Device)イメージセンサ回路やCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ回路が用いられる。具体的には、受光部2は、各画素に一対一で対応付けられるフォトダイオード(図示せず)と、このフォトダイオードに接続される複数のコンデンサと、フォトダイオードで光電変換された電荷を複数のコンデンサに所定に振り分けるMOSトランジスタ(図示せず)と、を備えている。その他、受光部2は、撮像制御部51からの露光タイミング制御信号S1,S2に基づいてMOSトランジスタを駆動させる駆動回路の他、各コンデンサの電荷量(つまり、受光量)のアナログ値をデジタル値に変換するA/D変換器等(図示せず)を備えている。
【0013】
基準クロック生成部3は、例えば、水晶発振器であり、所定のクロック周波数で基準クロック信号を生成する。基準クロック生成部3で生成された基準クロック信号は、撮像制御部51に出力される。
記憶部4には、各種のプログラムやパラメータの他、制御部5の演算結果等が適宜に格納される。このような記憶部4として、例えば、フラッシュメモリが用いられるが、これに限定されるものではない。
【0014】
制御部5は、複数回行った受光に対応する複数の撮像信号(第1撮像信号M1、第2撮像信号M2)を用いて、Time-of-Flight方式に基づき、対象物Jまでの距離を画素ごとに算出する処理(演算処理)を行う。このような制御部5は、図示はしないが、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、各種インタフェース等の電子回路を含んで構成されている。そして、ROMに記憶されたプログラムを読み出してRAMに展開し、CPUが各種処理を実行するようになっている。
【0015】
図1に示すように、制御部5は、撮像制御部51を備えている。撮像制御部51は、前記した基準クロック信号に基づいて、発光タイミング制御信号S0や露光タイミング制御信号S1,S2を生成する。なお、発光タイミング制御信号S0や露光タイミング制御信号S1,S2に基づく処理については、後記する。
距離画像出力部6は、所定のインタフェース回路であり、制御部5で算出された画素ごとの距離を示すデータを所定の距離画像として表示装置200に出力する。
【0016】
図2は、距離測定装置100の制御部5を含む機能ブロック図である。
図2に示すように、制御部5は、前記した撮像制御部51(
図1も参照)の他、合成部52と、平滑化部53と、雑音低減制御信号生成部54と、第1雑音低減部55と、第2雑音低減部56と、距離演算部57と、を備えている。
撮像制御部51は、発光制御部51aと、露光制御部51bと、を備えている。発光制御部51aは、発光部1から光を照射するタイミングを指定する発光タイミング制御信号S0を所定周期で生成する。露光制御部51bは、受光部2が光を露光するタイミングを指定する露光タイミング制御信号S1,S2を所定周期で生成する。
【0017】
図3は、発光タイミング制御信号S0や露光タイミング制御信号S1,S2等に関するタイムチャートである(適宜、
図1、
図2を参照)。
なお、
図3に示す発光タイミング制御信号S0や露光タイミング制御信号S1,S2については、前記したとおりである。
図3に示す「対象物からの反射光」とは、発光部1から照射された光が対象物Jで反射し、その反射光を含む光が受光部2に到達するタイミングを示している。
【0018】
図3に示す「電荷量Q1」とは、受光部2が、露光タイミング制御信号S1によって受光した光を光電変換することで、コンデンサ(図示せず)に蓄えられる電荷量(つまり、受光量)である。
図3に示す「電荷量Q2」とは、受光部2が、露光タイミング制御信号S2によって受光した光を光電変換することで、別のコンデンサ(図示せず)に蓄えられる電荷量(つまり、受光量)である。
【0019】
図3の例では、時刻t1~t3の期間において、発光制御部51a(
図2参照)から発光部1(
図2参照)にパルス状の発光タイミング制御信号S0が出力される。これによって、図示はしないが、時刻t1~t3の期間において、所定時間T0をパルス幅とするパルス状の光が、発光部1から対象物J(
図1参照)に向けて照射される。そして、発光部1から光が照射されてから所定の遅延時間Tdだけ遅れて、対象物Jからの反射光が受光部2に到達する。この遅延時間Tdは、対象物Jから受光部2までの距離に比例している。なお、遅延時間Tdは、所定時間T0未満であることが予め想定されている。
【0020】
露光タイミング制御信号S1は、発光タイミング制御信号S0に同期して、時刻t1~t3の期間に、露光制御部51b(
図2参照)から受光部2(
図2参照)に出力される。露光タイミング制御信号S1がON状態になっている時刻t1~t3において、受光部2は、自身が受光した光をフォトダイオード(図示せず)で光電変換し、この光電変換によって生じた電荷をコンデンサ(図示せず)に蓄える。このような処理が、受光部2の各画素において行われる。
【0021】
他方の露光タイミング制御信号S2は、発光タイミング制御信号S0や露光タイミング制御信号S1がONからOFFに切り替わった時刻t3から所定時間T0の間、露光制御部51b(
図2参照)から受光部2(
図2参照)に出力される。なお、露光タイミング制御信号S2がON状態になっている所定時間T0は、発光タイミング制御信号S0や露光タイミング制御信号S1がON状態になっている所定時間T0に等しいものとする。
【0022】
露光タイミング制御信号S2がON状態になっている時刻t3~t5において、受光部2は、自身が受光した光をフォトダイオード(図示せず)で光電変換し、この光電変換によって生じた電荷を別のコンデンサ(図示せず)に蓄える。このような処理が、受光部2の各画素において行われる。
【0023】
すなわち、受光部2は、発光部1による光の照射に同期して受光し、電荷量Q1(第1受光量)を蓄積した後、発光部1による光の照射の終了時から受光して、電荷量Q2(第2受光量)を蓄積する。
図3の例では、受光部2における受光量の全体が時刻t3を境に分割され、反射光成分を含む電荷量Q1,Q2として振り分けられる。そして、電荷量Q1,Q2をA/D変換したデジタル値に基づいて、制御部5が、対象物Jまでの距離を画素ごとに算出するようになっている。このような距離演算の方式を、Time-of-Flight方式という。
図3に示すように、電荷量Q1,Q2には、対象物Jからの反射光に由来する反射光成分の他、背景光等に由来する外光成分も含まれている。
【0024】
図4は、距離測定装置が実行する一連の処理のタイムチャートである(適宜、
図2、
図3を参照)。
なお、
図4では便宜上、各処理の間の遅延時間の図示を省略している。前記したように、制御部5(
図2参照)は、発光タイミング制御信号S0をONにして発光部1を発光させるとともに(発光処理)、この発光タイミング制御信号S0に同期させて、露光タイミング制御信号S1をONにする。そして、制御部5は、発光タイミング制御信号S0や露光タイミング制御信号S1をOFFに切り替えた時点から露光タイミング制御信号S2をONにする。これによって、対象物Jからの反射光を含む光が、受光部2によって受光される(受光処理)。なお、露光タイミング制御信号S2がOFFに切り替えられた後の各処理については、後記する。
【0025】
再び、
図2に戻って説明を続ける。
制御部5は、露光タイミング制御信号S1に基づく電荷量Q1に対して、所定のA/D変換を行い、第1撮像信号M1を生成する(
図4も参照)。この第1撮像信号M1は、マトリクス状に配置された各画素の画素値(電荷量Q1のデジタル値)を示すデータであり、各画素の位置と、その画素値と、を含んでいる。
図2に示すように、第1撮像信号M1は、受光部2から合成部52に出力されるとともに、第1雑音低減部55に出力される。
【0026】
同様に、制御部5は、露光タイミング制御信号S2に基づく電荷量Q2に対して、所定のA/D変換を行い、第2撮像信号M2を生成する(
図4も参照)。この第2撮像信号M2は、マトリクス状に配置された各画素の画素値(電荷量Q2のデジタル値)を示すデータであり、各画素の位置と、その画素値と、を含んでいる。
図2に示すように、第2撮像信号M2は、受光部2から合成部52に出力されるとともに、第2雑音低減部56に出力される。
【0027】
なお、第1撮像信号M1や第2撮像信号M2には、受光部2に入射する光の光子数の揺らぎに起因するショットノイズ等、さまざまなノイズが存在している。そこで、第1実施形態では、制御部5が、複数の撮像信号(第1撮像信号M1、第2撮像信号M2)のそれぞれのノイズを低減させる所定の雑音低減処理を行うようにしている。
【0028】
図2に示す合成部52は、第1撮像信号M1と、第2撮像信号M2と、を画素ごとに合成する。すなわち、合成部52は、以下の(式1)の演算を画素ごとに行い、その演算結果を画素ごとの画素値とする所定の合成信号を生成する(
図4の「合成処理」)。なお、(式1)の値αは、0よりも大きく、かつ、1よりも小さい所定の値であり、予め設定されている。
【0029】
(合成信号)=(第1撮像信号)×α+(第2撮像信号)×(1-α) ・・・(式1)
【0030】
図5は、第1撮像信号M1と第2撮像信号M2とに基づいて、合成信号が生成される例を示す説明図である。
図5では、受光部2の画素が5×5のマトリクス状に配置された例を示している。また、
図5では、前記した(式1)の値αが0.5である場合を示している。例えば、第1撮像信号M1における中央の画素の画素値は、135になっている。一方、第2撮像信号M2における中央の画素の画素値は、153になっている。合成部52は、前記した(式1)に基づいて、135×0.5+153×(1-0.5)=144という演算を行い、合成後の中央の画素の画素値とする。他の画素についても同様にして、合成部52は、合成後の画素値を算出する。
【0031】
このようにして生成された合成信号(合成後の画素の位置及び画素値を示す画像データ)は、受光した光の輝度分布を示すデータとして、合成部52から平滑化部53(
図2参照)に出力される。
【0032】
平滑化部53は、所定のフィルタを用いて合成信号を平滑化し(
図4の「平滑化処理」)、平滑化後の合成信号を雑音低減制御信号生成部54に出力する。なお、平滑化処理のフィルタとして、平均フィルタの他、ガウシアンフィルタやメディアンフィルタを用いることができる。また、平滑化処理のフィルタは、3×3のサイズでもよいし、5×5や7×7といったサイズでもあってよい。
【0033】
このように平滑化部53が所定のフィルタ処理を行うことで、合成信号のS/N比が比較的小さい(例えば、S/N比が1よりも小さい)場合でも、各画素の画素値の本来の分布が概ね明らかになる。したがって、後記する雑音低減制御信号を制御部5が適切に生成できる。
【0034】
雑音低減制御信号生成部54は、平滑化部53から入力される平滑化後の合成信号(画像データ)に基づいて、所定の雑音低減制御信号を生成する(
図4の「雑音低減制御信号生成処理」)。ここで、雑音低減制御信号とは、それぞれの画素のノイズを低減するために、対象とする画素との相関性が高い(つまり、画素値の差が比較的小さい)、近傍の画素を特定する信号である。
【0035】
図6は、雑音低減制御信号の生成に関する説明図である(適宜、
図2も参照)。
図6の紙面左側に示す「入力画像」とは、平滑化部53から雑音低減制御信号生成部54に入力される画像データ(平滑化後の合成信号)である。また、f(i,j)とは、その位置が(i,j)で示される画素の画素値である。
【0036】
雑音低減制御信号生成部54は、まず、
図6の紙面左側に示すように、画素(i,j)を中心とする3×3の領域から、画素値f(i,j)と、その近傍の画素値f(i+m,j+n)を取得する。ここで、値m,nは、-1以上であり、かつ、1以下の整数である。なお、本実施形態では、領域のサイズを3×3としているが、5×5や7×7といったサイズであってもよい。例えば、領域のサイズが5×5である場合は、値m,nは、-2以上であり、かつ、2以下の整数である。
次に、雑音低減制御信号生成部54は、
図6に示すように、画素値f(i+m,j+n)から画素値f(i,j)を減算し、減算した値の絶対値|f(i+m,j+n)-f(i,j)|を算出する。
【0037】
そして、雑音低減制御信号生成部54は、以下の(式2)の演算を行う。なお、(式2)に含まれる画素(i,j)は、第1撮像信号M1及び第2撮像信号M2の撮影点(測定位置)に対応している。また、所定値kは、2値化処理後の画素値を“1”にするか“0”にするかの判定基準となる閾値であり、予め設定されている。
図6の例では、所定値k=40としている。また、(式2)に含まれるb
i,j(m,n)は、雑音低減制御信号生成部54によって生成される雑音低減制御信号である。
【0038】
|f(i+m,j+n)-f(i,j)|≦k であるとき、bi,j(m,n)=1
|f(i+m,j+n)-f(i,j)|>k であるとき、bi,j(m,n)=0
・・・(式2)
【0039】
すなわち、絶対値|f(i+m,j+n)-f(i,j)|が所定値k以下である場合、雑音低減制御信号生成部54は、雑音低減制御信号bi,j(m,n)の値として“1”を割り当てる。一方、絶対値|f(i+m,j+n)-f(i,j)|が所定値kよりも大きい場合、雑音低減制御信号生成部54は、雑音低減制御信号bi,j(m,n)の値として“0”を割り当てる。このような2値化処理によって、対象とする画素(i,j)を含む3×3の画素のうち、画素値f(i,j)との間の差分が比較的小さい画素が抽出される。そして、雑音低減制御信号生成部54は、ひとつひとつの画素(i,j)について、雑音低減制御信号bi,j(m,n)を第1雑音低減部55に出力するとともに、第2雑音低減部56に出力する。
【0040】
このように、制御部5は、電荷量Q1(第1受光量)に基づく第1撮像信号M1と、電荷量Q2(第2受光量)に基づく第2撮像信号M2と、を画素ごとに所定に合成してなる合成信号を用いて、雑音低減制御信号bi,j(m,n)を生成する。この雑音低減制御信号は、合成信号に含まれる各画素のうち、雑音低減処理の対象となる画素(i,j)の位置を示すとともに、対象となる画素(i,j)の近傍の画素(i+m,j+n)のうち、その画素値f(i+m,j+n)と、対象となる画素の画素値f(i,j)との差の絶対値が所定値以下であるものの位置を示す信号である。
【0041】
図7は、入力画像の縁部の画素に対する雑音低減制御信号の生成に関する説明図である。
入力画像の縁部に存在する画素(例えば、
図7に示す画素(0,0))については、3×3の近傍領域の一部に画素が存在しないことになる。このような場合、雑音低減制御信号生成部54は、縁部の画素に隣接する仮想的な画素の画素値として、縁部の画素の画素値をコピーして補った上で、雑音低減制御信号b
i,j(m,n)を生成する。これによって、入力画像の縁部の画素についても、雑音低減制御信号b
i,j(m,n)を適切に生成できる。
【0042】
図2に示す第1雑音低減部55は、受光部2から入力される第1撮像信号M1の画素(i,j)に対して、雑音低減制御信号b
i,j(m,n)を用いて、所定の雑音低減処理を行う。
図2に示すように、第1雑音低減部55は、雑音低減制御部55aを備えている。
他方の第2雑音低減部56は、受光部2から入力される第2撮像信号M2の画素(i,j)に対して、雑音低減制御信号b
i,j(m,n)を用いて、所定の雑音低減処理を行う。
図2に示すように、第2雑音低減部56は、雑音低減制御部56aを備えている。
次に、第1雑音低減部55の雑音低減制御部55aが実行する処理について、
図8を用いて説明するが、第2雑音低減部56についても同様である。
【0043】
図8は、雑音低減制御部が実行する雑音低減処理の説明図である(適宜、
図2も参照)。
なお、
図8の紙面左上には、雑音低減制御信号生成部54(
図2参照)から雑音低減制御部55a,56a(
図2参照)に入力される雑音低減制御信号b
i,j(m,n)を示している(
図6も参照)。例えば、雑音低減制御部55aは、雑音低減制御信号b
i,j(m,n)の3×3領域の中心(0,0)を、第1撮像信号M1の画素(i,j)の位置に合わせる。そして、雑音低減制御部55aは、以下の(式3)に基づき、雑音低減制御信号b
i,j(m,n)と、第1撮像信号M1の画素値f(i+m,j+n)と、において値m,nが共通する位置の画素値をそれぞれ乗算し、その和P1(i,j)を算出する。
【0044】
【0045】
図8の例では、和P1(i,j)=590となる。この和P1(i,j)は、雑音低減制御信号b
i,j(m,n)で位置が示される(つまり、b
i,j(m,n)の値が“1”である)画素の画素値f(i+m,j+n)の和である。また、雑音低減制御部55aは、和P1(i,j)とは別に、以下の(式4)に基づいて、3×3領域における雑音低減制御信号b
i,j(m,n)の各要素の和Q1(i,j)を算出する。
【0046】
【0047】
図8の例では、和Q1(i,j)=5となる。この和Q1(i,j)は、雑音低減制御信号b
i,j(m,n)で位置が示される(つまり、b
i,j(m,n)の値が“1”である)画素の個数に等しい。そして、雑音低減制御部55aは、以下の(式5)に基づいて、前記した和P(i,j)を和Q(i,j)で除算し、3×3領域内における平均値を、出力画素値O1(i,j)として算出する。
なお、本実施形態で説明している雑音低減処理は、雑音低減制御信号b
i,j(m,n)のサイズが3×3である場合であるが、5×5や7×7といったサイズであってもよい。例えば、雑音低減制御信号b
i,j(m,n)のサイズが5×5である場合は、雑音低減制御信号b
i,j(m,n)の5×5領域の中心(0,0)を、第1撮像信号M1の画素(i,j)の位置に合わせた上で、前記した計算を実施する。ここで、値m,nは、-2以上であり、かつ、2以下の整数である。
【0048】
【0049】
図8の例では、出力画素値O1(i,j)=590/5=118となっている。そして、第1雑音低減部55は、第1撮像信号M1の画素(i,j)の画素値を、(式5)に基づく出力画素値O1(i,j)に置き換える。このような処理を雑音低減処理という。さらに、第1雑音低減部55は、画素(i,j)の位置を順にずらしながら、第1撮像信号M1に含まれるひとつひとつの画素について、前記した雑音低減処理を行う(
図4の「第1撮像信号雑音低減処理」)。第1撮像信号M1に対応する画像信号O1は、第1雑音低減部55(
図2参照)から距離演算部57(
図2参照)に出力される。
【0050】
他方の第2雑音低減部56も同様にして、受光部2から入力される第2撮像信号M2に雑音低減処理を施し、第2撮像信号M2の画素(i,j)の画素値を所定の出力画素値O2(i,j)に置き換える(
図4の「第2撮像信号雑音低減処理」)。この出力画素値O2(i,j)は、前記した(式5)と同様にして算出される。第2撮像信号M2に対応する画像信号O2は、第2雑音低減部56(
図2参照)から距離演算部57(
図2参照)に出力される。なお、
図4に示すように、第1撮像信号雑音低減処理と、第2撮像信号雑音低減処理と、が並行して実行されるようにしてもよい。
【0051】
このように、制御部5(第1雑音低減部55、第2雑音低減部56)が行う雑音低減処理は、第1撮像信号M1及び第2撮像信号M2のそれぞれにおいて、雑音低減制御信号bi,j(m,n)で位置が示される画素の画素値の和P1(i,j)を当該画素の個数(和Q1(i,j))で除算してなる平均値(P1(i,j)/Q1(i,j))を、新たな画素値として置き換える処理である。
【0052】
わかりやすくいうと、第1雑音低減部55は、第1撮像信号M1に含まれる画素を対象として、画素値の差が比較的小さい近傍の画素を特定する雑音低減制御信号bi,j(m,n)に基づき、画素値の平均を算出し、その算出結果を第1撮像信号M1の新たな画素値として置き換える。なお、第2雑音低減部56についても同様である。これによって、第1撮像信号M1及び第2撮像信号M2のそれぞれについて、近傍の画素との間の相関性に基づいて、各信号のノイズを画素ごとに低減できる。その結果、後記する距離画像のノイズも低減され、また、距離画像のエッジも残りやすくなる。
【0053】
また、雑音低減処理に用いられる所定の雑音低減制御信号bi,j(m,n)が、複数の撮像信号(第1撮像信号M1、第2撮像信号M2)において、画素ごとに共通している。このように、撮像のタイミングが異なっている第1撮像信号M1と第2撮像信号M2とで、雑音低減処理の特性を共通にすることで、距離の測定精度を高めることができる。
【0054】
図9は、縁部の画素に対して雑音低減制御部が実行する処理の説明図である。
例えば、雑音低減制御信号b
i,j(m,n)の中心を入力画像(
図9では、第1撮像信号M1の画像)の縁部の画素に合わせた場合、そのままでは、入力画像において雑音低減制御信号b
i,j(m,n)に対応しない画素が存在することになる。このような場合、第1雑音低減部55は、
図9に示すように、縁部の画素に隣接する仮想的な画素の画素値として、入力画像の縁部の画素の画素値をコピーして補った上で、出力画素値O1(i,j)を算出する。これによって、入力画像の縁部の画素についても、出力画素値O1(i,j)を適切に算出できる。
【0055】
図2に示す距離演算部57は、第1雑音低減部55から入力される画像信号O1と、第2雑音低減部56から入力される画像信号O2と、に基づいて、各画素(つまり、対象物Jの各測定位置)における距離を算出し、距離画像を生成する。具体的には、距離演算部57は、画像信号O1の出力画素値O1(i,j)と、画像信号O2の出力画素値O2(i,j)と、を用いて、以下の(式6)に基づき、距離データD(i,j)を生成する。
【0056】
【0057】
なお、(式6)における距離データD(i,j)は、画素(i,j)における対象物Jまでの距離を示すデータである。また、(式6)におけるT0は、対象物Jに照射される光のパルス幅であり(
図3参照)、cは光速(3×10
8[m/s])である。また、O1(i,j)は第1撮像信号M1に対応する出力画素値であり、O2(i,j)は第2撮像信号M2に対応する出力画素値である。(式6)の演算によって、対象物Jまでの距離が画素ごとに算出される。このようにして生成された距離データD(i,j)は、距離画像として、距離演算部57から表示装置200(
図1参照)に出力される。これによって、ユーザは、距離測定装置100の受光部2の各画素から対象物Jまでの距離を、所定の距離画像として把握できる。
【0058】
<効果>
第1実施形態によれば、異なるタイミングで取得される第1撮像信号M1及び第2撮像信号M2のそれぞれに対して、位置が同一である画素については、制御部5が共通の雑音低減制御信号bi,j(m,n)を用いるようにしている。これによって、第1撮像信号M1と第2撮像信号M2との間の特性差(画素値の分布の違い)に起因する誤差を画素ごとに低減できる。したがって、受光部2の各画素から対象物Jまでの距離を高精度に測定できる。
【0059】
また、第1実施形態によれば、第1撮像信号M1と第2撮像信号M2との合成信号において、画素値の相関性(周囲の画素との間で画素値の差分)に基づく雑音低減制御信号bi,j(m,n)を、制御部5が画素ごとに生成するようにしている。そして、雑音低減制御信号bi,j(m,n)で位置が指定される近傍の画素を含めて、制御部5は、画素値の平均を算出し、第1撮像信号M1や第2撮像信号M2の画素値を置き換える。これによって、近傍の画素との間の相関性に基づいて、各信号のノイズが画素ごとに低減されるため、対象物Jまでの距離を高精度に測定できる。
【0060】
なお、画像のノイズを低減するには、ローパスフィルタ等の画像処理を行うことも可能であるが、自然画像(ノイズ低減前の画像)にはさまざまなテクスチャやエッジの信号成分が含まれている。仮に、画像全体に対して同一の特性のノイズ低減処理を行った場合、信号雑音比の大きいテクスチャやエッジの部分は、その信号成分が十分に保持されたままノイズが低減される一方、信号雑音比の小さいテクスチャやエッジの情報が失われてしまう。また、仮に、信号雑音比の小さいテクスチャやエッジの情報を残そうとすると、ノイズ低減の効果が弱くなる可能性がある。
【0061】
これに対して、第1実施形態では、前記したように、第1撮像信号M1及び第2撮像信号M2に対して、制御部5が、画素ごとに共通の雑音低減制御信号bi,j(m,n)を用いるようにしている。これによって、対象物Jまでの距離を高精度に測定することができ、ひいては、産業の発達を促進する上で社会貢献に寄与できる。
【0062】
≪第2実施形態≫
第2実施形態は、対象物までの距離を測定する際、制御部5A(
図10参照)が、3つの露光タイミング制御信号S1,S2,S3を受光部2(
図10参照)に順次に出力する点が、第1実施形態とは異なっている。また、第2実施形態では、制御部5Aが、受光量から外光成分を除去した上で、対象物までの距離を算出する点が、第1実施形態とは異なっている。なお、その他の点については、第1実施形態と同様である。したがって、第1実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
【0063】
図10は、第2実施形態に係る距離測定装置100Aの制御部5Aを含む機能ブロック図である。
図10に示すように、距離測定装置100Aの制御部5Aは、撮像制御部51と、合成部52と、平滑化部53と、雑音低減制御信号生成部54と、第1雑音低減部55と、第2雑音低減部56と、第3雑音低減部58と、距離演算部57と、を備えている。これらの各構成が実行する処理について、
図11等を用いて説明する。
【0064】
図11は、発光タイミング制御信号S0や露光タイミング制御信号S1,S2,S3等に関するタイムチャートである(適宜、
図10も参照)。
図11に示すように、制御部5Aは、発光タイミング制御信号S0を所定時間T0だけON状態にするとともに、この発光タイミング制御信号S0に同期させて、露光タイミング制御信号S1をON状態にする。これによって、フォトダイオード(図示せず)に接続されたコンデンサ(図示せず)に電荷量Q1が蓄積される。
【0065】
次に、制御部5Aは、発光タイミング制御信号S0や露光タイミング制御信号S1をONからOFFに切り替えた時点から所定時間T0だけ、露光タイミング制御信号S2をON状態にする。これによって、別のコンデンサ(図示せず)に電荷量Q2が蓄積される。さらに、制御部5Aは、露光タイミング制御信号S2をONからOFFに切り替えた時点から所定時間T0だけ、露光タイミング制御信号S3をON状態にする。これによって、さらに別のコンデンサ(図示せず)に電荷量Q3が蓄積される。
【0066】
つまり、受光部2は、発光部1による光の照射に同期して受光し、電荷量Q1(第1受光量)を蓄積した後、発光部1による光の照射の終了時から受光して、電荷量Q2(第2受光量)を蓄積し、さらに、電荷量Q2の受光の終了時から受光して、電荷量Q3(第3受光量)を蓄積する。
【0067】
図11の例では、電荷量Q1,Q2には、対象物からの反射光が光電変換された反射光成分の他に、外光成分も含まれている。一方、電荷量Q3には、反射光成分が含まれておらず、外光成分のみが含まれている。なお、対象物までの距離の長さによっては、遅延時間Tdが比較的長くなることで、電荷量Q2,Q3に反射光成分が含まれる一方、電荷量Q1には反射光成分が含まれないこともある。
【0068】
図12は、距離測定装置で実行される一連の処理のタイムチャートである。
なお、
図12では便宜上、各処理の間の遅延時間の図示を省略している。前記したように、制御部5A(
図10参照)は、発光タイミング制御信号S0をONにして発光部1を発光させるとともに(発光処理)、露光タイミング制御信号S1,S2,S3を順次にONにする(受光処理)。
【0069】
そして、制御部5Aは、露光タイミング制御信号S1に基づく電荷量Q1に対して、所定のA/D変換を行い、第1撮像信号M1を生成する。同様に、制御部5Aは、露光タイミング制御信号S2に基づく電荷量Q2に対して、所定のA/D変換を行い、第2撮像信号M2を生成する。また、制御部5Aは、露光タイミング制御信号S3に基づく電荷量Q3に対して、所定のA/D変換を行い、第3撮像信号M3を生成する。なお、
図12の合成処理から後の各処理については、後記する。
【0070】
図10に示す合成部52は、以下の(式7)に基づいて、合成信号を生成する。なお、(式7)に含まれる値α,βは、0よりも大きく、かつ、1よりも小さい所定の値として予め設定されている。また、(α+β)<1とする。
【0071】
(合成信号)=(第1撮像信号)×α+(第2撮像信号)×β+(第3撮像信号)×(1-α-β)・・・(式7)
【0072】
図13は、第1撮像信号M1、第2撮像信号M2、及び第3撮像信号M3に基づいて、合成信号が生成される例を示す説明図である。
なお、
図13の例では、前記した(式7)において、α=1/3、β=1/3としている。このようにして生成された合成信号は、受光した光の輝度分布を示すデータとして、合成部52(
図10参照)から平滑化部53(
図10参照)に出力される。
【0073】
なお、平滑化部53(
図10参照)や雑音低減制御信号生成部54(
図10参照)が実行する処理については、第1実施形態と同様である。すなわち、制御部5Aは、電荷量Q1(第1受光量)に基づく第1撮像信号M1と、電荷量Q2(第2受光量)に基づく第2撮像信号M2と、電荷量Q3(第3受光量)に基づく第3撮像信号M3と、を画素ごとに所定に合成してなる合成信号を用いて、雑音低減制御信号b
i,j(m,n)を生成する。雑音低減制御信号生成部54によって生成された雑音低減制御信号b
i,j(m,n)は、第1雑音低減部55、第2雑音低減部56、及び第3雑音低減部58にそれぞれ出力される。
【0074】
また、第1雑音低減部55、第2雑音低減部56、及び第3雑音低減部58の各処理も、第1実施形態で説明した第1雑音低減部55等(
図2参照)の処理と同様である。すなわち、制御部5Aは、第1撮像信号M1、第2撮像信号M2、及び第3撮像信号M3のそれぞれにおいて、雑音低減制御信号b
i,j(m,n)で位置が示される画素の画素値の和を当該画素の個数で除算してなる平均値を、新たな画素値として置き換える雑音低減処理を行う。
【0075】
図10に示す距離演算部57は、第1雑音低減部55の出力画素値O1(i,j)と、第2雑音低減部56の出力画素値O2(i,j)と、第3雑音低減部58の出力画素値O3(i,j)と、に基づいて、受光部2から対象物までの距離データD(i,j)を画素ごとに算出する。なお、遅延時間Td(
図11参照)と、露光タイミング制御信号S1,S2,S3がON状態で維持される所定時間T0との大小関係によって、距離の計算方法が異なる。
【0076】
例えば、遅延時間Tdが所定時間T0未満である場合、露光タイミング制御信号S1,S2が順次に出力される期間(
図11の時刻t1~t5)に、対象物からの反射光の全てが露光される。このとき、露光タイミング制御信号S3に基づく電荷量Q3は、露光タイミング制御信号S1に基づく電荷量Q1よりも小さくなる。
【0077】
一方、遅延時間Tdが所定時間T0以上である場合、露光タイミング制御信号S2,S3が出力される期間に、対象物からの反射光の全てが露光される。このとき、露光タイミング制御信号S1に基づく電荷量Q1は、露光タイミング制御信号S3に基づく電荷量Q3以上になる。そこで、距離演算部57は、以下の(式8)の判定処理を行う。
【0078】
Q1>Q3 であるとき、(判定結果)=0
Q1≦Q3 であるとき、(判定結果)=1 ・・・(式8)
【0079】
例えば、(式8)の判定結果が“0”である場合、距離演算部57は、以下の(式9)に基づいて、距離データD(i,j)を算出する。
【0080】
【0081】
なお、(式9)における距離データD(i,j)は、画素(i,j)における対象物までの距離を示すデータである。また、(式9)におけるT0は、対象物に照射される光のパルス幅であり(
図11参照)、cは光速(3×10
8[m/s])である。また、O1(i,j)は第1撮像信号M1に対応する出力画素値であり、O2(i,j)は第2撮像信号M2に対応する出力画素値であり、O3は第3撮像信号M3に対応する出力画素値である。このような(式9)に基づく演算によって、対象物までの距離が、画素ごと(測定位置ごと)に算出される。
【0082】
一方、前記した(式8)の判定結果が“1”である場合、距離演算部57は、以下の(式10)に基づいて、距離データD(i,j)を算出する。
【0083】
【0084】
そして、制御部5は、画素位置(i,j)を順にずらしながら、全ての画素について、距離の演算を行う。その結果、対象物までの距離を画素ごとに示す距離画像が生成される。
【0085】
<効果>
第2実施形態によれば、対象物までの距離の長さによって、電荷量Q1,Q3のうちいずれか一方が外光成分のみになる。したがって、電荷量Q1又は電荷量Q3のデジタル値に基づいて、外光成分を所定に減算することで、反射光成分を抽出できる。したがって、第2実施形態によれば、第1実施形態よりもさらに高精度で距離を測定できる。また、1回の発光に対して、タイミングをずらして3回の露光を順次に行うことで、測定可能な距離の上限を第1実施形態の場合の2倍にすることができる。
【0086】
≪第3実施形態≫
第3実施形態は、制御部5B(
図14参照)が、第1撮像信号M1及び第2撮像信号M2のそれぞれについて平滑化処理や雑音低減制御信号生成処理を個別で行った後、合成処理を行う点が、第1実施形態とは異なっている。なお、その他については、第1実施形態と同様である。したがって、第1実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
【0087】
図14は、第3実施形態に係る距離測定装置100Bの制御部5Bを含む機能ブロック図である。
図14に示すように、距離測定装置100Bの制御部5Bは、撮像制御部51と、第1平滑化部53aと、第2平滑化部53bと、第1雑音低減制御信号生成部54aと、第2雑音低減制御信号生成部54bと、合成部52Bと、を備えている。また、制御部5Bは、前記した構成の他に、第1雑音低減部55と、第2雑音低減部56と、距離演算部57と、を備えている。
【0088】
図14に示すように、受光部2で生成された第1撮像信号M1は、第1平滑化部53a及び第1雑音低減部55のそれぞれに出力される。また、受光部2で生成された第2撮像信号M2は、第2平滑化部53b及び第2雑音低減部56のそれぞれに出力される。
【0089】
第1平滑化部53aは、第1撮像信号M1に所定のフィルタ処理を施して平滑化する。なお、第1平滑化部53aで用いられるフィルタは、例えば、平均フィルタであってもよいし、ガウシアンフィルタやメディアンフィルタであってもよい。同様に、第2平滑化部53bは、第2撮像信号M2に所定のフィルタ処理を施して平滑化する。
【0090】
第1雑音低減制御信号生成部54aは、第1平滑化部53aから入力される画像データに基づいて、第1雑音低減制御信号b1i,j(m,n)を生成する。一方、第2雑音低減制御信号生成部54bは、第2平滑化部53bから入力される画像データに基づいて、第2雑音低減制御信号b2i,j(m,n)を生成する。
【0091】
なお、第1雑音低減制御信号生成部54aや第2雑音低減制御信号生成部54bの処理については、第1実施形態で説明した雑音低減制御信号生成部54(
図2参照)の処理と同様である。すなわち、制御部5Bは、電荷量Q1(第1受光量)に基づく第1撮像信号M1を用いて、所定の第1雑音低減制御信号(第1制御信号)b1
i,j(m,n)を生成するとともに、電荷量Q2(第2受光量)に基づく第2撮像信号M2を用いて、所定の第2雑音低減制御信号(第2制御信号)b2
i,j(m,n)を生成する。
【0092】
なお、前記した第1雑音低減制御信号(第1制御信号)b1i,j(m,n)とは、第1撮像信号M1に含まれる各画素のうち、雑音低減処理の対象となる画素の位置を示すとともに、対象となる画素の近傍の画素のうち、その画素値と対象となる画素の画素値との差の絶対値が所定値以下であるものの位置を示す信号である。
【0093】
また、前記した第2雑音低減制御信号(第2制御信号)b2i,j(m,n)とは、第2撮像信号M2に含まれる各画素のうち、雑音低減処理の対象となる画素の位置を示すとともに、対象となる画素の近傍の画素のうち、その画素値と前記対象となる画素の画素値との差の絶対値が所定値以下であるものの位置を示す信号である。
【0094】
第1雑音低減制御信号生成部54aで生成された第1雑音低減制御信号b1i,j(m,n)と、第2雑音低減制御信号生成部54bで生成された第2雑音低減制御信号b2i,j(m,n)とは、それぞれ、合成部52に出力される。
【0095】
合成部52は、例えば、第1雑音低減制御信号b1i,j(m,n)と、第2雑音低減制御信号b2i,j(m,n)と、の積演算を各要素(m,n)について行うことで、合成信号を生成する。具体的に説明すると、合成部52は、各要素(m,n)について、第1雑音低減制御信号b1i,j(m,n)の値が“1”であり、かつ、第2雑音低減制御信号b2i,j(m,n)の値が“1”であるものについては、合成後の雑音低減制御信号bi,j(m,n)の値を“1”とする。また、合成部52は、第1雑音低減制御信号b1i,j(m,n)、及び、第2雑音低減制御信号b2i,j(m,n)のうち少なくとも一方の値が“0”であるものについては、合成後の雑音低減制御信号bi,j(m,n)の値を“0”とする。
【0096】
このように、制御部5Bは、第1雑音低減制御信号(第1制御信号)b1
i,j(m,n)と、第2雑音低減制御信号(第2制御信号)b1
i,j(m,n)と、を画素ごとに所定に合成してなる合成信号に基づいて、雑音低減制御信号b
i,j(m,n)を生成する。合成後の雑音低減制御信号b
i,j(m,n)は、合成部52から第1雑音低減部55に出力されるとともに、第2雑音低減部56に出力される。なお、
図14に示す第1雑音低減部55、第2雑音低減部56、及び距離演算部57の各処理については、第1実施形態と同様であるから、説明を省略する。
【0097】
<効果>
第3実施形態によれば、制御部5Bが、第1撮像信号M1を平滑化した信号に基づいて、第1雑音低減制御信号b1i,j(m,n)を生成し、また、第2撮像信号M2を平滑化した信号に基づいて、第2雑音低減制御信号b2i,j(m,n)を生成する。ここで、第1撮像信号M1の各画素値は電荷量Q1に由来し、また、第2撮像信号M2の各画素値は電荷量Q2に由来しており、対象物までの距離の長さがそのまま反映されている。このような第1撮像信号M1と第2撮像信号M2とを合成する(つまり、各要素の積演算を行う)ことで、雑音低減処理の対象とする画素を適切に抽出し、ひいては、対象物までの距離を第1実施形態よりもさらに高精度に算出できる。
【0098】
≪変形例≫
以上、距離測定装置100等について各実施形態で説明したが、本発明はこれらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、第1実施形態では、第1撮像信号M1や第2撮像信号M2において、雑音低減制御信号bi,j(m,n)で指定された位置の画素値の平均を算出し、その算出結果を出力信号値とする処理について説明したが、これに限らない。すなわち、制御部5が行う雑音低減処理は、第1撮像信号M1及び第2撮像信号M2のそれぞれにおいて、雑音低減制御信号で位置bi,j(m,n)が示される画素の画素値に基づき、対象となる画素の位置を基準として算出した加重平均を、新たな画素値として置き換える処理であってもよい。具体的には、対象となる画素の近傍の画素において、対象となる画素までの距離が短いほど、加重平均を行う際の重み付けを大きくするようにしてもよい。その他にも、雑音低減制御信号bi,j(m,n)に基づいて、複数の画素の画素値を抽出し、これらの画素値のの中央値(メディアン)を、出力信号値としてもよい。なお、第2実施形態(第1撮像信号M1、第2撮像信号M2、及び第3撮像信号M3を用いる場合)の他、第3実施形態についても同様のことがいえる。
【0099】
また、第2実施形態では、距離演算部57(
図10参照)が対象物までの距離を算出する段階で、外光成分を除去し、反射光成分を抽出する処理について説明したが、これに限らない。すなわち、制御部5A(
図10参照)が、第1撮像信号M1、第2撮像信号M2、及び第3撮像信号M3に基づいて、反射光成分が抽出された2つの信号を生成し、これらの2つの信号に基づいて、対象物までの距離を算出するようにしてもよい。
【0100】
また、第1実施形態では、制御部5(
図2参照)が平滑化部53を備える構成について説明したが、これに限らない。すなわち、平滑化部53を省略し、合成部52から雑音低減制御信号生成部54に合成信号が出力されるようにしてもよい。なお、第2実施形態や第3実施形態についても同様のことがいえる。
【0101】
また、各実施形態では、距離測定装置100(
図1参照)と表示装置200(
図1参照)とが別体である構成について説明したが、これに限らない。すなわち、距離測定装置100が、距離画像を所定に表示する表示部(図示せず)を備えるようにしてもよい。
また、第1実施形態では、対象物までの距離を測定する際、発光タイミング制御信号S0(
図3参照)や露光タイミング制御信号S1,S2(
図3参照)が1回ずつ生成される場合について説明したが、制御部5が各信号を所定周期で複数回生成し、電荷量Q1,Q2を蓄積するようにしてもよい。なお、第2実施形態や第3実施形態についても同様である。
【0102】
また、各実施形態は、適宜に組み合わせることが可能である。例えば、第2実施形態と第3実施形態とを組み合わせて、次の処理を行うようにしてもよい。すなわち、制御部5は、まず、電荷量Q1(第1受光量)に基づく第1撮像信号M1を用いて、所定の第1制御信号を生成するとともに、電荷量Q2(第2受光量)に基づく第2撮像信号M2を用いて、所定の第2制御信号を生成し、さらに、電荷量Q3(第3受光量)に基づく第3撮像信号M3を用いて、所定の第3制御信号を生成する。前記した第1制御信号とは、第1撮像信号M1に含まれる各画素のうち、雑音低減処理の対象となる画素の位置を示すとともに、対象となる画素の近傍の画素のうち、その画素値と対象となる画素の画素値との差の絶対値が所定値以下であるものの位置を示す信号である。なお、第2制御信号や第3制御信号についても同様である。そして、制御部5は、第1制御信号と、第2制御信号と、第3制御信号と、を画素ごとに所定に合成してなる合成信号に基づいて、雑音低減制御信号bi,j(m,n)を生成する。これによって、対象物までの距離の長さが画素値として反映された第1撮像信号M1、第2撮像信号M2、及び第3撮像信号M3の合成信号に基づいて、雑音低減制御信号bi,j(m,n)を適切に算出できる。さらに、対象物までの距離を算出する際、外光成分が除去されるため、対象物までの距離を高精度に算出できる。
【0103】
また、各実施形態で説明した雑音低減制御信号bi,j(m,n)は一例であり、他の所定の方法で生成した雑音低減制御信号bi,j(m,n)を、第1撮像信号M1や第2撮像信号M2の画素ごとに共通して用いるようにしてもよい。
【0104】
また、各実施形態で説明した距離測定装置100の機能を実現するプログラムの全部又は一部を、サーバ(図示せず)等の一つ又は複数のコンピュータが実行するようにしてもよい。前記したプログラムは、通信回線を介して提供することもできるし、CD-ROM等の記録媒体に書き込んで配布することも可能である。
【0105】
また、各実施形態は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、前記した各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、前記した各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。また、前記した機構や構成は説明上必要と考えられるものを示しており、製品上必ずしも全ての機構や構成を示しているとは限らない。
【符号の説明】
【0106】
1 発光部
2 受光部
3 基準クロック生成部
4 記憶部
5,5A,5B 制御部
6 距離画像出力部
51 撮像制御部
200 表示装置
52,52B 合成部
53 平滑化部
53a 第1平滑化部
53b 第2平滑化部
54 雑音低減制御信号生成部
54a 第1雑音低減制御信号生成部
54b 第2雑音低減制御信号生成部
55 第1雑音低減部
56 第2雑音低減部
57 距離演算部
58 第3雑音低減部
100,100A,100B 距離測定装置
J 対象物
M1 第1撮像信号
M2 第2撮像信号
M3 第3撮像信号
Q1 電荷量(第1受光量)
Q2 電荷量(第2受光量)
Q3 電荷量(第3受光量)