特許 6987033 撮影タイミング制御装置、撮像システムおよび撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6987033

(24)【登録日】2021年12月2日

(45)【発行日】2021年12月22日

(54)【発明の名称】撮影タイミング制御装置、撮像システムおよび撮像方法

(51)【国際特許分類】

   H04N 5/235 20060101AFI20211213BHJP

   H04N 5/232 20060101ALI20211213BHJP

   H04N 5/225 20060101ALI20211213BHJP

   G03B 35/08 20210101ALI20211213BHJP

   G03B 7/00 20210101ALI20211213BHJP

   G01B 11/245 20060101ALI20211213BHJP

   G01B 11/25 20060101ALI20211213BHJP

【ＦＩ】

   H04N5/235 700

   H04N5/232 030

   H04N5/232 290

   H04N5/232 300

   H04N5/225 600

   G03B35/08

   G03B7/00

   G01B11/245 H

   G01B11/25 H

   H04N5/235 300

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2018-161988(P2018-161988)

(22)【出願日】2018年8月30日

(65)【公開番号】特開2020-36227(P2020-36227A)

(43)【公開日】2020年3月5日

【審査請求日】2021年3月17日

(73)【特許権者】

【識別番号】000001096

【氏名又は名称】倉敷紡績株式会社

(74)【代理人】

【識別番号】100167988

【弁理士】

【氏名又は名称】河原 哲郎

(72)【発明者】

【氏名】佐藤 稔久

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開平２−２７１７８４（ＪＰ，Ａ）

【文献】 特開平２−１６１８７７（ＪＰ，Ａ）

【文献】 特開平３−２４１９７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３５

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２２５

Ｇ０３Ｂ ３５／０８

Ｇ０３Ｂ ７／００

Ｇ０１Ｂ １１／２４５

Ｇ０１Ｂ １１／２５

(57)【特許請求の範囲】

【請求項1】

強度が変動する環境光の下で撮影を行う撮像装置とともに用いられる撮影タイミング制御装置であって、
前記環境光の光量を測定する光量センサと、
前記撮像装置が露光を開始してからの前記環境光の積算光量を前記光量センサの測定値に基づいて求め、当該積算光量が所定値に達すると露光終了指示を前記撮像装置に送信する解析部とを有する、
撮影タイミング制御装置。

【請求項2】

前記撮像装置とは別個の装置として構成され、該撮像装置に接続して用いられる、
請求項１に記載の撮影タイミング制御装置。

【請求項3】

請求項１または２に記載された撮影タイミング制御装置と、
前記露光終了指示を受信して露光を終了する前記撮像装置と、
を有する撮像システム。

【請求項4】

前記撮像装置によって撮像された画像を用いて画像処理を行う画像処理部を有する、
請求項３に記載の撮像システム。

【請求項5】

前記撮像装置が前記画像処理部を内蔵する三次元計測装置である、
請求項４に記載の撮像システム。

【請求項6】

前記撮像装置が撮像された画像を画像処理装置に転送する、
請求項３に記載の撮像システム。

【請求項7】

前記撮像装置が複数の撮像部を有するステレオカメラである、
請求項３〜６のいずれか一項に記載の撮像システム。

【請求項8】

前記撮像装置が、
対象物にパターンを投影するパターン投影部と、
前記パターンの投影がなされた前記対象物を撮像する１以上の撮像部と、
前記パターン投影部および前記撮像部を制御する制御部とを有する、
請求項３〜６のいずれか一項に記載の撮像システム。

【請求項9】

撮像装置が露光を開始する工程と、
前記露光を開始してからの環境光の積算光量を撮影タイミング制御装置によって監視する工程と、
前記環境光の前記積算光量が所定値に達した時に、前記撮影タイミング制御装置から前記撮像装置に露光終了指示を送信する工程と、
前記露光終了指示を受信した前記撮像装置が前記露光を終了する工程と、
を有する撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、周期的または非周期的に変動する環境光の下で行う撮像、特にそのような撮像における撮影タイミングの制御に関する。

【背景技術】

【0002】

各種製品の検査やロボットの視覚センサなどの用途に高速な撮像装置が用いられる。そのような撮像装置では露光時間が短く、例えば１ｍｓ程度であるため、ある種の室内照明下など撮像を実施する空間の環境光が周期的に変動する場合や、屋外などで環境光が非周期的に変動する場合には、撮影するタイミングによって得られる画像の明るさにばらつきが生じる。

【0003】

この問題に対して、特許文献１には、照明の明滅周期より短い蓄光時間で高速撮影を行う高速度カメラのフリッカーを抑圧することを目的として、撮影のフィールド周波数と光源フリッカー周波数の関係から画像の信号レベルが変動する周期当たりの撮影回数Ｍを求め、Ｍフィールド分の信号レベルと平均値との差を記憶しておき、撮影毎にＭフィールド前の情報を用いて信号レベルを補正するフリッカー抑圧装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−１８７６０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に記載された方法は一定のフィールド周波数で連続撮影を行うことを前提としており、必要に応じて都度撮影を行う場合や、一定でない間隔で連続して撮影を行う場合には用いることができない。また、撮影画像からフリッカーの周期を検出しているため、撮像時間よりも周期の短いフリッカーを検出することができない。

【0006】

本発明は、上記を考慮してなされたものであり、変動する環境光の下で撮像を行っても画像間の明暗のばらつきを抑制できる撮影タイミング制御装置、撮像システムおよび撮像方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の撮影タイミング制御装置は、強度が変動する環境光の下で撮影を行う撮像装置とともに用いられる撮影タイミング制御装置であって、前記環境光の光量を測定する光量センサと、前記撮像装置が露光を開始してからの前記環境光の積算光量を前記光量センサの測定値に基づいて求め、当該積算光量が所定値に達すると露光終了指示を前記撮像装置に送信する解析部とを有する。

【0008】

この構成により、環境光の強度が変動しても、撮像装置が撮像する画像間の明暗のばらつきを抑えることができる。環境光の強度の変動は、周期的な変動であっても非周期的な変動であっても含まれる。

【0009】

好ましくは、上記撮影タイミング制御装置は、前記撮像装置とは別個の装置として構成され、該撮像装置に接続して用いられる。これにより、撮影タイミング制御装置を生産工程の自動化を図るための市販のＦＡカメラ等に接続して使用することができ、撮影タイミング制御装置の汎用性が高まる。

【0010】

本発明の撮像システムは、上記撮影タイミング制御装置と、前記露光終了指示を受信して露光を終了する前記撮像装置とを有する。

【0011】

好ましくは、上記撮像システムは、前記撮像装置によって撮像された画像を用いて画像処理を行う画像処理部を有する。この場合において、より好ましくは、前記撮像装置が撮像対象物の前記画像処理部を内蔵する三次元計測装置である。

【0012】

あるいは好ましくは、前記撮像装置は、撮像された画像を画像処理装置に転送する撮像装置である。

【0013】

好ましくは、前記撮像装置は、複数の撮像部を有するステレオカメラである。これにより、撮像装置が画像処理部を有するときは撮像装置をステレオ方式の三次元計測装置とすることができるし、撮像装置が画像処理部を有しないときは、ステレオカメラである撮像装置から他の画像処理装置に画像を転送することで、ステレオ法による三次元計測が可能となる。

【0014】

あるいは好ましくは、前記撮像装置は、対象物にパターンを投影するパターン投影部と、前記パターンの投影がなされた前記対象物を撮像する１以上の撮像部と、前記パターン投影部および前記撮像部を制御する制御部とを有していてもよい。これにより、撮像装置が画像処理部を有するときは撮像装置をパターン投影方式の三次元計測装置とすることができるし、撮像装置が画像処理部を有しないときは、撮像装置から他の画像処理装置に画像を転送することでパターン投影法による三次元計測が可能となる。

【0015】

本発明の撮像方法は、撮像装置が露光を開始する工程と、前記露光を開始してからの環境光の積算光量を撮影タイミング制御装置によって監視する工程と、前記環境光の前記積算光量が所定値に達した時に、前記撮影タイミング制御装置から前記撮像装置に露光終了指示を送信する工程と、前記露光終了指示を受信した前記撮像装置が前記露光を終了する工程とを有する。

【発明の効果】

【0016】

本発明の撮影タイミング制御装置、撮像システムまたは撮像方法によれば、露光開始からの環境光の積算光量が所定値に達した時に露光を終了するので、周期的または非周期的に変動する環境光の下で撮像を行っても、異なる時刻に撮像した画像間の明暗のばらつきが抑制される。

【図面の簡単な説明】

【0017】

【図1】第１実施形態の撮像システムの構成を示す図である。

【図2】第１実施形態の撮像システムの動作の流れを示す図である。

【図3】第１実施形態の撮像システムによる環境光の積算光量の測定方法を説明するための図である。

【図4】第１実施形態の撮像システムによる撮影のタイミングと露光される環境光の光量を説明するための図である。

【図5】第２実施形態の撮像システムの構成を示す図である。

【図6】第３実施形態の撮像システムの構成を示す図である。

【図7】第３実施形態の撮像システムのパターン投影時間設定例の流れを示す図である。

【図8】第３実施形態の撮像システムの撮影タイミング制御装置による環境光の周期的変動の解析方法を説明するための図である。

【図9】第３実施形態の撮像システムによるパターン投影時間の設定方法を説明するための図である。

【図10】第３実施形態の撮像システムの動作の流れを示す図である。

【図11】第３実施形態の撮像システムによる撮像時の露光とパターン投影のタイミングを示す図である。

【図12】環境光の強度の変動と撮影のタイミングの関係を説明するための図である。

【図13】環境光の強度の変動と撮影のタイミングの関係を説明するための図である。

【発明を実施するための形態】

【0018】

本発明の実施形態の説明に先立って、環境光の強度の変動によって画像間に明暗のばらつきが生じる理由を説明する。

【0019】

図１２および図１３は環境光の強度の変動（以下、単に「環境光の変動」という）を示したものであり、縦軸が環境光の強度Ｉ_Ａ、横軸が時間ｔの経過を示している。なお、実際の環境光の変動の原因は様々である。例えば、インバーター式でない蛍光灯では、強度が電圧の二乗に比例して、商用電源に由来する１００Ｈｚや１２０Ｈｚの周波数で変動する。また、ＬＥＤのパルス点灯方式では、製造者によって異なる数百Ｈｚ〜数十ｋＨｚの周波数でＬＥＤが点滅し、点灯する時間の長さ（パルスの幅）によって光量が増減される。また、工場などの光源因子が複雑・多彩な場所では環境光は複雑に変動するし、車載カメラから車外を撮影するときには対向車のライト、トンネルの通過などで、環境光は非周期的に変動する。

【0020】

図１２において、環境光の強度Ｉ_Ａは時間ｔの経過とともに変動する。このとき露光時間τ_Ｅで撮影したときに画像に記録される環境光の光量Ｌ_Ａは図中に斜線を施した部分の面積に相当する。露光時間τ_Ｅが同じでも、露光を開始するタイミングによって得られる画像の明るさに差が生じる。例えば図１２では、時刻ｔ_ａからｔ_ｂまで露光した場合と時刻ｔ_ｃからｔ_ｄまで露光した場合とでは得られる画像の明るさに差が生じる。画像間の明るさのばらつきを抑えるには、露光時間τ_Ｅ内の環境光の積算光量Ｌ_Ａを一定にする必要がある。

【0021】

図１３を参照して、同じ現象は露光時間τ_Ｅがより長い場合にも起こり得る。環境光の変動の影響の程度は環境光の波形に大きく依存するが、例えば環境光が周期的に変動する場合には、露光時間τ_Ｅが環境光の周期の１０倍以下である場合は複数の画像間で明暗のばらつきが無視できないことがある。例えば露光時間τ_Ｅが１ｍｓなら、環境光の変動周期が１００μｓ以上（周波数１０ｋＨｚ以下）である場合は複数の画像間で明暗のばらつきが無視できないことがある。

【0022】

本発明の撮像システムの第１実施形態を図１〜図４に基づいて説明する。

【0023】

図１を参照して、本実施形態の撮像システム１０は対象物Ｏを撮像する。撮像システム１０は撮像装置１１と撮影タイミング制御装置１６を備える。撮像装置１１は単一の撮像部１２と、制御部１４と画像処理部１５を有する。撮影タイミング制御装置１６は光量センサ１７と解析部１８を有する。

【0024】

撮像装置１１の撮像部１２はレンズで光を撮像素子に集光して撮像する。撮像素子としてはＣＣＤやＣＭＯＳセンサなどを用いることができる。撮像素子はグローバルシャッター方式のものが好ましい。

【0025】

制御部１４は撮像部１２と画像処理部１５を含む撮像装置１１全体を制御する。具体的には、制御部１４は撮像部１２に露光の開始、露光の終了、撮像素子からの画像の転送などを指示する。なお、本明細書中で「露光開始」、「撮影開始」、「撮像開始」および「シャッター開」は同じ意味で用いられ、「露光終了」、「撮影終了」および「シャッター閉」は同じ意味で用いられる。制御部１４は撮影終了後、撮像部１２から画像処理部１５に画像を転送する。

【0026】

画像処理部１５は、撮像された画像を処理する。画像処理の内容としては、複数の画像の比較、差分、合成などが挙げられる。撮像装置１１が三次元計測装置である場合、画像処理部１５は、後撮像対象物Ｏの三次元座標を算出するための画像処理を行う。三次元座標を算出するための画像処理方法は、後述する。なお、図１に示した本実施形態の撮像システム１０では撮像装置１１が画像処理部１５を内蔵しているが、撮像システムの構成はこれには限られない。撮像装置１１が画像処理部１５を有さず、撮像システム１０の外部に設けたパソコン等を画像処理装置として画像を処理してもよい。その場合、制御部１４は撮像部１２から外部の画像処理装置に画像を転送する。

【0027】

撮影タイミング制御装置１６の光量センサ１７は環境光の光量を測定する。光量センサは、必ずしも対象物Ｏに向かって測定しなくてもよく、環境光の変動が観測しやすい向きに配置すればよい。また、光量センサの前面に拡散板を設けてもよく、これにより対象物Ｏの形状や位置の変化の影響を抑えながら環境光の光量を測定できる。

【0028】

解析部１８は、露光開始からの環境光の積算光量を光量センサの測定値に基づいて求め、その積算光量の推移を監視する。解析部はさらに、撮像装置１１の制御部１４と接続されて各種の通信を行う。

【0029】

なお、撮影タイミング制御装置１６の解析部１８と撮像装置１１の制御部１４は物理的に１台の計算機等で構成されていてもよい。一方、環境光の積算光量を求めるための光量センサ１７は撮像装置１１の撮像部１２とは別に設けられる。撮像部１２の撮像素子を用いて環境光の光量を測定することも可能であるが、光量センサを別に設けることにより、積算光量の監視から撮像終了への切り替えの手順が単純になるからである。また、光量センサを別に設けることにより、環境光の変動を観測しやすい向きに光量センサを配置でき、対象物Ｏからの反射光の影響を除いた環境光の変動のみを観測することができるからである。

【0030】

好ましくは、撮影タイミング制御装置１６と撮像装置１１は物理的に別個の装置として構成される。これにより、工場等における生産工程の自動化を図るための市販のＦＡカメラ等を撮像装置として、これに撮影タイミング制御装置１６を接続することにより本実施形態の撮像システムを実現できるので、撮影タイミング制御装置の汎用性が高まる。

【0031】

次に、本実施形態の撮像システム１０の動作を説明する。

【0032】

図２を参照して、撮像システム１０による撮像において、撮影タイミング制御装置１６は、露光開始の指示（Ｓ１）、積算光量の監視（Ｓ２）および露光終了の指示（Ｓ４）を行う。撮像装置１１は撮像を行う（Ｓ３）。図２において、撮影タイミング制御装置１６と撮像装置１１の間の通信は解析部１８と制御部１４の間で行われる。以下に各ステップの詳細を説明する。

【0033】

撮像装置１１から撮像準備完了通知を受信した後、撮影タイミング制御装置１６は、撮像装置１１に露光開始指示を送信する（Ｓ１）。

【0034】

撮影タイミング制御装置１６は、露光開始指示の送信と同時に環境光の積算光量の監視を開始する（Ｓ２）。図３に示すように、光量センサ１７が微小時間Δτ毎に環境光の光量ΔＬ_Ａを繰り返し測定する。ここで環境光の強度Ｉ_ＡはＩ_Ａ＝ΔＬ_Ａ／Δτで求められる。図４を参照して、解析部１８は光量センサの測定値に基づいて、露光開始（時刻ｔ_１）からの環境光の積算光量Ｌ_Ａを求め、その推移を監視する。そして、撮影タイミング制御装置１６は、環境光の積算光量Ｌ_Ａが所定値Ｌ_＊に達すると（時刻ｔ_２）、撮像装置１１に露光終了指示を送信する。

【0035】

図２に戻り、撮像装置１１は、撮影タイミング制御装置１６から露光開始指示を受信すると撮像を行う（Ｓ３）。撮像装置１１の制御部１４が撮像部１２を制御して、シャッターを開いて露光を開始する（Ｓ３１）。そして、撮像装置１１は、撮影タイミング制御装置１６から露光終了指示を受信すると、制御部１４が撮像部１２を制御して、シャッターを閉じて露光を終了し（Ｓ３２）、画像を撮像部１２から画像処理部１５に転送する。以上で１回の撮像が完了する。

【0036】

引き続き撮像を行う場合は、撮像装置１１から撮影タイミング制御装置１６への撮像準備完了通知が送信され、以降の動作が繰り返される。

【0037】

所要の回数の撮像が完了した後、画像処理部１５が撮像の目的に応じた画像処理を行う（Ｓ５）。

【0038】

上記動作の変形例として、撮像装置１１が露光を開始するとともに撮影タイミング制御装置１６に露光開始通知を送信し、露光開始通知を受信した撮影タイミング制御装置が環境光の積算光量の測定を開始してもよい。

【0039】

なお、光量センサ１７が受光する環境光の光量と撮像部１２が受光する環境光の光量に差があっても通常は無視できる。撮像の目的にかなう画像の輝度レベルには幅があり、環境光の露光量の許容範囲にも幅があるからである。光量センサと撮像部による受光量の差が無視できない場合は、光量センサの配置に合わせて、予め適当な補正係数を求めておくことができる。

【0040】

図４を参照して、本実施形態の撮像システム１０では、任意の時刻に露光を開始して（時刻ｔ_１、ｔ_３）、環境光の積算光量Ｌ_Ａが露光を終了すべき積算光量である所定の値Ｌ_＊に達するのを確認して露光を終了する（時刻ｔ_２、ｔ_４）。露光開始のタイミングによって露光時間τ_Ｅは変化するが、画像に記録される環境光の光量Ｌ_Ａ（＝Ｌ_＊）は一定となる。これにより、異なる時刻に撮像された画像間の明暗のばらつきが抑えられる。この効果により、撮像システム１０は、同一の視野で撮像した画像同士や、同一の対象物を撮像した画像同士を比較する用途に好適に用いることができる。撮像システム１０は例えば、各種製品の検査において同一の視野で撮像した良品の画像との比較によって部品の欠損や色を判定したり、ロボットで取り上げるためにコンベア上を流れてくるワークの位置を判定したりするための視覚センサとして、好適に用いることができる。

【0041】

撮像システム１０は環境光の変動が周期的であるか否かに依らず機能する。環境光の変動が周期的である場合、撮像システム１０の特長を生かすには、環境光の周期Ｔ_Ａに対して露光時間τ_Ｅが短いほど好ましい。両者の比τ_Ｅ／Ｔ_Ａが小さいほど、異なる時刻に撮像された画像間の明暗のばらつきが大きくなるからである。この観点から、露光時間τ_Ｅは好ましくは環境光の周期Ｔ_Ａの１０倍以下であり、より好ましくは５倍以下、さらに好ましくは１倍以下である。例えば、蛍光灯が設置された室内であれば環境光の周期Ｔ_Ａは約８．３ｍｓまたは１０ｍｓであり、これに対して露光時間τ_Ｅがそれぞれ約８３ｍｓ以下または１００ｍｓ以下であれば本実施形態の撮像システム１０を用いるメリットがある。

【0042】

本発明の撮像システムの第２実施形態を図５に基づいて説明する。

【0043】

図５を参照して、本実施形態の撮像システム２０は撮像装置２１と撮影タイミング制御装置１６を備える。撮像装置２１はステレオ方式の三次元計測装置である。撮影タイミング制御装置１６は第１実施形態と同じである。

【0044】

撮像装置２１は２台の撮像部２２Ａ、２２Ｂと制御部２４と画像処理部２５を有する。撮像部２２Ａ、２２Ｂは異なる視点から同時に対象物Ｏを撮像する。制御部２４は撮像部２２Ａ、２２Ｂと画像処理部２５を含む撮像装置２１全体を制御する。画像処理部２５は、撮像された画像を処理して、対象物Ｏの三次元位置および形状を算出する。なお、撮像装置２１が画像処理部２５を有さず、撮像システム２０の外部に画像処理装置を設けて画像処理を行ってもよいことは第１実施形態と同様である。

【0045】

本実施形態の撮像システム２０の動作は、図２に示した第１実施形態のそれと、撮像工程（Ｓ３）が２台の撮像部２２Ａ、２２Ｂによって行われる点で異なる。なお、画像処理部２５による画像処理（Ｓ５）は対象物Ｏの三次元位置および形状を算出する三次元計算である。本実施形態は撮像部が２つである２眼のステレオカメラを用いているが、本発明は３眼のステレオカメラなど、ステレオ方式で三次元計測を行う多眼のステレオカメラに適用することができる。撮像部の数が増えるほど、より多くの画像データから三次元計測をすることができるため、より精度の高い三次元計測が可能になる。

【0046】

ステレオ法による三次元計測は２台のカメラの視差を利用する方法であって、視点の異なる２枚の画像上で計測したい点の対応点を求め、各画像上の対応点および２台のカメラの位置関係から３角測量の原理によって、計測点の三次元位置を算出する方法である。

【0047】

対応点の探索は、対象物のエッジなどの特徴点を画像処理によって抽出して行われる。２枚の画像は同時に撮像されるので、対応する２枚の画像の明るさ（輝度レベル）は揃っている。本実施形態ではさらに、異なる時刻に撮像された画像の明るさが揃うことにより、エッジ等の強度がどの画像においても同程度となり、特徴点の抽出の精度が向上する。

【0048】

また、ワイヤーハーネスや各種ケーブルをロボットで操作する場合のイメージセンサとして、カラーカメラを用いたステレオ法の開発が進められている。この方法は、多数のケーブルが画像内に存在すると対応点の決定が難しいことに対して、画像処理によってまず対象となるケーブルを色で選別してから対応点を探索する方法である。これにより高速な三次元計測が可能となり、ロボットの動作に追従して撮像を繰り返しながら、対象となるケーブルを追跡することが可能となる。しかし、画像の明るさ（輝度レベル）が異なるとケーブルの色調が変わるため、画像間の明暗のばらつきによって、ケーブルの追跡中に色による選別処理が失敗することがあった。本実施形態の撮像システム２０によれば、異なる時刻に撮像された画像間の明るさが揃うため、ケーブルの色による選別を安定して行うことができる。本実施形態の撮像システム２０は、カラーカメラを用いたステレオ法に特に適している。

【0049】

本発明の撮像システムの第３実施形態を図６〜図１１に基づいて説明する。

【0050】

図６を参照して、本実施形態の撮像システム３０は撮像装置３１と撮影タイミング制御装置１６を備える。撮像装置３１は撮像部３２、パターン投影部３３と制御部３４および画像処理部３５を有する。撮像装置３１はパターン投影方式の三次元計測装置である。撮影タイミング制御装置１６は第１実施形態と同じである。

【0051】

ステレオ法による三次元計測において一方のカメラを明暗パターンを投影するプロジェクターに置き換え、他方のカメラで対象物に投影されたパターンを観測することにより、対象物の三次元形状を測定することができる。このいわゆるパターン投影法と呼ばれる方法には、単純な線状パターンを線の幅方向に順次ずらしながら投影する光切断法、明るさや色が滑らかに変化し、変化の方向を逆にした２つのパターンを投影する傾斜光投影法、グレイコードなどの２進符号で明暗をつけたパターンを順番に投影する時系列符号化法など、複数のパターンを逐次投影して撮像を行う方法、投影強度を正弦波に変調した縞パターンを位相をずらしながら投影する位相シフト法など、複数のパターンを逐次投影して撮像を行う方法がある。また、より複雑なパターンを１種類のみ投影して撮像を行うことで、三次元計測をする方法もある。

【0052】

パターンを投影して撮像を行う三次元計測法には、パターン投影を行わない受動的なステレオ法と比べて、対応点の探索が容易であるという利点がある。しかし、取得した複数の画像間で明暗がばらつくと、例えばグレイコード画像の二値化処理において明点と暗点を誤認するなどして、精度よく三次元計測ができないことがあった。

【0053】

以下、本実施形態では複数のパターンを逐次投影する方法について説明する。図６において、撮像装置３１の撮像部３２は第２実施形態の撮像部２２Ａと同じである。撮像装置３１は複数の撮像部３２を備えていてもよい。撮像部の数が増えるほど、より多くの画像データから三次元計測をすることができるため、より精度の高い三次元計測が可能になる。パターン投影部３３は液晶素子などによって複数のパターンを生成し、光源により照射して、対象物Ｏに異なるパターンを逐次投影する。パターン投影部の光源はフリッカーのない光源であることが好ましい。

【0054】

制御部３４は撮像部３２、パターン投影部３３および画像処理部３５を含む撮像装置３１の全体を制御する。具体的には、制御部３４は、撮像部３２に露光の開始、露光の終了、撮像素子からの画像の転送などを指示し、パターン投影部にパターンの選択、投影開始、投影終了などを指示する。制御部３４は撮影終了後、撮像部３２から画像処理部３５に画像を転送する。

【0055】

画像処理部３５は、複数のパターンを撮影した複数の画像を処理して対象物Ｏの三次元位置および形状を算出する。なお、撮像装置３１が画像処理部３５を有さず、撮像システム３０の外部に画像処理装置を設けて画像処理を行ってもよいことは第１および第２実施形態と同様である。

【0056】

本実施形態では、複数のパターンを撮像した複数の画像から対象物Ｏの三次元位置および形状を計算するが、１種類のパターンを撮像した画像から対象物Ｏの三次元位置および形状を計算することもできる。動きのある対象物の経時的な計測をする際、異なる時間に撮像した複数の画像の明るさが揃うので、対象物の変異を計測する三次元計測の精度が向上する。

【0057】

次に、本実施形態の撮像システム３０の動作を説明する。

【0058】

本実施形態では露光時間内の環境光の積算光量を一定にするとともに、露光時間内に測定の対象物Ｏから反射されるパターン光の積算光量（以下、単に「パターン光の積算光量」という）も一定にすることが望ましい。そこで、撮像を行う前に、撮影タイミング制御装置１６がパターン投影時間を設定する。

【0059】

環境光の変動が周期的でない場合は、所定の投影時間でパターン光を投影する。環境光の変動が周期的である場合、例えば以下の手法でパターン投影時間を設定することができる。

【0060】

図７を参照して、まず、撮影タイミング制御装置１６は環境光の周期的変動を解析する（Ｓ０１）。撮影タイミング制御装置は撮像装置３１にパターン消灯を指示する。撮像装置３１では、制御部３４がパターン投影部３３を制御して、パターンが投影中である場合はパターンを消灯する。撮影タイミング制御装置では、光量センサ１７が微小時間Δτ毎に環境光の光量ΔＬ_Ａを繰り返し測定する（図８Ａ）。ここで環境光の強度Ｉ_ＡはＩ_Ａ＝ΔＬ_Ａ／Δτで求められる。Δτを十分に短くすれば、環境光の強度Ｉ_Ａを実質的にリアルタイムで観測できる。例えば、環境光の変動周期の１０分の１〜１００分の１の間隔でサンプリングすれば実質的にリアルタイムで観測できる。解析部１８は、光量センサによる測定値の経時変化に基づいて、環境光の周期的変動の周期Ｔ_Ａと波形を算出する（図８Ｂ）。ここで求める波形は、環境光の強度の絶対値の波形である必要はなく、光量センサが受光する環境光の強度の波形でよい。

【0061】

撮影タイミング制御装置１６はパターン光の強度を算出する（Ｓ０２）。撮影タイミング制御装置は撮像装置３１にパターン投影を指示する。撮像装置３１では、制御部３４がパターン投影部３３を制御して、一つのパターンを投影する。撮影タイミング制御装置の光量センサ１７は、ステップＳ０１で求めた環境光の１周期の間、環境光とパターン光を合わせた全体の光量を測定し、解析部１８が１周期分の環境光の光量を差し引いて、パターン光の強度を算出する。撮影タイミング制御装置は撮像装置３１にパターン消灯を指示し、撮像装置３１はパターンを消灯する。

【0062】

撮影タイミング制御装置１６は、ステップＳ０１で解析した環境光の周期的変動とステップＳ０２で算出したパターン光の強度に基づいて、パターン投影時間を設定する（Ｓ０３）。図９を参照して、環境光の積算光量Ｌ_Ａとパターン光の積算光量Ｌ_Ｐの和Ｌ_Ａ＋Ｌ_Ｐが露光終了設定値Ｌ_＊に最短の露光時間で達する露光開始位相を算出し、この露光開始位相から積算光量和（Ｌ_Ａ＋Ｌ_Ｐ）が露光終了設定値Ｌ_＊に達する時間がパターン投影時間τ_Ｐとして設定される。撮影タイミング制御装置は撮像装置３１に設定されたパターン投影時間τ_Ｐを通知する。

【0063】

次に撮像が実施される。図１０を参照して、撮影タイミング制御装置１６による露光開始の指示（Ｓ１）、積算光量の監視（Ｓ２）、露光終了の指示（Ｓ４）の各ステップは、図２に示した第１実施形態のそれと同じである。撮像装置３１による撮像工程（Ｓ６）では、パターンを投影しながら撮像が行われる。また、複数のパターンを撮像後、対象物Ｏの三次元位置および形状が計算される（Ｓ７）。

【0064】

撮像装置３１は、撮影タイミング制御装置１６から露光開始指示を受信すると撮像を行う（Ｓ６）。撮像装置３１の制御部３４がパターン投影部３３を制御してパターンを投影し、同時に制御部３４が撮像部３２を制御してシャッターを開いて露光を開始する（Ｓ６１）。撮像装置３１は所定のパターン投影時間τ_Ｐが経過するとパターンを消灯する（Ｓ６２）。その後、撮像装置３１は、撮影タイミング制御装置１６から露光終了指示を受信すると、シャッターを閉じて露光を終了する（Ｓ６３）。撮像された画像は撮像部３２から画像処理部３５に転送される。以上で１回の撮像が完了する。

【0065】

次の撮像が可能となると、撮像装置３１から撮影タイミング制御装置１６に撮像準備完了通知が送信され、次のパターンについて撮像が繰り返される。

【0066】

複数のパターンの撮像が完了した後、撮像された複数の画像と、パターン投影部３３と撮像部３２の位置関係に基づいて、撮像装置３１の画像処理部３５によって、対象物Ｏの三次元位置および形状が計算される（Ｓ７）。

【0067】

上記動作に伴う露光およびパターン投影のタイミングを改めて図１１に示す。図１１の上段が環境光の強度Ｉ_Ａ、下段がパターン光の強度Ｉ_Ｐを示している。撮像装置３１が露光およびパターン投影を開始し（時刻ｔ_５）、パターン投影時間τ_Ｐ経過後にパターンが消灯される（時刻ｔ_６）。露光中にパターン投影を終了した後、全体の積算光量Ｌ_Ａ＋Ｌ_Ｐが所定の露光終了設定値Ｌ_＊に達した時点で露光が終了する（時刻ｔ_７）。露光時間τ_Ｅは露光開始のタイミングによって撮影の度に変化するが、画像に記録される環境光の光量Ｌ_Ａは一定となる。また、露光中にパターンが投影される時間τ_Ｐは各撮影で一定なので、画像に記録されるパターン光の光量Ｌ_Ｐも一定となる。なお、パターン投影時間τ_Ｐは露光終了設定値Ｌ_＊が最短で得られる時間としてステップＳ０３で設定されたので、露光時間τ_Ｅは必ずパターン投影時間τ_Ｐと同じかそれ以上となる（τ_Ｅ≧τ_Ｐ）。

【0068】

本実施形態では露光時間内の環境光の積算光量Ｌ_Ａおよび露光時間内のパターン光の積算光量Ｌ_Ｐがともに一定となるので、複数のパターンを撮像した画像間で明るさのばらつきが抑えられ、三次元計測の精度が向上する。さらに、ステップＳ０１〜Ｓ０３によって、常にτ_Ｐ≦τ_Ｅとなる最大のτ_Ｐを設定するので、撮像された画像のＳ／Ｎ比を大きくすることができる。

【0069】

本発明は、上記の実施形態に限定されるものではなく、その技術的思想の範囲内で種々の変形が可能である。

【符号の説明】

【0070】

１０、２０、３０ 撮像システム
１１、２１、３１ 撮像装置
１２、２２Ａ、２２Ｂ、３２ 撮像部
３３ パターン投影部
１４、２４、３４ 制御部
１５、２５、３５ 画像処理部
１６ 撮影タイミング制御装置
１７ 光量センサ
１８ 解析部
Ｉ_Ａ 環境光強度
Ｉ_Ｐ パターン光強度
Ｌ_Ａ 環境光積算光量
Ｌ_Ｐ パターン光積算光量
Ｌ_＊ 露光を終了すべき積算光量
Ｏ 対象物
ｔ 時刻
Ｔ_Ａ 環境光が周期的に変動する場合の変動周期
τ_Ｅ 露光時間
τ_Ｐ パターン投影時間
θ 位相

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】