特許 7074617 撮影タイミング制御装置、撮像システムおよび撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-16

(45)【発行日】2022-05-24

(54)【発明の名称】撮影タイミング制御装置、撮像システムおよび撮像方法

(51)【国際特許分類】

   H04N 5/235 20060101AFI20220517BHJP

   H04N 5/232 20060101ALI20220517BHJP

   H04N 5/225 20060101ALI20220517BHJP

   G01B 11/24 20060101ALI20220517BHJP

   G01B 11/25 20060101ALI20220517BHJP

   G03B 7/093 20210101ALI20220517BHJP

   G03B 35/08 20210101ALI20220517BHJP

【ＦＩ】

H04N5/235 700

H04N5/232 030

H04N5/232 290

H04N5/232 300

H04N5/225 600

G01B11/24 K

G01B11/25 H

G03B7/093

G03B35/08

【請求項の数】 9

(21)【出願番号】P 2018161985

(22)【出願日】2018-08-30

(65)【公開番号】P2020036226

(43)【公開日】2020-03-05

【審査請求日】2021-03-17

(73)【特許権者】

【識別番号】000001096

【氏名又は名称】倉敷紡績株式会社

(74)【代理人】

【識別番号】100167988

【弁理士】

【氏名又は名称】河原 哲郎

(72)【発明者】

【氏名】佐藤 稔久

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１６－０３９４９９（ＪＰ，Ａ）

【文献】特開２０１６－１４２６４５（ＪＰ，Ａ）

【文献】特開平０３－２４１９７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３５

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２２５

Ｇ０１Ｂ １１／２４

Ｇ０１Ｂ １１／２５

Ｇ０３Ｂ ７／０９３

Ｇ０３Ｂ ３５／０８

(57)【特許請求の範囲】

【請求項1】

周期的に変動する環境光の下で撮影を行う撮像装置とともに用いられる撮影タイミング
制御装置であって、
前記環境光の光量を測定する光量センサと、
前記光量センサによる測定値に基づいて前記環境光の強度の周期的変動を解析し、前記
周期的変動における露光開始位相を決定し、前記露光開始位相に合わせて露光を開始する
ための露光開始指示を前記撮像装置に送信する解析部とを有し、
前記撮像装置とは別個の装置として構成され、該撮像装置に接続して用いられる、
撮影タイミング制御装置。

【請求項2】

請求項１に記載された撮影タイミング制御装置と、
前記露光開始指示に従って露光を開始する前記撮像装置と、
を有する撮像システム。

【請求項3】

前記撮影タイミング制御装置が前記撮像装置に露光終了を指示する、
請求項２に記載の撮像システム。

【請求項4】

前記撮像装置によって撮像された画像を用いて画像処理を行う画像処理部を有する、
請求項２または３に記載の撮像システム。

【請求項5】

前記撮像装置が前記画像処理部を内蔵する三次元計測装置である、
請求項４に記載の撮像システム。

【請求項6】

前記撮像装置が撮像された画像を画像処理装置に転送する、
請求項２または３に記載の撮像システム。

【請求項7】

前記撮像装置が複数の撮像部を有するステレオカメラである、
請求項２～６のいずれか一項に記載の撮像システム。

【請求項8】

前記撮像装置が、
対象物にパターンを投影するパターン投影部と、
前記パターンの投影がなされた前記対象物を撮像する１以上の撮像部と、
前記パターン投影部および前記撮像部を制御する制御部とを有する、
請求項２～６のいずれか一項に記載の撮像システム。

【請求項9】

撮影タイミング制御装置が環境光の強度の周期的変動を解析する環境光解析工程と、
前記撮影タイミング制御装置が、解析した前記環境光の強度の前記周期的変動における
露光開始位相を決定する工程と、
前記撮影タイミング制御装置から、該撮影タイミング制御装置とは別個の装置として構
成され、該撮影タイミング制御装置に接続された撮像装置に、前記露光開始位相に合わせ
て露光を開始するための露光開始指示を送信する工程と、
前記撮像装置が、前記環境光が前記露光開始位相になる時に露光を開始する撮像工程と
、
を有する撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、周期的に変動する環境光の下で行う撮像、特にそのような撮像における撮影タイミングの制御に関する。

【背景技術】

【0002】

各種製品の検査やロボットの視覚センサなどの用途に高速な撮像装置が用いられる。そのような撮像装置では露光時間が短く、例えば１ｍｓ程度であるため、ある種の室内照明下など、撮像を実施する空間の環境光が周期的に変動する場合には、撮影するタイミングによって得られる画像の明るさにばらつきが生じる。

【0003】

この問題に対して、特許文献１には、照明の明滅周期より短い蓄光時間で高速撮影を行う高速度カメラのフリッカーを抑圧することを目的として、撮影のフィールド周波数と光源フリッカー周波数の関係から画像の信号レベルが変動する周期当たりの撮影回数Ｍを求め、Ｍフィールド分の信号レベルと平均値との差を記憶しておき、撮影毎にＭフィールド前の情報を用いて信号レベルを補正するフリッカー抑圧装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－１８７６０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に記載された方法は一定のフィールド周波数で連続撮影を行うことを前提としており、必要に応じて都度撮影を行う場合や、一定でない間隔で連続して撮影を行う場合には用いることができない。また、撮影画像からフリッカーの周期を検出しているため、撮像時間よりも周期の短いフリッカーを検出することができない。

【0006】

本発明は、上記を考慮してなされたものであり、周期的に変動する環境光の下で撮像を行っても、画像間の明暗のばらつきを抑制できる撮影タイミング制御装置、撮像システムおよび撮像方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の撮影タイミング制御装置は、周期的に変動する環境光の下で撮影を行う撮像装置とともに用いられる撮影タイミング制御装置であって、前記環境光の光量を測定する光量センサと、前記光量センサによる測定値に基づいて前記環境光の強度の周期的変動を解析し、前記周期的変動における露光開始位相を決定し、前記露光開始位相に合わせて露光を開始するための露光開始指示を前記撮像装置に送信する解析部とを有する。

【0008】

ここで、露光開始指示とは、撮像装置に対して露光を開始すべきタイミングを指示するものであって、指示を受けた撮像装置が即座に露光を開始すべきものと、撮像装置が指示を受けた後に指示された時刻を待って露光を開始すべきものの両方を含む概念である。この構成により、環境光の強度が周期的に変動しても、撮像装置が撮像する画像間の明暗のばらつきを抑えることができる。

【0009】

好ましくは、上記撮影タイミング制御装置は、前記撮像装置とは別個の装置として構成され、該撮像装置に接続して用いられる。これにより、撮影タイミング制御装置を生産工程の自動化を図るための市販のＦＡカメラ等に接続して使用することができ、撮影タイミング制御装置の汎用性が高まる。

【0010】

本発明の撮像システムは、上記撮影タイミング制御装置と、前記露光開始指示に従って露光を開始する前記撮像装置とを有する。

【0011】

好ましくは、前記撮像装置が前記撮像装置に露光終了を指示する。

【0012】

好ましくは、上記撮像システムは、前記撮像装置によって撮像された画像を用いて画像処理を行う画像処理部を有する。この場合において、より好ましくは、前記撮像装置が撮像対象物の前記画像処理部を内蔵する三次元計測装置である。

【0013】

あるいは好ましくは、前記撮像装置は、撮像された画像を画像処理装置に転送する撮像装置である。

【0014】

好ましくは、前記撮像装置は、複数の撮像部を有するステレオカメラである。これにより、撮像装置が画像処理部を有するときは撮像装置をステレオ方式の三次元計測装置とすることができるし、撮像装置が画像処理部を有しないときは、ステレオカメラである撮像装置から他の画像処理装置に画像を転送することで、ステレオ法による三次元計測が可能となる。

【0015】

あるいは好ましくは、前記撮像装置は、対象物にパターンを投影するパターン投影部と、前記パターンの投影がなされた前記対象物を撮像する１以上の撮像部と、前記パターン投影部および前記撮像部を制御する制御部とを有していてもよい。これにより、撮像装置が画像処理部を有するときは撮像装置をパターン投影方式の三次元計測装置とすることができるし、撮像装置が画像処理部を有しないときは、撮像装置から他の画像処理装置に画像を転送することでパターン投影法による三次元計測が可能となる。

【0016】

本発明の撮像方法は、環境光の強度の周期的変動を解析する環境光解析工程と、解析した前記環境光の強度の前記周期的変動における露光開始位相を決定する工程と、前記環境光が前記露光開始位相になる時に露光を開始する撮像工程とを有する。

【発明の効果】

【0017】

本発明の撮影タイミング制御装置、撮像システムまたは撮像方法によれば、環境光が周期的変動の所定の位相になる時に露光を開始するので、周期的に変動する環境光の下で撮像を行っても、異なる時刻に撮像した画像間の明暗のばらつきが抑制される。

【図面の簡単な説明】

【0018】

【図1】第１実施形態の撮像システムの構成を示す図である。

【図2】第１実施形態の撮像システムの動作の流れを示す図である。

【図3】第１実施形態の撮像システムによる環境光の周期的変動の解析と露光を開始する位相の設定を説明するための図である。

【図4】第１実施形態の撮像システムによる環境光の強度の変化の監視と露光のタイミングを決定する方法を説明するための図である。

【図5】第２実施形態の撮像システムの構成を示す図である。

【図6】第３実施形態の撮像システムの構成を示す図である。

【図7】第３実施形態の撮像システムの動作の流れを示す図である。

【図8】環境光の強度の周期的変動と撮影のタイミングの関係を説明するための図である。

【図9】環境光の強度の周期的変動と撮影のタイミングの関係を説明するための図である。

【発明を実施するための形態】

【0019】

本発明の実施形態の説明に先立って、環境光の周期的変動によって画像間に明暗のばらつきが生じる理由を説明する。

【0020】

図８および図９は環境光の強度の周期的変動（以下、単に「環境光の周期的変動」という）を示したものであり、縦軸が環境光の強度Ｉ_Ａ、横軸が時間ｔの経過または位相θの変化を示している。なお、図８および図９では環境光の周期的変動を正弦曲線で表したが、実際の環境光ではこれとは異なり、周期的変動の原因となる光源の種類によって様々な波形をとる。例えば、インバーター式でない蛍光灯では、強度が電圧の二乗に比例して、商用電源に由来する１００Ｈｚや１２０Ｈｚの周波数で変動する。また、ＬＥＤのパルス点灯方式では、製造者によって異なる数百Ｈｚ～数十ｋＨｚの周波数でＬＥＤが点滅し、点灯する時間の長さ（パルスの幅）によって光量が増減される。

【0021】

図８において、環境光の強度Ｉ_Ａは時間ｔの経過とともに周期Ｔ_Ａで変動する。このとき環境光の位相θは一周期Ｔ_Ａの間に０から２πまで動く。露光時間τ_Ｅで撮影したときに画像に記録される環境光の光量Ｌ_Ａは図中に斜線を施した部分の面積に相当する。露光時間τ_Ｅが環境光の周期Ｔ_Ａより短い場合、露光時間τ_Ｅが同じでも、露光を開始するタイミングによって得られる画像の明るさに差が生じる。例えば図８では、時刻ｔ_ａからｔ_ｂまで露光した場合と時刻ｔ_ｃからｔ_ｄまで露光した場合とでは、得られる画像の明るさに差が生じる。露光時間τ_Ｅと周期Ｔ_Ａの比τ_Ｅ／Ｔ_Ａが小さいほど、異なる時刻に撮像された画像間の明暗のばらつきが大きくなる。画像間の明るさのばらつきを抑えるには、露光時間τ_Ｅ内の環境光の積算光量Ｌ_Ａを一定にする必要がある。

【0022】

図９を参照して、同じ現象は露光時間τ_Ｅが環境光の周期Ｔ_Ａより長い場合にも起こり得る。環境光の周期的変動の影響の程度は環境光の波形に大きく依存するが、露光時間τ_Ｅが環境光の周期Ｔ_Ａの１０倍以下である場合は複数の画像間で明暗のばらつきが無視できないことがある。例えば露光時間τ_Ｅが１ｍｓなら、環境光の変動周期Ｔ_Ａが１００μｓ以上（周波数１０ｋＨｚ以下）である場合は複数の画像間で明暗のばらつきが無視できないことがある。

【0023】

本発明の撮像システムの第１実施形態を図１～図４に基づいて説明する。

【0024】

図１を参照して、本実施形態の撮像システム１０は対象物Ｏを撮像する。撮像システム１０は撮像装置１１と撮影タイミング制御装置１６を備える。撮像装置１１は単一の撮像部１２と、制御部１４と画像処理部１５を有する。撮影タイミング制御装置１６は光量センサ１７と解析部１８を有する。

【0025】

撮像装置１１の撮像部１２はレンズで光を撮像素子に集光して撮像する。撮像素子としてはＣＣＤやＣＭＯＳセンサなどを用いることができる。撮像素子はグローバルシャッター方式のものが好ましい。

【0026】

制御部１４は撮像部１２と画像処理部１５を含む撮像装置１１全体を制御する。具体的には、制御部１４は撮像部１２に露光の開始、露光の終了、撮像素子からの画像の転送などを指示する。なお、本明細書中で「露光開始」、「撮影開始」、「撮像開始」および「シャッター開」は同じ意味で用いられ、「露光終了」、「撮影終了」および「シャッター閉」は同じ意味で用いられる。制御部１４は撮影終了後、撮像部１２から画像処理部１５に画像を転送する。

【0027】

画像処理部１５は、撮像された画像を処理する。画像処理の内容としては、複数の画像の比較、差分、合成などが挙げられる。撮像装置１１が三次元計測装置である場合、画像処理部１５は、撮像対象物Ｏの三次元座標を算出するための画像処理を行う。三次元座標を算出するための画像処理方法は、後述する。なお、図１に示した本実施形態の撮像システム１０では撮像装置１１が画像処理部１５を内蔵しているが、撮像システムの構成はこれには限られず、撮像装置１１が画像処理部１５を有さず、撮像システム１０の外部に設けたパソコン等を画像処理装置として画像を処理してもよい。その場合、制御部１４は撮像部１２から外部の画像処理装置に画像を転送する。

【0028】

撮影タイミング制御装置１６の光量センサ１７は環境光の光量を測定する。光量センサは、必ずしも対象物Ｏに向かって測定しなくてもよく、環境光の変動が観測しやすい向きに配置すればよい。また、光量センサの前面に拡散板を設けてもよく、これにより対象物Ｏの形状や位置の変化の影響を抑えながら環境光の光量が測定できる。

【0029】

解析部１８は光量センサの測定値の経時変化に基づいて環境光の周期的変動を解析する。具体的には、解析部は環境光の周期的変動の周期と波形を算出する。また、解析部は、露光開始のタイミングを計るために、光量センサの測定値に基づいて環境光の強度の変化の監視（以下、単に「環境光の監視」という）を行い、算出した周期的変動の波形との比較によって環境光の位相を特定する。解析部はさらに、撮像装置１１の制御部１４と接続されて各種の通信を行う。

【0030】

なお、撮影タイミング制御装置１６の解析部１８と撮像装置１１の制御部１４は物理的に１台の計算機等で構成されていてもよい。一方、環境光の監視のための光量センサ１７は撮像装置１１の撮像部１２とは別に設けられる。撮像部１２の撮像素子を用いて環境光の光量を測定することも可能であるが、光量センサを別に設けることにより、環境光の位相を特定するための監視から撮像への切り替えの手順が単純になるからである。また、光量センサを別に設けることにより、環境光の周期的変動を観測しやすい向きに光量センサを配置でき、対象物Ｏからの反射光の影響を除いた環境光の周期的変動のみを観測することができるからである。

【0031】

好ましくは、撮影タイミング制御装置１６と撮像装置１１は物理的に別個の装置として構成される。これにより、工場等における生産工程の自動化を図るための市販のＦＡカメラ等を撮像装置として、これに撮影タイミング制御装置１６を接続することにより本実施形態の撮像システムを実現できるので、撮影タイミング制御装置の汎用性が高まる。

【0032】

次に、本実施形態の撮像システム１０の動作を説明する。

【0033】

図２を参照して、撮像システム１０による撮像において、撮影タイミング制御装置１６は、環境光の解析（Ｓ１）、露光開始位相の設定（Ｓ２）を行う。撮像を行うときには、撮影タイミング制御装置は環境光を監視し（Ｓ３）、撮像装置１１に露光開始指示を送信する（Ｓ４）。一方、撮像装置１１は、撮影タイミング制御装置から露光開始指示を受信すると撮像を行う（Ｓ５）。図２において、撮影タイミング制御装置１６と撮像装置１１の間の通信は解析部１８と制御部１４の間で行われる。以下に各ステップの詳細を説明する。

【0034】

まず、撮影タイミング制御装置１６は環境光の周期的変動を解析する（Ｓ１）。光量センサ１７が微小時間Δτ毎に環境光の光量ΔＬ_Ａを繰り返し測定する（図３Ａ）。ここで環境光の強度Ｉ_ＡはＩ_Ａ＝ΔＬ_Ａ／Δτで求められる。Δτを十分に短くすれば、環境光の強度Ｉ_Ａを実質的にリアルタイムで観測できる。例えば、環境光の変動周期の１０分の１～１００分の１の間隔でサンプリングすれば実質的にリアルタイムで観測できる。解析部１８は、光量センサによる測定値の経時変化に基づいて、環境光の周期的変動の周期Ｔ_Ａと波形を算出する（図３Ｂ）。ここで求める波形は、環境光の強度の絶対値の波形である必要はなく、環境光の強度の相対的な変化が分かる波形であればよい。

【0035】

得られた波形に基づいて、解析部１８は、露光を開始する位相θ_＊を露光開始位相として設定する（Ｓ２）。解析部は、例えば波形の特徴的な部分に着目して露光開始位相θ_＊を決定できる。図３Ｃでは、環境光の強度Ｉ_Ａが増加から減少に転じる極大点の位相を露光開始位相θ_＊として設定している。あるいは解析部は、波形の特徴的な部分から一定の時間が経過した点の位相を露光開始位相θ_＊としてもよい。

【0036】

撮像を行うときには、撮影タイミング制御装置１６は撮像装置１１から撮像準備完了通知を受信すると、図４を参照して、光量センサ１７が微小時間Δτ毎に環境光の光量ΔＬ_Ａを繰り返し測定して、解析部１８が環境光の監視を開始する（Ｓ３）。

【0037】

解析部１８は環境光の強度の変化とステップＳ１で求めた環境光の波形とを比較して、環境光が露光開始位相θ_＊になると露光開始指示を撮像装置１１に送信し（Ｓ４）、指示を受けた撮像装置は、露光を開始する（Ｓ５１）。ところで、光量センサによる測定値は微小ではあるが一定の時間間隔Δτの光量ΔＬ_Ａであるため、その光量の監視をしながら、環境光が露光開始位相θ_＊になった「瞬間」に露光開始を指示することが難しい場合がある。その場合、解析部は、光量センサの測定値から時刻ｔ１に環境光が露光開始位相θ_＊に至ったことが分かると、時刻ｔ_１にステップＳ１で求めた周期Ｔ_Ａを加えた時刻、つまり環境光の位相が次に露光開始位相θ_＊になる時刻ｔ_２を求め、時刻ｔ_２に露光開始指示を撮像装置１１に送信する。言い換えると、露光開始指示は環境光の１周期前の変化に基づいて送信される。

【0038】

あるいは、解析部１８は、時刻ｔ_２に露光を開始せよという露光開始指示を事前に撮像装置１１に送信してもよい。例えば、所定時間をτ_Ｄミリ秒などと定めて、時刻ｔ_２のτ_Ｄミリ秒前に、τ_Ｄミリ秒後に露光を開始するよう、解析部から撮像装置に指示を送信する。この場合、撮像装置は、解析部からの露光開始指示に従い、時刻ｔ_２を待って露光を開始する（Ｓ５１）。このように、本明細書中で露光開始指示とは、撮像装置に対して露光を開始すべきタイミングを指示するものであって、指示を受けた撮像装置が即座に露光を開始すべきものと、撮像装置が指示を受けた後に指示された時刻を待って露光を開始すべきものの両方を含む概念である。

【0039】

撮像装置１１は、撮影タイミング制御装置１６から露光開始指示を受信すると撮像を行う（Ｓ５）。撮像装置１１の制御部１４が撮像部１２を制御して、シャッターを開いて露光を開始し（Ｓ５１）、所定の露光時間τ_Ｅが経過するとシャッターを閉じて露光を終了し（Ｓ５２）、画像を撮像部１２から画像処理部１５に転送する。以上で１回の撮像が完了する。

【0040】

引き続き撮像を行う場合は、撮像装置１１から撮影タイミング制御装置１６への撮像準備完了通知が送信され、以降の動作が繰り返される。撮影タイミング制御装置１６による環境光の監視（Ｓ３）を露光開始指示の送信後も継続すれば、連続して撮像を行う場合に撮像間隔を短縮できるというメリットが得られる。

【0041】

所要の回数の撮像が完了した後、画像処理部１５が撮像された画像に対して、撮像の目的に応じた処理を行う（Ｓ６）。

【0042】

上記動作の変形例として、撮影タイミング制御装置１６が撮像装置１１に露光開始指示を送信した後、所定の露光時間τ_Ｅ経過後に露光終了指示を送信してもよい。露光開始指示を送信した後、所定の露光時間τ_Ｅ経過後に露光を終了するような指示を事前に撮像装置１１に送信してもよい。あるいは、撮影タイミング制御装置が露光を終了すべき環境光の位相を設定して、環境光が露光終了位相になる時に撮像装置１１に露光終了を送信してもよい。この場合でも露光開始位相θ_＊および露光終了位相が一定であるので、露光時間τ_Ｅは一定になる。つまり、本明細書中で露光終了指示とは、撮像装置に対して露光を終了すべきタイミングを指示するものであって、指示を受けた撮像装置が即座に露光を終了すべきものと、撮像装置が指示を受けた後に指示された時刻を待って露光を終了すべきものの両方を含む概念である。

【0043】

本実施形態の撮像システム１０では、環境光が周期的変動の一定の位相（露光開始位相θ_＊）になる時に露光を開始して、所定の露光時間τ_Ｅの経過後に露光を終了するので、画像に記録される環境光の光量Ｌ_Ａは一定となる。これにより、異なる時刻に撮像された画像間の明暗のばらつきが抑えられる。この効果により、撮像システム１０は、同一の視野で撮像した画像同士や、同一の対象物を撮像した画像同士を比較する用途に好適に用いることができる。撮像システム１０は例えば、各種製品の検査において同一の視野で撮像した良品の画像との比較によって部品の欠損や色を判定したり、ロボットで取り上げるためにコンベア上を流れてくるワークの位置を判定したりするための視覚センサとして、好適に用いることができる。

【0044】

また、本実施形態の撮像システム１０は環境光の位相に着目して、次の露光開始位相θ_＊を待って撮像を行うので、環境光の周期Ｔ_Ａの長短に依らず機能する。撮像システム１０の特長を生かすには、環境光の周期Ｔ_Ａに対して露光時間τ_Ｅが短いほど好ましい。両者の比τ_Ｅ／Ｔ_Ａが小さいほど、異なる時刻に撮像された画像間の明暗のばらつきが大きくなるからである。この観点から、露光時間τ_Ｅは好ましくは環境光の周期Ｔ_Ａの１０倍以下であり、より好ましくは５倍以下、さらに好ましくは１倍以下である。例えば、蛍光灯が設置された室内であれば環境光の周期Ｔ_Ａは約８．３ｍｓまたは１０ｍｓであり、これに対して露光時間τ_Ｅがそれぞれ約８３ｍｓ以下または１００ｍｓ以下であれば本実施形態の撮像システム１０を用いるメリットがある。

【0045】

本発明の撮像システムの第２実施形態を図５に基づいて説明する。

【0046】

図５を参照して、本実施形態の撮像システム２０は撮像装置２１と撮影タイミング制御装置１６を備える。撮像装置２１はステレオ方式の三次元計測装置である。撮影タイミング制御装置１６は第１実施形態と同じである。

【0047】

撮像装置２１は２台の撮像部２２Ａ、２２Ｂと制御部２４と画像処理部２５とを有する。撮像部２２Ａ、２２Ｂは異なる視点から同時に対象物Ｏを撮像する。制御部２４は撮像部２２Ａ、２２Ｂと画像処理部２５を含む撮像装置２１全体を制御する。画像処理部２５は、撮像された画像を処理して、対象物Ｏの三次元位置および形状を算出する。なお、撮像装置２１が画像処理部２５を有さず、撮像システム２０の外部に画像処理装置を設けて画像処理を行ってもよいことは第１実施形態と同様である。

【0048】

本実施形態の撮像システム２０の動作は、図２に示した第１実施形態のそれと、撮像工程（Ｓ５）が２台の撮像部２２Ａ、２２Ｂによって行われる点で異なる。なお、画像処理部２５による画像処理（Ｓ６）は対象物Ｏの三次元位置および形状を算出する三次元計算である。本実施形態は撮像部が２つである２眼のステレオカメラを用いているが、本発明は３眼のステレオカメラなど、ステレオ方式で三次元計測を行う多眼のステレオカメラに適用することができる。撮像部の数が増えるほど、より多くの画像データから三次元計測をすることができるため、より精度の高い三次元計測が可能になる。

【0049】

ステレオ法による三次元計測は２台のカメラの視差を利用する方法であって、視点の異なる２枚の画像上で計測したい点の対応点を求め、各画像上の対応点および２台のカメラの位置関係から３角測量の原理によって、計測点の三次元位置を算出する方法である。

【0050】

対応点の探索は、対象物のエッジなどの特徴点を画像処理によって抽出して行われる。２枚の画像は同時に撮像されるので、対応する２枚の画像の明るさ（輝度レベル）は揃っている。本実施形態ではさらに、異なる時刻に撮像された画像の明るさが揃うことにより、エッジ等の強度がどの画像においても同程度となり、特徴点の抽出の精度が向上する。

【0051】

また、ワイヤーハーネスや各種ケーブルをロボットで操作する場合のイメージセンサとして、カラーカメラを用いたステレオ法の開発が進められている。この方法は、多数のケーブルが画像内に存在すると対応点の決定が難しいことに対して、画像処理によってまず対象となるケーブルを色で選別してから対応点を探索する方法である。これにより高速な三次元計測が可能となり、ロボットの動作に追従して撮像を繰り返しながら、対象となるケーブルを追跡することが可能となる。しかし、画像の明るさ（輝度レベル）が異なるとケーブルの色調が変わるため、画像間の明暗のばらつきによって、ケーブルの追跡中に色による選別処理が失敗することがあった。本実施形態の撮像システム２０によれば、異なる時刻に撮像された画像間の明るさが揃うため、ケーブルの色による選別を安定して行うことができる。

【0052】

本発明の撮像システムの第３実施形態を図６および図７に基づいて説明する。

【0053】

図６を参照して、本実施形態の撮像システム３０は撮像装置３１と撮影タイミング制御装置１６を備える。撮像装置３１は撮像部３２、パターン投影部３３、制御部３４および画像処理部３５を有する。撮像装置３１はパターン投影方式の三次元計測装置である。撮影タイミング制御装置１６は第１実施形態と同じである。

【0054】

ステレオ法による三次元計測において一方のカメラを明暗パターンを投影するプロジェクターに置き換え、他方のカメラで対象物に投影されたパターンを観測することにより、対象物の三次元形状を測定することができる。このいわゆるパターン投影法と呼ばれる方法には、単純な線状パターンを線の幅方向に順次ずらしながら投影する光切断法、明るさや色が滑らかに変化し、変化の方向を逆にした２つのパターンを投影する傾斜光投影法、グレイコードなどの２進符号で明暗をつけたパターンを順番に投影する時系列符号化法、投影強度を正弦波に変調した縞パターンを位相をずらしながら投影する位相シフト法など、複数のパターンを逐次投影して撮像を行う方法がある。また、より複雑なパターンを１種類のみ投影して撮像を行うことで、三次元計測をする方法もある。

【0055】

パターンを投影して撮像を行う三次元計測法には、パターン投影を行わない受動的なステレオ法と比べて、対応点の探索が容易であるという利点がある。しかし、取得した複数の画像間で明暗がばらつくと、例えばグレイコード画像の二値化処理において明点と暗点を誤認するなどして、精度よく三次元計測ができないことがあった。

【0056】

以下、本実施形態では複数のパターンを逐次投影する方法について説明する。図６において、撮像装置３１の撮像部３２は第２実施形態の撮像部２２Ａと同じである。撮像装置３１は複数の撮像部３２を備えていてもよい。撮像部の数が増えるほど、より多くの画像データから三次元計測をすることができるため、より精度の高い三次元計測が可能になる。パターン投影部３３は液晶素子などによって複数のパターンを生成し、光源により照射して、対象物Ｏに異なるパターンを逐次投影する。パターン投影部の光源はフリッカーのない光源であることが好ましい。

【0057】

制御部３４は撮像部３２、パターン投影部３３および画像処理部３５を含む撮像装置３１の全体を制御する。具体的には、制御部３４は、撮像部３２に露光の開始、露光の終了、撮像素子からの画像の転送などを指示し、パターン投影部にパターンの選択、投影開始、投影終了などを指示する。制御部３４は撮影終了後、撮像部３２から画像処理部３５に画像を転送する。

【0058】

画像処理部３５は、複数のパターンを撮影した複数の画像を処理して対象物Ｏの三次元位置および形状を算出する。なお、撮像装置３１が画像処理部３５を有さず、撮像システム３０の外部に画像処理装置を設けて画像処理を行ってもよいことは第１および第２実施形態と同様である。

【0059】

次に、本実施形態の撮像システム３０の動作を説明する。

【0060】

図７を参照して、撮影タイミング制御装置１６による環境光の解析（Ｓ１）、露光開始位相の設定（Ｓ２）、環境光の監視（Ｓ３）、撮像装置３１への露光開始指示の送信（Ｓ４）の各ステップは、図２に示した第１実施形態のそれと同じである。撮像装置３１による撮像工程（Ｓ７）では、パターンを投影しながら撮像が行われる。また、複数のパターンを撮像後、対象物Ｏの三次元位置および形状が計算される（Ｓ８）。

【0061】

撮像装置３１は、撮影タイミング制御装置１６から露光開始指示を受信すると撮像を行う（Ｓ７）。撮像装置３１の制御部３４がパターン投影部３３を制御してパターンを投影し、同時に制御部３４が撮像部３２を制御してシャッターを開いて露光を開始する（Ｓ７１）。そして、撮像装置３１は所定の露光時間τ_Ｅが経過するとシャッターを閉じて露光を終了し、パターン投影を終了する（Ｓ７２）。撮像された画像は撮像部３２から画像処理部３５に転送される。以上で１回の撮像が完了する。

【0062】

次の撮像が可能となると、撮像装置３１から撮影タイミング制御装置１６に撮像準備完了通知が送信され、次のパターンについて撮像が繰り返される。

【0063】

複数のパターンの撮像が完了した後、撮像された複数の画像と、パターン投影部３３と撮像部３２の位置関係に基づいて、撮像装置３１の画像処理部３５によって、対象物Ｏの三次元位置および形状が計算される（Ｓ８）。

【0064】

本実施形態の撮像システム３０によれば、複数のパターンを撮像した複数の画像の明るさが揃うので、三次元計測の精度が向上する。本実施形態では、複数のパターンを撮像した複数の画像から対象物Ｏの三次元位置および形状を計算するが、１種類のパターンを撮像した画像から対象物Ｏの三次元位置および形状を計算することもできる。動きのある対象物の経時的な計測をする際、異なる時間に撮像した複数の画像の明るさが揃うので、対象物の変異を計測する三次元計測の精度が向上する。

【0065】

本発明は、上記の実施形態に限定されるものではなく、その技術的思想の範囲内で種々の変形が可能である。

【符号の説明】

【0066】

１０、２０、３０ 撮像システム
１１、２１、３１ 撮像装置
１２、２２Ａ、２２Ｂ、３２ 撮像部
３３ パターン投影部
１４、２４、３４ 制御部
１５、２５、３５ 画像処理部
１６ 撮影タイミング制御装置
１７ 光量センサ
１８ 解析部
Ｉ_Ａ 環境光強度
Ｌ_Ａ 環境光積算光量
Ｏ 対象物
ｔ 時刻
Ｔ_Ａ 環境光の変動周期
τ_Ｅ 露光時間
θ 位相
θ_＊ 露光開始位相

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】