(58)【調査した分野】(Int.Cl.,DB名)
第1光路を通った光が形成する被写体の第1の像、および前記第1光路と異なる第2光路を通った光が形成する前記被写体の第2の像が共通に結像される撮像領域に、前記第1の像および第2の像のうちのいずれか一方のみが結像されるように、前記第1光路および前記第2光路のうちいずれか一方を撮像時の光路として設定する光路設定部と、
前記第1の像および前記第2の像を撮像し、前記撮像領域に結像された前記第1の像に基づく第1画像および前記撮像領域に結像された前記第2の像に基づく第2画像を生成する撮像部と、
前記第1画像および前記第2画像に基づいて前記被写体の形状および前記被写体までの距離の少なくとも1つを計測する計測部と、
前記光路設定部、前記撮像部、および前記計測部を制御する制御部と、
を備え、
前記制御部は、
前記光路設定部に、前記第1光路および前記第2光路のうちいずれか一方を前記撮像時の前記光路として設定させる光路設定制御と、
前記撮像部に、前記第1光路が前記撮像時の前記光路に設定された状態で前記第1の像を撮像させ、かつ前記第1の像に基づく複数枚の前記第1画像を生成させる第1画像生成制御と、
前記撮像部に、前記第2光路が前記撮像時の前記光路に設定された状態で前記第2の像を撮像させ、かつ前記第2の像に基づく複数枚の前記第2画像を生成させる第2画像生成制御と、
前記第1画像生成制御により生成された前記複数枚の第1画像のうちの少なくとも2枚の前記第1画像に基づいて、ぶれがあるか否かを判定する第1画像ぶれ判定制御と、
前記第2画像生成制御により生成された前記複数枚の第2画像のうちの少なくとも2枚の前記第2画像に基づいて、ぶれがあるか否かを判定する第2画像ぶれ判定制御と、
前記第1画像ぶれ判定制御および前記第2画像ぶれ判定制御でぶれがないと判定された場合に、前記計測部に計測を実行させる計測制御と、
を行うことを特徴とする計測装置。
前記第1画像ぶれ判定制御および前記第2画像ぶれ判定制御は、前記第1画像生成制御および前記第2画像生成制御の後に実行されることを特徴とする請求項1に記載の計測装置。
第1光路を通った光が形成する被写体の第1の像、および前記第1光路と異なる第2光路を通った光が形成する前記被写体の第2の像が共通に結像される撮像領域に、前記第1の像および第2の像のうちのいずれか一方のみが結像されるように、前記第1光路および前記第2光路のうちいずれか一方を撮像時の光路として設定する光路設定部と、
前記第1の像および前記第2の像を撮像し、前記撮像領域に結像された前記第1の像に基づく第1画像および前記撮像領域に結像された前記第2の像に基づく第2画像を生成する撮像部と、
前記第1画像および前記第2画像に基づいて前記被写体の形状および前記被写体までの距離の少なくとも1つを計測する計測部と、
前記光路設定部、前記撮像部、および前記計測部を制御する制御部と、
を備え、
前記制御部は、
前記光路設定部に、前記第1光路および前記第2光路のうちいずれか一方を前記撮像時の前記光路として設定させる光路設定制御と、
前記撮像部に、前記第1光路が前記撮像時の前記光路に設定された状態で前記第1の像を撮像させ、かつ前記第1の像に基づく複数枚の前記第1画像を生成させる第1画像生成制御と、
前記撮像部に、前記第2光路が前記撮像時の前記光路に設定された状態で前記第2の像を撮像させ、かつ前記第2の像に基づく複数枚の前記第2画像を生成させる第2画像生成制御と、
前記計測部に、前記第1画像生成制御により生成された複数枚の前記第1画像のうちの少なくとも1枚の前記第1画像と、前記第2画像生成制御により生成された複数枚の前記第2画像のうちの少なくとも1枚の前記第2画像とに基づく計測を実行させる計測制御と、
前記計測制御で使用された前記第1画像と、前記第1画像生成制御により生成された複数枚の前記第1画像のうちの他の前記第1画像とに基づいて、ぶれがあるか否かを判定する第1画像ぶれ判定制御と、
前記計測制御で使用された前記第2画像と、前記第2画像生成制御により生成された複数枚の前記第2画像のうちの他の前記第2画像とに基づいて、ぶれがあるか否かを判定する第2画像ぶれ判定制御と、
前記第1画像ぶれ判定制御および前記第2画像ぶれ判定制御でぶれがないと判定された場合に、前記計測部が実行した計測により得られた計測結果が妥当であると判定する妥当性判定制御と、
を行うことを特徴とする計測装置。
第1光路を通った光が形成する被写体の第1の像、および前記第1光路と異なる第2光路を通った光が形成する前記被写体の第2の像が共通に結像される撮像領域に、前記第1の像および第2の像のうちのいずれか一方のみが結像されるように、前記第1光路および前記第2光路のうちいずれか一方を撮像時の光路として設定する光路設定部と、
前記第1の像および前記第2の像を撮像し、前記撮像領域に結像された前記第1の像に基づく第1画像および前記撮像領域に結像された前記第2の像に基づく第2画像を生成する撮像部と、
前記第1画像および前記第2画像に基づいて前記被写体の形状および前記被写体までの距離の少なくとも1つを計測する計測部と、
を備える計測装置の作動方法において、
前記撮像部に、前記第1光路が前記撮像時の前記光路に設定された状態で前記第1の像を撮像させ、かつ前記第1の像に基づく複数枚の前記第1画像を生成させる第1画像生成ステップと、
前記撮像部に、前記第2光路が前記撮像時の前記光路に設定された状態で前記第2の像を撮像させ、かつ前記第2の像に基づく複数枚の前記第2画像を生成させる第2画像生成ステップと、
前記第1画像生成ステップで生成された前記複数枚の第1画像のうちの少なくとも2枚の前記第1画像に基づいて、ぶれがあるか否かを判定する第1画像ぶれ判定ステップと、
前記第2画像生成ステップで生成された前記複数枚の第2画像のうちの少なくとも2枚の前記第2画像に基づいて、ぶれがあるか否かを判定する第2画像ぶれ判定ステップと、
前記第1画像ぶれ判定ステップおよび前記第2画像ぶれ判定ステップでぶれがないと判定された場合に、前記計測部に計測を実行させる計測ステップと、
を行うことを特徴とする計測装置の作動方法。
第1光路を通った光が形成する被写体の第1の像、および前記第1光路と異なる第2光路を通った光が形成する前記被写体の第2の像が共通に結像される撮像領域に、前記第1の像および第2の像のうちのいずれか一方のみが結像されるように、前記第1光路および前記第2光路のうちいずれか一方を撮像時の光路として設定する光路設定部と、
前記第1の像および前記第2の像を撮像し、前記撮像領域に結像された前記第1の像に基づく第1画像および前記撮像領域に結像された前記第2の像に基づく第2画像を生成する撮像部と、
前記第1画像および前記第2画像に基づいて前記被写体の形状および前記被写体までの距離の少なくとも1つを計測する計測部と、
を備える計測装置の作動方法において、
前記撮像部に、前記第1光路が前記撮像時の前記光路に設定された状態で前記第1の像を撮像させ、かつ前記第1の像に基づく複数枚の前記第1画像を生成させる第1画像生成ステップと、
前記撮像部に、前記第2光路が前記撮像時の前記光路に設定された状態で前記第2の像を撮像させ、かつ前記第2の像に基づく複数枚の前記第2画像を生成させる第2画像生成ステップと、
前記計測部に、前記第1画像生成ステップで生成された複数枚の前記第1画像のうちの少なくとも1枚の前記第1画像と、前記第2画像生成ステップで生成された複数枚の前記第2画像のうちの少なくとも1枚の前記第2画像とに基づく計測を実行させる計測ステップと、
前記計測ステップで使用された前記第1画像と、前記第1画像生成ステップで生成された複数枚の前記第1画像のうちの他の前記第1画像とに基づいて、ぶれがあるか否かを判定する第1画像ぶれ判定ステップと、
前記計測ステップで使用された前記第2画像と、前記第2画像生成ステップで生成された複数枚の前記第2画像のうちの他の前記第2画像とに基づいて、ぶれがあるか否かを判定する第2画像ぶれ判定ステップと、
前記第1画像ぶれ判定ステップおよび前記第2画像ぶれ判定ステップでぶれがないと判定された場合に、前記計測部が実行した計測により得られた計測結果が妥当であると判定する妥当性判定ステップと、
を行うことを特徴とする計測装置の作動方法。
【発明を実施するための形態】
【0025】
以下、図面を参照し、本発明の実施形態を説明する。
【0026】
(第1の実施形態)
図1は、本発明の第1の実施形態の計測装置1の構成を示す。以下では、計測装置1が内視鏡装置である例を説明する。
図1に示すように、計測装置1は、コントロールユニット2、挿入部3、先端部4、操作部5、表示部6、および記録媒体7を有する。
【0027】
挿入部3は、計測対象の物体の内部に挿入される。先端部4は、挿入部3の先端に配置されている。先端部4は、第1光学系100、第2光学系101、光路設定部102、結像光学系103、および撮像素子104(撮像部)を有する。
【0028】
例えば、第1光学系100および第2光学系101は、凹レンズと凸レンズとを組み合わせた対物レンズを有する。第2光学系101は、第1光学系100に対して視差を有するように配置されている。つまり、第1光学系100および第2光学系101は、視差方向に離間している。視差方向は、第1光学系100の光学中心(主点)と第2光学系101の光学中心(主点)とを通る直線の方向である。第1光学系100に入射した光は第1光路L1を通る。第2光学系101に入射した光は第1光路L1と異なる第2光路L2を通る。第1光学系100は被写体の第1の像を形成し、かつ第2光学系101は被写体の第2の像を形成する。
【0029】
光路設定部102は、第1の像および第2の像のうちのいずれか一方のみが撮像素子104の撮像領域に結像されるように、第1光路L1と第2光路L2との間で光路を切り替える。つまり、光路設定部102は、第1の像および第2の像のうちのいずれか一方のみが撮像素子104の撮像領域に結像されるように、第1光路L1および第2光路L2のうちいずれか一方を撮像時の光路として設定する。光路設定部102は、第1光路L1および第2光路L2のうちいずれか一方を通る光のみを透過させ、かつ他方を通る光を遮蔽させるように構成されている。
【0030】
例えば、光路設定部102は、第1光路L1および第2光路L2のうちいずれか一方のみに挿入される遮光板を含む。光路設定部102が第1光路L1の光を透過させるとき、遮光板が第2光路L2に挿入され、かつ第2光路L2の光は遮蔽される。光路設定部102が第2光路L2の光を透過させるとき、遮光板が第1光路L1に挿入され、かつ第1光路L1の光は遮蔽される。光路設定部102による光路の切替動作は、コントロールユニット2の制御部107からの制御信号によって制御される。結像光学系103は、第1光路L1を通った光と第2光路L2を通った光とのいずれか一方に基づく被写体像を撮像素子104の撮像領域に結像させる。第1光路L1および第2光路L2のうち撮像時の光路として設定された光路のみを通った光に基づく被写体像が撮像素子104の撮像領域に結像される。
【0031】
撮像素子104は、第1光路L1を通った光が形成する被写体の第1の像、および第1光路L1と異なる第2光路L2を通った光が形成する被写体の第2の像が共通に結像される撮像領域を有する。撮像素子104は、第1の像および第2の像を撮像する。撮像素子104は、第1光学系100を介して第1の像を第1撮像タイミングで撮像する。撮像素子104は、第2光学系101を介して第2の像を第1撮像タイミングと異なる第2撮像タイミングで撮像する。撮像素子104は、撮像領域に結像された第1の像に基づく第1画像および撮像領域に結像された第2の像に基づく第2画像を生成する。撮像素子104は、互いに異なる複数の第1撮像タイミングで第1の像を撮像し、かつ複数の第1画像を生成する。撮像素子104は、互いに異なる複数の第2撮像タイミングで第2の像を撮像し、かつ複数の第2画像を生成する。撮像素子104は、第1画像および第2画像を制御部107に出力する。撮像素子104の動作は、制御部107からの制御信号によって制御される。
【0032】
コントロールユニット2は、挿入部3に接続されている。コントロールユニット2は、計測部105、フレームメモリ106、および制御部107を有する。
図1において光源等は省略されている。
【0033】
計測部105は、第1画像および第2画像に基づいて被写体の形状および被写体までの距離(被写体距離)の少なくとも1つを計測する。例えば、被写体の形状は、被写体上の任意の2点間の距離および被写体上の3点以上で構成される領域の面積等である。被写体距離は、撮像素子104が配置された先端部4から被写体までの距離である。計測部105は、2つの画像が有する視差を利用した三角測量によるステレオ計測を行う。
【0034】
フレームメモリ106は、撮像素子104によって生成された第1画像および第2画像を記憶する。フレームメモリ106は、揮発性または不揮発性のメモリとして構成される。例えば、フレームメモリ106は、RAM(Random Access Memory)、DRAM(DynamicRandom Access Memory)、SRAM(Static Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、およびフラッシュメモリの少なくとも1つである。計測装置1は、第1画像および第2画像を記憶するためのハードディスクドライブを有してもよい。
【0035】
制御部107は、光路設定部102、撮像素子104、および計測部105を制御する。制御部107は、これらに加えて、操作部5および表示部6を制御する。制御部107は、光路設定制御、第1画像生成制御、第2画像生成制御、第1画像ぶれ判定制御、第2画像ぶれ判定制御、および計測制御を実行する。制御部107は、光路設定制御を実行することにより、光路設定部102に、第1光路L1および第2光路L2のうちいずれか一方を撮像時の光路として設定させる。制御部107は、第1画像生成制御を実行することにより、撮像素子104に、第1光路L1が撮像時の光路に設定された状態で第1の像を撮像させ、かつ第1の像に基づく複数枚の第1画像を生成させる。制御部107は、第2画像生成制御を実行することにより、撮像素子104に、第2光路L2が撮像時の光路に設定された状態で第2の像を撮像させ、かつ第2の像に基づく複数枚の第2画像を生成させる。制御部107は、第1画像ぶれ判定制御を実行することにより、第1画像生成制御により生成された複数枚の第1画像のうちの少なくとも2枚の第1画像に基づいて、ぶれがあるか否かを判定する。制御部107は、第2画像ぶれ判定制御を実行することにより、第2画像生成制御により生成された複数枚の第2画像のうちの少なくとも2枚の第2画像に基づいて、ぶれがあるか否かを判定する。制御部107は、計測制御を実行することにより、第1画像ぶれ判定制御および第2画像ぶれ判定制御でぶれがないと判定された場合に、計測部105に計測を実行させる。
【0036】
計測部105および制御部107は、プロセッサおよび論理回路の少なくとも1つで構成されてもよい。例えば、プロセッサは、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、およびGPU(Graphics Processing Unit)の少なくとも1つである。例えば、論理回路は、ASIC(Application Specific Integrated Circuit)およびFPGA(Field−Programmable Gate Array)の少なくとも1つである。計測部105および制御部107は、1つまたは複数のプロセッサを含むことができる。計測部105および制御部107は、1つまたは複数の論理回路を含むことができる。
【0037】
計測装置1のコンピュータが、計測部105および制御部107の動作を規定する命令を含むプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。つまり、計測部105および制御部107の機能はソフトウェアにより実現されてもよい。このプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。また、上述したプログラムは、このプログラムが保存された記憶装置等を有するコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により計測装置1に伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように、情報を伝送する機能を有する媒体である。また、上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、前述した機能をコンピュータに既に記録されているプログラムとの組合せで実現できる差分ファイル(差分プログラム)であってもよい。
【0038】
操作部5は、ユーザから指示を受け付けるユーザインターフェースである。ユーザは、操作部5を操作することにより、計測装置1全体の各種動作制御に必要な指示を入力する。操作部5は、ユーザから受け付けた指示を示す信号を制御部107に出力する。例えば、操作部5は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも1つである。
【0039】
表示部6は、第1画像および第2画像の少なくとも1つを表示する。また、表示部6は、操作制御内容および計測結果等を表示する。例えば、操作制御内容はメニューとして表示される。例えば、表示部6は、液晶ディスプレイおよび有機EL(Electro Luminescence)ディスプレイの少なくとも1つである。表示部6は、タッチパネルディスプレイであってもよい。その場合、操作部5および表示部6は一体化される。
【0040】
記録媒体7は、第1画像、第2画像、および計測結果等を記憶する。例えば、記録媒体7は、フラッシュメモリ等のような不揮発性の記録媒体である。コントロールユニット2に対する記録媒体7の装着と、コントロールユニット2からの記録媒体7の取り外しとが可能であってもよい。
【0041】
操作部5、表示部6、および記録媒体7は、計測装置1において必須ではない。
【0042】
図2は、第1の実施形態における計測の手順を示す。
図2を用いて、第1の実施形態における計測の詳細を説明する。
【0043】
被写体の観察において傷等の不具合がある箇所の発見により、計測が行われる場合がある。その場合、操作部5を介して計測指示が入力される。制御部107は、計測指示に基づいて制御動作を開始する。
【0044】
このとき、第1光路L1が撮像時の光路に設定されている。第2光路L2が設定されている場合、制御部107は、光路設定部102に、光路の切替を指示し、かつ第1光路L1を設定させる。これにより、第1光路L1上の遮光板が第1光路L1から除去され、かつ第2光路L2上に遮光板が挿入される。第1光学系100を通った光に基づく被写体の第1の像が撮像素子104の撮像領域に結像される。
【0045】
制御部107は、撮像素子104に対して、複数枚(例えば2枚)の第1画像の撮像を指示する。撮像素子104は、第1の像を連続的に複数回撮像し、かつ第1の像に基づく複数枚の第1画像を生成する。撮像素子104は、複数枚の第1画像を制御部107に順次出力する。制御部107は、撮像素子104から出力された複数枚の第1画像をフレームメモリ106に順次格納する。また、制御部107は、撮像素子104から出力された複数枚の第1画像を表示部6に順次出力する。表示部6は、複数枚の第1画像を順次表示する(ステップS100)。
【0046】
ステップS100の後、制御部107は、フレームメモリ106に格納された複数枚の第1画像のうちの少なくとも2枚の連続する第1画像に基づいて、ぶれ検出を行う。複数枚の画像間のぶれ量の算出は、公知の指標を用いたテンプレートマッチングにより行われる。例えば、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、NCC(Normalized Cross Correlation)、およびZNCC(Zero means Normalized Cross Correlation)のような指標を使用することができる。制御部107は、第1画像から算出されたぶれ量と所定のしきい値とを比較することにより、ぶれがあるか否かを判定する。これにより、制御部107は、光路を切り替えることができるか否かを判定する(ステップS101)。
【0047】
第1画像間のぶれ量がしきい値よりも小さい場合、制御部107は、ぶれがないと判定する。その場合、制御部107は、光路を切り替えることができると判定する。第1画像間のぶれ量がしきい値よりも大きい場合、制御部107は、ぶれがあると判定する。その場合、制御部107は、光路を切り替えることができないと判定する。
【0048】
ステップS101において、ぶれがある、すなわち光路を切り替えることができないと制御部107が判定した場合、ステップS107における処理が実行される。ステップS101において、ぶれがない、すなわち光路を切り替えることができると制御部107が判定した場合、制御部107は、光路設定部102に、光路の切替を指示し、かつ第2光路L2を設定させる。これにより、第2光路L2上の遮光板が第2光路L2から除去され、かつ第1光路L1上に遮光板が挿入される。第2光学系101を通った光に基づく被写体の第2の像が撮像素子104の撮像領域に結像される(ステップS102)。
【0049】
制御部107は、撮像素子104に対して、複数枚(例えば2枚)の第2画像の撮像を指示する。撮像素子104は、第2の像を連続的に複数回撮像し、かつ第2の像に基づく複数枚の第2画像を生成する。撮像素子104は、複数枚の第2画像を制御部107に順次出力する。制御部107は、撮像素子104から出力された複数枚の第2画像をフレームメモリ106に順次格納する。また、制御部107は、ステップS100において取得された複数枚の第1画像のうち最後に取得された第1画像を表示部6に出力する。表示部6は、第1画像を表示する(ステップS103)。第1画像に対して視差がある第2画像ではなく第1画像が表示されることにより、視認性が保たれる。
【0050】
ステップS103の後、制御部107は、フレームメモリ106に格納された複数枚の第2画像のうちの少なくとも2枚の連続する第2画像に基づいて、ぶれ検出を行う。ぶれ検出の方法は、ステップS101における方法と同様である。制御部107は、第2画像から算出されたぶれ量と所定のしきい値とを比較することにより、ぶれがあるか否かを判定する。これにより、制御部107は、計測を実行することができるか否かを判定する(ステップS104)。
【0051】
第2画像間のぶれ量がしきい値よりも小さい場合、制御部107は、ぶれがないと判定する。その場合、制御部107は、計測を実行することができると判定する。第2画像間のぶれ量がしきい値よりも大きい場合、制御部107は、ぶれがあると判定する。その場合、制御部107は、計測を実行することができないと判定する。
【0052】
ステップS104において、ぶれがない、すなわち計測を実行することができると制御部107が判定した場合、制御部107は、計測部105に計測を指示する。計測部105は、フレームメモリ106に格納された第1画像および第2画像に基づいて計測を実行する。ステップS101における判定に使用された第1画像と、ステップS104における判定に使用された第2画像とが計測に使用される。計測部105は、計測結果を制御部107に通知する。制御部107は、計測結果を表示部6に出力する。表示部6は、計測結果を表示する(ステップS105)。ステップS105における処理が実行された場合、計測が終了する。このとき、光路の切替が行われることにより、第1光路L1が設定されてもよい。ステップS105において、計測に使用された第1画像および第2画像と計測結果とが記録媒体7に記録されてもよい。
【0053】
ステップS104において、ぶれがある、すなわち計測を実行することができないと制御部107が判定した場合、制御部107は、光路設定部102に、光路の切替を指示し、かつ第1光路L1を設定させる。これにより、第1光路L1上の遮光板が第1光路L1から除去され、かつ第2光路L2上に遮光板が挿入される。第1光学系100を通った光に基づく被写体の第1の像が撮像素子104の撮像領域に結像される(ステップS106)。
【0054】
ステップS106の後、制御部107は、計測開始から経過した時間が所定時間を超えたか否かを判定する(ステップS107)。ステップS107において、経過時間が所定時間を超えていないと制御部107が判定した場合、ステップS100における処理が実行される。ステップS107において、経過時間が所定時間を超えたと制御部107が判定した場合、制御部107は、計測が失敗したことを示すメッセージを表示部6に表示させる(ステップS108)。ステップS108における処理が実行された場合、計測が終了する。
【0055】
第1の実施形態の計測では、制御部107は、光路設定制御を実行することにより、光路設定部102に、第1光路L1を設定させた後に第2光路L2を設定させる(ステップS102)。制御部107は、第2画像生成制御を実行することにより、撮像素子104に、第2光路L2が設定された後に、連続する複数枚の第2画像を生成させる(ステップS103)。制御部107は、第2画像ぶれ判定制御を実行することにより、連続する複数枚の第2画像のうち、連続する2枚以上の第2画像に基づいて、ぶれがあるか否かを判定する(ステップS104)。
【0056】
図3は、画像取得シーケンスを示す。
図3における右方向に時間が進む。
図3において、N−2フレームからN+6フレームまでに取得される画像が示されている。なお、
図3に図示されている「1」が第1画像を表し、「2」が第2画像を表している。
【0057】
N−2フレームからNフレームまで、撮像時の光路が第1光路L1に設定された状態で第1画像が取得される(ステップS100)。制御部107は、N−1フレームおよびNフレームの2枚の第1画像に基づいてぶれ検出を行い、かつ光路を切り替えることができるか否かを判定する(ステップS101)。光路を切り替えることができると制御部107が判定した場合、撮像時の光路が第1光路L1から第2光路L2に切り替わる(ステップS102)。
【0058】
N+1フレームおよびN+2フレームにおいて第2画像が取得される(ステップS103)。制御部107は、N+1フレームおよびN+2フレームの2枚の第2画像に基づいてぶれ検出を行い、かつ計測を実行することができるか否かを判定する(ステップS104)。計測を実行することができると制御部107が判定した場合、計測部105は、光路切替判定に使用された一方の画像であるNフレームの第1画像と、計測可否判定に使用された一方の画像であるN+1フレームの第2画像と、に基づいて計測を実行する(ステップS105)。
図3では、撮像時の光路が第1光路L1に再度設定され、かつN+3フレームおよびその後の第1画像が取得される様子が示されている。
【0059】
計測に使用される画像の組み合わせは、上記の組み合わせに限らない。ぶれがない状態で取得された第1画像のうちいずれが計測に使用されてもよい。したがって、Nフレームの第1画像の代わりにN−1フレームの第1画像が計測に使用されてもよい。ぶれがない状態で取得された第2画像のうちいずれが計測に使用されてもよい。したがって、N+1フレームの第2画像の代わりにN+2フレームの第2画像が計測に使用されてもよい。
【0060】
制御部107は、ステップS104における判定に加えて、第2画像が取得される前後の2枚の第1画像に基づいて、ぶれがあるか否かを判定することにより、計測が実行可能であるか否かを判定してもよい。つまり、制御部107は、Nフレームの第1画像およびN+3フレームの第1画像を使用して判定を行う。ステップS104における判定と、NフレームおよびN+3フレームの第1画像に基づく判定との両方において計測が実行可能であると制御部107が判定した場合、計測が実行される。
【0061】
上記のように、ステップS101において第1画像間にぶれがなく、かつステップS104において第2画像間にぶれがない場合に計測が実行される。第1画像間のぶれ量は小さいが、第2画像を撮影するタイミングで大きなぶれが生じた場合、計測の実行が回避される。これにより、計測装置1は、計測精度の悪化を抑制することができ、かつ誤差を含む計測結果をユーザに提供する危険性を回避することができる。結果的に、計測装置1は、より安定した計測を実行することができる。
【0062】
(第2の実施形態)
図1に示す計測装置1を用いて、本発明の第2の実施形態を説明する。
【0063】
図4は、第2の実施形態における計測の手順を示す。
図4を用いて、第2の実施形態における計測の詳細を説明する。
図4に示す処理について、
図2に示す処理と異なる点を説明する。
【0064】
ステップS102の後、制御部107は、撮像素子104に対して、1枚の第2画像の撮像を指示する。撮像素子104は、第2の像を1回撮像し、かつ第2の像に基づく1枚の第2画像を生成する。撮像素子104は、1枚の第2画像を制御部107に出力する。制御部107は、撮像素子104から出力された1枚の第2画像をフレームメモリ106に格納する。また、制御部107は、ステップS100において取得された複数枚の第1画像のうち最後に取得された第1画像を表示部6に出力する。表示部6は、第1画像を表示する(ステップS110)。
【0065】
ステップS110の後、制御部107は、光路設定部102に、光路の切替を指示し、かつ第1光路L1を設定させる。これにより、第1光路L1上の遮光板が第1光路L1から除去され、かつ第2光路L2上に遮光板が挿入される。第1光学系100を通った光に基づく被写体の第1の像が撮像素子104の撮像領域に結像される(ステップS111)。
【0066】
ステップS111の後、制御部107は、撮像素子104に対して、1枚の第1画像の撮像を指示する。撮像素子104は、第1の像を1回撮像し、かつ第1の像に基づく1枚の第1画像を生成する。撮像素子104は、1枚の第1画像を制御部107に出力する。制御部107は、撮像素子104から出力された1枚の第1画像をフレームメモリ106に格納する。また、制御部107は、その第1画像を表示部6に出力する。表示部6は、第1画像を表示する(ステップS112)。
【0067】
ステップS112の後、制御部107は、フレームメモリ106に格納された複数枚の第1画像のうちの少なくとも2枚の第1画像に基づいて、ぶれ検出を行う。少なくとも2枚の第1画像は、ステップS100において取得された第1画像と、ステップS112において取得された第1画像とを含む。ぶれ検出の方法は、ステップS101における方法と同様である。制御部107は、第1画像から算出されたぶれ量と所定のしきい値とを比較することにより、ぶれがあるか否かを判定する。これにより、制御部107は、計測を実行することができるか否かを判定する(ステップS113)。
【0068】
第1画像間のぶれ量がしきい値よりも小さい場合、制御部107は、ぶれがないと判定する。その場合、制御部107は、計測を実行することができると判定する。第1画像間のぶれ量がしきい値よりも大きい場合、制御部107は、ぶれがあると判定する。その場合、制御部107は、計測を実行することができないと判定する。
【0069】
ステップS113において、ぶれがある、すなわち計測を実行することができないと制御部107が判定した場合、ステップS107における処理が実行される。ステップS113において、ぶれがない、すなわち計測を実行することができると制御部107が判定した場合、制御部107は、光路設定部102に、光路の切替を指示し、かつ第2光路L2を設定させる。これにより、第2光路L2上の遮光板が第2光路L2から除去され、かつ第1光路L1上に遮光板が挿入される。第2光学系101を通った光に基づく被写体の第2の像が撮像素子104の撮像領域に結像される(ステップS114)。
【0070】
ステップS114の後、ステップS110における処理と同様の処理により第2画像が取得される。制御部107は、ステップS112において取得された第1画像を表示部6に出力する。表示部6は、第1画像を表示する(ステップS115)。
【0071】
ステップS115の後、制御部107は、ステップS110およびステップS115においてフレームメモリ106に格納された2枚の第2画像に基づいて、ぶれ検出を行う。ぶれ検出の方法は、ステップS101における方法と同様である。制御部107は、第2画像から算出されたぶれ量と所定のしきい値とを比較することにより、ぶれがあるか否かを判定する。これにより、制御部107は、計測を実行することができるか否かを判定する(ステップS116)。ステップS116における判定の方法は、
図2に示すステップS104における判定の方法と同様である。
【0072】
ステップS116において、ぶれがない、すなわち計測を実行することができると制御部107が判定した場合、ステップS105における処理が実行される。ステップS113における判定に使用された第1画像と、ステップS116における判定に使用された第2画像とが、ステップS105における計測に使用される。ステップS116において、ぶれがある、すなわち計測を実行することができないと制御部107が判定した場合、ステップS106における処理が実行される。
【0073】
上記以外の点について、
図4に示す処理は、
図2に示す処理と同様である。
【0074】
第2の実施形態の計測では、制御部107は、光路設定制御を実行することにより、光路設定部102に、第1光路L1と第2光路L2とを交互に設定させる(ステップS111およびステップS114)。第1光路L1が設定される前であって第2光路L2が設定されているとき、制御部107は、第2画像生成制御を実行することにより、撮像素子104に、第1の第2画像を生成させる(ステップS110)。第2光路L2が設定された後であって第1光路L1が設定されているとき、制御部107は、第1画像生成制御を実行することにより、撮像素子104に第1画像を生成させる(ステップS112)。第1光路L1が設定された後であって第2光路L2が設定されているとき、制御部107は、第2画像生成制御を実行することにより、撮像素子104に、第2の第2画像を生成させる(ステップS115)。制御部107は、第2画像ぶれ判定制御を実行することにより、第1の第2画像および第2の第2画像に基づいてぶれがあるか否かを判定する(ステップS116)。
【0075】
図5は、画像取得シーケンスを示す。
図5における右方向に時間が進む。
図5において、N−2フレームからN+8フレームまでに取得される画像が示されている。なお、
図5に図示されている「1」が第1画像を表し、「2」が第2画像を表している。
【0076】
N−2フレームからNフレームまで、撮像時の光路が第1光路L1に設定された状態で第1画像が取得される(ステップS100)。制御部107は、N−1フレームおよびNフレームの2枚の第1画像に基づいてぶれ検出を行い、かつ光路を切り替えることができるか否かを判定する(ステップS101)。光路を切り替えることができると制御部107が判定した場合、撮像時の光路が第1光路L1から第2光路L2に切り替わる(ステップS102)。
【0077】
N+1フレームにおいて第2画像が取得される(ステップS110)。その後、撮像時の光路が第2光路L2から第1光路L1に切り替わる(ステップS111)。N+2フレームにおいて第1画像が取得される(ステップS112)。制御部107は、NフレームおよびN+2フレームの2枚の第1画像に基づいてぶれ検出を行い、かつ計測を実行することができるか否かを判定する(ステップS113)。計測を実行することができると制御部107が判定した場合、撮像時の光路が第1光路L1から第2光路L2に切り替わる(ステップS114)。
【0078】
N+3フレームにおいて第2画像が取得される(ステップS115)。制御部107は、N+1フレームおよびN+3フレームの2枚の第2画像に基づいてぶれ検出を行い、かつ計測を実行することができるか否かを判定する(ステップS116)。計測を実行することができると制御部107が判定した場合、計測部105は、Nフレームの第1画像およびN+1フレームの第2画像に基づいて計測を実行する(ステップS105)。
図5では、撮像時の光路が第1光路L1に再度設定され、かつN+4フレームおよびその後の第1画像が取得される様子が示されている。
【0079】
計測に使用される画像の組み合わせは、上記の組み合わせに限らない。ぶれがない状態で取得された第1画像のうちいずれが計測に使用されてもよい。したがって、Nフレームの第1画像の代わりにN−1フレームまたはN+2フレームの第1画像が計測に使用されてもよい。また、ぶれがない状態で取得された第2画像のうちいずれが計測に使用されてもよい。したがって、N+1フレームの第2画像の代わりにN+3フレームの第2画像が計測に使用されてもよい。
図5に示すように、計測部105は、N+2フレームの第1画像およびN+1フレームの第2画像に基づいて計測を実行してもよい。あるいは、計測部105は、N+2フレームの第1画像およびN+3フレームの第2画像に基づいて計測を実行してもよい。計測部105は、第1画像および第2画像の複数の組み合わせに対して計測を実行し、かつ複数の計測結果を統計的に処理することにより計測値を取得してもよい。例えば、計測値は、複数の計測結果の平均であってもよい。
【0080】
制御部107は、ステップS113およびステップS116における判定に加えて、第2画像が取得される前後の2枚の第1画像に基づいて、ぶれがあるか否かを判定することにより、計測が実行可能であるか否かを判定してもよい。つまり、制御部107は、Nフレームの第1画像およびN+4フレームの第1画像を使用して判定を行う。ステップS113およびステップS116における判定と、NフレームおよびN+4フレームの第1画像に基づく判定との各々において計測が実行可能であると制御部107が判定した場合、計測が実行される。
【0081】
上記のように、ステップS101およびステップS113において第1画像間にぶれがなく、かつステップS116において第2画像間にぶれがない場合に計測が実行される。第1画像間のぶれ量は小さいが、第2画像を撮影するタイミングで大きなぶれが生じた場合、計測の実行が回避される。これにより、計測装置1は、計測精度の悪化を抑制することができ、かつ誤差を含む計測結果をユーザに提供する危険性を回避することができる。結果的に、計測装置1は、より安定した計測を実行することができる。
【0082】
第2画像は、連続しないフレームのみで取得される。第2画像が取得されるフレームでは、そのフレームの直前に取得された第1画像が再度表示される。そのため、表示部6において第1画像が更新されない期間が短い。特に、第1画像にぶれが生じている場合、表示部6において第1画像が頻繁に更新されることにより、ユーザが状況を把握しやすくなる。
【0083】
(第3の実施形態)
図1に示す計測装置1を用いて、本発明の第3の実施形態を説明する。
【0084】
図6は、第3の実施形態における計測の手順を示す。
図6を用いて、第3の実施形態における計測の詳細を説明する。
図6に示す処理について、
図4に示す処理と異なる点を説明する。
【0085】
図4に示す計測と
図6に示す計測とでは、ステップS113における処理が行われるタイミングが異なる。
図6に示すように、ステップS112の後に、ステップS114における処理が実行される。つまり、ステップS112において第1画像が取得された後、第1画像のぶれ量の判定が実行されずにステップS114において第2光路L2が設定される。そして、ステップS115の後に、ステップS113における処理が実行される。
【0086】
ステップS113において、ぶれがない、すなわち計測を実行することができると制御部107が判定した場合、ステップS116における処理が実行される。ステップS113において、ぶれがある、すなわち計測を実行することができないと制御部107が判定した場合、ステップS106における処理が実行される。
【0087】
なお、ステップS106における処理が実行されるタイミングは、
図6に示すタイミングと異なっていてもよい。例えば、ステップS115の後に、ステップS106における処理が実行されてもよい。この場合、表示部6には、ステップS112における処理で取得された静止画としての第1画像ではなく、リアルタイムで取得されるライブ画像即ち動画としての第1画像を表示することが可能となる。しかも、ステップS113及びステップS116における判定処理にかかる処理時間は長くなることが考えられるため、その判定処理の間にライブ画像を表示し続けることによるユーザのメリットは非常に大きい。
【0088】
上記以外の点について、
図6に示す処理は、
図4に示す処理と同様である。
【0089】
第3の実施形態の計測では、第1画像ぶれ判定制御(ステップS113)および第2画像ぶれ判定制御(ステップS116)は、第1画像生成制御(ステップS100およびステップS112)および第2画像生成制御(ステップS112およびステップS115)の後に実行される。
【0090】
第3の実施形態における画像取得シーケンスは、
図5に示す画像取得シーケンスと同様である。
【0091】
上記のように、ステップS101およびステップS113において第1画像間にぶれがなく、かつステップS116において第2画像間にぶれがない場合に計測が実行される。第1画像間のぶれ量は小さいが、第2画像を撮影するタイミングで大きなぶれが生じた場合、計測の実行が回避される。これにより、計測装置1は、計測精度の悪化を抑制することができ、かつ誤差を含む計測結果をユーザに提供する危険性を回避することができる。結果的に、計測装置1は、より安定した計測を実行することができる。
【0092】
第2の実施形態において、光路の切替を含む第1画像および第2画像の取得シーケンスの途中でぶれ判定処理(ステップS113)が実行される。ぶれ判定処理において複数の画像間のテンプレートマッチング処理等が行われる。そのため、演算コストすなわち処理時間が必要な場合があり、かつ一連の画像取得シーケンスが滞る可能性がある。しかしながらこの第3の実施形態では、光路の切替を含む第1画像および第2画像の取得シーケンスが終了した後、ステップS113およびステップS116におけるぶれ判定処理が実行される。これにより、画像取得シーケンスの遅延は回避される。そのため、計測装置1は、より安定した計測を実行することができる。
【0093】
(第4の実施形態)
図1に示す計測装置1を用いて、本発明の第4の実施形態を説明する。
【0094】
図7は、第4の実施形態における計測の手順を示す。
図7を用いて、第4の実施形態における計測の詳細を説明する。
図7に示す処理について、
図6に示す処理と異なる点を説明する。
【0095】
ステップS110の後、制御部107は、計測部105に計測を指示する。計測部105は、フレームメモリ106に格納された第1画像および第2画像に基づいて計測を実行する。ステップS101における判定に使用された第1画像と、ステップS110において取得された第2画像とが計測に使用される。計測部105は、計測結果を制御部107に通知する表示部6は、計測結果を表示する(ステップS120)。ステップS120の後、ステップS111における処理が実行される。
【0096】
ステップS115の後、制御部107は、フレームメモリ106に格納された複数枚の第1画像のうちの少なくとも2枚の第1画像に基づいて、ぶれ検出を行う。少なくとも2枚の第1画像は、ステップS100において取得された第1画像と、ステップS112において取得された第1画像とを含む。ぶれ検出の方法は、ステップS101における方法と同様である。制御部107は、第1画像から算出されたぶれ量と所定のしきい値とを比較することにより、ぶれがあるか否かを判定する(ステップS121)。
【0097】
第1画像間のぶれ量がしきい値よりも小さい場合、制御部107は、ぶれがないと判定する。第1画像間のぶれ量がしきい値よりも大きい場合、制御部107は、ぶれがあると判定する。
【0098】
ステップS121において、ぶれがあると制御部107が判定した場合、ステップS107における処理が実行される。ステップS121において、ぶれがないと制御部107が判定した場合、制御部107は、ステップS110およびステップS115においてフレームメモリ106に格納された2枚の第2画像に基づいて、ぶれ検出を行う。ぶれ検出の方法は、ステップS101における方法と同様である。制御部107は、第2画像から算出されたぶれ量と所定のしきい値とを比較することにより、ぶれがあるか否かを判定する(ステップS122)。
【0099】
第2画像間のぶれ量がしきい値よりも小さい場合、制御部107は、ぶれがないと判定する。第2画像間のぶれ量がしきい値よりも大きい場合、制御部107は、ぶれがあると判定する。
【0100】
ステップS122において、ぶれがないと制御部107が判定した場合、制御部107は、ステップS120で得られた計測結果が妥当であると判定する。計測結果が妥当であることは、計測結果の信頼性が高いことと等価である。制御部107は、計測結果と共に計測結果が妥当であることを示すメッセージを表示部6に出力する。表示部6は、計測結果とメッセージを表示する。これにより、制御部107および表示部6は、計測結果が妥当であることをユーザに通知する(ステップS123)。ステップS123における処理が実行された場合、計測が終了する。このとき、ステップS120における計測に使用された第1画像および第2画像と計測結果とが記録媒体7に記録されてもよい。
【0101】
ステップS122において、ぶれがあると制御部107が判定した場合、制御部107は、ステップS120で得られた計測結果が妥当でないと判定する。その場合、ステップS107における処理が実行される。また、ステップS120で得られた計測結果は破棄される。計測結果が妥当でないことは、計測結果の信頼性が低いことと等価である。
【0102】
ステップS106における処理が実行されるタイミングは、
図7に示すタイミングと異なっていてもよい。ステップS115の後、光路の切替が行われずにステップS121における処理が実行されてもよい。ステップS121またはステップS122において、計測結果が妥当でないと制御部107が判定した場合、ステップS106における処理が実行されてもよい。
【0103】
上記以外の点について、
図7に示す処理は、
図6に示す処理と同様である。
【0104】
第4の実施形態の計測では、制御部107は、光路設定制御、第1画像生成制御、第2画像生成制御、計測制御、第1画像ぶれ判定制御、第2画像ぶれ判定制御、および妥当性判定制御を実行する。光路設定制御、第1画像生成制御、および第2画像生成制御は、第1の実施形態における各制御と同様である。制御部107は、計測制御を実行することにより、計測部105に、第1画像生成制御により生成された複数枚の第1画像のうちの少なくとも1枚の第1画像と、第2画像生成制御により生成された複数枚の前記第2画像のうちの少なくとも1枚の第2画像とに基づく計測を実行させる(ステップS120)。制御部107は、第1画像ぶれ判定制御を実行することにより、計測制御で使用された第1画像と、第1画像生成制御により生成された複数枚の第1画像のうちの他の第1画像とに基づいて、ぶれがあるか否かを判定する(ステップS121)。制御部107は、第2画像ぶれ判定制御を実行することにより、計測制御で使用された第2画像と、第2画像生成制御により生成された複数枚の第2画像のうちの他の第2画像とに基づいて、ぶれがあるか否かを判定する(ステップS122)。第1画像ぶれ判定制御および第2画像ぶれ判定制御でぶれがないと判定された場合に、制御部107は、妥当性判定制御を実行することにより、計測部105が実行した計測により得られた計測結果が妥当であると判定する(ステップS123)。
【0105】
図8は、画像取得シーケンスを示す。
図8における右方向に時間が進む。
図8において、N−2フレームからN+8フレームまでに取得される画像が示されている。なお、
図8に図示されている「1」が第1画像を表し、「2」が第2画像を表している。
【0106】
N−2フレームからNフレームまで、撮像時の光路が第1光路L1に設定された状態で第1画像が取得される(ステップS100)。制御部107は、N−1フレームおよびNフレームの2枚の第1画像に基づいてぶれ検出を行い、かつ光路を切り替えることができるか否かを判定する(ステップS101)。光路を切り替えることができると制御部107が判定した場合、撮像時の光路が第1光路L1から第2光路L2に切り替わる(ステップS102)。
【0107】
N+1フレームにおいて第2画像が取得される(ステップS110)。計測部105は、Nフレームの第1画像およびN+1フレームの第2画像に基づいて計測を実行する(ステップS120)。その後、撮像時の光路が第2光路L2から第1光路L1に切り替わる(ステップS111)。N+2フレームにおいて第1画像が取得される(ステップS112)。その後、撮像時の光路が第1光路L1から第2光路L2に切り替わる(ステップS114)。
【0108】
N+3フレームにおいて第2画像が取得される(ステップS115)。その後、制御部107は、計測に使用したNフレームと、N+2フレームとの2枚の第1画像に基づいてぶれ検出を行い、かつぶれがあるか否かを判定する(ステップS121)。また制御部107は、計測に使用したN+1フレームと、N+3フレームとの2枚の第2画像に基づいてぶれ検出を行い、かつぶれがあるか否かを判定する(ステップS122)。ステップS121およびステップS122において、ぶれがないと制御部107が判定した場合、制御部107は、計測結果が妥当であると判定する(ステップS123)。
図8では、撮像時の光路が第1光路L1に再度設定され、かつN+4フレームおよびその後の第1画像が取得される様子が示されている。
【0109】
計測に使用される画像の組み合わせは、上記の組み合わせに限らない。ぶれがない状態で取得された第1画像のうちいずれが使用されてもよい。したがって、Nフレームの第1画像の代わりにN−1フレームまたはN+2フレームの第1画像が使用されてもよい。
【0110】
上記のように、計測が実行された後、ステップS121およびステップS122において、ぶれがあるか否かが判定される。さらに、ステップS123において、ぶれの判定結果に基づいて、計測結果が妥当であるか否かが判定される。第1画像間のぶれ量は小さいが、第2画像を撮影するタイミングで大きなぶれが生じた場合、計測結果が妥当でないと判定される。これにより、計測装置1は、計測精度の悪化を抑制することができ、かつ誤差を含む計測結果をユーザに提供する危険性を回避することができる。結果的に、計測装置1は、より安定した計測を実行することができる。
【0111】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。