(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-27
(45)【発行日】2024-03-06
(54)【発明の名称】三次元画像計測システム、三次元画像計測方法、三次元画像計測プログラムおよび記録媒体
(51)【国際特許分類】
G01C 11/26 20060101AFI20240228BHJP
G01C 15/08 20060101ALI20240228BHJP
G01C 15/00 20060101ALI20240228BHJP
【FI】
G01C11/26
G01C15/08
G01C15/00 103C
(21)【出願番号】P 2020169108
(22)【出願日】2020-10-06
【審査請求日】2023-05-17
(73)【特許権者】
【識別番号】500372717
【氏名又は名称】学校法人福岡工業大学
(73)【特許権者】
【識別番号】307038540
【氏名又は名称】三和シヤッター工業株式会社
(74)【代理人】
【識別番号】100197642
【氏名又は名称】南瀬 透
(74)【代理人】
【識別番号】100099508
【氏名又は名称】加藤 久
(74)【代理人】
【識別番号】100182567
【氏名又は名称】遠坂 啓太
(72)【発明者】
【氏名】盧 存偉
(72)【発明者】
【氏名】辻野 和広
(72)【発明者】
【氏名】細山 健二
【審査官】山▲崎▼ 和子
(56)【参考文献】
【文献】特開2004-280728(JP,A)
【文献】特開2014-092495(JP,A)
【文献】特開2000-161960(JP,A)
【文献】特開平07-004969(JP,A)
【文献】特開2017-116318(JP,A)
【文献】中国特許出願公開第106871799(CN,A)
【文献】特開2010-287074(JP,A)
【文献】中国特許出願公開第105806221(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 1/00-1/14
5/00-15/14
G01B 11/00-11/30
G06T 1/00-1/40
3/00-5/50
7/00-7/90
G06V 10/00-20/90
30/418、40/16、40/20
H04N 13/00、17/00
(57)【特許請求の範囲】
【請求項1】
線状光を投射する投光装置と、
特徴点を有する紐状部材に錘を吊り下げた下げ振り装置と、
前記下げ振り装置の前記紐状部材と前記投光装置から投射された線状光とを含めて計測対象物を複数の視点からそれぞれ撮影する撮影手段と、
前記撮影手段により撮影された画像を用い、前記下げ振り装置の前記紐状部材にある特徴点と前記投光装置から投射された線状光とに基づいて、前記撮影手段の焦点距離を含む内部パラメータと、前記撮影手段の撮影姿勢および撮影位置の外部パラメータとを求める任意視点動的キャリブレーション手段と、
前記投光装置から前記計測対象物に線状光を投射し、前記計測対象物上の計測目標点を特定する計測点特定手段と、
前記内部パラメータを用いて前記撮影手段により撮影された画像に対し、前記外部パラメータを用いて前記計測対象物における前記計測目標点の三次元座標を求める三次元情報算出手段と
を含む三次元画像計測システム。
【請求項2】
前記撮影手段により撮影された画像における前記下げ振り装置の前記紐状部材が地面に垂直となることを基準として前記画像を射影変換する撮影画像変換手段を含む請求項1記載の三次元画像計測システム。
【請求項3】
前記投光装置は、水平方向に延びる線状光を投射するものであり、
前記下げ振り装置は、前記紐状部材の上部および下部にそれぞれ前記特徴点としての標識を有し、前記標識のいずれか一方の位置を前記投光装置から照射する水平方向の線状光に一致させ、当該標識から一定の間隔を置いた位置に他方の位置を設定したものである請求項1または2に記載の三次元画像計測システム。
【請求項4】
前記下げ振り装置は、前記紐状部材を通す透明な下げ振り筒と、前記下げ振り筒を垂直に立たせたベースと、前記ベースの上面を水平に調節する水平調節器と、前記下げ振り筒の内径と同程度の穴を有し、前記下げ振り筒の上に設けられた固定板と、前記紐状部材が通れる程度の穴を有し、前記固定板の上に設けられた調節板と、前記調節板の上に設けられ、前記紐状部材の長さを調節する長さ調節機構とを有する請求項3記載の三次元画像計測システム。
【請求項5】
前記下げ振り装置は、前記紐状部材を吊り下げる支柱と、前記紐状部材を通す透明な下げ振り筒であり、繋ぎ紐状部材により前記支柱から吊り下げた下げ振り筒とを有する請求項3記載の三次元画像計測システム。
【請求項6】
前記下げ振り筒の壁の
中心角θ(90°<θ<180°)の範囲が前記紐状部材を目立たせる単一色である請求項4または5に記載の三次元画像計測システム。
【請求項7】
前記下げ振り装置は2つであり、前記計測対象物の撮影シーンの中に一定の間隔をもって設定され、それぞれの上部および下部の標識の高さが同じである請求項3記載の三次元画像計測システム。
【請求項8】
前記投光装置は、水平方向に延びる線状光を投射するものであり、
前記下げ振り装置は、前記紐状部材の上部および下部にそれぞれ前記特徴点としての標識を有し、前記標識のいずれか一方の位置を前記投光装置から照射する水平方向の線状光に一致させ、当該標識から一定の間隔を置いた位置に他方の位置を設定したものであり、
前記下げ振り装置は2つであり、前記計測対象物の撮影シーンの中に一定の間隔をもって設定され、それぞれの上部および下部の標識の高さが同じであり、
前記撮影画像変換手段は、前記撮影手段より撮影された画像における前記2つの下げ振り装置の紐状部材の4つの標識を頂点とする四角形について、縦の辺が地面に垂直に、横の辺が地面に平行になるように画像を校正するものである請求項
2記載の三次元画像計測システム。
【請求項9】
前記任意視点動的キャリブレーション手段は、前記撮影手段より撮影された画像における前記2つの下げ振り装置の紐状部材が実世界で平行であり、それぞれの紐状部材にある2つの標識間の距離が実世界で事前に設定された間隔であることを既知の条件として、前記撮影手段の前記内部パラメータとしての焦点距離と、前記外部パラメータとしての回転パラメータおよび並進パラメータを求めるものである請求項7記載の三次元画像計測システム。
【請求項10】
前記計測点特定手段は、前記投光装置から水平方向に延びる線状光とこれに空間的に直交かつ互いに直交する2つの線状光を投射することにより前記計測対象物に作られた光マーカを含む画像から計測目標点を特定するものである請求項1または2に記載の三次元画像計測システム。
【請求項11】
前記三次元情報算出手段は、前記撮影手段より撮影された複数枚の前記計測対象物の画像に対し、前記任意視点動的キャリブレーション手段により求められた前記撮影手段の外部パラメータを用いて、前記計測点特定手段より特定された計測目標点と、マウスクリックより指定された計測目標
点の三次元座標を自動的に算出するものである請求項1または2に記載の三次元画像計測システム。
【請求項12】
特徴点を有する紐状部材に錘を吊り下げた下げ振り装置の前記紐状部材と、線状光を投射する投光装置から投射された前記線状光とを含めて計測対象物を撮影手段により複数の視点からそれぞれ撮影すること、
前記撮影手段により撮影された画像を用い、前記下げ振り装置の前記紐状部材にある特徴点と前記投光装置から投射された線状光とに基づいて、前記撮影手段の焦点距離を含む内部パラメータと、前記撮影手段の撮影姿勢および撮影位置の外部パラメータとを求めること、
前記投光装置から前記計測対象物に線状光を投射し、前記計測対象物上の計測目標点を特定すること、
前記内部パラメータを用いて前記撮影手段により撮影された画像に対し、前記外部パラメータを用いて前記計測対象物における前記計測目標点の三次元座標を求めること
を含む三次元画像計測方法。
【請求項13】
特徴点を有する紐状部材に錘を吊り下げた下げ振り装置の前記紐状部材と、線状光を投射する投光装置から投射された前記線状光とを含めて計測対象物が撮影手段により複数の視点からそれぞれ撮影された画像を用い、前記下げ振り装置の前記紐状部材にある特徴点と前記投光装置から投射された線状光とに基づいて、前記撮影手段の焦点距離を含む内部パラメータと、前記撮影手段の撮影姿勢および撮影位置の外部パラメータとを求める任意視点動的キャリブレーション手段と、
前記投光装置から前記計測対象物に線状光を投射し、前記計測対象物上の計測目標点を特定する計測点特定手段と、
前記内部パラメータを用いて前記撮影手段により撮影された画像に対し、前記外部パラメータを用いて前記計測対象物における前記計測目標点の三次元座標を求める三次元情報算出手段と
してコンピュータを機能させるための三次元画像計測プログラム。
【請求項14】
請求項13記載の三次元画像計測プログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、建築、土木、橋梁やトンネル施工などの分野における施工現場の形状および寸法を計測する三次元画像計測システム、三次元画像計測方法、三次元画像計測プログラムおよび記録媒体に関する。
【背景技術】
【0002】
倉庫、車庫、商店、地下街やトンネルなどのところに、シャッター等の更新や新規追加などのニーズが多い。このシャッター等の更新や新規追加などでは、設計図面ではなく、実際に装着が必要な現場の形状やサイズなどのパラメータに従ってシャッター等を作製し、施工することが多い。従来、現場のパラメータの計測は、作業員がメジャーなどで測って紙面に記録することがほとんどである。このような現場計測方法では、計測結果に個人差がある。また、高所や広範囲等の計測は困難である。このため、計測結果に基づいて製造されたシャッター等が現場に装着できなくなることがある。
【0003】
従来、レーザー距離計や超音波距離計などを用いた計測方法がある。しかしながら、これらの計測機器では、計測器から計測目標点までの間の2点間の直線距離しか計測できず、細部や特定な部分の計測が困難であるなどの問題がある。また、1回の計測で2点間の距離しか計測できず、前述のような沢山の現場のパラメータの計測には計測時間が必要である。
【0004】
また、計測方法として、画像計測技術の使用が考えられる。画像計測技術は、概ね二次元画像計測と三次元画像計測の2種類の計測方法に分類することができる。しかし、シャッター等の製造と装着には施工現場の立体的な形状とパラメータが必要なので、二次元画像計測は適用が困難であり、三次元画像計測技術の使用が必要である。
【0005】
代表的な三次元画像計測手法としては、両眼視に基づくステレオ視計測法、パターン光投影に基づく計測法や、レンズの焦点距離の調節に基づくレンズ焦点法などの手法が挙げられる。
【0006】
パターン光投影計測は、計測用のパターン光を計測対象物に投影し、その反射パターンを解析することにより計測対象物の三次元情報を算出する方法である。しかし、計測対象物が前述のシャッターの場合、シャッターのサイズが数メータから十数メータと大きく、このシャッター全体を覆うパターン光の作成と投影は困難であるため、パターン光投影計測の手法はシャッター計測への適用が困難である。
【0007】
一方、レンズ焦点法は、顕微鏡計測等によく使われ、複数回の焦点調節と撮影により表面形状の三次元計測と二次元計測を同時に実現することができる。しかし、計測には複数回乃至数十回のレンズ調節と撮影が必要であり、各焦点に対応する奥行き距離値を事前に分かっておく必要があるので、シャッター計測には不向きと考えられる。
【0008】
ステレオ計測法は、異なる視点から2台のカメラにより計測対象物の写真を撮影し、画像解析により、計測目標点の三次元情報を算出する手法である。このステレオ計測法によれば、カメラだけで非接触計測ができ、レンズの焦点調節により異なるサイズの計測対象物の計測に対応できるので、シャッター計測に適すると考えられる。
【0009】
カメラの焦点距離などのカメラシステムのパラメータを求めるカメラシステムのキャリブレーションは、ステレオ計測法における最重要技術の一つである。シャッター等の施工現場の計測では、計測目標の大きさや計測者の立ち位置などにより、カメラのレンズの焦点距離を変えながら撮影する必要がある。そのため、計測のたびにカメラシステムのキャリブレーションが必要であり、事前にカメラシステムのキャリブレーションを行うことは難しく、カメラのパラメータを求める手法はシャッター等の計測には適応しにくい。
【0010】
非特許文献1に記載のキャリブレーション方法は近年よく使われ、非特許文献2に記載のとおりライブラリ化されている。現場計測の際には、撮影のためのカメラの焦点距離の調節が終わった後に、焦点距離を固定してキャリブレーションする方法が挙げられるが、毎回の撮影でキャリブレーションを行う必要があるので、このキャリブレーション方法は現場計測に不向きである。
【0011】
建築物の画像計測に関する研究は従前から行われており、いくつかの特許が出願されている。本発明者は、特許文献1において、三脚のエレベータの昇降により計測対象物の写真を2枚撮影し、三次元画像計測を行う方法を提案している。この方法では、毎回の撮影の際に三脚のエレベータを操作し、上下2枚の写真を撮影しなければならないので、手間がかかる。また、カメラが三脚に固定されているので、撮影角度を自由に調節することができず、撮影範囲が狭いという問題が残っている。
【0012】
また、例えば特許文献2では、建築物の被覆材の三次元画像計測方法が提案されている。しかし、この三次元画像計測方法の計測目的は被覆材の形状と厚みであり、シャッター等の計測対象物の寸法を計測できない。また、例えば特許文献3では、2台のカメラを用いてステレオ計測法に基づいた建築物の形状の三次元データを生成する手法が提案されている。しかし、この手法の目的は直線抽出に基づく建築物の形状計測であり、シャッター等の計測対象物の寸法の精密計測には不向きである。
【0013】
また、建築物やトンネルなどにシャッター等を装着しようとする際には、装着位置を特定し、この特定された装着位置に形状と寸法の合うシャッター等を製造して装着する。この装着位置を特定するために、ペンキを塗ったり、マーカを付けたりなどの方法は使用されている。しかし、これらの方法では、作業時間が問題なだけではなく、高所などにペンキ塗りやマーカ付けが難しいという問題や、ペンキやマーカを施工完了まで残す必要があるため美観等の問題がある。
【先行技術文献】
【特許文献】
【0014】
【文献】特開2005-164434号公報
【文献】特開2020-76585号公報
【文献】国際公開第2013/002280号
【非特許文献】
【0015】
【文献】Z. Zhang,A Flexible New Technique for Camera Calibration,IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol 22: pp. 1330-1334,2000
【文献】OpenCV,Camera Calibration and 3D Reconstruction,インターネット<URL:https://docs.opencv.org/master/d9/d0c/group__calib3d.html#ga3207604e4b1a1758aa66acb6ed5aa65d>
【発明の概要】
【発明が解決しようとする課題】
【0016】
本発明は、撮影しやすい場所で計測対象物の写真を複数枚撮影し、三次元画像計測技術を用いて、計測対象物の形状や寸法を計測可能とすることを目的とする。
【課題を解決するための手段】
【0017】
本発明の三次元画像計測システムは、線状光を投射する投光装置と、特徴点を有する紐状部材に錘を吊り下げた下げ振り装置と、下げ振り装置の紐状部材と投光装置から投射された線状光とを含めて計測対象物を複数の視点からそれぞれ撮影する撮影手段と、撮影手段により撮影された画像を用い、下げ振り装置の紐状部材にある特徴点と投光装置から投射された線状光とに基づいて、撮影手段の焦点距離を含む内部パラメータと、撮影手段の撮影姿勢および撮影位置の外部パラメータとを求める任意視点動的キャリブレーション手段と、投光装置から計測対象物に線状光を投射し、計測対象物上の計測目標点を特定する計測点特定手段と、内部パラメータを用いて撮影手段により撮影された画像に対し、外部パラメータを用いて計測対象物における計測目標点の三次元座標を求める三次元情報算出手段とを含むものである。
【0018】
本発明の三次元画像計測システムでは、下げ振り装置と投光装置とを併用し、下げ振り装置の紐状部材と投光装置から投射された線状光とを含めて計測対象物を複数の視点からそれぞれ撮影し、この撮影された画像を用い、下げ振り装置の紐状部材にある特徴点と投光装置から投射された線状光とに基づいて、撮影手段の焦点距離を含む内部パラメータと、撮影手段の撮影姿勢および撮影位置の外部パラメータとを求め、内部パラメータを用いて撮影手段により撮影された画像に対し、外部パラメータを用いて計測対象物上の計測目標点の三次元座標を求めることにより、三次元画像計測を行うことができる。
【0019】
すなわち、本発明の三次元画像計測システムでは、撮影手段の焦点距離を含む内部パラメータと、撮影手段の撮影姿勢および撮影位置の外部パラメータとを求め、内部パラメータを用いて撮影手段により撮影された画像に対し、外部パラメータを用いて計測対象物における計測目標点の三次元座標を求めるため、現場計測の際にレンズの焦点距離が変わったり、撮影姿勢や撮影位置が変わったりしても三次元画像計測を行うことが可能である。
【0020】
本発明の三次元画像計測システムは、撮影手段により撮影された画像における下げ振り装置の紐状部材が地面に垂直となることを基準として画像を射影変換する撮影画像変換手段を含むものであることが望ましい。これにより、任意の視点から撮影された画像であっても、計測対象物が真正面から撮影されたように見える画像が得られる。
【0021】
下げ振り装置は、紐状部材を通す透明な下げ振り筒と、下げ振り筒を垂直に立たせたベースと、ベースの上面を水平に調節する水平調節器と、下げ振り筒の内径と同程度の穴を有し、下げ振り筒の上に設けられた固定板と、紐状部材が通れる程度の穴を有し、固定板の上に設けられた調節板と、調節板の上に設けられ、紐状部材の長さを調節する長さ調節機構とを有する構成とすることができる。これにより、風がある場合であっても、下げ振り筒が揺れることがなく、その中の紐状部材が揺れないようにすることができる。また、調節板と固定板との相対位置を平面的に調節することで、下げ振り筒が垂直に設置できない場合でも、下げ振り装置の紐状部材と錘が下げ振り筒に接触しないことを確保することが可能となる。
【0022】
また、下げ振り装置は、紐状部材を吊り下げる支柱と、紐状部材を通す透明な下げ振り筒であり、繋ぎ紐状部材により支柱から吊り下げた下げ振り筒とを有する構成とすることができる。これにより、下げ振り筒の揺れが、下げ振り装置のベース、紐状部材および支柱に及ぼさないようにすることができ、風がある場合であっても、下げ振り筒の中の紐状部材が揺れないようにすることができる。
【0023】
下げ振り筒の壁の中心角θ(90°<θ<180°)の範囲が紐状部材を目立たせる単一色であることが望ましい。これにより、画像処理の際に下げ振り装置の紐状部材を抽出しやすくなる。
【0024】
本発明の三次元画像計測方法は、特徴点を有する紐状部材に錘を吊り下げた下げ振り装置の紐状部材と、線状光を投射する投光装置から投射された線状光とを含めて計測対象物を撮影手段により複数の視点からそれぞれ撮影すること、撮影手段により撮影された画像を用い、下げ振り装置の紐状部材にある特徴点と投光装置から投射された線状光とに基づいて、撮影手段の焦点距離を含む内部パラメータと、撮影手段の撮影姿勢および撮影位置の外部パラメータとを求めること、投光装置から計測対象物に線状光を投射し、計測対象物上の計測目標点を特定すること、内部パラメータを用いて撮影手段により撮影された画像に対し、外部パラメータを用いて計測対象物における計測目標点の三次元座標を求めることを含むことを特徴とする。本発明の三次元画像計測方法によれば、上記本発明の三次元画像計測システムと同様の作用効果を奏することができる。
【0025】
本発明の三次元画像計測プログラムは、特徴点を有する紐状部材に錘を吊り下げた下げ振り装置の紐状部材と、線状光を投射する投光装置から投射された線状光とを含めて計測対象物が撮影手段により複数の視点からそれぞれ撮影された画像を用い、下げ振り装置の紐状部材にある特徴点と投光装置から投射された線状光とに基づいて、撮影手段の焦点距離を含む内部パラメータと、撮影手段の撮影姿勢および撮影位置の外部パラメータとを求める任意視点動的キャリブレーション手段と、投光装置から計測対象物に線状光を投射し、計測対象物上の計測目標点を特定する計測点特定手段と、内部パラメータを用いて撮影手段により撮影された画像に対し、外部パラメータを用いて計測対象物における計測目標点の三次元座標を求める三次元情報算出手段としてコンピュータを機能させるためのものである。このプログラムを実行したコンピュータによれば、上記本発明の三次元画像計測システムと同様の作用、効果を奏することができる。なお、上記本発明の三次元画像計測プログラムは、コンピュータ読み取り可能な記録媒体を介してコンピュータに読み取り、実行することも可能である。
【発明の効果】
【0026】
(1)特徴点を有する紐状部材に錘を吊り下げた下げ振り装置の紐状部材と、線状光を投射する投光装置から投射された線状光とを含めて計測対象物を撮影手段により複数の視点からそれぞれ撮影し、撮影手段により撮影された画像を用い、下げ振り装置の紐状部材にある特徴点と投光装置から投射された線状光とに基づいて、撮影手段の焦点距離を含む内部パラメータと、撮影手段の撮影姿勢および撮影位置の外部パラメータとを求め、投光装置から計測対象物に線状光を投射し、計測対象物上の計測目標点を特定し、内部パラメータを用いて撮影手段により撮影された画像に対し、外部パラメータを用いて計測対象物における計測目標点の三次元座標を求める構成により、現場計測の際にレンズの焦点距離が変わったり、撮影姿勢や撮影位置が変わったりしても三次元画像計測を行うことが可能であり、撮影しやすい場所で計測対象物の写真を複数枚撮影して、計測対象物の形状や寸法を測定することが可能となる。
【0027】
(2)撮影手段により撮影された画像における下げ振り装置の紐状部材が地面に垂直となることを基準として画像を射影変換する構成により、任意の視点から撮影された画像であっても、計測対象物が真正面から撮影されたように見える画像が得られる。
【0028】
(3)下げ振り装置が、紐状部材を通す透明な下げ振り筒と、下げ振り筒を垂直に立たせたベースと、ベースの上面を水平に調節する水平調節器と、下げ振り筒の内径と同程度の穴を有し、下げ振り筒の上に設けられた固定板と、紐状部材が通れる程度の穴を有し、固定板の上に設けられた調節板と、調節板の上に設けられ、紐状部材の長さを調節する長さ調節機構とを有する構成により、風がある場合であっても、下げ振り筒が揺れることがなく、その中の紐状部材が揺れないようにすることができ、風の影響を排除して計測対象物の形状や寸法をより高精度に測定することが可能となる。
【0029】
(4)下げ振り装置が、紐状部材を吊り下げる支柱と、紐状部材を通す透明な下げ振り筒であり、繋ぎ紐状部材により支柱から吊り下げた下げ振り筒とを有する構成により、下げ振り筒の揺れが、下げ振り装置のベース、紐状部材および支柱に及ぼさないようにすることができ、風がある場合であっても、下げ振り筒の中の紐状部材が揺れないようにすることができ、風の影響を排除して計測対象物の形状や寸法をより高精度に測定することが可能となる。
【0030】
(5)下げ振り筒の壁の中心角θ(90°<θ<180°)の範囲が紐状部材を目立たせる単一色である構成により、画像処理の際に下げ振り装置の紐状部材を抽出しやすくなり、計測対象物の形状や寸法をより高精度に測定することが可能となる。
【図面の簡単な説明】
【0031】
【
図1】本発明の実施の形態における三次元画像計測システム概要を示す説明図である。
【
図2】
図1のシャッター装着領域において計測が必要な寸法の一例を示す図である。
【
図4】レーザー墨出し器と下げ振り装置の配置例を示す説明図である。
【
図9】
図7の下げ振り装置における紐状部材の中心位置調節のイメージ図である。
【
図10】本発明の実施の形態における三次元画像計測システムによる三次元画像計測の流れを示すフロー図である。
【
図11】本発明の実施形態における計測対象物が斜めに撮影された一例を示す図である。
【発明を実施するための形態】
【0032】
図1は本発明の実施の形態における三次元画像計測システムの概要を示す説明図である。
図1において、本実施形態における三次元画像計測システムは、計測対象物Z1にシャッター等を装着する場合のその装着領域(斜線で示した領域。以下、「シャッター装着領域」と称す。)Z2の形状および寸法を計測するためのものである。三次元画像計測システムは、計測対象物Z1を複数の異なる撮影位置からそれぞれ撮影する撮影手段としての複数のカメラ1と、カメラ1が接続され、各種計算を行うパーソナルコンピュータ(PC)等の計算機2と、線状光を投射する投光装置としてのレーザー墨出し器3(
図4参照。)と、下げ振り装置4(
図4参照。)とを含む。
【0033】
図2は
図1のシャッター装着領域Z2において計測が必要な寸法の一例を示す図である。
図2において、Wはシャッター等を装着する開口部Z3の横幅、Hは開口部Z3の縦幅である。X1~X5は、シャッター等を装着するのに必要な開口部Z3の周辺の寸法である。
【0034】
図3は
図1の計算機2の機能ブロック図である。
図3に示すように、計算機2は、カメラ1によって計測対象物Z1が斜めから撮影された場合にそれを真正面から撮影されたように撮影画像に射影変換を加えるための撮影画像変換手段22と、計測対象物をきれいに撮影するために、撮影場所を選んだり、カメラ1のレンズの焦点距離を調節したりする際に、撮影時のカメラ1のパラメータを正しく求めるための任意視点動的キャリブレーション手段23と、計測目標点を自動もしくは手動により決める計測点特定手段24と、任意視点動的キャリブレーション手段23より求められたカメラ1のパラメータを用い、異なる視点から撮影された複数枚の写真を画像解析し、計測点の三次元座標を計算する三次元情報算出手段25と、計測結果を出力する計測結果出力手段26と、撮影画像や画像処理の一次結果および最終的な計測結果を保存する記憶手段27とを含む。
【0035】
図4はレーザー墨出し器3と下げ振り装置4の配置例を示す説明図である。
図4に示すように、2つの下げ振り装置4とレーザー墨出し器3とを、計測対象物Z1のシャッター装着領域Z2の撮影シーンすなわちシャッター装着領域Z2と同時に撮影できる場所に設置する。下げ振り装置4は、計測対象物Z1のシャッター装着領域Z2の近くに配置する。
図4に示す配置例では、2つの下げ振り装置4を、シャッター等を装着する開口部Z3を挟むように左右に配置している。
【0036】
レーザー墨出し器3は、2つの下げ振り装置4の間に配置する。レーザー墨出し器3からは、水平方向に延びる線状光としてのレーザーライン(以下、「水平ライン」と称す。)3Aと、これに空間的に直交かつ互いに直交する2つの線状光としてのレーザーライン(以下、「矩形ライン」と称す。)3B,3Cを投射する。
【0037】
下げ振り装置4の紐状部材8の上部および下部にはそれぞれ特徴点としての標識10,11を装着する。下部の標識11は、レーザー墨出し器3が投射した水平ライン3Aと一致するように位置を調整する(
図7参照。)。また、下部の標識11と事前に決めている一定の間隔H(
図7参照。)を置いて上部の標識10を設置する。間隔Hは計測対象物Z1の大きさに応じて計測前に決定する。間隔Hは、1メートル、1.5メートルや2メートルなどの計算しやすい数値にするのは便利である。なお、レーザー墨出し器3から投射した水平ライン3Aを上部の標識10に一致させ、上部の標識10から一定の間隔Hを置いた位置に下部の標識11を設定することも可能である。
【0038】
下げ振り装置4の紐状部材8および標識10,11と、レーザー墨出し器3より投射した水平ライン3Aと矩形ライン3B,3Cとは、画像補正、カメラシステムキャリブレーション、および計測目標点の特定に使われる。
【0039】
図5は下げ振り装置4の一例を示している。下げ振り装置4は、ベース6上に支柱7を立設し、この支柱7から紐状部材8を吊り下げ、紐状部材8の上部と下部とにそれぞれ標識10,11を装着し、紐状部材8の下に錘9を吊り下げたものである。本実施例においては、紐状部材8は強度のあるワイヤを使用している。また、支柱7をできる限り地面に対して垂直に立たせるため、ベース6の下にはベース6の上面を水平に調節する水平調節器5を装着している。水平調節器5は、高さを個別に調節できる3本以上の脚からなる。
【0040】
図6は本発明の実施の形態における下げ振り装置の別の例を示している。なお、
図6において、前述の下げ振り装置4と共通する部分については同一符号を付し、その詳細な説明を省略する。
図6に示す下げ振り装置4Aでは、風の影響を軽減するために、下げ振り筒12を設置している。下げ振り装置4Aの紐状部材8は、下げ振り筒12の中に通すようにする。本実施例では、下げ振り筒12は透明なアクリル材を使用している。下げ振り筒12は、繋ぎ紐状部材13を用いて支柱7から吊り下げている。この下げ振り装置4Aでは、風がある際に、下げ振り筒12が揺れるが、その中の紐状部材8はほぼ揺れないか、揺れ幅が強く抑えられる。
【0041】
図7は本発明の実施の形態における下げ振り装置のさらに別の例を示している。なお、
図7において、前述の下げ振り装置4,4Aと共通する部分については同一符号を付し、その詳細な説明を省略する。
図7に示す下げ振り装置4Bも風の影響を軽減するためのものであるが、
図6に示す下げ振り装置4Aの支柱7を使わずに、水平調節器5を有するベース6上に下げ振り筒12を垂直に立たせたものである。また、下げ振り筒12の上には固定板14を設ける。固定板14は、下げ振り筒12の内径と同程度の大きな穴14Aを有し、紐状部材8を通させる。
【0042】
また、固定板14の上には調節板15を設けている。調節板15は、紐状部材8が通れる程度の小さな穴15Aを有する。この調節板15の上には、ハンドウィンチ16を設けている。ハンドウィンチ16は、紐状部材8の長さを調節することにより、紐状部材8の錘9や標識10,11の上下位置を調整する上下位置調整機構として機能する。また、レーザー墨出し器3の設定の簡単化のため、レーザー墨出し器3を下げ振り装置4Bと同一のベース6上に設置している。
【0043】
本実施例の下げ振り装置4Bでは、支柱7を使わずに固定板14上に下げ振り筒12を設けているため、風がある場合であっても、下げ振り筒12が揺れることがなく、その中の紐状部材8も揺れることがない。
【0044】
図8は
図6および
図7における下げ振り筒12の一例を示す横断面図である。本実施例では、下げ振り筒12として、半径Rの円筒状の透明なアクリル材を用いている。この下げ振り筒12の裏面、すなわちカメラ1から遠い面には、
中心角θの範囲に紐状部材8を目立たせる単一色の背景シール17を貼っている。背景シール17は下げ振り筒12の壁に沿って貼っている。背景シール17を貼る範囲の
中心角θの値は、本実施例では90度より大きく180度より小さくなるようにしている。背景シール17を設置する目的は、画像処理の際に、下げ振り装置4A,4Bの紐状部材8を抽出しやすくするためである。
【0045】
このように、
図6もしくは
図7のような下げ振り筒12のある下げ振り装置4A,4Bを用いる場合、計測対象物Z1の撮影の際に、各カメラ1の撮影視角から下げ振り筒12の背景シール17が共に下げ振り装置4A,4Bの紐状部材8の後ろに位置するように、下げ振り筒12の設置角度を調節する。
【0046】
図9は
図7の下げ振り装置4Bにおける紐状部材8の中心位置調節のイメージ図である。計測現場の地面が水平ではない場合、ベース6の下に付いている水平調節器5による高さ調節だけでは、下げ振り筒12を地面に垂直に立たせることは困難である。特に、下げ振り筒12の傾斜角度が大きい場合は、紐状部材8や錘9が下げ振り筒12の壁に当たってしまい、機能できなくなることがある。そこで、本実施例では、下げ振り筒12にある程度の傾斜があっても、正常に動作できるように、固定板14と調節板15の相対位置が調節できるようにしている。この下げ振り装置4Bでは、調節板15の紐状部材通し中心と固定板14の紐状部材通し中心とをズレさせることより、錘9が下げ振り筒12の下部の円の中心位置付近に配置されるようにする。
【0047】
次に、カメラ1および計算機2の各手段22~27について、詳細に説明する。
【0048】
[カメラ1]
図1に示すように、計測対象物Z1のシャッター装着領域Z2を撮影できる撮影位置を2ヶ所以上選び、カメラ1のレンズの焦点距離を調節し、複数枚の写真を撮影する。撮影位置の選択は任意であるが、シャッター装着領域Z2の全貌が分かるように、撮影位置は正面近く(
図1の撮影位置A2)、左側(同撮影位置A1)、右側(同撮影位置A3)のようにするのが望ましい。また、撮影はシャッター装着領域Z2だけでなく、下げ振り装置4の紐状部材8とレーザー墨出し器3が投射したレーザーライン(水平ライン3Aおよび矩形ライン3B,3C)の一部を同時に撮影画像に押さえる必要がある。
【0049】
各撮影位置A1~A3で計測対象物Z1の写真を撮影する際に、カメラ1のレンズ焦点距離の調節が可能である。計測精度向上のため、一旦調節したカメラ1の焦点距離は各撮影位置で撮影する際に変化させないことが望ましい。
【0050】
[撮影画像変換手段22]
計測結果を画像表示する場合、計測対象物Z1が真正面から撮影されたような写真を使うのは自然である。しかし、計測対象物Z1の真正面からの撮影という条件は厳しすぎるため、理論上では実現できない。また、上記カメラ1の撮影位置は計測対象物Z1の真正面に拘束されないため、斜めの視角からの撮影や、下方からの撮影がある。このため、撮影された計測対象物Z1は画像中で斜めになってしまうことがほとんどである。
【0051】
図11は本発明の実施形態における計測対象物Z1が斜めに撮影された一例である。撮影位置は計測対象物Z1の左側であり、計測対象物Z1の真正面ではないため、計測対象物Z1が斜めに撮影されている。また、画像の左側のものがカメラ1に近いため大きく撮影され、右側のものはカメラ1から遠いため小さく撮影されている。
【0052】
そこで、撮影画像変換手段22は、撮影された計測対象物Z1の画像に対し、下げ振り装置4の紐状部材8が地面に垂直となることを基準として射影変換を行う。この撮影画像変換手段22により射影変換された画像では、どの撮影位置で、どの撮影視角から撮影された画像でも、計測対象物Z1の真正面から撮影されたように見える。射影変換には下記の数式を用いる。
【0053】
【0054】
ここで、(x,y)は各撮影位置における撮影画像の画素座標、(x’,y’)は射影変換により調整後の画素座標、a,b,c,d,tx,tyは調整パラメータである。
【0055】
調整パラメータは、撮影画像にある下げ振り装置4の紐状部材8が必ず地面に垂直となる事実を用いて求める。具体的には、
図11に示す陰影付きの部分のように、左の下げ振り装置4と右の下げ振り装置4にある計4つの標識10,11を頂点C1,C2,C3,C4として四角形を作る。画像上の四角形は矩形ではないが、実空間での四角形C1,C2,C3,C4は矩形であり、下記の特徴がある。
【0056】
(1)C1-C2は地面に平行である。
(2)C3-C4は地面に平行である。
(3)C1-C3は地面に垂直である。
(4)C2-C4は地面に垂直である。
(5)C1-C2の長さとC3-C4の長さは等しい。
(6)C1-C3の長さとC2-C4の長さは等しい。
【0057】
これらの特徴を拘束条件として、上記式1の各未知のパラメータを求めることができる。求められたこれらのパラメータを用い、任意視点の撮影画像の各画素に対し式1を適用し、画像の射影変換を行い、撮影画像を正規化する。このような処理を行った結果、
図11のような画像が
図4のような画像に校正される。
【0058】
[任意視点動的キャリブレーション手段23]
任意視点動的キャリブレーション手段23は、任意の位置から計測対象物Z1の写真を撮影する際に使用されたカメラ1のレンズの焦点距離や撮影の角度、撮影場所の世界座標値、いわゆる三次元画像計測の際のカメラシステムのパラメータを求める手段である。
【0059】
本実施形態における三次元画像計測システムでは、カメラ1により計測対象物Z1の写真を最適な状態で撮影するため、撮影のたびにレンズ1の焦点距離、撮影の方向や距離などを変更する。すなわち、撮影のたびにカメラシステムのパラメータが変化する可能性があり、撮影のたびにカメラシステムのキャリブレーションが必要となる。
【0060】
このため、任意視点動的キャリブレーション手段23では、すべての撮影画像に対し、計測対象物Z1と同時に撮影された下げ振り装置4の紐状部材8にある標識10,11を用い、カメラ1のレンズの焦点距離を初め、カメラ1の内部パラメータと、撮影姿勢と撮影位置の外部パラメータを求める。
【0061】
具体的には、任意視点動的キャリブレーション手段23は、下記式2のように非特許文献1に記載のカメラキャリブレーションモデルを用い、カメラ1の焦点距離を含む内部パラメーラと、カメラ1の撮影姿勢および撮影位置の外部パラメータとを求める。
【0062】
【0063】
ここで、(u,v)は目標点のカメラ1の画像センサにおける画素の座標、sは倍率に相当するスケール係数、(X,Y)はキャリブレーション用の平面における目標点の三次元世界座標、Aはカメラ1の内部行列、r1はX軸に対する回転行列、r2はY軸に対する回転行列、tは並進行列である。r1、r2、は回転パラメータ、tは並進パラメータと呼ばれ、これらは合わせてカメラ1の外部パラメータと呼ばれる。
【0064】
カメラの内部行列Aは、下記式3により表される。
【0065】
【0066】
式3に示すカメラ1の内部パラメータfx、fy、cx、cyは、非特許文献1および非特許文献2に記載の手法で求めることができる。ただし、本実施形態では、計測対象物Z1を撮影する際にカメラ1のレンズの焦点距離を調整するので、式3におけるfxとfyは計測のたびに変化する可能性がある。
【0067】
そこで、本実施形態においては、任意視点動的キャリブレーション手段23は内部パラメータのキャリブレーションの際に、レンズ(可変焦点距離レンズ)の各焦点距離における焦点距離変化係数kfを下記のとおり求める。
【0068】
【0069】
また、任意視点動的キャリブレーション手段23は、実計測の際に、撮影画像変換手段22により正規化した撮影画像における下げ振り装置4の上下の標識10,11間の間隔Hに注目し、画像上のピクセル数と実際の長さとの対応関係により、fyを求め、さらにキャリブレーションの際に求められたkfより、式4に基づきfxを求める。
【0070】
なお、外部パラメータr
1、r
2、tは、撮影画像変換手段22と同じように、
図11における頂点C1,C2,C3,C4の四角形を用いて求める。ただし、拘束条件は、前記(1)~(6)にさらに下記の2つを加える。
(7)C1-C3の長さは事前に設定された間隔Hである。
(8)C1-C2の長さはH/k
fである。
【0071】
すなわち、任意視点動的キャリブレーション手段23は、2つの下げ振り装置4の紐状部材8が実世界で平行であり、それぞれの紐状部材8にある2つの標識10,11間の距離が実世界で事前に設定された間隔Hであることを既知の条件として、カメラ1の内部パラメータfx、fy、cx、cyと、外部パラメータ(回転パラメータr1、r2、および並進パラメータt)を求める。
【0072】
任意視点動的キャリブレーション手段23は、各撮影位置より撮影された複数枚の撮影画像を用い、前記8つの拘束条件の下で、非特許文献1の手法のチェスボードの代わりに頂点C1,C2,C3,C4の四角形を用いて、r1、r2、tを求め、外部パラメータのキャリブレーションを実現する。
【0073】
[計測点特定手段24]
計測点特定手段24は、計測点を特定するため、レーザー墨出し器3から計測対象物Z1にレーザーラインを投射し、計測対象物Z1上の計測目標点を特定する。具体的には、
図4に示すように、レーザー墨出し器3から、水平ライン3Aとこれに直交する2つの矩形ライン3B,3Cを投射することにより、計測対象物Z1に光マーカを作る。カメラ1により撮影された画像にはこれらの光マーカが含まれており、計測点特定手段24は画像処理の際に撮影された光マーカより計測目標点を特定する。
【0074】
また、曲がり部などレーザー墨出し器4からのレーザーラインを投射しにくい計測目標点や、他にレーザーラインが投射されてないところにある計測必要な計測目標点は、画像計測の段階でマウスクリックなどの方法により直接指定して特定することができる。
【0075】
なお、レーザー墨出し器3を設置する際には、計測対象物Z1上の計測目標点を特定しやすいように工夫する必要がある。また、必要に応じて、2つ以上のレーザー墨出し器3を使用することや、レーザー墨出し器3の代わりに別の形の投光装置を使用することも可能である。
【0076】
[三次元情報算出手段25]
三次元情報算出手段25は、各撮影位置A1~A3においてカメラ1により撮影された複数枚の計測対象物Z1の画像に対し、任意視点動的キャリブレーション手段23により求められたカメラ1の外部パラメータを用いて、三次元画像計測の手法により、計測点特定手段24より特定された計測目標点、マウスクリックより指定された計測目標点や、その他計測必要な計測目標点の三次元座標を自動的に算出する。
【0077】
また、三次元情報算出手段25は、計測目標点だけではなく、上記各撮影画像における下げ振り装置4の上下の標識10,11間の間隔Hを上記パラメータより計算し、算出結果と標識10,11間の間隔Hの真値との差をもって、上記パラメータの値を修正する。これにより、三次元計測の精度がさらに向上する。
【0078】
[計測結果出力手段26]
計測結果出力手段26は、撮影画像変換手段22より処理された校正後の撮影画像に計測目標点を表記し、三次元情報算出手段25より算出された計測目標点の三次元世界座標に基づき、必要な計測目標点間の距離や面積などをモニタ上に表示する。また、これらの計測結果を画像形式やテキスト形式などのファイル形式で出力し、データベースに保存する。
【0079】
データベースに保存された計測結果はいつでも呼び出すことができ、計測点の追加や削除等の処理も可能である。また、三次元画像計測結果をCADデータ形式に変換することや、特定の市販のソフトウェアやフリーソフトウェアでも閲覧可能である。
【0080】
[記憶手段27]
記憶手段27は、主にPC等の計算機、SSDやHDDなどのデータ保存装置より構成される。
図3に示すように、記憶手段27は、主にカメラ1の撮影画像の取り込みや、撮影画像変換手段22、任意視点動的キャリブレーション手段23、計測点特定手段24および三次元情報算出手段25による画像処理結果の保存や出力などの機能を有する。
【0081】
次に、上記構成の三次元画像計測システムによる三次元画像計測方法について説明する。
図10は本実施形態における三次元画像計測システムによる三次元画像計測の流れを示すフロー図である。
【0082】
計測には、まず、下げ振り装置4とレーザー墨出し器3とを計測対象物Z1の近くに設置する(S100)。続いて、異なる視点よりカメラ1により計測対象物Z1の写真を複数枚撮影する(S101)。なお、計測対象物Z1を撮影する際には、任意視点動的キャリブレーション手段23により求めた内部パラメータを用いてカメラ1のレンズの焦点距離を調整する。次に、撮影された写真をカメラ1から計算機2に送る(S102)。送信方式は、有線通信、無線通信やメモリカードによる直接送信などがある。
【0083】
計算機2では、撮影写真を見やすくするために撮影画像変換手段22により射影変換を加える(S103)。また、計測点特定手段24により撮影画像から計測目標点を特定し(S104)、特定された計測目標点の三次元座標を、任意視点動的キャリブレーション手段23(S107)により求めた外部パラメータを用いて三次元情報算出手段25により算出する(S105)。最後に、計測結果出力手段26により計測結果を画像やテキストファイルに出力し、データベース化する(S106)。
【0084】
上記のように、本実施形態における三次元画像計測システムでは、下げ振り装置4とレーザー墨出し器3とを併用し、下げ振り装置4の紐状部材8とレーザー墨出し器3から投射された水平ライン3Aおよび矩形ライン3B,3Cとを含めて計測対象物Z1を複数の視点からそれぞれ撮影し、この撮影された画像を用い、下げ振り装置4の紐状部材8にある標識10,11とレーザー墨出し器3から投射された水平ライン3Aおよび矩形ライン3B,3Cとに基づいて、カメラ1の焦点距離を含む内部パラメータと、カメラ1の撮影姿勢および撮影位置の外部パラメータとを求め、内部パラメータを用いてカメラ1により撮影された画像に対し、外部パラメータを用いて計測対象物Z1上の計測目標点の三次元座標を求めることにより、三次元画像計測を行うことができる。
【0085】
すなわち、本実施形態における三次元画像計測システムでは、下げ振り装置4やレーザー墨出し器3などの簡易な物を用い、また、カメラ1として市販のデジタルカメラなどの汎用撮影機器を用いて、シャッターや防火扉等の装着に必要な施工現場の写真を撮影し、その後、計算機2において画像処理によりシャッター等の製造や装着に必要な現場の形状や寸法などパラメータを算出したり、画像計測結果をデータベース化したりすることが可能であり、計測の精度を向上することができるとともに、計測目標点の特定は写真撮影の段階でもその後の画像処理の段階でも、将来の必要な時でも簡単に実現できる。また、この三次元画像計測システムでは、レーザー墨出し器3による光マーカを用いるため、従来のようにペンキを塗ったり、マーカを付けたりすることなく、撮影画像からシャッター等の装着位置を特定し、形状と寸法などのパラメータを計測することが可能である。
【0086】
特に、本実施形態における三次元画像計測システムでは、カメラ1の焦点距離を含む内部パラメータと、カメラ1の撮影姿勢および撮影位置の外部パラメータとを求め、内部パラメータを用いてカメラ1により撮影された画像に対し、外部パラメータを用いて計測対象物Z1における計測目標点の三次元座標を求めるため、現場計測の際にカメラ1のレンズの焦点距離が変わったり、撮影姿勢や撮影位置が変わったりしても三次元画像計測を行うことが可能である。
【0087】
したがって、現場撮影の際には、計測対象物Z1の写真を見えやすいところから撮影することが可能であり、事前に写真撮影の場所や視線角度を決める必要がなく、必要に応じてカメラ1のレンズの焦点距離を調節したり、撮影場所を選んだりすることが可能である。
【0088】
また、本実施形態における三次元画像計測システムでは、カメラ1により撮影された画像における下げ振り装置4の紐状部材8が地面に垂直となることを基準として画像を射影変換するので、任意の視点から撮影された画像であっても、計測対象物が真正面から撮影されたように見える画像が得られる。
【0089】
本実施形態における三次元画像計測システムによる効果は以下の通りである。
(1)市販の廉価な機材を用い、簡単な撮影などの操作で高速かつ高精度の三次元画像計測を実現し、建築物やトンネルなどの非接触計測が可能となる。
(2)撮影の際に、カメラの焦点距離や撮影場所を事前に決める必要がなく、計測対象物をはっきり撮影できる場所で、必要なレンズ焦点距離で撮影することができる。これにより計測の手間を減らすことができる。
(3)全自動で計測目標点の三次元座標を算出し、必要な計測点間の距離や面積などを自動的に算出することができる。
【産業上の利用可能性】
【0090】
本発明の三次元画像計測システム、三次元画像計測方法および三次元画像計測プログラムは、建築、土木、橋梁やトンネル施工などの分野における三次元計測に有用である。特に、建築物の車庫にシャッターを装着する際、建物に防火扉を作る際や、トンネル工事の避難坑に防火扉を作る際等における現場の建築物等の形状および寸法計測や、橋梁やトンネル等の形状計測や品質管理などの分野に好適である。
【符号の説明】
【0091】
1 カメラ
2 計算機
3 レーザー墨出し器
4,4A,4B 下げ振り装置
5 水平調節器
6 ベース
7 支柱
8 紐状部材
9 錘
10,11 標識
12 下げ振り筒
13 繋ぎ紐状部材
14 固定板
14A 穴
15 調節板
15A 穴
16 ハンドウィンチ
17 背景シール
22 撮影画像変換手段
23 任意視点動的キャリブレーション手段
24 計測点特定手段
25 三次元情報算出手段
26 計測結果出力手段
27 記憶手段
Z1 計測対象物
Z2 シャッター装着領域
Z3 開口部