(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024156335
(43)【公開日】2024-11-06
(54)【発明の名称】移動体用モーションキャプチャのキャリブレーション方法
(51)【国際特許分類】
E21D 11/10 20060101AFI20241029BHJP
【FI】
E21D11/10 D
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023070709
(22)【出願日】2023-04-24
(71)【出願人】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(71)【出願人】
【識別番号】000166432
【氏名又は名称】戸田建設株式会社
(71)【出願人】
【識別番号】000195971
【氏名又は名称】西松建設株式会社
(71)【出願人】
【識別番号】000201478
【氏名又は名称】前田建設工業株式会社
(71)【出願人】
【識別番号】508182589
【氏名又は名称】エフティーエス株式会社
(74)【代理人】
【識別番号】110002321
【氏名又は名称】弁理士法人永井国際特許事務所
(72)【発明者】
【氏名】古木 弘
(72)【発明者】
【氏名】北川 士朗
(72)【発明者】
【氏名】関根 一郎
(72)【発明者】
【氏名】早津 隆広
(72)【発明者】
【氏名】石川 巧
(72)【発明者】
【氏名】若竹 亮
(72)【発明者】
【氏名】山下 雅之
(72)【発明者】
【氏名】山本 悟
(72)【発明者】
【氏名】日比 康貴
(72)【発明者】
【氏名】水谷 和彦
(72)【発明者】
【氏名】坂下 誠
(72)【発明者】
【氏名】浅井 秀明
(72)【発明者】
【氏名】小笠原 裕介
(72)【発明者】
【氏名】五味 春香
(72)【発明者】
【氏名】木村 浩之
(72)【発明者】
【氏名】四塚 勝久
【テーマコード(参考)】
2D155
【Fターム(参考)】
2D155BA05
2D155BB02
2D155CA01
2D155DB06
2D155LA12
2D155LA13
(57)【要約】
【課題】移動体用モーションキャプチャシステムのキャリブレーション方法それを利用したモーションキャプチャシステムを提供する。
【解決手段】移動体上に設置された複数カメラの位置と角度を決定し、続いてキャリブレーション座標系のX軸方向、Y軸方向及びZ軸方向と方向が一致するようにカメラ座標系のX軸、Y軸、Z軸を設定し、さらにキャリブレーション座標系原点とカメラ座標系原点の関係を取得することによりカメラ座標系を設定する。移動体の位置、姿勢を計測することにより、モーションキャプチャシステムが捉えた対象物のキャリブレーション座標を確定することができる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
移動体上に複数のカメラを備えたモーションキャプチャシステムのキャリブレーション方法であって、
前記移動体の機械座標系の原点とキャリブレーション座標系の原点の関係を設定する工程、
前記複数のカメラ配置を決定する工程、
カメラ座標系及び前記機械座標系のX軸方向、Y軸方向、及びZ軸方向をキャリブレーション座標系のそれぞれX軸方向、Y軸方向、Z軸方向に合わせる工程、
カメラ座標系の原点と、キャリブレーション座標系の原点の関係を設定する工程、
を備えることを特徴とするモーションキャプチャシステムのキャリブレーション方法。
【請求項2】
移動体上に複数のカメラを備えたモーションキャプチャシステムのカメラが捉えた対象をキャリブレーション座標系で表示する方法であって、
前記移動体の機械座標系の原点とキャリブレーション座標系の原点の関係を設定する工程
前記複数のカメラ配置を決定する工程、
カメラ座標系及び前記機械座標系のX軸方向、Y軸方向、及びZ軸方向をキャリブレーション座標系のそれぞれX軸方向、Y軸方向、Z軸方向に合わせる工程、
カメラ座標系の原点と、キャリブレーション座標系の原点の関係を設定する工程、
移動体の位置、姿勢の変化からカメラ座標系の回転の程度を算出する工程、
モーションキャプチャ用カメラがとらえた対象物のカメラ座標系での座標をキャリブレーション座標系における座標に変換する工程、
を備えることを特徴とする表示方法。
【請求項3】
移動体上に複数のカメラを備えたモーションキャプチャシステムのキャリブレーション方法であって、
前記移動体の機械座標系の原点とキャリブレーション座標系の原点の関係を設定する工程、
前記複数のカメラ配置を決定する工程、
機械本体車軸方向と機械座標系のX軸方向を一致させ、かつ機械座標系のX軸方向、Y軸方向、Z軸方向をキャリブレーション座標系のそれぞれX軸方向、Y軸方向、Z軸方向に一致させた状況で、カメラ座標系のX軸方向、Y軸方向、Z軸方向をキャリブレーション座標系のそれぞれX軸方向、Y軸方向、Z軸方向に一致させる工程、
カメラ座標系の原点と、キャリブレーション座標系の原点の関係を設定する工程、
を備えることを特徴とするモーションキャプチャシステムのキャリブレーション方法。
【請求項4】
移動体上に複数のカメラを備えたモーションキャプチャシステムのカメラが捉えた対象をキャリブレーション座標系で表示する方法であって、
前記移動体の機械座標系の原点とキャリブレーション座標系の原点の関係を設定する工程、
前記複数のカメラ配置を決定する工程、
機械本体車軸方向と機械座標系のX軸方向を一致させ、かつ機械座標系のX軸方向、Y軸方向、Z軸方向をキャリブレーション座標系のそれぞれX軸方向、Y軸方向、Z軸方向に一致させた状況で、カメラ座標系のX軸方向、Y軸方向、Z軸方向をキャリブレーション座標系のそれぞれX軸方向、Y軸方向、Z軸方向に一致させる工程、
カメラ座標系の原点と、キャリブレーション座標系の原点の関係を設定する工程、
移動体の位置、姿勢の変化からカメラ座標系の回転の程度を算出する工程、
モーションキャプチャ用カメラがとらえた対象物のカメラ座標系での座標をキャリブレーション座標系における座標に変換する工程、
を備えることを特徴とする表示方法。
【請求項5】
移動体が建設機械である請求項1又は3に記載の、モーションキャプチャシステムのキャリブレーション方法。
【請求項6】
移動体が建設機械である請求項2又は4に記載の、モーションキャプチャシステムのカメラが捉えた対象をキャリブレーション座標系で表示する方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体用モーションキャプチャのキャリブレーション方法、及びそれを利用したモーションキャプチャシステムに関する。
【背景技術】
【0002】
例えば、建設機械は、その建設作業のための各種のアーム(伸縮するブームであることもある。)を備え、そのアームの先端部に取り付けたアームなどの動作部を介して、作業するものが代表的である。
【0003】
トンネル内に搬入する建設機械としては、切羽面の削孔などを行ういわゆるトンネルジャンボ、吹付機、鋼製支保工の建込み装置などがある。
【0004】
吹付機による吹付コンクリートは、リアルタイムに出来形を測定する方法がなく、作業員が目分量で吹き付けているのが実情である。リアルタイムに出来形を測定しながら、吹付を自動で行う技術が求められている。
【0005】
特許文献1は、支保工の建て込み方法及び建て込みシステムに関し、支保工の位置をリアルタイムに把握することのできる技術に関し、複数のモーションキャプチャ用カメラによって鋼製支保工の予め定められた複数の定点に設置されたモーションキャプチャ用マーカを撮影し、各モーションキャプチャ用カメラによって取得した撮影画像及び各モーションキャプチャ用カメラの3次元座標に基づいて各モーションキャプチャ用マーカの3次元座標を取得し、取得した各モーションキャプチャ用マーカの3次元座標に基づいて鋼製支保工を設計位置に建て込むものである。
ここで、モーションキャプチャ用マーカの3次元座標は、エレクタ装置上に設置されたターゲットの位置をトータルステーションにより測定し、予め定められた位置に設置されたモーションキャプチャ用カメラと、予め定められた位置に設定されたターゲットの相対位置関係により、モーションキャプチャ用カメラの3次元座標を算出することにより取得するものである。
この発明においては、対象物の3次元座標を取得するために、対象物のカメラ座標系を特定し、これを静止している座標系に変換するものではない。また、カメラはエレクタ装置上のカメラホルダに設置されるが、想定された3次元のX、Y、Z座標位置に精度よく設置することは困難であり、このためモーションキャプチャ用カメラで捉えた対象物の3次元座標を高精度に取得することは困難である。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
このようなモーションキャプチャ用カメラを含むモーションキャプチャ技術は有用である。
かかる背景技術に基づき、本発明者らは、吹付工において、リアルタイムに出来形を測定しながら、吹付を自動で行う技術を求めて、種々の開発を試みた。
すなわち、吹付コンクリートのノズルやブームの近傍に反射体を取り付け、それをモーションキャプチャカメラで連続撮影し、画像分析することにより、吹付ノズルの位置及び動きをリアルタイムに算出できるのではないかと考え、実証実験を試みてきた。
【0008】
この過程において、建設機械のアーム部及び前記アーム部の先端部に取り付けた機素を動かしながら建設作業する際に、前記機素の位置及び動きを正確に捉えるためには、モーションキャプチャシステムを高精度にキャリブレーションする必要があることが判明した。
【0009】
本発明の主たる課題は、例えば、建設機械のアーム部及び前記アーム部の先端部に取り付けた機素を動かしながら建設作業する際に、前記機素の位置及び動きを適確に捉えて、所要の動作を実行できるようにするために使用されるモーションキャプチャシステムの高精度のキャリブレーション方法を提供することにある。また、モーションキャプチャシステムのカメラが捉えた対象をキャリブレーション座標系で表示する方法を提供することにある。
【課題を解決するための手段】
【0010】
上記課題を解決するための手段の第1の態様は次のとおりである。
移動体上に複数のカメラを備えたモーションキャプチャシステムのキャリブレーション方法であって、
前記移動体の機械座標系の原点とキャリブレーション座標系の原点の関係を設定する工程、
前記複数のカメラ配置を決定する工程、
カメラ座標系及び前記機械座標系のX軸方向、Y軸方向、Z軸方向をキャリブレーション座標系のそれぞれX軸方向、Y軸方向、Z軸方向と一致させる工程、
カメラ座標系の原点と、キャリブレーション座標系の原点の関係を設定する工程、
を備えることを特徴とするモーションキャプチャシステムのキャリブレーション方法。
【0011】
第2の態様は以下のとおりである。
移動体上に複数のカメラを備えたモーションキャプチャシステムのカメラが捉えた対象をキャリブレーション座標系で表示する方法であって、
前記移動体の機械座標系の原点とキャリブレーション座標系の原点の関係を設定する工程
前記複数のカメラ配置を決定する工程、
カメラ座標系及び前記機械座標系のX軸方向、Y軸方向、Z軸方向をキャリブレーション座標系のそれぞれX軸方向、Y軸方向、Z軸方向と一致させる工程、
カメラ座標系の原点と、キャリブレーション座標系の原点の関係を設定する工程、
移動体の位置、姿勢の変化からカメラ座標系の回転の程度を算出する工程、
モーションカメラがとらえた対象物のカメラ座標系での座標をキャリブレーション座標系における座標に変換する工程、
を備えることを特徴とする表示方法。
【0012】
第3の態様は次のとおりである。
移動体上に複数のカメラを備えたモーションキャプチャシステムのキャリブレーション方法であって、
前記移動体の機械座標系の原点とキャリブレーション座標系の原点の関係を設定する工程、
前記複数のカメラ配置を決定する工程、
機械本体車軸方向と機械座標系のX軸方向を一致させ、かつ機械座標系のX軸方向、Y軸方向、Z軸方向をキャリブレーション座標系のそれぞれX軸方向、Y軸方向、Z軸方向に一致させた状況で、カメラ座標系のX軸方向、Y軸方向、Z軸方向をキャリブレーション座標系のそれぞれX軸方向、Y軸方向、Z軸方向に一致させる工程、
カメラ座標系の原点と、キャリブレーション座標系の原点の関係を設定する工程、
を備えることを特徴とするモーションキャプチャシステムのキャリブレーション方法。
【0013】
第4の態様は次のとおりである。
移動体上に複数のカメラを備えたモーションキャプチャシステムのカメラが捉えた対象をキャリブレーション座標系で表示する方法であって、
前記移動体の機械座標系の原点とキャリブレーション座標系の原点の関係を設定する工程、
前記複数のカメラ配置を決定する工程、
機械本体車軸方向と機械座標系のX軸方向を一致させ、かつ機械座標系のX軸方向、Y軸方向、Z軸方向をキャリブレーション座標系のそれぞれX軸方向、Y軸方向、Z軸方向に一致させた状況で、カメラ座標系のX軸方向、Y軸方向、Z軸方向をキャリブレーション座標系のそれぞれX軸方向、Y軸方向、Z軸方向に一致させる工程、
カメラ座標系の原点と、キャリブレーション座標系の原点の関係を設定する工程、
移動体の位置、姿勢の変化からカメラ座標系の回転の程度を算出する工程、
モーションキャプチャ用カメラがとらえた対象物のカメラ座標系での座標をキャリブレーション座標系における座標に変換する工程、
を備えることを特徴とする表示方法。
【発明の効果】
【0014】
以上に説明したように、本発明によれば、移動体、例えば、建設機械等に備えた複数カメラを利用したモーションキャプチャシステムにおいて、カメラがとらえた対象物の位置、姿勢、及び動きを適確に捉えることができる、キャリブレーション方法を提供することが可能となる。また、モーションキャプチャシステムのカメラが捉えた対象をキャリブレーション座標系で表示することが可能となる。
【図面の簡単な説明】
【0015】
【
図2】カメラのキャリブレーションの説明図である。
【
図3】移動体のキャリブレーション時と移動時の座標系の関係である。
【
図4】トンネル内に設置された建設機械の運転の説明用概略図である。
【
図5】モーションキャプチャターゲットを備えたブーム部の(a)は平面図、(b)は側面図である。
【
図6】カメラの設置状態及び視野各度例の説明図である。
【
図7】カメラの説明図であり、(a)は正面図、(b)は斜視図である。
【
図8】モーションキャプチャターゲットの一例を示す正視図である。
【発明を実施するための形態】
【0016】
以下、建設機械にカメラを搭載した場合のモーションキャプチャシステムのキャリブレーション方法についての本発明の実施形態について説明する。
【0017】
実施の形態の概要が
図1に示されている。
(第1の実施の態様)
すなわち、機械本体10と、この機械本体10に設けられた3個のプリズム19、7台のカメラ11を固定したカメラ群体11G、トータルステーションTS、システムのキャリブレーションに使用する、カメラ視野内に平面視でL字形になるように三脚にそれぞれ取り付けられた3台のLEDマーカ60A、60B、60Cが配置されている。カメラは2台以上であればよいが、本実施形態では7台である。
【0018】
これらについて、詳しい例示をすると次のとおりである。
キャリブレーション座標系とは、トータルステーションTSで設定される座標系である。カメラ座標系とはモーションキャプチャ用カメラに設定される座標系であり、後述のように決定される。機械座標系とは、建設機械に設定される座標系であり、原点の位置は移動体に配置されている3つのプリズムの位置と関連付けられ、後述するように、機械座標系のX軸、Y軸、Z軸の方向はカメラ座標系のそれぞれX軸、Y軸、Z軸の方向と一致するように設定する。
【0019】
(ア)まずトータルステーションTSにより機械本体10に設けられた3個のプリズム19を計測することにより、3つのプリズムのキャリブレーション座標における位置関係を取得する。これにより3つのプリズムとの機械本体上での位置関係が既知である機械座標系の原点と、キャリブレーション座標系の原点の関係が設定できる。機械座標系の原点は、例えば、吹き付け装置根元にあるベースプレート(図示せず)中心部に設定してもよい。
【0020】
(イ)次に、7台のカメラ11がカメラ群体のフレームにどのように取り付けられているかを決定する。このためには、例えば、
図2に示すようなT字状の治具50を用いる。この治具50は両端、並びに中心近傍を避けて左右に離間距離の差が生じる位置に自発光のLEDマーカ51、52、53が設置された(設置位置及び離間距離は既知)ものである。
カメラ視野内で、治具50を作業員が振り回す(LEDマーカ51,52、53の取り付けた支持棒部を、振り回し面内でメトロノームのように揺動させ、並びに治具50の支持棒部を、その縦断する面に対して前後に交差する、車輪の転動軌跡のような動きを与える、などする)過程で、各カメラに画像情報として取り込み、各カメラからの画像情報に基づき、個々のカメラの位置の差異を逆算しカメラ群体11Gにおける各カメラの位置と角度を確定させる。
【0021】
(ウ)次に、カメラ座標系を設定するために、
図1に示すように、カメラ視野内の三脚にそれぞれ取り付けたLEDマーカを60A、60B、60Cの3台を、平面視でL字型配置で、水平に設置する。このとき、L字型配置の長手方向(LEDマーカ60Bと60Cとを結ぶ方向)は、トータルステーションTSを使用してキャリブレーション座標系のX軸方向に合わせる。また、L字形配置の直角方向(LEDマーカ60Bと60Aとを結ぶ方向)をトータルステーションTSを使用してキャリブレーション座標系のY軸方向に合わせる。Z軸方向はL字形配置の垂直方向である。
L字の角(
図1ではLEDマーカ60B)がカメラ座標系の原点(0,0,0)となり、長手方向(LEDマーカ60Bと60Cとを結ぶ方向)がカメラ座標系のX軸、直角方向がカメラ座標系のY軸とする。
また、機械座標系のX軸方向、Y軸方向、Z軸方向を、それぞれカメラ座標系のX軸方向、Y軸方向、Z軸方向と一致させるように設定する。
これにより、機械座標系のロール、ピッチ、ヨーイングと、カメラ座標系のロール、ピッチ、ヨーイングとを一致させることができる。
【0022】
(エ)カメラ座標系の原点であるL字の角のLEDマーカ60Bを、トータルステーションTSで計測して、カメラ座標系の原点と(ア)で計測した機械座標系の原点の、キャリブレーション座標系での関係を押さえておく。機械座標系の原点の位置はトータルステーションTSにより追跡できるので、任意時点でのカメラ座標系の原点の、キャリブレーション座標系での座標が算出される。
【0023】
(オ)建設機械が移動し、機械座標系とキャリブレーション座標系のX軸方向、Y軸方向、Z軸方向が一致しなくなった任意時点での、機械座標系のキャリブレーション座標系に対するロール、ピッチ、ヨーイングは、(ア)で得られた3つのプリズムのキャリブレーション座標系における位置関係と前記任意時点でのトータルステーションTSによる3つのプリズムの計測結果から得ることができる。
【0024】
以上により、以下の手順で、建設機械が移動した場合の、任意時点でモーションキャプチャ用カメラが対象物を視認した際に算出するカメラ座標系の座標を、キャリブレーション座標系に変換することが可能となる。
すなわち、対象物のカメラ座標系での座標を、カメラ座標系のキャリブレーション座標系に対するロール、ピッチ、ヨーイング(これは機械座標系のキャリブレーション座標系に対するロール、ピッチ、ヨーイングに一致する)を基に座標系の回転を行い、次にカメラ座標系の原点をキャリブレーション座標系での原点に変換することにより、対象物のキャリブレーション座標系での位置を決定することができる。
カメラ座標系のキャリブレーション座標に対するロール、ピッチ、ヨーイングは、(ア)で、トータルステーションTSで測定した3つのプリズムの位置を基準とし(
図3上部に示す)、随時トータルステーションTSで3つのプリズムの位置を測定することにより(
図3下部に示す)、その時点でのロール、ピッチ、ヨーイングを求めることができる。
【0025】
すなわち、上述したモーションキャプチャのキャリブレーションを行うことにより、任意の時点においてトータルステーションTSで測定した3つのプリズムの位置から求めた、カメラ座標系のキャリブレーション座標に対するロール、ピッチ、ヨーイングと、カメラが捉えた対象物のカメラ座標における位置を組み合わせることにより、カメラがとらえた対象物の、キャリブレーション座標系での位置を特定することができる。以上により、移動体上のモーションキャプチャ用カメラが捉えた位置情報をキャリブレーション座標系で表示することが可能となる。
【0026】
(第2の実施の態様)
(ア)まずトータルステーションTSにより機械本体10に設けられた3個のプリズム19を計測することにより、機械座標系の原点の位置のキャリブレーション座標系での座標との関係、及び3つのプリズムのキャリブレーション座標系における位置関係を取得する。これにより3つのプリズムとの機械本体上での位置関係が既知である機械座標系の原点と、キャリブレーション座標系の原点の関係が設定できる。機械座標系の原点は、例えば、吹き付け装置根元にあるベースプレート(図示せず)中心部に設定してもよい。
この時、機械本体は車体が水平になるように調節し、後述するように、車体の軸方向は、L字型配置の長手方向(LEDマーカ60Bと60Cとを結ぶ方向)と一致するようにする。
【0027】
(イ)次に、7台のカメラ11がカメラ群体のフレームにどのように取り付けられているかを決定する。このためには、例えば、
図2に示すようなT字状の治具50を用いる。この治具50は両端、並びに中心近傍を避けて左右に離間距離の差が生じる位置に自発光のLEDマーカ51、52、53が設置された(設置位置及び離間距離は既知)ものである。
カメラ視野内で、治具50を作業員が振り回す(LEDマーカ51,52、53の取り付けた支持棒部を、振り回し面内でメトロノームのように揺動させる、並びに治具50の支持棒部を、その縦断する面に対して前後に交差する、車輪の転動軌跡のような動きを与える、などする)過程で、各カメラに画像情報として取り込み、各カメラからの画像情報に基づき、個々のカメラの位置の差異を逆算しカメラ群体11Gにおける各カメラの位置と角度を確定させる。
【0028】
(ウ)次に、カメラ座標系を設定するために、
図1に示すように、カメラ視野内に三脚にそれぞれ取り付けたLEDマーカを60A、60B、60Cの3台を、平面視でL字型配置で、水平に設置する。このとき、L字型配置の長手方向(LEDマーカ60Bと60Cとを結ぶ方向)は、トータルステーションTSを使用してキャリブレーション座標系のX軸方向に合わせる。機械本体の軸方向もL字型配置の長手方向と合わせる。また、L字形配置の直角方向(LEDマーカ60Bと60Aとを結ぶ方向)をトータルステーションTSを使用してキャリブレーション座標系のY軸方向に合わせる。Z軸方向はL字形配置の垂直方向である。
L字の角(
図1ではLEDマーカ60B)がカメラ座標系の原点(0,0,0)となり、長手方向(LEDマーカ60Bと60Cとを結ぶ方向)がカメラ座標系のX軸、直角方向がカメラ座標系のY軸とする。
図1に示すように、機械本体側面に車体軸と平行になるように取り付けた2個のプリズム19をトータルステーションTSで観測することにより、車体軸方向をL字型配置の長手方向(LEDマーカ60Bと60Cとを結ぶ方向)と一致するようにする。機械本体は水平になるように調整されているから、これにより、機械座標系のX軸方向(車体軸方向)、Y軸方向、Z軸方向(垂直方向)は、それぞれキャリブレーション座標系のX軸方向、Y軸方向、Z軸方向と一致し、さらにカメラ座標系のX軸方向、Y軸方向、Z軸方向と一致する。
これにより、機械座標系のロール、ピッチ、ヨーイングと、カメラ座標系のロール、ピッチ、ヨーイングとを一致させることができる。
【0029】
本第2の態様においては、機械座標系のX軸方向と機械本体車軸が一致し、Z軸が機械本体に対して垂直上方向と一致している。従って、機械本体上に設定された機械座標系の原点を、キャリブレーション座標系で表示する場合算出が容易となる。なお、機械本体車軸とは、機械が直進する方向と方向が一致し、たとえばベースプレート中心を通るように設定してもよい。機械本体上に設置された各構成要素の位置を取得する際に、各構成要素と機械本体上の目標点(モーションキャプチャターゲット)の、機械本体上での位置関係を予め取得しておけば、前記目標点をモーションキャプチャにより計測することにより、各構成要素の位置を容易にカメラ座標系での座標として得られるという利点がある。
【0030】
(エ)カメラ座標系の原点であるL字の角のLEDマーカ60Bを、トータルステーションTSで計測して、カメラ座標系の原点と(ア)で計測した機械座標系の原点の、キャリブレーション座標系での関係を押さえておく。機械座標系の原点の位置はトータルステーションTSにより追跡できるので、任意時点でのカメラ座標系の原点の、キャリブレーション座標系での座標が算出される。
【0031】
(オ)建設機械が移動し、機械座標系とキャリブレーション座標系のX軸方向、Y軸方向、Z軸方向が一致しなくなった任意時点での、機械座標系のキャリブレーション座標系に対するロール、ピッチ、ヨーイングは、(ア)で得られた3つのプリズムのキャリブレーション座標系における位置関係と前記任意時点でのトータルステーションTSによる3つのプリズムの計測結果から得ることができる。
【0032】
以上により、以下の手順で、建設機械が移動した場合の、任意時点でモーションキャプチャ用カメラが対象物を視認した際に算出するカメラ座標系の座標を、キャリブレーション座標系に変換することが可能となる。
すなわち、対象物のカメラ座標系での座標を、カメラ座標系のキャリブレーション座標系に対するロール、ピッチ、ヨーイング(これは機械座標系のキャリブレーション座標系に対するロール、ピッチ、ヨーイングに一致する)を基に座標系の回転を行い、次にカメラ座標系の原点をキャリブレーション座標系での原点に変換することにより、対象物のキャリブレーション座標系での位置を決定することができる。
カメラ座標系のキャリブレーション座標に対するロール、ピッチ、ヨーイングは、(ア)で、トータルステーションTSで測定した3つのプリズムの位置を基準とし(
図3上部に示す)、随時トータルステーションTSで3つのプリズムの位置を測定することにより(
図3下部に示す)、その時点でのロール、ピッチ、ヨーイングを求めることができる。
【0033】
すなわち、上述したモーションキャプチャのキャリブレーションを行うことにより、任意の時点においてトータルステーションTSで測定した3つのプリズムの位置から求めた、カメラ座標系のキャリブレーション座標に対するロール、ピッチ、ヨーイング、及びカメラが捉えた対象物のカメラ座標における位置を組み合わせることにより、カメラがとらえた対象物の、キャリブレーション座標系での位置を特定することができる。以上により、移動体上のモーションキャプチャ用カメラが捉えた位置情報をキャリブレーション座標系で表示することが可能となる。
【0034】
さらに本第2の態様のキャリブレーションによれば、機械座標系及びカメラ座標系のX軸は機械本体の車軸と一致し、Z軸は車体に対して垂直上方向と一致している。従って、機械本体上に設置された各構成要素の位置を取得する際に、各構成要素と目標点(モーションキャプチャターゲット)の機械本体上での位置関係を予め取得しておけば、前記目標点をモーションキャプチャにより計測することにより、各構成要素の位置を容易にカメラ座標系での座標として得られるという利点がある。
【0035】
次に本発明のキャリブレーション方法によるモーションキャプチャを用いた例を次に説明する。
図4、
図5に示されるトンネルT内に位置する機械本体10は、例えばNATM工法に用いるトンネル内部空面に対してコンクリートを吹き付ける吹き付け装置であり、その吹付用ブーム22が、機械本体10の前端部に縦軸15を中心として水平方向に旋回する支持体16に取付られ、起伏シリンダ17により上下方向に揺動するようになっている。
中央に吹付用ブーム22(
図5)、吹付ノズル26、吹付ノズル26を保持する支持体25、支持体25に必要により固定されたレーダ距離計27を有している。
吹付ノズル26の3次元位置及び指向方向は、3次元で移動可能である。そしてその吹付ノズル26の位置及びブーム22を含めた運動部20の動きを適確に捉えて、吹付ノズル26の3次元位置及び指向方向を制御できる。
【0036】
上記例において、吹付ノズル26及び吹付用ブーム22、並びに説明した各運動要素は、機構学的にみれば、機械本体10に設けられ、施工のための機素を構成し、連結部は対偶をなして運動する可動部に属し、運動部20の構成要素となっている。吹付ノズル26の支持体25(この実施の形態における支持体25は、
図5に示されているように保持枠のほか、レーダ距離計27の支持座板を含み、吹付ノズル26に連通する吹付材料の通路を保持している。)が設置されている。
【0037】
モーションキャプチャターゲット100を睨んでカメラ11が機械本体10に少なくとも2台、実施の形態では
図6が参照されるように例えば6台のカメラ11が光軸角度を異ならせて固定され、カメラ群体11Gが構成されている。
カメラ群体11Gは、
図1が参照されるように、機械本体10の前方部位に固定されている。
【0038】
カメラ11の例は
図7に示され、カメラ11は広角レンズを備えるものが好ましく、トンネルT内における粉塵環境であることに鑑み、モーションキャプチャターゲット100を明確に捉えることができるように、カメラ11周囲部にLED発光体11Aを複数設け、これらを粉塵対策フード11Bで覆ったものを好適に使用できる。
【0039】
建設機械の機械本体10のトンネル内における現位置情報は、トンネル抗外からの測量により位置が既知である、例えばトンネルT内に設置されるトータルステーションTSを用いて得ることができる。
位置が既知であるトータルステーションTSにより、機械本体10の適宜の位置に設けた、例えば汎用のプリズムターゲット19をそれぞれ捉えることにより、ターゲット19の位置を測量に基づき得て、同時にターゲット19の位置と関係づけることができる機械本体10のトンネル内の位置を設定できる。
【0040】
機械本体10のトンネル内の位置に基づき、吹付ノズル26の位置は、運動部20に設けられた伸縮距離検知器、回転各度検出器など(当業者は当然に理解するであろうから図示を省略してある。)からの現位置及び角度などの運動データにより把握できる。なお、吹付ノズル26の3次元位置及び指向方向は、3次元で移動可能である。
また、支持体25に固定された
図5が参照されるレーダ距離計27からの信号より、トンネルTの内空面までの現離間距離(コンクリート吹付がなされているのであればコンクリート表面までの現離間距離)データを得ることができる。
【0041】
さて、ブーム22が長いことなどが影響していると考えられる要因によって、ブーム22の先端位置において、その軸周りに捩れる(回転する)現象を招く。
【0042】
これらの回転が生じると、例えば吹付ノズル26先端の位置が仮に同一であるとしても、吹付ノズル26先端の開口が向いている方向が目的の方向に対してずれてしまい、目的の壁面位置に対する目的の吹付厚での吹付が困難となる。
吹付ノズル26の位置の取得には1つのマーカからなるターゲットで十分であるが、これらの回転を検出するためには、
図8に示す一例としての、少なくとも3点の自発光部を有するモーションキャプチャターゲット100を設け、ブーム22のロール、ピッチ及びヨーイングを取得する必要がある。
1つのマーカ21のXYZ座標を求めるだけではロール、ピッチ及びヨーイングは不明である。
【0043】
実施の形態のトンネル用モーションキャプチャターゲット100は、コンクリート吹付機の機械本体10と連結され、伸長した、吹付用ブーム22の先端部に設けられている。
このモーションキャプチャターゲット100は、ブーム22に対して連結された吹付ノズル26を動かしながら吹付ノズル26からトンネルT内壁面にコンクリート吹付する際に、吹付ノズル26の位置及び動きを捕捉するために設けられるものである。
【0044】
実施の形態のモーションキャプチャターゲット100は、ブーム22に対する取付部111と、取付部111に接合された板状の基板部110と、基板部110の一面に取り付けられた少なくとも4個のLED部121、122、123、124とを有する。取付部111に対して基板部110は直交する又はやや上方が先端方向に傾いた、例えば90度を超え80度以下の角度範囲で傾けて一体化させてもよい。
【0045】
前記LED部121~124は、自発光するLEDと、LEDの発光を等方的に放射する球状のカバー体とを有する。LEDは近赤外光(例えばピーク波長850nm)を用いることが好ましい。
【0046】
LED部の直径が5~20mmであることが好ましい。この範囲とすることにより、捕捉が確実となり、もって中心点Oの位置の精度を高めることができる。直径が5mmより小さいと、粉塵により消失する確率が高くなり、3つのLED部をとらえられない場合が生じる。直径が20mmより大きい場合には、LED部の中心の位置の精度が悪くなり、中心点Oの位置の精度も悪化する。
【0047】
4個のLED部121~124はいずれも基板部110面の中心点Oから等距離R(
図8参照)に配置されているのが望ましい。距離Rは60~80mmであることが好ましい。この範囲とすることにより、中心点Oの位置の精度を高めることができる。距離が60mmより小さい場合、及び、距離が80mmより大きい場合には、算出する中心点Oの位置の精度が悪化する。
LED部の直径が5~20mm、かつ、距離Rは60~80mmとすることにより、ノズルの位置を、10mm以下の精度で算出することができる。
【0048】
隣接するLED部121~124の間の角度α、β、γ、δが異なるように配置されるのが望ましい。
例えば、基板部110上の面における、隣接するLED部の間の角度α、β、γ、δが90度、50度、72度、148度とされている。
これらの角度とすることにより、中心点Oをリアルタイムに高精度で算出する確率を向上させることができることを確認している。
【0049】
LED部の数は、3個以上であれば中心点Oの画定が可能である。しかし、トンネル内での粉塵の影響に一部のLED部を検知できない、あるいは一部のLED部が発光しなくなったなどの場合にも中心点Oの画定を可能とするために4個以上であるのが望ましい。
【0050】
上記LED部121、122、123、124は、基板部110における位置が既知され、区別のためにナンバリングされた状態でモーションキャプチャソフトに予め記憶される。
【0051】
このうえで、カメラ側から見た、ステレオ連続画像を画像分析して、LED部の中心点OのX座標、Y座標及びZ座標、回転(ロール、ピッチ、ヨーイング)を算出する。
中心点Oの3次元座標は、3個のLED部の各3次元座標に基づき算出する。
【0052】
以上の操作により、モーションキャプチャターゲット100の初期位置からの回転、すなわちロール、ピッチ、ヨーイングを取得し、ブーム先端位置における捩じれの程度を把握することにより、トータルステーションTSにより捉えた機械本体10の位置及び姿勢を基礎として、吹付ノズル26の3次元位置及び指向方向データを取得することが可能となる。
【産業上の利用可能性】
【0053】
本発明のモーションキャプチャシステムのキャリブレーション方法は、例えば、トンネル内に位置して施工する、コンクリート吹付機(装置)のほか、支保工設置用機械、トンネルドリルジャンボなどの、NATM工法における建設機械一般において、モーションキャプチャシステムにより、高精度な施工を実施する場合等に適用可能である。
【符号の説明】
【0054】
10…コンクリート吹付機(NATM工法用建設機械)の機械本体、11…モーションキャプチャ用カメラ、19…プリズム、60A、60B、60C…LEDマーカ、50…治具