IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社トプコンの特許一覧

特許7599880ガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラム
<>
  • 特許-ガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラム 図1
  • 特許-ガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラム 図2
  • 特許-ガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラム 図3
  • 特許-ガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラム 図4
  • 特許-ガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラム 図5
  • 特許-ガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラム 図6
  • 特許-ガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラム 図7
  • 特許-ガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラム 図8
  • 特許-ガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラム 図9
  • 特許-ガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラム 図10
  • 特許-ガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラム 図11
  • 特許-ガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラム 図12
  • 特許-ガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-06
(45)【発行日】2024-12-16
(54)【発明の名称】ガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20241209BHJP
   H04N 23/63 20230101ALI20241209BHJP
【FI】
H04N7/18 C
H04N7/18 U
H04N23/63
【請求項の数】 4
(21)【出願番号】P 2020160223
(22)【出願日】2020-09-24
(65)【公開番号】P2022053396
(43)【公開日】2022-04-05
【審査請求日】2023-09-21
(73)【特許権者】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(74)【代理人】
【識別番号】100098796
【弁理士】
【氏名又は名称】新井 全
(74)【代理人】
【識別番号】100121647
【弁理士】
【氏名又は名称】野口 和孝
(74)【代理人】
【識別番号】100187377
【弁理士】
【氏名又は名称】芳野 理之
(72)【発明者】
【氏名】佐々木 剛
【審査官】公文代 康祐
(56)【参考文献】
【文献】特開2019-145953(JP,A)
【文献】特開2014-055407(JP,A)
【文献】特開2019-132062(JP,A)
【文献】米国特許出願公開第2013/0096873(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
H04N 23/63
G01C 1/00- 1/14
G01C 5/00-15/14
G01B 11/00-11/30
G01N 21/84-21/958
(57)【特許請求の範囲】
【請求項1】
対象物を利用者側の視点と異なる視点で測量する測量装置と、利用者側の視点で対象物
を表示する表示部と、を有するガイダンスシステムであって、
前記測量装置は、前記対象物に向かって測距光を照射し、前記対象物からの反射測距光
を受光して測距を行う構成となっており、
前記測量装置が測量した前記対象物の測量情報を、前記利用者側の視点に変更して、前
記表示部に表示し、
前記測量装置の測量視点で前記対象物を撮像する測量装置側撮像装置と、
前記利用者の視点で前記対象物を撮像する利用者側撮像装置を有し、前記測量装置側撮
像装置と前記利用者側撮像装置の間の相対的位置姿勢情報に基づき、前記測量装置の前記
測量情報を利用者側の視点に変更して前記表示部に表示することを特徴とするガイダンスシステム。
【請求項2】
前記対象物を移動させる目標位置情報を取得し、
現在位置情報と前記目標位置情報との差異情報を利用者側の視点で前記表示部に表示することを特徴とする請求項1に記載のガイダンスシステム。
【請求項3】
対象物を利用者側の視点と異なる視点で測量する測量装置と、利用者側の視点で対象物
を表示する表示部と、
前記測量装置の測量視点で前記対象物を撮像する測量装置側撮像装置と、前記利用者の視点で前記対象物を撮像する利用者側撮像装置を有するガイダンスシステムの制御方法であって、
前記測量装置は、前記対象物に向かって測距光を照射し、前記対象物からの反射測距光を受光して測距を行い、
前記測量装置が測量した前記対象物の測量情報を、前記利用者側の視点に変更して、前
記表示部に表示し、
前記測量装置側撮像装置と前記利用者側撮像装置の間の相対的位置姿勢情報に基づき、前記測量装置の前記測量情報を利用者側の視点に変更して前記表示部に表示することを特徴とするガイダンスシステムの制御方法
【請求項4】
対象物を利用者側の視点と異なる視点で測量する測量装置と、利用者側の視点で対象物
を表示する表示部と、前記測量装置の測量視点で前記対象物を撮像する測量装置側撮像装置と、前記利用者の視点で前記対象物を撮像する利用者側撮像装置を有するガイダンスシステムに、
前記測量装置に対し、前記対象物に向かって測距光を照射し、前記対象物からの反射測距光を受光して測距を行わせる機能、
前記測量装置が測量した前記対象物の測量情報を、前記利用者側の視点に変更して、前
記表示部に表示する機能、
前記測量装置側撮像装置と前記利用者側撮像装置の間の相対的位置姿勢情報に基づき、前記測量装置の前記測量情報を利用者側の視点に変更して前記表示部に表示させる機能、を実行させるためのガイダンスシステムの制御プログラム
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械等の操作を行う操作者等の操作をガイダンスするガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラムに関するものである。
【背景技術】
【0002】
従来から作業機械等の装置の操作を行う際、その操作者が視認するディスプレイ等に操作を補助するガイダンス用の参考情報を表示する提案がなされている(例えば、特許文献1等)
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開WO2017/191853号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、かかる提案では、ディスプレイに、参考情報である例えば、その操作者の死角情報等を表示する際、操作者の視点とは異なる様々な角度から見た形状を参考情報として表示していたため、操作者は、迅速に状況等を把握することが困難であるという問題があった。
また、ディスプレイにカメラで撮像した外部情報等を表示して、操作者に外部情報を把握させようとする場合、カメラの画像では、例えば、外部情報である構造体等の奥行等を明確に把握させることができない等の問題もあった。
【0005】
そこで、本発明は、表示部に対象物を表示する際、当該対象物を操作者の視点で、且つ正確に示すことができるガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的は、本発明によれば、対象物を利用者側の視点と異なる視点で測量する測量装置と、利用者側の視点で対象物を表示する表示部と、を有するガイダンスシステムであって、前記測量装置は、前記対象物に向かって測距光を照射し、前記対象物からの反射測距光を受光して測距を行う構成となっており、前記測量装置が測量した前記対象物の測量情報を、前記利用者側の視点に変更して、前記表示部に表示し、前記測量装置の測量視点で前記対象物を撮像する測量装置側撮像装置と、前記利用者の視点で前記対象物を撮像する利用者側撮像装置を有し、前記測量装置側撮像装置と前記利用者側撮像装置の間の相対的位置姿勢情報に基づき、前記測量装置の前記測量情報を利用者側の視点に変更して前記表示部に表示することを特徴とするガイダンスシステムにより達成される。
【0007】
前記構成によれば、表示部に表示される対象物の情報は、測量情報(例えば、3次元形
状情報等)なので、対象物の形状情報が表示部に正確に表示される。
また、この表示部に表示される対象物の測量情報は、利用者側の視点に変更して表示さ
れるので、利用者は、対象物を把握し易いシステムとなっている。
また、前記構成によれば、測量装置側撮像装置と利用者側撮像装置の間の相対的位置姿勢情報、例えば、Sfm(Structure from Motion)の手法等を使用し、両者の撮像装置で取得された画像から、そこに映っている対象物の形状を復元すると同時に双方の撮像装置の位置姿勢を推定して得た相対的位置姿勢情報に基づき、測量情報を利用者側の視点に変更して前記表示部に表示する構成となっている。
このため、測量装置の測量情報を、正確に利用者側の視点に変更することができる。
【0012】
好ましくは、前記ガイダンスシステムは、前記対象物を移動させる目標位置情報を取得し、現在位置情報と前記目標位置情報との差異情報を利用者側の視点で前記表示部に表示することを特徴とする。
【0013】
前記構成によれば、現在位置情報と目標位置情報との差異情報(例えば、移動させるべき方向、傾き等)を利用者側の視点で表示部に表示させることができるので、利用者に適切なガイダンス情報を提供することができる。
【0014】
前記目的は、本発明によれば、対象物を利用者側の視点と異なる視点で測量する測量装置と、利用者側の視点で対象物を表示する表示部と、前記測量装置の測量視点で前記対象物を撮像する測量装置側撮像装置と、前記利用者の視点で前記対象物を撮像する利用者側撮像装置を有するガイダンスシステムの制御方法であって、前記測量装置は、前記対象物に向かって測距光を照射し、前記対象物からの反射測距光を受光して測距を行い、前記測量装置が測量した前記対象物の測量情報を、前記利用者側の視点に変更して、前記表示部に表示し、前記測量装置側撮像装置と前記利用者側撮像装置の間の相対的位置姿勢情報に基づき、前記測量装置の前記測量情報を利用者側の視点に変更して前記表示部に表示することを特徴とするガイダンスシステムの制御方法により達成される。
【0015】
前記目的は、本発明によれば、対象物を利用者側の視点と異なる視点で測量する測量装置と、利用者側の視点で対象物を表示する表示部と、前記測量装置の測量視点で前記対象物を撮像する測量装置側撮像装置と、前記利用者の視点で前記対象物を撮像する利用者側撮像装置を有するガイダンスシステムに、前記測量装置に対し、前記対象物に向かって測距光を照射し、前記対象物からの反射測距光を受光して測距を行わせる機能、前記測量装置が測量した前記対象物の測量情報を、前記利用者側の視点に変更して、前記表示部に表示する機能、前記測量装置側撮像装置と前記利用者側撮像装置の間の相対的位置姿勢情報に基づき、前記測量装置の前記測量情報を利用者側の視点に変更して前記表示部に表示させる機能、を実行させるためのガイダンスシステムの制御プログラムにより達成される。
【発明の効果】
【0016】
本発明は、表示部に対象物を表示する際、当該対象物を操作者の視点で、且つ正確に示すことができるガイダンスシステム、ガイダンスシステムの制御方法、ガイダンスシステムの制御プログラムを提供することができるという利点がある。
【図面の簡単な説明】
【0017】
図1】本発明の実施の形態にかかるガイダンスシステム1を示す概略図である。
図2図1の測量装置10の筐体7の主な内部構造を示す概略図である。
図3図1のクレーン200の主な構成を示す概略ブロック図である。
図4図1及び図2に示す測量装置10の主な構成を示す概略ブロック図である。
図5】測量装置側第1の各種情報記憶部110の主な構成を示す概略ブロック図である。
図6】測量装置側第2の各種情報記憶部の主な構成を示す概略ブロック図である。
図7】測量装置側第3の各種情報記憶部の主な構成を示す概略ブロック図である。
図8】本実施の形態のガイダンスシステム1のガイダンス準備工程を示す主なフローチャートである。
図9】本実施の形態のガイダンス工程を示す主なフローチャートである。
図10】鉄筋300のズレ等の情報を示す画面例である。
図11】鉄筋300と目標位置との関係を示す画面例である。
図12】鉄筋300と目標位置との関係を示す他の画面例である。
図13】鉄筋300の傾き程度を矢印で示す画面例である。
【発明を実施するための形態】
【0018】
以下、この発明の好適な実施の形態を添付図面等を参照しながら、詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
【0019】
(ガイダンスシステム1の全体の構成)
図1は、本発明の実施の形態にかかるガイダンスシステム1を示す概略図である。
図1のガイダンスシステム1は、例えば、対象物である例えば、鉄筋300を吊り下げて、目標位置に移動させるためのクレーン200と、このクレーン200の操縦席210に設置される表示部であるクレーン側ディスプレイ204と、この操縦席210に乗り、操作する利用者である例えば、操作者の視点で外部、特に鉄筋300及びその周辺を撮像する利用者側撮像装置である例えば、クレーンカメラ203を有している。
【0020】
このクレーン側ディスプレイ204は、「タッチパネル型ディスプレイ」となっており、タッチパネルは、表示部である例えば、ディスプレイと、位置入力装置を組み合わせた電子部品であり、ディスプレイ上の表示に操作者が触れることで各種情報を入力できる入力装置となっている。
【0021】
また、本システム1は、クレーン200が吊り下げている鉄筋300を、クレーン200とは異なる方向から測量すると共に、鉄筋300及びその周辺を撮像する測量装置側撮像装置である例えば、測量装置カメラ27(撮像ユニット)(図4等参照)を備える測量装置10も備えている。
【0022】
そして、図1のクレーン200は、測量装置10等と通信するためのクレーン側通信装置202(図3参照)を有し、測量装置10も、クレーン200等と送信するための測量装置側通信装置101を有し、これらは相互に通信可能な構成となっている。
【0023】
(測量装置10の主なハードウエア構成等)
次いで、図1に示す「測量装置10」の主なハードウエア構成等を説明する。
測量装置10は、図1に示すように、設置基準点Rに設置される三脚2に、基台ユニット3を介して設けられ、測定対象物である例えば鉄筋300を3次元測定(測量)可能な構成となっている。
【0024】
測量装置10の基台ユニット3は、水平方向に回転し、回転角度が検出可能な分度盤8を有すると共に、鉛直方向に回転可能で、所望の角度で固定可能な鉛直回転部9も有し、測量装置10は、直接的には、この鉛直回転部9に取付けられる構成となっている。
このため、測量装置10は、機械基準点を中心に鉛直方向に回転し、また機械基準点を中心に水平方向に回転する構成ともなっている。
【0025】
(測量装置20の筐体10内の主なハードウエア構成)
図2は、図1の測量装置10の筐体7の主な内部構造を示す概略図である。
図2に示すように、筐体7の背面7の背面に測量装置側表示部11、操作部12を有し、又は筐体7の内部には、測距光軸4を有する測定ユニット20、演算処理ユニット24、測距光の射出方向を検出する射出方向検出部25、測量装置10の水平方向の傾斜を検出する姿勢検出ユニット26、撮像光軸5を有する撮像ユニット(測量装置カメラ)27、測距光軸4を偏向する光軸偏向ユニット36等を有している。
【0026】
また、図2に示すように、測定ユニット20、姿勢検出ユニット26、撮像ユニット26、光軸偏向ユニット36は、一体化されて配置されている。
図2の測定ユニット20は、測距光射出部21、受光部22、測距部23を有している。測距光射出部21は、測距光を射出すると共に、射出光軸31を有し、この射出光軸31上に発光素子32(例えばレーザダイオード(LD))が設けられ、更に、射出光軸31上に投光レンズ33が設けられる。
【0027】
また、射出光軸31上には、偏向光学部材としての第1反射鏡34が設けられ、この第1反射鏡34に対峙させるように、受光光軸37上に偏向光学部材としての第2反射鏡35が配置されている。
これら第1反射鏡34、第2反射鏡35によって、射出光軸31は、測距光軸4と合致するように構成されている。
また、測距光軸4上に、光軸偏向ユニット36が配置されている。
【0028】
図2の受光部22は、測定対象物である鉄筋300からの反射測距光を受光するが、受光部22は、射出光軸31と平行な受光光軸37を有し、受光光軸37は、測距光軸4と共通となっている。
受光光軸37上には、受光素子38、例えばフォトダイオード(PD)が設けられ、又結像レンズ39が配設されている。
結像レンズ39は、反射測距光を受光素子38に結像し、受光素子38は反射測距光を受光し、受光信号を発生する。受光信号は、測距部23に入力される。
【0029】
(測量装置10の光軸偏向ユニット36について)
図2の受光光軸37上で、結像レンズ39の対物側には、光軸偏向ユニット36が配置されている。
測距部23は、発光素子32を制御し、測距光としてレーザ光線を発光させる。
このレーザ光線は、光学偏向ユニット36(測距光偏向部36a)により、測距点(鉄筋300)に向かうように、測距光軸4が偏向される構成となっている。
具体的には、図1の鉄筋300に向かってレーザ光線が照射され、測定対象物である鉄筋300から反射された反射測距光は光軸偏向ユニット36(反射測距光偏向部36b)、結像レンズ39を介して受光部22に入射する。
【0030】
この反射測距光偏向部36bは、測距光偏向部36aで偏向された測距光軸4を元の状態に復帰させるよう再偏向し、反射測距光を受光素子38に受光させる。
受光素子38は受光信号を測距部23に送出し、測距部23は、受光素子38からの受光信号に基づき測定点(鉄筋300)の測距を行う。
【0031】
なお、光軸偏向ユニット36には、図2に示すように、一対の光学プリズム41a、41bが配置されている。
これら光学プリズム41a、41bとして用いられるフレネルプリズムは、それぞれ平行に配置されたプリズム要素42a、42bと多数のプリズム要素43a、43bを有し、板形状となっている。
【0032】
(光軸偏向ユニット36を用いたレーザの軌跡制御について)
図2の発光素子32から測距光が発せられ、測距光は、投光レンズ33で平行光束とされ、測距光偏向部36a(プチズム要素42a、42b)を透過して測定対象物である鉄筋300に向けて射出される。
ここで、測距光偏向部36aを透過することで、測距光は、プリズム要素42a、42bによって所要の方向である鉄筋300の方向に偏向されて射出される。
【0033】
また、鉄筋300で反射された反射測距光は、反射測距光偏向部36b(プリズム要素43a、43b)を透過して入射され、結像レンズ39により受光素子38に集光される。
その後、反射測距光が反射測距光偏向部36bを透過することで、反射測距光の光軸は、受光光軸37と合致するようにプリズム要素43a、43bによって偏向される。
すなわち、プリズム要素42aとプリズム要素42bとの回転位置の組み合わせにより、射出する測距光の偏向方向、偏角を任意に変更することができる構成となっている。
具体的には、後述のように、直線状、円状、楕円状、連続したZ字状(ジグザク状)等にレーザの測距光を変更することができる構成となっている。
【0034】
(測量装置10の測量装置カメラ(撮像ユニット)27について)
図2に示すように、測量装置カメラ(撮像ユニット)27は、撮像光軸5を有している。この撮像光軸5は、例えば、図1の鉄筋300に向けることで、鉄筋300の画像を取得可能な構成となっている。
また、撮像光軸5上に結像レンズ48、撮像素子49が設けられている。この撮像素子49は、画素の集合体である、CCD或いはCMOSセンサであり、各画素は画像素子上での位置が特定できるようになっている。
例えば、各画素は、測量装置カメラ27の光軸を原点とした座標系で位置が特定される。
【0035】
図1及び図2に示す測量装置10のハードウエア構成は、以上のとおりであるが、以下で、図1のクレーン200及び測量装置10のソフトウエアを含む主な構成を説明する。
【0036】
また、図1のクレーン200及び測量装置10、コンピュータを有し、コンピュータは、図示しないCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を有し、これらは、バス等を介して接続されている。
【0037】
図3は、図1のクレーン200の主な構成を示す概略ブロック図である。
図3に示すように、クレーン200は「クレーン制御部201」を有し、同制御部201は、上述した「クレーン側通信装置202」、「クレーンカメラ203」、「クレーン側ディスプレイ204」の他、「クレーン側各種情報入力部205」や「クレーン側各種情報記憶部206」等も制御している。
【0038】
図4は、図1及び図2に示す測量装置10の主な構成を示す概略ブロック図である。
図4に示すように、測量装置10は、「測量装置制御部102」を有し、同制御部102は、上述の「測量装置側通信装置101」、「測量装置カメラ27」、「測量装置側表示部11」、「測量ユニット20」、「測距部23」、「演算処理ユニット24」、「姿勢処理ユニット26」及び「射出方向検出部25」を制御する他、「測量装置側第1の各種情報記憶部110」、「測量装置側第2の各種情報記憶部120」及び「測量装置側第3の各種情報記憶部130」も制御する。
【0039】
図5乃至図7は、それぞれ「測量装置側第1の各種情報記憶部110」、「測量装置側第2の各種情報記憶部120」及び「測量装置側第3の各種情報記憶部130」の主な構成を示す概略ブロック図である。これらの構成の内容については、後述する。
なお、図1の「クレーンカメラ203」と図2の「測量装置カメラ27」は、相互に時刻を同期させることができ、指定された時刻でデータの取得を実行できる構成となっている。
また、各カメラ203、27は、GPS(Global Positioning System/全地球測位システム)などのGNSS(Global Navigation Satelite System/全球測位衛星システム)を利用して、正確な撮影時刻を取得できると共に、図示しないインターネット網等を介してNTP(Network Time protocol)サーバにアクセスして、正確な時刻を取得することもできる構成ともなっている。
ここで、NTPサーバは、正確な時刻情報を取得・配信しているサーバである。
【0040】
(ガイダンスシステム1の主な動作等について)
図8は、本実施の形態のガイダンスシステム1のガイダンス準備工程を示す主なフローチャートであり、図9は、ガイダンス工程を示す主なフローチャートである。
以下、これらの各工程について説明し、併せて図5乃至図7の各ブロックの内容についても説明する。
【0041】
本実施の形態では、図1に示すクレーン200の操縦席210に座って、操作者が、クレーン200を操作し、鉄筋300を目標位置に移動させる例で説明する。
また、その際に、操作者は、操縦席210に配置されているクレーン側ディスプレイ204を視認可能となっており、このクレーン側ディスプレイ204には、操作者の視点で鉄筋300を把握できる構成となっている。
さらに、このクレーン側ディスプレイ204には、操作者がクレーン200を用いて、鉄筋300を移動させる際に、その動作を補助するガイダンス画面が表示される構成ともなっている。
【0042】
(ガイダンス準備工程について)
まず、図8のガイダンス準備工程を説明する。
図8のステップ(以下「ST」という。)1では、クレーンカメラ203、測量装置10、測量装置カメラ27の相対的な位置情報を「測量装置10」の図5の「相対的位置情報記憶部111」に予め記憶させる。
【0043】
次いで、クレーンカメラ203と測量装置カメラ27の相対的な位置姿勢情報の特定を行う。
具体的には、ST2以下で実行する。ST2では、図5の「特徴点処理部(プログラム)112」が動作し、クレーンカメラ203及び測量装置カメラ27の画像情報から画像上の特徴点情報を作成し、図5の「特徴点情報記憶部113」に記憶させる。
【0044】
次いで、ST3へ進む。ST3では、同処理部112が動作し、「特徴点情報記憶部113」を参照し、クレーンカメラ203と測量装置カメラ27の画像上の共通の特徴点を特定し、図5の「共通点特徴部記憶部114」に記憶させる。
【0045】
次いで、ST4へ進む。ST4では、図5の「マッチング処理部(プログラム)115」が動作し、「共通点特徴部記憶部114」を参照し、クレーンカメラ203と測量カメラ27との「共通の特徴点」を探索して、マッチング処理を行い、その結果を図5の「マッチング情報記憶部116」に記憶する。
【0046】
次いで、ST5へ進む。ST5では、図5の「相対的位置姿勢情報生成部(プログラム)117」が動作し、「マッチング情報記憶部116」の情報に基づき、クレーンカメラ203と測量装置カメラ27の間の相対的な位置姿勢を求め、図6の「相対的位置姿勢情報記憶部121」に記憶する。
【0047】
具体的には、SfM(Structure from Motion)の手法等を使用し、与えられえた画像からそこに映っている物体形状を復元すると同時にクレーンカメラ203及び測量装置カメラ27の位置姿勢を推定し、これを相対的位置姿勢情報として記憶する。
したがって、これらの工程により、クレーンカメラ203及び測量装置カメラ27の位置姿勢を明確に把握することができ、測量装置カメラ27の視点で把握した図1の鉄筋300の画像等を、クレーンカメラ203の視点に変更することができる。
なお、ここで、相対的位置姿勢情報が更新された場合、各カメラ203、27の位置姿勢情報の取得を再度求める構成となっている。
【0048】
(ガイダンス工程について)
次いで、図9のフローチャートを用いて、操作者が図1のクレーン200を操作して、鉄筋300を目標位置に移動させる例で、本実施の形態のガイダンスシステムの動作を具体的に説明する。
先ず、図9のST11では、クレーン200の操縦室210でクレーン200を操作する操作者は、操作室210のクレーン側ディスプレイ204に表示される鉄筋300をタップして特定する。
【0049】
次いで、ST12へ進む。ST12では、クレーンカメラ203が撮像した画面を表示するクレーン側ディスプレイ204は、クレーン側ディスプレイ204上でタップされた座標位置情報を特定し、その座標情報をクレーン側通信装置202を介して測量装置10へ送信する。
【0050】
次いで、ST13へ進む。ST13では、測量装置10が、図6の「相対的位置姿勢情報記憶部121」を参照し、測量装置カメラ27とクレーンカメラ203の位置姿勢情報に基づき、クレーンカメラ203で特定した鉄骨2を測量装置側カメラ27の画面で特定する。
【0051】
次いで、ST14へ進む。ST14では、図6の「ピクセル処理部(プログラム)122」が動作し、測定装置10の測定装置カメラ27が撮像した画面内で認識した鉄骨2と思われるエリアのピクセルをピックアップし、図6の「抽出ピクセル記憶部123」に記憶する。
【0052】
次いで、ST15へ進む。ST15では、図6の「第1主成分検出部(プログラム)124」が動作し、「抽出ピクセル記憶部123」を参照し、ピックアップした同エリアに対して、測量装置10が「主成分方向(例えば、画面上のX軸方向)」にレーザを照射(全方向ではなく)し、「主成分分析」を行い、「第1主成分」として検出し、「第1主成分記憶部125」に記憶する。
このとき、測量装置10は、図2の光学偏向ユニット36でレーザの照射方向を偏向させる。
【0053】
次いで、ST16へ進む。ST16では、図6の「第2主成分検出部(プログラム)126」が動作し、「第1主成分」と直行する方向(画面上のY軸方向)にレーザを照射し、成分分析を行い、「第2主成分」として検出し、図6の「第2主成分記憶部127」に記憶する。
【0054】
次いで、ST17へ進む。ST17では、図7の「対象物形状推定部(プログラム)131」が動作し、図6の「第1主成分記憶部125」と「第2主成分記憶部127」の第1主成分と第2主成分を比較し、鉄筋300の形状情報を推定し、鉄筋300の3次元情報と、その位置や姿勢情報を取得(鉄骨2の形状情報、位置情報、姿勢情報を取得)し、図7の「対象物3次元情報等記憶部132」に記憶する。
【0055】
具体的には、第1主成分と第2主成分を比較し、両者の比率が近ければ主成分を中心に12方向の成分の長さを調べて、形状が四角又は円か等を判断する。
また、第1主成分と第2主成分の比率から、例えば、第1主成分が多ければ、長方形等と判断する。
【0056】
このように、形状を推定した後、その形状に適した照射方法で、レーザを照射する。
例えば、形状が円の場合は、円形状でレーザを照射、長方形の場合は、長手方向にZ字状に連続して(ジグザク)、レーザを照射し、測定(測量)する。
そして、鉄筋300の3次元情報と位置や姿勢情報を取得(鉄骨の形状情報、位置情報、姿勢情報を取得)する。
【0057】
このように、本実施の形態では、測量装置10は、円等の形状情報を生成し、その後、この形状情報に適した照射方法(例えば、円形状等)を選択するので、必要な部分のみに測距光を照射することで、対象物の3次元情報を取得することができ、迅速且つ効率的な測量が可能となる。
【0058】
従来のように、全方向に測距光を照射していた場合に比べ、格段に迅速化と効率化を図ることができる。
また、本実施の形態では、測距光を照射するスキャニングを必要な範囲内で、均一に行うことができるので、取得した情報の信頼性も著しく向上する。
【0059】
また、上述の工程で、鉄骨2の位置が分り、鉄骨2の移動する目標地点が既知であるので、目標地点までの距離と傾き等が分ることになる。
そこで、測量装置10は、図7の「対象物3次元情報等記憶部132」を参照し、この鉄筋300の測量情報(3次元情報等)を取得する。
そして、操作者が指定した対象物である鉄骨2の現在位置、形状及び傾き等や3次元情報等に基づき、鉄筋300の3次元情報をクレーンカメラ203の視点に変更して、クレーン200に送信し、クレーン側ディスプレイ204に点群情報等として表示する。
【0060】
従来、クレーンカメラ203で撮像された画像のみでは、対象物である鉄筋300の正確な位置(座標位置)や、正確な形状を把握することができないという問題があった。
これに対し、本実施の形態では、3次元測量が可能な測量装置10で、鉄筋300の正確な位置のみならず、対象物の正確な形状も把握できる。
そして、これらの情報に基づき、クレーン200の操縦席210で操作する操作者が視認しているクレーン側ディスプレイ204に、測量装置10が測量した鉄筋300の3次元情報を、クレーンカメラ203の視点に変更して、表示させることができる。
【0061】
これにより、操作者は、鉄筋300の正確な位置及び正確な形状を把握でき、クレーンカメラ203の死角部分もクレーン側ディスプレイ204上で把握可能となる。
したがって、クレーン200で吊り下げて鉄筋300を目標地点に移動させる際、操作者は、鉄筋300の位置及び形状を正確する把握して、操作することができる。
さらに、後述するように、鉄筋300の移動の目標地点との差異情報である差分等をクレーン側ディスプレイ204上に表示することで、より鉄筋300を正確に目標地点まで移動させることができる。
【0062】
(クレーン側ディスプレイ204に表示される具体的態様)
先ず、クレーン側ディスプレイ204に、クレーンカメラ203の視点で、鉄骨2が表示されると共に、クレーンカメラ203側からは死角となっている鉄骨2の部分が仮想線等や点群データで示すようにすることができる。
【0063】
また、クレーン側ディスプレイ204に表示された鉄骨2には、差異情報である例えば、「移動させるべき方向」「傾き」等が示される構成としても構わない。
例えば、図10で示すように、上にXm、奥にXm、右にXm、手前にXm、下にXm、左にXm等が矢印で示しても構わない。
図10のように、鉄骨2の目標地点等とのズレを矢印等で示す場合、ズレが大きい程、矢印を大きく表示しても構わない。
図10は、鉄筋300のズレ等の情報を示す画面例である。
【0064】
また、図11に示すように、目標位置が、現在の鉄骨2の位置より奥にある場合は、その目標位置が、点線で示され、目標位置が、現在の鉄骨2位置より手前にある場合は、図12に示すように、その位置が太い実線等で示されても構わない。
このように、鉄筋300の現在位置と目標位置を、同じ視点で、且つ同一画面内に重なるように表示することで、クレーン200の操作者は、正確かつ容易に鉄筋300を目標位置に移動させることができる。
図11及び図12は、鉄筋300と目標位置との関係を示す画面例である。
【0065】
さらに、本実施の形態では、上述のような「移動ガイダンスモード」だけでなく、図13に示すように、「傾きガイダンスモード」を表示することもできる。
図13は、鉄筋300の傾き程度を矢印で示す画面例であり、図13に示すように、操作者は、クレーン側ディスプレイ204の鉄筋300と矢印を視認するだけで、鉄筋300が傾いていること、その傾きの程度がどの程度であるかを容易に把握できる構成となっている。
【0066】
なお、本実施の形態では、鉄骨2の後ろ側(操作者の死角)等で、目標位置と現在地の間に、障害物がある場合は、警告を表示する構成とすることもできる。
この警告は、例えば、鉄骨2が障害物等と接触しそうになると音又は振動で知らせる構成とすることができる。
【0067】
なお、本実施の形態では、クレーンカメラ203と測量装置カメラ27の例で説明したが、本発明は、それに限らず、携帯端末のカメラ等の他のカメラを更に配置しても構わない。
このとき、携帯端末のカメラ視点で、対象物である鉄筋300等の測量(測定)データを携帯端末のディスプレイに表示する構成としても構わない。
【0068】
また、カメラは、作業者等が装着する眼鏡等に配意されていても構わず、腕や脚、頭部など、身体の一部に装着するものでも構わない。
この場合、この眼鏡に設置されているディスプレイに、カメラ画像と測量データが表示されるように構成しても構わない。
また、カメラが眼鏡等の動く物体に装着されている場合は、SLAM(Simultaneous Localization and Mapping)等の自己位置推定と環境地図作成を同時に行う技術で、随時処理を実行し、カメラの位置姿勢を更新し続けることになる。
【0069】
以上説明した本実施形態においては、装置として実現される場合を例に挙げて説明したが、本発明は、これに限定されず、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスクなど)、光ディスク(CD-ROM、DVDなど)光磁気ディスク(MO)、半導体メモリなどの記憶媒体に格納され頒布されてもよい。
【0070】
また、記憶媒体は、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であればよい。記憶媒体の記憶形式は、特には限定されない。
【0071】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワークソフト等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。
【0072】
さらに、本発明における記憶媒体は、コンピュータと独立した媒体には限定されず、LANやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
【0073】
また、本発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づいて本実施形態における各処理を実行すればよく、1つのパソコン(PC)等からなる装置であってもよいし、複数の装置がネットワーク接続されたシステム等であってもよい。
【0074】
また、本発明におけるコンピュータとは、パソコンには限定されず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。
【0075】
以上、本発明の実施形態について説明した。しかし、本発明は、上記実施形態に限定されず、特許請求の範囲を逸脱しない範囲で種々の変更を行うことができる。
【符号の説明】
【0076】
1・・・ガイダンスシステム、2・・・三脚、3・・・基台ユニット、7・・・筐体、8・・・分度盤、9・・・鉛直回転部、10・・・測量装置、11・・・測量装置側表示部、12・・・操作部、20・・・測量ユニット、21・・測距光射出部、22・・・受光部、23・・・測距部、24・・・演算処理ユニット、25・・・射出方向検出部、26・・・姿勢処理ユニット、27・・・測量装置カメラ(撮像ユニット)、31・・・射出光軸、32・・・発光素子、33・・・投光レンズ、34・・・第1反射鏡、35・・・第2反射鏡、36・・・光軸偏向ユニット、36a・・・測距光偏向部、36b・・・反射測距光偏向部、37・・・受光光軸、38・・・受光素子、39・・・結像レンズ、41a、41b・・・光学プリズム、42a、42b・・・プリズム要素、43a、43b・・・プリズム要素、48・・・結像レンズ、49・・・撮像素子、101・・・測量装置側通信装置、102・・・測量装置制御部、110・・・測量装置側第1の各種情報記憶部、111・・・相対的位置情報記憶部、112・・・特徴点処理部、113・・・特徴点情報記憶部、114・・・共通点特徴部記憶部、115・・・マッチング処理部、116・・・マッチング情報記憶部、117・・・相対的位置姿勢情報生成部、120・・・測量装置側第2の各種情報記憶部、121・・・相対的位置姿勢情報記憶部、122・・・ピクセル処理部、123・・・抽出ピクセル記憶部、124・・・第1主成分検出部、125・・・第1主成分記憶部、126・・・第2主成分検出部、127・・・第2主成分記憶部、130・・・測量装置側第3の各種情報記憶部、131・・・対象物形状推定部、132・・・対象物3次元情報等記憶部、200・・・クレーン、201・・・クレーン制御部、202・・・クレーン側通信装置、203・・・クレーンカメラ、204・・・クレーン側ディスプレイ、205・・・クレーン側各種情報入力部、206・・・クレーン側各種情報記憶部、210・・・操縦席、300・・鉄筋、R・・・設置基準点
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13