(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024170124
(43)【公開日】2024-12-06
(54)【発明の名称】開口部の検査用ARマーカー、開口部の検査システム、開口部の検査方法及びプログラム
(51)【国際特許分類】
G06Q 50/08 20120101AFI20241129BHJP
【FI】
G06Q50/08
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023087114
(22)【出願日】2023-05-26
(71)【出願人】
【識別番号】399105715
【氏名又は名称】株式会社インフォマティクス
(74)【代理人】
【識別番号】110001151
【氏名又は名称】あいわ弁理士法人
(72)【発明者】
【氏名】金野 幸治
(72)【発明者】
【氏名】高橋 健太
【テーマコード(参考)】
5L049
5L050
【Fターム(参考)】
5L049CC07
5L050CC07
(57)【要約】
【課題】MR(Mixed Reality)/AR(Augmented Reality)技術を利用して、現実空間において施工された開口部の位置を割り出すことが可能な開口部の検査用ARマーカー、開口部の検査システム、開口部の管理方法及びプログラムを提供する。
【解決手段】開口部の検査用ARマーカーは、構造物又は部材に設けられた開口部の芯位置を示すパターンが描かれた面を有し、前記開口部の内壁面又は端部に嵌合する形状を備えている。
【選択図】
図1
【特許請求の範囲】
【請求項1】
構造物又は部材に設けられた開口部の芯位置を示すパターンが描かれた面を有し、
前記開口部の内壁面又は端部に嵌合する形状を備えた
開口部の検査用ARマーカー。
【請求項2】
前記開口部の検査用ARマーカーは円形であり、
前記開口部の断面形状が円形である場合、前記芯に対する回転角度を考慮することなく前記開口部の内壁面又は端部に嵌合可能である
請求項1記載の開口部の検査用ARマーカー。
【請求項3】
構造物又は部材に設けられた開口部の芯位置を示すパターンが描かれた面を有し、前記開口部の内壁面又は端部に嵌合する形状を備えた開口部の検査用ARマーカーと、
端末装置と、を含み、
前記端末装置は、
現実空間に設置された図面配置用ARマーカーを認識して、図面データを前記現実空間に重畳表示する図面配置部と、
前記現実空間において施工された前記開口部に嵌合した前記開口部の検査用ARマーカーを認識して、前記開口部の施工位置を算出する開口部認識部と、
前記図面データ内で定義されている前記開口部の位置と、前記現実空間において施工された前記開口部の施工位置とを比較して、比較結果を表示する誤差判定部と、を含む
開口部の検査システム。
【請求項4】
前記図面配置部は、前記端末装置の位置又は姿勢が変化したとき、前記図面データを前記現実空間に再配置する
請求項3記載の開口部の検査システム。
【請求項5】
トータルステーションをさらに含み、
前記トータルステーションは、前記端末装置の位置又は姿勢を測定し、
前記図面配置部は、前記トータルステーションによる測定結果に基づいて、前記図面データを前記現実空間に再配置する
請求項4記載の開口部の検査システム。
【請求項6】
端末装置が、
現実空間に設置された図面配置用ARマーカーを認識して、図面データを前記現実空間に重畳表示する図面配置ステップと、
前記現実空間において施工された開口部に嵌合した開口部の検査用ARマーカーを認識して、前記開口部の施工位置を算出する開口部認識ステップと、
前記図面データ内で定義されている前記開口部の位置と、前記現実空間において施工された前記開口部の施工位置とを比較して、比較結果を表示する誤差判定ステップと、を含み、
前記開口部の検査用ARマーカーは、構造物又は部材に設けられた開口部の芯位置を示すパターンが描かれた面を有し、前記開口部の内壁面又は端部に嵌合する形状を備えている
開口部の検査方法。
【請求項7】
請求項6記載の方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は開口部の検査用ARマーカー、開口部の検査システム、開口部の検査方法及びプログラムに関し、特にMR(Mixed Reality)/AR(Augmented Reality)技術を利用して、現実空間において施工された開口部の位置を割り出す技術に関する。
【背景技術】
【0002】
構造物や部材等に開口部が設けられることがある。例えば、RC造(S造含む)の建物等においては、コンクリートの梁、床、壁、基礎等に配管やダクトを通すため、スリーブと称される貫通穴が設けられる。通常、ボイド管又はスリーブ管と呼ばれる管材(パイプ)、あるいは箱抜き開口と呼ばれる四角形の鋼製枠等(以下、ボイド管等と総称する)をコンクリート打設前に所定の位置に設置することによりスリーブを形成する。仮に、ボイド管等の施工位置が施工図と異なる等の問題が後工程において発覚すると、改修のため甚大なコストが発生する。そのため、ボイド管等の施工位置をメジャー、計測器等を用いて何度も確認することが行われている。この作業工程は少なからぬ時間と手間を要するものである。
【0003】
このような問題を解決するため、LiDAR(Light Detection And Ranging)を使ってボイド管等の3次元座標を割り出す手法、AI画像認識によってボイド管等の断面の中心座標を割り出す手法等が提案されている。
【0004】
また、特許文献1にはHMD(Head Mounted Display)とARマーカーを使用して、設計通りのケーブル施工を支援する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、LiDARやAI画像認識を使用する手法は準備の手間がかかり、コストが高いという問題がある。また、特許文献1記載の技術はケーブルと端子の対応関係を検証するにとどまり、施工位置(座標)の正確性までを検証するものではない。
【0007】
本発明はこのような問題点を解決するためになされたものであり、MR(Mixed Reality)/AR(Augmented Reality)技術を利用して、現実空間において施工された開口部の位置を割り出すことが可能な開口部の検査用ARマーカー、開口部の検査システム、開口部の検査方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
一実施の形態によれば、開口部の検査用ARマーカーは、構造物又は部材に設けられた開口部の芯位置を示すパターンが描かれた面を有し、前記開口部の内壁面又は端部に嵌合する形状を備える。
一実施の形態によれば、前記開口部の検査用ARマーカーは円形であり、前記開口部の断面形状が円形である場合、前記芯に対する回転角度を考慮することなく前記開口部の内壁面又は端部に嵌合可能である。
一実施の形態によれば、開口部の検査システムは、構造物又は部材に設けられた開口部の芯位置を示すパターンが描かれた面を有し、前記開口部の内壁面又は端部に嵌合する形状を備えた開口部の検査用ARマーカーと、端末装置と、を含み、前記端末装置は、現実空間に設置された図面配置用ARマーカーを認識して、図面データを前記現実空間に重畳表示する図面配置部と、前記現実空間において施工された前記開口部に嵌合した前記開口部の検査用ARマーカーを認識して、前記開口部の施工位置を算出する開口部認識部と、前記図面データ内で定義されている前記開口部の位置と、前記現実空間において施工された前記開口部の施工位置とを比較して、比較結果を表示する誤差判定部と、を含む。
一実施の形態によれば、前記図面配置部は、前記端末装置の位置又は姿勢が変化したとき、前記図面データを前記現実空間に再配置する。
一実施の形態によれば、開口部の検査システムは、トータルステーションをさらに含み、前記トータルステーションは、前記端末装置の位置又は姿勢を測定し、前記図面配置部は、前記トータルステーションによる測定結果に基づいて、前記図面データを前記現実空間に再配置する。
一実施の形態によれば、開口部の検査方法は、端末装置が、現実空間に設置された図面配置用ARマーカーを認識して、図面データを前記現実空間に重畳表示する図面配置ステップと、前記現実空間において施工された前記開口部に嵌合した開口部の検査用ARマーカーを認識して、前記開口部の施工位置を算出する開口部認識ステップと、前記図面データ内で定義されている前記開口部の位置と、前記現実空間において施工された前記開口部の施工位置とを比較して、比較結果を表示する誤差判定ステップと、を含み、前記開口部の検査用ARマーカーは、構造物又は部材に設けられた開口部の芯位置を示すパターンが描かれた面を有し、前記開口部の内壁面又は端部に嵌合する形状を備えている。
一実施の形態によれば、プログラムは、上記方法をコンピュータに実行させる。
【発明の効果】
【0009】
本発明により、MR(Mixed Reality)/AR(Augmented Reality)技術を利用して、現実空間において施工された開口部の位置を割り出すことが可能な開口部の検査用ARマーカー、開口部の検査システム、開口部の検査方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0010】
【
図1】開口部の検査用ARマーカー10の一例を示す図である。
【
図2】開口部の検査用ARマーカー10の一例を示す図である。
【
図3】開口部の検査システム1の構成を示すブロック図である。
【
図4】端末装置20のハードウェア構成を示すブロック図である。
【
図5】端末装置20の機能構成を示すブロック図である。
【
図6】端末装置20の動作を示すフローチャートである。
【0011】
<実施の形態1>
(開口部の検査用ARマーカー)
図1は、本発明の実施の形態1にかかる開口部の検査用ARマーカー10の一例を示す図である。開口部の検査用ARマーカー10は、ボイド管等の断面と略同じ輪郭形状を備えており、ボイド管等の内壁面に嵌合するよう形成されている。例えば、開口部の検査用ARマーカー10は、ボイド管等の内部に隙間なく又は緩やかに嵌め込むことが可能で、内壁面との間に働く摩擦力によりボイド管内に係止する。または、ねじ篏めや他の機構によりボイド管等の内部に嵌め合うようにされていても良い。
【0012】
図2は、開口部の検査用ARマーカー10の他の例を示す図である。開口部の検査用ARマーカー10は、ボイド管等の端部に装着可能な蓋状の形態であっても良い。例えば、開口部の検査用ARマーカー10は、ボイド管等の端部に外嵌合又は内嵌合でき、内壁面又は外壁面との間に働く摩擦力により係止する。または、ねじ篏めや他の機構によりボイド管等の端部に嵌め合うようにされていても良い。
【0013】
ボイド管、スリーブ管、箱抜き開口等の断面形状は限定されないが、典型的には円又は四角形である。ボイド管、スリーブ管等の規格サイズ(内径、外径等)に応じて、幾つかのサイズの開口部の検査用ARマーカー10をあらかじめ準備しておくことが好ましい。
【0014】
開口部の検査用ARマーカー10には、ボイド管等の断面形状の中心(ボイド管等の芯に相当)位置を示す所定のパターンを描いておく。加えて、ボイド管等の断面形状を示すパターンを描いておいても良い。後述の端末装置2は、このパターンを認識することにより、ボイド管等の断面の中心座標や形状を算出する。
【0015】
開口部の検査用ARマーカー10がボイド管等に嵌合したとき、パターンが描かれた面は、ボイド管等の中心軸に対し略垂直であることが好ましい。
(開口部の検査システム)
【0016】
図3は、開口部の検査システム1の構成を示すブロック図である。開口部の検査システム1は、開口部の検査用ARマーカー10、端末装置20を含む。
【0017】
図4は、端末装置20のハードウェア構成を示すブロック図である。端末装置20は、典型的にはHololens(登録商標)をはじめとするHMD、タブレットコンピュータ、スマートフォン等の情報処理装置である。端末装置20は、カメラ21、自己位置推定用センサ22、処理部24、ディスプレイ26を有する。
【0018】
カメラ21は、現実世界の映像を撮影し、映像に含まれる開口部の検査用ARマーカー10や、後述の図面配置用ARマーカーを認識する。
【0019】
自己位置推定用センサ22は、現実空間における自己位置を推定するためのセンサである。例えば、存在する物体に赤外光等を照射して反射してくるまでの時間を計測することで物体までの距離を測定するデプスセンサ、加速度又は角速度等を計測する加速度センサを自己位置推定用センサ22として使用できる。カメラ21を自己位置推定用センサ22として使用することも可能である。自己位置推定用センサ22は、取得したセンサ情報に基づいて端末装置20の移動量、移動方向、移動速度、姿勢(傾き、すなわち視線の向き)等を算出する。
【0020】
処理部24は、CPU(Central processing unit)241、メモリ242等を備えた情報処理装置であり、メモリ242に格納されたプログラムをCPU241が実行することにより所定の機能を実現する。
【0021】
ディスプレイ26は、処理部24が出力する情報を表示する。端末装置20がHMDであれば、作業者は、透過型のディスプレイ26を通して現実世界を視認するのと同時に、ディスプレイ26に表示される各種情報を視認することができる。端末装置20がタブレット端末やスマートフォン等であれば、作業者は、非透過型のディスプレイ26に映し出された現実世界に重畳表示される各種情報を視認することができる。
【0022】
図5は、端末装置20の機能構成を示すブロック図である。
【0023】
端末装置20は、図面配置部201、開口部認識部203、誤差判定部205を有する。
【0024】
図面配置部201は、MR技術により現実空間に図面を重畳表示する。
【0025】
まず、図面配置部201は、カメラ21を使用して、現実空間内に置かれた図面配置用ARマーカーを撮影する。図面配置用ARマーカーには原点位置を示すパターンが描かれている。通常、1個または2個以上の図面配置用ARマーカーが現実空間内に配置される。
【0026】
次に、図面配置部201は、処理部24を使用して、図面配置用ARマーカーが示す原点位置(端末装置20固有のワールド座標系で表現される)を認識する。処理部24は、図示しない記憶領域から図面データを読み出す。図面データには、図面配置用ARマーカーと同数の原点(図面座標系で表現される)があらかじめ設定されている。処理部24は、図面の縮尺、角度を調整して、図面配置用ARマーカーが示す原点位置に、図面データ内に設定されている原点を一致させる。すなわち、図面座標系をワールド座標系に変換する。これにより、正しい位置、大きさ、角度の図面データを現実空間に重畳表示することが可能となる。図面配置用ARマーカーが3個あれば、図面データの表示位置、縮尺、角度を一意に決定できる。図面配置用ARマーカーが2個の場合、図面データの角度を除く要素(位置、縮尺)を決定することができる。この場合、1個目の図面配置用ARマーカーの高さを基準とした水平面を仮定し、この水平面を基準に図面データを配置することができる。なお、水平面の算出には一般的にはデバイスのジャイロセンサーを利用する。
【0027】
そして、図面配置部201は、処理部24を使用して、決定した表示位置、縮尺、角度にしたがって調整された図面データをディスプレイ26に表示する。これにより、作業者は現実空間にぴったりと重畳された図面データを視認できる。
【0028】
図面配置部201は、図面配置用ARマーカーの撮影から図面の配置までの一連の処理を逐次繰り返し実行する。これにより、端末装置20の位置が動いたとしても、カメラ21が図面配置用ARマーカーを捉えている限り、図面データ現実空間に追従して表示される。カメラ21が図面配置用ARマーカーを捉えていない場合でも、処理部24は、自己位置推定用センサ22によるセンシングデータに基づいて、ワールド座標系における自己位置、姿勢を逐次更新する。更新された自己位置、姿勢に応じてディスプレイ26に表示する図面データ等の位置や角度を調整する。これにより、作業者がどのように動いたとしても、図面データは現実空間に追従して表示される。
【0029】
開口部認識部203は、現実空間において施工されたスリーブの位置を算出する。
【0030】
まず、開口部認識部203は、カメラ21を使用して、現実空間内に置かれた開口部の検査用ARマーカー10を撮影する。開口部の検査用ARマーカー10にはボイド管等の断面の中心位置や形状を示すパターンが描かれている。
【0031】
次に、開口部認識部203は、処理部24を使用して、開口部の検査用ARマーカー10が示すボイド管等の断面の中心位置や形状(ワールド座標系で表現される)を認識する。
【0032】
次に、開口部認識部203は、処理部24を使用して、認識したボイド管等の断面の中心位置や形状をディスプレイ26に表示する。これにより、作業者は現実空間にぴったりと重畳されたボイド管等の断面の中心位置や形状を視認できる。
【0033】
また、円形のボイド管等に篏合する開口部の検査用ARマーカー10は、ボイド管等が円形であるがゆえに、篏合する角度(ボイド菅等の芯を軸とする回転角)を一意に定めることができない。しかしながら、開口部認識部203は、開口部の検査用ARマーカーがどの角度でボイド管等に篏合されていようとも、開口部の検査用ARマーカーの中心座標をワールド座標系で特定することができる為、篏合する角度を考慮する必要はない。一方、開口が円形以外(四角形など)である場合は、開口部の検査用ARマーカー10が開口に嵌合する角度は自ずと固定される。
【0034】
ここで、開口部認識部203は、一旦ボイド管等の断面の中心位置や形状を認識したならば、これを図示しない一時記憶領域に記憶することが好ましい。以降、ボイド管等の断面の中心位置や形状を描画したり、後述の誤差判定を行う際は一時記憶領域の情報を使用する。すなわち、開口部の検査用ARマーカー10がカメラ21の視界に入るたびに認識処理を行うことがないようにする。これにより、処理負荷を軽減できる。
【0035】
誤差判定部205は、現実空間において施工されたボイド管等の位置や形状と、図面内に定義されているボイド管等の位置や形状を比較し、誤差を表示する。
【0036】
開口部認識部203は、処理部24を使用して、現実空間に重畳表示中の図面データ(ワールド座標系に変換済)に定義されているボイド管等の断面の中心位置(ワールド座標系で表現される)を取得する。処理部24は、図面データ中のボイド管等の断面の中心位置と、開口部認識部203が認識した現実空間におけるボイド管等の断面の中心位置を比較し、差分を算出する。
【0037】
開口部認識部203は、処理部24を使用して、ディスプレイ26に比較結果を表示する。例えば、「誤差30mm」等の文字で差分を表示する。また、図面データ中のボイド管等の断面の中心位置と、開口部認識部203が認識した現実空間におけるボイド管等の断面の中心位置との間に矢印を表示する。矢印の大きさにより差分の大きさがわかる。あるいは、差分があらかじめ設定された許容値以内であるか否かに応じてアラートを表示する。例えば開口部認識部203が認識した現実空間におけるボイド管等の断面形状を、差分が許容値以内であればA色で表示し、許容値を超えていればB色で表示する。
【0038】
図6は、端末装置20の動作を示すフローチャートである。
【0039】
S101:図面配置用ARマーカー認識
作業者は、端末装置20のカメラ21の視界内に、現実空間内にあらかじめ設置された図面配置用ARマーカーが入るようにする。
図面配置部201は、図面配置用ARマーカーを撮影し、図面配置用ARマーカーが示す原点位置を認識する。
【0040】
S102:図面重畳表示
図面配置部201は、記憶領域から図面データを読み出す。図面配置部201は、図面データの位置、大きさ、角度を調整することにより、図面データ内に設定されている原点と、図面配置用ARマーカーが示す原点位置とを一致させる。図面配置部201は調整された図面データをディスプレイ26に表示する。
【0041】
S103:開口部の検査用ARマーカー10認識
作業者は、端末装置20のカメラ21の視界内に、現実空間内にあらかじめ設置された開口部の検査用ARマーカー10が入るようにする。
開口部認識部203は、開口部の検査用ARマーカー10を撮影し、開口部の検査用ARマーカー10が示すボイド管等の断面の中心位置や形状を認識する。
【0042】
S104:スリーブ管施工位置重畳表示
開口部認識部203は、ボイド管等の断面の中心位置や形状をディスプレイ26に表示する。
【0043】
S105:誤差判定
誤差判定部205は、S104で取得した現実のボイド管等の位置や形状と、S102で取得した図面内に定義されているボイド管等の位置や形状との差分(誤差)を計算する。
【0044】
S106:結果表示
開口部認識部203は、ディスプレイ26に誤差の判定結果を表示する。例えば、差分を数字で表す、差分の大きさを矢印で表す、差分が許容値以内であるか否かを色で表すなどの手法で判定結果を表示できる。
【0045】
実施の形態1によれば、施工済ボイド管等の内部又は端部に嵌め込み可能なARマーカーを使用することで、施工済ボイド管等の中心位置を正確に取得することができる。
また、開口部の検査用ARマーカー10の認識処理を都度実行せず、認識結果を再利用することにより、処理負荷を軽減できる。
【0046】
<実施の形態2>
実施の形態1では、端末装置20の位置が動いたとき、カメラ21が図面配置用ARマーカーを再度捕捉することで図面データの現実空間への重畳表示を維持した。しかしながら、端末装置20と図面配置用ARマーカーの距離が大きくなると、認識精度が低下し、図面データの重畳精度も低下する場合がある。また、実施の形態1では、自己位置推定によっても図面データの現実空間への重畳表示を維持できた。しかしながら、端末装置20の移動距離が大きくなると、自己位置推定の誤差が蓄積し、図面データの重畳精度も低下する場合がある。
【0047】
そこで実施の形態2では、トータルステーションを併用することにより、端末装置20の位置が大きく動いたときでも図面データの現実空間への重畳表示の精度を維持する。
【0048】
実施の形態2にかかる開口部の検査システム1は、トータルステーション30をさらに含む。
【0049】
端末装置20は、ターゲットプリズム28、通信部29をさらに備える。
【0050】
トータルステーション30は、ターゲットプリズム28を追尾してワールド座標系における端末装置20の座標及び姿勢を測定し、測定結果を通信部29に送信する。
【0051】
通信部29は、トータルステーション30による測定結果を処理部24に通知する。処理部24は、トータルステーション30による測定結果に基づいて、ワールド座標系における自己位置、姿勢を逐次更新する。更新された自己位置、姿勢に応じてディスプレイ26に表示する図面データ等の位置や角度を調整する。これにより、作業者がどのように動いたとしても、図面データ現実空間に追従して表示される。
【0052】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されず、本発明の趣旨を損なわない範囲において適宜構成要素や各種処理を変更、削除又は追加することが可能である。
【0053】
例えば、本発明の実施の形態では主にスリーブ検査に本発明を適用した例を開示したが、本発明はこれに限定されるものではなく、構造物や部材等に設けられた様々な開口の位置の検査に応用することが可能である。
【0054】
また、本発明を構成する各処理手段は、ハードウェアにより構成されるものであってもよく、任意の処理をCPUにコンピュータプログラムを実行させることにより実現するものであってもよい。また、コンピュータプログラムは、様々なタイプの一時的又は非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。一時的なコンピュータ可読媒体は、例えば有線又は無線によりコンピュータに供給される電磁的な信号を含む。
【符号の説明】
【0055】
1 開口部の検査システム
10 開口部の検査用ARマーカー
20 端末装置
21 カメラ
22 自己位置推定用センサ
24 処理部
26 ディスプレイ
28 ターゲットプリズム
29 通信部
201 図面配置部
203 開口部認識部
205 誤差判定部
30 トータルステーション