IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社大林組の特許一覧 ▶ 株式会社ホロラボの特許一覧

特開2023-181036指摘支援システム、指摘支援方法及び指摘支援プログラム
<>
  • 特開-指摘支援システム、指摘支援方法及び指摘支援プログラム 図1
  • 特開-指摘支援システム、指摘支援方法及び指摘支援プログラム 図2
  • 特開-指摘支援システム、指摘支援方法及び指摘支援プログラム 図3
  • 特開-指摘支援システム、指摘支援方法及び指摘支援プログラム 図4
  • 特開-指摘支援システム、指摘支援方法及び指摘支援プログラム 図5
  • 特開-指摘支援システム、指摘支援方法及び指摘支援プログラム 図6
  • 特開-指摘支援システム、指摘支援方法及び指摘支援プログラム 図7
  • 特開-指摘支援システム、指摘支援方法及び指摘支援プログラム 図8
  • 特開-指摘支援システム、指摘支援方法及び指摘支援プログラム 図9
  • 特開-指摘支援システム、指摘支援方法及び指摘支援プログラム 図10
  • 特開-指摘支援システム、指摘支援方法及び指摘支援プログラム 図11
  • 特開-指摘支援システム、指摘支援方法及び指摘支援プログラム 図12
  • 特開-指摘支援システム、指摘支援方法及び指摘支援プログラム 図13
  • 特開-指摘支援システム、指摘支援方法及び指摘支援プログラム 図14
  • 特開-指摘支援システム、指摘支援方法及び指摘支援プログラム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181036
(43)【公開日】2023-12-21
(54)【発明の名称】指摘支援システム、指摘支援方法及び指摘支援プログラム
(51)【国際特許分類】
   G06Q 50/08 20120101AFI20231214BHJP
【FI】
G06Q50/08
【審査請求】未請求
【請求項の数】3
【出願形態】OL
(21)【出願番号】P 2022107082
(22)【出願日】2022-07-01
(31)【優先権主張番号】63/351,098
(32)【優先日】2022-06-10
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】000000549
【氏名又は名称】株式会社大林組
(71)【出願人】
【識別番号】519025596
【氏名又は名称】株式会社ホロラボ
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】中林 拓馬
(72)【発明者】
【氏名】中村 允哉
(72)【発明者】
【氏名】池田 雄一
(72)【発明者】
【氏名】山中 大輔
(72)【発明者】
【氏名】立原 愼也
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049CC07
(57)【要約】
【課題】作業現場で、指摘事項の確認作業を支援するための指摘支援システム、指摘支援方法及び指摘支援プログラムを提供する。
【解決手段】指摘支援システムCS1は、検査結果情報を記録する検査情報記憶部24を備え、指摘内容の確認を支援する。この指摘支援システムCS1は、検査時に、指摘位置と、指摘位置を撮影した撮影画像と、撮影画像を撮影した撮影時状況に関する情報を検査情報記憶部24に記録する検査部212と、指摘箇所の確認時に、検査情報記憶部24に記録された撮影画像とともに、指摘位置と撮影時状況とを示す情報を出力する支援部213とを備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
検査結果情報を記録する検査情報記憶部を備え、指摘内容の確認を支援する指摘支援システムであって、
検査時に、指摘位置と、前記指摘位置を撮影した撮影画像と、前記撮影画像を撮影した撮影時状況に関する情報を前記検査情報記憶部に記録する検査部と、
指摘箇所の確認時に、前記検査情報記憶部に記録された撮影画像とともに、前記指摘位置と前記撮影時状況とを示す情報を出力する支援部と、を備えることを特徴とする指摘支援システム。
【請求項2】
検査結果情報を記録する検査情報記憶部を備えた指摘支援システムを用いて、指摘内容の確認を支援する方法であって、
前記指摘支援システムが、
検査時に、指摘位置と、前記指摘位置を撮影した撮影画像と、前記撮影画像を撮影した撮影時状況に関する情報を前記検査情報記憶部に記録し、
指摘箇所の確認時に、前記検査情報記憶部に記録された撮影画像とともに、前記指摘位置と前記撮影時状況とを示す情報を出力することを特徴とする指摘支援方法。
【請求項3】
検査結果情報を記録する検査情報記憶部を備えた指摘支援システムを用いて、指摘内容の確認を支援するためのプログラムであって、
前記指摘支援システムを、
検査時に、指摘位置と、前記指摘位置を撮影した撮影画像と、前記撮影画像を撮影した撮影時状況に関する情報を前記検査情報記憶部に記録する検査部、
指摘箇所の確認時に、前記検査情報記憶部に記録された撮影画像とともに、前記指摘位置と前記撮影時状況とを示す情報を出力する支援部として機能させることを特徴とする指摘支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業現場における指摘の確認作業を支援する指摘支援システム、指摘支援方法及び指摘支援プログラムに関する。
【背景技術】
【0002】
現場において、作業者が現場状況を確認し、問題状況を指摘する作業を行なうことがある。この場合、空間における位置を把握するための画像出力システムが検討されている(例えば、特許文献1参照)。この文献に開示された技術においては、タブレット端末により、全天球画像情報記憶部に記憶された全天球画像を、立方体の各面に対応させた要素画像に変換する。変換した要素画像のうち、前方、後方、左方及び右方を示す要素画像を、連続するように横一列に配置する。更に、前方を示す要素画像の上方及び下方に、上方及び下方を示す要素画像を配置する。
【0003】
また、現場において、構造物の状況を確認するために、拡張現実技術を用いる場合もある(例えば、特許文献2参照)。この文献に開示された技術においては、足場を設置する床と、床の墨出し線の両端部の位置を特定する。そして、墨出し線の両端部の位置を用いて、第1仮想壁のモデルを生成するとともに、この第1仮想壁とほぼ直交する第2仮想壁のモデルを生成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2019-12302号公報
【特許文献2】特開2016-38867号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、指摘箇所を是正するために、現場を確認する場合、指摘位置の把握が難しいことがある。特に、コンピュータ端末の操作に慣れていない場合や、コンピュータ端末の性能によっては、是正指示を受けた担当者が指摘位置の特定に手間がかかることがある。
【課題を解決するための手段】
【0006】
上記課題を解決するための指摘支援システムは、検査結果情報を記録する検査情報記憶部を備え、指摘内容の確認を支援する。そして、検査時に、指摘位置と、前記指摘位置を撮影した撮影画像と、前記撮影画像を撮影した撮影時状況に関する情報を前記検査情報記憶部に記録する検査部と、指摘箇所の確認時に、前記検査情報記憶部に記録された撮影画像とともに、前記指摘位置と前記撮影時状況とを示す情報を出力する支援部と、を備える。
【発明の効果】
【0007】
他の特徴及び態様は、以下の詳細な説明、図面、及びクレームから明らかとなるであろう。
【図面の簡単な説明】
【0008】
図1】実施形態のシステムの説明図である。
図2】実施形態のハードウェア構成の説明図である。
図3】実施形態のBIM情報記憶部の説明図である。
図4】実施形態の検査情報記憶部の説明図である。
図5】実施形態の協力会社情報記憶部の説明図である。
図6】実施形態の設計処理の説明図である。
図7】実施形態の検査作業開始処理の説明図である。
図8】実施形態の検査時処理の説明図である。
図9】実施形態の是正時処理の説明図である。
図10】実施形態の画面フローの説明図である。
図11】実施形態の確認画面の説明図である。
図12】実施形態の確認画面の説明図である。
図13】実施形態の確認画面の説明図である。
図14】実施形態の確認画面の説明図である。
図15】実施形態の確認画面の説明図である。
【発明を実施するための形態】
【0009】
本説明は、記載の方法、装置、及び/又はシステムの包括的な理解を提供するものである。該方法、装置、及び/又はシステムの修正及び均等は、当業者には明らかである。動作のシーケンスは例示的なものであり、動作が必ず特定の順序で生じる場合は例外として、当業者に明らかであるように変更されてもよい。当業者に周知である機能及び構造に関する説明は省略される場合がある。
【0010】
例示的な実施形態は異なる形態を有する場合があり、記載の例に限定されない。しかしながら、記載の例は、完全で且つ完成されており、本開示の全範囲を当業者に伝えるものである。
【0011】
以下、図1図15を用いて、指摘支援システム、指摘支援方法及び指摘支援プログラムを具体化した一実施形態を説明する。本実施形態では、建築物の建築現場において、検査結果に応じて是正のために、指摘事項の確認を支援する場合に用いる指摘支援システム、指摘支援方法、指摘支援プログラムとして説明する。
図面及び詳細な説明を通じて、同じ参照符号は同じ要素を参照する。図面は縮尺に応じていない場合があり、図面における相対的な寸法、比率、及び要素の描画は、明瞭さ、図示、及び簡便のために誇張されている場合がある。
【0012】
本実施形態では、図1に示すように、指摘支援システムCS1は、ネットワークを介して相互に接続された設計装置10、第1ユーザ装置12、第2ユーザ装置14、支援装置20を用いる。
【0013】
(ハードウェア構成の説明)
図2を用いて、設計装置10、第1ユーザ装置12、第2ユーザ装置14、支援装置20を構成する情報処理装置H10のハードウェア構成を説明する。情報処理装置H10は、通信装置H11、入力装置H12、表示装置H13、記憶装置H14、プロセッサH15を備える。なお、このハードウェア構成は一例であり、他のハードウェアにより実現することも可能である。
【0014】
通信装置H11は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースや無線インタフェース等である。
【0015】
入力装置H12は、各種情報の入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置H13は、各種情報を表示するディスプレイ等である。なお、入力装置H12及び表示装置H13として、タッチパネルディスプレイを用いてもよい。
【0016】
記憶装置H14は、設計装置10、第1ユーザ装置12、第2ユーザ装置14、支援装置20の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶装置H14の一例としては、ROM、RAM、ハードディスク等がある。
【0017】
プロセッサH15は、記憶装置H14に記憶されるプログラムやデータを用いて、設計装置10、第1ユーザ装置12、第2ユーザ装置14、支援装置20における各処理を制御する。プロセッサH15の一例としては、例えばCPUやMPU等がある。このプロセッサH15は、ROM等に記憶されるプログラムをRAMに展開して、各処理のための各種プロセスを実行する。
【0018】
プロセッサH15は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサH15は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路(例えば、特定用途向け集積回路:ASIC)を備えてもよい。すなわち、プロセッサH15は、以下で構成し得る。
【0019】
〔1〕コンピュータプログラム(ソフトウェア)に従って動作する1つ以上のプロセッサ
〔2〕各種処理のうち少なくとも一部の処理を実行する1つ以上の専用のハードウェア回路
〔3〕それらの組み合わせ、を含む回路(circuitry)
プロセッサは、CPU並びに、RAM及びROM等のメモリを含み、メモリは、処理をCPUに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。
【0020】
(システム構成)
次に、図1を用いて、指摘支援システムCS1の各機能を説明する。
設計装置10は、BIM(Building Information Modeling)を用いて、構造物の設計処理(3次元CAD処理)を行なうためのコンピュータ端末である。このBIMでは、建築に用いる要素の形状だけではなく、建物要素の属性(プロパティ)を管理することができる。この設計装置10は、オペレーティングシステム上で動作するBIMアプリケーションにより、BIM実行部として機能する。
【0021】
BIM実行部は、BIM技術により、3次元モデル(オブジェクト)を仮想3次元空間上で配置することにより、3次元CAD(computer-aided design)を実現する。各3次元モデルは、建築に関する各種情報を属性として保持している。
【0022】
図1に示す第1ユーザ装置12は、現場において構造物の検査を支援するコンピュータ端末(例えば、タブレット端末)である。この第1ユーザ装置12は、タッチパネルディスプレイ、カメラを備える。更に、第1ユーザ装置12は、作業支援プログラムを実行することにより、位置特定部、MR処理部を実現するとともに、表示モデル記憶部を備える。
【0023】
タッチパネルディスプレイは、各種情報を入力するための入力部として機能するとともに、各種情報を出力するための出力部として機能する。なお、入力部、出力部は、情報の入力や出力が可能なハードウェアであれば、タッチパネルディスプレイに限定されるものではない。
【0024】
カメラは、被写体を撮影する撮影部である。
位置特定部は、自己位置推定により、第1ユーザ装置12の現在地を特定する処理を実行する。この自己位置推定には、例えば、カメラで逐次撮影された画像の相対的な変化に応じて移動距離を推定する視覚オドメトリー技術(VO:visual odometry)を用いることができる。この技術では、位置特定部は、撮影画像内の特徴点の検出、特徴点の相関位置関係に応じて、カメラの動きを推定する。なお、位置の特定は、視覚オドメトリー技術を用いる方法に限定されるものではない。例えば、3軸の加速度センサやジャイロセンサ等のIMU(Inertial Measurement Unit)を用いたり、併用したりして、VIO(visual-inertial odometry)を行なうようにしてもよい。
【0025】
MR処理部は、カメラによって撮影した画像に対して、表示モデル記憶部に記録されたMRモデルを重畳して表示する処理を実行する。
表示モデル記憶部には、支援装置20から取得した表示モデルが記録される。更に、検査において、指摘事項が登録された場合、マップピンオブジェクトの3次元モデルが登録される。このマップピンオブジェクトは、指摘事項の配置を示すオブジェクトである。マップピンオブジェクトは、属性情報として、後述する指摘ID、指摘事項情報を保持する。
【0026】
第2ユーザ装置14は、第1ユーザ装置12の検査結果の確認を支援するためのコンピュータ端末である。第2ユーザ装置14としては、例えば、携帯可能なスマートフォンやタブレット端末等のスマートデバイスを用いることができる。この第2ユーザ装置14は、指摘事項の是正を行なう担当者(ユーザ)によって用いられる。そして、担当者は、この第2ユーザ装置14を用いて、問題がある箇所を確認して、是正作業を行なう。この第2ユーザ装置14は、入力装置H12及び表示装置H13としてのタッチパネルディスプレイを備える。
【0027】
タッチパネルディスプレイは、各種情報を入力するための入力部として機能するとともに、各種情報を出力するための出力部として機能する。なお、入力部、出力部は、情報の入力や出力が可能なハードウェアであれば、タッチパネルディスプレイに限定されるものではない。
【0028】
支援装置20は、現場状況の確認を支援する処理を実行するコンピュータシステムである。この支援装置20は、制御部21、BIM情報記憶部22、表示モデル記憶部23、検査情報記憶部24、協力会社情報記憶部25を備える。
【0029】
制御部21は、後述する処理(変換段階、検査段階、支援段階等を含む処理)を行なう。このための処理プログラムを実行することにより、制御部21は、変換部211、検査部212、支援部213等として機能する。
【0030】
変換部211は、3次元CADデータを、複合現実の仮想空間に表示可能なデータに変換する。ここでは、BIMを利用して設計された3次元CADデータを、軽量化、ポリゴン化して、第1ユーザ装置12の表示アプリケーションで利用可能なフォーマットに変換する。
検査部212は、第1ユーザ装置12に入力された指摘情報を取得する。
支援部213は、指摘個所の是正のための確認を支援する。
【0031】
図3に示すように、BIM情報記憶部22には、BIMにおいて作成したBIMモデル情報220が記録される。このBIMモデル情報220は、3次元CADを用いて、建築物の設計を行なった場合に記録される。BIMモデル情報220は、プロジェクト情報に対して、BIMモデル(要素モデル、配置情報、属性情報)を含む。
【0032】
プロジェクト情報は、プロジェクトID、建築現場の名称、経度・緯度、建設現場の方位等に関する情報を含む。
要素モデルは、建築現場を構成する各要素の3次元形状(3次元モデル)に関する情報である。本実施形態では、要素として、建築要素オブジェクト、空間オブジェクト、マーカオブジェクト、マップピンオブジェクト等が用いられる。建築要素オブジェクトは、建築に用いる資機材に関するオブジェクトである。空間オブジェクトは、部屋や領域等を仕切る空間を特定するオブジェクトである。マーカオブジェクトは、仮想空間と現実空間との位置合わせに用いるオブジェクトである。
【0033】
配置情報は、3次元モデルを配置(仮想空間内の座標)に関する情報を含む。
属性情報は、この要素モデルのオブジェクトIDを含む。建築要素オブジェクトには、更に、仕様(資機材の種類、規格、寸法、面積、体積、素材、価格等)、工程に関するプロパティ情報が記録される。マーカオブジェクトには、属性情報としてマーカIDが記録される。マップピンオブジェクトには、属性情報として指摘IDが記録される。
【0034】
表示モデル記憶部23は、複合現実の仮想空間において表示可能な3次元モデル(MRモデル情報)が記録される。このMRモデル情報は、BIMモデル情報の変換処理を行なった場合に記録される。このMRモデル情報にも、BIMモデル情報220と同様に、要素モデル、仮想空間における配置情報、属性情報が記録されている。
【0035】
図4に示すように、検査情報記憶部24には、現場での検査における指摘事項に関する検査結果情報240が記録される。この検査結果情報240は、第1ユーザ装置12から指摘情報を取得した場合に記録される。検査結果情報240は、プロジェクトID、指摘ID、日時、場所、画像、指摘位置、撮影時状況、部位、指摘事項、工種、協力会社、検査記録作成者、ステータスに関する情報を含む。
【0036】
プロジェクトIDは、建築現場(プロジェクト)を特定するための識別子である。
指摘IDは、このプロジェクトにおける各指摘を特定するための識別子である。
日時情報は、この指摘が登録された年月日及び時刻に関する情報である。
【0037】
場所情報は、この指摘が行なわれた空間(例えば、寝室・トイレ等を含む部屋)を特定するための識別子である。
画像は、この指摘箇所を撮影した画像である。この画像には指摘を行なった位置に関する情報が含まれる。この位置には、マップピンオブジェクトが設定されている。
【0038】
指摘位置情報は、指摘によりマップピンオブジェクトが設定された場所の空間座標である。この指摘位置により、BIM情報記憶部22には、BIMにおいて作成したBIMモデル情報220で構成される3次元仮想空間内にマップピンオブジェクトが配置される。
【0039】
撮影時状況情報は、指摘箇所を撮影したときのカメラの状況に関する情報である。撮影時状況情報には、撮影時のカメラの空間座標、撮影時の姿勢に関する情報(仰俯角)を含める。
【0040】
部位情報は、この指摘が行なわれた建築要素である。
指摘事項情報は、指摘された検査項目に関する情報である。指摘事項としては、例えば、資材における「キズ」や、「取付金物忘れ」等の問題が記録される。
【0041】
工種情報は、工事の種類を特定するための情報である。この工種には、屋根工事、ブロック工事、鉄筋工事、ガラス工事、防水工事、内装仕上工事、建具工事等がある。
協力会社情報は、工事を行なった協力会社を特定するための識別子(協力会社名)に関する情報である。
【0042】
検査記録作成者情報は、検査結果情報240を登録した担当者を識別するための情報である。
ステータス情報は、この指摘についての是正状況を特定するための情報である。例えば、「指示中」、「是正済」等が記録される。
【0043】
図5に示すように、協力会社情報記憶部25には、建築現場において各部位の施工を行なう協力会社に関する協力会社情報250が記録される。この協力会社情報250は、協力会社の登録が行なわれた場合に記録される。協力会社情報250は、場所、工種、協力会社名、連絡先に関する情報を含む。
【0044】
場所情報は、工事が行なわれる空間(例えば、部屋)を特定するための識別子である。
工種情報は、工事を行なう職種に関する情報である。
【0045】
協力会社名は、工事を行なった協力会社の名前であって、協力会社を特定するための識別子である。
連絡先は、この協力会社に対して、是正指示の通知を送信するための連絡先(例えば、メールアドレス)である。
【0046】
(指摘支援処理)
図6図15を用いて、指摘支援処理を説明する。指摘支援処理では、設計処理(図6)、検査作業開始処理(図7)、検査時処理(図8)、是正時処理(図9)を実行する。
【0047】
(設計処理)
図6を用いて、設計処理を説明する。
まず、ユーザは、設計装置10を用いて、BIMモデル生成処理を実行する(ステップS101)。具体的には、ユーザは、設計装置10のCAD画面上で、建物を構成する各要素(オブジェクト)の3次元モデル(要素モデル)を配置することにより、建物の設計を行なう。各要素についての属性情報が入力された場合、設計装置10は、属性情報を含めたBIMモデル情報220を、支援装置20のBIM情報記憶部22に記録する。
【0048】
次に、設計装置10を用いて、位置補正マーカの設置処理を実行する(ステップS102)。具体的には、ユーザは、建物の所定位置に、所定の向きで、位置補正マーカ(第1位置補正マーカ)を設置する。この位置補正マーカも、BIM上での一つのオブジェクトである。この場合、設計装置10は、このオブジェクトの属性情報として「マーカ」、「マーカID」、「マーカ寸法」を設定する。
【0049】
次に、支援装置20の制御部21は、MR用データ変換処理を実行する(ステップS103)。具体的には、設計装置10に設計完了が入力された場合、制御部21の変換部211は、BIM情報記憶部22に記録されたBIMモデル情報220のBIMモデルを、複合現実の仮想空間内で表示可能なMRモデルに変換する。ここでは、BIMモデルを軽量化してポリゴン化し、第1ユーザ装置12で表示可能な形式のMRモデルを生成する。このMRモデルには、建築要素オブジェクト、空間オブジェクト、マーカオブジェクトの3次元モデルが含まれる。
【0050】
(検査作業開始処理)
次に、図7を用いて、検査作業開始処理を説明する。
ここでは、現場において、BIMにおいて設定された位置補正マーカに対応する位置に、予め位置補正マーカ(第2位置補正マーカ)を印刷したシートを配置しておく。位置補正マーカとしては、マーカIDをコード化した2次元コード画像を用いる。
【0051】
まず、第1ユーザ装置12を用いて、位置補正マーカ撮影処理を実行する(ステップS201)。具体的には、ユーザは、第1ユーザ装置12を携帯して、位置補正マーカが配置されている場所まで移動する。この場合、第1ユーザ装置12のタッチパネルディスプレイを用いて、シートの位置補正マーカを撮影する。
【0052】
次に、第1ユーザ装置12は、位置補正マーカのデコード処理を実行する(ステップS202)。具体的には、第1ユーザ装置12は、位置補正マーカをデコードする。
次に、第1ユーザ装置12は、位置合わせ処理を実行する(ステップS203)。具体的には、第1ユーザ装置12は、デコードしたマーカIDの仮想空間内の位置補正マーカの配置を、撮影した位置補正マーカの位置に対応させる。この対応付けにより、撮影された位置(座標)や向きを特定して、仮想空間内の座標軸を、現実空間内の座標軸に合わせる。この結果、取得したMRモデルを用いて、第1ユーザ装置12のカメラを視点とする仮想空間の視野画像を、カメラの撮影画像に写像可能なように位置合わせを実現する。
【0053】
なお、移動後に、新たなシートを見つけた場合には、再度、第1ユーザ装置12は、位置補正マーカ撮影処理(ステップS201)~位置合わせ処理(ステップS203)を実行する。
【0054】
更に、移動時には、第1ユーザ装置12は、自己位置の推定処理を実行する(ステップS204)。具体的には、位置特定部は、逐次、撮影された画像において、自己位置推定により、仮想空間内において、視点の配置(カメラ位置や向き)を特定する。
【0055】
次に、第1ユーザ装置12は、オブジェクトの表示処理を実行する(ステップS205)。具体的には、第1ユーザ装置12は、空間オブジェクト内に含まれ、仮想空間内の視点から見えるオブジェクトを、タッチパネルディスプレイに出力する。この場合、タッチパネルディスプレイに、カメラの撮影画像と、仮想空間の視野内の表示対象のMRモデル画像とを重畳させた複合現実画像を表示する。
そして、ユーザは、第1ユーザ装置12を携帯しながら、建築現場を巡回して検査を行なう。
【0056】
(検査時処理)
次に、図8を用いて、検査時処理を説明する。建築現場の巡回時に、担当者が問題を発見した場合には、第1ユーザ装置12の検査入力アプリケーションを起動する。この場合、第1ユーザ装置12のタッチパネルディスプレイには、検査入力画面が表示される。
【0057】
そして、担当者が、問題箇所の指摘を行なう場合には、第1ユーザ装置12は、撮影処理を実行する(ステップS301)。具体的には、担当者は、第1ユーザ装置12のカメラを用いて、指摘箇所を撮影する。
【0058】
この場合、第1ユーザ装置12は、撮影時状況情報の取得処理を実行する(ステップS302)。具体的には、第1ユーザ装置12は、自己位置の推定処理(ステップS204)によって特定される現在位置、姿勢情報を取得する。
【0059】
次に、第1ユーザ装置12は、指摘位置情報の取得処理を実行する(ステップS303)。具体的には、担当者は、第1ユーザ装置12のタッチパネルディスプレイに表示された複合現実画像において、指摘箇所の位置(指摘位置)を指定する。
【0060】
この場合、第1ユーザ装置12は、複合現実画像上の指摘位置に、マップピンオブジェクトを配置する。そして、第1ユーザ装置12は、指摘位置に関する情報(座標)を取得する。
【0061】
次に、第1ユーザ装置12は、指摘内容の取得処理を実行する(ステップS304)。具体的には、第1ユーザ装置12は、検査入力画面に入力された部位、指摘事項、工種等を取得する。
【0062】
次に、第1ユーザ装置12は、協力会社情報の取得処理を実行する(ステップS305)。具体的には、第1ユーザ装置12は、場所や工種に応じて、検査入力画面に入力された協力会社名を取得する。
【0063】
検査入力画面において登録ボタンが選択された場合、支援装置20の制御部21は、指摘情報の登録処理を実行する(ステップS306)。具体的には、制御部21の検査部212は、第1ユーザ装置12から各種情報を取得する。そして、検査部212は、指摘IDを付与した検査結果情報240を生成し、検査情報記憶部24に記録する。この検査結果情報240には、プロジェクトID、指摘ID、日時、場所、画像、指摘位置、撮影時状況、部位、指摘事項、工種、協力会社に関する情報を含める。
【0064】
次に、支援装置20の制御部21は、是正指示の通知処理を実行する(ステップS307)。具体的には、制御部21の検査部212は、検査結果情報240に記録された協力会社の連絡先を、協力会社情報記憶部25から取得する。そして、検査部212は、この連絡先に是正指示を送信する。この是正指示には、検査結果情報240に記録された情報を含める。
【0065】
(是正時処理)
次に、図9を用いて、是正時処理を説明する。是正時には、担当者は第2ユーザ装置14を携帯する。指摘箇所を是正する場合には、第2ユーザ装置14の是正確認アプリケーションを起動する。
【0066】
まず、支援装置20の制御部21は、検査結果の抽出処理を実行する(ステップS401)。具体的には、制御部21の支援部213は、第2ユーザ装置14に入力された協力会社名を取得する。この場合、支援部213は、第2ユーザ装置14から取得した協力会社が記録された検査結果情報240を検査情報記憶部24から取得する。
【0067】
次に、支援装置20の制御部21は、一覧リスト表示処理を実行する(ステップS402)。具体的には、制御部21の支援部213は、取得した検査結果情報240を用いて、検査結果の一覧リストを作成する。そして、支援部213は、第2ユーザ装置14のタッチパネルディスプレイに、一覧リストを表示する。
【0068】
この場合、図10に示すように、支援部213は、第2ユーザ装置14のタッチパネルディスプレイに、一覧リスト510を含む確認画面500を出力する。
図11に示すように、確認画面500には、一覧リスト510を含む。
更に、支援部213が、一覧リスト510において、以下の抽出条件を取得した場合、抽出条件を用いて、検査結果情報240を特定する。
【0069】
・柱、梁、壁などのオブジェクトの部材種別
・オブジェクトID
・是正対象の工種
・是正対象の場所
・検査記録作成者
そして、支援部213は、抽出条件を用いて、指摘事項の並び替えや絞り込みを行なう。
【0070】
次に、支援装置20の制御部21は、確認画面の表示処理を実行する(ステップS403)。具体的には、担当者は、第2ユーザ装置14を用いて、一覧リスト510において指摘事項を選択する。
【0071】
この場合、図10に示すように、制御部21の支援部213は、指摘事項について、指摘内容表示520、平面図530、撮影時状況表示540、仮想現実画像550、付せん表示画像560からなる複数種類の表示(表示セット)を、順次、出力する。
【0072】
図12に示すように、指摘内容表示520には、選択された指摘事項の検査結果情報240に記録された情報を含める。更に、指摘内容表示520には、撮影画像521を含める。この撮影画像521には、検査結果情報240の指摘位置に、BIM情報記憶部22に記録されたマップピンオブジェクトb1が表示される。
【0073】
更に、支援部213は、BIMモデル情報220を用いて、選択された指摘事項の場所を含む平面図を生成する。そして、制御部21の支援部213は、確認画面500において平面図530を出力する。図12に示すように、平面図530には、検査結果情報240の指摘位置にマップピンオブジェクトb1が表示される。
【0074】
確認画面500における表示変更ボタンの選択等の所定のトリガに応じて、制御部21の支援部213は、確認画面500に撮影時状況表示540を出力する。
図13に示すように、支援部213は、平面図530において、検査結果情報240の撮影時状況情報に対応する空間座標に、矢印形状の撮影時状況表示540を表示する。この撮影時状況表示540は、撮影時の姿勢に応じて、矢印形状の向き(撮影位置やカメラの向き)が設定される。
【0075】
確認画面500における表示変更ボタンの再選択等の所定のトリガに応じて、制御部21の支援部213は、確認画面500に仮想現実画像550を出力する。
図14に示すように、支援部213は、確認画面500において、検査結果情報240の指摘位置に、マップピンオブジェクトb1を配置した仮想現実画像550を表示する。この仮想現実画像550は、検査結果情報240の撮影位置に視点を設定して、指摘位置を臨んだ仮想現実画像(主観視点での画像)である。
【0076】
確認画面500において、撮影画像が選択された場合、図10に示すように、制御部21の支援部213は、付せん表示画像560を出力する。
図15に示すように、支援部213は、検査結果情報240の指摘位置にマップピンオブジェクトb1を配置するとともに、その近傍に付せん表示画像560を表示する。この付せん表示画像560には、検査結果情報240の指摘内容を表示した、付せんオブジェクトb3を配置する。なお、付せん表示画像560におけるマップピンオブジェクトb1、付せんオブジェクトb3は、ユーザ操作に応じて、非表示にしたり、表示位置を変更したりすることができる。
【0077】
本実施形態によれば、以下のような効果を得ることができる。
(1)本実施形態では、設計装置10は、位置補正マーカの設置処理を実行する(ステップS102)。そして、第1ユーザ装置12は、位置補正マーカ撮影処理(ステップS201)、位置補正マーカのデコード処理(ステップS202)、位置合わせ処理(ステップS203)を実行する。これにより、BIMにより設計されたオブジェクトと、現実空間のオブジェクトとの位置合わせを行なうことができる。
【0078】
(2)本実施形態では、第1ユーザ装置12は、指摘情報の登録処理を実行する(ステップS306)。これにより、複数の第1ユーザ装置12を用いる場合にも、指摘事項等の情報共有を行なうことができる。
【0079】
(3)本実施形態では、支援装置20の制御部21は、検査結果の抽出処理を実行する(ステップS401)。これにより、第2ユーザ装置14を利用する協力会社が対応すべき検査結果を出力することができる。
【0080】
(4)本実施形態では、支援装置20の制御部21は、一覧リスト表示処理を実行する(ステップS402)。この場合、指摘事項の並び替えや絞り込みを行なう。これにより、所望の抽出条件に応じて、検査結果を出力することができる。
【0081】
(5)本実施形態では、支援装置20の制御部21は、確認画面の表示処理を実行する(ステップS403)。これにより、第2ユーザ装置14を用いて、指摘箇所を確認することができる。例えば、MR技術を用いた第1ユーザ装置12により登録した検査結果を、第2ユーザ装置14において、MR技術を用いないで、効率的に確認することができる。
【0082】
(6)本実施形態では、支援部213は、平面図530において、撮影時状況表示540を表示する。この撮影時状況表示540は、撮影時の姿勢に応じて、矢印形状の向きが設定される。これにより、画像が撮影された位置や向きを特定することができる。そして、検査時の撮影位置を考慮して、是正時にも、検査時と同様に、指摘箇所を確認して是正することができる。
【0083】
(7)本実施形態では、支援部213は、確認画面500において、マップピンオブジェクトb1を配置した仮想現実画像550を表示する。この仮想現実画像550は、検査時の撮影時状況に応じた配置で、指摘位置を臨むように生成される。これにより、仮想現実画像を用いて、検査時と同様に、指摘箇所を確認して是正することができる。
【0084】
(8)本実施形態では、支援部213は、検査結果情報240の指摘位置において、付せんオブジェクトb3を配置した付せん表示画像560を表示する。これにより、撮影画像において指摘内容を確認して是正することができる。
【0085】
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、建物の建築現場において、検査結果の是正を行なう場合に用いる。本開示の適用対象は、建築現場に限定されるものではない。すなわち、本開示のBIMは、例えば、土木等の建設設計に用いられるCIM(Construction Information Modeling)を含む技術である。
【0086】
・上記実施形態では、設計装置10、第1ユーザ装置12、第2ユーザ装置14、支援装置20を用いる。ハードウェア構成は、これに限定されるものではない。例えば、設計装置10や第1ユーザ装置12において、BIMモデル情報からMRモデル情報に変換するようにしてもよい。この場合には、変換部211を各装置に設ける。
【0087】
また、検査情報記憶部24を、BIM情報を管理する支援装置20とは異なる検査管理サーバに設けてもよい。この場合には、第1ユーザ装置12は、検査結果を検査管理サーバにアップロードする。
【0088】
・上記実施形態では、第1ユーザ装置12として、タッチパネルディスプレイを備えたタブレット端末を用いる。これに代えて、HoloLens(登録商標)等のHMD(Head Mounted Display)を用いてもよい。
【0089】
・上記実施形態では、検査作業開始処理において、位置補正マーカを用いて、カメラの撮影画像と、仮想空間の視野内の表示対象のMRモデル画像との位置合わせを行なう。位置合わせにおいて、位置補正マーカの利用や処理の順番は、上記方法に限定されるものではない。例えば、MRモデル画像を表示させて、撮影画像との位置合わせを行なうようにしてもよい。また、第1ユーザ装置12は、自己位置推定により、第1ユーザ装置12の現在地を特定する処理を実行する。第1ユーザ装置12の現在位置の特定方法は、これに限定されるものではない。例えば、GPS(Global Positioning System)を用いてもよい。また、LIDAR(Light Detection and Ranging)技術を用いてもよい。
・上記実施形態では、検査情報記憶部24の検査結果情報240には、撮影時のカメラの空間座標、撮影時の姿勢に関する情報(仰俯角)を含める。撮影時状況情報は、これらに限定されるものではない。撮影時状況を示す情報であればよく、撮影時のカメラの空間座標のみや、その他の情報を含めてもよい。
【0090】
・上記実施形態では、指摘事項について、平面図530、撮影時状況表示540、仮想現実画像550、付せん表示画像560からなる複数種類の表示形態(表示セット)を、順次、出力する。出力される表示は、これらに限定されるものではない。
【0091】
また、指摘位置や指摘内容に応じて、確認画面に表示する表示セットを変更してもよい。この場合には、支援部213に、指摘位置又は指摘内容に応じて、表示する画像を特定するための表示セット情報を記憶させておく。例えば、壁のように大面積の部材と、柱のように特徴的形状を有する部材とによって、確認画面で表示させる形態を変更する。
【0092】
・上記実施形態では、支援部213が、一覧リスト510において、部材種別~検査記録作成者の抽出条件を取得する。抽出条件はこれらに限定されるものではない。BIMモデル情報220や検査結果情報240に記録される情報を用いることができる。
【0093】
次に、上記実施形態及び別例から把握できる技術的思想について以下に追記する。
(a)要素モデルを記憶したBIM情報記憶部を更に備え、
前記要素モデルを用いて、撮影位置から指摘位置を臨んだ2次元の仮想現実画像を生成して、前記確認画面において出力することを特徴とする請求項1に記載の指摘支援装置。
【0094】
(b)前記支援部が、前記指摘位置を含む平面図において、前記撮影位置を表示することを特徴とする請求項1又は(a)に記載の指摘支援装置。
(c)前記支援部が、前記撮影時の撮影方向に関する情報を取得し、前記確認画面において、確認時に撮影方向に関する情報を記録することを特徴とする請求項1、(a)又は(b)に記載の指摘支援装置。
【0095】
(d)前記支援部が、前記指摘位置を含む平面図において、前記撮影方向を表示することを特徴とする請求項1又は(c)に記載の指摘支援装置。
(e)前記撮影画像において、前記指摘位置に対応させて、指摘内容を含む付せん情報を表示することを特徴とする請求項1、(a)~(d)の何れか1項に記載の指摘支援装置。
【0096】
クレーム及びその均等の精神及び範囲から逸脱することなく、形態及び詳細における様々な変更が上記の例に対してなされてよい。上記の例は説明を目的としたものに過ぎず、限定を目的とするものではない。各例における特徴の記載は、他の例における同様の特徴又は態様に対し適用可能であると考えられるべきものである。シーケンスが異なる順序により実行される場合であってもよい。及び/又は、記載のシステム、アーキテクチャ、装置、又は回路における構成要素が異なるように組み合わされる場合であってもよい。及び/又は、他の構成要素又はその均等によって置換乃至補完される場合であってもよい。開示の範囲は、詳細な説明によって定められるものではなく、クレーム及びその均等によって定められる。クレームの範囲内にある全ての変形が及びその均等が開示に含まれる。
【符号の説明】
【0097】
CS1…指摘支援システム、10…設計装置、12…第1ユーザ装置、14…第2ユーザ装置、20…支援装置、21…制御部、211…変換部、212…検査部、213…支援部、22…BIM情報記憶部、23…表示モデル記憶部、24…検査情報記憶部、25…協力会社情報記憶部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15