特許 7635954 工程表示システム、工程表示方法、及び工程表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-02-17

(45)【発行日】2025-02-26

(54)【発明の名称】工程表示システム、工程表示方法、及び工程表示プログラム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20250218BHJP

【ＦＩ】

G06Q50/08

【請求項の数】 10

(21)【出願番号】P 2024209386

(22)【出願日】2024-12-02

【審査請求日】2024-12-04

【早期審査対象出願】

(73)【特許権者】

【識別番号】519035920

【氏名又は名称】株式会社コルク

(74)【代理人】

【識別番号】110004163

【氏名又は名称】弁理士法人みなとみらい特許事務所

(72)【発明者】

【氏名】堤 正雄

【審査官】佐藤 光起

(56)【参考文献】

【文献】特開２００８－１９７７５０（ＪＰ，Ａ）

【文献】特開２０１９－２７８５５（ＪＰ，Ａ）

【文献】特開２０１２－１３７９４３（ＪＰ，Ａ）

【文献】特開２０１６－１４３３４５（ＪＰ，Ａ）

【文献】株式会社コルク，BIM4Dダッシュボードを提供開始／統合モデル空間に現場カメラ、Boxフォルダ、計測データを連携可能に，[online]，2022年01月28日，［検索日 2025.01.24］, インターネット：＜ＵＲＬ：https://web.archive.org/web/20220128200957/https://prtimes.jp/main/html/rd/p/000000002.000081365.html＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

施工現場における工程の履歴を表示する工程表示システムであって、
前記工程表示システムは、記憶部、取得部、表示処理部、を備え、
前記記憶部は、３Ｄモデル情報、該３Ｄモデル情報が対応付けられた工程情報、を格納し、
前記取得部は、所定の撮影位置及び撮影時間に撮影された映像情報を取得し、
前記表示処理部は、ユーザ端末から受け付けた工程に対応する時間情報の入力、前記映像情報、前記工程情報、に基づいて、前記時間情報に対応する前記工程に関する映像情報を、３Ｄモデルの空間内に前記撮影位置と対応させて表示処理し、その表示処理の結果を送信する、
工程表示システム。

【請求項2】

前記表示処理部は、前記時間情報の入力において該時間情報の入力に対応する複数の前記工程がある場合、複数の前記工程を表示処理し、その表示処理の結果を前記ユーザ端末へ送信し、
前記ユーザ端末からの入力によって選択された工程に対応する映像情報を表示処理する、
請求項１に記載の工程表示システム。

【請求項3】

前記表示処理部は、前記時間情報の入力において該時間情報の入力に対応する複数の前記工程がある場合、複数の前記工程に対応する複数の映像情報を表示処理する、
請求項１に記載の工程表示システム。

【請求項4】

前記撮影位置は、時間経過と共に前記撮影位置が変化する経時的位置情報を有し、
前記表示処理部は、前記経時的位置情報に基づいて、前記映像情報を前記３Ｄモデルの空間内に表示処理する、
請求項１に記載の工程表示システム。

【請求項5】

前記表示処理部は、複数の前記工程に対応する各映像情報の経時的位置情報に基づいて、複数の前記映像情報を前記３Ｄモデルの空間内に表示処理する、
請求項４に記載の工程表示システム。

【請求項6】

前記表示処理部は、複数の前記工程に対応する各映像情報を識別可能に表示処理する、
請求項３または請求項５に記載の工程表示システム。

【請求項7】

前記工程表示システムは、更に映像位置調整部を備え、
前記映像情報は、前記施工現場において映像が撮影された方向を示す撮影方向を有し、
前記映像位置調整部は、前記撮影方向、前記撮影位置、前記工程情報、に基づいて、前記３Ｄモデルの空間内における撮影対象モデルと前記映像情報との重複を判定し、
前記撮影対象モデルと前記映像情報とが重複している場合には該映像情報の表示位置を調整処理する、
請求項１に記載の工程表示システム。

【請求項8】

前記調整処理は、前記映像情報の表示位置を、前記ユーザ端末を利用するユーザからの視認方向において前記撮影対象モデルと重複しない位置に変更する、
請求項７に記載の工程表示システム。

【請求項9】

施工現場における工程の履歴を表示する工程表示システムが実行する工程表示方法であって、
前記工程表示システムは、記憶部、取得部、表示処理部、を備え、
前記記憶部が、３Ｄモデル情報、該３Ｄモデル情報が対応付けられた工程情報、を格納するステップと、
前記取得部が、所定の撮影位置及び撮影時間に撮影された映像情報を取得し、
前記表示処理部が、ユーザ端末から受け付けた工程に対応する時間情報の入力、前記映像情報、前記工程情報、に基づいて、前記時間情報に対応する前記工程に関する映像情報を、３Ｄモデルの空間内に前記撮影位置と対応させて表示処理し、その表示処理の結果を送信するステップと、を含む、
工程表示方法。

【請求項10】

施工現場における工程の履歴を表示する工程表示プログラムであって、
コンピュータを、記憶部、取得部、表示処理部、として機能させ、
前記記憶部は、３Ｄモデル情報、該３Ｄモデル情報が対応付けられた工程情報、を格納し、
前記取得部は、所定の撮影位置及び撮影時間に撮影された映像情報を取得し、
前記表示処理部は、ユーザ端末から受け付けた工程に対応する時間情報の入力、前記映像情報、前記工程情報、に基づいて、前記時間情報に対応する前記工程に関する映像情報を、前記３Ｄモデルの空間内に前記撮影位置と対応させて表示処理し、その表示処理の結果を送信する、
工程表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、工程表示システム、工程表示方法、及び工程表示プログラムに関する。

【背景技術】

【0002】

従来から、施工現場で撮影された映像や動画を利用して工事の状況確認や検査などが行われている。

【0003】

特許文献１には、撮影画像に所定条件で生成されたＢＩＭ画像を重畳させて出力することで、構造物の検査を効率的に行うことができる検査処理システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－２７８５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで実際の施工現場では、作業内容等に応じて撮影される位置や角度が様々であり、撮影対象（構造物）がどの位置からどのような観点で撮影されているかは状況確認や検査において非常に重要な要素となる。しかしながら特許文献１の技術では、このような観点は考慮されておらず、構造物がどのような位置や角度から撮影されているかを把握することができない。

【0006】

本発明は、上記従来技術の課題に鑑みて行われたものであって、その目的は、簡単且つ効果的に施工現場における履歴確認や検査が可能な工程表示システムを実現することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明は、施工現場における工程の履歴を表示する工程表示システムであって、
前記工程表示システムは、記憶部、取得部、表示処理部、を備え、
前記記憶部は、３Ｄモデル情報、該３Ｄモデル情報が対応付けられた工程情報、を格納し、
前記取得部は、所定の撮影位置及び撮影時間に撮影された映像情報を取得し、
前記表示処理部は、ユーザ端末から受け付けた工程に対応する時間情報の入力、前記映像情報、前記工程情報、に基づいて、前記時間情報に対応する前記工程に関する映像情報を、３Ｄモデルの空間内に前記撮影位置と対応させて表示処理し、その表示処理の結果を送信する。

【0008】

また、本発明は、施工現場における工程の履歴を表示する工程表示システムが実行する工程表示方法であって、
前記工程表示システムは、記憶部、取得部、表示処理部、を備え、
前記記憶部が、３Ｄモデル情報、該３Ｄモデル情報が対応付けられた工程情報、を格納するステップと、
前記取得部が、所定の撮影位置及び撮影時間に撮影された映像情報を取得するステップと、
前記表示処理部が、ユーザ端末から受け付けた工程の履歴に対応する時間情報の入力、前記映像情報、前記工程情報、に基づいて、前記時間情報に対応する前記工程に関する映像情報を、３Ｄモデルの空間内に前記撮影位置と対応させて表示処理し、その表示処理の結果を送信するステップと、を含む。

【0009】

また、本発明は、施工現場における工程の履歴を表示する工程表示プログラムであって、
コンピュータを、記憶部、取得部、表示処理部、として機能させ、
前記記憶部は、３Ｄモデル情報、該３Ｄモデル情報が対応付けられたる工程情報、を格納し、
前記取得部は、所定の撮影位置及び撮影時間に撮影された映像情報を取得し、
前記表示処理部は、ユーザ端末から受け付けた工程の履歴に対応する時間情報の入力、前記映像情報、前記工程情報、に基づいて、前記時間情報に対応する前記工程に関する映像情報を、前記３Ｄモデルの空間内に前記撮影位置と対応させて表示処理し、その表示処理の結果を送信する。

【0010】

このような構成にすることで、簡単且つ効果的に施工現場における履歴確認や検査を実施することができる。

【0011】

本発明の好ましい形態では、前記表示処理部は、前記時間情報の入力において該時間情報の入力に対応する複数の前記工程がある場合、複数の前記工程を表示処理し、その表示処理の結果を前記ユーザ端末へ送信し、
前記ユーザ端末からの入力によって選択された工程に対応する映像情報を表示処理する。

【0012】

このような構成にすることで、ユーザの希望に応じた映像情報を簡単且つ適切に表示処理することができる。その結果、ユーザは従来よりも迅速且つ精度良く検査等を実施することができる。

【0013】

本発明の好ましい形態では、前記表示処理部は、前記時間情報の入力において該時間情報の入力に対応する複数の前記工程がある場合、複数の前記工程に対応する複数の映像情報を表示処理する。

【0014】

このような構成にすることで、複数の映像情報を簡単且つ適切に表示処理することができる。その結果、ユーザは従来よりも迅速且つ精度良く検査等を実施することができる。

【0015】

本発明の好ましい形態では、前記撮影位置は、時間経過と共に前記撮影位置が変化する経時的位置情報を有し、
前記表示処理部は、前記経時的位置情報に基づいて、前記映像情報を前記３Ｄモデルの空間内に表示処理する。

【0016】

このような構成にすることで、経時的に撮影位置が変化する状況においても、その変化に応じた適切な表示処理をすることができる。例えば、現場の担当者が当該現場を巡回しながら撮影を実施している場合、その位置情報に基づいて３Ｄモデルの空間内に時間経過に応じた適切な位置（座標位置）に映像情報を表示処理することができる。

【0017】

本発明の好ましい形態では、前記表示処理部は、複数の前記工程に対応する各映像情報の経時的位置情報に基づいて、複数の前記映像情報を前記３Ｄモデルの空間内に表示処理する。

【0018】

このような構成にすることで、３Ｄモデル空間内に複数の映像情報を時間経過に応じて適切に表示処理することができる。

【0019】

本発明の好ましい形態では、前記表示処理部は、複数の前記工程に対応する各映像情報を識別可能に表示処理する。

【0020】

このような構成にすることで、ユーザは工程ごとに区別しやすく利便性の高い映像情報の表示を閲覧することができる。

【0021】

本発明の好ましい形態では、前記工程表示システムは、更に映像位置調整部を備え、
前記映像情報は、前記施工現場において映像が撮影された方向を示す撮影方向を有し、
前記映像位置調整部は、前記撮影方向、前記撮影位置、前記工程情報、に基づいて、前記３Ｄモデルの空間内における撮影対象モデルと前記映像情報との重複を判定し、
前記撮影対象モデルと前記映像情報とが重複している場合には該映像情報の表示位置を調整処理する。

【0022】

このような構成にすることで、どのような方向から撮影対象が撮影された映像情報であっても、３Ｄモデルの空間内の撮影対象モデルと映像情報とを同一画面に並べて表示することができる。例えば撮影対象を同一時刻に複数の場所から撮影した場合においても、３Ｄモデルの空間内の撮影対象モデルと映像情報との位置関係を自動的に調整処理することができる。

【0023】

本発明の好ましい形態では、前記調整処理は、前記映像情報の表示位置を、前記ユーザ端末を利用するユーザからの視認方向において前記撮影対象モデルと重複しない位置に変更する。

【0024】

このような構成にすることで、ユーザが視認しやすい最適な表示を実現することができる。例えばユーザ端末に表示される３Ｄモデルを様々な角度に変更できる場合、その変更された角度に応じて撮影対象モデル及び映像情報の適切な表示を行うことができる。

【発明の効果】

【0025】

本発明によれば、時間に関する情報をそれぞれ対応させて所定の処理を実行することで、工程表示システムに係る新規な技術を提供することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施形態に係るシステム構成のブロック図を示す。

【図2】本発明の一実施形態に係る情報処理装置及び端末のハードウェア構成の一例の概略図を示す。

【図3】本発明の一実施形態に係る工程表示システムにおける処理手順のフローチャートを示す。

【図4】本発明の一実施形態に係る工程表示システムで利用される各情報の一例を示す。

【図5】本発明の一実施形態に係るユーザ端末における表示処理結果の一例を示す。

【図6】本発明の一実施形態に係るユーザ端末における表示処理結果の一例を示す。

【図7】本発明の一実施形態に係るユーザ端末における表示処理結果の一例を示す。

【図8】本発明の一実施形態に係るユーザ端末における表示処理結果の一例を示す。

【図9】本発明の一実施形態に係るユーザ端末における表示処理結果の一例を示す。

【発明を実施するための形態】

【0027】

以下、添付図面を参照して、更に詳細に説明する。図面には好ましい実施形態が示されている。しかし、多くの異なる形態で実施されることが可能であり、本明細書に記載される実施形態に限定されない。

【0028】

例えば、本実施形態では工程表示システムの構成、動作等について説明するが、実行される方法（ステップ）、装置、コンピュータプログラム等によっても、同様の作用効果を奏することができる。本実施形態におけるプログラムは、コンピュータが読み取り可能な非一過性の記録媒体として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよい。

【0029】

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらハードウェア資源によって具体的に実現され得るソフトウェアの情報処理とを合わせたものも含み得る。

【0030】

本実施形態において「情報」とは、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行され得る。

【0031】

広義の回路とは、回路（Circuit）、回路類（Circuitry）、プロセッサ（Processor）及びメモリ（Memory）等を適宜組み合わせることによって実現される回路である。即ち、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等を含むものである。

【0032】

＜システム構成＞
図１は、本発明の一実施形態に係るシステム構成を示すブロック図である。図１に示すように工程表示システム１は、情報処理装置１０及びデータベースＤＢを備える。工程表示システム１は、ネットワークＮＷを介して複数のユーザ端末２（図１では符号２（ａ）～２（ｃ））、及び撮影装置３（符号３（ａ）～３（ｃ））と通信可能に構成されている。

【0033】

情報処理装置１０は、サーバとして動作し、ユーザ端末２は施工現場における元請業者や現場監督などのユーザが使用する端末であり、撮影装置３は施工現場における映像や動画（及び画像など）を撮影するために利用する端末である。

【0034】

ネットワークＮＷは、本実施形態では、ＩＰ（Internet Protocol）ネットワークであるが、通信プロトコルの種類に制限はなく、更に、ネットワークの種類、規模にも制限はない。

【0035】

なお、情報処理装置１０として、汎用のサーバ向けのコンピュータやパーソナルコンピュータ等を利用することが可能である。また、後述の機能構成要素を複数のコンピュータに実現させ、工程表示システム１を構成することも可能である。

【0036】

ユーザ端末２は、施工現場における元請業者などが使用する端末である。ユーザ端末２として、スマートフォンやタブレット端末、パーソナルコンピュータ、ウェアラブルデバイス等を利用することができる。ユーザ端末２は、ユーザ用の工程表示アプリプログラムを記憶し、このアプリプログラムは施工現場における各工程の作業履歴（例えば３Ｄモデルや映像）などを表示するための機能を有して構成される。

【0037】

なお、ユーザ端末２は、工程表示アプリプログラムを有していない構成にすることもできる。この場合、ユーザ端末２はウェブブラウザ等を利用して各情報を表示、送信等することができる。

【0038】

撮影装置３は、施工現場の作業履歴を映像や動画として撮影するためのカメラ装置などである。撮影装置３は既知のカメラ装置を利用することができる。撮影装置３は、撮影位置、記録開示日時や記録終了日時（撮影時間）、映像情報などを当該工程表示システム１に送信可能に構成されている。また、撮影装置３として、スマートフォンやタブレット端末、ウェアラブルデバイス等を利用することもできる。撮影装置３は、施工現場において各工程の履歴などの映像を撮影できると共に、その映像情報や撮影位置報などを工程表示システム１に送信できればどのような装置であっても良い。この撮影装置３は施工現場に複数台あり、所定位置にそれぞれ配置される。

【0039】

＜ハードウェア構成＞
図２（ａ）は、情報処理装置１０のハードウェア構成の一例を示す図である。情報処理装置１０は、ハードウェア構成として、制御部１１と、記憶部１２と、通信部１３と、を備える。

【0040】

制御部１１は、ＣＰＵ等の１又は２以上のプロセッサを含み、本発明に係る工程表示プログラム、ＯＳ、その他のアプリケーションを実行することで、情報処理装置１０の動作処理全体を制御する。

【0041】

記憶部１２は、ＨＤＤ、ＳＳＤ、ＲＯＭ、ＲＡＭ等であって、本発明に係る工程表示プログラム及び、制御部１１がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部１１が、記憶部１２に記憶されている工程表示プログラムに基づき、処理を実行することによって、後述する機能構成が実現される。

【0042】

通信部１３は、ネットワークＮＷとの通信制御を実行して、情報処理装置１０を動作させるために必要な入力や、動作結果に係る出力を行う。

【0043】

図２（ｂ）は端末９０（図１におけるユーザ端末２）のハードウェア構成の一例を示す図である。端末９０は、ハードウェア構成として、制御部９１と、記憶部９２と、通信部９３と、入力部９４と、出力部９５と、を備える。

【0044】

端末９０の制御部９１は、ＣＰＵ等の１以上のプロセッサを含み、端末９０の動作処理全体を制御する。端末９０の記憶部９２は、ＨＤＤ、ＳＳＤ、ＲＯＭ、ＲＡＭ等であって、上述の実績管理アプリプログラム並びに、制御部９１がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。

【0045】

端末９０の通信部９３は、ネットワークとの通信を制御する。端末９０の入力部９４は、タッチパネル、マウス及びキーボード等であって、ユーザによる操作要求を制御部９１に入力する。端末９０の出力部９５は、ディスプレイ等であって、制御部９１の処理の結果等を表示する。

【0046】

＜機能構成＞
図２（ａ）に示すように、情報処理装置１０は、機能構成として、受付部１０１、取得部１０２、表示処理部１０３、映像位置調整部１０４、を備える。これらは、ソフトウェア（記憶部１２に記憶されている）による情報処理が、ハードウェア（制御部１１等）によって具体的に実現されたものである。

【0047】

受付部１０１は、ユーザ端末２や管理者などから各種情報を受け付けて登録する。受付部１０１は、ユーザ端末２などからユーザ情報などを受け付けて記憶部１２へ格納する。また、受付部１０１は、ユーザ端末２や管理者端末（図示を省略）から３Ｄモデル情報や現場情報などを受け付けて記憶部１２へ格納する。受付部１０１は、ユーザ端末２や管理者端末などから工程の履歴に対応する時間情報の入力（例えば後述する時間軸バーの操作入力）を受け付けることもできる。

【0048】

取得部１０２は、各種情報を取得する。本実施形態において取得部１０２は、所定の撮影位置及び撮影時間に撮影された映像情報を取得する。例えば取得部１０２は、撮影装置３とは別のサーバ等から当該映像情報が撮影された撮影位置や映像時間等に関する情報を取得することもできる。本実施形態では、映像情報において記録開始日時から記録終了日時のうちの所定日時（所定の期間、撮影された時間、例えば２時間、１２時間など）のこと、及び撮影開始日時、撮影終了日時、などを総称して撮影時間と表現している。

【0049】

表示処理部１０３は、各種情報を表示処理する。本実施形態において表示処理部１０３は、ユーザ端末から受け付けた工程の履歴に対応する時間情報の入力（時間軸バーなどの操作入力）、映像情報、工程情報、に基づいて、時間情報に対応する工程に関する映像情報を、３Ｄモデルの空間内に撮影位置と対応させて表示処理し、その表示処理の結果を送信する。

【0050】

また、表示処理部１０３は、時間情報の入力において該時間情報の入力に対応する複数の工程の履歴がある場合、複数の工程を表示処理し、その表示処理の結果をユーザ端末２へ送信し、ユーザ端末２からの入力によって選択された工程に対応する映像情報を表示処理する。表示処理部１０３は、時間情報の入力に対応する複数の工程の履歴がある場合、複数の工程に対応する複数の映像情報を表示処理することができる。表示処理部１０３は、時間経過と共に撮影位置が変化する経時的位置情報に基づいて、映像情報を３Ｄモデルの空間内に表示処理することもできる。

【0051】

更に表示処理部１０３は、複数の工程に対応する各映像情報の経時的位置情報に基づいて、複数の映像情報を前記３Ｄモデルの空間内に表示処理し、加えて表示処理部１０３は、複数の工程に対応する各映像情報を識別可能に表示処理することができる。

【0052】

映像位置調整部１０４は、映像情報の表示位置を所定条件に基づいて調整する。本実施形態における映像位置調整部１０４は、施工現場において映像が撮影された方向を示す撮影方向、撮影位置、工程情報、に基づいて、３Ｄモデルの空間内における撮影対象モデル（例えば高架橋などの単体モデル）と映像情報との重複を判定し、撮影対象モデルと映像情報とが重複している場合には映像情報の表示位置を調整処理する。

【0053】

また、映像位置調整部１０４は、映像情報の表示位置を、ユーザ端末２を利用するユーザからの視認方向において撮影対象モデルと重複しない位置に変更する（ユーザから視認される方向から見た場合に撮影対象モデルと映像情報が重複している場合には、映像情報の表示位置を調整する）。

【0054】

＜データベースＤＢ＞
図１のデータベースＤＢは、ユーザ情報、３Ｄモデル情報、現場情報、工程情報、映像情報、その他工程表示に必要な情報などを格納する。これらの一部又は全部は、記憶部１２等に格納されてもよいし、これらの一部が別のデータベース等に格納されてもよい。

【0055】

以下、図３～９を参照して、工程表示システム１の説明及び各機能構成要素による処理内容について説明する。

【0056】

＜工程表示システムの概要＞
本実施形態に係る工程表示システム１は、施工現場で実施される各工程における実施履歴の映像（履歴）などを当該施工現場（工程）に対応した３Ｄモデルの空間内に所定条件に基づいて表示するためのシステムである。具体的には、３Ｄモデルの空間内において当該映像が施工現場で撮影された撮影位置と同一の位置（座標）に映像を表示できる（または３Ｄモデル空間内において撮影位置が把握できるように表示できる）ものである。このような表示をすることで、ユーザは適切に工程ごとの検査や履歴管理を行うことができる。

【0057】

また、工程表示システム１は、撮影位置が経時的に変化する場合に、時間経過と共に撮影位置を変化させながら３Ｄモデルの空間内に映像を表示することができる。以下、工程表示システム１における処理の流れについて詳しく説明する。

【0058】

＜各種情報の登録＞
図３には、本発明の一実施形態に係る工程表示システムにおける処理手順のフローチャートを示す。Ｓ２０１において、施工現場における元請業者や現場監督（及び作業者）などのユーザは、各種情報を登録する。

【0059】

具体的にユーザは、ユーザ端末２などを介してユーザ情報、施工現場ないし工程に対応する３Ｄモデル情報、施工現場の現場情報、施工現場における工程に関する工程情報、などの情報を登録することができる。本実施形態では、元請業者（元請会社及びその担当者）に加えて現場監督や作業者、その他施工現場において工程や作業を管理する人も含めてユーザと表現している。

【0060】

ユーザは当該工程表示システム１を利用するために会社に関する情報などのユーザ情報を登録する。図４（ａ）に示すように、ユーザ情報は、〇〇〇株式会社などの会社名、連絡先、会社の住所、作業可能な業種、登録日、などの情報を含んでユーザＩＤで管理される。ユーザ情報には、実際に施工現場を担当する担当者名を含めることもできる。

【0061】

なお、本実施形態では、ユーザ情報が登録されたユーザ（元請業者やその担当者）が工程表示システム１に関するサービスを利用することができるが、必ずしもユーザ情報の登録は必須ではなく、ユーザ情報の登録をしていないユーザもサービスを利用できる構成にしても良い。

【0062】

図４（ｂ）に示すように３Ｄモデル情報は、モデル保存先などの情報を含んでモデルＩＤで管理される。３Ｄモデル情報には、複数の各種のモデルが含まれており、ここでいうモデルとは、３Ｄ空間を構成するための３Ｄモデルであり、例えば高架橋やビルなどの構造物や部品ごとにモデルＩＤ（または図示していない構造物ＩＤや部品ＩＤ）で管理され、施工現場の３Ｄ空間は各部品や構造物を組み合わせることで（進捗状況に合わせて）３Ｄモデル空間として構成することができる。また、図４（ｃ）に示すように現場情報は、施工現場の現場名、施工現場の住所、などの情報を含んで現場ＩＤで管理される。

【0063】

図４（ｄ）に示すように工程情報は、準備工やクレーン設置などの工程の工事名、各工程の計画開始日時及び計画終了日時、モデルＩＤ、現場ＩＤ、各工程の現時点における進捗率、などの情報を含んで工程ＩＤで管理される。工程情報には３Ｄモデル情報が対応付けられ、当該工程情報は各工程における日時に対応した３Ｄモデルの表示に利用される。すなわち、どの日時にどの３Ｄモデルがどの位置に表示されるかが予め対応付けられている（３Ｄモデルと工程とが時間軸で対応している）。本明細書では、工程における計画開始日時から計画終了日時までの所定日時のことを作業時間と表現することもある。また、本実施形態では、工程情報に含まれる進捗率等を利用して特定の日時における３Ｄモデルを構成することもできる。

【0064】

＜映像情報の取得＞
Ｓ２０２において、取得部１０２は、撮影装置３で撮影された映像情報を取得する。映像情報には撮影位置に関する情報が含まれる。この撮影装置３は、施工現場の所定位置に複数配置されており、各工程における作業内容（作業履歴、工程の履歴）を撮影するためのものである。例えば施工現場の工程において橋桁に関する作業が生じる場合、当該橋桁を撮影装置３が撮影している。

【0065】

図４（ｅ）に示すように映像情報は、固定カメラＡなどの撮影装置３の名称、映像保存先、記録開始日時や記録終了日時（撮影時間）、現場ＩＤ、撮影位置、撮影方向、などの情報を含んで映像ＩＤで管理される。

【0066】

また、施工現場において複数の撮影装置３が橋桁をそれぞれ別方向から撮影し、取得部１０２はその複数の映像情報を取得することもできる。これらの映像情報は、上述した工程情報及び３Ｄモデル情報に対応付けて記憶部１２へ格納される。

【0067】

＜３Ｄモデル及び工程表の表示処理＞
Ｓ２０３において、３Ｄモデル及び施工現場における工程表を表示する。表示処理部１０３は、工程情報に基づいて工程表を表示処理することができる。表示処理部１０３は、３Ｄモデル情報及び工程情報に基づいて３Ｄモデル及び工程表を並べて表示処理し、その表示処理の結果をユーザ端末２へ送信する。

【0068】

例えば図５に示すように表示処理部１０３は、特定の施工現場における３ＤモデルＷ１０と工程表Ｗ２０を上下に並べて表示処理している。本実施形態では３ＤモデルＷ１０を上側に表示し工程表Ｗ２０を下側に並べて表示しているが、３ＤモデルＷ１０と工程表Ｗ２０の上下を逆にして並べ、または左右に並べて表示しても良い。３ＤモデルＷ１０と工程表Ｗ２０はユーザが視認可能に並べて表示されていれば上下左右に限られずどのような位置関係でも良い。また図５に示す工程表Ｗ２０は日付のみが表示されているが、例えば日時表示にすることもできるし、あるいは日付表示の所定位置が選択されることで日時の選択（後述する時間軸バーによる選択）とすることもできる。

【0069】

例えば本実施形態では、それぞれ施工現場の縮尺や表示範囲の異なる複数の３ＤモデルＷ１０とこれらに対応する工程表Ｗ２０とを並べて表示することもできる。縮尺や表示範囲の異なる複数の３ＤモデルＷ１０とこれらに対応する工程表Ｗ２０を並べて表示することで、ユーザは施工現場における全体イメージを把握しながら且つ確認したい構造物の詳細を把握することができる。

【0070】

図５における工程表Ｗ２０には、工程Ｗ３０（図４（ｄ）の計画開始日時から計画終了日時までの期間が示された工程）における所定の日時（日や時間）を選択するための時間軸バーＷ４０が表示される。ユーザはこの時間軸バーＷ４０を左右へ移動させることで、所定の日時の工程Ｗ３０を選択することができる。ユーザはユーザ端末２の画面をタッチ操作（操作入力）することで時間軸バーＷ４０を移動させることができる。

【0071】

実際の施工現場では、所定期間（所定日時）に複数の作業が同時に進められていることもあり、工程表Ｗ２０の所定期間において複数の工程が重複して表示されている。工程表Ｗ２０では工程Ｗ３０ごとに施工期間が異なるため、それぞれ横方向に異なる長さを有する工程Ｗ３０が表示される。なお、本明細書では時間軸バーＷ４０が位置する日（日時）のことを時間情報と表現することもある。

【0072】

＜映像情報の表示処理＞
Ｓ２０４において、受付部１０１は工程表Ｗ２０に対応する時間情報を受け付ける。具体的には図５の時間軸バーＷ４０を左右へ動作させることで（ユーザ端末２から操作入力することで）、時間軸バーＷ４０が接触（または画面上で重複）している工程Ｗ３０のある日付ないし日時が選択されることになる。この時、選択された時間情報における工程Ｗ３０の履歴（時間情報に基づく工程の履歴）が３ＤモデルＷ１０として表示される。上述のとおり、複数の作業が同時に進められることもあり、この場合、時間軸バーＷ４０が接触する工程が複数になることもある。

【0073】

本実施形態では、時間軸バーＷ４０の操作入力によって所定日時に対応する工程が選択されているが、所定日時に対応する工程の選択は必ずしも時間軸バーＷ４０の操作に限られず、例えば所定日時を文字入力し、あるいはカレンダー表示や時刻表示等から所定日時
を選択入力することで工程を選択することもできる。この場合、表示処理部１０３は、情報処理装置１０が有する一般的な時刻情報や工程情報に基づいてカレンダー表示や時刻表示を表示処理し、その表示処理の結果をユーザ端末２へ送信することができる。

【0074】

そしてＳ２０５において、３ＤモデルＷ１０の空間内に、選択された日時における工程Ｗ３０の映像情報が表示される。受付部１０１は、ユーザ端末２から時間軸バーＷ４０の移動に基づく所定の時間情報を受け付ける。表示処理部１０３は、ユーザ端末２から受け付けた工程Ｗ３０の履歴に対応する時間情報の入力、映像情報の撮影位置、記憶部１２に格納された工程情報、に基づいて、時間情報に対応する工程Ｗ３０に関する映像情報を、３ＤモデルＷ１０の空間内に撮影位置と対応させて表示処理し、その表示処理の結果を送信する。

【0075】

図６（ａ）に示すように、工程表Ｗ２０において時間軸バーＷ４０ａが位置する時間情報（及び３Ｄモデル情報、３Ｄモデルに対応付けられた映像情報）に基づいて、時間情報に対応する工程Ｗ３０ａに関する映像情報Ｗ５０ａが３ＤモデルＷ１０の空間内に表示される。本実施形態では、この映像情報Ｗ５０ａを撮影装置３が実際の施工現場で撮影していた撮影位置において３ＤモデルＷ１０の空間内に対応させて表示させている。

【0076】

例えば、図４における工程情報の撮影位置を３Ｄモデル情報の座標位置（グローバル座標系）に変換し、その変換された撮影位置に対応する３Ｄモデル空間の座標位置に映像情報Ｗ５０を表示することができる。図６（ａ）では、撮影位置が丸印で表示され、その上方に映像情報Ｗ５０ａが表示されている。

【0077】

そして図６（ｂ）に示すように、工程表Ｗ２０において時間軸バーＷ４０ａの位置を左方向へ動かすと、すなわち、時間軸バーＷ４０ａを図６（ａ）の位置から過去日付の方向へ動かして所定日時を選択すると（図６（ｂ）の時間軸バーＷ４０ｂ）、当該時間軸バーＷ４０ｂは別の工程Ｗ３０ｂと接触し、その工程Ｗ３０ｂに基づく映像情報Ｗ５０ｂが表示されることになる。この時、図６（ｂ）では新たに選択された工程Ｗ３０ｂにおいて選択された所定の日時の映像情報Ｗ５０ｂが、当該工程Ｗ３０ｂの撮影に利用した撮影装置３の撮影位置に対応して３ＤモデルＷ１０の空間内に表示される（３ＤモデルＷ１０についても選択された日時の３Ｄモデルが表示される）。

【0078】

このように本実施形態では、撮影位置や撮影時間を利用して、３Ｄモデル空間内において実際の施工現場と同じ位置且つ同じ時間で撮影された映像を表現することができる。例えば高架橋工事の場面を想定すると、ユーザは３Ｄモデルのどの方向から高架橋が撮影されているかを把握しながら、且つ、３Ｄモデルの空間内に表示された高架橋モデルと共に映像情報を確認できるので、従来よりも精度の良い検査や適切な履歴管理を実施することができる。

【0079】

また、図７に示すように、時間軸バーＷ４０が２つの工程Ｗ３０ｃ及び工程Ｗ３０ｄと接触している場合、工程Ｗ３０ｃ及び工程Ｗ３０ｄにおける映像情報Ｗ５０ｃ及び映像情報Ｗ５０ｄを３ＤモデルＷ１０の空間内に同時に表示させることもできる。表示処理部１０３は、時間情報の入力に対応する複数の工程がある場合、複数の工程に対応する複数の映像情報を表示処理することができる。表示処理部１０３は、複数の工程に対応する各映像情報を識別可能に表示処理することもできる。例えば、各映像情報の枠部分（フレーム部分）の色彩や形状などを区別可能に設定することが出来る。

【0080】

ユーザは、２つの映像を同時に確認しながら２つの工程の進捗度合い等を適切に把握することができる。例えば２つの工程で関連する作業が生じる際には、工程Ｗ３０ｃ及び工程Ｗ３０ｄの進捗状況を迅速に把握できるので（Ｗ５０ｃとＷ５０ｄを同時に確認できるので）、その後の工程計画を適切に変更等することもできる。図７では２つの工程が生じる場合について説明したが、工程の数に制限はなく２つ以上の複数の工程を３ＤモデルＷ１０の空間内に同時に表示することもできる。

【0081】

例えば時間軸バーＷ４０が複数の工程Ｗ３０と接触している場合、表示処理部１０３は複数の工程を表示処理し、その表示処理の結果を前記ユーザ端末へ送信する。そして、ユーザ端末からの入力によって選択された工程に対応する映像情報を表示処理しても良い。この場合、ユーザの希望する工程に関する映像を適切に表示することができる。

【0082】

上述した撮影装置３は、定点カメラのようなものであり、各工程を撮影するために所定の撮影位置に固定されているが、実際には元請業者の担当者などが施工現場を巡回しながら各工程を撮影することもある（例えば図６（ｅ）のウェアラブルＢ）。

【0083】

このような場合に本実施形態では図８に示すように、工程Ｗ３０ｅと時間軸バーＷ４０とが接している日時に担当者が施工現場を巡回しながら工程Ｗ３０ｅに関する撮影を行っていた場合、経時的に変化する撮影位置に対応させて映像情報Ｗ５０ｅを３ＤモデルＷ１０の空間内に表示することができる。具体的に本実施形態における映像情報は、時間経過と共に撮影位置が変化する経時的位置情報を有している。そして表示処理部１０３は、経時的位置情報に基づいて、映像情報を３Ｄモデルの空間内に表示処理する。

【0084】

更に、表示処理部１０３は図９に示すように、複数の工程に対応する各映像情報の経時的位置情報に基づいて、複数の映像情報を３Ｄモデルの空間内に表示処理することもできる。このような表示処理によれば、工程履歴を確認するユーザは、どのように撮影位置が変化しているのかを適切に把握でき、更に複数の経時的位置の変化と各映像情報を同時に確認することで、これら同時に作業が行われていた複数の工程において何等かのトラブルやイレギュラーが生じた場合にも適切な対応を検討するのに利用することができる。

【0085】

＜３Ｄモデル空間内における映像情報の位置調整＞
上記のとおり本実施形態では、３Ｄモデル情報、工程情報、映像情報のそれぞれにおいて時間に関する情報及び位置に関する情報を共有し、これら時間情報と位置情報を利用して３Ｄモデルの空間内の所定の位置（実際に撮影装置３が設置された位置、又は対応する位置）に映像情報を表示させることができる。

【0086】

例えば図６～９では、撮影位置は丸印で表示され、その上方位置に映像情報が表示されているが、この映像情報の表示位置が３Ｄモデル空間内における対象物を隠してしまう場合もあり得る。

【0087】

そこで本実施形態に係る工程表示システム１では、３ＤモデルＷ１０の空間内における映像情報Ｗ５０の表示位置を適切に調整することができる。具体的に映像位置調整部１０４は、映像情報が有する撮影方向に関する情報（方向情報）、撮影装置３の撮影位置、及び３Ｄモデル情報、に基づいて、３Ｄモデルの空間内における所定の撮影対象モデル（例えば高架橋などのモデル）と映像情報Ｗ５０との重複を判定し、所定の撮影対象モデルと映像情報Ｗ５０とが重複している場合には、映像情報の表示位置を調整することができる。撮影方向は所定基準からの角度情報、東西南北等をより詳細に示す詳細方角情報などである。

【0088】

例えば映像位置調整部１０４は、撮影対象モデルと映像情報Ｗ５０とが重複している場合に、映像情報Ｗ５０の表示位置を図５～７に示す丸印に対して上方位置から下方位置や左右位置に調整（変更）することができる。このように本実施形態では、映像位置調整部１０４による映像情報の表示位置の適切な調整により、利便性を損なうことなく、３Ｄモデルの撮影対象と映像情報とを同一画面に並べて表示することができる。例えばユーザからの操作入力に応じてユーザ端末２に表示される３Ｄモデルを様々な角度に変更できる場合、その変更された角度に応じて撮影対象モデル及び映像情報の適切な表示を行うことができる。映像位置調整部１０４における調整処理は、映像情報の表示位置を、前記ユーザ端末を利用するユーザからの視認方向において前記撮影対象モデルと重複しない位置に変更することができる。

【0089】

以上のように本発明に係る工程表示システム１によれば、３Ｄモデル情報、工程情報、映像情報などの各情報における位置情報及び時間情報を対応させて所定の表示処理を実行することで、ユーザの希望に応じた映像情報を３Ｄモデルの空間内に簡単且つ適切に表示処理することができる。その結果、施工現場における検査や工程管理の利便性を向上させることができる。

【0090】

また、本実施形態では施工現場における所定の表示処理（３Ｄモデル空間内における映像情報の表示）について説明したが、工程表示システム１を施工現場以外の他の場所で利用する場合にも本発明と同様の効果を得ることができる。

【符号の説明】

【0091】

１ 工程表示システム
２ ユーザ端末
３ 撮影装置
４ エレベータ
１０ 情報処理装置
１１ 制御部
１２ 記憶部
１３ 通信部
９０ 端末（ユーザ端末２）
９１ 制御部
９２ 記憶部
９３ 通信部
９４ 入力部
９５ 出力部
１０１ 受付部
１０２ 取得部
１０３ 表示処理部
１０４ 映像位置調整部
ＮＷ ネットワーク
Ｗ１０ ３Ｄモデル
Ｗ２０ 工程表
Ｗ３０ 工程
Ｗ４０ 時間軸バー
Ｗ５０ 映像情報

【要約】

【課題】 本発明は、工程表示システム、工程表示方法、工程表示プログラムに関する。
【解決手段】 工程表示システム１は、記憶部、取得部、表示処理部、を備える。
記憶部は、３Ｄモデル情報、該３Ｄモデル情報が対応付けられた工程情報、を格納する。
取得部は、所定の撮影位置及び撮影時間に撮影された映像情報を取得する。
表示処理部は、ユーザ端末から受け付けた工程に対応する時間情報の入力、映像情報、工程情報、に基づいて、時間情報に対応する工程に関する映像情報を、３Ｄモデルの空間内に撮影位置と対応させて表示処理し、その表示処理の結果を送信する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】