特許 7462356 管理システム、評価システム、及び、人材育成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-28

(45)【発行日】2024-04-05

(54)【発明の名称】管理システム、評価システム、及び、人材育成方法

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20240329BHJP

   G06T 7/00 20170101ALI20240329BHJP

   G06T 7/20 20170101ALI20240329BHJP

【ＦＩ】

G06Q50/08

G06T7/00 350B

G06T7/00 300F

G06T7/20 300

【請求項の数】 6

(21)【出願番号】P 2022578477

(86)(22)【出願日】2022-01-27

(86)【国際出願番号】 JP2022003110

(87)【国際公開番号】W WO2022163761

(87)【国際公開日】2022-08-04

【審査請求日】2023-05-01

(31)【優先権主張番号】P 2021012732

(32)【優先日】2021-01-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】523122322

【氏名又は名称】株式会社ＤＸＢ

(74)【代理人】

【識別番号】100116573

【弁理士】

【氏名又は名称】羽立 幸司

(72)【発明者】

【氏名】吉江 修

(72)【発明者】

【氏名】籠田 淳子

【審査官】樋口 龍弥

(56)【参考文献】

【文献】特開２０１４－２０３３４２（ＪＰ，Ａ）

【文献】国際公開第２０１７／１３０３７９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ ー ９９／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項6】

請求項５記載の評価システムを備え、
前記複数の作業者と前記現場管理者のそれぞれに生じている経験の差を埋めることを通じた人材育成を行うことを特徴とする、人材育成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、管理システム、評価システム、及び、人材育成方法に関し、特に、複数の作業者が移動する空間内の管理されるべき管理箇所を特定し、前記空間の状況を遠隔で管理する管理者に対して前記管理箇所を報知できる管理システム等に関する。

【背景技術】

【0002】

建築・建設現場では、現場管理者である元請の下に、専門工事業者（作業者）の下請や孫請がいて、作業が進められている。現場管理者は工程と安全と品質と原価の権限と責任を有し、専門工事業者は工種の責任を有し、お金の権限は現場管理者が持つのが通常である。いずれも、現在、稀少な存在になっている。専門工事業者は作業者であり、２９種の建設業にもわたる。現場には、多くの方が出入りし、作業者の知識・技術レベルは経験による面が大きく、そのレベルには差があるのが現実であり、そのレベルの差等によってケガ等の事故が起こる可能性がある。

【0003】

このような事故が起こらないように現場を管理するのが元請の現場管理者であり、本来的には、権限と責任が与えられ、下請の専門工事知識も持っていないといけないが習得するための場数を踏むには長い年月がかかる。現場管理者が若年者や女性で指示等を出した場合、作業者気質もあり、また年齢や男女の違いなどもあり、経験が豊富で一般的には知識技術レベルが高いと思われる下請の中高年の男性作業者からすると、その指示に納得がいかないことが起こり得る。その場合、現場で即時の対応が必要な状況で、指示の妥当性等についてなにを基準にすべきかなどの客観的な判断は容易ではなく、結局、声が大きな作業者の意見に流されて言いなりになることもよくある光景になっている。元請の現場管理者と下請の専門工事業者（作業者）との信頼関係をつくるのは難しい。

【0004】

このような実情もある建築・建設業界であるが、事故などは避けるべきであり、危険を警告する技術は、製造現場に対しての技術ほどの数ではないが、いくつか提案されている。例えば、特許文献１では、作業者が身に付けたウエアラブルコンピュータで、作業環境と作業者の状況を計測し、作業環境（危険箇所等）と作業者の状況に基いて、警告を発する仕組みが開示されている。また、更に発展させて、人の動き（動作）と現場画像を人工知能（ＡＩ）学習し、ＡＩが現場画像等に基いて警告を発するものも提案されている（特許文献２参照）。

【0005】

一方、近年は、ＡＲ（拡張現実）技術の発展も目覚ましく、建築・建設現場に対しても、ＡＲ技術を活用することも提案され始めた（特許文献３参照）。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００２－２８７８４６号公報

【文献】特開２０１９－１９７３７３号公報

【文献】米国特許第１０６０７１６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、まず、製造現場と建築・建設現場とは、現場の環境の変化に大きな違いがある。一般的に工場内などの製造現場では作業者以外の機器等の状況は大きな変化がなく、出入りする人も基本的に決まった方々であり、閉じた空間で静的であるのに対して、建築・建設現場は屋外であり、加えて上記のように毎日異なる人が出入りする状況であり、開いた空間で動的であるという意味で、大きな違いがある。特に、建築現場は、建設（土木）現場に比べて専門性の広がりがあり、比較的専門性が限られてＡＲが進み易い傾向が出てきている建設（土木）現場に比べれば、人の出入りという意味では最も開いた空間で動的な状況にあると位置付けられる。したがって、製造現場での技術を建築・建設現場、特に建築現場にそのまま転用すればよいわけではない状況にある。

【0008】

さらに、上記したような建築・建設現場の実情では、人材の稀少化が進み、高齢化が進む専門工事業者において技術継承の問題も起こっており、それだけでなく、現場管理者側においても技術継承の問題が起こっている。そのような背景があり、人材育成の必要性が高まっている。一方で、現場管理者からすると、作業者に指示を聞いてもらえない、経験が少なく事前予測が難しい、知識が少なくて作業者の言動に判断ができない、言葉に専門的、符丁等があるためコミュニケーションがとり難いなどの現場の実際の課題もある。人間関係の質によって思考の質や行動の質が連動し、その結果、現場管理者は、満足いく管理ができるようになるには通常１０年以上の年月がかかると言われており、日常的に孤独感を感じモチベーションを維持し難いということも起こっている。

【0009】

このような課題があり、従来の技術では、特に製造現場への課題に対しては技術的な面での提案が進んでいるものの、建築・建設現場に対してはまだ数が限られており、ＡＲ技術を適用するものもあるが、開いた空間で動的な現場に対応した技術としては、不十分な状況にある。特に、現場管理者と作業者との間等でコミュニケーションを行うツールという視点では、不十分なものとなっている。

【0010】

ゆえに、本発明は、上記事情に鑑みてなされたものであり、建築・建設現場により適した危険箇所等の管理箇所の特定をして現場管理者がより適切な現場管理を行えるシステムを提供することを第１の目的とする。また、現場管理者が若年や女性であっても、現場の作業者が納得するような経験豊富な視点からの指示を出せるようなシステムを提供することを第２の目的とする。さらに、作業者や現場管理者がそれぞれの役割を全うするためのやる気を維持できるように人事等の人材の評価を適切にする評価システムを提供することを第３の目的とする。さらに、評価システムを活かして、作業者や現場管理者、さらには遠隔管理者の人材育成を進めることを第４の目的とする。

【課題を解決するための手段】

【0011】

本発明の第１の観点は、複数の作業者が移動する空間内の管理されるべき管理箇所を特定し、前記空間の状況を管理する管理者に対して前記管理箇所を報知できる管理システムであって、前記複数の作業者のそれぞれの動作を特定できる特徴点の位置を検知して当該位置の変化を追跡する追跡手段と、前記追跡手段が追跡した前記特徴点の位置の変化を前記複数の作業者のそれぞれの動作に置き換え、機械学習による学習データの動作情報として蓄積する蓄積手段と、前記蓄積手段が蓄積した動作情報に基づいて、前記追跡手段が追跡する前記特徴点の位置の変化が前記作業者の非定常動作か否かを判定し、前記管理箇所を特定する特定手段と、前記空間内を表すマップ内に前記特定手段が特定した前記管理箇所を示し、前記管理者に対して報知する報知手段とを備えたものである。ここで、前記作業者の非定常動作は、例えば危険をさける為にとる動作をさす。

【0012】

本発明の第２の観点では、第１の観点において、前記特徴点には、前記各作業者の属人的な情報が紐づけられている。

【0013】

本発明の第３の観点では、第１又は第２の観点において、前記管理者は、前記複数の作業者がいる前記空間内にいる現場管理者及び前記空間とは離れて遠隔で管理する管理者のいずれも含み、前記報知手段は、前記現場管理者及び前記遠隔で管理する管理者のいずれにも、前記管理箇所を示して報知するものである。

【0014】

本発明の第４の観点では、第３の観点において、前記管理されるべき管理箇所には、前記現場管理者及び前記遠隔で管理する管理者の合意によって管理内容がタグ付けされ、又は、前記現場管理者及び前記遠隔で管理する管理者の合意によって前記付けられたタグが削除され、前記タグ付けされたタグの数、前記削除されたタグの数、又は、前記タグの増減によって表現される管理指標を示す管理指標情報を前記現場管理者及び前記遠隔で管理する管理者との間で共有することを可能とする共有手段を備えたものである。

【0015】

本発明の第５の観点は、第４の観点に記載の管理システムを備え、前記複数の作業者と前記現場管理者に対して、基準となる工程で求められる基準行動と実際の行動とを比較した評価を行う評価手段をさらに備えたものである。

【0016】

本発明の第６の観点は、人材育成方法であり、第５の観点に記載の評価システムを備え、前記複数の作業者と前記現場管理者のそれぞれに生じている経験の差を埋めることを通じた人材育成を行うことを特徴とするものである。

【発明の効果】

【0017】

本願に係る発明によれば、建築・建設現場により適した危険箇所等の管理箇所の特定をして現場管理者がより適切な現場管理を行えるようになる。また、現場管理者が若年や女性であっても、現場の作業者が納得するような経験豊富な視点からの指示を出せるようなものになる。さらに、適切な現場管理を通じ、作業者や現場管理者の評価を適切に行えるものに展開することができる。さらに、適切な評価を活かして、作業者や現場管理者、遠隔管理者の人材育成を進めることができる。

【図面の簡単な説明】

【0018】

【図1】本発明の実施の形態にかかる管理システムの全体を示すブロック図である。

【図2】図１の現場管理端末及び遠隔管理端末とＡＩアプリケーション及びＡＲアプリケーションとの関係を示す図である。

【図3】図１の現場管理端末の内部構成を示すブロック図である。

【図4】図３の現場管理端末（ハードウエア機能構成）の具体例の一例としてのタブレットを示す図である。

【図5】図１の遠隔管理端末の内部構成を示すブロック図である。

【図6】図１の現場管理端末と重要管理点マニュアルサーバと遠隔管理端末との関係を示すブロック図であって図２のＡＩアプリケーションのうち知識型ＡＩアプリケーションについて重要管理点マニュアルの観点から説明する図である。

【図7】図１の現場管理端末と言葉リストサーバとの関係を示すブロック図であって図２のＡＩアプリケーションのうち知識型ＡＩアプリケーションについて言葉辞書の観点から説明する図である。

【図8】現場と図面・位置データを合致させる処理を示すフロー図である。

【図9】現場の状況を説明する図である。

【図10】図３の現場管理端末によって実際の現場が撮像されて、データ化がなされたＡＲの三次元空間におけるタグ付けがなされている状況を示す図である。

【図11】図２のデータ駆動型ＡＩアプリケーションの一部とＡＲアプリケーションに関する部分を抜き出した図である。

【図12】作業者の非定常動作の検知処理を示すフロー図である。

【図13】図１２の処理における作業者の非定常動作の検知を説明するための第１の図であって、バウンディングボックス（頭部と体全体）を示す図である。

【図14】図１２の処理における作業者の非定常動作（特徴点量の相対的な位置変化）の検知を説明するための第２の図であって、頭部のバウンディングボックスの「図」と「地」とを示す図である。

【図15】図１２の処理における作業者の非定常動作（特徴点の相対的な速度変化）の検知を説明するための第３の図であって、頭部のバウンディングボックスの時間当たりの変位量について示す図である。

【図16】図１２の処理における作業者の非定常動作（特徴点量の相対的な位置変化）の検知を説明するための第４の図であって、頭部だけでなく体全体のバウンディングボックスの「図」と「地」とをも示す図である。

【図17】図１２の処理における作業者の非定常動作（特徴点の相対的な速度変化）の検知を説明するための第５の図であって、頭部だけでなく体全体のバウンディングボックスの時間当たりの変位量についても示す図である。

【図18】人間をセンサとした特徴点の移動軌跡による安全な搬入経路の検出を説明するための図である。

【図19】特徴点の移動軌跡による作業者属性情報蓄積を説明するための図である。

【図20】図１及び図２のセマンティックセグメンテーション部による判定について説明するための図である。

【図21】図２の管理システムのシステム全体の処理フローを示す図である。

【図22】図２に示したARモジュールについての通信機能を説明するためのブロック図である。

【発明を実施するための形態】

【0019】

図１は本発明の実施の形態にかかる管理システムの全体を示すブロック図である。図２は、図１の現場管理端末及び遠隔管理端末とＡＩアプリケーション及びＡＲアプリケーションとの関係を示す図である。図３は図１の現場管理端末の内部構成を示すブロック図である。図４は図３の現場管理端末（ハードウエア機能構成）の具体例の一例としてのタブレットを示す図である。図５は図１の遠隔管理端末の内部構成を示すブロック図である。図６は図１の現場管理端末と重要管理点マニュアルサーバと遠隔管理端末との関係を示すブロック図であって図２のＡＩアプリケーションのうち知識型ＡＩアプリケーションについて重要管理点マニュアルの観点から説明する図である。図７は図１の現場管理端末と言葉リストサーバとの関係を示すブロック図であって図２のＡＩアプリケーションのうち知識型ＡＩアプリケーションについて言葉辞書の観点から説明する図である。

【0020】

図１を参照して、管理システム１は、情報通信ネットワーク３を介して繋がった、現場管理端末５と、遠隔管理端末７と、現場管理補助システム８と、ジョブサーバ９と、重要管理点マニュアルサーバ１１と、言葉リストサーバ１３と、AIデータ駆動型サーバ１４と、図面情報サーバ１５とを備える。現場管理端末５と遠隔管理端末７とには後述のアプリケーションが搭載され、ジョブサーバ９、重要管理点マニュアルサーバ１１、言葉リストサーバ１３、図面情報サーバ１５は、データが蓄積されてデータサーバとしての役割を果たしている。現場管理補助システム８は、例えば通信可能な犬型ロボット等の移動型装置であり、現場管理を補助するシステムである。AIデータ駆動型サーバ１４は、セマンティックセグメンテーション部１６と、工程検知部１７と、危険検知部１８とを備える。

【0021】

現場管理端末５は、作業者と共に現場にいる現場管理者が保持するものであり、図３に示すように、入力部と出力部とから構成される。入力部には、depthカメラ５ａと、LiDAR（Light Detection And Ranging）５ｂと、マイク５ｃと、タッチパネル式画面部５ｄと
が含まれる。depthカメラ５ａとLiDAR（Light Detection And Ranging）５ｂとは、いず
れか一方があればよいが、両方あってもよい。出力部には、スピーカ５ｅと、表示モニタ５ｆとが含まれる。LiDAR５ｂは、レーザー光を走査しながら対象物に照射してその散乱
や反射光を観測することで、対象物までの距離を計測したり対象物の性質を特定したりする、光センサー技術のことである。現場管理端末５は、具体的には、例えば、タブレット端末が挙げられる（図４参照）。なお、図４では、図４（Ａ）に示すようにdepthカメラ
５ａとLiDAR５ｂのスキャナが示されている。図４（Ｂ）では、タッチパネル式画面部５
ｄがあり、マイク５ｃと、画面側カメラも示されている。なお、図３のスピーカ５ｅは内蔵のため図４では図示を省略している。

【0022】

遠隔管理端末７は、現場管理者よりも経験・知識が豊富な遠隔管理者が現場から離れた遠隔で使用するものであり、図５に示すように、入力部と出力部とから構成される。入力部には、カメラ７ａと、タッチパネル式画面部７ｂと、キーボード＋マウス７ｃと、マイク７ｄとが含まれる。タッチパネル式画面部７ｂとキーボード＋マウス７ｃとは、いずれか一方があればよいが、両方あってもよい。出力部には、スピーカ７ｅと、表示モニタ７ｆとが含まれる。遠隔管理端末７は、具体的には、例えば、ノート型のパーソナルコンピュータやデスクトップ型のパーソナルコンピュータが挙げられる。

【0023】

ジョブサーバ９には、日付毎のジョブリストのデータが保存されている。

【0024】

図２を参照して、図１に示した全体図について、さらに物理的な空間のphysical spaceと、仮想空間であるcyber spaceとを分けて説明し、特に、cyber space上のアプリケーションについて説明する。physical spaceでは、タブレット端末・LiDAR・depthカメラを含む現場管理端末５と、パーソナルコンピュータを含む遠隔管理端末７とが存在している。なお、図２ではLiDAR・depthカメラをタブレット端末と別体としているが、図３に示すように一体であってもよい。そして、現場管理端末５と遠隔管理端末７との間は、ＡＲ通信が行われる。一方で、cyber spaceでは、ジョブDB９、図面情報DB１５、重要管理点マニ
ュアルDB１１、言葉辞書DB１３といったデータサーバに加えて、セマンティックセグメンテーション部１６もある。ここで、セマンティックセグメンテーションは、画像内の全画素にタグ（ラベル）やカテゴリを関連付けるディープラーニングのアルゴリズムであるが、建築・建設現場の図面情報を参照することにより、画像内対象物の正確なタグ（ラベル）付けを行うものである。図２では、下向きの三角形でタグを表している。アプリケーションには、データ駆動型ＡＩアプリケーションapp1、ＡＲアプリケーションapp2、知識型ＡＩアプリケーションapp3が含まれている。データ駆動型ＡＩアプリケーションapp1は、作業者の動作解析を行うアプリケーションであり、具体的には特徴点や特徴量の相対的な速度変化と位置変化に着目した動作解析を行うアプリケーションである。データ駆動型ＡＩアプリケーションapp1は、動作解析学習データ（蓄積手段の一例）を受けて作業者の特徴点（部）を検出するモジュール部分（追跡手段を構成する手段の一例）と、作業者の特徴量を抽出するモジュール部分（追跡手段を構成する手段の一例）と、作業者の非定常動作を判定するモジュール部分（特定手段の一例）と、作業スピード判定モジュール部分とを含むものである。データ駆動型AIアプリケーションapp1はこのセマンティックセグメンテーション部１６の結果をもとに、作業者の非定常動作が検知された場所を特定する。知識型ＡＩアプリケーションapp3は、工程解析と品質管理を行うものであり、重要管理点マニュアルサーバ１１と言葉リストサーバ１３に蓄積されたデータを活用するものである。知識型ＡＩアプリケーションapp3は、図６に示す工程を解析する等のための工程検知モジュール部分と、図７に示す言葉辞書に関する音声変換部分を含むものとにより構成されている。知識型AIアプリケーションapp3は、セマンティックセグメンテーション部１６の結果をもとに、現在の工程であるかを検知する。ＡＲアプリケーションapp2は、図１では図示を省略していたが、現場管理端末５と遠隔管理端末７とに後述する仮想タグ情報について表示等するためのモジュール部分（報知手段の一例）によって構成されている。この図２で示していることの一番のポイントは、まずは、今までは考慮されていなかった人と人とのコミュニケーションを活性化させて互いの関係性が良好な質となることを狙った、配慮を活かし知識の共有を進める知識型ＡＩを作り出すことにある。そして、このような知識型ＡＩと、人間の感性をベースにしたセンサーによるデータ駆動型AIとを統合することにある。加えて、統合された結果をARによって経験の浅い現場管理者と経験が豊富な遠隔管理者との間のコミュニケーションを活性化させるようにして、後述する人材評価、人材育成に繋げていることにある。

【0025】

重要管理点マニュアルサーバ１１は、図６に示すように、現場管理者が遠隔管理者の助けを借りて参照すべき重要管理点についてのマニュアルの情報が保存されたデータベース（ＤＢ）１１ａを備えており、知識型ＡＩは、工程情報管理部１１ｂと、判別部１１ｃとを備える。ここで、重要管理点についてのマニュアルの情報としては、例えば、事故に繋がる可能性がある危険予知、品質管理、敷地所在地確認、法的規制の確認、敷地状況の確認など、多くの重要管理点がある。以下、現場管理端末５と重要管理点マニュアルサーバ１１と遠隔管理端末７との関係を説明する。現場管理端末５から、depthカメラ５ａによ
って撮像された画像・動画データが知識型ＡＩに送られる。工程情報管理部１１ｂは、送られてきた画像・動画データと遠隔管理端末７から送られてきた正しいと思われる工程情報とを紐付けた管理をするべく、判別部１１ｃに正しい工程の重要管理点マニュアルを表示できるかを判別させる。この判別は、画像・動画データが正しい工程に対応しているものであるか否かで判別され、表示できると判断された場合には、重要管理点マニュアルデータベース（ＤＢ）１１ａは、正しい工程情報に紐付けられた重要管理点マニュアルを現場管理端末５に与え、現場管理者は表示された重要管理点マニュアルを参照できるようになっている。一方、判別部１１ｃが表示できないと判断した場合には、画像・動画データが遠隔管理端末７にも提供され、経験豊富な遠隔管理者によってより正しい工程情報が遠隔管理端末７から工程情報管理部１１ｂに送られ、より正しい工程を表示できるかが判別される。このようにして、画像・動画データにより現場に適した正しい工程情報の確認が行われるとともに、それに紐付いた重要管理点のマニュアルの表示が現場管理端末５を経由して現場管理者に向けて行われることになっている。

【0026】

言葉リストサーバ１３には、現場で使われる建築用語などの専門的な言葉をリスト化した情報が保存されている。図７に示すように、現場管理端末５のマイク５ｃで伝えられる言葉が音声情報として知識型ＡＩに入力され、音声データがテキストデータに変換され、そのテキストデータが言葉リストデータベース（ＤＢ）に参照され、言葉リストの抽出が行われる。そして、抽出された言葉リストが言葉辞書の結果として現場管理端末５に表示される。現場管理端末５から文字入力が行われた場合には、言葉リストデータベース（ＤＢ）に参照されテキスト検索が行われ、言葉リストの抽出が行われる。そして、この場合も、抽出された言葉リストが言葉辞書の結果として現場管理端末５に表示される。

【0027】

図１の図面情報サーバ１５には、現場の土地に関しての情報を保存する土地情報サーバ１７と、複数の工事のそれぞれに対応して設けられるサーバであって各工事における建築図の情報を保存する建築図サーバ１９ａ，１９ｂ，１９ｃとが、備えられている。土地情報サーバ１７に保存された土地情報は三次元情報であり、建築図サーバ１９ａ，１９ｂ，１９ｃに保存された建築図の情報が三次元空間的に紐付けられている。建築図には、設計側の意匠図（設計図）と、施工側の施工図との両者が含まれ、ARを用いた表示において現場の三次元空間の状況を表すためにも必要とされている。

【0028】

図８は現場と図面・位置データを合致させる処理を示すフロー図である。図９は現場の状況を説明する図である。

【0029】

図９を参照して、現場には、まず、高さも表している公共座標というものが定められている。この公共座標を活かして、マンホール、道路の構造物等に任意の動かない点として仮ベンチマーク（ＫＢＭ）を採用し、高さの基準とすることにしている。建築現場は、敷地部分と建物部分があり、敷地内測点ａ，ｂ，ｃ，ｄが定められている。また、建築現場は、少なくとも前面道路との道路境界線があり、その他も隣地境界線で隣地と区切られている。境界鋲・プレートは、（Ｘ，Ｙ）という平面での任意の原点になり得るものである。例えば、図９では、左下の境界鋲・プレートが（Ｘ，Ｙ）という平面での原点とされたとすると、この原点から建物までの距離が分かることにより、建築の原点との関係も定まる関係になっている。このようにして、図９に示す建築現場は、（Ｘ，Ｙ，Ｚ）座標という高さの座標も含めた点群で構成されたデータで表されている。原点合わせと方向合わせが行われることにより、ＡＲによる表現が可能になっている。

【0030】

図８を参照して、現場側では、ステップＧ１では、現地３Ｄスキャンが行われる。ステップＧ２では、敷地内測点ａ～ｄの設定が行われる。データ側では、ステップＤ１では、建築ＢＩＭ作成が行われる。現場側でのステップＧ２における敷地内測点ａ～ｄの設定が行われることにより（Ｘ，Ｙ、Ｚ）座標を持つ点群情報が現場側からデータ側に与えられ、建築現場の三次元空間が点群データで表現され得る状況になる。このような前提条件ができあがり、データ側ではステップＤ２において点群データの整理が行われ、現場側ではステップＧ３において、敷地内から見える位置に２点公共座標があるか否かが判断される。ある場合にはステップＧ４に進み、公共座標と敷地内原点との間の距離・高さ測量が行われる。そして、現場側からの情報をもとに、データ側に対して、敷地内の任意点を敷地内原点として座標情報の入力が行われる。一方、ない場合には、ステップＧ５に進み、境界鋲に公共の（Ｘ，Ｙ）座標があるか否かが判断される。ある場合には、ステップＧ６に進み、境界鋲は４点以上で現地高さの測量が行えるか否かが判断される。可能な場合には、ステップＧ７に進み、境界鋲の高さの測量が行われる。そして、現場側からの情報をもとに、データ側に対して、境界鋲の１つを原点とした座標情報入力が行われる。一方、ステップＧ５で、ない場合、及び、ステップＧ６で可能でない場合には、いずれも、ステップＧ８に進み、敷地内測点と境界鋲の１つとの距離・高さの測量が行われる。そして、現地側からの情報をもとに、データ側に対して、境界鋲の１つを原点とした敷地内測点の座標情報入力が行われる。データ側では、現地側のステップＧ８までの処理で行われて入力された座標情報をもとにして、ステップＤ３において、点群データと原点の重ね合わせが行われ、ステップＤ４において、点群データと建築BIMの重ね合わせが行われる。このよ
うにして、タグのフィールドとしての利用が可能になっている。図１０には、現場管理端末５によって実際の現場が撮像されて、データ化がなされたＡＲの三次元空間におけるタグ付けがなされている状況が示されている。ここでのタグ付けは、図２と同様に下向きの三角形でタグを表したが、例えば風船の形のようなタグによる表示でもよく、他のいかなる形であってもよい。このタグには、作業者の属人的な情報も記載される。属人的情報としては、例えば、身長などの情報が一例として挙げられる。

【0031】

図１１は図２のデータ駆動型ＡＩアプリケーションの一部とＡＲアプリケーションに関する部分を抜き出した図である。図１２は作業者の非定常動作の検知処理を示すフロー図である。図１３は図１２の処理における作業者の非定常動作の検知を説明するための第１の図であって、バウンディングボックス（頭部と体全体）を示す図である。図１４は図１２の処理における作業者の非定常動作（特徴点の相対的な位置変化）の検知を説明するための第２の図であって、頭部のバウンディングボックスの「図」と「地」とを示す図である。図１５は図１２の処理における作業者の非定常動作（特徴点の相対的な速度変化）の検知を説明するための第３の図であって、頭部のバウンディングボックスの時間当たりの変位量について示す図である。

【0032】

図１１及び図１２を参照して、現場管理端末５のdepthカメラ５ａが撮像した画像・動
画情報が作業員特徴部検出モジュール（人物検知モジュール）に入力され、動作解析のためのデータセットであるデータ駆動型ＡＩの学習データが参照されて人物の検知が行われる（ステップＴ１参照）。ステップT１においては、図１３に示すような頭部のバウンデ
ィングボックスを特徴点として定め、この特徴点の抽出が行われることにより、人物検知が行われる。ここで、頭部のバウンディングボックスは、複数の作業者のそれぞれの動作を特定できる特徴点の一例であり、具体的には作業員のヘルメットに貼られたＱＲコード（登録商標）の他、画像解析などで実現される量で表すこともできる。次に、ステップＴ２において作業員特徴量抽出モジュールによって、特徴量の抽出が行われる。ここで特徴量とは、特徴点から計算によって相対的位置関係情報であり、バウンディングボックス内で時間的に隣接する画像（フレーム）間で差分計算を行うことによって得られる後記の図と地の相対的位置関係を主に指す。抽出された特徴点及び特徴量は特徴点・特徴量蓄積データベース（ＤＢ）に蓄積される（ステップＴ３参照）。この蓄積は、頭部の相対的位置がＱＲコード（登録商標）の位置等から認識されることになり、特徴点の時間的な変化を認識するためのデータの蓄積という位置付けになる。ステップＴ４では、特徴量変異が作業者の動作に変換され、作業員非定常動作判定モジュールでは、図１４に示す動作のバランスと図１５に示す動作のリズムに基いて、変換された動作が非定常動作か否かの判定が行われる。ここで、図１４に示す動作のバランスと記載したが、バウンディングボックス内の「地」と「図」のバランスに変化が見られるときを非定常動作と定義するものであり、非定常動作は特徴点や特徴量の相対的な位置変化によって特定でき、具体的な動作としては「つまずき」や「屈む」というものが挙げられる。そして、「図」とは絵や写真・風景を眺めたときに形として浮かび上がって見える部分や領域のことを指し、「地」とは図の背景に広がる部分を指す。また、図１５に示すリズムと記載したが、バウンディングボックスの変位量に変化が見られるときを非定常動作と定義するものであり、非定常動作は特徴点の相対的な速度変化によって特定でき、例えば、１０秒間隔の変位量がｘ→ｘ→２ｘ→０．５ｘのときには、「ｘ→２ｘ」及び「２ｘ→０．５ｘ」の変位は、非定常な変位とする。すなわち、突発的で非周期的な動作を非定常動作として検知する。このような検知が行われることにより、定常の動作ではないことから、事故が起こり得る危険な箇所、重要な管理されるべき管理箇所の一例として特定される。

【0033】

図１６は、図１２の処理における作業者の非定常動作（特徴点量の相対的な位置変化）の検知を説明するための第４の図であって、頭部だけでなく体全体のバウンディングボックスの「図」と「地」とをも示す図である。図１７は、図１２の処理における作業者の非定常動作（特徴点の相対的な速度変化）の検知を説明するための第５の図であって、頭部だけでなく体全体のバウンディングボックスの時間当たりの変位量についても示す図である。

【0034】

図１６及び図１７では、図１３のバウンディングボックスについて頭部だけでなく体全体についても認識する場合の処理を示している。頭部と体全体の両者から、非定常動作について、特徴点の相対的な位置変化（バランス）によって特定でき、また特徴点の相対的な速度変化（リズム）によって特定できることを示している。

【0035】

なお、図１４及び図１５では頭部のバウンディングボックスおよび図と地に着目し、図１６及び図１７では頭部及び体全体のバウンディングボックスおよび図と地に着目したが、体全体のバウンディングボックスに着目したものであってもよい。さらに、実装を考えると、重くない簡便な処理としては、図と地を考えず、頭部の動きと体全体の動きとの関係について、両者のバウンディングボックスの関係性から非定常動作を判断するようなものであってもよい。その場合、当初の学習データでは上記の簡便なもので済ませ、その後、データが集まってビッグデータになればなるほど、非定常動作という動きの精度の必要性のレベルに合わせてそのビッグデータを使い、バウンディングボックス内の「地」と「図」を区別する精度について輪郭を特定する精度をあげて高いものとしてもよい。

【0036】

図１１に戻って、ＡＲアプリケーションapp2では、ＡＲモジュールによって、建設・建築現場の管理点座標を基準にした仮想タグ情報の作成がジョブサーバ９のジョブリストが参照されて可能になっている。仮想タグは、上記した管理箇所と対応している。現場管理端末５と遠隔管理端末７とのいずれに対しても、仮想タグ情報の作成が行われた結果として、仮想タグの表示、仮想タグの共有、仮想タグの修正が行われることが可能になっている。このタグに関しては、現場管理者及び遠隔管理者の合意によって管理内容がタグ付けされ、又は、前記現場管理者及び前記遠隔で管理する管理者の合意によって前記付けられたタグが削除されることが可能になっている。削除は、例えば、後述するように危険箇所としてタグ付けされた後に、現場管理者が作業者に指示して危険が解消されるなどで行われる。そして、タグ付けされたタグの数、削除されたタグの数、又は、タグの増減によって表現される管理指標を示す管理指標情報を現場管理者及び遠隔管理者との間で共有することがＡＲによって可能になっている。

【0037】

図１８は人間をセンサとした特徴点の移動軌跡による安全な搬入経路の検出を説明するための図である。図１９は特徴点の移動軌跡による作業者属性情報蓄積を説明するための図である。図２０は図１及び図２のセマンティックセグメンテーション部による判定について説明するための図である。

【0038】

図１８に示すように、複数の作業員の特徴点の移動軌跡を蓄積していくことにより安全な搬入経路の検出が可能になる。また、図１９に示すように、特徴点の移動軌跡による作業スピードに基づき、例えばｍ分後の工程予測も可能になっている。この予測は、図２の作業スピード判定モジュールで行われ、作業者の能力を示すものとして属性情報データベースに蓄積される。また、図２０に示すように、予めセマンティックセグメンテーションを用いた学習が行われて学習モデルが作られている状態で、入力される画像等に対してセマンティックセグメンテーションによる判定が行われることにより、後述する図２１に示すように工程検知と危険検知が可能になっている。このようにセマンティックセグメンテーションは重要な役割も果たすが、特に駆動型ＡＩに対して重要であり、上記判断に用いられるだけでなく、学習の過程においても重要である。そのため、判断の精度をあげるべく、学習し終えたモデルを用いるだけでなく、判断と並行して学習を続けるようなものとしてもよい。

【0039】

図２１は図２の管理システムのシステム全体の処理フローを示す図である。

【0040】

現場管理側では、ステップＳＴ５１において、建築・建設現場の管理点座標の確認が行われ、以降の位置に基づく処理の参照点が与えられる。また現場で不可欠な作業者とのコミュニケーションが円滑に行われるために、ステップＳＴ５２において作業者の言葉に対する理解度の確認が行われる。十分に理解できない場合には、知識型ＡＩの機能によりステップＳＴ８１の言葉辞書を参照することになる。これらの準備のもと、ステップＳＴ５３で現場での３Dカメラ撮影が開始されるが、これら３つの準備作業は必ずしもこの順に
行われる必要はなく、また必要に応じて繰り返してもよい。ステップＳＴ５３で得られた撮像データは、工程検知と危険検知のために利用される。まず、ステップＳＴ６１では、データ駆動型ＡＩのセマンティックセグメンテーション機能を用いて建築・建設現場の領域分割が行われるが（図２０参照）、これは工程検知と危険検知双方のために利用される。すなわち、工程検知においては、領域分割の結果を受けて壁、床等の作業対象領域の広さが求められ、この時間に対する変化分に着目してステップＳＴ６２で現場特徴とすることにより、作業の進捗具合が推定される。一方でステップＳＴ６２では、作業者の動作についての解析も行われ、これが作業者特徴として抽出される（図１３参照）。これより、作業者の動き、位置から作業の進捗具合が推定され、図１９に示すように、ステップＳＴ７１では、この結果は時々刻々作業者の属性情報データベースに書き込まれる。こうして、現場の状況と作業者の動作の双方からステップＳＴ６３で工程検知が行われる。さらに、この結果は知識型ＡＩ機能のひとつであるステップＳＴ８２の重要管理点マニュアルと照合され（ステップＳＴ６６参照）、現場でおさえておくべき重要管理点として現場管理側に表示される（図６参照）。

【0041】

ステップＳＴ６２に戻り、抽出された作業者特徴はステップＳＴ６４において危険検知のためにも使われる。人間は五感を働かせ、その場の状況に対応しようとする。建築・建設現場では、現在のセンサー技術のレベルでは感知が難しい、あるいはコストがかかるような危険の到来を、作業者が敏感に察知して回避行動をとる場合はしばしばある。例えば、かがむ、つまずく、飛び越す、臭いを感じて立ち止まる、音を聞いて移動スピードを変える等の動作、行動の変化は現場ではよく観察され、これらは危険検知のために有用な情報となり得る。ステップＳＴ６４では、図１３、１４、１５，１６，１７で説明した作業者の特徴点（図中では頭部あるいは体全体のバウンディングボックス）の相対的位置、時間的変化と特徴量（図中では図、地から求まる相対的位置、時間的変化）から作業者の非定常動作を認識し、これをもとに危険検知を行う。この結果は、危険箇所候補として自動的に通知されるが、後記するAR通信を用いたステップＳＴ５５、ステップＳＴ７３において現場管理者と遠隔管理者間の確認作業により確定作業が行われ、危険箇所への対処としてのジョブリストが作成される。また、ステップＳＴ６５では、作業者の移動履歴について特徴点追跡をもとに統計処理し、現場での安全通路を決定する（図１６参照）。これら安全・危険箇所表示は、現場管理側と遠隔管理側の双方に対して行われ、共有される。

【0042】

工程進捗（ステップＳＴ６６）、重要管理点（ステップＳＴ８２）、安全・危険箇所の把握（ステップＳＴ６５）を総合的に把握しながら、現場管理ではステップＳＴ５４において工程は順調であるかの確認が行われる。順調でない場合には、工程・原価の見直しが必要となるが、これはステップＳＴ７２で遠隔管理側において行われる。現場管理側と遠隔管理側とのコミュニケーションはステップＳＴ５５、ステップＳＴ７３のようにAR通信により行われ、工程、危険箇所、重要管理点、その他現場での注意事項等は基本的にAR通信機能によって提供されるタグやジョブリストを介して図２のように指示・共有される。また、現場管理側と遠隔管理側とを結び付けるAR通信の機能は図２２のようであり、後記するように、タグやジョブリストは現場管理端末からでも遠隔管理端末からでも、３D形
式かつ双方向での対話を通じて常に協調作業を可能としている。このようにして、図１のジョブサーバ（仮想タグ）９には、現場で解決しなければならない問題点が書き込まれるが、ステップＳＴ５６ではこれら問題点の解決・解消状況が報告される。これは、現場管理者の管理能力を測るための情報であり、遠隔管理側ではステップＳＴ７４において現場管理者の人事評価に結び付ける。

【0043】

なお、図２１では、現場管理側の処理と、AI側の処理と、遠隔管理側の処理との処理を示したが、分散処理をする上でいずれの側で処理されるかは限定されるものではなく、AI側の部分の全部又は一部が、現場管理側に組み込まれてもよく、遠隔管理側に組み込まれてもよい。

【0044】

図２２は、図２に示したARモジュールについての通信機能を説明するためのブロック図である。

【0045】

図２２を用いて、簡単に、ARの通信機能について説明する。現場管理端末５と遠隔管理端末７との間で、ARモジュール１９は、互いと通信を行う。ARモジュール１９は、現場管理端末５から３Dカメラによって得られた周辺マッピングデータを受けて位置座標データ
を得る。ARモジュール１９では、位置座標データによる座標に、３Dカメラから送られて
くる画像データを貼り付け、遠隔管理端末７に送る。これにより、遠隔管理端末７は３D
表示が可能であり、３６０°の回転表示が可能になっている。また、現場管理端末５又は現場管理端末７とARモジュール１９との間では、ARモジュール１９のタグ・ジョブリストDBにより、タグ・重要管理点マニュアル・ジョブリストの作成・表示が可能になっている。さらに、現場管理端末５のカメラで撮像した動画データがARモジュール１９を介して遠隔管理端末７に送られ、遠隔管理端末７ではスリー画像表示も可能になっている。

【0046】

上記した内容から分かるように、管理箇所として管理が必要な危険の種類や対処法等を現場の映像に重ねてタグを移動させ、記述を行うことを可能にすることにより、経験が浅い現場管理者と熟練の管理者である遠隔管理者との間のコミュニケ―ションが十分にとれることになる。このことは、適切に人材の評価を行えるだけでなく、現場管理者の人材育成を行う面に繋がる。さらには、現場管理者の人材育成にとどまらず、指導する側である遠隔管理者にとっても学ぶこともあって、この点からも人材育成に繋がる。加えて、現場管理者が適切に評価され、人財として育つことは、現場の作業者である作業者が適切に自身の権限と責任を果たしている状況でもあり、現場がよりよい状況になっているということに繋がり、作業者の適切な評価の他、人財育成にも繋がる。これらにより、管理者側での技術の伝承が行われるばかりか、作業者側での技術の伝承へも繋がり得ることになる。

【0047】

なお、上記の実施の形態では、建築現場をもとにした説明を行ったが、建設現場で適用されてもよく、工場の内外を問わず製造現場でもよく、さらに他の分野の現場であってもよい。

【0048】

また、上記の実施の形態では、データ駆動型ＡＩにおいて、画像解析の機械学習によるディープラーニングを用いることを示したが、このような解析の仕方をブラックボックスで取り扱う場合に限らず、数学的な計算で確率的に求めるようにしてもよい。

【符号の説明】

【0049】

１・・・管理システム、５・・・現場管理端末、７・・・遠隔管理端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】