特許 7594429 作業推定モデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-26

(45)【発行日】2024-12-04

(54)【発明の名称】作業推定モデル

(51)【国際特許分類】

   G06Q 10/0631 20230101AFI20241127BHJP

   G06Q 10/0639 20230101ALI20241127BHJP

   G06Q 50/06 20240101ALI20241127BHJP

   G06Q 50/08 20120101ALI20241127BHJP

   G06T 7/00 20170101ALI20241127BHJP

   G05B 19/418 20060101ALI20241127BHJP

【ＦＩ】

G06Q10/0631

G06Q10/0639

G06Q50/06

G06Q50/08

G06T7/00 350B

G05B19/418 Z

【請求項の数】 2

(21)【出願番号】P 2020211811

(22)【出願日】2020-12-21

(65)【公開番号】P2022098327

(43)【公開日】2022-07-01

【審査請求日】2023-06-22

(73)【特許権者】

【識別番号】000001052

【氏名又は名称】株式会社クボタ

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】井戸本 靖史

(72)【発明者】

【氏名】景山 早人

(72)【発明者】

【氏名】伊東 一也

(72)【発明者】

【氏名】原田 和眞

【審査官】梅岡 信幸

(56)【参考文献】

【文献】特開２０１８－１６９９３３（ＪＰ，Ａ）

【文献】特開２０１７－１０７４４３（ＪＰ，Ａ）

【文献】特開２０２０－１０７３４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｔ ７／００

Ｇ０５Ｂ １９／４１８

(57)【特許請求の範囲】

【請求項1】

所定の作業時間において実施された少なくとも１つの作業と当該作業の実施時間帯の関係を示す実績データが入力される入力層と、
次の所定の作業時間における少なくとも１つの作業と当該作業の実施時間帯との関係を示す作業予定データを出力する出力層と、
過去の水道工事の施工計画に実施予定として示された少なくとも１つの作業と当該作業の実施時間帯との関係を示す過去作業予定データと、前記過去の水道工事において実施された少なくとも１つの作業と当該作業の実施時間帯との関係を示す過去実績データと、前記過去の水道工事において作業に影響を与えた因子データと、に基づき、パラメータが学習された中間層と、を備え、
前記実績データが前記入力層に入力された場合に、前記中間層による演算を経て、前記作業予定データを出力層から出力するように、コンピュータを機能させる、作業推定モデル。

【請求項2】

前記中間層では、さらに、
前記過去の水道工事において作業工程順を変更した場合の、前記作業工程順の変更結果と、前記作業工程順の変更前後での作業時間の変化と、の関係を示す作業変更関連データと、
前記過去実績データに対応付けられた、前記過去の水道工事の作業全体に対する、前記所定の作業時間における作業の進捗度を示す過去進捗度データと、に基づき、前記パラメータが学習されており、
前記中間層は、前記実績データが前記入力層に入力された場合に、前記演算の一部として、
前記実績データが示す作業の、水道工事の作業全体に対する進捗度を推定し、推定した進捗度と前記作業変更関連データとに基づき、前記次の所定の作業時間における作業工程順を推定する、請求項１に記載の作業推定モデル。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業管理装置等に関する。

【背景技術】

【0002】

特許文献１の水道工事管理システムは、水道工事における作業対象領域が含まれる撮影画像から検出された特徴画像から、水道工事における現在の作業状態を推定し、推定した現在の作業状態に対応して、水道工事の関係者に対する報知内容を決定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１０７３４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１では、機械学習を用いて構築された学習済みモデルについての具体的な開示は無い。本発明の一態様は、機械学習より構築された学習済みモデルを用いて、実施中の作業または実施予定の作業を精度よく推定することにより、当該作業を精度よく管理可能な作業管理装置等を実現することを目的とする。

【課題を解決するための手段】

【0005】

上記の課題を解決するために、本発明の一態様に係る作業管理装置は、水道工事における作業対象領域が含まれる撮影画像を取得する画像取得部と、機械学習を用いて、前記水道工事における作業状態を評価するための複数の指標のうち、ある時点での作業において出現している少なくとも１つの指標を推定するように構築された指標推定モデルに、前記撮影画像を入力することにより、前記撮影画像の取得時点での作業において出現していると推定される少なくとも１つの指標を出力する第１出力部と、前記第１出力部の出力結果に基づき、前記撮影画像の取得時点において実施されている作業を推定する作業推定部と、を備える。

【0006】

上記の課題を解決するために、本発明の一態様に係る作業管理方法は、水道工事における作業対象領域が含まれる撮影画像を取得する画像取得工程と、機械学習を用いて、前記水道工事における作業状態を評価するための複数の指標のうち、ある時点での作業において出現している少なくとも１つの指標を推定するように構築された指標推定モデルに、前記撮影画像を入力することにより、前記撮影画像の取得時点での作業において出現していると推定される少なくとも１つの指標を出力する出力工程と、前記出力工程での出力結果に基づき、前記撮影画像の取得時点において実施されている作業を推定する作業推定工程と、を含む。

【0007】

上記構成によれば、指標推定モデルへの撮影画像の入力により、撮影画像の取得時点における指標の組合せを推定できる。そのため、推定された指標の組合せに基づき、撮影画像の取得時点において実施している作業を推定できる。従って、水道工事の関係者は、実施している作業を管理できる。

【0008】

本発明の一態様に係る作業管理装置では、前記作業推定部は、前記第１出力部が経時的に出力した、前記撮影画像の取得時点のそれぞれにおいて出現する指標の組合せを解析することにより、前記画像取得部が直近で取得した撮影画像の取得時点において実施している作業を推定してもよい。

【0009】

上記構成によれば、現在およびその直近の過去の撮影画像から推定した指標の組合せを解析することにより、現在実施している作業を推定できる。

【0010】

本発明の一態様に係る作業管理装置は、前記第１出力部が経時的に出力した、前記撮影画像の取得時点のそれぞれにおいて出現する指標の組合せを解析することにより、前記作業推定部が推定した作業の作業状態の適否を判定する作業状態判定部を備えてよい。

【0011】

上記構成によれば、現在およびその直近の過去の撮影画像から推定した指標の組合せを解析することにより、現在の作業状態の適否を判定できる。従って、水道工事の関係者は、現在の作業状態の適否を把握できる。

【0012】

本発明の一態様に係る作業管理装置では、前記作業状態判定部は、前記作業状態の適否として、作業手順が適切であるか否か、安全性が担保された状態であるか否か、および、作業に遅延が生じているか否か、の少なくとも１つを判定してもよい。

【0013】

上記構成によれば、現在の作業状態として、作業手順が適切であるか否か、安全性が担保された状態であるか否か、および／または、作業に遅延が生じているか否かを判定できる。従って、水道工事の関係者は、作業手順の適否、安全性、および／または作業の進捗状況を把握できる。

【0014】

本発明の一態様に係る作業管理装置は、前記作業状態判定部により前記作業状態が否と判定された場合に、前記水道工事の関係者に警告する警告部を備えてもよい。

【0015】

上記構成によれば、現在の作業状態が好ましくない状態であることを、水道工事の関係者に警告できる。

【0016】

本発明の一態様に係る作業管理装置は、前記撮影画像において、前記第１出力部が出力した指標の位置を特定する位置特定部を備え、前記作業推定部は、前記撮影画像内の異なる領域において前記水道工事が実施されている場合に、前記位置特定部が特定した指標の位置に基づき、前記異なる領域において実施されている作業をそれぞれ推定してもよい。

【0017】

上記構成によれば、複数の作業が実施されている光景が撮影画像に含まれている場合に、複数の作業のそれぞれを撮影画像から推定できる。

【0018】

本発明の一態様に係る作業管理装置は、前記第１出力部が経時的に出力した、所定の作業時間内における前記撮影画像の取得時点のそれぞれにおいて出現する指標の組合せを解析することにより、前記所定の作業時間において実施された少なくとも１つの作業と当該作業の実施時間帯との関係を示す実績データを作成するデータ作成部を備えてもよい。

【0019】

上記構成によれば、ユーザは、所定の作業時間（例：１日あたりに規定された作業時間（例：8：00～16：30））において実施された作業の実績（進捗）を把握できる。

【0020】

本発明の一態様に係る作業管理装置では、前記データ作成部は、前記第１出力部が経時的に出力した、所定の作業時間内における前記撮影画像の取得時点のそれぞれにおいて出現する指標の組合せを解析することにより、前記所定の作業時間における作業手順の適否を示す手順適否データ、および、前記所定の作業時間における危険作業の発生有無を示す危険発生有無データ、の少なくとも何れかを作成してもよい。

【0021】

上記構成によれば、水道工事の関係者は、所定の作業時間において実施された作業における作業手順の適否、および／または、危険作業の発生有無について把握できる。

【0022】

上記の課題を解決するために、本発明の一態様に係る作業管理装置は、水道工事における作業対象領域が含まれる撮影画像を取得する画像取得部と、機械学習を用いて、前記水道工事における作業状態を評価するための複数の指標のうち、ある時点での作業において出現している少なくとも１つの指標を推定するように構築された指標推定モデルに、前記撮影画像を入力することにより、前記撮影画像の取得時点での作業において出現していると推定される少なくとも１つの指標を出力する第１出力部と、前記第１出力部が経時的に出力した、所定の作業時間内における前記撮影画像の取得時点のそれぞれにおいて出現する指標の組合せを解析することにより、前記所定の作業時間において実施された少なくとも１つの作業と当該作業の実施時間帯との関係を示す実績データを作成するデータ作成部と、機械学習を用いて、前記所定の作業時間における作業の実績から次の所定の作業時間において実施すべき作業を推定するように構築された作業推定モデルに、前記実績データを入力することにより、前記次の所定の作業時間において実施すべきと推定される少なくとも１つの作業と当該作業の実施時間帯との関係を示す作業予定データを出力する第２出力部と、を備える。

【0023】

上記の課題を解決するために、本発明の一態様に係る作業管理方法は、水道工事における作業対象領域が含まれる撮影画像を取得する画像取得工程と、機械学習を用いて、前記水道工事における作業状態を評価するための複数の指標のうち、ある時点での作業において出現している少なくとも１つの指標を推定するように構築された指標推定モデルに、前記撮影画像を入力することにより、前記撮影画像の取得時点での作業において出現していると推定される少なくとも１つの指標を出力する第１出力工程と、前記第１出力工程において経時的に出力した、所定の作業時間内における前記撮影画像の取得時点のそれぞれにおいて出現する指標の組合せを解析することにより、前記所定の作業時間において実施された少なくとも１つの作業と当該作業の実施時間帯との関係を示す実績データを作成するデータ作成工程と、機械学習を用いて、前記所定の作業時間における作業の実績から次の所定の作業時間において実施すべき作業を推定するように構築された作業推定モデルに、前記実績データを入力することにより、前記次の所定の作業時間において実施すべきと推定される少なくとも１つの作業と当該作業の実施時間帯との関係を示す作業予定データを出力する第２出力工程と、を含む。

【0024】

上記構成によれば、今回の所定の作業時間における作業の実績を考慮して、次の所定の作業時間（例：翌日分として規定された作業時間（例：8：00～16：30））における作業予定データを作成できる。従って、次の所定の作業時間において、作業を予定通りに進める可能性を高めることができる。また、作業予定データの出力により、次の所定の作業時間における作業予定の見直しを提案できる。

【0025】

本発明の一態様に係る作業管理装置では、前記データ作成部は、前記第１出力部が経時的に出力した、所定の作業時間内における前記撮影画像の取得時点のそれぞれにおいて出現する指標の組合せを解析することにより、前記所定の作業時間における作業手順の適否を示す手順適否データ、および、前記所定の作業時間における危険作業の発生有無を示す危険発生有無データ、の少なくとも何れかを作成し、前記第２出力部は、（１）前記作業推定モデルに前記手順適否データを入力することにより、前記次の所定の作業時間において作業手順に誤りが生じ得ると推定した作業を、前記作業予定データにおいて特定するか、（２）前記作業推定モデルに前記危険発生有無データを入力することにより、前記次の所定の作業時間において危険作業が生じ得ると推定した作業を、前記作業予定データにおいて特定するか、または、（３）前記（１）において作業手順に誤りが生じ得ると推定した作業、および、前記（２）において危険作業が生じ得ると推定した作業の両方を、前記作業予定データにおいて特定してもよい。

【0026】

上記構成によれば、次の所定の作業時間において作業手順に誤りが生じ得る作業、および／または、次の所定の作業時間において発生し得る危険作業を、作業予定データに反映できる。従って、水道工事の関係者は、作業予定データを確認することにより、作業手順に誤りが生じ得る作業、および／または、発生し得る危険作業を事前に把握できる。

【0027】

上記の課題を解決するために、本発明の一態様に係る指標推定モデルは、水道工事における作業対象領域が含まれる撮影画像が入力される入力層と、前記水道工事における作業状態を評価するための複数の指標のうちの少なくとも１つの指標を出力する出力層と、前記作業対象領域を含む画像および前記水道工事での使用物品を示す画像と、前記指標と、に基づき、パラメータが学習された中間層と、を備え、前記撮影画像が前記入力層に入力された場合に、前記中間層による演算を経て、前記撮影画像の取得時点での作業において出現していると推定される少なくとも１つの指標を出力層から出力するように、コンピュータを機能させる。

【0028】

上記構成によれば、指標推定モデルへの撮影画像の入力により、撮影画像の取得時点における指標の組合せを推定できる。そのため、推定された指標の組合せに基づき、撮影画像の取得時点において実施している作業を推定することが可能となる。

【0029】

上記の課題を解決するために、本発明の一態様に係る作業推定モデルは、所定の作業時間において実施された少なくとも１つの作業と当該作業の実施時間帯の関係を示す実績データが入力される入力層と、次の所定の作業時間における少なくとも１つの作業と当該作業の実施時間帯との関係を示す作業予定データを出力する出力層と、過去の水道工事の施工計画に実施予定として示された少なくとも１つの作業と当該作業の実施時間帯との関係を示す過去作業予定データと、前記過去の水道工事において実施された少なくとも１つの作業と当該作業の実施時間帯との関係を示す過去実績データと、前記過去の水道工事において作業に影響を与えた因子データと、に基づき、パラメータが学習された中間層と、を備え、前記実績データが前記入力層に入力された場合に、前記中間層による演算を経て、前記作業予定データを出力層から出力するように、コンピュータを機能させる。

【0030】

上記構成によれば、今回の所定の作業時間における作業の実績を考慮して、次の所定の作業時間における作業予定データを作成できる。従って、次の所定の作業時間において、作業を予定通りに進める可能性を高めることができる。また、作業予定データの出力により、次の所定の作業時間における作業予定の見直しを提案できる。

【0031】

本発明の一態様に係る作業推定モデルでは、前記中間層では、さらに、前記過去の水道工事において作業工程順を変更した場合の、前記作業工程順の変更結果と、前記作業工程順の変更前後での作業時間の変化と、の関係を示す作業変更関連データと、前記過去実績データに対応付けられた、前記過去の水道工事の作業全体に対する、前記所定の作業時間における作業の進捗度を示す過去進捗度データと、に基づき、前記パラメータが学習されており、前記中間層は、前記実績データが前記入力層に入力された場合に、前記演算の一部として、前記実績データが示す作業の、水道工事の作業全体に対する進捗度を推定し、推定した進捗度と前記作業変更関連データとに基づき、前記次の所定の作業時間における作業工程順を推定してもよい。

【0032】

上記構成によれば、今回の所定の作業時間における作業の進捗状況に応じて次の所定の作業時間における作業を見直した作業予定データを出力できる。

【発明の効果】

【0033】

本発明の一態様によれば、機械学習より構築された学習済みモデルを用いて、実施中の作業または実施予定の作業を精度よく推定することにより、当該作業を精度よく管理できる。

【図面の簡単な説明】

【0034】

【図1】水道工事管理システムの概略構成の一例を示すブロック図である。

【図2】第１出力部の出力結果の一例を示す図である。

【図3】作業状態判定部が作業状態を判定する作業の一例を示す図である。

【図4】作業状態判定部による作業状態の判定結果の表示例を示す図である。

【図5】データ作成部が作成した実績データの表示例を示す図である。

【図6】第２出力部が出力した作業予定データの表示例を示す図である。

【図7】作業状態判定部による判定結果と、表示制御部による報知内容と、の関係の一例を示す図である。

【図8】作業管理装置における処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0035】

〔水道工事管理システムの構成〕
図１は、本発明の実施の形態に係る水道工事管理システム１の概略構成の一例を示すブロック図である。水道工事管理システム１は、管を設置する水道工事の各種作業（例：水道工事の進捗）を管理する。水道工事管理システム１は、カメラ２、作業管理装置３、および表示装置４を備えている。

【0036】

カメラ２は、１または複数の水道工事の現場において実施される各種作業を撮影する。カメラ２は、各種作業が行われる作業対象領域を撮影できればよい。カメラ２としては、例えば、作業者（水道工事の関係者）のヘルメット又は作業服（例：作業服の腕部）に取り付けられ手元の作業を撮影するカメラ、または、各種作業用具（例：バックホー）に搭載されたカメラが挙げられる。また、カメラ２としては、例えば、作業対象領域の近傍に据置されたカメラが挙げられる。カメラ２は、撮影部２１および通信部２２を備えている。

【0037】

撮影部２１は、水道工事における少なくとも作業対象領域を撮影する。撮影部２１は、静止画像を撮影してもよいし、動画像を撮影してもよい。同一の水道工事内で、複数回の撮影が行われてもよい。作業対象領域（ひいては、カメラ２）は、固定であってもよいし、１回の撮影を単位として可動であってもよい。換言すれば、撮影部２１は、撮影の度に、作業対象領域が含まれる撮影画像を作成する。

【0038】

通信部２２は、作業管理装置３と通信可能に接続し、撮影部２１が撮影した撮影画像のデータを、作業管理装置３へと転送する。通信部２２と作業管理装置３との通信形態は無線であるが、有線であってもよい。

【0039】

作業管理装置３は、水道工事として実施されている各種作業、または、実施予定の各種作業を管理する。作業管理装置３は、複数の水道工事の現場における作業を管理する場合、現場毎に作業を管理する。作業管理装置３の詳細については後述する。

【0040】

表示装置４は、水道工事を管理する管理者（水道工事の関係者）に対して、水道工事に関連する各種情報を表示する。表示装置４は、例えば、作業管理装置３から出力される作業状態の判定結果、所定の作業時間における各種作業の実績を示す実績データ、または、次の所定の作業時間において実施すべき各種作業の予定を示す作業予定データを表示してよい。

【0041】

表示装置４は、管理者が各種作業を管理するモニタまたはパーソナルコンピュータである。但し、表示装置４は、作業者が所持する電子機器（例：タブレットおよびスマートフォン）であってもよい。この場合、表示装置４は、作業者に対して、水道工事に関連する各種情報を表示できる。また、水道工事管理システム１は、上記各種情報を音声により出力する音出力装置（例：スピーカ）を備えていてもよい。

【0042】

なお、本実施形態では、上記所定の作業時間は、ある１日において規定された全作業時間（例：8：00～16：30）を示し、次の所定の作業時間は、ある１日の翌日分として規定された全作業時間（例：8：00～16：30）を示すものとして説明する。但し、所定の作業時間は、例えば、作業開始から撮影画像の取得時点までの作業時間を指してもよく、この場合、次の所定の作業時間は撮影画像の取得時点以降の作業時間を指すこととなる。

【0043】

〔作業管理装置の構成〕
作業管理装置３は、制御部３１および記憶部３２を備えている。制御部３１は、作業管理装置３の各部を統括的に制御する。記憶部３２は、制御部３１により使用される各種プログラムおよび各種データを記憶する。記憶部３２は、例えば、後述する指標推定モデル３２１および作業推定モデル３２２を記憶する。記憶部３２は、作業管理装置３と通信可能に接続された、作業管理装置３とは異なる記憶装置により、実現されていてもよい。

【0044】

制御部３１は、画像取得部３１１、第１出力部３１２、位置特定部３１３、作業推定部３１４、作業状態判定部３１５、データ作成部３１６、第２出力部３１７、および表示制御部３１８を備えている。

【0045】

画像取得部３１１は、カメラ２から転送される、水道工事における作業対象領域が含まれる撮影画像を取得する。

【0046】

第１出力部３１２は、画像取得部３１１が取得した撮影画像を、記憶部３２に記憶された指標推定モデル３２１に入力する。指標推定モデル３２１は、機械学習を用いて、水道工事における作業状態を評価するための複数の指標のうち、ある時点での作業において出現している少なくとも１つの指標を推定するように構築された学習済みモデルである。本実施形態では、上記指標を、作業状態を評価するために撮影画像からの検出を要する検出クラスと称する。

【0047】

検出クラスとしては、例えば、水道工事に用いられる各種管（管路）、作業者、作業者以外の一般人、水道工事に用いられる各種作業用具、管が配置される溝といった単一の物体が挙げられる。検出クラスは、これらの単一の物体を複数組合せたものであってもよく、例えば、溝と、溝に入っている作業者との組合せを、１つの検出クラスとして設定してもよい。

【0048】

各種管としては、例えば、直管および異形管が挙げられる。各種作業用具（例：作業機械（作業車両）および工具）としては、例えば、アスファルトカッター、バックホー、ダンプトラック、ランマー、コーン（またはポール）、矢板、歯止め、枕木、および梯子が挙げられる。また、検出クラスとして設定される作業用具は作業用具の一部であってもよく、例えば、バックホーの一部であるバケットおよびスリングベルトが検出クラスとして設定されてもよい。

【0049】

検出クラスとして、作業状態が判別可能となる物体が設定されてもよい。例えば、検出クラスとして、例えば、適切な作業（標準作業）が行われていることを特徴づける物体、および、危険作業を特徴づける物体が設定されてもよい。標準作業が行われていることを特徴づける物体としては、例えば、標準作業を行っているときの作業者の作業姿勢が挙げられる。危険作業を特徴づける物体としては、例えば、安全コーンが設置されていない溝が挙げられる。

【0050】

指標推定モデル３２１は、撮影画像が入力された結果として、撮影画像に含まれる上述したような検出クラスを抽出および出力するように構築された学習済みモデルである。指標推定モデル３２１は、例えば、入力層、中間層および出力層を少なくとも含むニューラルネットワーク（例：畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ））であってよい。

【0051】

指標推定モデル３２１において、入力層は、撮影画像が入力される層である。中間層は、作業対象領域を含む領域画像、および水道工事での使用物品を示す物品画像と、検出クラスと、に基づき、パラメータが学習された層である。出力層は、少なくとも１つの検出クラスを出力する層である。

【0052】

例えば、複数の領域画像のそれぞれ、および複数の物品画像のそれぞれに、正解データとして検出クラスを対応付けたデータが、訓練データとして準備される。指標推定モデル３２１は、訓練データを順次入力して、損失関数を最小化するようにパラメータ（重みおよびバイアス）を学習することにより構築される。指標推定モデル３２１は、例えばモデル生成装置（不図示）により構築されるが、これに限らず、例えば制御部３１により構築されてもよい。この場合、制御部３１は、訓練データを用いた機械学習により指標推定モデル３２１を構築する学習装置としての機能も有することになる。

【0053】

なお、後述するその他の学習済みモデルについても、訓練データを順次入力して、損失関数を最小化するようにパラメータを学習することにより構築されてよく、モデル生成装置によって構築されても、制御部３１によって構築されてもよい。

【0054】

上記領域画像としては、カメラ２が撮影した撮影画像の他、差分画像または合成画像であってよい。差分画像は、例えば、経時的に撮影された２つの撮影画像の差分を抽出した画像である。合成画像は、例えば、撮影された作業対象領域の背景領域に、予め準備された種々の背景画像（仮想的な背景画像）を埋め込んだ画像である。上記物品画像としては、上述した各種管および各種作業用具を撮影した画像であってよい。物品画像として、１つの管および１つの作業用具について、その大きさを変更した複数の画像を準備してもよい。このように、撮影した画像以外に加工した画像を準備することにより、少ない撮影画像から多様な訓練データを準備することが可能となる。また、領域画像および物品画像は、検出クラスの推定（推論）に適した画像を含んでもよい。

【0055】

このように構築された指標推定モデル３２１は、撮影画像が入力層に入力された場合に、中間層による演算を経て、撮影画像の取得時点での作業において出現していると推定される少なくとも１つの検出クラスを出力層から出力するように、コンピュータを機能させる。すなわち、第１出力部３１２は、撮影画像を指標推定モデル３２１に入力することにより、撮影画像の取得時点での作業において出現していると推定される少なくとも１つの検出クラスを出力する。なお、撮影画像の取得時点は、画像取得部３１１による撮影画像の取得時点であるが、カメラ２による作業対象領域の撮影時点と読み替えてもよい。

【0056】

図２は、第１出力部３１２の出力結果の一例を示す図である。図２の符号２０１は、ある１日における作業開始から時刻Ｔ１までの出力結果を示し、符号２０２は、ある１日における作業開始から作業終了までの出力結果を示す。符号２０１および２０２において、縦軸は各検出クラスの番号を示し、横軸は作業時刻を示す。例えば、作業者に「０」、直管に「１」、異形管に「２」、バックホーに「３」、スリングベルトに「４」といったように、上述した各検出クラスには番号が付されている。図２の例では、検出クラスの番号として「０」～「７」が示されているが、予め設定された検出クラスの分だけ検出クラスに番号が付される。

【0057】

例えば、時刻Ｔ１の時点において取得した撮影画像に、作業者、異形管、バックホーおよびスリングベルトが含まれている場合を考える。この場合、第１出力部３１２は、図２の符号２０１に示すように、時刻Ｔ１において、これらの検出クラスに対応する「０」および「２」～「４」の組合せを出力する。第１出力部３１２は、作業開始から経時的に撮影画像を指標推定モデル３２１に入力しているため、符号２０１に示すように、時刻Ｔ１の時点においては、作業開始（8：00）から時刻Ｔ１までの各時点における検出クラスの組合せを出力できる。その結果、符号２０２に示すように、第１出力部３１２は、１日の作業終了時点においては、１日における作業開始から作業終了までの各時点における検出クラスの組合せを出力できる。

【0058】

なお、指標推定モデル３２１は、上記演算の結果として、各検出クラスの数値（例：０以上かつ１以下の数値）を出力する。数値が大きい検出クラスほど、撮影画像にその検出クラスが示す物体が含まれる確度が高い。そのため、指標推定モデル３２１は、所定の閾値以上の数値を示す検出クラスを、撮影画像に含まれる検出クラスとして推定する。指標推定モデル３２１は、出力結果として、検出クラスと共に、例えば上記数値を、検出クラスの推定の確度（信頼度）として出力してもよい。

【0059】

位置特定部３１３は、撮影画像において、第１出力部３１２が出力した検出クラスの位置を特定する。位置特定部３１３は、例えば、物品画像と検出クラスとを対応付けた訓練データを用いて撮影画像における検出クラスの位置を推定するように構築された位置推定モデルに、撮影画像を入力することにより、撮影画像における検出クラスの位置を特定できる。位置推定モデルは、記憶部３２に記憶されていてよく、例えばＲ－ＣＮＮ（Regions with CNN)により実現された学習済みモデルであってよい。

【0060】

作業推定部３１４は、第１出力部３１２の出力結果に基づき、撮影画像の取得時点において実施されている作業を推定する。具体的には、作業推定部３１４は、第１出力部３１２が経時的に出力した、撮影画像の取得時点のそれぞれにおいて出現する検出クラスの組合せを解析することにより、画像取得部３１１が直近で取得した撮影画像の取得時点において実施している作業を推定する。すなわち、作業推定部３１４は、画像取得部３１１が直近で取得した撮影画像に基づき推定された検出クラスの組合せと、その直前の少なくとも一時点の撮影画像（過去の撮影画像）に基づき推定された検出クラスの組合せとから、現在実施されている作業を推定する。

【0061】

記憶部３２には、水道工事において実施され得る各作業と、検出クラスの組合せと、が対応付けて記憶されている。作業推定部３１４は、第１出力部３１２の各時点における出力結果（検出クラスの組合せ）に基づき、当該組合せに対応する作業を、撮影画像の取得時点において実施している作業として特定する。

【0062】

例えば、直管の吊込・据付の作業工程においては、受口溝の異物を取り除くという作業が存在する。この作業については、例えば、検出クラスとして、作業者、直管、受口溝、および受口溝に存在する物体（異物）等の組合せが対応付けられている。作業推定部３１４は、第１出力部３１２の出力結果に基づき、撮影画像において、連続する各時点における作業者、直管、受口溝、および受口溝に位置する物体の有無を判定することにより、上記作業が行われているかを判定する。

【0063】

作業推定部３１４は、各作業と検出クラスの組合せとを対応付けた訓練データを用いて、撮影画像の取得時点において実施している作業を推定するように構築された実施作業推定モデルを用いて、当該作業を推定してもよい。この場合、作業推定部３１４は、実施作業推定モデルに、第１出力部３１２の出力結果を入力することにより、上記作業を推定できる。実施作業推定モデルは、記憶部３２に記憶されていてよく、例えばＣＮＮにより実現された学習済みモデルであってよい。

【0064】

また、作業推定部３１４は、位置特定部３１３が撮影画像において検出クラスの位置を特定している場合、当該検出クラスの位置に基づき、撮影画像内の異なる領域において実施されている作業をそれぞれ推定してもよい。作業推定部３１４は、例えば、推定された検出クラスの種類、および、特定された検出クラスの位置によって、撮影画像に、複数の水道工事の実施風景が含まれているか否かを判定してよい。作業推定部３１４は、撮影画像内の異なる領域において水道工事が実施されていると判定した場合に、各領域において実施されている作業をそれぞれ推定する。

【0065】

作業状態判定部３１５は、第１出力部３１２が経時的に出力した、撮影画像の取得時点のそれぞれにおいて出現する検出クラスの組合せを解析することにより、作業推定部３１４が推定した作業の作業状態の適否を判定する。すなわち、作業状態判定部３１５は、画像取得部３１１が直近で取得した撮影画像に基づき推定された検出クラスの組合せと、その直前の少なくとも一時点の撮影画像に基づき推定された検出クラスの組合せとから、現在実施されていると推定された作業の作業状態の適否を判定する。この判定結果は、作業毎の実績を示すものである。

【0066】

具体的には、作業状態判定部３１５は、作業状態の適否として、作業手順が適切であるか否か、安全性が担保された状態であるか否か、および、作業に遅延が生じているか否かを判定する。

【0067】

作業手順が適切であるか否かについては、例えば、撮影画像において連続する各時点における検出クラスの組合せと、当該各時点の撮影画像におけるある検出クラスの位置または経時的な位置変化とに基づき、判定されてよい。

【0068】

図３は、作業状態判定部３１５が作業状態を判定する作業の一例を示す図である。図３では、管の吊込・据付～継手接合チェックの作業工程において実施される作業の一例を、直管の場合と異形管の場合とに分けて例示している。

【0069】

図３に示すように、作業状態判定部３１５は、受口溝の異物を取り除く作業が行われている場合、例えば、撮影画像において、連続する各時点における受口溝に存在する物体の有無（当該物体の位置変化）を判定することにより、当該作業手順の適否を判定する。また、作業状態判定部３１５は、挿し口外面の端面から約３０ｃｍの間および受口内面に付着している異物を取り除く作業が行われている場合についても、同様の処理を行ってよい。すなわち、作業状態判定部３１５は、例えば、連続する各時点におけるこれらの位置に存在する物体の有無（当該物体の位置変化）を判定することにより、当該作業手順の適否を判定してよい。換言すれば、作業状態判定部３１５は、時間が経過するたびに、撮影画像において、受口溝等を占める物体の範囲が低下していき、その範囲が所定面積以下になったと判定した場合に、異物が取り除かれたと判定してよい。そして、作業状態判定部３１５は、この場合、受口溝等の異物を取り除く作業の作業手順が適であると判定してよい。

【0070】

また、作業状態判定部３１５は、このように撮影画像に基づき作業手順が適切であるか否かを判定すると共に、作業品質が担保されているか否かを判定することもできる。作業状態判定部３１５は、例えば、撮影画像において受口溝に物体がほぼ存在しない状態となっていれば、受口溝等の異物を取り除く作業の作業品質が良好であると判定できる。

【0071】

なお、作業状態判定部３１５は、図３に示す他の作業についても同様に、撮影画像における検出クラスの組合せおよび検出クラスの位置等を解析することにより、作業手順および作業品質の適否を判定できる。

【0072】

また、安全性が担保された状態であるか否かについても、例えば、撮影画像において連続する各時点における検出クラスの組合せと、当該各時点の撮影画像におけるある検出クラスの位置または経時的な位置変化とに基づき、判定されてよい。

【0073】

ここで、各作業において防止したい災害としては、例えば、以下の災害が挙げられる。
（災害１）溝に一般人が転落。
（災害２）作業車両（例：ダンプトラックまたはバックホー）が作業者または一般人に接触。（作業者または一般人を総称して「人」と称する。）
（災害３）管吊り上げ時に管が転落し、人に接触。
（災害４）バケットの中身が落下し、当該中身が人に接触。
（災害５）溝の崩落。
（災害６）現場に載置した管が人に接触。
（災害７）工具等が溝内に落下し、人に接触。
（災害８）梯子から作業者が転落。

【0074】

作業状態判定部３１５は、上記（災害１）～（災害８）の災害が発生し得る状態であるか否かについて、上述のように検出クラスの組合せと、ある検出クラスの位置または経時的な位置変化に基づき判定してよい。以下に、上記（災害１）～（災害８）の災害が発生し得ると判定される場合の処理例を示す。

【0075】

作業状態判定部３１５は、指標推定モデル３２１の出力結果（検出クラス）として、溝、安全コーンおよび一般人が抽出されている場合、上記（災害１）の災害発生の有無を判定してよい。例えば、作業状態判定部３１５は、撮影画像の、安全コーンを結んだ曲線（または溝の外周を囲む曲線）により形成される閉領域内において、所定時間の間、一般人を検出した場合を考える。この場合、作業状態判定部３１５は、上記（災害１）の災害が発生し得る状態であって、安全性が担保されていない状態（すなわち危険な状態）であると判定する。作業状態判定部３１５は、撮影画像に対して鳥瞰変換を実行した後に、撮影画像から上記曲線および一般人を検出してもよい。

【0076】

検出クラスとして、一般人に代えて作業者またはヘルメットが抽出されている場合に、上記（災害１）の災害発生の有無を判定してもよい。この場合、作業状態判定部３１５は、上記閉空間内において、所定時間の間、ヘルメットを検出した場合に、当該閉空間に作業者が存在すると推定し、危険な状態であると判定してよい。作業状態判定部３１５は、検出クラスとして、溝が抽出されているが、安全コーンが抽出されていない場合についても、上記（災害１）の災害が発生し得る危険な状態であると判定してよい。

【0077】

作業状態判定部３１５は、検出クラスとして、作業車両および人が抽出されている場合、上記（災害２）の災害発生の有無を判定してよい。例えば、作業状態判定部３１５は、撮影画像において、作業車両またはその一部（例：バケット）と人との距離が所定値以下である場合に、上記（災害２）の災害が発生し得る危険な状態であると判定してよい。撮影画像は、作業車両に設置されたカメラ２、または、水道工事が実施されている箇所に設置されたカメラ２から取得したものであってよい。また、作業状態判定部３１５は、撮影画像に対して鳥瞰変換を実行した後に、撮影画像から作業車両、人および上記距離を検出してもよい。また、作業状態判定部３１５は、撮影画像において、人の顔の向きを検出し、当該向きに作業車両が位置していない場合に、上記（災害２）の災害が発生し得る危険な状態であると判定してよい。

【0078】

作業状態判定部３１５は、検出クラスとして、管およびスリングベルトが抽出されている場合、上記（災害３）の災害発生の有無を判定してよい。例えば、作業状態判定部３１５は、撮影画像において、地面に対する管の傾きを検出し、当該傾きが所定角度（例：３０°）以上である場合には、上記（災害３）の災害が発生し得る危険な状態であると判定してよい。また、作業状態判定部３１５は、撮影画像において、２本のスリングベルト間のつり角度を算出し、当該つり角度が所定角度（例：６０°）以上である場合に、上記（災害３）の災害が発生し得る危険な状態であると判定してよい。つり角度が所定角度以上である場合、吊り荷である管が横滑りする危険性が生じる。また、作業状態判定部３１５は、撮影画像において、スリングベルトが１本しか検出されなかった場合も、上記（災害３）の災害が発生し得る危険な状態であると判定してよい。

【0079】

作業状態判定部３１５は、検出クラスとして、バケットおよび人が抽出されている場合、上記（災害４）の災害発生の有無を判定してよい。例えば、作業状態判定部３１５は、撮影画像において、バケットの下に人が位置している場合、または、バケット周りの所定範囲内に人が位置している場合に、上記（災害４）の災害が発生し得る危険な状態であると判定してよい。また、作業状態判定部３１５は、撮影画像に対して鳥瞰変換を実行した後に、撮影画像からバケットおよび人の相対位置を検出してもよい。また、作業状態判定部３１５は、撮影画像において、地面に対するバケットの開口面の傾きが所定角度以上である場合、上記（災害４）の災害が発生し得る危険な状態であると判定してよい。

【0080】

作業状態判定部３１５は、検出クラスとして、溝および矢板が抽出されている場合、上記（災害５）の災害発生の有無を判定してよい。例えば、作業状態判定部３１５は、撮影画像において、溝の形状が所定形状（崩落し得る形状）である場合、上記（災害５）の災害が発生し得る危険な状態であると判定してよい。また、作業状態判定部３１５は、撮影画像において、溝に打ち込まれた矢板の、地面に対する角度が、所定角度以下である場合（矢板の傾倒度合いが大きい場合）に、上記（災害５）の災害が発生し得る危険な状態であると判定してよい。また、作業状態判定部３１５は、撮影画像において、矢板の傾倒を防止するロッドを検出できなかった場合に、上記（災害５）の災害が発生し得る危険な状態であると判定してよい。また、作業状態判定部３１５は、検出クラスとして、溝が抽出されているが、矢板が抽出されていない場合についても、上記（災害５）の災害が発生し得る危険な状態であると判定してよい。

【0081】

作業状態判定部３１５は、検出クラスとして、管、枕木および歯止めが抽出されている場合、上記（災害６）の災害発生の有無を判定してよい。枕木及び歯止めは、管の転がりを防止するためのものである。例えば、作業状態判定部３１５は、撮影画像において、所定時間の間、管の位置に変更がない場合には、接合待ちの管であると判定する。作業状態判定部３１５は、撮影画像において、接合待ちの管と枕木および歯止めと位置関係が所定の位置関係ではないと判定した場合に、上記（災害６）の災害が発生し得る危険な状態であると判定してよい。

【0082】

また、検出クラスとして管を抽出していると共に、撮影画像において、所定時間の間、管が溝の外側（地面）に位置している場合において、検出クラスとして枕木または歯止めを抽出していない場合を考える。この場合、作業状態判定部３１５は、撮影画像において、地面に載置された管に対して必要となる枕木または歯止めを検出できないため、上記（災害６）の災害が発生し得る危険な状態であると判定してよい。

【0083】

作業状態判定部３１５は、検出クラスとして、溝の外周部分（ライン）および工具が抽出されている場合、上記（災害７）の災害発生の有無を判定してよい。例えば、作業状態判定部３１５は、撮影画像において、溝の外周部分に工具が位置している場合、上記（災害７）の災害が発生し得る危険な状態であると判定してよい。また、作業状態判定部３１５は、撮影画像に対して鳥瞰変換を実行した後に、撮影画像から溝の外周部分および工具を検出してもよい。

【0084】

作業状態判定部３１５は、検出クラスとして、梯子、溝側壁および作業者が抽出されている場合、上記（災害８）の災害発生の有無を判定してよい。例えば、作業状態判定部３１５は、撮影画像において、梯子と、梯子が設置された溝側壁とのなす角度を算出し、当該なす角度が所定角度以下である場合に、上記（災害８）の災害が発生し得る危険な状態であると判定してよい。また、作業状態判定部３１５は、撮影画像において、作業者が梯子の昇降以外の作業を行っている場合に、上記（災害８）の災害が発生し得る危険な状態であると判定してよい。

【0085】

なお、作業状態判定部３１５は、撮影画像から物体を検出する場合、撮影画像の３次元点群データを作成し、当該３次元点群データから物体を検出してもよいし、エッジ検出処理により物体を検出してもよい。また、測距センサ（例：ＴＯＦ（Time of Flight）センサ）を用いて、物体間の距離の実測値を測定してもよい。

【0086】

また、作業状態判定部３１５は、検出クラスの組合せ、および、検出クラスの位置または経時的な位置変化を、作業手順の適否と対応付けた訓練データを用いて、作業手順の適否を推定するように構築された手順推定モデルを用いて、当該適否を判定してもよい。また、作業状態判定部３１５は、検出クラスの組合せ、および、検出クラスの位置または経時的な位置変化を、作業の安全性と対応付けた訓練データを用いて、当該安全性を推定するように構築された安全推定モデルを用いて、当該安全性を判定してもよい。また、作業状態判定部３１５は、検出クラスの組合せ、および、検出クラスの位置または経時的な位置変化を、作業品質の良否と対応付けた訓練データを用いて、当該良否を推定するように構築された品質推定モデルを用いて、当該良否を判定してもよい。手順推定モデル、安全推定モデルおよび品質推定モデルは、記憶部３２に記憶されていてよく、例えばＣＮＮにより実現された学習済みモデルであってよい。

【0087】

また、作業に遅延が発生しているか否かについては、作業推定部３１４により推定された作業の作業時間を、その日に実施される作業と当該作業の実施時間帯との関係を示す作業工程データと比較することにより、判定されてよい。作業状態判定部３１５は、ある作業について予定されている作業時間よりも所定時間以上経過したと判定した場合に、当該作業に遅延が生じていると判定してよい。所定時間は、作業の実績等に基づき作業毎に設定されてよい。また、所定時間を段階的に設定することにより、遅延の度合いが段階的に判定されてもよい。作業工程データは、記憶部３２に記憶されていてよい。

【0088】

表示制御部３１８は、表示装置４を制御することにより、表示装置４に各種情報を表示させる。表示制御部３１８は、例えば、上述した作業状態の判定結果を、判定結果が得られた時点でリアルタイムに表示させてよい。表示制御部３１８は、作業状態の判定結果を表示することにより、作業状態判定部３１５により作業状態が否と判定された場合に、管理者または作業者に警告する警告部として機能できる。

【0089】

図４は、作業状態判定部３１５による作業状態の判定結果の表示例を示す図である。図４の符号４０１は、作業手順が適切であるか、安全性が担保された状態であるか、および作業に遅延が生じているかの表示例を示す図である。符号４０１の例では、作業状態が適である場合を「正常」とし、否である場合を「異常」としている。図４の符号４０２は、作業に遅延が生じているか否かを現場毎に判定した結果の表示例を示す図である。

【0090】

符号４０１の例では、ある現場における管の接合という作業工程において、現在実施されている作業の作業手順が適であり、作業に遅延が生じていないことを示しているが、安全性が担保された状態では無いことを示している。すなわち、この例では、安全性が担保されていない状態を警告している。符号４０２の例では、作業に遅延が生じているか否かを段階的にかつ現場毎に示している。符号４０２の例では、現場Ａ、Ｃでは作業に遅延が生じておらず、現場Ｂでは若干の遅延が生じており、現場Ｄでは明らかな遅延が生じていることを示している。すなわち、この例では、少なくとも現場Ｄにおいて作業が遅延していることを警告している。

【0091】

また、作業状態判定部３１５により、上述した（災害１）～（災害８）を防止するために、安全性が担保されていない状態であると判定された場合、表示制御部３１８は、管理者または作業者に注意喚起するための画像を、表示装置４に表示させてもよい。例えば、表示制御部３１８は、以下のような注意喚起を行ってよい。なお、この注意喚起は、音声または警告音を音出力装置から出力することにより実現されてもよい。
（災害１）の場合：安全コーンが設置されていない旨の注意喚起。
（災害２）の場合：近くに作業車両が存在する旨の注意喚起。
（災害３）の場合：管が大きく傾いている旨の注意喚起。または、スリングベルトが１本である旨の注意喚起。
（災害４）の場合：近くにバケットが存在する旨の注意喚起。または、バケットの傾きが大きくなっている旨の注意喚起。
（災害５）の場合：矢板が溝に打ち込まれていない旨の注意喚起（矢板を溝に打ち込むことを促す）。または、溝に打ち込まれた矢板が傾いている（略鉛直に打ち込まれていない）旨の注意喚起。
（災害６）の場合：枕木および歯止めが設置されていない旨の注意喚起。
（災害７）の場合：工具が溝に落下する可能性がある旨の注意喚起。
（災害８）の場合：梯子が不安定である旨の注意喚起。作業者が梯子の昇降以外の作業をしている旨の注意喚起。

【0092】

なお、作業状態判定部３１５は、作業手順が適切であるか否か、作業品質が担保されているか否か、安全性が担保された状態であるか否か、および、作業に遅延が生じているか否かの全てを判定するものでなくてもよい。作業状態判定部３１５は、これらの作業状態のうち少なくとも１つの作業状態を判定するものであってよい。表示制御部３１８は、作業状態判定部３１５が判定した作業状態の判定結果を表示すればよい。

【0093】

データ作成部３１６は、第１出力部３１２が経時的に出力した、ある１日の全作業時間内における撮影画像の取得時点のそれぞれにおいて出現する検出クラスの組合せを解析する。データ作成部３１６は、この検出クラスの組合せの解析により、ある１日の全作業時間において実施された少なくとも１つの作業と当該作業の実施時間帯との関係を示す実績データを作成する。この実績データは、１日の作業分の作業実績（所定の作業時間における作業実績）を示すものであり、その日に実施した作業毎の実績を総合したものである。

【0094】

本実施形態では、作業推定部３１４が検出クラスの組合せを解析することにより、撮影画像の取得時点のそれぞれにおける作業を推定している。そのため、データ作成部３１６は、作業推定部３１４が推定した１日分の作業の推定結果を用いて、実績データを作成すればよい。

【0095】

また、データ作成部３１６は、上述した検出クラスの組合せを解析することにより、手順適否データおよび危険発生有無データを作成してもよい。手順適否データは、１日の全作業時間における各作業の作業手順の適否を示すデータである。危険発生有無データは、１日の全作業時間における危険作業の発生有無を示すデータである。

【0096】

本実施形態では、作業状態判定部３１５が検出クラスの組合せを解析することにより、撮影画像の取得時点のそれぞれにおける作業の作業状態の適否を判定している。そのため、データ作成部３１６は、作業状態判定部３１５が判定した１日分の作業毎の作業手順の適否の判定結果を用いて、手順適否データを作成すればよい。また、データ作成部３１６は、作業状態判定部３１５が判定した１日分の作業毎の安全性についての判定結果を用いて、危険発生有無データを作成すればよい。

【0097】

また、データ作成部３１６は、検出クラスの組合せを解析することにより、撮影画像の取得時点までの実績データ、手順適否データおよび危険発生有無データを作成してもよい。この場合、データ作成部３１６は、これらのデータをリアルタイムに作成できる。

【0098】

本実施形態では、データ作成部３１６は、作業推定部３１４による作業の推定結果を用いて、撮影画像の取得時点までに実施されたと推定される作業と当該作業の実施時間帯との関係を示す実績データを作成すればよい。また、データ作成部３１６は、作業状態判定部３１５による作業毎の作業状態の適否の判定結果を用いて、撮影画像の取得時点までの各作業の作業手順の適否を示す手順適否データを作成すればよい。また、データ作成部３１６は、例えば、上記作業状態の適否の判定結果を用いて、撮影画像の取得時点までの危険作業の発生有無を示す適否を示す危険発生有無データを作成すればよい。

【0099】

また、上述したように、作業状態判定部３１５は、撮影画像に基づき、作業品質が担保されているか否かについても判定できる。そのため、データ作成部３１６は、手順適否データおよび危険発生有無データと同様、検出クラスの組合せを解析することにより、１日分または撮影画像の取得時点までの各作業の作業品質の良否を示す品質良否データを作成してもよい。

【0100】

表示制御部３１８は、例えば、データ作成部３１６が作成した実績データを、表示装置４にリアルタイムに表示させてよい。図５は、実績データの表示例を示す図である。図５では、作業の実施時間として、少なくとも１つの作業を含む作業工程（例：アスファルト切断）の実施時間が示されている。図６についても同様である。

【0101】

図５の例では、その日に実施される作業と当該作業の実施時間帯との関係を示す作業工程データ（図５の「作業予定」）と共に、データ作成部３１６が作成した、撮影画像の取得時点（時刻Ｔ１）までの実績データ（図５の「作業実績」）が、実施工程表として示されている。

【0102】

また、表示制御部３１８は、図５に示すように、手順適否データおよび危険発生有無データに基づく情報を、表示装置４にリアルタイムに表示させてもよい。図５の例では、危険発生有無データに基づき、時間帯Ｔａにおいて危険作業が発生したこと、および、手順適否データに基づき、時間帯Ｔｂにおいて誤った手順での作業が発生したことが示されている。さらに、作業工程データとの比較により、時間帯ＴｃおよびＴｄにおいて作業が遅延していることが示されている。なお、品質良否データにおいて品質が不良である作業が特定されている場合には、表示制御部３１８は、当該作業が発生したことを、図５の実績データに示してもよい。

【0103】

このように、表示制御部３１８が実績データ等を表示装置４に表示することにより、管理者は、作業の進捗状況および作業状態をリアルタイムに把握できる。また、管理者は、作業状態が否と判定されている場合には、画像取得部３１１が取得した撮影画像を視認しながら、作業者に指示または指導を行うこともできる。また、管理者は、安全性が担保されていない状態であると判定されている場合には、危険作業が写る撮影画像を視認することもできる。

【0104】

そして、表示制御部３１８は、１日分の作業が完了した場合には、１日分の実績データを、図５に示すような実績工程表として、表示装置４に表示させることができる。表示制御部３１８は、１日分の実績データを作業工程データと共に表示することにより、遅延した作業およびその時間帯を表示することができる。また、表示制御部３１８は、１日分の実績データと共に、危険作業が発生した時間帯、誤った手順での作業が発生した時間帯、および、品質が不良である作業が発生した時間帯を表示することもできる。

【0105】

また、表示制御部３１８は、実績データとは別に、手順適否データ、危険発生有無データおよび品質良否データを表示してもよい。この場合、表示制御部３１８は、手順適否データを作業手順表、危険発生有無データを危険作業表、および、品質良否データを品質管理表といった表形式により、表示してもよい。この場合、表示制御部３１８は、誤った手順により実施された作業、危険作業が発生した作業、および、品質が不良である作業を、管理者または作業者に報知できる。

【0106】

なお、データ作成部３１６は、手順適否データ、危険発生有無データ、および品質良否データの全てを作成するものでなくてもよい。データ作成部３１６は、手順適否データ、危険発生有無データ、および品質良否データの少なくとも１つを作成するものであってよい。表示制御部３１８は、データ作成部３１６が作成したデータのみを表示すればよい。

【0107】

第２出力部３１７は、データ作成部３１６が作成した１日分の実績データを、記憶部３２に記憶された作業推定モデル３２２に入力する。作業推定モデル３２２は、機械学習を用いて、ある１日の全作業時間における作業の実績から翌日の全作業時間において実施すべき作業を推定するように構築された学習済みモデルである。

【0108】

作業推定モデル３２２は、１日分の実績データが入力された結果として、翌日の全作業時間において実施すべきと推定される少なくとも１つの作業と当該作業の実施時間帯との関係を示す作業予定データを出力するように構築された学習済みモデルである。作業推定モデル３２２は、例えば、入力層、中間層および出力層を少なくとも含むニューラルネットワーク（例：ＣＮＮ）であってよい。

【0109】

作業推定モデル３２２において、入力層は、１日分の実績データが入力される層である。中間層は、過去作業予定データ、過去実績データおよび因子データに基づき、パラメータが学習された層であってよい。過去作業予定データは、過去の水道工事の施工計画に実施予定として示された少なくとも１つの作業と当該作業の実施時間帯との関係を示すデータである。過去実績データは、過去の水道工事において実施された少なくとも１つの作業と当該作業の実施時間帯との関係を示すデータである。因子データは、過去の水道工事において作業に影響を与えたデータである。また、出力層は、１日分の実績データが入力層に入力された場合に、中間層による演算を経て、作業予定データを出力層から出力するように、コンピュータを機能させる。すなわち、第２出力部３１７は、撮影画像を作業推定モデル３２２に入力することにより、作業予定データを出力する。

【0110】

例えば、上述した過去作業予定データ、過去実績データおよび因子データのそれぞれが、訓練データとして複数準備される。因子データに含まれる情報としては、例えば、以下のような情報が挙げられる。
（１）昼夜を示す情報。
（２）天候情報(例：晴れ、くもり、雨、または、霧等を示す情報)。
（３）溝の情報(例：溝幅、溝深さ、土被り、オフセット値（歩道から管を敷設する箇所までの距離）、または、湧水有無等を示す情報)。
（４）土の情報(例：土の硬さ、発生土の使用有無（掘り出した土を埋め戻しに使用するか否か）、または、アスファルト舗装の厚さ等を示す情報)。
（５）道路の情報(例：車線数、歩道の有無、傾斜角度、通行止め有無、または、作業帯の幅等を示す情報）。
（６）管の情報(例：管種、呼び径、直管／異形管の数量、管の線形、埋設物の有無、埋設物の位置、または、埋設物の撤去の要否等を示す情報)。
（７）作業機械の情報(例：型式、馬力、台数、または、バケットの型番等を示す情報)。
（８）作業内容の情報(例：手掘りもしくはバックホーを用いた掘削の実績、または、掘削以外の作業実績等を示す情報)。
（９）工具の情報(例：レバーホイストの型番等を示す情報)。
（１０）作業者の情報(例：人数、年齢、性別、または、作業経験年数等を示す情報)。
（１１）周辺環境の情報(材料置き場と現場との位置関係等を示す情報)。

【0111】

過去実績データとしては、例えば、推定対象の作業を実施している特定の施工業者による水道工事における過去の作業時間の実績値を示す情報を含んでよい。また、過去実績データとしては、全国において実施された、上記特定の施工業者以外の施工業者による過去の水道工事における過去の作業時間の実績値を示す情報を含んでよい。また、これらの水道工事において発生した、誤った作業手順の実績、危険作業の実績、および、危険作業の発生要因の分析結果（過去の事故事例に基づく情報）が、上記因子データに含まれてもよい。当該分析結果としては、スリングベルトを分析対象とする場合、スリングベルトの本数、つり角度、および、管に対する装着位置等の情報が挙げられる。

【0112】

過去作業予定データは、例えば、上記特定の施工業者による水道工事における過去の施工計画に実施予定として示された、作業手順を含む作業予定データであってよい。

【0113】

なお、作業推定モデル３２２の中間層は、さらに、訓練データとしての作業変更関連データおよび過去進捗度データに基づき、パラメータが学習された層であってよい。作業変更関連データは、過去の水道工事において作業工程順を変更した場合の、作業工程順の変更結果と、作業工程順の変更前後での作業時間の変化と、の関係を示すデータである。すなわち、作業変更関連データは、作業工程順の見直しの結果、作業時間がどのように変化したか（例えば、どの程度削減できたか）を示すデータである。過去進捗度データは、過去実績データに対応付けられた、過去の水道工事の作業全体に対する、所定の作業時間における作業の進捗率（進捗度）を示すデータである。進捗率は、達成率と称することもできる。

【0114】

この場合、作業推定モデル３２２の中間層は、１日分の実績データが入力層に入力された場合に、上記演算の一部として、以下の推定処理を実行する。すなわち、作業推定モデル３２２の中間層は、過去進捗度データが示す作業の進捗率に基づき、入力された実績データが示す作業の、水道工事の作業全体に対する進捗率を推定する。この進捗率を推定する意味において、過去実績データに対応付けられた作業の進捗率は正解データと規定できる。

【0115】

上記中間層は、推定した進捗率と作業変更関連データとに基づき、翌日の全作業時間における作業工程順を推定する。例えば、上記中間層は、推定した進捗率が予定していた進捗率未満である場合に、過去の水道工事における作業工程順の変更と作業時間の変化との関係も加味して、進捗率が向上し得る作業工程順を含めた作業予定データを作成するための演算を実行できる。なお、上記推定した進捗率が予定していた進捗率未満であるとは、作業が予定よりも遅延していることを意味する。

【0116】

このように、過去進捗度データおよび作業変更関連データを訓練データとして用いて構築された作業推定モデル３２２は、ある１日の作業の進捗状況に応じて翌日分の作業を見直した作業予定データを出力できる。

【0117】

なお、上述した過去実績データは、進捗率が所定閾値以上であるデータのみを、訓練データとして使用してもよい。この場合、進捗率が低い過去実績データは訓練データとして使用されないため、作業推定モデル３２２は、進捗率の低下を抑制した作業予定データを出力できる。従って、この場合、作業推定モデル３２２は、より信頼性の高い作業予定データを出力できる。

【0118】

また、第２出力部３１７は、作業推定モデル３２２に手順適否データを入力することにより、翌日の全作業時間において作業手順に誤りが生じ得ると推定した作業を、作業予定データにおいて特定してもよい。また、第２出力部３１７は、作業推定モデル３２２に危険発生有無データを入力することにより、翌日の全作業時間において危険作業が生じ得ると推定した作業を、作業予定データにおいて特定してもよい。また、第２出力部３１７は、作業推定モデル３２２に品質良否データを入力することにより、翌日の全作業時間において品質が不良であると推定した作業を、作業予定データにおいて特定してもよい。

【0119】

例えば、作業推定モデル３２２は、手順適否データにおいて作業手順に誤りが生じたと特定された作業と同一の作業が作業予定データに存在する場合、作業予定データにおいて当該作業を特定する。同様に、作業推定モデル３２２は、危険発生有無データにおいて危険作業が生じたと特定された作業と同一の作業が作業予定データに存在する場合、作業予定データにおいて当該作業を特定する。また、作業推定モデル３２２は、品質良否データにおいて品質が不良であると特定された作業と同一の作業が作業予定データに存在する場合、作業予定データにおいて当該作業を特定する。

【0120】

表示制御部３１８は、例えば、第２出力部３１７が出力した作業予定データを表示装置４に表示させてよい。図６は、作業予定データの表示例を示す図である。図６の例では、第２出力部３１７が出力した、翌日の作業予定として最適と推定された作業予定データが、翌日分の実施工程表として示されている。図６の例では、危険発生有無データに基づき時間帯Ｔｐにおいて危険作業が発生し得ること、および、手順適否データに基づき時間帯Ｔｑにおいて作業手順に誤りが生じ得ること、が示されている。また、図６の例では、品質良否データに基づき時間帯Ｔｒにおいて品質が不良となり得ることが示されている。

【0121】

なお、表示制御部３１８は、第２出力部３１７が危険作業が発生し得ると推定した作業、作業手順に誤りが生じ得ると推定した作業、および、品質が不良となり得ると推定した作業を、作業予定データとは別に表示してもよい。この場合、これらの作業を管理者または作業者に報知できる。

【0122】

そして、上記のように、表示装置４に、第２出力部３１７の出力結果である作業予定データを表示させることにより、表示装置４を、翌日の作業予定の見直しを提案する提案装置として機能させることができる。

【0123】

＜作業状態判定結果による判定結果の使用例＞
図７は、作業状態判定部３１５による判定結果と、表示制御部３１８による報知内容と、の関係の一例を示す図である。作業状態判定部３１５は、上述したように、各作業の作業手順、作業品質、安全性および作業時間（遅延の有無）についての判定結果を出力する。図７に示すように、各作業の作業手順、作業品質、安全性および作業時間についての判定結果の組合せに基づき、報知内容を決定できる。なお、図７の「作業時間」において、「短」は、作業に要した時間が作業工程データに示された時間よりも短いことを示し、「長」は、作業に要した時間が作業工程データに示された時間よりも長いことを示す。また、「標準」は、作業に要した時間が作業工程データに示された時間にほぼ等しいことを示す。

【0124】

例えば、図７に示すように、作業状態判定部３１５により、作業手順が適切であり、作業品質が良好であり、かつ、安全であると判定された作業について、作業時間が予定よりも短いと判定された場合を考える。この場合、翌日以降の作業時間を予定の作業時間よりも短くすること、および、作業員の人員等を他の現場に分配することを提案できる。また、作業時間が予定よりも長いと判定された場合には、翌日以降の作業時間を現状の作業時間よりも長くすること、および、作業員の人員等を補充することを提案できる。

【0125】

また、図７に示すように、作業状態判定部３１５が作業手順に誤りが生じたと判定した作業、および、作業品質を不良であると判定した作業については、当該作業の見直しを指示できる。また、作業状態判定部３１５が危険作業と判定した作業については、危険作業として警告すると共に、改善方法を提案できる。また、作業状態判定部３１５がこれらの判定を行った場合についても、作業時間が予定よりも短いまたは長いと判定された場合には、上述した作業時間に関する提案が行われてよい。

【0126】

表示制御部３１８は、上記作業状態判定部３１５の判定結果に応じた報知内容を、表示装置４に表示させてよい。この場合も、表示装置４を、翌日の作業予定の見直しを提案する提案装置として機能させることができる。例えば、表示制御部３１８は、改善方法については、危険作業毎に対応付けられた改善方法を、表示装置４に表示させてよい。また、第２出力部３１７は、実績データ等を作業推定モデル３２２に入力した結果、作業予定データ等を出力している。そのため、表示制御部３１８は、作業時間の長短に関する提案については、第２出力部３１７が出力した、その日の作業時間の長短を反映した作業予定データを表示することにより実行してもよい。また、表示制御部３１８は、危険作業の警告については、第２出力部３１７が出力した、危険作業を特定した作業予定データを表示することにより実行してもよい。なお、表示制御部３１８は、上記報知内容を、作業状態判定部３１５による判定結果が得られた時点でリアルタイムに表示装置４に表示させてもよい。

【0127】

＜第２出力部の出力例＞
例えば、第２出力部３１７は、上述した危険作業の実績および危険作業の発生要因の分析結果と、危険作業が発生したときの撮影画像とに基づき、撮影画像付きの危険作業リストを作成してもよい。この危険作業リストは、安全管理帳票の作成を補助するものとして用いることができる。また、第２出力部３１７は、上述した過去実績データ、誤った作業手順の実績、危険作業の実績および危険作業の発生要因の分析結果に基づき、作業手順データ（作業手順書類）を作成してもよい。第２出力部３１７は、例えば過去の作業手順を参照可能な形式にて、作業手順データを作成してもよい。

【0128】

また、作業推定モデル３２２は、所定の作業時間における作業の実績から次の所定の作業時間において実施すべき作業を推定するように構築されていればよい。例えば、作業推定モデル３２２は、翌日分の作業予定データに限らず、翌々日以降の作業予定データを出力してもよい。また、作業推定モデル３２２は、撮影画像の取得時点までの実績データの入力を受けて、それ以降の作業予定データを出力するものであってもよい。

【0129】

また、作業推定モデル３２２に、手順適否データ、危険発生有無データおよび品質良否データの全てではなく、これらのデータの少なくとも１つが入力されればよい。すなわち、第２出力部３１７は、危険作業が発生し得ると推定した作業、作業手順に誤りが生じ得ると推定した作業、および、品質が不良となり得ると推定した作業の少なくとも１つを出力すればよい。表示制御部３１８は、第２出力部３１７が出力した作業についてのみ表示すればよい。

【0130】

〔作業管理装置における処理〕
図８は、作業管理装置３における処理（作業管理方法）の一例を示すフローチャートである。図８に示すように、画像取得部３１１は、カメラ２から撮影画像を取得する（Ｓ１：画像取得工程）。第１出力部３１２は、画像取得部３１１が取得した撮影画像を、指標推定モデル３２１に入力する（Ｓ２）。第１出力部３１２は、指標推定モデル３２１の出力結果として、推定された検出クラスを出力する（Ｓ３：出力工程、第１出力工程）。

【0131】

位置特定部３１３は、撮影画像において、第１出力部３１２が出力した検出クラスの位置を推定する（Ｓ４）。作業推定部３１４は、第１出力部３１２が経時的に出力した検出クラスの組合せを解析することにより、位置特定部３１３が特定した検出クラスの位置において、撮影画像の取得時点において実施されている作業（すなわち、現在実施されている作業）を推定する（Ｓ５：作業推定工程）。作業推定部３１４は、検出クラスの位置に基づき、撮影画像に、複数の水道工事の実施風景が含まれていると判定した場合には、各水道工事において実施されている作業をそれぞれ推定する。

【0132】

作業状態判定部３１５は、第１出力部３１２が経時的に出力した検出クラスの組合せを解析することにより、作業推定部３１４により推定された作業の作業状態を判定する（Ｓ６）。表示制御部３１８は、作業状態判定部３１５による作業状態の判定結果を、表示装置４に表示させる（Ｓ７）。

【0133】

また、データ作成部３１６は、第１出力部３１２が経時的に出力した検出クラスの組合せを解析することにより、直近の撮影画像の取得時点までの実績データ（実績工程表）を作成する（Ｓ８）。表示制御部３１８は、データ作成部３１６が作成した実績データを、表示装置４にリアルタイムに表示する（Ｓ９）。なお、Ｓ８において、データ作成部３１６は、直近の撮影画像の取得時点までの手順適否データ（例：作業手順表）、危険発生有無データ（例：危険作業表）、および品質良否データ（例：品質管理表）を作成してもよい。この場合、表示制御部３１８は、当該手順適否データ、危険発生有無データ、および品質良否データを表示装置４に表示してよい。

【0134】

制御部３１は、１日分の作業が完了したか否かを判定する（Ｓ１０）。制御部３１は、例えば、カメラ２からの撮影画像の送信が所定時間途絶えた場合、またはユーザ入力を受け付けた場合に、１日分の作業が完了したと判定してよい。

【0135】

制御部３１が１日分の作業が完了したと判定した場合（Ｓ１０でＹＥＳ）、データ作成部３１６は、１日分の実績データ（例：実施工程表）を作成する（Ｓ１１：データ作成工程）。第２出力部３１７は、データ作成部３１６が作成した１日分の実績データを、作業推定モデル３２２に入力する（Ｓ１２）。第２出力部３１７は、作業推定モデル３２２の出力結果として、翌日に実施すべき作業と当該作業の実施時間帯とを推定した翌日分の作業予定データを出力する（Ｓ１３：第２出力工程）。表示制御部３１８は、第２出力部３１７により出力された翌日分の作業予定データを、表示装置４に表示させる（Ｓ１４）。一方、制御部３１が１日分の作業が完了していないと判定した場合（Ｓ１０でＮＯ）、Ｓ１の処理に戻る。

【0136】

なお、Ｓ１１において、データ作成部３１６は、１日分の手順適否データ（例：作業手順表）、危険発生有無データ（例：危険作業表）、および品質良否データ（例：品質管理表）を作成してもよい。この場合、第２出力部３１７は、これらのデータを作業推定モデル３２２に入力することにより、作業手順に誤りが生じ得ると推定した作業、危険作業が生じ得ると推定した作業、および品質が不良であると推定した作業を、作業予定データにおいて特定してもよい。そして、表示制御部３１８は、これらの作業が特定された作業予定データを表示装置４に表示してもよい。なお、表示制御部３１８は、作業予定データとは別に、作業推定モデル３２２が推定した上記作業を表示装置４に表示してもよい。

【0137】

また、表示制御部３１８は、Ｓ１１において作成された１日分の実績データ、手順適否データ、危険発生有無データ、および品質良否データを表示装置４に表示してもよい。

【0138】

〔作業管理装置の変形例〕
本実施形態では、作業管理装置３は、作業状態の判定結果を出力すると共に、作業予定データを出力するものとして説明した。しかし、作業管理装置３は、作業状態の判定結果を出力する第１機能のみを有していてもよいし、作業予定データを出力する第２機能のみを有していてもよい。

【0139】

第１機能を実現する作業管理装置３は、画像取得部３１１と、指標推定モデル３２１により推定された検出クラスを出力する第１出力部３１２と、検出クラスに基づき現在実施されている作業を推定する作業推定部３１４と、を備えていればよい。

【0140】

また、第２機能を実現する作業管理装置３は、画像取得部３１１および第１出力部３１２に加え、以下の構成を備えていればよい。当該作業管理装置３は、第１出力部３１２が出力した検出クラスを解析することにより、実績データを作成するデータ作成部３１６と、作業推定モデル３２２に実績データを入力することにより、作業予定データを出力する第２出力部３１７と、を備えていればよい。

【0141】

〔主たる効果〕
（１）上記第１機能を有する作業管理装置３は、撮影画像を取得するだけで、現在実施されている作業を自動的に推定できる。そのため、管理者または作業者は、現在実施されている作業を容易に管理できる。

【0142】

水道工事には、予定していた作業が当日になって急遽変更になる等、不確定要素が存在するが、作業管理装置３により、管理者または作業者は、現在実施されている作業を管理できるので、急遽変更になった作業についても把握できる。

【0143】

また、作業管理装置３はカメラ２から撮影画像を取得できればよく、水道工事の現場に設置されたり、作業者が所持する電子機器により実現されたりする必要は必ずしもない。作業管理装置３の出力結果を表示する表示装置４についても同様である。そのため、水道工事を管理する現場監督等の管理者は、現場におらずとも、作業管理装置３により推定された、現在実施されている作業を、遠隔で把握できる。

【0144】

また、作業管理装置３は、検出クラスを解析することにより、推定された作業の作業状態の適否を判定する作業状態判定部３１５を備えている。そのため、管理者または作業者は、現在の作業状態の適否を把握できる。日々の水道工事における管理者による管理項目（例：作業手順の適否、作業品質の良否、安全性、および作業時間の遅延有無）は多岐に亘る。作業管理装置３がこの管理項目が示す作業状態の適否を判定することにより、管理者または作業者は、複数の管理項目について容易に管理することが可能となる。

【0145】

また、水道工事において、日々の作業の進捗確認および作業内容の確認（例：安全性の確認）には、手間および経験が必要となる。作業管理装置３は、撮影画像を取得するだけで、実施されている作業およびその作業状態の適否を推定できるので、管理者または作業者は、経験に依存することなく容易に、日々の作業の進捗確認および作業内容の確認を行うことができる。

【0146】

また、作業管理装置３は、複数の水道工事の現場のそれぞれからの撮影画像を取得することにより、実施されている作業およびその作業状態の適否を、現場毎に推定できる。今後、人手不足により一人の管理者が複数の現場を同時に管理することも増加すると考えられるが、作業管理装置３により、管理者または作業者は、複数の現場において実施されている作業およびその作業状態の適否を、容易にかつ同時に管理できる。

【0147】

（２）上記第２機能を有する作業管理装置３は、撮影画像を取得するだけで、自動的に翌日分の作業予定データを作成できる。そのため、当該作業管理装置３は、容易に、翌日分の作業を予定通りに進める可能性を高めることができる。

【0148】

また、水道工事において、作業状況に応じた実施工程表の見直しにも、手間および経験が必要となる。作業管理装置３は、撮影画像を取得するだけで、翌日分の作業予定データを自動的に出力するため、管理者は、経験に依存することなく、容易に作業効率化を図ることができる。

【0149】

〔ソフトウェアによる実現例〕
作業管理装置３の制御ブロック（特に制御部３１）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0150】

後者の場合、作業管理装置３は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0151】

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0152】

３ 作業管理装置
３１１ 画像取得部
３１２ 第１出力部
３１３ 位置特定部
３１４ 作業推定部
３１５ 作業状態判定部
３１６ データ作成部
３１８ 表示制御部（警告部）
３１７ 第２出力部
３２１ 指標推定モデル
３２２ 作業推定モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】