特許 7624360 作業管理装置、作業管理方法、および実施作業推定モデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-22

(45)【発行日】2025-01-30

(54)【発明の名称】作業管理装置、作業管理方法、および実施作業推定モデル

(51)【国際特許分類】

   G06T 7/215 20170101AFI20250123BHJP

   G06T 7/00 20170101ALI20250123BHJP

   G06Q 50/06 20240101ALI20250123BHJP

   G06Q 50/08 20120101ALI20250123BHJP

【ＦＩ】

G06T7/215

G06T7/00 350B

G06Q50/06

G06Q50/08

【請求項の数】 11

(21)【出願番号】P 2021125962

(22)【出願日】2021-07-30

(65)【公開番号】P2023020547

(43)【公開日】2023-02-09

【審査請求日】2023-12-14

(73)【特許権者】

【識別番号】000001052

【氏名又は名称】株式会社クボタ

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】原田 和眞

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１９－１２１２９４（ＪＰ，Ａ）

【文献】特開２０２０－１４９５４６（ＪＰ，Ａ）

【文献】特開２０２０－０２５３２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｑ ５０／０６

Ｇ０６Ｑ ５０／０８

(57)【特許請求の範囲】

【請求項1】

水道工事における作業対象領域が含まれる撮影画像を経時的に取得する画像取得部と、
経時的に取得した前記撮影画像のそれぞれから、前記水道工事に関与する少なくとも１つの対象物の画像を抽出する画像抽出部と、
前記撮影画像のそれぞれにおいて同一と推定される対象物の画像毎に、当該画像を含む領域内の座標を経時的に抽出することにより、前記座標の時系列データを生成するデータ生成部と、
前記座標の時系列データから、連続的かつ規則的に値が変化する部分である線形データを抽出する線形データ抽出部と、
前記線形データと、前記撮影画像に含まれる対象物の画像と、に基づき、前記撮影画像の取得時点において実施されている作業を推定する作業推定部と、を備える、作業管理装置。

【請求項2】

前記対象物の画像の周囲または前記対象物の画像の一部分の周囲に、前記対象物の画像の大きさに応じた枠を設定する枠設定部を備え、
前記データ生成部は、前記枠において予め設定された位置の座標を、前記領域内の座標として抽出する、請求項１に記載の作業管理装置。

【請求項3】

前記データ生成部は、前記座標を、前記座標の抽出元である前記対象物の画像の大きさを用いて正規化する、請求項１または２に記載の作業管理装置。

【請求項4】

前記データ生成部は、前記座標の時系列データから外れ値を除去し、
前記線形データ抽出部は、前記外れ値を除去した前記座標の時系列データから、前記線形データを抽出する、請求項１から３の何れか１項に記載の作業管理装置。

【請求項5】

機械学習を用いて、複数の前記対象物のそれぞれ、またはこれらの組合せを示す複数の指標のうち、ある時点での作業において出現している少なくとも１つの指標を推定するように構築された指標推定モデルに、前記撮影画像を入力することにより、前記撮影画像の取得時点での作業において出現していると推定される少なくとも１つの指標を出力する指標出力部を備え、
前記作業推定部は、前記線形データと、前記指標出力部の出力結果と、に基づき、前記撮影画像の取得時点において実施されている作業を推定する、請求項１から４の何れか１項に記載の作業管理装置。

【請求項6】

前記線形データ抽出部が前記線形データを抽出した場合、前記線形データを抽出した前記座標の時系列データの生成元である対象物として出力された前記指標において、前記線形データを抽出した時間帯に対して、前記対象物に動きが生じているものとして、前記時間帯以外の時間帯よりも重みづけする重みづけ処理部を備える、請求項５に記載の作業管理装置。

【請求項7】

前記作業対象領域を撮影するカメラを備え、
前記データ生成部は、予め設定された前記カメラの基準位置と、前記撮影画像を取得したときの前記カメラの位置と、に基づき、前記座標を補正する、請求項１から６の何れか１項に記載の作業管理装置。

【請求項8】

前記作業推定部は、機械学習を用いて、前記撮影画像の取得時点において実施している作業を推定するように構築された実施作業推定モデルに、（ｉ）複数の前記対象物のそれぞれ、またはこれらの組合せを示す複数の指標のうちの少なくとも１つと、（ｉｉ）前記線形データと、を入力することにより、前記撮影画像の取得時点において実施している作業を推定する、請求項１から７の何れか１項に記載の作業管理装置。

【請求項9】

報知部と通信可能に接続でき、
前記作業推定部の推定結果、および、前記座標の時系列データの少なくとも何れかを、前記報知部から出力する出力部を備える、請求項１から８の何れか１項に記載の作業管理装置。

【請求項10】

水道工事における作業対象領域が含まれる撮影画像を経時的に取得する画像取得工程と、
経時的に取得した前記撮影画像のそれぞれから、前記水道工事に関与する少なくとも１つの対象物の画像を抽出する画像抽出工程と、
前記撮影画像のそれぞれにおいて同一と推定される対象物の画像毎に、当該画像を含む領域内の座標を経時的に抽出することにより、前記座標の時系列データを生成するデータ生成工程と、
前記座標の時系列データから、連続的かつ規則的に値が変化する部分である線形データを抽出する線形データ抽出工程と、
前記線形データと、前記線形データを抽出した前記座標の時系列データの生成元である対象物と、に基づき、前記撮影画像の取得時点において実施されている作業を推定する作業推定工程と、を含む、作業管理方法。

【請求項11】

（ｉ）水道工事に関与する複数の対象物のそれぞれ、またはこれらの組合せを示す複数の指標の少なくとも１つと、（ｉｉ）前記水道工事における作業対象領域が含まれる撮影画像を経時的に取得した結果抽出される、前記撮影画像に含まれる前記指標の１つである対象物の画像に含まれる座標の時系列データにおいて、連続的かつ規則的に値が変化する部分である線形データと、が入力される入力層と、
前記水道工事における作業を出力する出力層と、
前記複数の指標および複数の前記線形データと、複数の前記作業と、に基づき、パラメータが学習された中間層と、を備え、
前記指標と前記線形データとが前記入力層に入力された場合に、前記中間層による演算を経て、前記撮影画像の取得時点において行われている作業を前記出力層から出力するように、コンピュータを機能させる、実施作業推定モデル。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業管理装置等に関する。

【背景技術】

【0002】

特許文献１の水道工事管理システムは、水道工事における作業対象領域が含まれる撮影画像から検出された特徴画像から、水道工事における現在の作業状態を推定し、推定した現在の作業状態に対応して、水道工事の関係者に対する報知内容を決定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１０７３４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１には、撮影画像における特徴画像の経時的な動きを考慮して、実施中の作業を推定することについての具体的な開示は無い。本発明の一態様は、撮影画像に含まれる対象物の動きを考慮して、実施中の作業を精度よく推定することが可能な作業管理装置等を実現することを目的とする。

【課題を解決するための手段】

【0005】

上記の課題を解決するために、本発明の一態様に係る作業管理装置は、水道工事における作業対象領域が含まれる撮影画像を経時的に取得する画像取得部と、経時的に取得した前記撮影画像のそれぞれから、前記水道工事に関与する少なくとも１つの対象物の画像を抽出する画像抽出部と、前記撮影画像のそれぞれにおいて同一と推定される対象物の画像毎に、当該画像を含む領域内の座標を経時的に抽出することにより、前記座標の時系列データを生成するデータ生成部と、前記座標の時系列データから、連続的かつ規則的に値が変化する部分である線形データを抽出する線形データ抽出部と、前記線形データと、前記撮影画像に含まれる対象物の画像と、に基づき、前記撮影画像の取得時点において実施されている作業を推定する作業推定部と、を備える。

【0006】

上記の課題を解決するために、本発明の一態様に係る作業管理方法は、水道工事における作業対象領域が含まれる撮影画像を経時的に取得する画像取得工程と、経時的に取得した前記撮影画像のそれぞれから、前記水道工事に関与する少なくとも１つの対象物の画像を抽出する画像抽出工程と、前記撮影画像のそれぞれにおいて同一と推定される対象物の画像毎に、当該画像を含む領域内の座標を経時的に抽出することにより、前記座標の時系列データを生成するデータ生成工程と、前記座標の時系列データから、連続的かつ規則的に値が変化する部分である線形データを抽出する線形データ抽出工程と、前記線形データと、前記線形データを抽出した前記座標の時系列データの生成元である対象物と、に基づき、前記撮影画像の取得時点において実施されている作業を推定する作業推定工程と、を含む。

【0007】

座標の時系列データにおいて連続的かつ規則的に値が変化する部分は、当該部分を抽出した時間帯において、座標の時系列データの生成元の対象物が動いていることを示しているものといえる。

【0008】

そのため、上記構成によれば、作業管理装置は、撮影画像に含まれる対象物に基づく実施中の作業の推定において線形データも用いることにより、上記時間帯における対象物の動きを加味して、当該作業を推定できる。従って、作業管理装置は、実施中の作業の推定精度を向上させることができる。

【0009】

本発明の一態様に係る作業管理装置では、前記対象物の画像の周囲または前記対象物の画像の一部分の周囲に、前記対象物の画像の大きさに応じた枠を設定する枠設定部を備え、前記データ生成部は、前記枠において予め設定された位置の座標を、前記領域内の座標として抽出してもよい。

【0010】

上記構成によれば、作業管理装置は、抽出した対象物の画像の領域内の座標を、簡易に抽出できる。

【0011】

本発明の一態様に係る作業管理装置では、前記データ生成部は、前記座標を、前記座標の抽出元である前記対象物の画像の大きさを用いて正規化してもよい。

【0012】

対象物の画像の大きさは撮影画像における位置に依存する。上記構成によれば、作業管理装置は、座標の抽出元である対象物の画像の大きさにより座標を正規化することにより、撮影画像における遠近の影響を受ける可能性を低減させた状態で、座標を抽出できる。

【0013】

本発明の一態様に係る作業管理装置では、前記データ生成部は、前記座標の時系列データから外れ値を除去し、前記線形データ抽出部は、前記外れ値を除去した前記座標の時系列データから、前記線形データを抽出してもよい。

【0014】

上記構成によれば、作業管理装置は、線形データをより正確に抽出できる。

【0015】

本発明の一態様に係る作業管理装置は、機械学習を用いて、前記水道工事における作業状態を評価するための、前記対象物を含む複数の指標のうち、ある時点での作業において出現している少なくとも１つの指標を推定するように構築された指標推定モデルに、前記撮影画像を入力することにより、前記撮影画像の取得時点での作業において出現していると推定される少なくとも１つの指標を出力する指標出力部を備え、前記作業推定部は、前記線形データと、前記指標出力部の出力結果と、に基づき、前記撮影画像の取得時点において実施されている作業を推定してもよい。

【0016】

上記構成によれば、作業管理装置は、指標推定モデルへの撮影画像の入力により、撮影画像の取得時点における指標（対象物）の組合せを推定できる。そのため、推定された指標の組合せに基づき、実施中の作業を推定できる。

【0017】

本発明の一態様に係る作業管理装置では、前記線形データ抽出部が前記線形データを抽出した場合、前記線形データを抽出した前記座標の時系列データの生成元である対象物として出力された前記指標において、前記線形データを抽出した時間帯に対して、前記対象物に動きが生じているものとして、前記時間帯以外の時間帯よりも重みづけする重みづけ処理部を備えてもよい。

【0018】

上記構成によれば、作業管理装置は、指標推定モデルから出力された指標（対象物）において、動きが生じている時間帯に対して、当該時間帯以外の時間帯よりも重みづけできる。

【0019】

本発明の一態様に係る作業管理装置は、前記作業対象領域を撮影するカメラを備え、前記データ生成部は、予め設定された前記カメラの基準位置と、前記撮影画像を取得したときの前記カメラの位置と、に基づき、前記座標を補正してもよい。

【0020】

上記構成によれば、作業管理装置は、カメラの移動が与える座標抽出への影響を低減した状態で、すなわち固定された状態のカメラで撮影したときと略同一の条件で、座標の時系列データを生成できる。

【0021】

本発明の一態様に係る作業管理装置では、前記作業推定部は、機械学習を用いて、前記撮影画像の取得時点において実施している作業を推定するように構築された実施作業推定モデルに、（ｉ）前記水道工事における作業状態を評価するための、前記対象物を含む複数の指標のうちの少なくとも１つと、（ｉｉ）前記線形データと、を入力することにより、前記撮影画像の取得時点において実施している作業を推定してもよい。

【0022】

上記構成によれば、作業管理装置は、実施作業推定モデルに指標（対象物）及び線形データを入力することにより、実施中の作業を推定できる。そのため、作業管理装置は、作業の推定精度をより向上させることができる。

【0023】

本発明の一態様に係る作業管理装置は、報知部と通信可能に接続でき、前記作業推定部の推定結果、および、前記座標の時系列データの少なくとも何れかを、前記報知部から出力する出力部を備えてもよい。

【0024】

上記構成によれば、作業管理装置は、作業推定部の推定結果、および、座標の時系列データの少なくとも何れかをユーザに提示できる。

【0025】

上記の課題を解決するために、本発明の一態様に係る実施作業推定モデルは、（ｉ）水道工事における作業状態を評価するための複数の指標の少なくとも１つと、（ｉｉ）前記水道工事における作業対象領域が含まれる撮影画像を経時的に取得した結果抽出される、前記撮影画像に含まれる前記指標の１つである対象物の画像に含まれる座標の時系列データにおいて、連続的かつ規則的に値が変化する部分である線形データと、が入力される入力層と、前記水道工事における作業を出力する出力層と、前記複数の指標および複数の前記線形データと、複数の前記作業と、に基づき、パラメータが学習された中間層と、を備え、前記指標と前記線形データとが前記入力層に入力された場合に、前記中間層による演算を経て、前記撮影画像の取得時点において行われている作業を前記出力層から出力するように、コンピュータを機能させる。

【0026】

上記構成によれば、実施作業推定モデルへの指標（対象物）および線形データの入力により、作業管理装置は、実施中の作業を推定することが可能となる。

【発明の効果】

【0027】

本発明の一態様によれば、撮影画像に含まれる対象物の動きを考慮して、実施中の作業を精度よく推定することができる。

【図面の簡単な説明】

【0028】

【図1】水道工事管理システムの概略構成の一例を示すブロック図である。

【図2】カメラを搭載したバックホウの一例を示す図である。

【図3】指標出力部の出力結果の一例を示す図である。

【図4】撮影画像において設定される枠について説明するための図である。

【図5】データ生成部が生成した座標の時系列データの一例を示す図である。

【図6】重みづけ処理部の出力結果の一例を示す図である。

【図7】対象物に対して平行に移動するカメラが対象物を撮影する場合の座標の補正について説明するための図である。

【図8】対象物に対して近づくカメラが対象物を撮影する場合の座標の補正を説明するための図である。

【図9】カメラが鉛直方向を回転軸として回転するときに対象物を撮影する場合の座標の補正を説明するための図である。

【図10】作業管理装置における処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0029】

〔水道工事管理システムの構成〕
図１は、本発明の実施の形態に係る水道工事管理システム１の概略構成の一例を示すブロック図である。水道工事管理システム１は、管を設置する水道工事の各種作業（例：水道工事の進捗）を管理する。水道工事管理システム１は、カメラ２、作業管理装置３、および表示装置４を備えている。

【0030】

カメラ２は、１または複数の水道工事の現場において実施される各種作業を撮影する。カメラ２は、各種作業が行われる作業対象領域を撮影できればよい。カメラ２としては、例えば、作業者（水道工事の関係者）のヘルメット又は作業服（例：作業服の腕部）に取り付けられ手元の作業を撮影するカメラ、または、各種作業用具（例：バックホウ）に搭載されたカメラが挙げられる。また、カメラ２としては、例えば、作業対象領域の近傍に据置されたカメラが挙げられる。

【0031】

図２は、カメラ２を搭載したバックホウＢＨの一例を示す図である。バックホウＢＨには、カメラ２として、第１カメラ２Ａと第２カメラ２Ｂとが搭載されている。第１カメラ２Ａは、バックホウＢＨのキャビンＣＡの上面部に取り付けられている。第１カメラ２Ａの撮影方向は、キャビンＣＡの運転席の前方および後方であってよい。第２カメラ２Ｂは、撮影方向がバケットＢＵ側を向くようにアームＡＲに取り付けられている。これにより、カメラ２は、バックホウＢＨの周囲と、バケットＢＵおよびバケットＢＵの周囲と、を撮影できる。但し、バックホウＢＨは、第１カメラ２Ａおよび第２カメラ２Ｂの何れかのみを搭載する構成であってもよい。また、第１カメラ２Ａの撮影方向は、運転席の前方および後方の何れかのみであってもよい。また、第１カメラ２Ａは、鉛直方向を回転軸として回転することにより、バックホウＢＨの周囲の環境を撮影できてもよい。

【0032】

撮影部２１は、水道工事における少なくとも作業対象領域を撮影する。撮影部２１は、静止画像を撮影してもよいし、動画像を撮影してもよい。同一の水道工事内で、複数回の撮影が行われてもよい。作業対象領域（ひいては、カメラ２）は、固定であってもよいし、１回の撮影を単位として可動であってもよい。換言すれば、撮影部２１は、撮影の度に、作業対象領域が含まれる撮影画像を作成する。

【0033】

位置センサ２３は、地上におけるカメラ２の位置（絶対座標）および方位を測定するセンサである。位置センサ２３は、例えば、ＧＰＳ（Global positioning system）信号を受信することにより、上記カメラ２の位置を測定する。また、位置センサ２３は、方位を測定するセンサとして、例えば地磁気センサを含む。位置センサ２３が測定した方位により、作業管理装置３は、カメラ２の撮影方向を特定できる。

【0034】

第１通信部２２は、作業管理装置３と通信可能に接続し、撮影部２１が撮影した撮影画像のデータ、および位置センサ２３が測定したカメラ２の位置および方位を示すデータを、作業管理装置３へと転送する。第１通信部２２と作業管理装置３の第２通信部３１との通信形態は無線であるが、有線であってもよい。

【0035】

なお、カメラ２が据置である場合、カメラ２は、位置センサ２３を備えている必要は必ずしもない。すなわち、この場合、カメラ２は、位置センサ２３が測定したカメラ２の位置および方位を示すデータを送信しない。

【0036】

作業管理装置３は、水道工事として実施されている各種作業を管理する。作業管理装置３は、複数の水道工事の現場における作業を管理する場合、現場毎に作業を管理する。作業管理装置３の詳細については後述する。

【0037】

表示装置４は、水道工事を管理する管理者（水道工事の関係者）に対して、水道工事に関連する各種情報を表示する。表示装置４は、例えば、作業管理装置３から出力される各種情報を表示する。表示装置４は、例えば、作業管理装置３による作業の推定結果を表示する。

【0038】

表示装置４は、管理者が各種作業を管理するモニタまたはパーソナルコンピュータである。但し、表示装置４は、作業者が所持する電子機器（例：タブレットおよびスマートフォン）であってもよい。この場合、表示装置４は、作業者に対して、水道工事に関連する各種情報を表示できる。また、水道工事管理システム１は、上記各種情報を音声により出力する音出力装置（例：スピーカ）を備えていてもよい。換言すれば、水道工事管理システム１は、表示装置４および音出力装置等、作業管理装置３と通信可能に接続でき、作業管理装置３から送信される種々のデータを報知する報知部を備えていればよい。

【0039】

〔作業管理装置の構成〕
作業管理装置３は、第２通信部３１、制御部３３および記憶部３５を備えている。第２通信部３１は、カメラ２から、撮影画像のデータと、カメラ２の位置および方位を示すデータと、を受信する。制御部３３は、作業管理装置３の各部を統括的に制御する。記憶部３５は、制御部３３により使用される各種プログラムおよび各種データを記憶する。記憶部３５は、例えば、後述する指標推定モデル３５１および実施作業推定モデル３５２を記憶する。記憶部３５は、作業管理装置３と通信可能に接続された、作業管理装置３とは異なる記憶装置により、実現されていてもよい。

【0040】

制御部３３は、画像取得部３３１、指標出力部３３２、位置特定部３３３、画像抽出部３３４、枠設定部３３５、データ生成部３３６、線形データ抽出部３３７、重みづけ処理部３３８、作業推定部３３９、および表示制御部３４０を備えている。

【0041】

画像取得部３３１は、カメラ２から転送される、水道工事における作業対象領域が含まれる撮影画像を経時的に取得する。

【0042】

指標出力部３３２は、画像取得部３３１が取得した撮影画像を、記憶部３５に記憶された指標推定モデル３５１に入力する。指標推定モデル３５１は、機械学習を用いて、水道工事における作業状態を評価するための複数の指標のうち、ある時点での作業において出現している少なくとも１つの指標を推定するように構築された学習済みモデルである。本実施形態では、上記指標を、作業状態を評価するために撮影画像からの検出を要する検出クラスと称する。

【0043】

検出クラスとしては、例えば、水道工事に用いられる各種管（管路）、作業者、作業者以外の一般人、水道工事に用いられる各種作業用具、管が配置される溝といった単一の物体が挙げられる。検出クラスは、これらの単一の物体を複数組合せたものであってもよく、例えば、溝と、溝に入っている作業者との組合せを、１つの検出クラスとして設定してもよい。

【0044】

各種管としては、例えば、直管および異形管が挙げられる。各種作業用具（例：作業機械（作業車両）および工具）としては、例えば、アスファルトカッター、バックホウ、ダンプトラック、ランマー、コーン（またはポール）、矢板、歯止め、枕木、および梯子が挙げられる。また、検出クラスとして設定される作業用具は作業用具の一部であってもよく、例えば、バックホウの一部であるバケットおよびスリングベルトが検出クラスとして設定されてもよい。

【0045】

検出クラスとして、作業状態が判別可能となる物体が設定されてもよい。例えば、検出クラスとして、例えば、適切な作業（標準作業）が行われていることを特徴づける物体、および、危険作業を特徴づける物体が設定されてもよい。標準作業が行われていることを特徴づける物体としては、例えば、標準作業を行っているときの作業者の作業姿勢が挙げられる。危険作業を特徴づける物体としては、例えば、安全コーンが設置されていない溝が挙げられる。

【0046】

指標推定モデル３５１は、撮影画像が入力された結果として、撮影画像に含まれる上述したような検出クラスを抽出および出力するように構築された学習済みモデルである。指標推定モデル３５１は、例えば、入力層、中間層および出力層を少なくとも含むニューラルネットワーク（例：畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ））であってよい。

【0047】

指標推定モデル３５１において、入力層は、撮影画像が入力される層である。中間層は、作業対象領域を含む領域画像、および水道工事での使用物品を示す物品画像と、検出クラスと、に基づき、パラメータが学習された層である。出力層は、少なくとも１つの検出クラスを出力する層である。

【0048】

例えば、複数の領域画像のそれぞれ、および複数の物品画像のそれぞれに、正解データとして検出クラスを対応付けたデータが、訓練データとして準備される。指標推定モデル３５１は、訓練データを順次入力して、損失関数を最小化するようにパラメータ（重みおよびバイアス）を学習することにより構築される。指標推定モデル３５１は、例えばモデル生成装置（不図示）により構築されるが、これに限らず、例えば制御部３３により構築されてもよい。この場合、制御部３３は、訓練データを用いた機械学習により指標推定モデル３５１を構築する学習装置としての機能も有することになる。

【0049】

なお、後述するその他の学習済みモデルについても、訓練データを順次入力して、損失関数を最小化するようにパラメータを学習することにより構築されてよく、モデル生成装置によって構築されても、制御部３３によって構築されてもよい。

【0050】

上記領域画像としては、カメラ２が撮影した撮影画像の他、差分画像または合成画像であってよい。差分画像は、例えば、経時的に撮影された２つの撮影画像の差分を抽出した画像である。合成画像は、例えば、撮影された作業対象領域の背景領域に、予め準備された種々の背景画像（仮想的な背景画像）を埋め込んだ画像である。上記物品画像としては、上述した各種管および各種作業用具を撮影した画像であってよい。物品画像として、１つの管および１つの作業用具について、その大きさを変更した複数の画像を準備してもよい。このように、撮影した画像以外に加工した画像を準備することにより、少ない撮影画像から多様な訓練データを準備することが可能となる。また、領域画像および物品画像は、検出クラスの推定（推論）に適した画像を含んでもよい。

【0051】

このように構築された指標推定モデル３５１は、撮影画像が入力層に入力された場合に、中間層による演算を経て、撮影画像の取得時点での作業において出現していると推定される少なくとも１つの検出クラスを出力層から出力するように、コンピュータを機能させる。すなわち、指標出力部３３２は、撮影画像を指標推定モデル３５１に入力することにより、撮影画像の取得時点での作業において出現していると推定される少なくとも１つの検出クラスを出力する。なお、撮影画像の取得時点は、画像取得部３３１による撮影画像の取得時点であるが、カメラ２による作業対象領域の撮影時点と読み替えてもよい。

【0052】

図３は、指標出力部３３２の出力結果の一例を示す図である。図３の符号３０１は、ある１日における作業開始から時刻Ｔ１までの出力結果を示し、符号３０２は、ある１日における作業開始から作業終了までの出力結果を示す。符号３０１および３０２において、縦軸は各検出クラスの番号を示し、横軸は作業時刻を示す。例えば、作業者に「０」、直管に「１」、異形管に「２」、バックホウ（例：キャビンおよび／またはクローラを含む本体部）に「３」、バケットに「４」といったように、上述した各検出クラスには番号が付されている。図３の例では、検出クラスの番号として「０」～「７」が示されているが、予め設定された検出クラスの分だけ検出クラスに番号が付される。

【0053】

例えば、時刻Ｔ１の時点において取得した撮影画像に、作業者、異形管、バックホウおよびバケットが含まれている場合を考える。この場合、指標出力部３３２は、図３の符号３０１に示すように、時刻Ｔ１において、これらの検出クラスに対応する「０」および「２」～「４」の組合せを出力する。指標出力部３３２は、作業開始から経時的に撮影画像を指標推定モデル３５１に入力しているため、符号３０１に示すように、時刻Ｔ１の時点においては、作業開始（8：00）から時刻Ｔ１までの各時点における検出クラスの組合せを出力できる。その結果、符号３０２に示すように、指標出力部３３２は、１日の作業終了時点においては、１日における作業開始から作業終了までの各時点における検出クラスの組合せを出力できる。

【0054】

なお、指標推定モデル３５１は、上記演算の結果として、各検出クラスの数値（例：０以上かつ１以下の数値）を出力する。数値が大きい検出クラスほど、撮影画像にその検出クラスが示す物体が含まれる確度が高い。そのため、指標推定モデル３５１は、所定の閾値以上の数値を示す検出クラスを、撮影画像に含まれる検出クラスとして推定する。指標推定モデル３５１は、出力結果として、検出クラスと共に、例えば上記数値を、検出クラスの推定の確度（信頼度）として出力してもよい。なお、所定の閾値は、検出クラスの組合せから作業を適切に推定できる程度に設定されていればよい。所定の閾値は、例えば０．２に設定される。

【0055】

位置特定部３３３は、撮影画像において、指標出力部３３２が出力した検出クラスの位置を特定する。位置特定部３３３は、例えば、物品画像と検出クラスとを対応付けた訓練データを用いて撮影画像における検出クラスの位置を推定するように構築された位置推定モデルに、撮影画像を入力することにより、撮影画像における検出クラスの位置を特定できる。位置推定モデルは、記憶部３５に記憶されていてよく、例えばＲ－ＣＮＮ（Regions with CNN）により実現された学習済みモデルであってよい。
画像抽出部３３４は、画像取得部３３１が経時的に取得した撮影画像のそれぞれから、水道工事に関与する対象物の画像を抽出する。画像抽出部３３４は、撮影画像に含まれる全ての対象物の画像を、撮影画像から抽出する。

【0056】

対象物は、水道工事において動きが生じる可能性がある物体である。対象物としては、例えば、水道工事に用いられる各種管、水道工事に用いられる各種作業用具、作業者、または作業者以外の一般人が挙げられる。すなわち、対象物は、検出クラスに含まれるものである。そのため、本実施形態では、画像抽出部３３４は、指標出力部３３２が出力した検出クラスに、水道工事において動きが生じる可能性がある検出クラスが含まれている場合、すなわち当該検出クラスに対応する対象物の画像が撮影画像に含まれている場合、当該対象物の画像を撮影画像から抽出する。例えば、撮影画像にバケットが写っている場合、指標出力部３３２は、検出クラスとしてバケットに対応する番号を出力する。また、位置特定部３３３は、撮影画像においてバケットの位置を特定する。そのため、画像抽出部３３４は、撮影画像からバケットの画像を抽出できる。

【0057】

枠設定部３３５は、画像抽出部３３４が抽出した対象物の画像の周囲に、当該対象物の画像の大きさに応じた枠を設定する。枠設定部３３５は、対象物の画像の一部分の周囲に枠を設定してもよい。例えば、対象物としてバケットの画像が抽出された場合、枠設定部３３５は、バケット全体の周囲に枠を設定してもよいし、バケットの一部分（例：バケットの開口部）の周囲に枠を設定してもよい。

【0058】

枠設定部３３５による枠の設定手法は、公知の技術が用いられてよい。また、枠設定部３３５は、検出クラスの推定の確度に応じた大きさの枠を、対象物の画像に対して設定してもよい。例えば、枠設定部３３５は、確度が高いほど枠の大きさを小さく設定してもよい。すなわち、枠設定部３３５は、確度が高いほど対象物にフィットするように枠の大きさを設定してもよい。確度に応じた枠の設定手法についても、公知の技術が用いられてよい。

【0059】

図４の符号４０１は、枠ＦＲを設定した後の撮影画像の一部を示す図である。この撮影画像は、溝の機械掘削という作業（例：バックホウを用いて道路に溝ＤＩを形成する作業）を撮影した画像の一例である。符号４０１では、対象物としてのバケットＢＵに対して、指標出力部３３２の出力結果として、検出クラス「４」と、バケットＢＵと推定した確度「０．６４」とが表示されている。また、枠設定部３３５がバケットＢＵの周囲を囲うように設定した矩形状の枠ＦＲが表示されている。なお、枠ＦＲの形状は、矩形状に限らず、他の形状（例：楕円形）であってもよい。

【0060】

データ生成部３３６は、画像取得部３３１が取得した撮影画像のそれぞれにおいて同一と推定される対象物の画像毎に、当該対象物の画像を含む領域内の座標を経時的に抽出することにより、座標の時系列データを生成する。

【0061】

本実施形態では、指標出力部３３２は、撮影画像のそれぞれにおいて、検出クラスの推定を行う。データ生成部３３６は、各撮影画像において同一と推定された検出クラスのうち、対象物に対応する検出クラス毎に、上記座標を抽出する。そして、データ生成部３３６は、当該検出クラス毎に、座標の時系列データを生成する。例えば、データ生成部３３６は、各撮影画像からバックホウ（本体部）の画像とバケットの画像とが抽出されている場合、バックホウの画像を含む領域内の座標と、バケットの画像を含む領域内の座標と、をそれぞれ抽出する。そして、データ生成部３３６は、バックホウに対応する座標の時系列データと、バケットに対応する座標の時系列データと、をそれぞれ生成する。

【0062】

データ生成部３３６は、枠設定部３３５が設定した枠において予め設定された位置の座標を、上記座標として抽出する。本実施形態では、データ生成部３３６は、予め設定された位置の座標として、枠設定部３３５が設定した枠の中心座標を抽出する。

【0063】

図４の符号４０２は、中心座標ＣＯ０の算出を説明するための図である。符号４０２に示すように、枠設定部３３５は、枠ＦＲを設定する場合、枠ＦＲの４つの角部のうち、対向する２つの角部の座標ＣＯ１およびＣＯ２を特定している。データ生成部３３６は、この２つの角部の座標ＣＯ１およびＣＯ２から、中心座標ＣＯ０を算出する。なお、データ生成部３３６は、中心座標ＣＯ０に限らず、枠ＦＲ内の任意の座標（例：座標ＣＯ１またはＣＯ２）を、上記予め設定された位置の座標として抽出してもよい。

【0064】

図５の符号５０１は、データ生成部３３６が生成する、ある１つの対象物の画像から抽出される座標の時系列データの一例を示す図である。符号５０１において、縦軸は撮影画像における座標の値、横軸は作業時刻を示す。符号５０１に示す座標の時系列データは、ある１日における作業開始から作業終了までの間に抽出された座標の時系列データである。符号５０１では、作業開始から30000秒の間（例：8：00から16：20までの間）に抽出された座標の時系列データを示している。また、符号５０１では、撮影画像に含まれるバケットの画像について、枠ＦＲの中心座標ＣＯ０をプロットしたグラフを示している。符号５０１では、中心座標ＣＯ０のＸ座標が「×」印で示されており、中心座標ＣＯ０のＹ座標が「○」印で示されている。なお、作業開始から時刻Ｔ１まで作業が行われている場合、図３の符号３０１に示す指標出力部３３２の出力結果と同様、作業開始から時刻Ｔ１までにおいて対象物の画像から抽出される座標の時系列データが、対象物毎に生成される。

【0065】

データ生成部３３６は、抽出した座標を、座標の抽出元である対象物の画像の大きさを用いて正規化する。本実施形態では、データ生成部３３６は、抽出した座標を、座標の抽出元である枠の大きさを用いて正規化する。具体的には、データ生成部３３６は、抽出した中心座標ＣＯ０のＸ座標を、図４に示す枠ＦＲの辺の長さＬｘにより除すると共に、中心座標ＣＯ０のＹ座標を、図４に示す枠ＦＲの辺の長さＬｙにより除する。Ｌｘは、枠ＦＲにおいて、撮影画像のＸ軸方向に延伸する辺の長さ、または、延伸する方向がＹ軸方向よりもＸ軸方向に近い辺の長さを指す。Ｌｙは、枠ＦＲにおいて、撮影画像のＹ軸方向に延伸する辺の長さ、または、延伸する方向がＸ軸方向よりもＹ軸方向に近い辺の長さを指す。図５の符号５０２は、データ生成部３３６が符号５０１に示す座標の時系列データを正規化した結果の一例を示す図である。符号５０２において、縦軸は撮影画像における座標の値、横軸は作業時刻を示す。

【0066】

データ生成部３３６は、抽出した座標の時系列データから外れ値を除去する。データ生成部３３６は、例えば、各座標について、座標を中心とし、予め設定された距離を半径とした円の範囲内に他の座標が無い場合に、外れ値として検出してよい。この他、データ生成部３３６は、統計に基づく外れ値検出方法等、公知の外れ値検出方法を用いて、座標の時系列データから外れ値を検出してよい。データ生成部３３６は、Ｘ座標およびＹ座標のそれぞれにおいて、外れ値の検出処理を実行する。

【0067】

図５の符号５０２において、Ｘ座標において外れ値の検出処理が実行された結果を示している。符号５０２では、外れ値を符号５０３にて示している。データ生成部３３６は、このように検出した外れ値を、座標の時系列データから除去する。符号５０２において示す外れ値はあくまで一例であり、また、外れ値の検出処理において検出された外れ値の一部を示すものである。

【0068】

なお、データ生成部３３６による座標の正規化処理、および外れ値の除去処理が行われる必要は必ずしも無い。但し、データ生成部３３６が座標の正規化処理を実行することにより、撮影画像の遠近の影響を受ける可能性を低減させた状態で、座標を抽出できる。この場合、線形データ抽出部３３７が抽出する線形データに対象物の動きをより正確に反映できる。例えば、対象物の動きが小さくなる程、後述する傾きを小さくし、対象物の動きが大きくなる程、後述する傾きを大きくすることができる。また、データ生成部３３６が外れ値の除去処理を実行することにより、誤検出した座標または信頼度の低い座標を、座標の時系列データから除去した状態で、線形データ抽出部３３７が線形データを抽出できる。

【0069】

線形データ抽出部３３７は、データ生成部３３６が生成した座標の時系列データから、連続的かつ規則的に値が変化する部分である線形データを抽出する。本実施形態では、線形データ抽出部３３７は、Ｘ座標およびＹ座標のそれぞれにおいて、データ生成部３３６が正規化した後、外れ値を除去した座標の時系列データから、線形データを抽出する。データ生成部３３６は、作業開始から直近で撮影画像を取得した時点までの座標の時系列データを生成している。例えば、直近で撮影画像を取得した時刻がＴ１である場合、データ生成部３３６は、作業開始から時刻Ｔ１までの間に取得した全ての撮影画像から抽出した座標の時系列データを生成している。そのため、この場合、線形データ抽出部３３７は、作業開始から時刻Ｔ１までの間に取得した全ての撮影画像から抽出した座標の時系列データにおいて、線形データを抽出する。線形データ抽出部３３７は、単回帰分析において用いられる最小二乗法等、公知の線形抽出方法を用いて、線形データを抽出してもよい。

【0070】

ここで、座標の時系列データにおいて、時間的に隣り合う座標同士が変化している部分を、連続的に値が変化すると称する。但し、隣り合う座標同士が変化せずとも、一定時間内（数枚の撮影画像分）において抽出された複数の座標に異なる値を有する座標が含まれていれば、一定時間内に抽出された座標において連続的に値が変化していると称してもよい。なお、線形データ抽出部３３７は、隣り合う２つの座標において、規定値以上の差があると判定した場合には、当該２つの座標における値の変化を、非連続的な値の変化であると特定してもよい。上記規定値は、線形データとして、有意な線形データが抽出できるように設定されていればよい。有意な線形データとは、実際の対象物の動きが反映されているデータであり、線形データの有用性は実験等により実証されていればよい。また、連続的に値が変化する部分において、直線または曲線と相関がある部分を、規則的に値が変化していると称する。すなわち、線形データは、直線またはＮ次曲線（Ｎ≧２）であってよい。

【0071】

具体的には、線形データは、０以外の傾きを有する直線、または、０以外の傾きを有する接線を含む曲線であるといえる。座標の時系列データに、このような直線または曲線が存在している場合、対象物に動きがあると評価できる。すなわち、座標の時系列データから線形データを抽出できた時間帯においては対象物に動きがあり、当該時間帯以外の時間帯においては対象物に動きがないと評価できる。後述の作業推定部３３９は、この線形データも作業推定の要素の１つに組み入れることにより、対象物の動きも加味して、現在実施されている作業を推定できる。

【0072】

図５の符号５０２では、Ｘ座標の時系列データから線形データが抽出された結果の一例を示している。符号５０２において示す線形データはあくまで一例であり、また線形データの抽出処理において抽出された線形データの一部を示すものである。符号５０２では、線形データを符号５０４にて示している。本実施形態では、線形データ抽出部３３７は、線形データとして直線データを抽出しているが、上述の通り、Ｎ次曲線（Ｎ≧２）を抽出してもよい。なお、作業の内容と当該作業に関与する対象物の動きとの相関を考慮して、作業毎に、フィッティングする直線または曲線が選択されてもよい。作業毎に選択される直線または曲線は、実験等を経て、予め設定されていてよい。

【0073】

上述の通り、座標の時系列データから線形データを抽出した時間帯においては、対象物に動きがあると評価できる。符号５０２の例でいえば、線形データが抽出された時間帯において、制御部３３は、バケットが動いていると判定できる。

【0074】

重みづけ処理部３３８は、指標出力部３３２が出力した検出クラスにおいて、線形データ抽出部３３７が線形データを抽出した時間帯に対して、当該時間帯以外の時間帯よりも重みづけする。この重みづけは、線形データを抽出した座標の時系列データの生成元である対象物に動きが生じていることを示すものである。例えば、指標出力部３３２が検出クラスを出力したときに当該検出クラスに対して加点している場合に、重みづけ処理部３３８は、線形データを抽出した時間帯においては、当該検出クラスに対してさらに加点してもよい。すなわち、制御部３３は、検出クラスを出力したときに点数（例：１点）を与え、線形データを抽出した時間帯にはさらに点数（例：１点）を与えてもよい。また、重みづけ処理部３３８は、線形データを抽出した時間帯については、検出クラスの確度に対して点数を加算してもよい。

【0075】

図６は、重みづけ処理部３３８の出力結果の一例を示す図である。具体的には、図６は、図３に示す指標出力部３３２の出力結果に対して、重みづけ処理部３３８による重みづけの結果が反映された図である。図６の符号６０１は、図３の符号３０１に示す出力結果に対して重みづけの結果を反映したものであり、符号６０２は、図３の符号３０２に示す出力結果に対して重みづけの結果を反映したものである。符号６０１および６０２に示す図では、指標出力部３３２が出力した検出クラスには「●」印が付されるが、重みづけ処理部３３８が重みづけした時間帯には、当該時間帯以外の時間帯に付される「●」印よりも大きい「●」印が付されている。この「●」印の大きさは、上記点数を反映したものであってもよい。重みづけ処理部３３８は、重みづけの結果として、指標出力部３３２が出力した検出クラスについて、線形データを抽出した時間帯が、当該時間帯以外の時間帯とは異なる状態であることを示す出力を行えばよい。

【0076】

作業推定部３３９は、線形データ抽出部３３７が抽出した線形データと、撮影画像に含まれる対象物と、に基づき、撮影画像の取得時点において実施されている作業を推定する。本実施形態では、作業推定部３３９は、線形データ抽出部３３７が抽出した線形データと、指標出力部３３２の出力結果と、に基づき、撮影画像の取得時点において実施されている作業を推定する。

【0077】

作業推定部３３９は、指標出力部３３２の出力結果に基づき、撮影画像の取得時点において実施されている作業を推定する。具体的には、作業推定部３３９は、指標出力部３３２が経時的に出力した、撮影画像の取得時点のそれぞれにおいて出現する検出クラスの組合せを解析することにより、画像取得部３３１が直近で取得した撮影画像の取得時点において実施している作業を推定する。すなわち、作業推定部３３９は、画像取得部３３１が直近で取得した撮影画像に基づき推定された検出クラスの組合せと、その直前の少なくとも一時点の撮影画像（過去の撮影画像）に基づき推定された検出クラスの組合せとから、現在実施されている作業を推定する。

【0078】

さらに、作業推定部３３９は、推定された検出クラスに対応する対象物の座標の時系列データにおいて線形データが抽出されている場合、線形データが抽出されている時間帯において当該対象物が存在し、かつ当該対象物に動きが生じていることを特定する。すなわち、作業推定部３３９は、重みづけされた時間帯において、当該対象物に動きが生じていることを特定する。作業推定部３３９は、指標出力部３３２の各時点における出力結果と共に、対象物の動きの有無を含めて、現在実施されている作業を推定する。

【0079】

記憶部３５には、水道工事において実施され得る各作業の内容と、検出クラスの組合せと、検出クラスに対応する対象物の動きの有無と、を対応付けたデータが記憶されていてよい。この場合、作業推定部３３９は、記憶部３５を参照することにより、指標出力部３３２の出力結果と、線形データ抽出部３３７による線形データの抽出結果（重みづけ処理部３３８の出力結果）とから、現在実施されている作業を推定できる。

【0080】

例えば、溝の機械掘削という作業には、例えば、検出クラスとして、溝、バックホウ（本体）、バケット、およびダンプトラックの組合せが対応付けられている。また、上記作業には、バケットの連続的な動きが対応付けられている。作業推定部３３９は、指標出力部３３２の出力結果に基づき、連続して取得する撮影画像において、以下の２つの事項を判定することにより、上記作業が行われているかを判定する。
・溝、バックホウ（本体）、バケット、およびダンプトラックを示す検出クラスの有無。
・バケットの動きを示す線形データの有無。

【0081】

また、各作業に対して、各作業に特有の対象物の具体的な動きが対応付けられていてもよい。例えば、Ｘ座標およびＹ座標の時系列データのそれぞれから抽出された線形データの各時点における傾きと、上記作業に特有の対象物の具体的な動きと、が対応付けられていてもよい。例えば、溝の機械掘削という作業に対して、掘削する溝に沿った直線的な動き、および、溝とダンプトラックとの間の動き、といったバケットの動きが対応付けられていてもよい。この場合、作業推定部３３９は、溝を形成しているときのバケットの動き、または、溝の掘削時に発生した土砂をダンプトラックに積載しているときの動きを考慮して、上記作業を行っているかを判定できる。

【0082】

本実施形態では、作業推定部３３９は、実施作業推定モデル３５２に、複数の検出クラスのうちの少なくとも１つと、線形データと、を入力することにより、撮影画像の取得時点において実施している作業を推定する。具体的には、作業推定部３３９は、指標出力部３３２が出力した検出クラスと、線形データ抽出部３３７が抽出した線形データと、を実施作業推定モデル３５２に入力することにより、現在実施されている作業を推定する。この場合、作業推定部３３９は、水道工事において実施され得る各作業と、検出クラスの組合せと、検出クラスに対応する対象物の動きの有無と、を対応付けたデータを参照することなく、現在実施されている作業を推定できる。つまり、この場合、記憶部３５に当該データを記憶しておく必要はない。

【0083】

実施作業推定モデル３５２は、機械学習を用いて、撮影画像の取得時点において実施している作業を推定するように構築された学習済みモデルである。指標推定モデル３５１は、例えば、入力層、中間層および出力層を少なくとも含むニューラルネットワーク（例：畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ））であってよい。

【0084】

実施作業推定モデル３５２において、入力層は、検出クラスの少なくとも１つと、線形データと、入力される層である。中間層は、複数の検出クラスおよび複数の線形データと、複数の作業の内容と、に基づき、パラメータが学習された層である。出力層は、水道工事における作業を出力する層である。

【0085】

例えば、複数の検出クラスのそれぞれ、または検出クラスの組合せに、正解データとして作業の内容を対応付けたデータが、訓練データとして準備される。様々な作業対象領域の撮影画像に基づき指標出力部３３２が出力する検出クラスに、撮影画像を取得したときの作業の内容を対応付けることにより、訓練データが準備される。また例えば、複数の線形データのそれぞれに、正解データとして作業の内容を対応付けたデータが、訓練データとして準備される。様々な作業対象領域の撮影画像に基づき線形データ抽出部３３７が抽出する線形データに、撮影画像を取得したときの作業の内容を対応付けることにより、訓練データが準備される。実施作業推定モデル３５２は、訓練データを順次入力して、損失関数を最小化するようにパラメータ（重みおよびバイアス）を学習することにより構築される。

【0086】

このように構築された実施作業推定モデル３５２は、検出クラスおよび線形データが入力層に入力された場合に、中間層による演算を経て、撮影画像の取得時点での作業の内容を出力層から出力するように、コンピュータを機能させる。入力層に入力される検出クラスは、撮影画像を取得したときに指標出力部３３２によって推定された結果であり、入力層に入力される線形データは、撮影画像を取得したときに線形データ抽出部３３７によって抽出された結果である。そのため、作業推定部３３９は、当該検出クラスおよび当該線形データを実施作業推定モデル３５２に入力することにより、現在実施されている作業の内容を出力できる。

【0087】

なお、作業推定部３３９は、重みづけ処理部３３８の出力結果（重みづけの結果）を用いて、現在実施されている作業を推定してもよい。例えば、実施作業推定モデル３５２が、重みづけ処理部３３８の出力結果を用いて構築されていてもよい。この場合、作業推定部３３９は、当該出力結果を実施作業推定モデル３５２に入力することにより、現在実施されている作業を推定してもよい。なお、重みづけは、推定された検出クラスにおいて、線形データを抽出した時間帯に対して行われるものである。そのため、実施作業推定モデル３５２の構築、および実施作業推定モデル３５２を用いた作業推定において線形データを用いるという概念には、重みづけの結果の使用が含まれるものと解してよい。

【0088】

以上のように、作業推定部３３９は、線形データを用いて作業推定を行う。そのため、作業推定部３３９は、対象物の動きを加味して、現在実施されている作業（実施中の作業）を推定できる。従って、作業推定部３３９は、実施中の作業を精度よく推定できる。

【0089】

また、作業推定部３３９は、各対象物（検出クラス）の位置関係を特定できるので、線形データが有する傾きの大きさを解析することにより、ある対象物が他の対象物に対してどのような動きを行っているかについても推定できる。作業推定部３３９は、例えば、バックホウが溝に沿って動いているかどうかについても推定できる。そのため、作業推定部３３９は、実施中の作業をより精度よく推定できる。実施作業推定モデル３５２を用いている場合、線形データと検出クラスとを入力することにより、ある対象物が他の対象物に対してどのような動きを行っているかについても推定されている。

【0090】

また、作業管理装置３は、実施中の作業を精度よく推定できるため、水道工事の管理を適切に行うことが可能である。そのため、作業管理装置３、および作業管理装置３を備える水道工事管理システム１を、包摂的かつ持続可能な都市化への促進を助長するものとして機能させることができる。従って、作業管理装置３および水道工事管理システム１は、持続可能な開発目標（ＳＤＧｓ）の達成に貢献できる。

【0091】

また、作業推定部３３９は、位置特定部３３３が撮影画像において検出クラスの位置を特定している場合、当該検出クラスの位置に基づき、撮影画像内の異なる領域において実施されている作業をそれぞれ推定してもよい。作業推定部３３９は、例えば、推定された検出クラスの種類、および、特定された検出クラスの位置によって、撮影画像に、複数の水道工事の実施風景が含まれているか否かを判定してよい。作業推定部３３９は、撮影画像内の異なる領域において水道工事が実施されていると判定した場合に、各領域において実施されている作業をそれぞれ推定する。

【0092】

表示制御部３４０は、表示装置４を制御することにより、表示装置４に各種情報を表示させる。換言すれば、表示制御部３４０は、表示装置４から各種情報を出力する出力部として機能する。表示制御部３４０は、例えば、作業推定部３３９の推定結果（すなわち作業の内容）を表示装置４から出力してもよい。また、表示制御部３４０は、データ生成部３３６が生成した座標の時系列データを、表示装置４から出力してもよい。この場合、表示制御部３４０は、例えば、正規化した座標の時系列データを、表示装置４から出力してもよい。また、表示制御部３４０は、例えば、線形データ抽出部３３７が抽出した線形データを含む座標の時系列データを、表示装置４から出力してもよい。この場合、表示制御部３４０は、例えば、図５の符号５０２に示すグラフを出力してもよい。なお、表示制御部３４０は、当該グラフにおいて、座標の時系列データを除去したグラフ（線形データのみを示したグラフ）を、表示装置４から出力してもよい。その他、表示制御部３４０は、重みづけ処理部３３８による重みづけの結果を表示装置４から出力してもよい。表示制御部３４０は、例えば、図６の符号６０１または符号６０２に示すグラフを出力してもよい。

【0093】

また、表示制御部３４０は、作業の内容を表示装置４から出力するとき、重みづけが行われている場合（線形データが抽出されている場合）と、重みづけが行われていない場合（線形データが抽出されていない場合）とで、表示態様を異ならせてもよい。例えば、表示制御部３４０は、作業の内容を示す文字列の色、形状または大きさ等を異ならせてもよい。このような表示態様の相違により、管理者および作業者（ユーザ）は、撮影画像に含まれる何れかの対象物に動きが生じていることを認識できる。

【0094】

なお、本実施形態では、指標出力部３３２は、指標推定モデル３５１を用いて検出クラスを推定するが、指標推定モデル３５１を用いずに検出クラスを推定してもよい。この場合、例えば、水道工事に関与する対象物の画像と対象物の名称と対応付けたデータを予め記憶部３５に記憶しておく。指標出力部３３２は、公知の画像技術により、撮影画像から対象物の画像を抽出する。そして、指標出力部３３２は、当該データを参照することにより、抽出した対象物の名称、すなわち検出クラスを特定する。

【0095】

また、本実施形態では、作業推定部３３９は、実施作業推定モデル３５２を用いて作業を推定するが、実施作業推定モデル３５２を用いずに作業を推定してもよい。この場合、例えば、作業推定部３３９は、上述したように、水道工事において実施され得る各作業の内容と、検出クラスの組合せと、検出クラスに対応する対象物の動きの有無と、を対応付けたデータを予め記憶部３５に記憶しておく。これにより、作業推定部３３９は、指標出力部３３２が検出クラスを推定し、線形データ抽出部３３７が線形データを抽出した場合、当該データを参照することにより、実施中の作業を推定できる。

【0096】

＜カメラ移動に伴う座標補正＞
上述したように、カメラ２は、移動可能な物体（図２に示すバックホウＢＨ）に搭載される場合もある。この場合、カメラ２と対象物との位置関係が、カメラ２の移動によって変化する。そのため、カメラ２の移動によって、データ生成部３３６が抽出する座標の値が変化する。カメラ２が据置である場合（定点カメラの場合）、各撮影画像に設定される原点位置は、撮影対象となる作業対象領域に対して一定の位置である。一方、カメラ２が移動可能である場合、各撮影画像に設定される原点位置は、撮影対象となる作業対象領域に対して一定の位置とはならない。そのため、カメラ２の移動を考慮せずに座標を抽出した場合、当該座標から対象物の実際の動きの有無を評価できない虞がある。そこで、カメラ２が移動可能である場合、データ生成部３３６は、カメラ２の移動を考慮して、撮影画像から抽出した座標を補正してもよい。

【0097】

例えば、データ生成部３３６は、予め設定されたカメラ２の基準位置と、撮影画像を取得したときのカメラ２の位置と、に基づき、撮影画像から取得した座標を補正してもよい。カメラ２の基準位置と、撮影画像を取得したときのカメラ２の位置と、に基づく座標の補正について、図７および図８を用いて説明する。図７は、対象物に対して平行に移動するカメラ２が対象物を撮影する場合の座標の補正について説明するための図である。図８は、対象物に対して近づくカメラ２が対象物を撮影する場合の座標の補正について説明するための図である。なお、図７および図８において、符号ＡＯＶはカメラ２の画角を示す。図９においても同様である。

【0098】

なお、説明の前提として、データ生成部３３６は、カメラ２の位置を示すデータ（カメラ２の絶対座標；ＧＰＳ位置情報）と方位を示すデータとをカメラ２から取得している。また、対象物がカメラ２から単位距離離れた場合に対象物に設定される枠の標準サイズ（例：隣接する２辺のそれぞれの長さ、または枠の面積）は、対象物毎に予め設定されている。また、ピクセルとミリメートル（ｍｍ）との変換値も予め特定されている。

【0099】

（カメラの移動方向がＸ軸方向であるときの座標補正）
図７の符号７０１は、カメラ２が位置ＰＯ１から位置ＰＯ２に移動する様子を示す図である。符号７０２は、位置ＰＯ１において撮影したときの撮影画像の一例を示す図である。符号７０３は、位置ＰＯ２において撮影したときの撮影画像の一例を示す図である。本例では、位置ＰＯ１がカメラ２の基準位置に相当し、位置ＰＯ２が撮影画像を取得したときのカメラ２の位置に相当する。

【0100】

まず、データ生成部３３６は、位置ＰＯ１におけるカメラ２の絶対座標を特定する。また、データ生成部３３６は、位置ＰＯ１における、カメラ２から対象物ＯＢまでの距離Ｄ１１を特定する。符号７０２に示すように、画像取得部３３１は、位置ＰＯ１において撮影画像を取得する。当該撮影画像に対し、枠設定部３３５により、対象物ＯＢの画像に対して枠ＦＲ１が設定されると共に、座標ＣＯ０１，ＣＯ１１およびＣＯ２１が特定される。また、枠ＦＲ１の辺の長さＬｘおよびＬｙが特定される。上述の通り、対象物ＯＢに設定される枠の標準サイズは予め設定されているため、データ生成部３３６は、特定されたＬｘおよびＬｙの長さと枠の標準サイズとの比、および、対象物ＯＢとカメラ２との単位距離から、距離Ｄ１１（ｍｍ）を算出する。

【0101】

次に、符号７０１に示すように、カメラ２が対象物ＯＢに対して平行に（Ｘ軸方向に）距離Ｄ１２（ｍｍ）移動したとする。このとき、符号７０３に示すように、画像取得部３３１は、位置ＰＯ２において撮影画像を取得する。当該撮影画像に対し、枠設定部３３５により、対象物ＯＢの画像に対して枠ＦＲ２が設定されると共に、座標ＣＯ０２，ＣＯ１２およびＣＯ２２が特定される。なお、符号７０３に示す撮影画像において、実際には写り込まない位置ＰＯ１で撮影したときの対象物ＯＢの画像と、対象物ＯＢの画像に対して設定された枠ＦＲ１と、を説明の便宜上示している（破線部分）。また、データ生成部３３６は、位置ＰＯ２におけるカメラ２の絶対座標を特定する。データ生成部３３６は、位置ＰＯ１および位置ＰＯ２におけるカメラ２の絶対座標から、距離Ｄ１２（ｍｍ）を算出する。

【0102】

また、データ生成部３３６は、距離Ｄ１１（ｍｍ）と距離Ｄ１２（ｍｍ）とから、カメラ２の移動量に対応する、枠ＦＲ１から枠ＦＲ２への移動距離Ｄ１３（ピクセル）を算出する。
ここで、位置ＰＯ１における撮影画像における横方向の全長（第１像面範囲と称する）をＬ１（ｍｍ）とする。横方向はＸ軸方向に対応する。第１像面範囲Ｌ１（ｍｍ）は、一次関数ｐ×Ｄ１１（ｍｍ）により算出できる。ｐは定数であり、使用されるカメラ２の光学系（レンズまたはイメージセンサのサイズ等）により決められる値である。また、撮影画像における対象物ＯＢの移動距離（像面移動距離と称する）をＤ１１２（ｍｍ）とする。像面移動距離Ｄ１１２（ｍｍ）は、一次関数１×Ｄ１２（ｍｍ）により算出できる。そして、移動距離Ｄ１３（ピクセル）は、（像面移動距離Ｄ１１２（ｍｍ）／第１像面範囲Ｌ１（ｍｍ））×（撮影画像における横方向の全ピクセル数（ピクセル））により算出できる。
データ生成部３３６は、第１像面範囲Ｌ１（ｍｍ）を算出すると共に、像面移動距離Ｄ１１２（ｍｍ）を算出する。そして、データ生成部３３６は、第１像面範囲Ｌ１（ｍｍ）と像面移動距離Ｄ１１２（ｍｍ）とから、移動距離Ｄ１３（ピクセル）を算出する。なお、第１像面範囲Ｌ１（ｍｍ）に代えて、位置ＰＯ２における撮影画像における横方向の全長が算出されてもよい。

【0103】

そして、データ生成部３３６は、座標ＣＯ０２，ＣＯ１２およびＣＯ２２のそれぞれを、Ｘ軸方向の移動距離Ｄ１３（ピクセル）を用いたアフィン変換により、位置ＰＯ１において撮影したと仮定したときの撮影画像における座標に変換する。具体的には、データ生成部３３６は、下記数１のＴｘに移動距離Ｄ１３を代入し、下記数１のＴｙに１を代入する。また、データ生成部３３６は、下記数１のｘ’およびｙ’に、座標ＣＯ０２，ＣＯ１２およびＣＯ２２のそれぞれのｘ座標およびｙ座標を代入する。これにより、データ生成部３３６は、Ｘ軸方向へのカメラ２の移動量に対応する移動距離Ｄ１３（ピクセル）分移動させた座標を取得できる。すなわち、データ生成部３３６は、Ｘ軸方向へのカメラ２の移動量を相殺した座標を取得できる。

【数1】

【0104】

（カメラの移動方向がＹ軸方向であるときの座標補正）
図８の符号８０１は、カメラ２が位置ＰＯ１から位置ＰＯ３に移動する様子を示す図である。符号８０２は、位置ＰＯ１において撮影したときの撮影画像の一例を示す図である。符号８０３は、位置ＰＯ３において撮影したときの撮影画像の一例を示す図である。本例では、位置ＰＯ１がカメラ２の基準位置に相当し、位置ＰＯ３が撮影画像を取得したときのカメラ２の位置に相当する。

【0105】

まず、データ生成部３３６は、位置ＰＯ１におけるカメラ２の絶対座標を特定する。また、データ生成部３３６は、位置ＰＯ１における、カメラ２から対象物ＯＢまでの距離Ｄ１１（ｍｍ）を特定する。

【0106】

次に、符号８０１に示すように、カメラ２が対象物ＯＢに対して近づくように（Ｙ軸方向に）距離Ｄ２２（ｍｍ）移動したとする。このとき、符号８０３に示すように、画像取得部３３１は、位置ＰＯ２において撮影画像を取得する。当該撮影画像に対し、枠設定部３３５により、対象物ＯＢの画像に対して枠ＦＲ３が設定されると共に、座標ＣＯ０３，ＣＯ１３およびＣＯ２３が特定される。なお、符号８０３に示す撮影画像において、実際には写り込まない位置ＰＯ１で撮影したときの対象物ＯＢの画像と、対象物ＯＢの画像に対して設定された枠ＦＲ１と、を説明の便宜上示している（破線部分）。また、データ生成部３３６は、位置ＰＯ３におけるカメラ２の絶対座標を特定する。データ生成部３３６は、位置ＰＯ１および位置ＰＯ３におけるカメラ２の絶対座標から、距離Ｄ２２（ｍｍ）を算出する。なお、データ生成部３３６は、枠ＦＲ３において特定されるＬｘおよびＬｙの長さと枠の標準サイズとの比、および、対象物ＯＢとカメラ２との単位距離から、距離Ｄ１１－Ｄ２２（ｍｍ）または距離Ｄ２２（ｍｍ）を算出してもよい。

【0107】

ここで、位置ＰＯ１における撮影画像における横方向の全長（第１像面範囲と称する）をＬ１（ｍｍ）とする。第１像面範囲Ｌ１（ｍｍ）は、一次関数ｐ×Ｄ１１（ｍｍ）により算出できる。位置ＰＯ３における撮影画像における横方向の全長（第２像面範囲と称する）をＬ２（ｍｍ）とする。第２像面範囲Ｌ２（ｍｍ）は、一次関数ｐ×（Ｄ１１－Ｄ２２）（ｍｍ）により算出できる。

【0108】

データ生成部３３６は、第１像面範囲Ｌ１（ｍｍ）および第２像面範囲Ｌ２（ｍｍ）を算出する。そして、データ生成部３３６は、第１像面範囲Ｌ１（ｍｍ）と第２像面範囲Ｌ２（ｍｍ）との比率を用いたアフィン変換により、座標ＣＯ０３，ＣＯ１３およびＣＯ２３のそれぞれを、位置ＰＯ１において撮影したと仮定したときの撮影画像における座標に変換する。具体的には、データ生成部３３６は、下記数２のＳｘおよびＳｙに、（第１像面範囲Ｌ１（ｍｍ）／第２像面範囲Ｌ２（ｍｍ））という比率を代入する。また、データ生成部３３６は、下記数２のｘ’およびｙ’に、座標ＣＯ０３，ＣＯ１３およびＣＯ２３のそれぞれのｘ座標およびｙ座標を代入する。これにより、データ生成部３３６は、Ｙ軸方向へのカメラ２の移動量を相殺した座標を取得できる。

【数2】

なお、移動距離Ｄ２３（ピクセル）は、（Ｌｘ（ピクセル）－Ｌｘ”（ピクセル））／２ｃｏｓθ１により算出できる。上記式におけるＬｘは、枠ＦＲ３における横方向の辺の長さに対応するピクセル数、Ｌｘ”は撮影画像における横方向の全ピクセル数を指す。また、θ１は、対象物毎に予め設定されている。データ生成部３３６は、上記アフィン変換を行うことにより、座標ＣＯ０３，ＣＯ１３およびＣＯ２３のそれぞれを、移動距離Ｄ２３（ピクセル）分移動させた座標を取得している。なお、データ生成部３３６は、移動距離Ｄ２３を用いて、座標ＣＯ０３，ＣＯ１３およびＣＯ２３のそれぞれを、位置ＰＯ１において撮影したと仮定したときの撮影画像における座標に変換してもよい。

【0109】

（カメラ２が回転するときの座標補正）
また、データ生成部３３６は、予め設定されたカメラ２の基準撮影方向と、撮影画像を取得したときのカメラ２の撮影方向との角度に基づき、撮影画像から取得した座標を補正してもよい。上記角度に基づく座標の補正について、図９を用いて説明する。図９は、カメラ２が鉛直方向を回転軸として回転するときに対象物を撮影する場合の座標の補正について説明するための図である。

【0110】

図９の符号９０１は、カメラ２が位置ＰＯ１から位置ＰＯ４に回転する様子を示す図である。符号９０２は、位置ＰＯ１において撮影したときの撮影画像の一例を示す図である。符号９０３は、位置ＰＯ４において撮影したときの撮影画像の一例を示す図である。本例では、位置ＰＯ１における撮影方向がカメラ２の基準撮影方向に相当し、位置ＰＯ４における撮影方向が、撮影画像を取得したときのカメラ２の撮影方向に相当する。また、符号９０４は、距離Ｄ３２と距離Ｄ３３との関係の一例を示す図である。

【0111】

まず、データ生成部３３６は、位置ＰＯ１におけるカメラ２の絶対座標を特定する。また、データ生成部３３６は、位置ＰＯ１における、カメラ２から対象物ＯＢまでの距離Ｄ１１（ｍｍ）を特定する。

【0112】

次に、符号９０１に示すように、位置ＰＯ１の状態からカメラ２が角度ＡＮ（ｄｅｇ）分回転したとする。このとき、符号９０３に示すように、画像取得部３３１は、位置ＰＯ４において撮影画像を取得する。当該撮影画像に対し、枠設定部３３５により、対象物ＯＢの画像に対して枠ＦＲ４が設定されると共に、座標ＣＯ０４，ＣＯ１４およびＣＯ２４が特定される。なお、符号９０３に示す撮影画像において、実際には写り込まない位置ＰＯ１で撮影したときの対象物ＯＢの画像と、対象物ＯＢの画像に対して設定された枠ＦＲ１と、を説明の便宜上示している（破線部分）。

【0113】

ここで、枠ＦＲ１において、座標ＣＯ０１と座標ＣＯ１１又はＣＯ２１との、横方向（Ｘ軸方向に対応）の距離をＤ３３とする。また、枠ＦＲ４において、座標ＣＯ０４と座標ＣＯ１４又はＣＯ２４との、横方向（Ｘ軸方向に対応）の距離をＤ３２とする。このとき、符号９０４に示すように、距離Ｄ３２は、距離Ｄ３３×ＣｏｓＡＮと算出できる。すなわち、カメラ２の角度ＡＮ（ｄｅｇ）分の回転に伴う、枠ＦＲ１から枠ＦＲ４への縮小率は、ＣｏｓＡＮと表現できる。
そのため、データ生成部３３６は、ＣｏｓＡＮを用いたアフィン変換により、枠ＦＲ４の大きさを枠ＦＲ１の大きさに変換できる。具体的には、データ生成部３３６は、上記数２のＳｘにＣｏｓＡＮ、上記数２のＳｙに１を代入する。また、データ生成部３３６は、上記数２のｘ’およびｙ’に、座標ＣＯ１４およびＣＯ２４のそれぞれのｘ座標およびｙ座標を代入する。これにより、データ生成部３３６は、枠ＦＲ４の大きさを枠ＦＲ１の大きさに変換した後の座標を取得できる。
また、枠ＦＲ１の座標ＣＯ０１（中心座標）と枠ＦＲ４の座標ＣＯ０４（中心座標）との距離をＤ３１とする。枠ＦＲ４の位置を距離Ｄ３１分移動させることにより、枠ＦＲ４の位置を枠ＦＲ１の位置に変換できる。カメラ２の角度ＡＮ（ｄｅｇ）分の回転に伴う、枠ＦＲ１から枠ＦＲ４への平行移動量は、（角度ＡＮ（ｄｅｇ）／画角ＡＮ０）×（撮影画像における横方向の全ピクセル数（ピクセル））により算出できる。
データ生成部３３６は、上記平行移動量を用いたアフィン変換により、枠ＦＲ４の位置を枠ＦＲ１の位置に変換できる。具体的には、データ生成部３３６は、上記平行移動量を算出する。そして、データ生成部３３６は、上記数１のＴｘに上記平行移動量、および、上記数１のＴｙに１を代入する。また、データ生成部３３６は、上記数１のｘ’およびｙ’に、座標ＣＯ１４およびＣＯ２４のそれぞれのｘ座標およびｙ座標を代入する。これにより、データ生成部３３６は、枠ＦＲ４の位置を枠ＦＲ１の位置に変換した後の座標を取得できる。

【0114】

このように、データ生成部３３６は、上記２つのアフィン変換を行うことより、座標ＣＯ０４，ＣＯ１４およびＣＯ２４のそれぞれを、位置ＰＯ１において撮影したと仮定したときの撮影画像における座標に変換できる。すなわち、データ生成部３３６は、カメラ２の回転量を相殺した座標を取得できる。

【0115】

上記のように、データ生成部３３６は、カメラ２のＸ軸方向への移動、カメラ２のＹ軸方向への移動、およびカメラ２の回転のそれぞれにおいて座標の変換を行う。これにより、データ生成部３３６は、取得した全ての撮影画像から抽出した座標について、基準位置および基準撮影方向において撮影したと仮定したときの撮影画像において抽出する座標の値に変換できる。

【0116】

〔作業管理装置における処理〕
図１０は、作業管理装置３における処理（作業管理方法）の一例を示すフローチャートである。図１０に示すように、画像取得部３３１は、カメラ２から撮影画像を取得する（Ｓ１：画像取得工程）。指標出力部３３２は、画像取得部３３１が取得した撮影画像を、指標推定モデル３５１に入力する。指標出力部３３２は、指標推定モデル３５１の出力結果として、推定された検出クラスを出力する。換言すれば、指標出力部３３２は、撮影画像に含まれる検出クラスを推定する（Ｓ２）。

【0117】

位置特定部３３３は、撮影画像において、指標出力部３３２が出力した検出クラスの位置を特定する（Ｓ３）。制御部３３は、位置特定部３３３が特定した検出クラスの位置が複数存在する場合には、複数の検出クラスの位置関係に基づき、撮影画像に、複数の水道工事の実施風景が含まれているか否かを判定する。換言すれば、制御部３３は、撮影画像内の異なる領域において水道工事が実施されているか否かを判定する。制御部３３は、撮影画像内の異なる領域において水道工事が実施されていると判定した場合には、領域毎に以降の処理を実行する。

【0118】

画像抽出部３３４は、画像取得部３３１が取得した撮影画像から、水道工事に関与する対象物の画像を抽出する（Ｓ４：画像抽出工程）。本実施形態では、指標出力部３３２が出力した検出クラスに対応する対象物の画像を抽出する。

【0119】

枠設定部３３５は、画像抽出部３３４が抽出した対象物の画像に対して、当該対象物の画像の大きさに応じた枠を設定する（Ｓ５）。データ生成部３３６は、枠設定部３３５が設定した枠において予め設定された位置の座標として、枠の中心座標を算出する（Ｓ６）。つまり、Ｓ５およびＳ６において、データ生成部３３６は、画像抽出部３３４が抽出した対象物の画像を含む領域内の座標を抽出する。

【0120】

カメラ２は、経時的に作業対象領域を撮影する。そのため、画像取得部３３１は、カメラ２から撮影画像を経時的に取得する。従って、制御部３３は、画像取得部３３１が取得した撮影画像に対して、順次Ｓ２～Ｓ６の処理を実行する。

【0121】

Ｓ６の処理後、制御部３３は、規定数の撮影画像に対して、Ｓ２～Ｓ６の処理を実行したか否かを判定する（Ｓ７）。制御部３３が、Ｓ２～Ｓ６の処理を実行した撮影画像の数が規定数未満である場合（Ｓ７でＮＯ）、Ｓ１の処理に戻る。一方、制御部３３が、規定数の撮影画像に対して、Ｓ２～Ｓ６の処理を実行したと判定した場合（Ｓ７でＹＥＳ）、データ生成部３３６は、抽出した座標の時系列データを生成する（Ｓ８：データ生成工程）。本実施形態では、データ生成部３３６は、枠の中心座標の時系列データを生成する。

【0122】

Ｓ７でＹＥＳの場合、画像抽出部３３４が画像を抽出した対象物について、経時的に座標が抽出されている。そのため、データ生成部３３６は、当該対象物について、抽出した座標の時系列データを生成することが可能である。また、撮影画像において、検出クラスに対応する対象物の画像が複数存在する場合、画像抽出部３３４は、対象物毎に画像を抽出する。そのため、データ生成部３３６は、対象物毎に、座標の時系列データを生成することが可能である。本実施形態では、データ生成部３３６は、抽出した中心座標のＸ座標の時系列データおよびＹ座標の時系列データを生成する。

【0123】

なお、上記規定数は、データ生成部３３６が座標の時系列データを生成でき、かつ、後段のＳ１１の処理において、線形データ抽出部３３７が有意な線形データを抽出できる程度に規定されていればよい。上記規定数は、例えば、画像取得部３３１が５分間に取得した撮影画像の数である。例えば、画像取得部３３１が１秒あたり１枚の撮影画像を取得している場合、撮影画像の数は１８０００枚（＝５（分）×６０×６０）となる。

【0124】

データ生成部３３６は、生成した座標の時系列データについて、座標を正規化する（Ｓ９）。なお、Ｓ９の処理は、Ｓ６～Ｓ８の処理の間に実行されてもよい。データ生成部３３６は、正規化した座標の時系列データにおいて、外れ値を除去する（Ｓ１０）。線形データ抽出部３３７は、データ生成部３３６が外れ値を除去した座標の時系列データから、線形データを抽出する（Ｓ１１：線形データ抽出工程）。重みづけ処理部３３８は、線形データ抽出部３３７が線形データを抽出した時間帯に対して、当該時間帯以外の時間帯よりも重みづけする（Ｓ１２）。制御部３３は、Ｓ９～Ｓ１２の処理を、各対象物の座標の時系列データに対して実行する。また、制御部３３は、Ｓ９～Ｓ１２の処理を、Ｘ座標の時系列データおよびＹ座標の時系列データのそれぞれについて実行する。

【0125】

その後、作業推定部３３９は、線形データ抽出部３３７が抽出した線形データと、撮影画像に含まれる対象物と、に基づき、撮影画像の取得時点において実施されている作業を、実施中の作業として推定する（Ｓ１３：作業推定工程）。本実施形態では、作業推定部３３９は、実施作業推定モデル３５２に、指標出力部３３２が出力した、対象物に対応する検出クラスと、線形データ抽出部３３７が抽出した線形データと、を入力することにより、実施中の作業を推定する。なお、作業推定部３３９は、重みづけ処理部３３８による重みづけの結果と、撮影画像に含まれる対象物と、に基づき、実施中の作業を推定してもよい。

【0126】

表示制御部３４０は、作業推定部３３９の推定結果を、表示装置４に表示する（Ｓ１４）。表示制御部３４０は、その他、対象物毎の座標の時系列データ（線形データを含んでもよい）、および、対象物毎の重みづけの結果等を、表示装置４に表示してもよい。表示制御部３４０は、撮影画像内の異なる領域において水道工事が実施されていると判定されている場合には、領域毎に、上記種々のデータを表示装置４に表示してもよい。

【0127】

〔ソフトウェアによる実現例〕
作業管理装置３（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部３３に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

【0128】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0129】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0130】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0131】

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0132】

３ 作業管理装置
２ カメラ
４ 表示装置（報知部）
３３１ 画像取得部
３３２ 指標出力部
３３４ 画像抽出部
３３６ データ生成部
３３７ 線形データ抽出部
３３８ 重みづけ処理部
３３９ 作業推定部
３３５ 枠設定部
３４０ 表示制御部（出力部）
３５１ 指標推定モデル
３５２ 実施作業推定モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】