特許 7412171 教師データ生成装置、及び教師データ生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-28

(45)【発行日】2024-01-12

(54)【発明の名称】教師データ生成装置、及び教師データ生成方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240104BHJP

   G06T 7/215 20170101ALI20240104BHJP

   E21D 9/00 20060101ALI20240104BHJP

【ＦＩ】

G06T7/00 350B

G06T7/215

E21D9/00 Z

【請求項の数】 5

(21)【出願番号】P 2019238190

(22)【出願日】2019-12-27

(65)【公開番号】P2021105962

(43)【公開日】2021-07-26

【審査請求日】2022-09-13

(73)【特許権者】

【識別番号】303057365

【氏名又は名称】株式会社安藤・間

(74)【代理人】

【識別番号】110001335

【氏名又は名称】弁理士法人 武政国際特許商標事務所

(72)【発明者】

【氏名】横内 静二

(72)【発明者】

【氏名】池村 幹生

(72)【発明者】

【氏名】天童 涼太

(72)【発明者】

【氏名】多寳 徹

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１２－０８８７８７（ＪＰ，Ａ）

【文献】特開２０１９－０８７２００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｅ２１Ｄ ９／００

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

トンネル切羽周辺で移動する建設機械を、トンネル切羽後方に固定された撮影手段で撮影した動画又は連続静止画を構成する単画像を用いて、教師データを生成する装置であって、
複数の前記単画像のうち選出された基礎単画像に含まれ、掘削サイクルを構成する作業の工種を推定し得る建設機械又は建設機械の一部であるオブジェクトを、オペレータが検出するオブジェクト検出手段と、
検出された前記オブジェクトに対して、オペレータが属性を付与する属性付与手段と、
前記基礎単画像に連続する他の前記単画像である連続単画像から、動態検知によって前記オブジェクトと同じオブジェクトを自動抽出するとともに、抽出された該オブジェクトに対して前記属性と同じ属性を付与するオブジェクト生成手段と、を備え、
前記属性が付与された前記オブジェクトを教師データとして生成する、
ことを特徴とする教師データ生成装置。

【請求項2】

トンネル切羽周辺で移動する建設機械を、トンネル切羽後方に固定された撮影手段で撮影した動画又は連続静止画を構成する単画像を用いて、教師データを生成する装置であって、
複数の前記単画像のうち選出された基礎単画像に含まれ、掘削サイクルを構成する作業の工種を推定し得る建設機械又は建設機械の一部であるオブジェクトを、自動検出するオブジェクト検出手段と、
自動検出された前記オブジェクトに対して、オペレータが属性を付与する属性付与手段と、
前記基礎単画像に連続する他の前記単画像である連続単画像から、動態検知によって前記オブジェクトと同じオブジェクトを自動抽出するとともに、抽出された該オブジェクトに対して前記属性と同じ属性を付与するオブジェクト生成手段と、を備え、
前記属性が付与された前記オブジェクトを教師データとして生成する、
ことを特徴とする教師データ生成装置。

【請求項3】

前記オブジェクト生成手段は、前記オブジェクトを自動抽出しようとする前記連続単画像より前に得られた複数の前記単画像に基づいて該オブジェクトの動きを予測するとともに、予測された該オブジェクトの動きに基づいて該オブジェクトを自動抽出する、
ことを特徴とする請求項１又は請求項２記載の教師データ生成装置。

【請求項4】

移動する建設機械を撮影した動画又は連続静止画を構成する単画像を用いて、教師データを生成する方法であって、
移動する建設機械を撮影する撮影工程と、
請求項１乃至請求項３のいずれかに記載の前記教師データ生成装置を用い、前記基礎単画像に含まれる前記オブジェクトを検出するオブジェクト検出工程と、
請求項１乃至請求項３のいずれかに記載の前記教師データ生成装置を用い、検出された前記オブジェクトに対して、オペレータが属性を付与する属性付与工程と、
請求項１乃至請求項３のいずれかに記載の前記教師データ生成装置を用い、前記連続単画像から前記オブジェクトと同じオブジェクトを自動抽出するとともに、抽出された該オブジェクトに対して前記属性と同じ属性を付与するオブジェクト生成工程と、を備え、
前記撮影工程では、トンネル切羽周辺で移動する建設機械を、トンネル切羽後方に固定された撮影手段で撮影し、
前記属性が付与された前記オブジェクトを教師データとして生成する、
ことを特徴とする教師データ生成方法。

【請求項5】

移動する建設機械を撮影した動画又は連続静止画を構成する単画像を用いて、教師データを生成する方法であって、
移動する建設機械を撮影する撮影工程と、
請求項１乃至請求項３のいずれかに記載の前記教師データ生成装置を用い、前記基礎単画像に含まれる前記オブジェクトを検出するオブジェクト検出工程と、
請求項１乃至請求項３のいずれかに記載の前記教師データ生成装置を用い、検出された前記オブジェクトに対して、オペレータが属性を付与する属性付与工程と、
請求項１乃至請求項３のいずれかに記載の前記教師データ生成装置を用い、前記連続単画像から前記オブジェクトと同じオブジェクトを自動抽出するとともに、抽出された該オブジェクトに対して前記属性と同じ属性を付与するオブジェクト生成工程と、を備え、
前記撮影工程では、建設機械における理想的な動きをあらかじめ設定するとともに、実際に該理想的な動きにしたがって移動する建設機械を撮影し、
前記属性が付与された前記オブジェクトを教師データとして生成する、
ことを特徴とする教師データ生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、任意の画像から所定の対象物を自動認識するために用いられる教師データに関するものであり、より具体的には、移動する建設機械を撮影した複数の画像から複数の教師データを生成する教師データ生成装置と、これを用いた教師データ生成方法に関するものである。

【背景技術】

【0002】

我が国の国土は、およそ２／３が山地であるといわれており、そのため道路や線路など（以下、「道路等」という。）は必ずといっていいほど山地部を通過する区間がある。この山地部で道路等を構築するには、斜面の一部を掘削する切土工法か、地山の内部をくり抜くトンネル工法のいずれかを採用するのが一般的である。トンネル工法は、切土工法に比べて施工単価（道路等延長当たりの工事費）が高くなる傾向にある一方で、切土工法よりも掘削土量（つまり排土量）が少なくなる傾向にあるうえ、道路等の線形計画の自由度が高い（例えば、ショートカットできる）といった特長があり、これまでに建設された国内のトンネルは１０，０００を超えるといわれている。

【0003】

山岳トンネルの施工方法としては、昭和５０年代までは鋼アーチ支保工に木矢板を組み合わせて地山を支保する「矢板工法」が主流であったが、現在では地山強度を積極的に活かすＮＡＴＭ（Ｎｅｗ Ａｕｓｔｒｉａｎ Ｔｕｎｎｅｌｌｉｎｇ Ｍｅｔｈｏｄ）が主流となっている。ＮＡＴＭは、地山が有する強度（アーチ効果）に期待する設計思想が主な特徴であり、そのため従来の矢板工法に比べトンネル支保工の規模を小さくすることができ、しかも施工速度を上げることができることから施工コストを減縮することができる。

【0004】

またＮＡＴＭは、本格的に実施されて以来、飛躍的に掘削技術が進歩しており、種々の補助工法が開発されることによって様々な地山に対応することができるようになり、さらに掘削機械（特に、自由断面掘削機）の進歩によって発破掘削のほか機械掘削も選択できるようになった。この機械掘削は、掘削断面積や線形にもよるものの一般的には比較的低い強度（例えば、一軸圧縮強度が４９Ｎ／ｍｍ^２以下）の地山に対して採用されることが多く、一方、対象地山に岩盤が存在する場合はやはり発破掘削が採用されることが多い。

【0005】

ここでＮＡＴＭによる掘削手順について簡単に説明する。はじめに、トンネル切羽の掘削を行う。発破掘削の場合は、ドリルジャンボによって削孔して火薬（ダイナマイト）を装填し、作業員と機械が退避したうえで発破する。一方、機械掘削の場合は、自由断面掘削機によってトンネル切羽を切削していく。１回（１サイクル）の掘削進行長（１スパン長）は地山の強度に応じて設定される支保パターンによって異なるが、一般的には１．０～２．０ｍのスパン長で掘削が行われる。１スパン長の掘削を行うと、不安化した地山部分（浮石など）を落とす「こそく」を行いながらダンプトラック（あるいはレール工法）によってずりを搬出（ずり出し）する。そしてずり出し後に、必要に応じて１次コンクリート吹付けを行ったうえで必要に応じて（支保パターンによって）鋼製支保工を建て込み、２次コンクリート吹付けを行った後にロックボルトの打設を行う。なお、１次コンクリート吹付けと２次コンクリート吹付けは、掘進したスパン長分、すなわち素掘り部分のトンネル内周面（側壁から天端にかけた周面）に対して行われる。

【0006】

このようにＮＡＴＭは、削岩（例えば、切羽削孔～発破）、ずり出し、鋼製支保工建て込み、コンクリート吹付け、ロックボルト打設といった一連の作業を繰り返し行うことによって、１スパン（１．０～２．０ｍ）ずつ掘進していく工法である。そしてこれら一連の作業の流れは「掘削サイクル」と呼ばれ、また１の掘削サイクルをタイムテーブルで表したものを「サイクルタイム」と呼んでいる。掘削サイクルを構成する各作業はそれぞれクリティカルパスとなっており、これらの作業にかかる時間を把握し、サイクルタイムを分析することは、トンネル掘削作業の効率化にとって極めて重要である。すなわち、サイクルタイムを分析することによって、掘削作業における無理や無駄を把握することができ、その結果、実績に基づく適切な原価管理と工程管理を行うことができるようになるわけである。したがって、多くのトンネル掘削現場でサイクルタイムの調査が実施されている。

【0007】

従来、サイクルタイムの調査を行う、つまり作業（削岩、ずり出し、鋼製支保工建て込み、コンクリート吹付け、ロックボルト打設）ごとに施工時間を計測するにあたっては、トンネル周辺にいる調査者が目視観察を行いながらストップウォッチなどでその時間を計測して野帳等に記録していた。しかしながら、建設業界における近年の人手不足を考えると、サイクルタイム調査のためトンネル切羽に調査者を常時配置することは難しく、ましてやトンネル掘削は昼夜２交代制で行われることが多く、この手法で夜勤番を含めたサイクルタイムを把握することは現実的とはいい難い。

【0008】

そこで、トンネル切羽に調査者を配置することなく、サイクルタイムを自動取得することが考えられる。例えば、重機にＩＣタグ（ＲＦＩＤなど）を取り付け、そのＩＣタグからのログ情報を取得すれば、サイクルタイムを自動取得することができる。しかしながら、このようにＩＣタグを利用する手法では、実際に稼働する重機等に新たな設備を設ける必要があり、モデル現場では実施することができたとしても、すべてのトンネル掘削現場に適用するとなるとその設置費やメンテナンスなどの面から容易ではない。

【0009】

またサイクルタイムを自動取得する手法としては、画像を利用することも考えられる。つまり、トンネル切羽を撮影した映像や画像を自動認識することによってトンネル切羽での作業状況（作業種別）を把握するとともに、撮影時間に基づいて当該作業にかかった時間を把握することができるわけである。近年のトンネル掘削工事では、トンネル切羽を監視するための切羽監視カメラを常設するのが一般的となっており、この切羽監視カメラを利用すればサイクルタイムの自動取得のために新たな設備等を用意する必要がなく、この点においても効率的である。

【0010】

例えば特許文献１では、トンネル切羽で稼働している作業機械を撮影した動画を用いて、ディープラーニング（機械学習）を行い、作業段階（発破削孔やロックボルト打設など）を判定するとともに、各作業段階における注意事項などを提示する技術について提案している。

【先行技術文献】

【特許文献】

【0011】

【文献】特開２０１７－１１７１４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

ところで、機械学習を利用して任意の画像からトンネル切羽の作業状況（作業種別）を判別するためには教師データが必要となる。トンネル切羽では各作業に応じて固有の建設機械が稼働するため、作業状況を判別するためにはドリルジャンボといった建設機械が最大の特徴となる。したがって機械学習を実行するための教師データとしては、画像に含まれる建設機械とその建設機械の属性（名称など）の組み合わせからなるデータセットが適している。

【0013】

しかしながらトンネル切羽で稼働する建設機械は当然ながら動いており、そのため様々な向き（姿勢）となった建設機械ごとに教師データを用意しなければならない。一般的に、機械学習（例えば、ディープラーニング等）によってひとつのモデルを作成するためには大量の教師データが必要とされるが、トンネル切羽での作業状況を判別するためのモデルを作成するにあたっては、トンネル切羽で稼働する複数種類の建設機械ごとに、しかも様々な向きの建設機械ごとに教師データを用意する必要があり、つまり特段に大量の教師データを用意しなければならないこととなる。従来、画像に含まれる特徴（オブジェクト）とそのオブジェクトの属性からなる教師データを作成するには、オペレータが手動により画像からオブジェクトを抽出し、さらに手動でそのオブジェクトに属性を付与していた。このようなオペレータ作業によって特段に大量の教師データを用意するには、夥しい作業時間と労力、コストを要し、現実的とはいえない。

【0014】

本願発明の課題は、従来技術が抱える問題を解決することであり、すなわち、トンネル切羽作業を判別するモデルを作成するための機械学習用の教師データを、従来に比して効率的に作成することができる教師データ生成装置と、これを用いた教師データ生成方法を提供することである。

【課題を解決するための手段】

【0015】

本願発明は、移動する建設機械を追跡することによって、連続する複数の画像からそれぞれ同一のオブジェクトを自動的に検出する、という点に着目してなされたものであり、これまでにない発想に基づいて行われた発明である。

【0016】

本願発明の教師データ生成装置は、移動する建設機械を撮影した動画（あるいは連続静止画）を構成する「単画像」を用いて教師データを生成する装置であり、オブジェクト検出手段と属性付与手段、オブジェクト生成手段を備えたものである。このうちオブジェクト検出手段は、複数の単画像のうち選出された「基礎単画像」に含まれるオブジェクト（建設機械、あるいは建設機械の一部）をオペレータが検出する手段であり、属性付与手段は、検出されたオブジェクトに対してオペレータが属性を付与する手段である。またオブジェクト生成手段は、「連続単画像（基礎単画像に連続する他の単画像）」から動態検知によってオブジェクト（基礎単画像に含まれるオブジェクト）と同じオブジェクトを自動抽出するとともに、抽出されたオブジェクトに対して属性（基礎単画像に含まれるオブジェクトに付与された属性）と同じ属性を付与する手段である。そして、属性が付与されたオブジェクトを教師データとして生成する。

【0017】

本願発明の教師データ生成装置は、オブジェクト検出手段が画像認識技術等によってオブジェクトを自動検出するものとすることもできる。

【0018】

本願発明の教師データ生成装置は、オブジェクト生成手段が予測された「オブジェクトの動き」に基づいてオブジェクトを自動抽出するものとすることもできる。なお、「オブジェクトの動き」は、オブジェクトを自動抽出しようとする連続単画像より前に得られた複数の単画像に基づいて予測される。

【0019】

本願発明の教師データ生成方法は、本願発明の教師データ生成装置を用いて教師データを生成する方法であり、撮影工程とオブジェクト検出工程、属性付与工程、オブジェクト生成工程を備えた方法である。このうち撮影工程では、移動する建設機械を撮影し、オブジェクト検出工程では、教師データ生成装置を用いて基礎単画像に含まれるオブジェクトを検出する。また属性付与工程では、教師データ生成装置を用いて検出されたオブジェクトに対してオペレータが属性を付与し、オブジェクト生成工程では、教師データ生成装置を用いて連続単画像からオブジェクト（基礎単画像に含まれるオブジェクト）と同じオブジェクトを自動抽出するとともに抽出されたオブジェクトに対して属性（基礎単画像に含まれるオブジェクトに付与された属性）と同じ属性を付与する。そして、属性が付与されたオブジェクトを教師データとして生成する。

【0020】

本願発明の教師データ生成方法は、撮影工程においてトンネル切羽周辺で移動する建設機械をトンネル切羽後方に固定された撮影手段で撮影する方法とすることもできる。

【0021】

本願発明の教師データ生成方法は、撮影工程において「理想的な動き」にしたがって移動する建設機械を撮影する方法とすることもできる。なお、建設機械における「理想的な動き」はあらかじめ設定される。

【発明の効果】

【0022】

本願発明の教師データ生成装置、及び教師データ生成方法には、次のような効果がある。
（１）従来のようにオペレータの手動作業によることなく、効率的に教師データを作成することができる。これにより、短期間で大量の教師データを作成することができ、またその作成コストを大幅に削減することができる。
（２）本願発明を実施することで作成された教師データを用いて機械学習することによって、トンネル切羽作業を判別するモデルを作成することことができ、その結果、トンネル切羽に調査者を配置することなくサイクルタイムを自動取得することができる。

【図面の簡単な説明】

【0023】

【図1】本願発明の教師データ生成装置の主な構成を示すブロック図。

【図2】本願発明の教師データ生成装置の主な処理の流れを示すフロー図。

【図3】動画（あるいは連続静止画）を構成する複数の単画像の中から１の基礎単画像を選出する状況を模式的に示すモデル図。

【図4】トンネル切羽で火薬装填のための削孔を行っている状況を撮影した基礎単画像からオブジェクトとして検出された「火薬運搬車」を示すモデル図。

【図5】トンネル切羽でロックボルトのための削孔を行っている状況を撮影した基礎単画像からオブジェクトとして検出された「ドリフタ」を示すモデル図。

【図6】トンネル切羽で鋼製支保工の建て込みを行っている状況を撮影した基礎単画像からオブジェクトとして検出された「エレクタ」を示すモデル図。

【図7】トンネル切羽でコンクリート吹付けを行っている状況を撮影した基礎単画像からオブジェクトとして検出された「アジテータ車」を示すモデル図。

【図8】基礎単画像と時間的に連続する連続単画像を説明するモデル図。

【図9】（ａ）はテンプレートオブジェクトを自動抽出するために用いられる基礎単画像と２枚の連続単画像を示すモデル図、（ｂ）はテンプレートオブジェクトを自動抽出するために用いられる３枚の連続単画像を示すモデル図。

【図10】本願発明の教師データ生成方法の主な工程を示すフロー図。

【発明を実施するための形態】

【0024】

本願発明の教師データ生成装置、及び教師データ生成方法の実施の例を図に基づいて説明する。なお、本願発明の教師データ生成装置、及び教師データ生成方法は、土工事やコンクリート工事など複数種類の建設機械が稼働する場所で実施することができるが、便宜上ここではトンネル掘削で稼働する建設機械を対象とした例で説明する。

【0025】

１．教師データ生成装置
図１は、本願発明の教師データ生成装置１００の主な構成を示すブロック図である。この図に示すように本願発明の教師データ生成装置１００は、オブジェクト検出手段１０１と属性付与手段１０２、オブジェクト生成手段１０３を含んで構成され、さらに表示手段１０４や動画記憶手段１０５、教師データ記憶手段１０６を含んで構成することもできる。

【0026】

教師データ生成装置１００を構成する主な要素のうちオブジェクト検出手段１０１と属性付与手段１０２、オブジェクト生成手段１０３は、専用のものとして製造することもできるし、汎用的なコンピュータ装置を利用することもできる。このコンピュータ装置は、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、マウスやキーボード等の入力手段やディスプレイを具備するもので、パーソナルコンピュータ（ＰＣ）や、ｉＰａｄ（登録商標）といったタブレット型ＰＣ、スマートフォンを含む携帯端末などによって構成することができる。コンピュータ装置を利用する場合、そのディスプレイを表示手段１０４として利用することができる。

【0027】

また動画記憶手段１０５や教師データ記憶手段１０６は、汎用的コンピュータの記憶装置を利用することもできるし、データベースサーバに構築することもできる。データベースサーバに構築する場合、ローカルなネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に置くこともできるし、インターネット経由（つまり無線通信）で保存するクラウドサーバとすることもできる。

【0028】

次に、図２を参照しながら本願発明の教師データ生成装置１００を使用したときの主な処理の流れについて説明する。図２は、教師データ生成装置１００の主な処理の流れを示すフロー図であり、中央の列に実施する処理を示し、左列にはその処理に必要な入力情報を、右列にはその処理から生まれる出力情報を示している。

【0029】

図２に示すように、まずは動画を構成する複数の画像（以下、便宜上ここでは「単画像」という。）の中から、単画像を選出する（図２のＳｔｅｐ１０１）。より詳しくは、動画記憶手段１０５（図１）から読み出した動画を表示手段１０４（図１）に表示し、オペレータがその動画を確認しながら単画像を選出する。なお、ここで選出された単画像のことを「基礎単画像」ということとする。動画は、極めて短い間隔で並べられた単画像（フレーム）を順に表示していくものであり、一般的には毎秒２４～６０枚（つまり、２４～６０ｆｐｓ）の単画像で構成される。また本願発明では、動画に限らず「連続静止画」から基礎単画像を選出することもできる。ここで連続静止画とは、短い間隔で並べられた単画像で構成されるものであって動画と同義であり、特に２４ｆｐｓ未満あるいは６０ｆｐｓを超える単画像で構成されるものを意味する。

【0030】

図３では、動画（あるいは連続静止画）を構成する複数の単画像の中から基礎単画像を選出する状況を模式的に示している。後述するように、基礎単画像の中に含まれる建設機械、あるいは建設機械の一部がオブジェクトとして検出され、そのオブジェクトに基づいて他の単画像から同じオブジェクトが自動抽出される。そのため、オブジェクト（建設機械、あるいは建設機械の一部）を含む単画像が基礎単画像として適しており、しかも明確なオブジェクトを含む単画像（換言すれば、オブジェクトとして分かりやすい単画像）が基礎単画像として適している。なお、図３に示すように動画のうちはじめの方（図では第３番目）の単画像を基礎単画像として選出することもできるし、そのほか任意の位置（順位）の単画像を選出することもできる。また、図３では１の基礎単画像を選出しているが、これに限らず２以上の基礎単画像を選出してもよい。

【0031】

基礎単画像を選出すると、その基礎単画像に含まれるオブジェクトをオブジェクト検出手段１０１（図１）によって検出する（図２のＳｔｅｐ１０２）。より詳しくは、動画記憶手段１０５（図１）から読み出した動画のうち基礎単画像を表示手段１０４（図１）に表示し、その基礎単画像を確認しながらオペレータがマウスなどのポインティングデバイスやキーボードを操作することで、目的のものを枠（例えば、四角形の枠）などで囲ったうえで切り出してオブジェクトとして検出する。例えば図４では、トンネル切羽で火薬装填のための削孔を行っている状況を撮影した基礎単画像から「火薬運搬車」がオブジェクトとして検出されている。また同様に、図５ではトンネル切羽でロックボルトのための削孔を行っている状況を撮影した基礎単画像から「ドリフタ」がオブジェクトとして検出されており、図６ではトンネル切羽で鋼製支保工の建て込みを行っている状況を撮影した基礎単画像から「エレクタ」がオブジェクトとして検出されており、図７ではトンネル切羽でコンクリート吹付けを行っている状況を撮影した基礎単画像から「アジテータ車」がオブジェクトとして検出されている。ただし、この段階（オブジェクトを検出する段階）では、オペレータがオブジェクトの名称（火薬運搬車やドリフタなど）を理解しているだけであって、まだオブジェクトとその名称は関連付けられていない。

【0032】

図４～７に示すようにオブジェクトは、「アジテータ車」などのように建設機械そのものとすることもできるし、ドリルジャンボの「ドリフタ」などのように建設機械の一部とすることもできる。また、図５や図６に示すように１の基礎単画像から同種のオブジェクトを複数検出してもよいし、１の基礎単画像から複数種のオブジェクトを検出してもよい。

【0033】

基礎単画像に含まれるオブジェクトの検出は、オペレータによる検出（いわば手動検出）に限らず、自動的に検出する仕様とすることもできる。例えば、従来用いられている画像認識の技術を利用して、基礎単画像から特徴的な形状を自動検出してこれをオブジェクトとするわけである。

【0034】

オブジェクトを検出すると、オペレータが属性付与手段１０２（図１）を操作することによってそのオブジェクトに属性を付与する（図２のＳｔｅｐ１０３）。より詳しくは、表示手段１０４（図１）に表示されたオブジェクト（例えば、四角形の枠）に対して、オペレータがマウスなどのポインティングデバイスやキーボードを操作することで、属性を入力していく。ここでいう属性とは、そのオブジェクトに関する特有の情報であり、「火薬運搬車」や「エレクタ」といったオブジェクトの名称や、オブジェクトを特定する識別番号（ＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）などを例示することができる。オブジェクトに対して属性を付与するにあたっては、オペレータの判断によって属性（例えば名称）を決定し、オペレータ操作によってオブジェクトとその属性が関連付けられて教師データ記憶手段１０６（図１）に記憶される。なお、ここで記憶されたオブジェクトとその属性の組み合わせであるデータセットは、他の単画像から同じオブジェクトを抽出しその属性を付与するためのいわばテンプレートである。そこで便宜上ここでは、ここで記憶されたオブジェクトとその属性のデータセットのことを「テンプレートデータセット」、テンプレートデータセットを構成するオブジェクトと属性のことをそれぞれ「テンプレートオブジェクト」、「テンプレート属性」ということとする。

【0035】

オブジェクトに属性を付与すると、オブジェクト生成手段１０３（図１）が「連続単画像」からテンプレートオブジェクトと同じオブジェクトを自動抽出する（図２のＳｔｅｐ１０４）。ここで連続単画像とは、図８に示すように基礎単画像と時間的に連続する他の単画像であり、さらに連続単画像と時間的に連続する単画像もやはり連続単画像となる。例えば図８では、基礎単画像よりも前（図では左側）の２枚の単画像が連続単画像となり、基礎単画像よりも後（図では右側）の４枚以上の単画像が連続単画像となる。そして連続単画像が選択されると、それらの連続単画像からテンプレートオブジェクトが自動抽出される。

【0036】

連続単画像からテンプレートオブジェクトを自動抽出するにあたっては、フレーム間差分法をはじめとする動体検知の技術を利用するとよい。例えば図９（ａ）に示すように、基礎単画像とその基礎単画像の後に連続する連続単画像Ａとの差分画像を求めるとともに、連続単画像Ａと連続単画像Ａの後に連続する連続単画像Ｂとの差分画像を求め、これら２種類の差分画像の論理積に基づいて動体であるテンプレートオブジェクトを自動抽出することができる。さらに連続単画像からテンプレートオブジェクトが自動抽出されると、その連続単画像を含む３枚の連続単画像を用いて新たに連続単画像からテンプレートオブジェクトを自動抽出する。例えば図９（ｂ）に示すように、連続単画像Ａと連続単画像Ａの後に連続する連続単画像Ｂとの差分画像を求めるとともに、連続単画像Ｂと連続単画像Ｂの後に連続する連続単画像Ｃとの差分画像を求め、これら２種類の差分画像の論理積に基づいて動体であるテンプレートオブジェクトを自動抽出することができる。したがって、できるだけテンプレートオブジェクトに動きがある区間の連続単画像を用いてテンプレートオブジェクトを自動抽出するとよい。

【0037】

また、連続単画像からテンプレートオブジェクトを自動抽出するため、テンプレートオブジェクトを自動抽出しようとする連続単画像（以下、「対象連続単画像」という。）よりも前の（早い）連続単画像に基づいてオブジェクトの動きを予測したうえで、テンプレートオブジェクトを自動抽出する仕様としてもよい。例えば、対象連続単画像を含む複数の連続単画像ごとに特徴点を抽出し、さらに抽出されたすべての特徴点のオプティカルフローを計算することによって、推定値として出された特徴点を対象連続単画像に描画し、すなわちオブジェクトの動きを予測する。そして、予測されたオブジェクトの動きを参考にしつつ、動体検知によりテンプレートオブジェクトを自動抽出するわけである。

【0038】

また、連続単画像からテンプレートオブジェクトを自動抽出するため、テンプレートオブジェクトを自動抽出しようとする連続単画像（以下、「対象連続単画像」という。）よりも前の（早い）連続単画像に基づいてオブジェクトの動きを予測したうえで、テンプレートオブジェクトを自動抽出する仕様としてもよい。例えば、対象連続単画像を含む複数の連続単画像ごとに特徴点を抽出し、さらに抽出されたすべての特徴点のオプティカルフローを計算することによって、推定値として出された特徴点を対象連続単画像に描画し、すなわちオブジェクトの動きを予測する。そして、予測されたオブジェクトの動きを参考にしつつ、動体検知によりテンプレートオブジェクトを自動抽出するわけである。

【0039】

連続単画像からテンプレートオブジェクトを自動抽出すると、そのテンプレートオブジェクトにテンプレート属性を自動的に付与して教師データ記憶手段１０６（図１）に記憶させる（図２のＳｔｅｐ１０５）。これら一連の処理（図２のＳｔｅｐ１０４～１０５）を後続の連続単画像や前方（遡る方）の連続単画像に対して繰り返し行うことによって、多数のオブジェクトと属性の組み合わせであるデータセット、すなわち多数の教師データを容易に生成することができる。

【0040】

２．教師データ生成方法
続いて本願発明の教師データ生成方法について図１０を参照しながら説明する。なお、本願発明の教師データ生成方法は、ここまで説明した教師データ生成装置１００を用いて教師データを作成する方法であり、したがって教師データ生成装置１００で説明した内容と重複する説明は避け、本願発明の教師データ生成方法に特有の内容のみ説明することとする。すなわち、ここに記載されていない内容は、「１．教師データ生成装置」で説明したものと同様である。

【0041】

図１０は、本願発明の教師データ生成方法の主な工程を示すフロー図である。この図に示すように、まずは移動する建設機械の動画や連続静止画（以下、単に「動画等」という。）を撮影する（図１０のＳｔｅｐ１０）。このとき、トンネル切羽を監視するための切羽監視カメラが常設されていれば、この切羽監視カメラ（トンネル切羽後方に固定された撮影手段）を利用すると好適である。

【0042】

また、建設機械の動画等を撮影するにあたっては、その建設機械からオブジェクトを抽出しやすいような動き（以下、便宜上ここでは「理想的な動き」という。）をあらかじめ設定しておき、その「理想的な動き」にしたがって建設機械を移動させながら動画等を撮影するとよい。このとき、当該建設機械における実際の施工環境（例えばトンネル切羽付近）で「理想的な動き」をさせるとよい。「理想的な動き」で移動した建設機械の動画等からは、基礎単画像の選出が容易となり、また連続単画像からのテンプレートオブジェクトの自動抽出も容易となる。

【0043】

移動する建設機械の動画等を撮影すると、本願発明の教師データ生成装置１００を用いて基礎単画像に含まれるオブジェクト（つまりテンプレートオブジェクト）を検出し（図１０のＳｔｅｐ２０）、基礎単画像から検出されたテンプレートオブジェクトに対してオペレータが属性（つまりテンプレート属性）を付与する（図１０のＳｔｅｐ３０）。そして、本願発明の教師データ生成装置１００を用い、連続単画像からテンプレートオブジェクトと同じオブジェクトを自動抽出するとともに、抽出されたそのオブジェクトに対してテンプレート属性と同じ属性を付与する（図１０のＳｔｅｐ４０）。

【産業上の利用可能性】

【0044】

本願発明の教師データ生成装置、及び教師データ生成方法は、トンネル掘削のほか、土工事やコンクリート工事など複数種類の建設機械が稼働する工事で利用することができる。本願発明によれば、工事のサイクルタイムを効率的に分析することができ、その結果、実績に基づく適切な原価管理を行うことができるようになり、ひいては建設インフラストラクチャーにかかる費用の低減化を図ることができることを考えれば、産業上利用できるばかりでなく社会的にも大きな貢献を期待し得る発明である。

【符号の説明】

【0045】

１００ 教師データ生成装置
１０１ （教師データ生成装置の）オブジェクト検出手段
１０２ （教師データ生成装置の）属性付与手段
１０３ （教師データ生成装置の）オブジェクト生成手段
１０４ （教師データ生成装置の）表示手段
１０５ （教師データ生成装置の）動画記憶手段
１０６ （教師データ生成装置の）教師データ記憶手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】