特開 2023-123034 締固め判定システム、及び締固め判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023123034

(43)【公開日】2023-09-05

(54)【発明の名称】締固め判定システム、及び締固め判定方法

(51)【国際特許分類】

   E04G 21/06 20060101AFI20230829BHJP

   G01N 33/38 20060101ALI20230829BHJP

   G06T 7/00 20170101ALI20230829BHJP

   G06V 10/82 20220101ALI20230829BHJP

【ＦＩ】

E04G21/06

G01N33/38

G06T7/00 350C

G06V10/82

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022026862

(22)【出願日】2022-02-24

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ・深層学習によるコンクリートのフレッシュ性状を考慮した締固め自動判定システム（令和３年３月１日） ・ＤＩＡ２０２１ 動的画像処理実利用化ワークショップ２０２１（令和３年３月４日） ・ＣＳ１４－５４ コンクリート締固めＡＩ自動判定システムによる試験判定（令和３年８月２日） ・令和３年度土木学会全国大会 第７６回年次学術講演会（令和３年９月１０日） ・ＡＩによるコンクリートの締固め自動判定システム開発の試み（令和３年１１月１７日） ・第２回ＡＩ・データサイエンスシンポジウム（令和３年１１月１７日）

(71)【出願人】

【識別番号】303057365

【氏名又は名称】株式会社安藤・間

(71)【出願人】

【識別番号】593165487

【氏名又は名称】学校法人金沢工業大学

(74)【代理人】

【識別番号】110001335

【氏名又は名称】弁理士法人 武政国際特許商標事務所

(72)【発明者】

【氏名】長田 茂美

(72)【発明者】

【氏名】林 俊斉

(72)【発明者】

【氏名】▲高▼木 亮一

【テーマコード（参考）】

2E172

5L096

【Ｆターム（参考）】

2E172AA05

2E172FA00

5L096AA06

5L096BA03

5L096CA02

5L096DA02

5L096HA09

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】本願発明の課題は、従来技術が抱える問題を解決することであり、コンクリートのフレッシュ性状を勘案したうえでフレッシュコンクリート締固めを判定することができる締固め判定システム、及び締固め判定方法を提供することである。
【解決手段】本願発明の締固め判定システムは、コンクリート画像を用いて締固めを判定するシステムであって、画像分類手段と判定手段を備えたものである。このうち画像分類手段は、学習済みモデルの出力結果に応じてコンクリート画像に対して判定ラベル（完了ラベル／未完ラベル）を付与する手段であり、判定手段は、完了ラベルの数に応じて締固めを判定する手段である。学習済みモデルは、締固めの完了／未完が付されたコンクリート画像とフレッシュ性状データを機械学習することによって生成される。
【選択図】図２

【特許請求の範囲】

【請求項1】

フレッシュコンクリートの表面を撮影したコンクリート画像を用いて、該フレッシュコンクリートの締固めを判定するシステムであって、
前記コンクリート画像とフレッシュ性状データを入力することで学習済みモデルが出力する結果に応じて、該コンクリート画像に対して完了ラベル、又は未完ラベルを付与する画像分類手段と、
前記画像分類手段によって付与された前記完了ラベルの数に応じて締固めを判定する判定手段と、を備え、
前記フレッシュ性状データは、フレッシュコンクリートの性状を示すデータであって、少なくともスランプと空気量のデータを含み、
前記学習済みモデルは、締固めの完了、又は未完が付された前記コンクリート画像と、前記フレッシュ性状データと、を機械学習することによって生成され、
前記画像分類手段は、前記学習済みモデルが、入力された前記コンクリート画像に係る前記フレッシュコンクリートの締固めが完了と判定したときは前記完了ラベルを付与し、該フレッシュコンクリートの締固めが未完と判定したときは前記未完ラベルを付与する、
ことを特徴とする締固め判定システム。

【請求項2】

前記学習済みモデルは、画像エンコーダ、フレッシュ性状エンコーダ、及び分類器によって構成され、
前記画像エンコーダは、入力された前記コンクリート画像をｍ（ｍは自然数）次元の画像特徴ベクトルに変換し、
前記フレッシュ性状エンコーダは、入力された前記フレッシュ性状データをｎ（ｎは自然数）次元の性状データ特徴ベクトルに変換し、
前記分類器は、前記画像特徴ベクトルと前記性状データ特徴ベクトルを連結することによってｍ＋ｎ次元の統合特徴ベクトルに変換するとともに、該統合特徴ベクトルに基づいて前記フレッシュコンクリートの締固めの完了、又は未完の尤度を出力する、
ことを特徴とする請求項１記載の締固め判定システム。

【請求項3】

前記判定手段は、撮影時刻順に並べられた複数の前記コンクリート画像からなる画像グループに対して付与された前記完了ラベルの方が前記未完ラベルよりも多いときに締固めの完了を判定する、
ことを特徴とする請求項１又は請求項２記載の締固め判定システム。

【請求項4】

オペレータが前記フレッシュ性状データを入力することができる入力手段を、さらに備えた、
ことを特徴とする請求項１乃至請求項３のいずれかに記載の締固め判定システム。

【請求項5】

前記フレッシュ性状データには、スランプフローとＮ式貫入量と電気伝導率のうち１又は２以上のデータがさらに含まれる、
ことを特徴とする請求項１乃至請求項４のいずれかに記載の締固め判定システム。

【請求項6】

前記コンクリート画像を複数の分割コンクリート画像に分割する画像分割手段を、さらに備え、
前記画像分類手段は、前記分割コンクリート画像ごとに、前記完了ラベル、又は前記未完ラベルを付与し、
前記判定手段は、前記分割コンクリート画像に相当する領域ごとに締固めを判定する、
ことを特徴とする請求項１乃至請求項５のいずれかに記載の締固め判定システム。

【請求項7】

請求項１乃至請求項６のいずれかに記載の前記締固め判定システムを用いて、前記フレッシュコンクリートの締固めを判定する方法であって、
所定の間隔で前記フレッシュコンクリートを撮影し、複数の前記コンクリート画像を取得する画像取得工程と、
前記画像分類手段によって、複数の前記コンクリート画像それぞれに対して前記完了ラベル、又は前記未完ラベルを付与する画像分類工程と、
前記判定手段によって、締固めを判定する判定工程と、を備えた、
ことを特徴とする締固め判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、フレッシュコンクリートの締固めに関する技術であり、より具体的には、スランプや空気量などフレッシュコンクリートの性状を考慮したうえで締固めの自動判定を行うことができる締固め判定システムと、これを用いた締固め判定方法に関するものである。

【背景技術】

【0002】

コンクリートは鋼材とともに最も重要な建設材料のひとつであり、ダム、トンネル、橋梁といった土木構造物や、集合住宅、オフィスビルなどの建築構造物をはじめ、様々な構造物に用いられている。このコンクリート構造物は、あらかじめ工場等で製作されて所定の場所まで運搬されることもあるが、土木構造物や建築構造物の場合、所定の場所（現場）で直接構築されることが多い。いずれにしろ、セメントと水、骨材等を練り混ぜた状態のコンクリート（フレッシュコンクリート）を型枠の中に投入し、コンクリートの硬化を待って型枠を外すことでコンクリート構造物は構築される。

【0003】

フレッシュコンクリートは、アジテータ車からシュートを介して流し込んだり、コンクリートポンプ車によってホースから落下させたり、場合によっては作業者がスコップではねることによって、型枠内に投入される。そして、型枠内に投入されたフレッシュコンクリートは、振動機（振動バイブレータ）によって締め固められる。振動バイブレータによって振動が与えられるとコンクリートは液状化し、さらに液状化することによってコンクリート内の気泡が上昇して外部に抜けだすとともに、コンクリート内の骨材とモルタルが再配置され、その結果、コンクリートは締め固められる。

【0004】

従来、コンクリートの締固めの判定、つまり十分に締め固められたか否かを判断するにあたっては、コンクリート表面の微妙な変化や締固め時間など様々な要因に基づくオペレ―タ（作業者）の判断に委ねられていた。コンクリート標準示方書［施工編］においても、「コンクリートとせき板との接触面にセメントペーストの線が現れること」、「コンクリートの体積が減っていくのが認められず、表面がほぼ水平となり、表面に光沢が現れること」を確認して判断することとしている。つまり、コンクリートの締固めの判定、ひいてはコンクリート構造物の品質は、振動バイブレータのオペレータの経験や知見に依存していたわけである。しかしながら、締固めの判定を正確に行うことができるオペレータは限定的であり、そのうえ近年の慢性的な人手不足の問題もあって、適時にそのようなオペレータを確保することは難しくなっている。

【0005】

そこで、オペレータのいわば定性的な判断に頼ることなく、客観的にコンクリートの締固めを評価する技術が、これまでにもいくつか提案されてきた。例えば特許文献１では、締固めを行っているコンクリートの画像を連続取得し、機械学習を活用してその画像から締固めを判定する技術について提案している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２２－０１５００３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１が示す技術は、オペレータの定性的な判断に頼ることなく、客観的に判定できるという点において極めて有益な技術である。特許文献１の技術を利用すれば、コンクリートの締固めを適切に判定できるオペレータを必ずしも確保する必要がなく、また判断した結果が残るため事後の検証や説明責任を果たすこともできる。

【0008】

ところで、締固め不足は、未充填部（ジャンカ）や大きな気泡の残存（あばた）の発生、あるいは構成材料の偏り等の原因となり、一方、過剰な締固めは、構成材料の密度の違いに起因する材料分離等の原因となる。これら締固め不足や過剰な締固めは、いずれもコンクリート構造物の設計時に想定された硬化後コンクリートの品質を阻害する原因となることから、締固めが完了した時点を適切かつ即時的（リアルタイム）で判定する必要がある。

【0009】

また、締固めに要する時間（締固めが完了するまでの時間）は、締固めを行うフレッシュコンクリートの性状（以下、「フレッシュ性状」という。）によっても大きく異なることが知られている。例えば、フレッシュ性状のひとつであるスランプが大きい（つまり、軟らかい性状の）コンクリートは一般的に締固め時間が短くなり、スランプが小さい（つまり、硬い性状の）コンクリートは締固め時間が長くなる傾向にある。すなわち、コンクリートの締固めを判定するにあたっては、そのコンクリートのフレッシュ性状が極めて重要な要素といえる。

【0010】

ところが、機械学習を活用してその画像から締固めを判定する従来技術では、画像のみを学習して学習済みモデルを生成するに留まり、コンクリートのフレッシュ性状を勘案することがなかった。そのため、スランプが大きいコンクリートに関しては比較的適切に締固めの判定を行うことができるものの、スランプが小さいコンクリートに関してはあまり適切に締固めの判定を行うことができないなど、フレッシュ性状によって締固めの判定にばらつきが生じていた。

【0011】

本願発明の課題は、従来技術が抱える問題を解決することであり、コンクリートのフレッシュ性状を勘案したうえでフレッシュコンクリート締固めを判定することができる締固め判定システム、及び締固め判定方法を提供することである。

【課題を解決するための手段】

【0012】

本願発明は、締固めの完了／未完が付されたコンクリート画像とフレッシュ性状を機械学習することによって学習済みモデルを生成する、という点に着目してなされたものであり、これまでにない発想に基づいて行われた発明である。

【0013】

本願発明の締固め判定システムは、フレッシュコンクリートの表面を撮影したコンクリート画像を用いてフレッシュコンクリートの締固めを判定するシステムであって、画像分類手段と判定手段を備えたものである。このうち画像分類手段は、コンクリート画像とフレッシュ性状データを入力することで学習済みモデルが出力する結果に応じてコンクリート画像に対して「判定ラベル（完了ラベル／未完ラベル）」を付与する手段であり、判定手段は、画像分類手段によって付与された完了ラベルの数に応じて締固めを判定する手段である。なおここでいう「判定ラベル」とは、締固めの最終的な判定ではなく、あくまでコンクリート画像単位でいわば暫定的に評価された結果のことであり、フレッシュ性状データとは、フレッシュコンクリートの性状を示すデータであって少なくともスランプと空気量を含むデータである。また学習済みモデルは、締固めの完了又は未完が付されたコンクリート画像とフレッシュ性状データを機械学習することによって生成される。そして、画像分類手段は、入力されたコンクリート画像に係るフレッシュコンクリートの締固めが学習済みモデルによって完了と判定されたときは完了ラベルを付与し、フレッシュコンクリートの締固めが学習済みモデルによって未完と判定されたときは未完ラベルを付与する。

【0014】

本願発明の締固め判定システムは、学習済みモデルが画像エンコーダとフレッシュ性状エンコーダ、分類器によって構成されたものとすることもできる。この画像エンコーダは、入力されたコンクリート画像をｍ（ｍは自然数）次元の画像特徴ベクトルに変換する。またフレッシュ性状エンコーダは、入力されたフレッシュ性状データをｎ（ｎは自然数）次元の性状データ特徴ベクトルに変換する。分類器は、画像特徴ベクトルと性状データ特徴ベクトルを連結することによってｍ＋ｎ次元の統合特徴ベクトルに変換し、統合特徴ベクトルに基づいてフレッシュコンクリートの締固めの完了又は未完の尤度を出力する。

【0015】

本願発明の締固め判定システムは、「画像グループ」を構成するそれぞれのコンクリート画像に対して付与された判定ラベルのうち、完了ラベルの方が未完ラベルよりも多いときに締固めの完了を判定するものとすることもできる。なおここでいう「画像グループ」とは、撮影時刻順に並べられた複数のコンクリート画像からなる集合のことである。

【0016】

本願発明の締固め判定システムは、入力手段をさらに備えたものとすることもできる。この入力手段は、オペレータがフレッシュ性状データを入力することができる手段である。

【0017】

本願発明の締固め判定システムは、スランプフローとＮ式貫入量と電気伝導率のうち１又は２以上のデータがさらに含まれたフレッシュ性状データを用いるものとすることもできる。

【0018】

本願発明の締固め判定システムは、画像分割手段をさらに備えたものとすることもできる。この画像分割手段は、コンクリート画像を複数の分割コンクリート画像に分割する手段である。この場合、画像分類手段は、分割コンクリート画像ごとに完了ラベル／未完ラベルを付与し、判定手段は、分割コンクリート画像に相当する領域ごとに締固めを判定する。

【0019】

本願発明の締固め判定方法は、本願発明の締固め判定システムを用いて、フレッシュコンクリートの締固めを判定する方法であって、画像取得工程と画像分類工程、判定工程を備えた方法である。このうち画像取得工程では、所定の間隔でフレッシュコンクリートを撮影して複数のコンクリート画像を取得する。また画像分類工程では、画像分類手段によって複数のコンクリート画像それぞれに対して完了ラベル／未完ラベルを付与し、判定工程では、判定手段によって締固めを判定する。

【発明の効果】

【0020】

本願発明の締固め判定システム、及び締固め判定方法には、次のような効果がある。
（１）振動バイブレータを操作するオペレータの判断に頼ることなく、客観的にしかも即時的（リアルタイム）にコンクリートの締固め完了を判断することができる。
（２）コンクリートのフレッシュ性状を勘案したうえで締固めを判定することから、従来技術に比してより適切にコンクリートの締固めを判定することができる。
（３）人によって振動バイブレータを操作する場合に限らず、建設機械等に装着した振動バイブレータを操作する場合など、様々なケースに適用することができる。

【図面の簡単な説明】

【0021】

【図1】動画や連続静止画を構成する複数の画像を模式的に示すモデル図。

【図2】本願発明の締固め判定システムの主な構成を示すブロック図。

【図3】（ａ）は学習済みモデルのネットワーク構造を模式的に示すモデル図、（ｂ）は学習済みモデルの各層の内容を示す説明図。

【図4】（ａ）は分割されないコンクリート画像を模式的に示す画像図、（ｂ）は複数の分割コンクリート画像からなるコンクリート画像を模式的に示す画像図。

【図5】Ｖｏｔｉｎｇ機能による判定処理を説明するモデル図。

【図6】（ａ）は締固め初期におけるコンクリートを透過度で表した画像図、（ｂ）は締固めがある程度進行したコンクリートを透過度で表した画像図。

【図7】（ａ）は締固め初期におけるコンクリートを白色と黒色の画像枠で表した画像図、（ｂ）は締固めがある程度進行したコンクリートを白色と黒色の画像枠で表した画像図。

【図8】本願発明の締固め判定システムの主な処理の流れを示すフロー図。

【図9】本願発明の締固め判定方法の主な処理の流れを示すフロー図。

【図10】（ａ）は従来モデルを用いてフレッシュコンクリートの締固め評価を行った結果を示すグラフ図、（ｂ）本願発明モデルを用いてフレッシュコンクリートの締固め評価を行った結果を示すグラフ図、（ｃ）はこの図を説明する凡例図。

【発明を実施するための形態】

【0022】

本願発明の締固め判定システム、及び締固め判定方法の実施の例を図に基づいて説明する。

【0023】

１．全体概要
本願発明は、締固め作業が行われているフレッシュコンクリートの表面を撮影した画像（以下、「コンクリート画像」という。）に基づいて締固めを判定する技術であり、場所打ちコンクリート作業をはじめ、工場等でのプレキャストコンクリートの製作や、施工現場でのプレキャストコンクリート（いわゆるサイトＰＣ）の製作など、様々なコンクリート構造物を構築する際に利用することができる。より詳しくは、締固めによって変化するコンクリートを順次撮影していき、その結果得られるコンクリート画像を用いてフレッシュコンクリートの締固めが完了したか、あるいは完了していない（未完である）かを判定する。そのため、締固めが完了した時点を逃さないように、コンクリート画像を取得する時間間隔は比較的短い方がよく、図１に示すように動画や連続静止画として対象物を撮影するとよい。なお動画、連続静止画ともに極めて短い間隔で取得された画像（フレーム）で構成されるものであるが、一般的に毎秒２４～６０枚（つまり、２４～６０ｆｐｓ）の画像によるものを動画とすることから、ここでは特に２４ｆｐｓ未満あるいは６０ｆｐｓを超える画像で構成されるものを連続静止画としている。

【0024】

２．締固め判定システム
本願発明の締固め判定システムについて詳しく説明する。なお、本願発明の締固め判定方法は、本願発明の締固め判定システムを用いてフレッシュコンクリートの締固めを判定する方法である。したがって、まずは本願発明の締固め判定システムについて説明し、その後に本願発明の締固め判定方法について説明することとする。

【0025】

図２は、本願発明の締固め判定システム１００の主な構成を示すブロック図である。この図に示すように本願発明の締固め判定システム１００は、画像分類手段１０１と判定手段１０２を含んで構成され、さらに入力手段１０３や画像分割手段１０４、画像取得手段１０５、画像選択手段１０６、モデル生成手段１０７、画像解析手段１０８、表示制御手段１０９、表示手段１１０、画像記憶手段１１１、学習済みモデル記憶手段１１２を含んで構成することもできる。

【0026】

締固め判定システム１００を構成する主な要素のうち画像分類手段１０１と判定手段１０２、入力手段１０３、画像分割手段１０４、画像選択手段１０６、モデル生成手段１０７、画像解析手段１０８、表示制御手段１０９は、専用のものとして製造することもできるし、汎用的なコンピュータ装置を利用することもできる。このコンピュータ装置は、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、マウスやキーボード等の入力手段やディスプレイを具備するもので、パーソナルコンピュータ（ＰＣ）やサーバー、ｉＰａｄ（登録商標）といったタブレット型ＰＣ、スマートフォンを含む携帯端末などによって構成することができる。ディスプレイを具備したコンピュータ装置を利用する場合は、そのディスプレイを表示手段１１０として利用するとよい。

【0027】

画像記憶手段１１１と学習済みモデル記憶手段１１２は、汎用的コンピュータの記憶装置を利用することもできるし、データベースサーバーに構築することもできる。データベースサーバーに構築する場合、ローカルなネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に置くこともできるし、インターネット経由で保存するクラウドサーバーとすることもできる。また画像取得手段１０５は、動画や連続静止画を取得することができるものであり、デジタルビデオカメラやデジタルカメラ、あるいはスマートフォン、タブレット型ＰＣなどを利用することができる。画像取得手段１０５によって取得された動画や連続静止画（コンクリート画像）は、画像記憶手段１１１に記憶される（図２）。

【0028】

以下、本願発明の締固め判定システム１００を構成する主な要素ごとに詳しく説明する。

【0029】

（モデル生成手段）
モデル生成手段１０７は、数多くのコンクリート画像とフレッシュ性状データを機械学習することによって「学習済みモデル」を生成する手段である（図２）。このうちフレッシュ性状データは、フレッシュ性状（フレッシュコンクリートの性状）を示すデータであって、スランプと空気量を含むデータセットであり、さらにスランプフローやＮ式貫入量、電気伝導率（これらのうち１又は２以上）を含むデータセットとすることもできる。一方、学習に用いられるそれぞれのコンクリート画像には、人（例えば、熟練の技術者）によって判断された「締固め完了」、「締固め未完」のいずれかが付されている。便宜上ここでは、「締固め完了」や「締固め未完」が付されたコンクリート画像のことを「判定付コンクリート画像」ということとする。モデル生成手段１０７によって生成された学習済みモデルは、学習済みモデル記憶手段１１２に記憶される（図２）。

【0030】

ところで判定付コンクリート画像は、フレッシュコンクリートの締固め作業を撮影した動画や連続静止画を用い、それぞれのコンクリート画像に人が判断した結果（締固め完了／締固め未完）を付すことで生成することができる。もちろん機械学習を行うにあたっては、判定付コンクリート画像と、その画像に収められたコンクリートに係るフレッシュ性状データとの組み合わせ（以下、この組み合わせのことを「教師データ」という。）が用いられる。そのため、フレッシュ性状が異なる２種類以上のコンクリートに対して締固めを行うとともにその動画や連続静止画を取得し、その結果、得られる２種類以上のコンクリートに係る多数の教師データを用いて学習するとよい。

【0031】

学習済みモデルを生成するための機械学習は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、ＮＩＮ（Ｎｅｔｗｏｒｋ Ｉｎ Ｎｅｔｗｏｒｋ）といった深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）のほか、従来用いられている種々の機械学習技術を採用することができる。ＮＩＮは、単純な畳み込みフィルタの代わりに小規模な多層パーセプトロンＭＬＰ（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）を組み込むことによって通常のＣＮＮよりも複雑な表現が可能となる。また、全結合層の代わりにＧｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ（ＧＡＰ）層を導入すれば重みパラメータが削減され、その結果メモリ消費を抑えて高速に動作することができる．

【0032】

（入力手段）
入力手段１０３は、オペレータ操作によってフレッシュ性状データを入力することができる手段であり、例えばポインティングデバイス（マウスやタッチパネル、ペンタブレット、タッチパッド、トラックパッド、トラックボールなど）やキーボード等を利用することができる。またコンクリート画像は、画像選択手段１０６の制御によって学習済みモデルに入力される。具体的には、取得したタイミングでコンクリート画像を無線や有線による通信手段を介して自動的に入力するか、あるいは画像記憶手段１１１に記憶されたコンクリート画像を読み出して入力するか、画像選択手段１０６が選択的に制御する。

【0033】

（画像解析手段）
画像解析手段１０８は、コンクリート画像に係る締固め完了、未完の尤度を出力する手段である。ここで尤度とは、締固め完了や未完の確からしさであり、例えば「締固め完了が７５％で、未完が２５％」のように出力される。この尤度を出力するにあたっては、モデル生成手段１０７によって生成された学習済みモデルが用いられる。すなわち、学習済みモデルにフレッシュ性状データとコンクリート画像を入力することによって、そのコンクリート画像に係る締固め完了、未完の尤度を出力するわけである（図２）。

【0034】

図３は、モデル生成手段１０７によって生成された学習済みモデルの一例を示す図であり、（ａ）はネットワーク構造を模式的に示すモデル図、（ｂ）は各層の内容を示す説明図である。図３（ａ）に示すように学習済みモデルは、画像エンコーダとフレッシュ性状エンコーダ、分類器を含んで構成することができる。このうち画像エンコーダは、主にコンクリート画像を通す（処理する）ものであって、画像畳み込み層とプーリング層、平坦化層、全結合層によって構成され、入力されたコンクリート画像をｍ（ｍは自然数）次元の特徴ベクトル（以下、特に「画像特徴ベクトル」という。）に変換する。

【0035】

フレッシュ性状エンコーダは、主にフレッシュ性状データを通す（処理する）ものであって、全結合層によって構成され、入力されたフレッシュ性状データをｎ（ｎは自然数）次元の特徴ベクトル（以下、特に「性状データ特徴ベクトル」という。）に変換する。また分類器は、連結層と全結合層、出力層によって構成され、画像特徴ベクトルと性状データ特徴を連結したｍ＋ｎ次元の特徴ベクトル（以下、特に「統合特徴ベクトル」という。）に基づいてフレッシュコンクリートの締固めの完了、未完の尤度を出力する。

【0036】

例えば図３では、コンクリート画像（入力サイズ：２７０×２７０×３）がＭＬＰ畳み込み層に入力され、平坦化層がその出力結果を平坦化（出力サイズ：３８４）したうえで、画像エンコーダの全結合層が５１２次元の画像特徴ベクトルに変換している。一方、フレッシュ性状エンコーダの全結合層は、入力されたフレッシュ性状データ（入力サイズ：５）を２５６次元の性状データ特徴ベクトルに変換している。そして分類器の連結層が、画像特徴ベクトルと性状データ特徴ベクトルを連結して７６８（５１２＋２５６）次元の統合特徴ベクトルに変換し、さらに分類器の全結合層によって変換された特徴ベクトル（１２８次元）に基づいて出力層が締固めの完了、未完の尤度を出力している。なお、図３（ｂ）に示すＭＬＰ畳み込み層１の入力サイズ「２７０×２７０×３」は、「横ピクセル数×縦ピクセル数×チャネル数」であり、チャネル数は画像のＲＧＢの３バンドとしている。またこの例ではフレッシュ性状データをスランプと空気量、スランプフロー、Ｎ式貫入量、電気伝導率の５種類としていることから、フレッシュ性状エンコーダの全結合層の入力サイズは「５」としている。

【0037】

（画像分類手段）
画像分類手段１０１は、画像解析手段１０８（つまり、学習済みモデル）の出力結果に応じて、入力されたコンクリート画像に対して「判定ラベル」を付与する手段である（図２）。具体的には、締固め完了の尤度が締固め未完の尤度よりも大きい場合はそのコンクリート画像に対して「完了ラベル」を付与し、反対に締固め未完の尤度が締固め完了の尤度よりも大きい場合はそのコンクリート画像に対して「未完ラベル」を付与する。既述したとおりここでいう「判定ラベル」とは、締固めの最終的な判定ではなく、あくまでコンクリート画像単位でいわば暫定的に評価された結果のことである。

【0038】

ところで本願発明の締固め判定システム１００は、１つのコンクリート画像を１つの領域（つまり、全ピクセルが対象）として処理する仕様とすることもできるし、１つの画像を分割した複数の画像（以下、「分割コンクリート画像」という。）で構成されたものとして処理する仕様とすることもできる。図４（ａ）に分割されない（つまり、全ピクセルの）コンクリート画像を示し、図４（ｂ）に複数（図では、８×６）の分割コンクリート画像からなるコンクリート画像を示す。

【0039】

図４（ａ）に示すように１つのコンクリート画像を１つの領域として処理する場合、画像解析手段１０８はそのコンクリート画像に対して締固め完了、未完の尤度を出力し、画像分類手段１０１はその出力結果に基づいて当該コンクリート画像に対して判定ラベル（完了ラベル／未完ラベル）を付与する。一方、図４（ｂ）に示すように複数の分割コンクリート画像からなるものとして処理する場合、まずは画像分割手段１０４がコンクリート画像を複数の分割コンクリート画像に分割する。そして、分割コンクリート画像とフレッシュ性状データが学習済みモデルに入力されることによって画像解析手段１０８はその分割コンクリート画像に対して締固め完了、未完の尤度を出力し、画像分類手段１０１はその出力結果に基づいて当該分割コンクリート画像に対して完了ラベルあるいは未完ラベルを付与する。例えば図４（ｂ）の場合、４８の分割コンクリート画像それぞれに対して判定ラベル（完了ラベル／未完ラベル）が付与されるわけである。

【0040】

（判定手段）
判定手段１０２は、コンクリート画像に対応するフレッシュコンクリートの領域（以下、「コンクリート領域」という。）に対して、最終的に締固め完了、未完の判定を行う手段である（図２）。もちろん、図４（ａ）に示すようにコンクリート画像を分割しないケースではコンクリート画像全体に対応するコンクリート領域について判定し、一方、図４（ｂ）に示すようにコンクリート画像を分割するケースでは分割コンクリート画像に対応するコンクリート領域ごとに判定する。

【0041】

判定手段１０２は、画像分類手段１０１によって１度でも完了ラベルが付与されると、そのコンクリート領域について直ちに締固め完了として判定することができる。ただし、コンクリートの締固め完了前後では、熟練した技術者でさえもその判断が慎重になるように、１度のタイミングのみでは誤った判定となることも考えられる。特に、機械学習の技術を利用した場合、２クラスの結果が交互に現れるチャタリングが生じることが知られており、そのため一般的には結果が安定するのを待ったうえで最終的な判定を行っている。そこで判定手段１０２は、付与された完了ラベルの数に応じて締固め完了の判定を行う仕様にするとよい。例えば、付与された完了ラベルの累積数があらかじめ定めた数に到達したときに、判定手段１０２がコンクリート領域に対して締固め完了の判定を行う仕様にすることができる。あるいは、Ｖｏｔｉｎｇ機能を利用して締固め完了の判定を行う仕様にすることもできる。以下、図５を参照しながらＶｏｔｉｎｇ機能による判定手順について説明する。

【0042】

図５は、Ｖｏｔｉｎｇ機能による判定処理を説明するモデル図である。なおこの図では、個々のコンクリート画像をそれぞれ線分（縦線）で表しており、撮影を開始した画像（図では最左端の画像）から撮影時刻順（つまり、時間の経過順）にコンクリート画像を並べている。また、画像分類手段１０１によって「完了ラベルが付与されたコンクリート画像」、「未完ラベルが付与されたコンクリート画像」を線分の濃淡で区別しており、すなわち「完了ラベルが付与されたコンクリート画像」を淡い（薄い）線分で示し、「未完ラベルが付与されたコンクリート画像」を濃い線分で示している。

【0043】

Ｖｏｔｉｎｇ機能による判定を行う場合、図５に示ように撮影時刻順に並べられた複数のコンクリート画像からなる集合（以下、「画像グループＧＰ」という。）に着目する。なお、画像グループＧＰを構成するそれぞれのコンクリート画像に対して判定ラベル（完了ラベル／未完ラベル）が付与される。また、図４（ａ）に示すようにコンクリート画像を分割しないケースではコンクリート画像によって画像グループＧＰが構成され、一方、図４（ｂ）に示すようにコンクリート画像を分割するケースでは分割コンクリート画像によって画像グループＧＰが構成される。そして、画像グループＧに対して付与された判定ラベルのうち完了ラベルの方が未完ラベルよりも多いときに、判定手段１０２がそのコンクリート領域について締固め完了として判定する。

【0044】

例えば図５のケースでは、撮影時間が連続した７つのコンクリート画像によって画像グループＧＰを構成することとし、さらに２フレームのコンクリート画像を取得するたびに判定手段１０２が判定することとしており、７回目の判定時の画像グループＧＰ７では２つの「完了ラベルが付与されたコンクリート画像」が含まれ、８回目の画像グループＧＰ８では３つの「完了ラベルが付与されたコンクリート画像」が含まれているが、「未完ラベルが付与されたコンクリート画像」よりも少ないため判定手段１０２はそのコンクリート領域について締固め未完として判定する。そして、９回目の判定時で画像グループＧＰ９に５つの「完了ラベルが付与されたコンクリート画像」が含まれることとなり、判定手段１０２はそのコンクリート領域について締固め完了として判定する。なお、締固め完了とする時点は、図に示すように締固め完了とされた画像グループＧＰ９の最後のコンクリート画像に係る時刻とすることもできるし、最初のコンクリート画像とするなど画像グループＧＰに含まれる任意のコンクリート画像に係る時刻として設定することができる。また、画像グループＧＰを構成するコンクリート画像の数は任意に設計することができ、判定手段１０２が判定するタイミングも任意に設計することができる。

【0045】

（表示制御手段）
表示制御手段１０９は、判定手段１０２の判定結果に応じて、コンクリート画像をディスプレイなどの表示手段１１０に表示する手段である（図２）。すなわち表示制御手段１０９は、判定手段１０２による「締固め未完の判定」が「締固め完了の判定」に変更されると、その判定に係るコンクリート画像の表示仕様を変更するわけである。この表示仕様としては、画像の透過度や、画像の周囲を表す枠線（以下、「画像枠」という。）の線色や線種、画像を着色するための表示色、あるいはこれらの組み合わせなどを例示することができる。

【0046】

例えば図６では、表示制御手段１０９が表示仕様としての「画像の透過度」を制御しており、すなわち締固め未完の間は透過度が低い状態でそのコンクリート画像を表示し、判定手段１０２によって締固め完了とされると透過度が高い状態でそのコンクリート画像を表示するように制御している。これにより、図６（ａ）では締固め初期におけるコンクリートであることから黒色で着色された（つまり、透過度が低い）分割コンクリート画像が多く見られ、これに対して図６（ｂ）では締固めがある程度進行していることから四隅を除くほとんどの分割コンクリート画像が透過された状態で表示されている。また図７では、表示制御手段１０９が表示仕様としての「画像枠の表示色」を制御しており、すなわち締固め未完の間は画像枠を白色で表示し、判定手段１０２によって締固め完了とされると画像枠を黒色で表示するように制御している。これにより、図７（ａ）では締固め初期におけるコンクリートであることから画像枠が白色の分割コンクリート画像が多く見られ、これに対して図７（ｂ）では締固めがある程度進行していることから四隅を除くほとんどの分割コンクリート画像が黒色の画像枠で表示されている。なお図６と図７では、分割コンクリート画像の例を示しているが、当然ながらコンクリート画像を分割しないケースでは表示制御手段１０９がコンクリート画像全体を制御して表示する。

【0047】

（使用例）
図８を参照しながら、本願発明の締固め判定システム１００を使用する例について説明する。図８は、本願発明の締固め判定システム１００の主な処理の流れを示すフロー図であり、中央の列に実施する処理を示し、左列にはその処理に必要な情報等を、右列にはその処理から生ずる情報等を示している。

【0048】

はじめに、モデル生成手段１０７によって学習済みモデルを生成する（図８のＳｔｅｐ２１１）。なお学習済みモデルは、コンクリート構造物の施工を行う前にあらかじめ生成しておくとよい。コンクリート構造物の施工が始まると、コンクリートの打ち込み現場に画像取得手段１０５とコンピュータ（ＰＣやタブレット型ＰＣ）を配置する。このコンピュータには、画像分類手段１０１と判定手段１０２、入力手段１０３、画像分割手段１０４、画像解析手段１０８、表示制御手段１０９を構成しておくとよい。

【0049】

フレッシュコンクリートが型枠内に投入され、例えば高周波振動バイブレータによる締固め作業が開始されると、画像取得手段１０５を用いて動画や連続静止画としてコンクリート画像を取得していく。そして、オペレータが入力手段１０３を使用して施工中のコンクリートのフレッシュ性状データを入力するとともに、画像選択手段１０６の制御によってコンクリート画像が学習済みモデルに入力される。

【0050】

コンクリート画像が入力されると、画像分割手段１０４がコンクリート画像を複数の分割コンクリート画像に分割する（図８のＳｔｅｐ２２１）。次いで、画像解析手段１０８が分割コンクリート画ごとに締固め完了、未完の尤度を出力する（図８のＳｔｅｐ２２２）とともに、画像分類手段１０１がその出力結果に基づいて分割コンクリート画像に対して判定ラベル（完了ラベル／未完ラベル）を付与する（図８のＳｔｅｐ２２３）。

【0051】

ある程度時間が経過すると（例えば、７フレーム分のコンクリート画像が取得されると）、複数の分割コンクリート画像によって画像グループＧＰがセットされ（図８のＳｔｅｐ２２４）、判定手段１０２が分割コンクリート画像に対応するコンクリート領域に対して締固め完了の判定を行っていく。判定手段１０２が締固め完了の判定を行うと、表示制御手段１０９が表示仕様を変更したうえでコンピュータの表示手段１１０に分割コンクリート画像を表示する。

【0052】

３．締固め判定方法
続いて本願発明の締固め判定方法について図９を参照しながら説明する。なお、本願発明の締固め判定方法は、ここまで説明した締固め判定システム１００を用いてフレッシュコンクリートの締固めを判定する方法であり、したがって締固め判定システム１００で説明した内容と重複する説明は避け、本願発明の締固め判定方法に特有の内容のみ説明することとする。すなわち、ここに記載されていない内容は、「２．締固め判定システム」で説明したものと同様である。

【0053】

図９は、本願発明の締固め判定方法の主な工程を示すフロー図である。この図に示すように、まずは設計計画に基づいて型枠を組み立てるとともに所定の鉄筋を配置し、これらの準備が整うとフレッシュコンクリートを型枠内に打ち込む（図９のＳｔｅｐ１０）。次いで、高周波振動バイブレータなどによって締固め作業を開始し（図９のＳｔｅｐ２０）、これに伴って画像取得手段１０５を用いて動画や連続静止画としてコンクリート画像を取得していく（図９のＳｔｅｐ３０）。

【0054】

一方、オペレータは入力手段１０３を使用して施工中のコンクリートのフレッシュ性状データを入力し、また画像選択手段１０６の制御によってコンクリート画像が学習済みモデルに入力される。コンクリート画像が入力されると画像分割手段１０４がコンクリート画像を複数の分割コンクリート画像に分割し、画像解析手段１０８が分割コンクリート画ごとに締固め完了、未完の尤度を出力し、さらに画像分類手段１０１がその出力結果に応じて分割コンクリート画像に対して判定ラベル（完了ラベル／未完ラベル）を付与する（図９のＳｔｅｐ４０）。

【0055】

ある程度時間が経過すると、複数の分割コンクリート画像による画像グループＧＰがセットされ、判定手段１０２が分割コンクリート画像に対応するコンクリート領域に対して締固め完了の判定を行う（図９のＳｔｅｐ５０）。判定手段１０２がコンクリート領域に対して締固め未完の判定を行うと（図９のＳｔｅｐ６０のＮｏ）、同じ位置で継続して締固め作業を行う。一方、判定手段１０２が締固め完了の判定を行うと（図９のＳｔｅｐ６０のＹｅｓ）、高周波振動バイブレータを移動して他の位置で締固め作業を行い、施工範囲すべてにおいて締固め完了が確認されると締固め作業を終了する（図９のＳｔｅｐ７０）。

【0056】

４．検証結果
発明者らは、コンクリート画像のみを学習した学習済みモデル（以下、「従来モデル」という。）と、コンクリート画像、及びフレッシュ性状データを学習した本願発明の学習済みモデル（以下、「本願発明モデル」という。）を用いて、それぞれフレッシュコンクリートの締固めの評価を行って検証した。図１０はその検証結果を示すグラフ図であり、（ａ）が従来モデルを用いた結果を示し、（ｂ）は本願発明モデルを用いた結果を示している。なお図１０（ａ）と（ｂ）は、縦軸を「分割コンクリート画像の番号（Ｎｏ）」とし、横軸を撮影したコンクリート画像のフレーム番号（つまり、時刻）としている。また図１０（ｃ）に示すように、分割コンクリート画像の番号ごとに上下２段のバーを示しており、上段のバーは未完と完了の状態を表しており、下段のバーは判定結果の正誤を白（正解）と黒（不正解）で表している。図１０（ａ）と（ｂ）を比較すると、明らかに従来モデルの評価結果の方が多くの不正解を出力しており、すなわち本願発明モデルの有効性を確認することができた。

【産業上の利用可能性】

【0057】

本願発明の締固め判定システム、及び締固め判定方法は、場所打ちコンクリート作業のほか、工場等でのプレキャストコンクリートの製作や、施工現場でのプレキャストコンクリート（いわゆるサイトＰＣ）の製作など、様々なコンクリート構造物の構築で利用することができる。本願発明が、適切に締固められたいわば高品質のコンクリート構造物を提供することを考えれば、産業上利用できるばかりでなく社会的にも大きな貢献を期待し得る発明といえる。

【符号の説明】

【0058】

１００ 本願発明の締固め判定システム
１０１ （締固め判定システムの）画像分類手段
１０２ （締固め判定システムの）判定手段
１０３ （締固め判定システムの）入力手段
１０４ （締固め判定システムの）画像分割手段
１０５ （締固め判定システムの）画像取得手段
１０６ （締固め判定システムの）画像選択成手段
１０７ （締固め判定システムの）モデル生成手段
１０８ （締固め判定システムの）画像解析手段
１０９ （締固め判定システムの）表示制御手段
１１０ （締固め判定システムの）表示手段
１１１ （締固め判定システムの）画像記憶手段
１１２ （締固め判定システムの）学習済みモデル記憶手段
ＧＰ 画像グループ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】