特許 7477839 対象物状態推定システム、及び対象物状態推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-23

(45)【発行日】2024-05-02

(54)【発明の名称】対象物状態推定システム、及び対象物状態推定方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240424BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 7

(21)【出願番号】P 2020117577

(22)【出願日】2020-07-08

(65)【公開番号】P2022015003

(43)【公開日】2022-01-21

【審査請求日】2023-05-24

(73)【特許権者】

【識別番号】303057365

【氏名又は名称】株式会社安藤・間

(73)【特許権者】

【識別番号】593165487

【氏名又は名称】学校法人金沢工業大学

(74)【代理人】

【識別番号】110001335

【氏名又は名称】弁理士法人 武政国際特許商標事務所

(72)【発明者】

【氏名】長田 茂美

(72)【発明者】

【氏名】林 俊斉

(72)【発明者】

【氏名】齋藤 淳

(72)【発明者】

【氏名】▲高▼木 亮一

(72)【発明者】

【氏名】谷口 裕史

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０２０－４１２９０（ＪＰ，Ａ）

【文献】特開２０２１－１５２４９４（ＪＰ，Ａ）

【文献】特開２０１８－１５９２４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

所定の撮影時間間隔で対象物を撮影した複数の画像に基づいて、該対象物の状態の変化を推定するシステムであって、
機械学習によって構築された学習済みモデルを用いた画像認識を行うことによって前記画像ごとに前記対象物の変化の有無を判定するとともに、該対象物に変化が有ると判定された該画像を変化後画像に分類する画像分類手段と、
前記対象物の撮影開始から撮影時刻順に数えた前記変化後画像の累計数である状態値を、算出する状態値算出手段と、
前記状態値があらかじめ定めた閾値を超えたときの前記画像に係る撮影時刻を、前記対象物の変化時刻として抽出する変化時刻抽出手段と、を備え、
前記変化時刻抽出手段によって抽出された前記変化時刻において、前記対象物の状態が変化したと推定する、
ことを特徴とする対象物状態推定システム。

【請求項2】

所定の撮影時間間隔で対象物を撮影した複数の画像に基づいて、該対象物の状態の変化を推定するシステムであって、
機械学習によって構築された学習済みモデルを用いた画像認識を行うことによって前記画像ごとに前記対象物の変化の有無を判定するとともに、該対象物の変化が有ると判定された該画像を変化後画像に分類する画像分類手段と、
撮影時刻順に並べた前記画像を複数の画像グループに分割するとともに、該画像グループにおける前記変化後画像数の割合である状態値を、算出する状態値算出手段と、
前記状態値があらかじめ定めた閾値を超えた前記画像グループのうち最も早い撮影時刻に係る該画像グループを選出するとともに、選出された該画像グループのうちあらかじめ定めた撮影順位の前記画像に係る撮影時刻を、前記対象物の変化時刻として抽出する変化時刻抽出手段と、を備え、
前記変化時刻抽出手段によって抽出された前記変化時刻において、前記対象物の状態が変化したと推定する、
ことを特徴とする対象物状態推定システム。

【請求項3】

所定の撮影時間間隔で対象物を撮影した複数の画像に基づいて、該対象物の状態の変化を推定するシステムであって、
機械学習によって構築された学習済みモデルを用いた画像認識を行うことによって前記画像ごとに前記対象物の変化の有無を判定するとともに、該対象物の変化が有ると判定された該画像を変化後画像に分類する画像分類手段と、
撮影時刻順に並べた前記画像に対して一定数まとめた画像セットを設定するとともに、該画像セットを移動しながら該画像セットにおける前記変化後画像数の割合である状態値を、算出する状態値算出手段と、
前記状態値があらかじめ定めた閾値を超えた前記画像セットのうち最も早い撮影時刻に係る該画像セットを選出するとともに、選出された該画像セットのうちあらかじめ定めた撮影順位の前記画像に係る撮影時刻を、前記対象物の変化時刻として抽出する変化時刻抽出手段と、を備え、
前記変化時刻抽出手段によって抽出された前記変化時刻において、前記対象物の状態が変化したと推定する、
ことを特徴とする対象物状態推定システム。

【請求項4】

前記対象物は、継続して締め固めが行われているフレッシュコンクリートであり、
前記画像分類手段は、前記フレッシュコンクリートが締め固められたと判定された前記画像を前記変化後画像に分類する、
ことを特徴とする請求項１乃至請求項３のいずれかに記載の対象物状態推定システム。

【請求項5】

前記画像を複数に分割した分割画像を表示する表示手段と、
前記分割画像ごとに前記状態値に応じた表示諸元を設定する、表示諸元設定手段と、をさらに備え、
前記画像分類手段は、前記分割画像ごとに前記対象物の変化の有無を判定するとともに、該対象物に変化が有ると判定された該分割画像を前記変化後画像に分類し、
前記状態値算出手段は、前記分割画像ごとに前記状態値を算出し、
前記表示手段は、前記表示諸元設定手段によって設定された前記表示諸元に基づいて、前記分割画像を表示する、
ことを特徴とする請求項１乃至請求項４のいずれかに記載の対象物状態推定システム。

【請求項6】

前記表示諸元設定手段は、前記分割画像の前記状態値に基づいて、透過度、表示色、又は枠線色を、前記表示諸元として設定する、
ことを特徴とする請求項５記載の対象物状態推定システム。

【請求項7】

請求項１乃至請求項６のいずれかに記載の対象物状態推定システムを用いて、前記対象物の状態の変化を推定する方法であって、
前記撮影時間間隔で前記対象物を撮影し、複数の前記画像を取得する画像取得工程と、
前記画像分類手段によって、前記対象物に変化が有ると判定された前記画像を前記変化後画像に分類する画像分類工程と、
前記状態値算出手段によって、前記状態値を算出する状態値算出工程と、
前記変化時刻抽出手段によって、前記対象物の前記変化時刻を抽出する変化時刻抽出工程と、を備え、
前記変化時刻抽出工程によって抽出された前記変化時刻において、前記対象物の状態が変化したと推定する、
ことを特徴とする対象物状態推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、対象物の状態変化の判断に関する技術であり、より具体的には、複数の画像に基づいて対象物の状態が変化した時点を推定する対象物状態推定システムと、これを用いた対象物状態推定方法に関するものである。

【背景技術】

【0002】

コンクリートは鋼材とともに最も重要な建設材料のひとつであり、ダム、トンネル、橋梁といった土木構造物や、集合住宅、オフィスビルなどの建築構造物をはじめ、様々な構造物に用いられている。このコンクリート構造物は、あらかじめ工場等で製作されて所定の場所まで運搬されることもあるが、土木構造物や建築構造物の場合、所定の場所（現場）で直接構築されることが多い。いずれにしろ、セメントと水、骨材等を練り混ぜた状態のコンクリート（フレッシュコンクリート）を型枠の中に投入し、コンクリートの硬化を待って型枠を外すことでコンクリート構造物は構築される。

【0003】

フレッシュコンクリートは、アジテータ車からシュートを介して流し込んだり、コンクリートポンプ車によってホースから落下させたり、場合によっては作業者がスコップではねることによって、型枠内に投入される。そして、型枠内に投入されたフレッシュコンクリートは、振動機（振動バイブレータ）によって締め固められる。振動バイブレータによって振動が与えられるとコンクリートは液状化し、さらに液状化することによってコンクリート内の気泡が上昇して外部に抜けだすとともに、コンクリート内の骨材とモルタルが再配置され、その結果、コンクリートは締め固められる。

【0004】

従来、コンクリートの締固めの程度の適否（つまり、十分に締め固められたか否か）を判断するにあたっては、コンクリート表面の微妙な変化や締固め時間など様々な要因に基づくオペレ―タ（作業者）の判断に委ねられていた。コンクリート標準示方書［施工編］においても、「コンクリートとせき板との接触面にセメントペーストの線が現れること」、「コンクリートの体積が減っていくのが認められず、表面がほぼ水平となり、表面に光沢が現れること」を確認して判断することとしている。つまり、コンクリートの締固め程度の適否判断、ひいてはコンクリート構造物の品質は、振動バイブレータのオペレータの経験や知見に依存していたわけである。しかしながら、締固めの適否判断を正確に行うことができるオペレータは限定的であり、そのうえ近年の慢性的な人手不足の問題もあって、適時にそのようなオペレータを確保することは難しくなっている。

【0005】

そこで、オペレータのいわば定性的な判断に頼ることなく、客観的にコンクリートの締固めを評価する技術が、これまでにもいくつか提案されてきた。例えば特許文献１では、締固めを行っているコンクリートの画像を連続取得し、機械学習を活用してその画像から締固めの程度を判定する技術について提案している。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２０－４１２９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１が示す技術は、オペレータの定性的な判断に頼ることなく、客観的に判定できるという点において極めて有益な技術である。コンクリートの締固めの程度を適切に判断できるオペレータを必ずしも確保する必要がなく、また判断した結果が残るため事後の検証や説明責任を果たすこともできる。

【0008】

ところで、画像によってコンクリートの締固めの程度を判断する場合、特許文献１を含む従来技術では、取得した画像単位で判断するのが主流であった。すなわち、コンクリートの締固め作業中に連続して取得された個々の画像に対して、それぞれ「十分に締固めが行われたと評価（以下、便宜上「完了評価」という。）」、あるいは「まだ十分に締固めが行われていないと評価（以下、便宜上「未完評価」という。）」のうちいずれかを付与し、画像取得から最初に「完了評価」が付与された画像の取得時刻をもってコンクリートの締固めが完了したと判断していたわけである。

【0009】

しかしながら、機械学習を活用するなど自動的に画像認識を行う技術では、いまだ完全に正解を得ることができないのが現状である。あくまで、完了評価か未完評価のうち尤度が高い方を正解として出力しているに過ぎない。特にコンクリートの締固めの場合、締固め完了前後では熟練したオペレータでもその判断が慎重になるように、画像認識技術による判定では完了評価か未完評価のうち一方の尤度が卓越することがなく、つまり不正解を出力しやすい傾向にある。

【0010】

本願発明の課題は、従来技術が抱える問題を解決することであり、すなわち人（オペレータ）の判断に頼ることなく客観的に対象物（例えば、フレッシュコンクリート）の状態が変化した（例えば、十分な締固めが行われた）と判断することができ、しかも従来に比して適切に判断することができる対象物状態推定システムと、これを用いた対象物状態推定方法を提供することである。

【課題を解決するための手段】

【0011】

本願発明は、その状態が変化する対象物に対して連続して取得された複数の画像のうち、単体の画像によって対象物の状態が変化したと判定するのではなく、複数の画像を用いていわば総合的に対象物の状態変化の判定を行う、という点に着目してなされたものであり、これまでにない発想に基づいて行われた発明である。

【0012】

本願発明の対象物状態推定システムは、所定の撮影時間間隔で対象物を撮影した複数の画像に基づいて対象物の状態の変化を推定するシステムであり、画像分類手段と状態値算出手段、変化時刻抽出手段を備えたものである。このうち画像分類手段は、機械学習によって構築された「学習済みモデル」を用いた画像認識を行うことによって画像ごとに対象物の変化の有無を判定するとともに、対象物に変化が有ると判定された画像を「変化後画像」に分類する手段である。また状態値算出手段は、対象物の撮影開始から撮影時刻順に数えた変化後画像の累計数である「状態値」を算出する手段であり、変化時刻抽出手段は、状態値があらかじめ定めた閾値を超えたときの画像に係る撮影時刻を対象物の「変化時刻」として抽出する手段である。そして変化時刻抽出手段によって抽出された変化時刻において、対象物の状態が変化したと推定する。

【0013】

本願発明の対象物状態推定システムは、「画像グループ」における変化後画像数の割合を状態値として、対象物の状態変化を推定するものとすることもできる。ここで画像グループとは、撮影時刻順に並べた画像を複数に分割した結果得られる、複数の画像からなる集合である。この場合、状態値算出手段は、画像グループにおける変化後画像数の割合を状態値として算出する。また変化時刻抽出手段は、状態値が閾値を超えた画像グループのうち最も早い撮影時刻に係る画像グループを選出するとともに、選出された画像グループのうちあらかじめ定めた撮影順位（例えば、画像グループの最後）の画像に係る撮影時刻を変化時刻として抽出する。

【0014】

本願発明の対象物状態推定システムは、「画像セット」における変化後画像数の割合を状態値として、対象物の状態変化を推定するものとすることもできる。ここで画像セットとは、撮影時刻順に並べた画像に対して一定数まとめた結果得られる、複数の画像からなる集合である。この場合、状態値算出手段は、画像セットを移動しながら、画像セットにおける変化後画像数の割合を状態値として算出する。また変化時刻抽出手段は、状態値が閾値を超えた画像セットのうち最も早い撮影時刻に係る画像セットを選出するとともに、選出された画像セットのうちあらかじめ定めた撮影順位の画像に係る撮影時刻を変化時刻として抽出する。

【0015】

本願発明の対象物状態推定システムは、継続して締め固めが行われているフレッシュコンクリートを対象として、締固めの程度を推定するものとすることもできる。この場合、画像分類手段は、フレッシュコンクリートが締め固められたと判定された画像を変化後画像に分類する、

【0016】

本願発明の対象物状態推定システムは、表示手段と表示諸元設定手段をさらに備えたものとすることもできる。この表示手段は、画像を複数に分割した「分割画像」を表示する手段であり、表示諸元設定手段は、分割画像ごとに状態値に応じた「表示諸元」を設定する手段である。ここで表示諸元とは、分割画像を表示する際の透過度、分割画像をハイライトするための表示色、分割画像の周囲に表示する枠線の表示色など上げることができる。この場合、画像分類手段は、分割画像ごとに対象物の変化の有無を判定するとともに、対象物に変化が有ると判定された分割画像を変化後画像に分類し、また状態値算出手段は、分割画像ごとに状態値を算出する。そして、表示手段は、表示諸元設定手段によって設定された表示諸元に基づいて、分割画像を表示する。

【0017】

本願発明の対象物状態推定方法は、本願発明の対象物状態推定システムを用いて対象物の状態変化を推定する方法であり、画像取得工程と画像分類工程、状態値算出工程、変化時刻抽出工程を備えた方法である。このうち画像取得工程では、撮影時間間隔で対象物を撮影して複数の画像を取得し、画像分類工程では、画像分類手段によって対象物に変化が有ると判定された画像を変化後画像に分類する。また状態値算出工程では、状態値算出手段によって状態値を算出し、変化時刻抽出工程では、変化時刻抽出手段によって対象物の変化時刻を抽出する。そして、変化時刻抽出工程によって抽出された変化時刻において、対象物の状態が変化したと推定する。

【発明の効果】

【0018】

本願発明の対象物状態推定システム、及び対象物状態推定方法には、次のような効果がある。
（１）例えば、振動バイブレータを操作するオペレータの判断に頼ることなく、客観的にしかも即時的（リアルタイム）にコンクリート（対象物）の締固め完了（状態変化）を判断することができる。
（２）機械学習による画像認識の誤差を吸収する結果、従来に比して適切にコンクリートの締固め程度を判断することができる。
（３）人によって振動バイブレータを操作する場合に限らず、建設機械等に装着した振動バイブレータを操作する場合など、様々なケースに適用することができる。

【図面の簡単な説明】

【0019】

【図1】動画や連続静止画を構成する複数の画像を模式的に示すモデル図。

【図2】本願発明の対象物状態推定システムの主な構成を示すブロック図。

【図3】本願発明の対象物状態推定システムの主な処理の流れを示すフロー図。

【図4】第１の状態値を算出する手順を説明するためのモデル図。

【図5】第２の状態値を算出する手順を説明するためのモデル図。

【図6】第３の状態値を算出する手順を説明するためのモデル図。

【図7】（ａ）は１つの画像を１つの領域として表示された画像を示す正面図、（ｂ）は複数の分割領域で構成された画像を示す正面図。

【図8】（ａ）は締固め初期におけるコンクリートの状態を透過度で表した正面図、（ｂ）は締固めがある程度進行したコンクリートの状態を透過度で表した正面図。

【図9】（ａ）は締固め初期におけるコンクリートの状態を画像枠の表示色で表した正面図、（ｂ）は締固めがある程度進行したコンクリートの状態を画像枠の表示色で表した正面図。

【図10】注目画像グループや注目画像セットのうちあらかじめ定められた撮影順位に基づいて選出された注目画像を模式的に示すモデル図。

【図11】本願発明の対象物状態方法の主な処理の流れを示すフロー図。

【発明を実施するための形態】

【0020】

本願発明の対象物状態推定システム、及び対象物状態推定方法の実施の例を図に基づいて説明する。なお、本願発明の対象物状態推定システム、及び対象物状態推定方法は、その状態が変化していく対象物の特定の変化点（変化状態）を推定する技術であり、したがって状態が変化するあらゆるものを対象とすることができる。例えば、対象物をフレッシュコンクリートとして一定程度硬化した状態を推定したり、対象物を締固め作業が行われている盛土として十分に締固まった状態を推定したり、地すべりや崩壊の危険がある斜面を対象として有害な変動が生じた状態を推定するなど、様々な対象物の状態変化を推定する場合に利用することができる。便宜上ここでは、締固め作業が行われているフレッシュコンクリートを対象として、コンクリートが十分に締固められた状態（以下、「締固め完了状態」という。）を推定する例で説明することとする。

【0021】

また本願発明の対象物状態推定システム、及び対象物状態推定方法を、コンクリートの締固め完了状態の推定に利用する場合、場所打ちコンクリート作業のほか、工場等でのプレキャストコンクリートの製作や、施工現場でのプレキャストコンクリート（いわゆるサイトＰＣ）の製作などで実施することができる。

【0022】

１．全体概要
本願発明は、例えば締固め作業が継続して行われているコンクリートを撮影した画像に基づいて、締固め完了状態を推定する技術である。より詳しくは、締固めによって変化するコンクリートを順次撮影していき、その結果得られる複数の画像ごとに締固め完了状態か否かを暫定的に判断するとともに、その判断が行われた複数の画像から総合的に締固め完了状態となった時点を推定する。そのため、目的とする変化状態（締固め完了状態）を逃さないように、対象物（コンクリート）の画像を取得する時間間隔（以下、「撮影時間間隔」という。）は比較的短い方がよく、図１に示すように動画や連続静止画として対象物を撮影するとよい。なお動画、連続静止画ともに極めて短い間隔で取得された画像（フレーム）で構成されるものであるが、一般的に毎秒２４～６０枚（つまり、２４～６０ｆｐｓ）の画像によるものを動画とすることから、ここでは特に２４ｆｐｓ未満あるいは６０ｆｐｓを超える画像で構成されるものを連続静止画としている。

【0023】

２．対象物状態推定システム
本願発明の対象物状態推定システムについて詳しく説明する。なお、本願発明の対象物状態推定方法は、本願発明の対象物状態推定システムを用いて対象物の変化状態を推定する方法である。したがって、まずは本願発明の対象物状態推定システムについて説明し、その後に本願発明の対象物状態推定方法について説明することとする。

【0024】

図２は、本願発明の対象物状態推定システム１００の主な構成を示すブロック図である。この図に示すように本願発明の対象物状態推定システム１００は、画像分類手段１１０と状態値算出手段１２０、変化時刻抽出手段１３０を含んで構成され、さらに表示諸元設定手段１４０やディスプレイなどの表示手段１５０、画像記憶手段１６０、学習済みモデル記憶手段１７０を含んで構成することもできる。

【0025】

対象物状態推定システム１００を構成する主な要素のうち画像分類手段１１０と状態値算出手段１２０、変化時刻抽出手段１３０、表示諸元設定手段１４０は、専用のものとして製造することもできるし、汎用的なコンピュータ装置を利用することもできる。このコンピュータ装置は、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、マウスやキーボード等の入力手段やディスプレイを具備するもので、パーソナルコンピュータ（ＰＣ）やサーバー、ｉＰａｄ（登録商標）といったタブレット型ＰＣ、スマートフォンを含む携帯端末などによって構成することができる。ディスプレイを具備したコンピュータ装置を利用する場合は、そのディスプレイを表示手段１５０として利用するとよい。

【0026】

また、画像記憶手段１６０や学習済みモデル記憶手段１７０は、汎用的コンピュータの記憶装置を利用することもできるし、データベースサーバーに構築することもできる。データベースサーバーに構築する場合、ローカルなネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に置くこともできるし、インターネット経由（つまり無線通信）で保存するクラウドサーバーとすることもできる。

【0027】

次に、図３を参照しながら本願発明の対象物状態推定システム１００を使用したときの主な処理の流れについて説明する。図３は、対象物状態推定システム１００の主な処理の流れを示すフロー図であり、中央の列に実施する処理を示し、左列にはその処理に必要な入力情報を、右列にはその処理から生まれる出力情報を示している。

【0028】

まずは画像分類手段１１０（図２）が画像記憶手段１６０（図２）から画像を読み出し、その画像に収められているコンクリートの状態が「締固め完了状態」か否かを判断する（図３のＳｔｅｐ１１０）。画像記憶手段１６０には、締固めによって変化するコンクリートを所定の撮影時間間隔で撮影した複数の画像（つまり、動画や連続静止画）が、その撮影時刻と関連付けられた（紐づけられた）うえで記憶されており、すなわちこれら画像には撮影時刻という情報が付与されている。そして画像分類手段１１０は、読み出した画像ごとにそれぞれ締固め完了状態か否かを判断する。ただし、ここでの判断はあくまで画像単位で行ったいわば暫定的な判断であって、コンクリートの状態を最終的に判断するものではない。便宜上ここでは、対象物に変化が有ると判定された画像、つまり締固め完了状態と判断された画像のことを「変化後画像」ということとし、締固め完了状態と判断されない画像のことを「変化前画像」ということとする。換言すれば画像分類手段１１０は、画像記憶手段１６０から読み出した画像ごとに変化後画像、あるいは変化前画像に分類するわけである。

【0029】

画像分類手段１１０が画像を分類するにあたっては、学習済みモデル記憶手段１７０（図２）に記憶された「学習済みモデル」が利用される。この学習済みモデルは、機械学習によって構築されたものであり、より詳しくは「変化後画像とされた画像」や「変化前画像とされた画像」を教師データとして学習することによって変化後画像の特徴量を抽出したもので、任意の画像を入力すると変化後画像に該当するか否かを出力するモデルである。なお、学習済みモデルを構築するための機械学習は、画像認識として多用されるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、ＣＮＮよりも高精度で画像を認識するとされるＮＩＮ（Ｎｅｔｗｏｒｋ Ｉｎ Ｎｅｔｗｏｒｋ）を含む深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）のほか、従来用いられている種々の機械学習技術を採用することができる。

【0030】

画像分類手段１１０が読み出したすべての画像に対して変化後画像か変化前画像に分類すると、状態値算出手段１２０（図２）がコンクリートの状態を示す「状態値」を算出する（図３のＳｔｅｐ１２０）。この状態値は、変化後画像の数や割合に応じて決定される値であり、変化後画像の累計数によって求められる状態値（以下、「第１の状態値」という。）、一定数の画像集合（以下、「画像グループ」）における変化後画像の割合によって求められる状態値（以下、「第２の状態値」という。）、移動していく領域に含まれる画像集合（以下、「画像セット」）における変化後画像の割合によって求められる状態値（以下、「第３の状態値」という。）に大別することができる。以下、第１の状態値と第２の状態値、第３の状態値を求める手順について、それぞれ詳しく説明する。

【0031】

図４は、第１の状態値を算出する手順を説明するためのモデル図である、この図では、個々の画像をそれぞれ線分（縦線）で表しており、撮影を開始した画像（図では最左端の画像）から撮影時刻順（つまり、時間の経過順）に画像を並べている。また、変化前画像と変化後画像を線分の濃淡で区別しており、すなわち変化前画像を淡い（薄い）線分で示し、変化後画像を濃い線分で示している。

【0032】

図４に示すように、時間が経過するほど、つまり締固め時間が長くなるほど、変化後画像に分類された数が多くなる。そして、最初に変化後画像が現れたときには変化後画像の出現頻度は低く、後半（図の右側）には変化後画像の出現頻度が高くなっている。したがって、従来技術のように最初に変化後画像が現れたときを「締固め完了状態」と決定するのは、その画像における特徴量の偶然性を排除することができず、その判断の信頼度は低いといえる。一方、変化後画像の出現数が増えてくるとその出現頻度も高くなり、「締固め完了状態」になったことが十分推定できる。つまり、変化後画像の出現数は、コンクリートの締固め状態を示す指標になると考えることができる。そこで「第１の状態値」は、撮影開始から撮影時刻順に数えた変化後画像の累計数として求めることとした。

【0033】

図５は、第２の状態値を算出する手順を説明するためのモデル図である、この図も図４と同様、淡い線分で示す変化前画像と濃い線分で示す変化後画像を撮影時刻順に並べている。第２の状態値を算出にするにあたっては、まず撮影時刻順に並べた画像を複数の画像グループに分割する。例えば図５の場合、第１画像グループから第５画像グループまで５つの画像グループに分割している。そして第２の状態値は、画像グループを構成する画像の数、つまり変化前画像と変化後画像の総数に対する変化後画像の数の割合（百分率）として求められる。例えば、２１枚の変化前画像と９枚の変化後画像を含む画像グループにおける第２の状態値は３０％であり、３枚の変化前画像と２７枚の変化後画像を含む画像グループにおける第２の状態値は９０％となる。このように第２の状態値は、画像グループごとに算出される。

【0034】

画像グループは、あらかじめ定めた画像枚数ごとに分割することができ、例えば３０枚の画像が含まれるように画像グループを設定することができる。もちろん３０枚単位で分割する場合に限らず、１５枚単位や６０枚単位など、コンクリートの状態等に応じて適宜設定した画像数で分割することができる。また、画像が所定の撮影時間間隔で取得されことを考えれば、画像グループは一定の時間ごとに分割された画像の集合（グループ）ということもできる。例えば、３０ｆｐｓで画像が取得されている場合、３０枚の画像ごとに画像グループを分割すると、その分割グループは１秒間の長さを有すると考えることができる。すなわち画像グループは、いわばコンクリートの状態を判断するための時間幅であり、第２の状態値はその時間幅ごとに判断されたコンクリートの状態を示す指標である。従来、オペレータは１秒～数秒単位で締固めの程度を判定していることから、時間幅が１秒～数秒となるように画像グループを分割するとよい。

【0035】

図６は、第３の状態値を算出する手順を説明するためのモデル図である、この図も図４と同様、淡い線分で示す変化前画像と濃い線分で示す変化後画像を撮影時刻順に並べている。第３の状態値を算出にするにあたっては、まず撮影時刻順に並べた画像に対して画像セットを設定する。この画像セットは、画像グループと同様、複数（例えば３０枚）の画像によって構成される。ただし、画像グループが時間方向に移動しないいわば静的な画像集合であるのに対して、画像セットは時間方向に移動するいわば動的な画像集合である。具体的には図６に示すように、所定枚数（例えば３０枚）の画像が含まれるように設定された領域であって時間が経過する方向に移動していく領域（以下、「移動領域」という。）に、含まれる画像集合が画像セットである。なお移動領域が１回に移動する単位量は任意に設計することができ、例えば撮影時間間隔の倍数（自然数倍）で設定するとよい。

【0036】

第３の状態値は、画像セットに含まれている画像の数、つまり変化前画像と変化後画像の総数に対する変化後画像の数の割合（百分率）として求められる。例えば、１５枚の変化前画像と１５枚の変化後画像を含む画像セットにおける第３の状態値は５０％であり、１２枚の変化前画像と１８枚の変化後画像を含む画像セットにおける第３の状態値は６０％となる。第３の状態値は、画像セットを形成する移動領域が移動するたびに算出される。

【0037】

状態値算出手段１２０が状態値を算出すると、表示諸元設定手段１４０（図２）がその状態値に応じた「表示諸元」を設定する（図３のＳｔｅｐ１３０）とともに、表示手段１５０（図２）がその表示諸元にしたがって画像を表示する（図３のＳｔｅｐ１４０）。ここで表示諸元とは、画像の透過度や、画像を着色するための表示色（以下、「画像表示色」という。）、画像の周囲を表す枠線（以下、「画像枠」という。）の線色や線種など、画像を表示するための要件である。また表示諸元は、コンクリートの状態を示す役割を有しており、したがってその値は状態値に応じて変化する。例えば、状態値が大きな値を示すほど透過度が高くなる（あるいは低くなる）仕様としたり、状態値が所定の値を超えるタイミングで画像表示色を変更する（例えば、赤色→緑色）仕様としたり、状態値が所定の値を超えるタイミングで画像枠の表示色を変更する（例えば、白色→黒色）仕様としたり、あるいは状態値に応じて複数の要件（透過度と画像表示色など）を組み合わせて変化させる仕様するなど、種々の仕様で設計することができる。

【0038】

ところで本願発明の対象物状態推定システム１００は、１つの画像を１つの領域として処理する仕様とすることもできるし、１つの画像を分割した複数の小領域（以下、「分割領域ＳＰ」という。）で構成されたものとして処理する仕様とすることもできる。対象物状態推定システム１００が複数の分割領域ＳＰからなる画像として処理する場合、この分割領域ＳＰを個々の画像として取り扱う。すなわち、画像分類手段１１０（図２）は分割領域ＳＰごとに変化前画像か変化後画像に分類し（図３のＳｔｅｐ１１０）、状態値算出手段１２０（図２）は分割領域ＳＰごとに状態値を算出し（図３のＳｔｅｐ１２０）、表示諸元設定手段１４０（図２）は分割領域ＳＰごとに表示諸元を設定する（図３のＳｔｅｐ１３０）。そして表示手段１５０は、図７（ｂ）に示すように複数（図では６×８枚）の分割領域ＳＰで構成された画像を表示する。なお図７（ａ）は、対象物状態推定システム１００が１つの画像を１つの領域として処理する場合に表示される画像を示している。

【0039】

図８は、表示諸元設定手段１４０が表示諸元として「透過度」を分割領域ＳＰごとに設定し、表示手段１５０がその透過度にしたがって分割領域ＳＰを表示した例を示す図であり、（ａ）は締固め初期におけるコンクリートの状態を表し、（ｂ）は締固めがある程度進行したコンクリートの状態を表している。この図の場合、状態値が大きな値を示すほど透過度が高くなる仕様としており、図８（ａ）では締固め初期であることから黒色で着色された（つまり、透過度が低い）分割領域ＳＰが多く見られる。これに対して図８（ｂ）では、締固めがある程度進行したことから四隅を除くほとんどの分割領域ＳＰが透過された状態とされており、すなわち全体的に締固めが進んでいることが分かる。

【0040】

図９は、表示諸元設定手段１４０が表示諸元として「画像枠の表示色」を分割領域ＳＰごとに設定し、表示手段１５０がその画像枠の表示色にしたがって分割領域ＳＰを表示した例を示す図であり、（ａ）は締固め初期におけるコンクリートの状態を表し、（ｂ）は締固めがある程度進行したコンクリートの状態を表している。この図の場合、状態値が所定の値を超えるタイミングで画像枠の表示色を白色から黒色に変更する仕様としており、図９（ａ）では締固め初期であることから画像枠が白色とされた分割領域ＳＰが多く見られる。これに対して図９（ｂ）では、締固めがある程度進行したことから四隅を除くほとんどの分割領域ＳＰが黒色の画像枠とされており、すなわち全体的に締固めが進んでいることが分かる。

【0041】

なお、取得された画像が所定数だけ増えていくタイミングで、あるいは一定の時間が経過するタイミングで（つまり、定期的に）、画像分類手段１１０が画像（あるいは分割領域ＳＰ）を分類し、状態値算出手段１２０が画像（あるいは分割領域ＳＰ）ごとに状態値を算出し、表示諸元設定手段１４０が画像（あるいは分割領域ＳＰ）ごとに表示諸元を設定することができる。また表示手段１５０も、表示諸元設定手段１４０によって表示諸元が設定されたタイミングで、あるいは定期的に、表示する画像を変更する（切り替える）ことができる。

【0042】

状態値算出手段１２０が状態値を算出すると、変化時刻抽出手段１３０（図２）がその状態値とあらかじめ定めた閾値（以下、「状態閾値」という。）を照らし合わせる（図３のＳｔｅｐ１５０）。そして状態値が状態閾値を下回るとき（Ｓｔｅｐ１５０のＮｏ）は、条件を変更して状態値を求める（図３のＳｔｅｐ１２０）。例えば、図４に示す第１の状態値の場合は、時間を進めて変化後画像の累計数を計上し、図５に示す第２の状態値の場合は、画像グループを変更して（第３画像グループ→第４画像グループ）変化後画像数の割合を求め、図６に示す第３の状態値の場合は、画像セットを変更して（移動領域を移動して）変化後画像数の割合を求める。

【0043】

一方、状態値が状態閾値を超えるとき（Ｓｔｅｐ１５０のＹｅｓ）は、「締固め完了状態」となったと推定できる画像や分割領域ＳＰ（以下、「注目画像」という）を選出するＳｔｅｐ１６０）。この注目画像は、求める状態値の種類に応じて選出するとよい。例えば第１の状態値を求める場合、変化後画像の累計数が状態閾値を初めて超えたときの画像を注目画像として選出することができる。図４の場合、状態閾値を４０枚として設定しており、第１の状態値が４０枚となったときの画像を注目画像として選出している。もちろん状態閾値は４０枚に限らず、９０枚や１２０枚など、コンクリートの状態等に応じて適宜設定することができる。また本願発明の対象物状態推定システム１００が「状態閾値入力手段」を備えることとし、オペレータが所望の状態閾値を入力する仕様とすることもできる。

【0044】

第２の状態値を求める場合、まずは注目画像を含む画像グループ（以下、「注目画像グループ」という。）を選出するとよい。この注目画像グループは、第２の状態値が状態閾値を超えた画像グループのうち最も早い撮影時刻に係るものとして選出することができる。図５の場合、状態閾値を９０％として設定しており、第２の状態値が９０％となったときの第５画像グループが注目画像グループとして選出される。もちろん状態閾値は９０％に限らず、６０％や８０％など、コンクリートの状態等に応じて適宜設定することができる。なお図５で状態閾値を６０％とした場合、第４画像グループの状態値（６０％）と第５画像グループの状態値（９０％）がそれぞれ状態閾値以上となっているが、第５画像グループよりも第４画像グループの撮影時刻の方が早いことから、第４画像グループが注目画像グループとして選出される。

【0045】

注目画像グループが選出されると、その注目画像グループに含まれる画像（あるいは分割領域ＳＰ）のなかから注目画像を選出する。このとき、注目画像グループのうち撮影時刻が早い画像から並べたときの序数（以下、「撮影順位」という）をあらかじめ定めておき、この撮影順位に基づいて注目画像を選出するとよい。例えば図１０に示すケースでは、２０枚の画像によって画像グループが構成されており、撮影順位が１２番目（最後から３番目）の画像を注目画像として選出することとしている。もちろん注目画像として選出する撮影順位は最後から３番目に限らず、注目画像グループのうちの最後の画像としたり、注目画像グループのうちの中間の画像としたり、コンクリートの状態等に応じて適宜設定することができる。

【0046】

第３の状態値を求める場合も、第２の状態値と同様、まずは注目画像を含む画像セット（以下、「注目画像セット」という。）を選出するとよい。この注目画像セットは、第３の状態値が状態閾値を超えた画像セットのうち最も早い撮影時刻に係るものとして選出することができる。そして注目画像セットが選出されると、その注目画像セットに含まれる画像（あるいは分割領域ＳＰ）のなかから注目画像を選出する。このとき、第２の状態値と同様、注目画像セットのうちあらかじめ定められた撮影順位に基づいて注目画像を選出するとよい。

【0047】

注目画像が選出されると、変化時刻抽出手段１３０（図２）がその注目画像に係る撮影時刻（以下、「変化時刻」という。）を抽出する（図３のＳｔｅｐ１７０）。既述したとおり画像記憶手段１６０は、撮影時刻とともに画像を記憶している。したがって、例えば注目画像の識別子をもって画像記憶手段１６０に照会することで、その注目画像の撮影時刻（つまり、変化時刻）を得ることができるわけである。そしてこの変化時刻において、対象物であるコンクリートが「締固め完了状態」となったと推定する。

【0048】

３．対象物状態推定方法
続いて本願発明の対象物状態推定方法について図１１を参照しながら説明する。なお、本願発明の対象物状態推定方法は、ここまで説明した対象物状態推定システム１００を用いて対象物の変化状態を推定するする方法であり、したがって対象物状態推定システム１００で説明した内容と重複する説明は避け、本願発明の対象物状態推定方法に特有の内容のみ説明することとする。すなわち、ここに記載されていない内容は、「２．対象物状態推定システム」で説明したものと同様である。

【0049】

図１１は、本願発明の対象物状態推定方法の主な工程を示すフロー図である。この図に示すように、まずは締固め作業が行われているフレッシュコンクリートの動画や連続静止画を撮影する（図１１のＳｔｅｐ１０）。コンクリートの画像を取得すると、本願発明の対象物状態推定システム１００の画像分類手段１１０を用いて、画像（あるいは分割領域ＳＰ）ごとに変化前画像か変化後画像に分類し（図１１のＳｔｅｐ２０）、対象物状態推定システム１００の状態値算出手段１２０を用いて、画像（あるいは分割領域ＳＰ）ごとに状態値を算出する（図１１のＳｔｅｐ３０）。そして対象物状態推定システム１００の変化時刻抽出手段１３０を用いて、注目画像を選出するとともに変化時刻を抽出し（図１１のＳｔｅｐ４０）、この変化時刻において対象物であるコンクリートが「締固め完了状態」となったと推定する。

【産業上の利用可能性】

【0050】

本願発明の対象物状態推定システム、及び対象物状態推定方法は、コンクリートの締固め判断や、コンクリートの硬化判断、盛土の締固め判断など、その状態が変化する様々な対象物の状態変化を判断する場合に利用できる。本願発明が、例えば、適切に締め固まったいわば高品質のコンクリート構造物を提供することを考えれば、産業上利用できるばかりでなく社会的にも大きな貢献を期待し得る発明といえる。

【符号の説明】

【0051】

１００ 本願発明の対象物状態推定システム
１１０ （対象物状態推定システムの）画像分類手段
１２０ （対象物状態推定システムの）状態値算出手段
１３０ （対象物状態推定システムの）変化時刻抽出手段
１４０ （対象物状態推定システムの）表示諸元設定手段
１５０ （対象物状態推定システムの）表示手段
１６０ （対象物状態推定システムの）画像記憶手段
１７０ （対象物状態推定システムの）学習済みモデル記憶手段
ＳＰ 分割領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】