ホーム > 特許ランキング > コムシス情報システム株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ コムシス情報システム株式会社の特許一覧 ▶ 日本高圧コンクリート株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-05-22
(45)【発行日】2023-05-30
(54)【発明の名称】配筋検査システムおよび配筋検査方法。
(51)【国際特許分類】
G01B 11/08 20060101AFI20230523BHJP
G06T 7/00 20170101ALI20230523BHJP
【ＦＩ】
G01B11/08 H
G06T7/00 610A
【請求項の数】
11
(21)【出願番号】P 2022166773
(22)【出願日】2022-10-18
【審査請求日】2022-10-18
【早期審査対象出願】
(73)【特許権者】
【識別番号】513146376
【氏名又は名称】コムシス情報システム株式会社
(73)【特許権者】
【識別番号】591197699
【氏名又は名称】日本高圧コンクリート株式会社
(74)【代理人】
【識別番号】100148714
【弁理士】
【氏名又は名称】川浪 圭介
(74)【代理人】
【識別番号】100092668
【弁理士】
【氏名又は名称】川浪 薫
(74)【代理人】
【識別番号】100154232
【弁理士】
【氏名又は名称】幸田 京子
(74)【代理人】
【識別番号】100145148
【弁理士】
【氏名又は名称】北上 日出登
(72)【発明者】
【氏名】井原 正人
(72)【発明者】
【氏名】千葉 崇宏
(72)【発明者】
【氏名】岡島 匠吾
(72)【発明者】
【氏名】吉田 恭平
(72)【発明者】
【氏名】坪井 一晃
(72)【発明者】
【氏名】鈴木 洋一
(72)【発明者】
【氏名】吉岡 憲一
(72)【発明者】
【氏名】宮越 亮
【審査官】國田 正久
(56)【参考文献】
【文献】国際公開第２０１８／１５１１６０（ＷＯ，Ａ１）
【文献】国際公開第２０１７／０９４４５６（ＷＯ，Ａ１）
【文献】特開２０２２－０２５８１８（ＪＰ，Ａ）
【文献】特開２０２０－０２６６６３（ＪＰ，Ａ）
【文献】特開２０２０－０２７０５８（ＪＰ，Ａ）
【文献】国際公開第２０２１／０２４４９９（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００ － １１／３０
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／６０ － ７／６８
(57)【特許請求の範囲】
【請求項1】
１つの光学系を有する撮影手段により１つの視点から撮影された画像に基づき、画像の縦横方向と配筋における縦横方向が対応するように画像の視線方向を変換する画像処理部と、変換された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する識別部と、
識別された前記鉄筋部分および該当しない部分につき、画像の統計情報に基づいて修正する修正部と、
を備え、
前記修正部は画像における実質的な縦方向に相当する方向に、視線方向変換済の画像を走査し、
当該走査方向に対応する各画素につき、前記鉄筋部分を示す第１画素を特定する特定部を含み、
前記特定部は当該走査方向における前記第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、当該閾値を超えた場合にその走査方向に存在する画素を全て前記第１画素に置き換える
ことを特徴とする配筋検査システム。
【請求項2】
１つの光学系を有する撮影手段により１つの視点から撮影された画像に基づき、画像の縦横方向と配筋における縦横方向が対応するように画像の視線方向を変換する画像処理部と、変換された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する識別部と、
識別された前記鉄筋部分および該当しない部分につき、画像の統計情報に基づいて修正する修正部と、
を備え、
前記修正部は画像における実質的な横方向に相当する方向に、視線方向変換済の画像を走査し、
当該走査方向に対応する各画素につき、前記鉄筋部分を示す第１画素を特定する特定部を含み、
前記特定部は当該走査方向における前記第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、当該閾値を超えた場合にその走査方向に存在する画素を全て前記第１画素に置き換える
ことを特徴とする配筋検査システム。
【請求項3】
１つの光学系を有する撮影手段により１つの視点から撮影された画像に基づき、画像の縦横方向と配筋における縦横方向が対応するように画像の視線方向を変換する画像処理部と、変換された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する識別部と、
識別された前記鉄筋部分および該当しない部分につき、画像の統計情報に基づいて修正する修正部と、
を備え、
前記修正部は画像における実質的な縦方向および実質的な横方向に相当する方向に、視線方向変換済みの画像を走査し、
当該各走査方向に対応する各画素につき、前記鉄筋部分を示す第１画素を特定する特定部を含み、
前記特定部は当該走査方向における前記第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、当該閾値を超えた場合にその走査方向に存在する画素を全て前記第１画素に置き換える
ことを特徴とする配筋検査システム。
【請求項4】
撮影された画像の一範囲または全範囲を指定する入力にしたがい、前記画像処理部による当該範囲の視線方向が変換されることを特徴とする請求項１～３のいずれか１項に記載の配筋検査システム。
【請求項5】
前記修正部は前記変換された画像において、識別された前記鉄筋部分と、前記該当しない部分とに分かれるよう二値で表した二値画像に変換することを特徴とする請求項４に記載の配筋検査システム。
【請求項6】
前記特定部は当該走査方向における前記第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、当該閾値以下である場合にその走査方向に存在する画素を全て前記第１画素以外の画素に置き換えることを特徴とする請求項１～３のいずれか１項に記載の配筋検査システム。
【請求項7】
前記修正部は、画像に対しクロージング処理を実施し、前記第1画素を膨張させてから収縮させることにより、ノイズを除去することを特徴とする請求項１～３のいずれか１項に記載の配筋検査システム。
【請求項8】
前記修正部は、画像に対しオープニング処理を実施し、前記第1画素を膨張させてから収縮させることにより、ノイズを除去することを特徴とする請求項１～３のいずれか１項に記載の配筋検査システム。
【請求項9】
配筋検査方法であって、１つの光学系を有する撮影手段により１つの視点から撮影された画像に基づき、画像の縦横方向と配筋における縦横方向が対応するように画像の視線方向を変換する工程と、
変換された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する工程と、
画像における実質的な縦方向に相当する方向に、視線方向変換済の画像を走査する工程と、
当該走査方向に対応する各画素につき、前記鉄筋部分を示す第１画素を特定する工程と、
当該走査方向における前記第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、当該閾値を超えた場合にその走査方向に存在する画素を全て前記第１画素に置き換える工程とを含む、配筋検査方法。
【請求項10】
配筋検査方法であって、１つの光学系を有する撮影手段により１つの視点から撮影された画像に基づき、画像の縦横方向と配筋における縦横方向が対応するように画像の視線方向を変換する工程と、
変換された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する工程と、
画像における実質的な横方向に相当する方向に、視線方向変換済の画像を走査する工程と、
当該走査方向に対応する各画素につき、前記鉄筋部分を示す第１画素を特定する工程と、
当該走査方向における前記第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、当該閾値を超えた場合にその走査方向に存在する画素を全て前記第１画素に置き換える工程とを含む、
配筋検査方法。
【請求項11】
配筋検査方法であって、１つの光学系を有する撮影手段により１つの視点から撮影された画像に基づき、画像の縦横方向と配筋における縦横方向が対応するように画像の視線方向を変換する工程と、
変換された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する工程と、
識別された前記鉄筋部分および該当しない部分につき、画像の統計情報に基づいて修正する工程と、
画像における実質的な縦方向および実質的な横方向に相当する方向に、視線方向変換済みの画像を走査する工程と、
当該各走査方向に対応する各画素につき、前記鉄筋部分を示す第１画素を特定する工程と、
当該走査方向における前記第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、当該閾値を超えた場合にその走査方向に存在する画素を全て前記第１画素に置き換える工程とを含む、配筋検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、配筋検査システムおよび配筋検査方法に関する。
【背景技術】
【0002】
鉄筋コンクリートを用いた構造物の土木工事や建築工事等において、間隔をあけて鉄筋を配置する工程がある。従来、その工程の後、目視にて配置する鉄筋の本数と間隔の確認が行われていた。しかしながら、近年土木工事の現場において検査の品質向上や、省力化が望まれるようになっている。
【0003】
この点、配置された鉄筋（鉄筋出来形）を撮影し、そのデータに基づいて鉄筋径、鉄筋間隔等を計測する技術の開発が進められている。例えば鉄筋コンクリートを用いる土木工事において、配筋作業の実施者等が鉄筋出来形の鉄筋径、鉄筋間隔等を撮影し、画像データとする。例えば鉄筋出来形の撮影による画像データから領域検出モデルにより鉄筋を検出して計測する技術が提案されている（例えば特許文献１）
【先行技術文献】
【特許文献】
【0004】
【文献】特開2022-030356号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
鉄筋出来形の撮影の後工程で撮影画像内の鉄筋の検出をすることになるため、検出しやすいように撮影するか、出来形の撮影後に鉄筋の検出ミスを低減する方法が必要となる。また鉄筋層が複数層ある場合、最も撮影手段に近い側の鉄筋層と、それより下層にある鉄筋層との区別も必要である。このような鉄筋の検出に支障をきたす要因を排除することが望まれる。
【0006】
この発明は、上記課題を解決するためになされたものであり、その目的は、配筋検査システムにおいて検査ミスを低減することにある。
【課題を解決するための手段】
【0007】
実施形態の配筋検査システムは、
１つの視点から撮影された画像に基づき、画像の縦横方向と配筋における縦横方向が対応するように画像の視線方向を変換する画像処理部と、
変換された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する識別部と、
識別された前記鉄筋部分および該当しない部分につき、画像の統計情報に基づいて修正する修正部と、を備える。
上記実施形態の配筋システムにおいて、撮影された画像の一範囲または全範囲を指定する入力にしたがい、画像処理部による視線方向が変換されてもよい。
上記実施形態の配筋検査システムにおいて、修正部は前記変換された画像において、識別された鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換してもよい。
上記実施形態の配筋検査システムにおいて、視線方向変換済の画像の鉄筋部分のうち、当該画像における実質的に縦方向に相当する縦方向鉄筋部分について、修正部が識別の誤りを判定してもよい。
上記実施形態の配筋検査システムにおいて、視線方向変換済の画像の鉄筋部分のうち、当該画像における実質的に横方向に相当する横方向鉄筋部分について、修正部が識別の誤りを判定してもよい。
上記実施形態の配筋検査システムにおいて、視線方向変換済の画像の鉄筋部分のうち、当該画像における実質的に縦方向に相当する縦方向鉄筋部分について、修正部が識別の誤りを判定し、
さらに当該画像における実質的に横方向に相当する横方向鉄筋部分について、修正部が識別の誤りを判定してもよい。
上記実施形態の配筋検査システムにおいて、修正部は画像を所定の方向に走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する特定部をさらに有してもよい。
さらに特定部は当該走査方向における第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、閾値を超えた場合にその走査方向に存在する画素を全て第１画素に置き換えてもよい。
さらに特定部は当該走査方向における第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、閾値以下である場合にその走査方向に存在する画素を全て第１画素以外の画素に置き換えてもよい。
上記実施形態の配筋検査システムにおいて、修正部は、画像に対しクロージング処理を実施し、第1画素を膨張させてから収縮させることにより、ノイズを除去してもよい。
上記実施形態の配筋検査システムにおいて、修正部は、画像に対しオープニング処理を実施し、第1画素を収縮させてから膨張させることにより、ノイズを除去してもよい。
他の実施形態の配筋検査システムは、
１つの視点から撮影された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する識別部と、
識別された鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換する変換部とを備える。
上記実施形態の配筋システムにおいて、識別された前記鉄筋部分および該当しない部分につき、画像の統計情報に基づいて修正する修正部を備えてもよい。
上記実施形態の配筋システムにおいて、撮影された画像の一範囲または全範囲を指定する入力にしたがい、画像処理部による視線方向が変換されてもよい。
上記実施形態の配筋検査システムにおいて、修正部は画像を所定の方向に走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する特定部をさらに有してもよい。
さらに特定部は当該走査方向における第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、閾値を超えた場合にその走査方向に存在する画素を全て第１画素に置き換えてもよい。
さらに特定部は当該走査方向における第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、閾値以下である場合にその走査方向に存在する画素を全て第１画素以外の画素に置き換えてもよい。
上記実施形態の配筋検査システムにおいて、修正部は、画像に対しクロージング処理を実施し、第1画素を膨張させてから収縮させることにより、ノイズを除去してもよい。
上記実施形態の配筋検査システムにおいて、修正部は、画像に対しオープニング処理を実施し、第1画素を収縮させてから膨張させることにより、ノイズを除去してもよい。
１つの視点から撮影された画像に基づき、画像の縦横方向と配筋における縦横方向が対応するように画像の視線方向を変換する画像処理部と、
変換された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する識別部と、
識別された前記鉄筋部分および該当しない部分につき、画像の統計情報に基づいて修正する修正部と、を備える。
上記実施形態の配筋システムにおいて、撮影された画像の一範囲または全範囲を指定する入力にしたがい、画像処理部による視線方向が変換されてもよい。
上記実施形態の配筋検査システムにおいて、修正部は前記変換された画像において、識別された鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換してもよい。
上記実施形態の配筋検査システムにおいて、視線方向変換済の画像の鉄筋部分のうち、当該画像における実質的に縦方向に相当する縦方向鉄筋部分について、修正部が識別の誤りを判定してもよい。
上記実施形態の配筋検査システムにおいて、視線方向変換済の画像の鉄筋部分のうち、当該画像における実質的に横方向に相当する横方向鉄筋部分について、修正部が識別の誤りを判定してもよい。
上記実施形態の配筋検査システムにおいて、視線方向変換済の画像の鉄筋部分のうち、当該画像における実質的に縦方向に相当する縦方向鉄筋部分について、修正部が識別の誤りを判定し、
さらに当該画像における実質的に横方向に相当する横方向鉄筋部分について、修正部が識別の誤りを判定してもよい。
上記実施形態の配筋検査システムにおいて、修正部は画像を所定の方向に走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する特定部をさらに有してもよい。
さらに特定部は当該走査方向における第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、閾値を超えた場合にその走査方向に存在する画素を全て第１画素に置き換えてもよい。
さらに特定部は当該走査方向における第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、閾値以下である場合にその走査方向に存在する画素を全て第１画素以外の画素に置き換えてもよい。
上記実施形態の配筋検査システムにおいて、修正部は、画像に対しクロージング処理を実施し、第1画素を膨張させてから収縮させることにより、ノイズを除去してもよい。
上記実施形態の配筋検査システムにおいて、修正部は、画像に対しオープニング処理を実施し、第1画素を収縮させてから膨張させることにより、ノイズを除去してもよい。
他の実施形態の配筋検査システムは、
１つの視点から撮影された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する識別部と、
識別された鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換する変換部とを備える。
上記実施形態の配筋システムにおいて、識別された前記鉄筋部分および該当しない部分につき、画像の統計情報に基づいて修正する修正部を備えてもよい。
上記実施形態の配筋システムにおいて、撮影された画像の一範囲または全範囲を指定する入力にしたがい、画像処理部による視線方向が変換されてもよい。
上記実施形態の配筋検査システムにおいて、修正部は画像を所定の方向に走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する特定部をさらに有してもよい。
さらに特定部は当該走査方向における第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、閾値を超えた場合にその走査方向に存在する画素を全て第１画素に置き換えてもよい。
さらに特定部は当該走査方向における第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、閾値以下である場合にその走査方向に存在する画素を全て第１画素以外の画素に置き換えてもよい。
上記実施形態の配筋検査システムにおいて、修正部は、画像に対しクロージング処理を実施し、第1画素を膨張させてから収縮させることにより、ノイズを除去してもよい。
上記実施形態の配筋検査システムにおいて、修正部は、画像に対しオープニング処理を実施し、第1画素を収縮させてから膨張させることにより、ノイズを除去してもよい。
【発明の効果】
【0008】
実施形態によれば、配筋検査システムにおいて配筋の検出ミスを低減することが可能である。
【図面の簡単な説明】
【0009】
【図1】第１実施形態の配筋検査システムを示す概略ブロック図。
【図2】視点変換（射影変換）前の画像の一例。
【図3】視点変換（射影変換）後の画像の一例。
【図4】第１実施形態の走査方向を示す概念図。
【図5】概略フローチャート。
【図6】第２実施形態の配筋検査システムを示す概略ブロック図。
【図7】二値画像変換前の一例
【図8】二値画像変換後の一例
【図9】第２実施形態の走査方向を示す概念図。
【図10】第２実施形態の概略フローチャート。
【図11】第３実施形態の配筋検査システムを示す概略ブロック図。
【図12】二値画像の一例。
【図14】ノイズ除去処理を示す概念図。
【図15】第３実施形態の概略フローチャート。
【図16】第４実施形態の配筋検査システムを示す概略ブロック図。
【図17】視点変換（射影変換）後・二値画像の一例。
【図18】縦方向白画素領域を示す概念図。
【図19】縦方向走査を示す概念図。
【図20】縦方向走査・割合判定を示す概念図。
【図21】横方向走査を示す概念図。
【図22】横方向走査・判定後の画素置換状態を示す概略図。
【図23】第４実施形態の概略フローチャート。
【図24】ユーザインターフェースの一例。
【図25】ユーザインターフェースの一例。
【図26】ユーザインターフェースの一例。
【図27】ユーザインターフェースの一例。
【図28】ユーザインターフェースの一例。
【発明を実施するための形態】
【0010】
【0011】
［第１実施形態］
第１実施形態にかかる配筋検査システム１００の全体構成について図１～図６を参照して説明する。なお、図１における配筋検査システムは一例であり、その他の構成を含むことを除外するものではなく、様々な形態で実施することが可能である。
第１実施形態にかかる配筋検査システム１００の全体構成について図１～図６を参照して説明する。なお、図１における配筋検査システムは一例であり、その他の構成を含むことを除外するものではなく、様々な形態で実施することが可能である。
【0012】
（システムの概要）
図１に示すように、配筋検査システム１００は、撮影部１１０、記憶部１２０、画像処理部１３０、識別部１４０、修正部１５０、制御部Cおよび表示手段Dを備える。撮影部１１０は、例えばタブレット端末に設けられた撮像手段である。撮像手段により得られた撮像データは、タッチパネルや保存ボタンの操作により、画像データとして記憶部１２０に記憶される。画像処理部１３０は、画像の縦横方向と配筋における縦横方向が対応するように画像の視線方向を変換する。識別部１４０は変換された画像データから鉄筋の領域を検出する。修正部１５０は、識別部１４０により検出された鉄筋部分とそれ以外の部分につき、画像の統計情報に基づいて修正する。なお、以下の図に表される画像は一例である。
図１に示すように、配筋検査システム１００は、撮影部１１０、記憶部１２０、画像処理部１３０、識別部１４０、修正部１５０、制御部Cおよび表示手段Dを備える。撮影部１１０は、例えばタブレット端末に設けられた撮像手段である。撮像手段により得られた撮像データは、タッチパネルや保存ボタンの操作により、画像データとして記憶部１２０に記憶される。画像処理部１３０は、画像の縦横方向と配筋における縦横方向が対応するように画像の視線方向を変換する。識別部１４０は変換された画像データから鉄筋の領域を検出する。修正部１５０は、識別部１４０により検出された鉄筋部分とそれ以外の部分につき、画像の統計情報に基づいて修正する。なお、以下の図に表される画像は一例である。
【0013】
（撮影部１１０）
撮影部１１０は、図示しない１つの光学系、すなわちレンズ、絞りおよびシャッタ等を有する。撮影部１１０は合照機能を有していてもよい。また撮影部１１０は図示しない撮像素子を有し、撮像素子は光学系を制御して撮像データを生成する。撮像素子としてはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを挙げることができる。また撮影部１１０は撮像データをとＡ／Ｄ変換する信号処理回路等を備える。
撮影部１１０は、図示しない１つの光学系、すなわちレンズ、絞りおよびシャッタ等を有する。撮影部１１０は合照機能を有していてもよい。また撮影部１１０は図示しない撮像素子を有し、撮像素子は光学系を制御して撮像データを生成する。撮像素子としてはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを挙げることができる。また撮影部１１０は撮像データをとＡ／Ｄ変換する信号処理回路等を備える。
【0014】
（記憶部１２０）
記憶部１２０は、撮像データ、画像データ、二値画像データ、各種プログラム、領域検出モデル等を記憶する。記憶部１２０としては、ＨＤＤ、ＳＳＤ、フラッシュメモリの他、任意のデバイスを利用可能である。また記憶部１２０は少なくとも一時的なデータの記憶をする一時記憶装置を含む。また主記憶装置は記憶部１２０に含まれていてもよく、または外部の記憶手段を用いる構成であってもよい。
記憶部１２０は、撮像データ、画像データ、二値画像データ、各種プログラム、領域検出モデル等を記憶する。記憶部１２０としては、ＨＤＤ、ＳＳＤ、フラッシュメモリの他、任意のデバイスを利用可能である。また記憶部１２０は少なくとも一時的なデータの記憶をする一時記憶装置を含む。また主記憶装置は記憶部１２０に含まれていてもよく、または外部の記憶手段を用いる構成であってもよい。
【0015】
（画像処理部１３０）
画像処理部１３０は、撮像データを画像データに変換し、さらに画像データの縦横方向と、撮像対象である配筋における縦横方向、すなわち実際に設置された鉄筋を垂直方向から見た場合の縦横方向とが対応するように画像の視線方向を変換する。
画像処理部１３０は、撮像データを画像データに変換し、さらに画像データの縦横方向と、撮像対象である配筋における縦横方向、すなわち実際に設置された鉄筋を垂直方向から見た場合の縦横方向とが対応するように画像の視線方向を変換する。
【0016】
一例を説明する。任意の制御により表示手段Dに配筋状態の画像データが表示される。画像データに基づく画像ID１が表示された状態で、図２に示すように、ユーザが図示しない入力部等を介して画像における任意の４点Ｃ１～Ｃ４で囲まれる領域Ｒを指定する操作を行うと、配筋検査システム１００の制御部Cはその領域Ｒを指定範囲として受け付ける。
【0017】
画像処理部１３０は、当該指定範囲の画像データに対し、射影変換を実行し、歪みを補正する。図３の例に示すように、補正された指定範囲の画像では、画像データの縦横方向に沿うように、配筋状態の縦横の鉄筋の方向が実質的に対応する状態となる。実質的に方向が対応するとは、指定範囲内の鉄筋の中心線が、画像データの縦横方向に概ね沿っていることを示す。例えば、画像データの縦横方向に対し、各中心線のずれ角度が±３°程度である場合である。このようにして変換後の指定範囲のデータが次に述べる識別部１４０の処理対象となる。
【0018】
（識別部１４０）
識別部１４０は、ディープラーニング（深層学習）により画像データから鉄筋を検出する。ディープラーニングによる物体検知モデル（アルゴリズムでもよい）によって、画像データにおける表層の鉄筋をそれぞれ検出する。
識別部１４０は、ディープラーニング（深層学習）により画像データから鉄筋を検出する。ディープラーニングによる物体検知モデル（アルゴリズムでもよい）によって、画像データにおける表層の鉄筋をそれぞれ検出する。
【0019】
（修正部１５０）
修正部１５０は識別部１４０により検出された鉄筋部分とそれ以外の部分につき、画像の統計情報に基づいて修正する。１つの具体例として修正部１５０は、当該画像における検出エラーを統計情報に基づいて判定し、修正を実行する。なお、ここで説明する検出とは、「識別」の一例である。
修正部１５０は識別部１４０により検出された鉄筋部分とそれ以外の部分につき、画像の統計情報に基づいて修正する。１つの具体例として修正部１５０は、当該画像における検出エラーを統計情報に基づいて判定し、修正を実行する。なお、ここで説明する検出とは、「識別」の一例である。
【0020】
＜第１例；縦方向判定＞
修正部１５０は、画像データから検出された鉄筋それぞれのうち、画像における実質的に縦方向に相当する縦方向鉄筋部分について、検出エラーを判定する。例えば修正部１５０は特定部１５１を含み、特定部１５１は所定の画素数単位で画像の縦方向に走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する（図４参照）。具体的にはあらかじめ記憶された１つまたは複数の画素値の範囲に該当するか否かで特定されてもよい。つまり、修正対象の画像はカラー画像、グレースケール画像、二値画像のいずれでもよいが、対応する画像の画素値でこの特定が実行される。すなわち第１画素は、特定の単一または複数の画素値を有する画素である。
修正部１５０は、画像データから検出された鉄筋それぞれのうち、画像における実質的に縦方向に相当する縦方向鉄筋部分について、検出エラーを判定する。例えば修正部１５０は特定部１５１を含み、特定部１５１は所定の画素数単位で画像の縦方向に走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する（図４参照）。具体的にはあらかじめ記憶された１つまたは複数の画素値の範囲に該当するか否かで特定されてもよい。つまり、修正対象の画像はカラー画像、グレースケール画像、二値画像のいずれでもよいが、対応する画像の画素値でこの特定が実行される。すなわち第１画素は、特定の単一または複数の画素値を有する画素である。
【0021】
修正部１５０は、縦の走査方向それぞれにおける第1画素の割合を求める。また修正部１５０は、その求めた割合が閾値を超えたか判定する。この閾値は例えば記憶部１２０にあらかじめ記憶されている値か、あるいは都度ユーザが入力操作により値を設定する構成であってもよい。修正部１５０は、閾値を超えた場合にその走査方向に存在する画素を全て第１画素に置き換えてもよい。割合の閾値は例えば５０％であり、求めた第１画素の割合が５０％を超えると、修正部１５０はその走査方向に存在する画素を全て第１画素に置き換えるという構成が一例である。
【0022】
修正部１５０はこのようにして、画像から検出された鉄筋部分が誤検出であるか否かを判定している。なお第１画素の割合の閾値としては４５％が一例である。下限は２０％、上限は５５％である。
【0023】
＜第２例；横方向判定＞
修正部１５０は、画像データから検出された鉄筋それぞれのうち、画像における実質的に横方向に相当する横方向鉄筋部分について、検出エラーを判定する。上記と同様に特定部１５１は所定の画素数単位で画像の横方向に走査し、当該走査方向に対応する各画素につき、第１画素を特定する。具体的にはあらかじめ記憶された１つまたは複数の画素値の範囲に該当するか否かで特定されてもよい。つまり第１画素は、特定の単一または複数の画素値を有する画素である。
修正部１５０は、画像データから検出された鉄筋それぞれのうち、画像における実質的に横方向に相当する横方向鉄筋部分について、検出エラーを判定する。上記と同様に特定部１５１は所定の画素数単位で画像の横方向に走査し、当該走査方向に対応する各画素につき、第１画素を特定する。具体的にはあらかじめ記憶された１つまたは複数の画素値の範囲に該当するか否かで特定されてもよい。つまり第１画素は、特定の単一または複数の画素値を有する画素である。
【0024】
修正部１５０は、横の走査方向それぞれにおける第1画素の割合を求める。また修正部１５０は、その求めた割合が閾値を超えたか判定する。この閾値は例えば記憶部１２０にあらかじめ記憶されている値か、あるいは都度ユーザが入力操作により値を設定する構成であってもよい。修正部１５０は、閾値を超えた場合にその走査方向に存在する画素を全て第１画素に置き換えてもよい。割合の閾値例については上記と同様である。
【0025】
＜第３例；斜め方向判定＞
修正部１５０は、射影変換により検出後の画像内の鉄筋部分の方向が画像の縦横方向と対応していない場合であっても、鉄筋部分の中心線の延伸方向を特定し、その方向において第１画素の割合を求め検出エラーの判定および当該走査方向における第１画素への変換をしてもよい。
修正部１５０は、射影変換により検出後の画像内の鉄筋部分の方向が画像の縦横方向と対応していない場合であっても、鉄筋部分の中心線の延伸方向を特定し、その方向において第１画素の割合を求め検出エラーの判定および当該走査方向における第１画素への変換をしてもよい。
【0026】
（計測機能）
制御部Cは、検出エラーの修正後の画像において縦横方向それぞれで鉄筋の間隔を求める。さらに画像内の画素から求められるピクセル間隔を、任意の方法で実際の鉄筋間隔に置き換える算出を実施する。１つの例としては、実際の任意の１つの鉄筋間隔のみ数値を入力し、それに基づいてすべての鉄筋間隔を求めてもよい。
制御部Cは、検出エラーの修正後の画像において縦横方向それぞれで鉄筋の間隔を求める。さらに画像内の画素から求められるピクセル間隔を、任意の方法で実際の鉄筋間隔に置き換える算出を実施する。１つの例としては、実際の任意の１つの鉄筋間隔のみ数値を入力し、それに基づいてすべての鉄筋間隔を求めてもよい。
【0027】
他の例として距離の基準となるロッドテープを撮影範囲および上記指定範囲に含めることで、ロッドテープをディープラーニングにより検出させる方法をとることも可能である。この構成において、画像に対する実際の距離の比率を手動で修正可能としてもよい。例えば長さが一意（500mm）のロッドテープを使うことで、ディープラーニングによって該当する領域を検出し、実際の鉄筋間隔（距離）と画像サイズを整合させてもよい。
【0028】
上記説明における各部の処理は、説明の便宜上、図１に示す制御部Ｃの制御の下に実行されるものとして説明した。この制御部Ｃは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等のうち、単一または複数の回路を含んで構成されていてもよい。制御部Ｃはメモリに保存された例えば配筋検査プログラムを読み出し実行することで機能を実現する。なお、メモリにプログラムを保存する代わりに、回路内にプログラムを直接組み込むよう構成しても構わない。この場合、制御部Ｃとしての回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、制御部Ｃは単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサーとして構成し、その機能を実現するようにしてもよい。さらに、実施形態における複数の構成要素（例えば撮影部１１０、記憶部１２０、画像処理部１３０、識別部１４０、修正部１５０および計測機能のうち少なくとも２以上）を１つのプロセッサーへ統合してその機能を実現するようにしてもよい。
【0029】
［動作］
図５は、本実施形態における処理の流れを示す図である。以下に、配筋検査システム１００の動作を、ステップ番号（Ｓ１０１～Ｓ１０８）に添って説明する。
図５は、本実施形態における処理の流れを示す図である。以下に、配筋検査システム１００の動作を、ステップ番号（Ｓ１０１～Ｓ１０８）に添って説明する。
【0030】
（Ｓ１０１）
配筋検査システム１００における撮像部１１０は、撮像操作が実行されると、光学系を制御し、撮像素子に入力された情報に基づいて撮像データを生成する。記憶部１２０は撮像データを一時記憶する。画像処理部１３０は撮像データを画像データに変換し表示手段Dに表示させる。
配筋検査システム１００における撮像部１１０は、撮像操作が実行されると、光学系を制御し、撮像素子に入力された情報に基づいて撮像データを生成する。記憶部１２０は撮像データを一時記憶する。画像処理部１３０は撮像データを画像データに変換し表示手段Dに表示させる。
【0031】
（Ｓ１０２）
表示手段Dに表示された画像データに対し、画像データが表示された状態で、図２に示すように、ユーザが図示しない入力部等を介して画像における任意の４点で囲まれる領域を指定する操作を行うと、配筋検査システム１００の制御部Cはその領域を指定範囲として受け付ける。
表示手段Dに表示された画像データに対し、画像データが表示された状態で、図２に示すように、ユーザが図示しない入力部等を介して画像における任意の４点で囲まれる領域を指定する操作を行うと、配筋検査システム１００の制御部Cはその領域を指定範囲として受け付ける。
【0032】
（Ｓ１０３）
画像処理部１３０は、当該指定範囲の画像データに対し、射影変換を実行し、歪みを補正する。図３の例に示すように、補正された指定範囲の画像では、画像データの縦横方向に沿うように、配筋状態の縦横の鉄筋の方向が実質的に対応する状態となる。
画像処理部１３０は、当該指定範囲の画像データに対し、射影変換を実行し、歪みを補正する。図３の例に示すように、補正された指定範囲の画像では、画像データの縦横方向に沿うように、配筋状態の縦横の鉄筋の方向が実質的に対応する状態となる。
【0033】
（Ｓ１０４）
識別部１４０は、ディープラーニングにより画像データから鉄筋を検出する。
識別部１４０は、ディープラーニングにより画像データから鉄筋を検出する。
【0034】
（Ｓ１０５）
修正部１５０における特定部１５１は所定の画素数単位で画像の縦方向に走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する（図４参照）。
修正部１５０における特定部１５１は所定の画素数単位で画像の縦方向に走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する（図４参照）。
【0035】
（Ｓ１０６）
修正部１５０は、例えば縦の走査方向それぞれにおける第1画素の割合を求める。
修正部１５０は、例えば縦の走査方向それぞれにおける第1画素の割合を求める。
【0036】
（Ｓ１０７）
また修正部１５０は、その求めた割合が閾値を超えたか判定する。修正部１５０は割合が閾値を超えない場合には（Ｓ１０７；Ｎｏ）、当該走査方向における処理を終了する。また、次のＳ１０８の逆の処理として、修正部１５０はその走査方向に存在する画素を全て第１画素以外の画素値に置き換えるという構成とすることも可能である。
また修正部１５０は、その求めた割合が閾値を超えたか判定する。修正部１５０は割合が閾値を超えない場合には（Ｓ１０７；Ｎｏ）、当該走査方向における処理を終了する。また、次のＳ１０８の逆の処理として、修正部１５０はその走査方向に存在する画素を全て第１画素以外の画素値に置き換えるという構成とすることも可能である。
【0037】
（Ｓ１０８）
Ｓ１０７の判定の結果、割合が閾値を超えた場合には（Ｓ１０７；Ｙｅｓ）、修正部１５０によりその走査方向に存在する画素を全て第１画素に置き換える。
Ｓ１０７の判定の結果、割合が閾値を超えた場合には（Ｓ１０７；Ｙｅｓ）、修正部１５０によりその走査方向に存在する画素を全て第１画素に置き換える。
【0038】
横方向の操作も同様に、修正部１５０は割合が閾値を超えない場合には（Ｓ１０７；Ｎｏ）、当該走査方向における処理を終了する。割合が閾値を超えた場合には（Ｓ１０７；Ｙｅｓ）、修正部１５０により当該横の走査方向に存在する画素を全て第１画素に置き換える。この場合も逆の処理として、修正部１５０はその走査方向に存在する画素を全て第１画素以外の画素値に置き換えるという構成とすることも可能である。
【0039】
修正部１５０は、所定間隔で縦横方向それぞれについて画像全体にこの走査および割合判定と、第１画素への置換処理を実行する。その後計測処理が実行される。
【0040】
［効果］
本実施形態によれば、配筋検査システムにおいて配筋の検出ミスを低減することが可能である。例えば、ディープラーニングによる画像内の鉄筋部分の検出の前に、射影変換等による画像の縦横方向と、画像の視線方向を合わせようとすることで、誤検出を大幅に低減させることが可能である。例えばこれにより何層か重畳して配筋されている場合に、表層の配筋を検出しやすくなる。また射影変換を行うことで、鉄筋の配置が縦横の2軸に学習モデルを絞ることができ、検出精度が向上する。
本実施形態によれば、配筋検査システムにおいて配筋の検出ミスを低減することが可能である。例えば、ディープラーニングによる画像内の鉄筋部分の検出の前に、射影変換等による画像の縦横方向と、画像の視線方向を合わせようとすることで、誤検出を大幅に低減させることが可能である。例えばこれにより何層か重畳して配筋されている場合に、表層の配筋を検出しやすくなる。また射影変換を行うことで、鉄筋の配置が縦横の2軸に学習モデルを絞ることができ、検出精度が向上する。
【0041】
すなわち通常の撮像手段を使って、配筋のような構造体を撮影した場合には、実際には縦横に整列したものであるにもかかわらず、画像の縦横方向と対応しない傾向がある。それを、計測エリアの四隅に該当する個所を設定し射影変換を行うことで、本来の構造としての情報を保有した画像へと修正が可能となる。
【0042】
また、本実施形態では、鉄筋の検出後、検出された画像を所定方向に走査することで鉄筋部分を示す第１画素が特定される。さらに、第１画素が特定されると、その走査方向における第１画素の割合が特定され、所定割合を超えた場合にその走査方向に存在する画素を全て第１画素に置き換える。これにより、走査方向における鉄筋部分が所定割合以下である場合、誤検出として判定することができる。さらに検出ミスにより実際には鉄筋部分であるが鉄筋部分として検出できなかった画素について補完することが可能である。
【0043】
以上の実施形態の効果により、再撮影や手動による画像処理操作の増加を防ぐことが可能であり、従来の配筋検査システムと比較して配筋検査作業の省力化が可能である。
【0044】
【0045】
（概要）
図６に示すように、配筋検査システム２００は、撮影部２１０、記憶部２２０、識別部２４０、修正部２５０、制御部Cおよび表示手段Dを備える。第２実施形態においては、第１実施形態と異なり画像処理部１３０を含まない。したがって、撮像した画像の視線方向を変換する処理を行わない。なお、以下の図に表される画像は一例である。
図６に示すように、配筋検査システム２００は、撮影部２１０、記憶部２２０、識別部２４０、修正部２５０、制御部Cおよび表示手段Dを備える。第２実施形態においては、第１実施形態と異なり画像処理部１３０を含まない。したがって、撮像した画像の視線方向を変換する処理を行わない。なお、以下の図に表される画像は一例である。
【0046】
第１実施形態と同様に、識別部２４０は、ディープラーニングにより画像データから鉄筋の領域を検出する。ディープラーニングによる物体検知モデルによって、画像データにおける表層の鉄筋をそれぞれ検出する。
【0047】
また第１実施形態と同様に修正部２５０は検出エラーを判定し、修正を実行する。第２実施形態では識別部２４０によって鉄筋部分が検出された画像を二値画像に変換する。詳細を以下説明する。
【0048】
（修正部２５０；二値画像変換）
修正部２５０は、識別部２４０が撮像画像から検出した画像内の鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換する。図７に示すような画像データにつき第２実施形態では、修正部２５０により二値画像に変換される。例えば図８に示すように修正部２５０は、検出された鉄筋の領域を白色に、それ以外の領域を黒色に変換する。すなわち、識別部２４０がディープラーニングにより画像から鉄筋の領域を検出するが、その鉄筋の領域を示す画素を白色に変換する。また修正部２５０は、画像において鉄筋の領域以外の領域を示す画素を黒色に変換する。二値画像はこのようにして生成される。
修正部２５０は、識別部２４０が撮像画像から検出した画像内の鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換する。図７に示すような画像データにつき第２実施形態では、修正部２５０により二値画像に変換される。例えば図８に示すように修正部２５０は、検出された鉄筋の領域を白色に、それ以外の領域を黒色に変換する。すなわち、識別部２４０がディープラーニングにより画像から鉄筋の領域を検出するが、その鉄筋の領域を示す画素を白色に変換する。また修正部２５０は、画像において鉄筋の領域以外の領域を示す画素を黒色に変換する。二値画像はこのようにして生成される。
【0049】
（修正部２５０；走査）
修正部２５０は、鉄筋部分について、エッジ検出、線分検出または中心線の検出等、任意の検出方法により、鉄筋の領域の延伸方向を特定する。修正部２５０は、特定した鉄筋部分の延伸方向に沿って検出エラーを判定する。例えば修正部２５０は特定部２５１を含み、特定部２５１は所定の画素数単位で当該延伸方向ごとに走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する（図９参照）。具体的にはあらかじめ記憶された１つの画素値の範囲に該当するか否かで特定される。
修正部２５０は、鉄筋部分について、エッジ検出、線分検出または中心線の検出等、任意の検出方法により、鉄筋の領域の延伸方向を特定する。修正部２５０は、特定した鉄筋部分の延伸方向に沿って検出エラーを判定する。例えば修正部２５０は特定部２５１を含み、特定部２５１は所定の画素数単位で当該延伸方向ごとに走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する（図９参照）。具体的にはあらかじめ記憶された１つの画素値の範囲に該当するか否かで特定される。
【0050】
なお、図９に示すように検出された各鉄筋領域の間の画素については、隣接する両端の鉄筋領域の延伸方向に基づいて走査方向を求める。各鉄筋領域の間については、この求めた走査方向にしたがって走査を実行する。
【0051】
修正部２５０は、走査方向それぞれにおける第1画素の割合を求める。また修正部２５０は、その求めた割合が閾値を超えたか判定する。この判定は第１実施形態と同様である。修正部２５０はこのようにして、画像から検出された鉄筋部分が誤検出であるか否かを判定している。なお第１画素の割合の閾値としては４５％が一例である。下限は２０％、上限は５５％である。
【0052】
計測については第１実施形態と同様である。
【0053】
［動作］
図１０は、本実施形態における処理の流れを示す図である。以下に、配筋検査システム２００の動作を、ステップ番号（Ｓ２０１～Ｓ２０８）に添って説明する。
図１０は、本実施形態における処理の流れを示す図である。以下に、配筋検査システム２００の動作を、ステップ番号（Ｓ２０１～Ｓ２０８）に添って説明する。
【0054】
（Ｓ２０１）
配筋検査システム２００における撮像部２１０は、撮像操作が実行されると、光学系を制御し、撮像素子に入力された情報に基づいて撮像データを生成する。記憶部２２０は撮像データを一時記憶する。画像処理部２３０は撮像データを画像データに変換し表示手段Dに表示させる。
配筋検査システム２００における撮像部２１０は、撮像操作が実行されると、光学系を制御し、撮像素子に入力された情報に基づいて撮像データを生成する。記憶部２２０は撮像データを一時記憶する。画像処理部２３０は撮像データを画像データに変換し表示手段Dに表示させる。
【0055】
（Ｓ２０２）
識別部２４０は、ディープラーニングにより画像データから鉄筋を検出する。
識別部２４０は、ディープラーニングにより画像データから鉄筋を検出する。
【0056】
（Ｓ２０３）
修正部２５０は、識別部２４０が撮像画像から検出した画像内の鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換する。
修正部２５０は、識別部２４０が撮像画像から検出した画像内の鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換する。
【0057】
（Ｓ２０４）
修正部２５０は鉄筋の領域の延伸方向を特定する。図９に示すように検出された各鉄筋領域の間の画素については、隣接する両端の鉄筋領域の延伸方向に基づいて走査方向を求める。
修正部２５０は鉄筋の領域の延伸方向を特定する。図９に示すように検出された各鉄筋領域の間の画素については、隣接する両端の鉄筋領域の延伸方向に基づいて走査方向を求める。
【0058】
（Ｓ２０５）
特定部２５１は所定の画素数単位で当該延伸方向ごとに走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する（図９参照）。
特定部２５１は所定の画素数単位で当該延伸方向ごとに走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する（図９参照）。
【0059】
各鉄筋領域の間については、隣接する両端の鉄筋領域の延伸方向に基づいて求めた方向にしたがって走査を実行する。
【0060】
（Ｓ２０６）
修正部２５０は、走査方向それぞれにおける第1画素（例えば白画素）の割合を求める。
修正部２５０は、走査方向それぞれにおける第1画素（例えば白画素）の割合を求める。
【0061】
（Ｓ２０７）
修正部２５０は、その求めた割合が閾値を超えたか判定する。修正部２５０は割合が閾値を超えない場合には（Ｓ２０７；Ｎｏ）、当該走査方向における処理を終了する。またこの場合、次のＳ２０８の逆の処理として、修正部２５０はその走査方向に存在する画素を全て第１画素以外の画素値（例えば黒画素）に置き換えるという構成とすることも可能である。
修正部２５０は、その求めた割合が閾値を超えたか判定する。修正部２５０は割合が閾値を超えない場合には（Ｓ２０７；Ｎｏ）、当該走査方向における処理を終了する。またこの場合、次のＳ２０８の逆の処理として、修正部２５０はその走査方向に存在する画素を全て第１画素以外の画素値（例えば黒画素）に置き換えるという構成とすることも可能である。
【0062】
（Ｓ２０８）
Ｓ２０７の判定の結果、割合が閾値を超えた場合には（Ｓ２０７；Ｙｅｓ）、修正部２５０によりその走査方向に存在する画素を全て第１画素（例えば白画素）に置き換える。
Ｓ２０７の判定の結果、割合が閾値を超えた場合には（Ｓ２０７；Ｙｅｓ）、修正部２５０によりその走査方向に存在する画素を全て第１画素（例えば白画素）に置き換える。
【0063】
修正部２５０は、所定間隔で実際の配筋状態の縦横方向に応じた方向それぞれについて画像全体にこの走査および割合判定と、第１画素への置換処理を実行する。その後、計測処理が実行される。
【0064】
［効果］
本実施形態によれば、配筋検査システムにおいて配筋の検出ミスを低減することが可能である。例えば、ディープラーニングによる画像内の鉄筋部分の検出の後に、画像を鉄筋領域とそれ以外の領域の二値画像に変換する。この二値画像に基づき走査を行う。
本実施形態によれば、配筋検査システムにおいて配筋の検出ミスを低減することが可能である。例えば、ディープラーニングによる画像内の鉄筋部分の検出の後に、画像を鉄筋領域とそれ以外の領域の二値画像に変換する。この二値画像に基づき走査を行う。
【0065】
すなわち二値画像に変換することにより、その後の検出ミスの判定と補完の前に、鉄筋領域を抜き出した画像を生成することで、検出ミスの判定と補完の精度を向上させることが可能となる。
【0066】
また、本実施形態では、鉄筋の検出後、検出された画像を所定方向に走査することで鉄筋部分を示す第１画素が特定される。さらに、第１画素が特定されると、その走査方向における第１画素の割合が特定され、所定割合を超えた場合にその走査方向に存在する画素を全て第１画素に置き換える。これにより、走査方向における鉄筋部分が所定割合以下である場合、誤検出として判定することができる。さらに検出ミスにより実際には鉄筋部分であるが鉄筋部分として検出できなかった画素について補完することが可能である。
【0067】
以上の実施形態の効果により、再撮影や手動による画像処理操作の増加を防ぐことが可能であり、従来の配筋検査システムと比較して配筋検査作業の省力化が可能である。
【0068】
【0069】
（概要）
図１１に示すように、配筋検査システム３００は、撮影部３１０、記憶部３２０、識別部３４０、修正部３５０、制御部Cおよび表示手段Dを備える。第３実施形態においては、第１実施形態と異なり画像処理部を含まない。したがって、撮像した画像の視線方向を変換する処理を行わない。なお、以下の図に表される画像は一例である。
図１１に示すように、配筋検査システム３００は、撮影部３１０、記憶部３２０、識別部３４０、修正部３５０、制御部Cおよび表示手段Dを備える。第３実施形態においては、第１実施形態と異なり画像処理部を含まない。したがって、撮像した画像の視線方向を変換する処理を行わない。なお、以下の図に表される画像は一例である。
【0070】
第１実施形態と同様に、識別部３４０は、ディープラーニングにより画像データから鉄筋の領域を検出する。ディープラーニングによる物体検知モデルによって、画像データにおける表層の鉄筋をそれぞれ検出する。
【0071】
また第１実施形態と同様に修正部３５０は検出エラーを判定し、修正を実行する。第３実施形態では識別部３４０によって鉄筋部分が検出された画像を二値画像に変換する。さらに第３実施形態では、クロージング処理およびオープニング処理の少なくともいずれか一方によりノイズを除去する。詳細を以下説明する。
【0072】
（修正部３５０；二値画像変換）
第２実施形態と同様に修正部３５０は、撮像画像から検出した画像内の鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換する。
第２実施形態と同様に修正部３５０は、撮像画像から検出した画像内の鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換する。
【0073】
（修正部３５０；クロージング処理）
修正部３５０におけるクロージング処理について図１２～図１４を参照して説明する。図１２は、ノイズを含む二値画像の一例を示す概略図である。すなわち図１２では白画素領域が整然と表されているが実際は図８の例のようにノイズ処理前の二値画像はノイズが複数含まれる傾向にある。また図１２における破線は説明の便宜上表されたものである。図１３は、図１２の破線部分を拡大した拡大図である。図１４は、左側がノイズ処理前の二値画像の拡大図であり、右側は左図に対しノイズ処理を施した後の概念図である。
修正部３５０におけるクロージング処理について図１２～図１４を参照して説明する。図１２は、ノイズを含む二値画像の一例を示す概略図である。すなわち図１２では白画素領域が整然と表されているが実際は図８の例のようにノイズ処理前の二値画像はノイズが複数含まれる傾向にある。また図１２における破線は説明の便宜上表されたものである。図１３は、図１２の破線部分を拡大した拡大図である。図１４は、左側がノイズ処理前の二値画像の拡大図であり、右側は左図に対しノイズ処理を施した後の概念図である。
【0074】
図１４に示すように修正部３５０は二値画像において白画素領域の増減によりノイズを除去する。修正部３５０は、二値画像における対象画素それぞれに対し、膨張処理を複数回行い、さらに収縮処理を複数回行う。膨張処理は処理対象画素の所定の周辺位置に白画素があれば、白に変換し、白が無い場合は変換を行わない。収縮処理は、処理対象画素の所定の周辺位置に黒画素があれば、黒に変換し、黒がない場合は変換を行わない。
【0075】
このクロージング処理を施すことにより白画素領域における黒画素のノイズを除去することができる。なお対象画素の所定の周辺位置（周辺画素）としては対象画素を含む周辺画素３×３である。これに限らず、周辺画素は、上下左右の画素等、任意の設定とすることが可能である。
【0076】
（修正部３５０；オープニング処理）
修正部３５０は二値画像において白画素領域の増減によりノイズを除去する。修正部３５０は、二値画像における対象画素それぞれに対し、収縮処理を複数回行い、さらに膨張収縮処理を複数回行う。このオープニング処理を施すことにより白画素のノイズを除去することができる。なお対象画素の所定の周辺位置（周辺画素）としては対象画素を含む周辺画素３×３である。これに限らず、周辺画素は、上下左右の画素等、任意の設定とすることが可能である。
修正部３５０は二値画像において白画素領域の増減によりノイズを除去する。修正部３５０は、二値画像における対象画素それぞれに対し、収縮処理を複数回行い、さらに膨張収縮処理を複数回行う。このオープニング処理を施すことにより白画素のノイズを除去することができる。なお対象画素の所定の周辺位置（周辺画素）としては対象画素を含む周辺画素３×３である。これに限らず、周辺画素は、上下左右の画素等、任意の設定とすることが可能である。
【0077】
上記オープニング処理、クロージング処理はいずれか一方のみを実行するか、または双方を実行してもよい。これらの選択をユーザが選択可能にしてもよい。例えば二値画像と撮像画像を表示手段に同時に表示（並列表示等）し、上記ノイズ処理の一方または双方を選択操作可能なユーザインターフェースが表示されるように構成されていてもよい。
【0078】
（修正部３５０；走査）
修正部３５０は、第２実施形態と同様に、鉄筋の領域の延伸方向を特定する。修正部３５０は、特定した鉄筋部分の延伸方向に沿って検出エラーを判定する。例えば修正部２５０は特定部３５１を含み、特定部３５１は所定の画素数単位で当該延伸方向ごとに走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する（図９参照）。
修正部３５０は、第２実施形態と同様に、鉄筋の領域の延伸方向を特定する。修正部３５０は、特定した鉄筋部分の延伸方向に沿って検出エラーを判定する。例えば修正部２５０は特定部３５１を含み、特定部３５１は所定の画素数単位で当該延伸方向ごとに走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する（図９参照）。
【0079】
なお、図９に示すように検出された各鉄筋領域の間の画素については、隣接する両端の鉄筋領域の延伸方向に基づいて走査方向を求める。各鉄筋領域の間については、この求めた走査方向にしたがって走査を実行する。
【0080】
（修正部３５０；走査・計測）
修正部３５０は、第２実施形態と同様に、走査方向の第1画素の比率算出と、比率の閾値判定により、画像から検出された鉄筋部分が誤検出であるか否かを判定している。なお第１画素の割合の閾値としては４５％が一例である。下限は２０％、上限は５５％である。計測については第１実施形態と同様である。
修正部３５０は、第２実施形態と同様に、走査方向の第1画素の比率算出と、比率の閾値判定により、画像から検出された鉄筋部分が誤検出であるか否かを判定している。なお第１画素の割合の閾値としては４５％が一例である。下限は２０％、上限は５５％である。計測については第１実施形態と同様である。
【0081】
［動作］
図１５は、本実施形態における処理の流れを示す図である。以下に、配筋検査システム３００の動作を、ステップ番号（Ｓ３０１～Ｓ３０８）に添って説明する。
図１５は、本実施形態における処理の流れを示す図である。以下に、配筋検査システム３００の動作を、ステップ番号（Ｓ３０１～Ｓ３０８）に添って説明する。
【0082】
（Ｓ３０１）
配筋検査システム３００における撮像部３１０は、撮像操作が実行されると、光学系を制御し、撮像素子に入力された情報に基づいて撮像データを生成する。記憶部３２０は撮像データを一時記憶する。画像処理部３３０は撮像データを画像データに変換し表示手段Dに表示させる。
配筋検査システム３００における撮像部３１０は、撮像操作が実行されると、光学系を制御し、撮像素子に入力された情報に基づいて撮像データを生成する。記憶部３２０は撮像データを一時記憶する。画像処理部３３０は撮像データを画像データに変換し表示手段Dに表示させる。
【0083】
（Ｓ３０２）
識別部３４０は、ディープラーニングにより画像データから鉄筋を検出する。
識別部３４０は、ディープラーニングにより画像データから鉄筋を検出する。
【0084】
（Ｓ３０３）
修正部３５０は、識別部３４０が撮像画像から検出した画像内の鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換する。
修正部３５０は、識別部３４０が撮像画像から検出した画像内の鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換する。
【0085】
（Ｓ３０４）
修正部３５０は二値画像において白画素領域の増減によりノイズを除去する。修正部３５０は、二値画像における対象画素それぞれに対し、膨張処理を複数回行い、さらに収縮処理を複数回行う。併せて、またはこの処理の代替として、修正部３５０は、二値画像における対象画素それぞれに対し、収縮処理を複数回行い、さらに膨張収縮処理を複数回行う。
修正部３５０は二値画像において白画素領域の増減によりノイズを除去する。修正部３５０は、二値画像における対象画素それぞれに対し、膨張処理を複数回行い、さらに収縮処理を複数回行う。併せて、またはこの処理の代替として、修正部３５０は、二値画像における対象画素それぞれに対し、収縮処理を複数回行い、さらに膨張収縮処理を複数回行う。
【0086】
（Ｓ３０５）
修正部３５０は鉄筋の領域の延伸方向を特定する。図９に示すように検出された各鉄筋領域の間の画素については、隣接する両端の鉄筋領域の延伸方向に基づいて走査方向を求める。
修正部３５０は鉄筋の領域の延伸方向を特定する。図９に示すように検出された各鉄筋領域の間の画素については、隣接する両端の鉄筋領域の延伸方向に基づいて走査方向を求める。
【0087】
（Ｓ３０６）
特定部３５１は所定の画素数単位で当該延伸方向ごとに走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する（図９参照）。隣接する両端の鉄筋領域の延伸方向に基づいて求めた方向にしたがって走査を実行する。
特定部３５１は所定の画素数単位で当該延伸方向ごとに走査し、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素を特定する（図９参照）。隣接する両端の鉄筋領域の延伸方向に基づいて求めた方向にしたがって走査を実行する。
【0088】
（Ｓ３０７）
修正部３５０は、走査方向それぞれにおける第1画素（例えば白画素）の割合を求める。
修正部３５０は、走査方向それぞれにおける第1画素（例えば白画素）の割合を求める。
【0089】
（Ｓ３０８）
修正部３５０は、その求めた割合が閾値を超えたか判定する。修正部３５０は割合が閾値を超えない場合には（Ｓ３０８；Ｎｏ）、当該走査方向における処理を終了する。また、この場合、次のＳ３０８の逆の処理として、修正部３５０はその走査方向に存在する画素を全て第１画素以外の画素値（例えば黒画素）に置き換えるという構成とすることも可能である。
修正部３５０は、その求めた割合が閾値を超えたか判定する。修正部３５０は割合が閾値を超えない場合には（Ｓ３０８；Ｎｏ）、当該走査方向における処理を終了する。また、この場合、次のＳ３０８の逆の処理として、修正部３５０はその走査方向に存在する画素を全て第１画素以外の画素値（例えば黒画素）に置き換えるという構成とすることも可能である。
【0090】
（Ｓ３０９）
Ｓ３０８の判定の結果、割合が閾値を超えた場合には（Ｓ３０８；Ｙｅｓ）、修正部３５０によりその走査方向に存在する画素を全て第１画素（例えば白画素）に置き換える。
Ｓ３０８の判定の結果、割合が閾値を超えた場合には（Ｓ３０８；Ｙｅｓ）、修正部３５０によりその走査方向に存在する画素を全て第１画素（例えば白画素）に置き換える。
【0091】
修正部３５０は、所定間隔で実際の配筋状態の縦横方向に応じた方向それぞれについて画像全体にこの走査および割合判定と、第１画素への置換処理を実行する。その後計測処理が実行される。
【0092】
［効果］
本実施形態によれば、配筋検査システムにおいて配筋の検出ミスを低減することが可能である。例えば、ディープラーニングによる画像内の鉄筋部分の検出の後に、画像を鉄筋領域とそれ以外の領域の二値画像に変換する。この二値画像に基づき走査を行う。
本実施形態によれば、配筋検査システムにおいて配筋の検出ミスを低減することが可能である。例えば、ディープラーニングによる画像内の鉄筋部分の検出の後に、画像を鉄筋領域とそれ以外の領域の二値画像に変換する。この二値画像に基づき走査を行う。
【0093】
すなわち二値画像に変換することにより、その後の検出ミスの判定と補完の前に、鉄筋領域を抜き出した画像を生成することで、検出ミスの判定と補完の精度を向上させることが可能となる。
【0094】
さらに二値画像に対しノイズ処理を施すことにより、検出ミスの判定と補完の精度を向上させることが可能となる。
【0095】
また、本実施形態では、鉄筋の検出後、検出された画像を所定方向に走査することで鉄筋部分を示す第１画素が特定される。さらに、第１画素が特定されると、その走査方向における第１画素の割合が特定され、所定割合を超えた場合にその走査方向に存在する画素を全て第１画素に置き換える。これにより、走査方向における鉄筋部分が所定割合以下である場合、誤検出として判定することができる。さらに検出ミスにより実際には鉄筋部分であるが鉄筋部分として検出できなかった画素について補完することが可能である。
【0096】
以上の実施形態の効果により、再撮影や手動による画像処理操作の増加を防ぐことが可能であり、従来の配筋検査システムと比較して配筋検査作業の省力化が可能である。
【0097】
【0098】
（概要）
図１６に示すように、配筋検査システム４００は、撮影部４１０、記憶部４２０、画像処理部４３０、識別部４４０、修正部４５０、制御部Cおよび表示手段Dを備える。第４実施形態においては、なお、以下の図に表される画像は一例である。
図１６に示すように、配筋検査システム４００は、撮影部４１０、記憶部４２０、画像処理部４３０、識別部４４０、修正部４５０、制御部Cおよび表示手段Dを備える。第４実施形態においては、なお、以下の図に表される画像は一例である。
【0099】
【0100】
第１実施形態と同様に、識別部４４０は、ディープラーニングにより画像データから鉄筋の領域を検出する。ディープラーニングによる物体検知モデルによって、画像データにおける表層の鉄筋をそれぞれ検出する。
【0101】
また第３実施形態と同様に修正部４５０は検出エラーを判定し、修正を実行する。すなわち第４実施形態においても識別部４４０によって鉄筋部分が検出された画像を二値画像に変換する（図１７；符号ＩＤ２参照）。さらにクロージング処理およびオープニング処理の少なくともいずれか一方によりノイズを除去する（図１８参照）。
【0102】
上記オープニング処理、クロージング処理はいずれか一方のみを実行するか、または双方を実行してもよい。これらの選択をユーザが選択可能にしてもよい。例えば修正部４５０が二値画像ＩＤ２と撮像画像を表示手段に同時に表示（並列表示等）し、上記ノイズ処理の一方または双方を選択操作可能なユーザインターフェースが表示されるように構成されていてもよい。ユーザが
【0103】
（修正部４５０；走査）
修正部４５０は、二値画像ＩＤ２に対し鉄筋の延伸方向に対応して走査する。第１例として縦方向判定は以下のように行う。修正部４５０は、ノイズが除去された二値画像における白画素領域ＷＰＡ（黒画素を鉄筋領域とする場合は黒画素領域）のうち実質的に縦方向に相当する縦方向鉄筋部分について、検出エラーを判定する。例えば修正部４５０は特定部４５１を含み、特定部４５１は所定の画素数単位で画像の縦方向に走査し（図１９参照）、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素が占める割合を求める。
修正部４５０は、二値画像ＩＤ２に対し鉄筋の延伸方向に対応して走査する。第１例として縦方向判定は以下のように行う。修正部４５０は、ノイズが除去された二値画像における白画素領域ＷＰＡ（黒画素を鉄筋領域とする場合は黒画素領域）のうち実質的に縦方向に相当する縦方向鉄筋部分について、検出エラーを判定する。例えば修正部４５０は特定部４５１を含み、特定部４５１は所定の画素数単位で画像の縦方向に走査し（図１９参照）、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素が占める割合を求める。
【0104】
また修正部４５０は、その求めた割合が閾値を超えたか判定する。この閾値は例えば記憶部４２０にあらかじめ記憶されている値か、あるいは都度ユーザが入力操作により値を設定する構成であってもよい。修正部４５０は、閾値を超えた場合にその走査方向に存在する画素を全て第１画素に置き換えてもよい。図２０に示すように割合の閾値は例えば５０％であり、求めた第１画素の割合が５０％を超えると、修正部４５０はその走査方向に存在する画素を全て第１画素に置き換えるという構成が一例である。
【0105】
修正部４５０はこのようにして、画像から検出された鉄筋部分が誤検出であるか否かを判定している。なお第１画素の割合の閾値としては４５％が一例である。下限は２０％、上限は５５％である。 修正部４５０は、第２例として横方向判定を以下のように行う。修正部４５０は、ノイズが除去された二値画像における白画素領域（黒画素を鉄筋領域とする場合は黒画素領域）のうち実質的に横方向に相当する横方向鉄筋部分について、検出エラーを判定する。例えば修正部４５０は特定部４５１を含み、特定部４５１は所定の画素数単位で画像の横方向に走査し（図２１参照）、当該走査方向に対応する各画素につき、鉄筋部分を示す第１画素が占める割合を求める。
【0106】
また修正部４５０は、その求めた割合が閾値を超えたか判定する。この閾値は例えば記憶部４２０にあらかじめ記憶されている値か、あるいは都度ユーザが入力操作により値を設定する構成であってもよい。修正部４５０は、閾値を超えた場合にその走査方向に存在する画素を全て第１画素に置き換えてもよい（図２２参照）。割合の閾値は例えば５０％である。
【0107】
計測については第１実施形態と同様である。
【0108】
［動作］
図２３は、本実施形態における処理の流れを示す図である。以下に、配筋検査システム４００の動作を、ステップ番号（Ｓ４０１～Ｓ４０８）に添って説明する。
図２３は、本実施形態における処理の流れを示す図である。以下に、配筋検査システム４００の動作を、ステップ番号（Ｓ４０１～Ｓ４０８）に添って説明する。
【0109】
（Ｓ４０１）
配筋検査システム４００における撮像部４１０は、撮像操作が実行されると、光学系を制御し、撮像素子に入力された情報に基づいて撮像データを生成する。記憶部４２０は撮像データを一時記憶する。画像処理部４３０は撮像データを画像データに変換し表示手段Dに表示させる。
配筋検査システム４００における撮像部４１０は、撮像操作が実行されると、光学系を制御し、撮像素子に入力された情報に基づいて撮像データを生成する。記憶部４２０は撮像データを一時記憶する。画像処理部４３０は撮像データを画像データに変換し表示手段Dに表示させる。
【0110】
（Ｓ４０２）
表示手段Dに表示された画像データに対し、画像データが表示された状態で、図２に示すように、ユーザが図示しない入力部等を介して画像における任意の４点Ｃ１～Ｃ４で囲まれる領域Ｒを指定する操作を行うと、配筋検査システム４００の制御部Cはその領域Ｒを指定範囲として受け付ける。
表示手段Dに表示された画像データに対し、画像データが表示された状態で、図２に示すように、ユーザが図示しない入力部等を介して画像における任意の４点Ｃ１～Ｃ４で囲まれる領域Ｒを指定する操作を行うと、配筋検査システム４００の制御部Cはその領域Ｒを指定範囲として受け付ける。
【0111】
（Ｓ４０３）
画像処理部４３０は、当該指定範囲の画像データに対し、射影変換を実行し、歪みを補正する。図３の例に示すように、補正された指定範囲の画像では、画像データの縦横方向に沿うように、配筋状態の縦横の鉄筋の方向が実質的に対応する状態となる。
画像処理部４３０は、当該指定範囲の画像データに対し、射影変換を実行し、歪みを補正する。図３の例に示すように、補正された指定範囲の画像では、画像データの縦横方向に沿うように、配筋状態の縦横の鉄筋の方向が実質的に対応する状態となる。
【0112】
（Ｓ４０４）
識別部４４０は、ディープラーニングにより画像データから鉄筋を検出する。
識別部４４０は、ディープラーニングにより画像データから鉄筋を検出する。
【0113】
（Ｓ４０５）
修正部４５０は、識別部４４０が撮像画像から検出した画像内の鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像ＩＤ２に変換する。
修正部４５０は、識別部４４０が撮像画像から検出した画像内の鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像ＩＤ２に変換する。
【0114】
（Ｓ４０６）
修正部４５０は二値画像ＩＤ２において白画素領域ＷＰＡの増減によりノイズを除去する。修正部４５０は、二値画像における対象画素それぞれに対し、膨張処理を複数回行い、さらに収縮処理を複数回行う。併せて、またはこの処理の代替として、修正部４５０は、二値画像ＩＤ２における対象画素それぞれに対し、収縮処理を複数回行い、さらに膨張収縮処理を複数回行う。
修正部４５０は二値画像ＩＤ２において白画素領域ＷＰＡの増減によりノイズを除去する。修正部４５０は、二値画像における対象画素それぞれに対し、膨張処理を複数回行い、さらに収縮処理を複数回行う。併せて、またはこの処理の代替として、修正部４５０は、二値画像ＩＤ２における対象画素それぞれに対し、収縮処理を複数回行い、さらに膨張収縮処理を複数回行う。
【0115】
（Ｓ４０７）
修正部１５０における特定部１５１は所定の画素数単位で画像の縦横方向に走査する。
修正部１５０における特定部１５１は所定の画素数単位で画像の縦横方向に走査する。
【0116】
（Ｓ４０８）
修正部４５０は例えば縦横の走査方向それぞれにおける第1画素の割合を求める。
修正部４５０は例えば縦横の走査方向それぞれにおける第1画素の割合を求める。
【0117】
（Ｓ４０９）
修正部４５０は、その求めた割合が閾値を超えたか判定する。修正部４５０は割合が閾値を超えない場合には（Ｓ４０９；Ｎｏ）、当該走査方向における処理を終了する。また、次のＳ４０８の逆の処理として、修正部４５０はその走査方向に存在する画素を全て第１画素以外の画素値（例えば黒画素）に置き換えるという構成とすることも可能である。
修正部４５０は、その求めた割合が閾値を超えたか判定する。修正部４５０は割合が閾値を超えない場合には（Ｓ４０９；Ｎｏ）、当該走査方向における処理を終了する。また、次のＳ４０８の逆の処理として、修正部４５０はその走査方向に存在する画素を全て第１画素以外の画素値（例えば黒画素）に置き換えるという構成とすることも可能である。
【0118】
（Ｓ４１０）
Ｓ４０９の判定の結果、割合が閾値を超えた場合には（Ｓ４０９；Ｙｅｓ）、修正部４５０によりその走査方向に存在する画素を全て第１画素（例えば白画素）に置き換える。
Ｓ４０９の判定の結果、割合が閾値を超えた場合には（Ｓ４０９；Ｙｅｓ）、修正部４５０によりその走査方向に存在する画素を全て第１画素（例えば白画素）に置き換える。
【0119】
修正部４５０は、所定間隔で縦横方向それぞれについて画像全体にこの走査および割合判定と、第１画素への置換処理を実行する。その後計測処理が実行される。なお、第４実施形態においては、クロージング処理、およびオープニング処理の一方または双方を実行する例を説明したが、これに限られない。例えば、二値画像への変換処理後、縦方向への走査、横方向への走査を実行するように構成されていてもよい。
【0120】
［効果］
本実施形態によれば、配筋検査システムにおいて配筋の検出ミスを低減することが可能である。例えば、ディープラーニングによる画像内の鉄筋部分の検出の前に、射影変換等による画像の縦横方向と、画像の視線方向を合わせようとすることで、誤検出を大幅に低減させることが可能である。例えばこれにより何層か重畳して配筋されている場合に、表層の配筋を検出しやすくなる。また射影変換を行うことで、鉄筋の配置が縦横の2軸に学習モデルを絞ることができ、検出精度が向上する。
本実施形態によれば、配筋検査システムにおいて配筋の検出ミスを低減することが可能である。例えば、ディープラーニングによる画像内の鉄筋部分の検出の前に、射影変換等による画像の縦横方向と、画像の視線方向を合わせようとすることで、誤検出を大幅に低減させることが可能である。例えばこれにより何層か重畳して配筋されている場合に、表層の配筋を検出しやすくなる。また射影変換を行うことで、鉄筋の配置が縦横の2軸に学習モデルを絞ることができ、検出精度が向上する。
【0121】
すなわち通常の撮像手段を使って、配筋のような構造体を撮影した場合には、実際には縦横に整列したものであるにもかかわらず、画像の縦横方向と対応しない傾向がある。それを、計測エリアの四隅に該当する個所を設定し射影変換を行うことで、本来の構造としての情報を保有した画像へと修正が可能となる。
【0122】
さらに第４実施形態では、ディープラーニングによる画像内の鉄筋部分の検出の後に、画像を鉄筋領域とそれ以外の領域の二値画像に変換する。またこの二値画像に基づき走査を行う。
【0123】
すなわち二値画像に変換することにより、その後の検出ミスの判定と補完の前に、鉄筋領域を抜き出した画像を生成することで、検出ミスの判定と補完の精度を向上させることが可能となる。
【0124】
さらに二値画像に対しノイズ処理を施すことにより、検出ミスの判定と補完の精度を向上させることが可能となる。
【0125】
また、本実施形態では、鉄筋の検出後、検出された画像を所定方向に走査することで鉄筋部分を示す第１画素が特定される。さらに、第１画素が特定されると、その走査方向における第１画素の割合が特定され、所定割合を超えた場合にその走査方向に存在する画素を全て第１画素に置き換える。これにより、走査方向における鉄筋部分が所定割合以下である場合、誤検出として判定することができる。さらに検出ミスにより実際には鉄筋部分であるが鉄筋部分として検出できなかった画素について補完することが可能である。
【0126】
以上の実施形態の効果により、再撮影や手動による画像処理操作の増加を防ぐことが可能であり、従来の配筋検査システムと比較して配筋検査作業の省力化が可能である。
【0127】
【0128】
（撮影画面）
図２４は、撮影をするためのユーザインターフェースの一例である。図２４に示すように、制御部Cにより表示手段Dに配筋状態を撮影するためのユーザインターフェースが表示される。表示手段Dがタッチパネル（タッチスクリーン）により構成されている場合、撮影画面において、図２４の右側にあるように、写真撮影ボタン、画像選択ボタン等が配置される。写真撮影ボタンの表示領域をユーザが選択することにより、撮像部４１０が光学系を制御し、撮像素子に入力された情報に基づいて撮像データを生成する。記憶部４２０は撮像データを一時記憶する。画像処理部４３０は撮像データを画像データに変換し表示手段Dに表示させる。この画像データは例えば図２４の写真撮影ボタン、画像選択ボタンと並列表示された画像表示領域（図２４「NO IMAGE」の領域）に表示される。
図２４は、撮影をするためのユーザインターフェースの一例である。図２４に示すように、制御部Cにより表示手段Dに配筋状態を撮影するためのユーザインターフェースが表示される。表示手段Dがタッチパネル（タッチスクリーン）により構成されている場合、撮影画面において、図２４の右側にあるように、写真撮影ボタン、画像選択ボタン等が配置される。写真撮影ボタンの表示領域をユーザが選択することにより、撮像部４１０が光学系を制御し、撮像素子に入力された情報に基づいて撮像データを生成する。記憶部４２０は撮像データを一時記憶する。画像処理部４３０は撮像データを画像データに変換し表示手段Dに表示させる。この画像データは例えば図２４の写真撮影ボタン、画像選択ボタンと並列表示された画像表示領域（図２４「NO IMAGE」の領域）に表示される。
【0129】
【0130】
（領域選択画面）
図２５は、画像データの領域選択をするためのユーザインターフェースの一例である。図２５に示すように、制御部Cにより表示手段Dに領域選択するためのユーザインターフェースが表示される。領域選択画面において、図２５の例のように、画像データと、指定範囲画像が並列表示される。例えばタッチパネルにより構成された表示手段Dの画像データ表示領域（図２５の左側）において、ユーザが画像における任意の４点で囲まれる領域を指定する操作を行うと、制御部Cはその領域を指定範囲として受け付ける。
図２５は、画像データの領域選択をするためのユーザインターフェースの一例である。図２５に示すように、制御部Cにより表示手段Dに領域選択するためのユーザインターフェースが表示される。領域選択画面において、図２５の例のように、画像データと、指定範囲画像が並列表示される。例えばタッチパネルにより構成された表示手段Dの画像データ表示領域（図２５の左側）において、ユーザが画像における任意の４点で囲まれる領域を指定する操作を行うと、制御部Cはその領域を指定範囲として受け付ける。
【0131】
画像処理部は指定範囲にしたがって画像データを切り取る。さらに画像処理部は、画像データ表示領域と並列表示された領域に、切り取った画像を指定範囲画像（図２５の右側）として表示させる。このとき、図２５の例のように画像データと例えば同サイズとなるように指定範囲画像を拡大表示させてもよい。
【0132】
（射影変換画面）
図２６は、領域選択後の指定範囲画像が射影変換された後のユーザインターフェースの一例（右側）である。図２６に示すように、指定範囲画像が生成されると、画像処理部は射影変換を実行し、歪みを補正する。図３の例に示すように、補正された指定範囲の画像では、画像データの縦横方向に沿うように、配筋状態の縦横の鉄筋の方向が実質的に対応する状態となる。
図２６は、領域選択後の指定範囲画像が射影変換された後のユーザインターフェースの一例（右側）である。図２６に示すように、指定範囲画像が生成されると、画像処理部は射影変換を実行し、歪みを補正する。図３の例に示すように、補正された指定範囲の画像では、画像データの縦横方向に沿うように、配筋状態の縦横の鉄筋の方向が実質的に対応する状態となる。
【0133】
（測定前画面）
図２７は、射影変換後の指定範囲画像において測定処理が実行される前のユーザインターフェースの一例である。図２７に示すように、射影変換後の指定範囲画像が生成されると、各種処理を実行するための操作画面が表示される。例えば、射影変換後の指定範囲画像と共にＡＩ検出ボタン、距離確定ボタン、ＣＳＶ出力ボタンが表示される。
図２７は、射影変換後の指定範囲画像において測定処理が実行される前のユーザインターフェースの一例である。図２７に示すように、射影変換後の指定範囲画像が生成されると、各種処理を実行するための操作画面が表示される。例えば、射影変換後の指定範囲画像と共にＡＩ検出ボタン、距離確定ボタン、ＣＳＶ出力ボタンが表示される。
【0134】
ＡＩ検出ボタンの表示領域をユーザが選択することにより、識別部による鉄筋の検出、さらに修正部による二値画像への変換、クロージング処理（および／またはオープニング処理）等のノイズ除去が実行される。
【0135】
さらに修正部が上記走査、第１画素の割合算出、閾値判定を経て、走査方向の画素を置換する。これにより走査、判定および置換によって画像における鉄筋の位置、すなわち第１画素領域の画像内座標が特定可能となる。識別部は、修正部により特定された第１画素の領域に基づき、二値画像でない元の画像データにおいて、鉄筋を示す領域の画像内座標を特定する。元の画像データは射影変換後の画像データであっても、射影変換前の指定範囲画像であっても、範囲選択前の画像であってもよい。
【0136】
図２７に示すような距離確定ボタンの表示領域をユーザが選択することにより、識別部により鉄筋を示す領域の画像内座標が特定された元の画像データにおいて、測定処理が行われる。測定処理は、鉄筋領域の画像内座標に基づき、縦横それぞれで鉄筋の間隔を画素に基づき測定する制御部Cの処理の一例である。さらに制御部Ｃにより画素に基づく画像内の距離が実際の距離に変換される。
【0137】
例えば制御部Ｃは、図示しない操作画面によりユーザが入力した画素と実距離の関係を示す比にしたがって、画像内の距離が実際の距離に変換されてもよい。このとき、指定範囲画像にロッドテープのような距離の指標が表示されている場合、ユーザがそのロッドテープの長手方向に沿って一端と他端の位置を指定する操作を行う。その一端と他端の実距離をユーザが入力すると、制御部Ｃが画像内のロッドテープの一端と他端の距離と、入力された実距離との比を求める。
【0138】
さらに制御部Ｃは、この求めた比に基づき、画像内の距離を実際の距離に変換する。なお、制御部Ｃにより画像内のロッドテープの領域を画像認識し、さらに当該領域に示された数字を画像認識する構成であってもよい。その場合、当該領域の長手方向の長さと画像認識した数字に基づき画像内の距離が実際の距離に変換される。
【0139】
上記の処理と同様に鉄筋径、鉄筋間隔の平均、最大間隔、最小間隔を求めてもよい。
【0140】
（測定後画面）
図２８に示すように実際の鉄筋間隔（鉄筋間距離）が測定されると、制御部Ｃは、表示手段Ｄに各鉄筋間隔を数値表示する。同様に鉄筋径、鉄筋間隔の平均、最大間隔、最小間隔が求められている場合は、それら数値も表示されてもよい。
図２８に示すように実際の鉄筋間隔（鉄筋間距離）が測定されると、制御部Ｃは、表示手段Ｄに各鉄筋間隔を数値表示する。同様に鉄筋径、鉄筋間隔の平均、最大間隔、最小間隔が求められている場合は、それら数値も表示されてもよい。
【0141】
図２７、図２８に示すようなＣＳＶ出力ボタンの表示領域をユーザが選択することにより、制御部Ｃは測定ないし算出された鉄筋間隔（鉄筋間距離）を、ＣＳＶ（Ｃｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅｓ）のファイル形式で作成する。さらに加えて鉄筋径、鉄筋間隔の平均、最大間隔、最小間隔のうち少なくとも１種を出力してもよい。
【0142】
なお、上記各実施形態から下記の配筋検査システムとして次のような特徴を挙げることが可能である。これらは上記第１実施形態～第４実施形態およびその変形例、並びにこれらから把握される特許請求の範囲の各請求項と組み合わせることが可能である。
【0143】
［付記１］
１つの視点から撮影された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する識別部と、
識別された鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換する変換部とを備える
配筋検査システム。
１つの視点から撮影された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する識別部と、
識別された鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換する変換部とを備える
配筋検査システム。
【0144】
［付記２］
撮影された画像の一範囲または全範囲を指定する入力にしたがい、前記画像処理部による視線方向が変換される
ことを特徴とする付記１に記載の配筋検査システム。
撮影された画像の一範囲または全範囲を指定する入力にしたがい、前記画像処理部による視線方向が変換される
ことを特徴とする付記１に記載の配筋検査システム。
【0145】
［付記３］
識別された前記鉄筋部分および該当しない部分につき、画像の統計情報に基づいて修正する修正部を含む
ことを特徴とする付記１に記載の配筋検査システム。
識別された前記鉄筋部分および該当しない部分につき、画像の統計情報に基づいて修正する修正部を含む
ことを特徴とする付記１に記載の配筋検査システム。
【0146】
［付記４］
識別された前記鉄筋部分および該当しない部分につき、画像の統計情報に基づいて修正する修正部を含み、
視線方向変換済の画像の前記鉄筋部分のうち、所定の走査方向の鉄筋部分について、前記修正部が識別の誤りを判定する
ことを特徴とする付記２に記載の配筋検査システム。
識別された前記鉄筋部分および該当しない部分につき、画像の統計情報に基づいて修正する修正部を含み、
視線方向変換済の画像の前記鉄筋部分のうち、所定の走査方向の鉄筋部分について、前記修正部が識別の誤りを判定する
ことを特徴とする付記２に記載の配筋検査システム。
【0147】
［付記５］
前記修正部は画像を所定の方向に走査し、当該走査方向に対応する各画素につき、前記鉄筋部分を示す第１画素を特定する特定部を含む
ことを特徴とする付記３または４に記載の配筋検査システム。
前記修正部は画像を所定の方向に走査し、当該走査方向に対応する各画素につき、前記鉄筋部分を示す第１画素を特定する特定部を含む
ことを特徴とする付記３または４に記載の配筋検査システム。
【0148】
［付記６］
前記特定部は当該走査方向における前記第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、当該閾値を超えた場合にその走査方向に存在する画素を全て前記第１画素に置き換える
ことを特徴とする付記５に記載の配筋検査システム。
前記特定部は当該走査方向における前記第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、当該閾値を超えた場合にその走査方向に存在する画素を全て前記第１画素に置き換える
ことを特徴とする付記５に記載の配筋検査システム。
【0149】
［付記７］
前記特定部は当該走査方向における前記第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、当該閾値以下である場合にその走査方向に存在する画素を全て前記第１画素以外の画素に置き換える
ことを特徴とする付記５に記載の配筋検査システム。
前記特定部は当該走査方向における前記第1画素の割合を求め、その求めた割合が閾値を超えたか判定し、当該閾値以下である場合にその走査方向に存在する画素を全て前記第１画素以外の画素に置き換える
ことを特徴とする付記５に記載の配筋検査システム。
【0150】
［付記８］
前記修正部は、画像に対しクロージング処理を実施し、前記第1画素を膨張させてから収縮させることにより、ノイズを除去する
ことを特徴とする付記３に記載の配筋検査システム。
前記修正部は、画像に対しクロージング処理を実施し、前記第1画素を膨張させてから収縮させることにより、ノイズを除去する
ことを特徴とする付記３に記載の配筋検査システム。
【0151】
［付記９］
前記修正部は、画像に対しオープニング処理を実施し、前記第1画素を膨張させてから収縮させることにより、ノイズを除去する
ことを特徴とする付記３に記載の配筋検査システム。
前記修正部は、画像に対しオープニング処理を実施し、前記第1画素を膨張させてから収縮させることにより、ノイズを除去する
ことを特徴とする付記３に記載の配筋検査システム。
【0152】
［付記１０］
配筋検査方法であって、
１つの視点から撮影された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する工程と、
識別された鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換する工程と、
を備えた配筋検査方法。
配筋検査方法であって、
１つの視点から撮影された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する工程と、
識別された鉄筋部分と、該当しない部分とに分かれるよう二値で表した二値画像に変換する工程と、
を備えた配筋検査方法。
【0153】
この発明の実施形態を説明したが、上記の実施形態は例として提示したものであり、発明の範囲を限定することを意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0154】
１００、２００、３００、４００ 配筋検査システム
１１０、２１０、３１０、４１０ 撮影部
１２０、２２０、３２０、４２０ 記憶部
１３０、４３０ 画像処理部
１４０、２４０、３４０、４４０ 識別部
１５０、２５０、３５０、４５０ 修正部
Ｄ 表示手段
１１０、２１０、３１０、４１０ 撮影部
１２０、２２０、３２０、４２０ 記憶部
１３０、４３０ 画像処理部
１４０、２４０、３４０、４４０ 識別部
１５０、２５０、３５０、４５０ 修正部
Ｄ 表示手段
【要約】
【課題】配筋検査システムにおいて検査ミスを低減することを可能とする。
【解決手段】実施形態の配筋検査システムは、１つの視点から撮影された画像に基づき、画像の縦横方向と配筋における縦横方向が対応するように画像の視線方向を変換する画像処理部と、変換された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する識別部と、識別された前記鉄筋部分および該当しない部分につき、画像の統計情報に基づいて修正する修正部と、を備える。
【選択図】図１
【解決手段】実施形態の配筋検査システムは、１つの視点から撮影された画像に基づき、画像の縦横方向と配筋における縦横方向が対応するように画像の視線方向を変換する画像処理部と、変換された画像において鉄筋に該当する鉄筋部分と該当しない部分を機械学習により識別する識別部と、識別された前記鉄筋部分および該当しない部分につき、画像の統計情報に基づいて修正する修正部と、を備える。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
