特許 6960248 舗装ブロック識別装置、舗装ブロック識別システム、プログラムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6960248

(24)【登録日】2021年10月13日

(45)【発行日】2021年11月5日

(54)【発明の名称】舗装ブロック識別装置、舗装ブロック識別システム、プログラムおよび方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20211025BHJP

   E01C 5/06 20060101ALI20211025BHJP

【ＦＩ】

   G06T7/00 350B

   E01C5/06

   G06T7/00 300F

【請求項の数】7

【全頁数】14

(21)【出願番号】特願2017-108393(P2017-108393)

(22)【出願日】2017年5月31日

(65)【公開番号】特開2018-205916(P2018-205916A)

(43)【公開日】2018年12月27日

【審査請求日】2020年3月24日

(73)【特許権者】

【識別番号】000000240

【氏名又は名称】太平洋セメント株式会社

(74)【代理人】

【識別番号】100114258

【弁理士】

【氏名又は名称】福地 武雄

(74)【代理人】

【識別番号】100125391

【弁理士】

【氏名又は名称】白川 洋一

(72)【発明者】

【氏名】寺田 了司

(72)【発明者】

【氏名】福田 康昭

(72)【発明者】

【氏名】十文字 拓也

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１６−０１５０９３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０３７１１１２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｅ０１Ｃ ５／０６

(57)【特許請求の範囲】

【請求項1】

画像により舗装ブロックの識別をする舗装ブロック識別装置であって、
舗装ブロックの画像を含む画像データを入力する入力部と、
前記入力された画像データから前記舗装ブロックの輪郭を認識し、前記舗装ブロックの輪郭を外周の形状とする１の舗装ブロック画像データを切り出す切り出し部と、
前記切り出された１の舗装ブロック画像データに基づいて、予め保存されている舗装ブロックのデータから、前記舗装ブロック画像データと同一の、または類似する舗装ブロックのデータを抽出する解析部と、
前記抽出したデータを表示する表示部と、を備えることを特徴とする舗装ブロック識別装置。

【請求項2】

前記解析部は、予め機械学習をして作成した舗装ブロック識別モデルを用いて同一の、または類似する舗装ブロックのデータを抽出することを特徴とする請求項１記載の舗装ブロック識別装置。

【請求項3】

前記予め保存されている舗装ブロックのデータは、少なくとも予め撮影され、切り出された舗装ブロック画像データから抽出した第１の特徴量を含み、
前記解析部は、前記入力され切り出された舗装ブロック画像データから第２の特徴量を抽出し、前記第１および第２の特徴量に基づいて類似度を計算し、前記類似度に応じて同一の、または類似する舗装ブロックのデータを抽出することを特徴とする請求項１記載の舗装ブロック識別装置。

【請求項4】

前記表示されたデータが正しいものか否かの判定結果を入力する判定結果入力部と、
前記判定結果が正しいとの判定であった場合、前記入力された画像データおよび前記正しいと判定された表示されたデータの少なくとも一部を用いて舗装ブロック識別モデルを更新するモデル更新部と、をさらに備えことを特徴とする請求項２記載の舗装ブロック識別装置。

【請求項5】

端末装置とサーバとを有し、画像により舗装ブロックの識別をする舗装ブロック識別システムであって、
前記端末装置は、
前記サーバに舗装ブロックの画像を含む画像データを送信し、前記サーバから舗装ブロックのデータを受信する送受信部と、
前記受信した舗装ブロックのデータを表示する表示部と、を備え、
前記サーバは、
前記端末装置から送信された画像データを入力する入力部と、
前記入力された画像データから前記舗装ブロックの輪郭を認識し、前記舗装ブロックの輪郭を外周の形状とする１の舗装ブロック画像データを切り出す切り出し部と、
前記切り出された１の舗装ブロック画像データに基づいて、予め保存されている舗装ブロックのデータから、前記舗装ブロック画像データと同一の、または類似する舗装ブロックのデータを抽出する解析部と、
前記抽出した舗装ブロックのデータを前記端末装置に送信する出力部と、を備えることを特徴とする舗装ブロック識別システム。

【請求項6】

画像により舗装ブロックの識別をする舗装ブロック識別プログラムであって、
舗装ブロックの画像を含む画像データを入力する処理と、
前記入力された画像データから前記舗装ブロックの輪郭を認識し、前記舗装ブロックの輪郭を外周の形状とする１の舗装ブロック画像データを切り出す処理と、
前記切り出された１の舗装ブロック画像データに基づいて、予め保存されている舗装ブロックのデータから、前記舗装ブロック画像データと同一の、または類似する舗装ブロックのデータを抽出する処理と、
前記抽出したデータを表示する処理と、の一連の処理をコンピュータに実行させることを特徴とするプログラム。

【請求項7】

画像により舗装ブロックの識別をする舗装ブロック識別方法であって、
舗装ブロックの画像を含む画像データを入力するステップと、
前記入力された画像データから前記舗装ブロックの輪郭を認識し、前記舗装ブロックの輪郭を外周の形状とする１の舗装ブロック画像データを切り出すステップと、
前記切り出された１の舗装ブロック画像データに基づいて、予め保存されている舗装ブロックのデータから、前記舗装ブロック画像データと同一の、または類似する舗装ブロックのデータを抽出するステップと、
前記抽出したデータを表示するステップと、を含むことを特徴とする舗装ブロック識別方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、舗装ブロック識別装置、舗装ブロック識別システム、プログラムおよび方法に関する。

【背景技術】

【0002】

近年、歩道、車道、公園、広場など様々な場所でインターロッキングブロック、コンクリート平板などの舗装用コンクリートブロック（舗装ブロック）が使用されている。舗装ブロックは、傷んだ部分のみ取り替えることができ、修繕費を低くすることができる。しかし、修繕の際に同一のブロックを準備するためには、製造メーカー、製品型番などを知る必要があり、見た目がよく似ている製品がある場合もあり、人が見て判断するのは、時間も手間もかかっていた。

【0003】

特許文献１は、舗装路面の画像から舗装路面のクラックの抽出と損傷レベルの評価をする方法、およびアスファルト舗装とコンクリート舗装を判別する方法が開示されている。また、特許文献２は、コンクリート表面画像から画像処理によって距離標銘板などの設置物を検出する方法において、検出漏れや過剰検出を防止し、処理の効率化を図る技術が開示されている。しかし、特許文献１および２記載の技術では、舗装ブロックを識別することはできない。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−１７９８７４号公報

【特許文献2】特開２０１５−１０６２３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、このような事情に鑑みてなされたものであり、舗装ブロックの画像を含む画像データに基づいて、同一の、または類似する舗装ブロックのデータを抽出する舗装ブロック識別装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

（１）上記の目的を達成するため、本発明の舗装ブロック識別装置は、画像により舗装ブロックの識別をする舗装ブロック識別装置であって、舗装ブロックの画像を含む画像データを入力する入力部と、前記入力された画像データから１以上の舗装ブロック画像データを切り出す切り出し部と、前記切り出された舗装ブロック画像データに基づいて、予め保存されている舗装ブロックのデータから、前記舗装ブロック画像データと同一の、または類似する舗装ブロックのデータを抽出する解析部と、前記抽出したデータを表示する表示部と、を備えることを特徴としている。

【0007】

これにより、舗装ブロックの画像を含む画像データに基づいて、同一の、または類似する舗装ブロックのデータを抽出することができ、舗装ブロックの施工時や修復時に、使用されている舗装ブロックを簡単に特定できる。

【0008】

（２）また、本発明の舗装ブロック識別装置において、前記解析部は、予め機械学習をして作成した舗装ブロック識別モデルを用いて同一の、または類似する舗装ブロックのデータを抽出することを特徴としている。このように、予め機械学習をして作成した舗装ブロック識別モデルを用いて同一の、または類似する舗装ブロックのデータを抽出するため、使用されている舗装ブロックを特定する精度を高くすることが可能となる。

【0009】

（３）また、本発明の舗装ブロック識別装置において、前記予め保存されている舗装ブロックのデータは、少なくとも予め撮影され、切り出された舗装ブロック画像データから抽出した第１の特徴量を含み、前記解析部は、前記入力され切り出された舗装ブロック画像データから第２の特徴量を抽出し、前記第１および第２の特徴量に基づいて類似度を計算し、前記類似度に応じて同一の、または類似する舗装ブロックのデータを抽出することを特徴としている。このように、予め保存されている舗装ブロックのデータは、少なくとも予め撮影され、切り出された舗装ブロック画像データから抽出した第１の特徴量を含み、舗装ブロック画像データから第２の特徴量を抽出し、第１および第２の特徴量に基づいて類似度を計算し、類似度に応じて同一の、または類似する舗装ブロックのデータを抽出するため、使用されている舗装ブロックを特定する精度を高くすることが可能となる。

【0010】

（４）また、本発明の舗装ブロック識別装置は、前記入力された画像データについて、撮影時の条件に応じた画像処理を行なう画像処理部をさらに備えることを特徴としている。このように、入力された画像データについて、撮影時の条件に応じた画像処理を行なうことで、入力された画像データの撮影時の明るさ、天気などの条件や、舗装ブロックの表面の摩耗、汚れなどの条件、撮影機材の画素数などの条件の違いによることなく、使用されている舗装ブロックを特定する精度を高くすることが可能となる。

【0011】

（５）また、本発明の舗装ブロック識別装置は、前記表示されたデータが正しいものか否かの判定結果を入力する判定結果入力部と、前記判定結果が正しいとの判定であった場合、前記入力された画像データおよび前記正しいと判定された表示されたデータの少なくとも一部を用いて舗装ブロック識別モデルを更新するモデル更新部と、をさらに備えることを特徴としている。このように、表示されたデータが正しいものか否かの判定結果を入力し、判定結果が正しいとの判定であった場合、入力された画像データおよび正しいと判定された表示されたデータの少なくとも一部を用いて舗装ブロック識別モデルを更新することで、舗装ブロック識別モデルの精度をさらに高くすることが可能となる。

【0012】

（６）また、本発明の舗装ブロック識別システムは、端末装置とサーバとを有し、画像により舗装ブロックの識別をする舗装ブロック識別システムであって、前記端末装置は、前記サーバに舗装ブロックの画像を含む画像データを送信し、前記サーバから舗装ブロックのデータを受信する送受信部と、前記受信した舗装ブロックのデータを表示する表示部と、を備え、前記サーバは、前記端末装置から送信された画像データを入力する入力部と、前記入力された画像データから１以上の舗装ブロック画像データを切り出す切り出し部と、前記切り出された舗装ブロック画像データに基づいて、予め保存されている舗装ブロックのデータから、前記舗装ブロック画像データと同一の、または類似する舗装ブロックのデータを抽出する解析部と、前記抽出した舗装ブロックのデータを前記端末装置に送信する出力部と、を備えることを特徴としている。これにより、舗装ブロックの画像を含む画像データに基づいて、同一の、または類似する舗装ブロックのデータを抽出することができ、舗装ブロックの施工時や修復時に、使用されている舗装ブロックを簡単に特定できる。また、屋外であっても、通信機能を有する汎用的な端末装置を用いて、簡単に識別結果を得ることができる。

【0013】

（７）また、本発明の舗装ブロック識別プログラムは、画像により舗装ブロックの識別をする舗装ブロック識別プログラムであって、舗装ブロックの画像を含む画像データを入力する処理と、前記入力された画像データから１以上の舗装ブロック画像データを切り出す処理と、前記切り出された舗装ブロック画像データに基づいて、予め保存されている舗装ブロックのデータから、前記舗装ブロック画像データと同一の、または類似する舗装ブロックのデータを抽出する処理と、前記抽出したデータを表示する処理と、の一連の処理をコンピュータに実行させることを特徴としている。これにより、舗装ブロックの画像を含む画像データに基づいて、同一の、または類似する舗装ブロックのデータを抽出することができ、舗装ブロックの施工時や修復時に、使用されている舗装ブロックを簡単に特定できる。

【0014】

（８）また、本発明の舗装ブロック識別方法は、画像により舗装ブロックの識別をする舗装ブロック識別方法であって、舗装ブロックの画像を含む画像データを入力するステップと、前記入力された画像データから１以上の舗装ブロック画像データを切り出すステップと、前記切り出された舗装ブロック画像データに基づいて、予め保存されている舗装ブロックのデータから、前記舗装ブロック画像データと同一の、または類似する舗装ブロックのデータを抽出するステップと、前記抽出したデータを表示するステップと、を含むことを特徴としている。これにより、舗装ブロックの画像を含む画像データに基づいて、同一の、または類似する舗装ブロックのデータを抽出することができ、舗装ブロックの施工時や修復時に、使用されている舗装ブロックを簡単に特定できる。

【発明の効果】

【0015】

本発明によれば、舗装ブロックの画像を含む画像データに基づいて、同一の、または類似する舗装ブロックのデータを抽出することができ、舗装ブロックの施工時や修復時に、使用されている舗装ブロックを簡単に特定できる。

【図面の簡単な説明】

【0016】

【図1】第１の実施形態に係る舗装ブロック識別装置の構成の一例を示すブロック図である。

【図2】入力された舗装ブロックの画像を含む画像データと、そこから切り出した１つの舗装ブロック画像データの一例を示す概念図である。

【図3】入力された舗装ブロックの画像を含む画像データと、そこから切り出した１つの舗装ブロック画像データの一例を示す概念図である。

【図4】入力された舗装ブロックの画像を含む画像データと、そこから切り出した３つの舗装ブロック画像データの一例を示す概念図である。

【図5】舗装ブロック識別モデルの出力の例を示す表である。

【図6】予め保存されている舗装ブロックのデータの一例を示す概念図である。

【図7】表示部に表示されるデータの一例を示す概念図である。

【図8】第１の実施形態に係る舗装ブロック識別装置の動作を示すフローチャートである。

【図9】第２の実施形態において予め保存されている舗装ブロックのデータに含まれる第１の特徴量を示す概念図である。

【図10】第２の実施形態に係る舗装ブロック識別装置の動作を示すフローチャートである。

【図11】第３の実施形態に係る舗装ブロック識別装置の構成の一例を示すブロック図である。

【図12】第４の実施形態に係る舗装ブロック識別装置の構成の一例を示すブロック図である。

【図13】第５の実施形態に係る舗装ブロック識別システムの構成の一例を示すブロック図である。

【発明を実施するための形態】

【0017】

次に、本発明の実施の形態について、図面を参照しながら説明する。

【0018】

［第１の実施形態］
（舗装ブロック識別装置の構成）
図１は、本実施形態に係る舗装ブロック識別装置の構成の一例を示すブロック図である。本実施形態に係る舗装ブロック識別装置１００は、入力部１１０、切り出し部１２０、解析部１３０および表示部１４０を備える。

【0019】

入力部１１０は、舗装ブロックの画像を含む画像データを入力する。画像データは、舗装ブロック識別装置１００とは別の機器、例えば、スマートフォンやデジタルカメラ等で撮影したものを入力してもよい。また、舗装ブロック識別装置１００が撮影機能を有していて、これにより撮影したものでもよい。入力部１１０は、画像データ以外に補助的なデータを入力してもよい。補助的なデータとして、例えば、舗装ブロックの縦横の大まかなサイズ、撮影時の日当たり、天気、舗装ブロックの表面の摩耗、汚れなどの状態、撮影機材の画素数、撮影した場所のＧＰＳ（global positioning system）データ、撮影した時間データなどが考えられる。

【0020】

切り出し部１２０は、入力された画像データから１以上の舗装ブロック画像データを切り出す。図２は、入力された舗装ブロックの画像を含む画像データと、そこから切り出した１つの舗装ブロック画像データの一例を示す概念図である。舗装ブロック画像データの切り出しは、例えば、画像処理プログラムにより、自動で１つの舗装ブロックの輪郭を認識し、画像データを切り出すことで行なわれる。

【0021】

図３は、入力された舗装ブロックの画像を含む画像データと、そこから切り出した１つの舗装ブロック画像データの一例を示す概念図である。また、図４は、入力された舗装ブロックの画像を含む画像データと、そこから切り出した３つの舗装ブロック画像データの一例を示す概念図である。切り出し部１２０は、図３のように同一のブロックが異なる向きで配置されている場合、形状が同じであると判断し、１つの舗装ブロック画像データのみを切り出すようにしてもよい。また、切り出し部１２０は、図４のように表面に複数の形状が現れるブロックが配置されている場合、その画像データから異なる形状の複数の舗装ブロック画像データを切り出すようにしてもよい。上記の例では舗装ブロックの形状に注目しているが、同一の形状の舗装ブロックであっても、テクスチャーや色などが異なる場合に異なる舗装ブロック画像データとして切り出すこともできる。

【0022】

解析部１３０は、切り出された舗装ブロック画像データに基づいて、予め保存されている舗装ブロックのデータから、切り出された舗装ブロック画像データと同一の、または類似する舗装ブロックのデータを抽出する。舗装ブロックの類似の判断は、舗装ブロックのテクスチャー、形状、色など様々な観点から行なうことができる。

【0023】

解析部１３０は、切り出された舗装ブロック画像データと同一の、または類似する舗装ブロックを判断する方法として、予め機械学習をして作成した舗装ブロック識別モデルを用いる。舗装ブロック識別モデルに舗装ブロック画像データを入力すると、機械学習に用いた複数の舗装ブロックとの類似度合いが出力される。図５は、舗装ブロック識別モデルの出力の例を示す表である。解析部１３０は、このような出力から、上位のいくつかの舗装ブロック、または類似度合いが所定の値以上の舗装ブロックのデータを、予め保存されている舗装ブロックのデータから抽出する。

【0024】

予め機械学習をして作成した舗装ブロック識別モデルを用いると、機械学習に用いた複数の舗装ブロックそれぞれと個別に類似度合いを判断することなく上記のような出力が得られる。そのため、計算量が少なく、計算時間を短縮できるので好ましい。また、入力された舗装ブロックの画像を含む画像データから、舗装ブロック画像データの切り出しをしないで、予め機械学習をして作成した舗装ブロック識別モデルを用いた一体の処理としてもよい。なお、機械学習として、ディープラーニングを用いてもよい。ここで機械学習とは、舗装ブロックのサンプル画像を複数用意して舗装ブロック識別装置１００にて入力および解析を行ない、解析部が参照するＤＢに個々の舗装ブロックの色、形、表面のテクスチャー等の特徴を蓄積するプロセスをいう。

【0025】

図６は、予め保存されている舗装ブロックのデータの一例を示す概念図である。解析部１３０は、図６のようなデータから必要な舗装ブロックのデータを抽出する。

【0026】

表示部１４０は、解析部１３０が抽出したデータを表示する。図７は、表示部１４０に表示されるデータの一例を示す概念図である。解析部１３０は、予め保存されている舗装ブロックのデータに応じて、様々なデータを抽出することができる。そのため、予め保存されている舗装ブロックのデータが図６に示すデータであった場合、解析部１３０は、製品ＨＰ（ホームページ）のＵＲＬや、製品画像などを抽出し、表示部１４０は、それを表示することもできる。

【0027】

（舗装ブロック識別装置の動作）
次に、本実施形態に係る舗装ブロック識別装置の動作について説明する。図８は、本実施形態に係る舗装ブロック識別装置の動作を示すフローチャートである。最初に、入力部は、舗装ブロックの画像を含む画像データを入力する（ステップＳ１）。次に、切り出し部は、１以上の舗装ブロック画像データを切り出す（ステップＳ２）。

【0028】

次に、解析部は、切り出された舗装ブロック画像データを舗装ブロック識別モデルに入力する（ステップＳ３）。解析部は、得られた出力に応じて、予め保存されている舗装ブロックのデータから、同一の、または類似する舗装ブロックのデータを抽出する（ステップＳ４）。得られた出力の類似度合いがすべて予め定められた閾値よりも低い場合は、解析部は、舗装ブロックのデータを抽出しないで、その旨を表示部に通知するようにしてもよい。そして、表示部は、抽出したデータを表示し（ステップＳ５）、終了する。このような動作により、舗装ブロック識別装置は、画像データに基づいて、同一の、または類似する舗装ブロックのデータを抽出する。

【0029】

［第２の実施形態］
（舗装ブロック識別装置の構成）
第１の実施形態では、解析部１３０が、予め機械学習をして作成した舗装ブロック識別モデルを用いて舗装ブロックの類似の判断をしたが、本実施形態に係る舗装ブロック識別装置は、解析部１３０が、舗装ブロック画像データから特徴量を抽出し、類似度を計算することで、舗装ブロックの類似の判断をするようにした。本実施形態に係る舗装ブロック識別装置１００は、第１の実施形態と同様に、入力部１１０、切り出し部１２０、解析部１３０および表示部１４０を備える。

【0030】

入力部１１０、切り出し部１２０および表示部１４０の機能は、第１の実施形態と同様である。

【0031】

解析部１３０は、切り出された舗装ブロック画像データと同一の、または類似する舗装ブロックを判断する方法として、舗装ブロック画像データから特徴量を抽出し、類似度を計算することで、同一の、または類似する舗装ブロックのデータを抽出する。図９は、本実施形態において予め保存されている舗装ブロックのデータに含まれる第１の特徴量を示す概念図である。本実施形態では、予め保存されている舗装ブロックのデータは、図６のようなデータ以外に、少なくとも予め撮影され、切り出された舗装ブロック画像データから抽出した図９のような第１の特徴量を含んでいる。そして、入力され切り出された舗装ブロック画像データから第２の特徴量を抽出し、第１および第２の特徴量に基づいて類似度を計算する。なお、第１および第２の特徴量は、舗装ブロックのテクスチャー、形状、色など様々な観点で設定することができる。

【0032】

類似度の計算は、例えば、コサイン類似度を用いることができる。そして、計算した類似度に応じて、類似度の高いほうからいくつかの舗装ブロック、または類似度が所定の値以上の舗装ブロックのデータを、予め保存されている舗装ブロックのデータから抽出する。

【0033】

舗装ブロック画像データから特徴量を抽出し、類似度を計算すると、予め保存されている複数の舗装ブロックそれぞれに対して個別に類似度を計算するため計算量は多くなるが、識別する画像が舗装ブロックに限定されているため、特に問題は生じない。また、特徴量を抽出した段階で、明らかに異なる舗装ブロックとの類似度を計算しないなどの工夫をすることで、計算量の低減をすることができる。

【0034】

（舗装ブロック識別装置の動作）
次に、本実施形態に係る舗装ブロック識別装置の動作について説明する。図１０は、本実施形態に係る舗装ブロック識別装置の動作を示すフローチャートである。最初に、入力部は、舗装ブロックの画像を含む画像データを入力する（ステップＴ１）。次に、切り出し部は、１以上の舗装ブロック画像データを切り出す（ステップＴ２）。

【0035】

次に、解析部は、切り出した舗装ブロック画像データから第２の特徴量を抽出する（ステップＴ３）。そして、解析部は、予め保存されている舗装ブロックの第１の特徴量、および抽出した第２の特徴量から、類似度を計算する（ステップＴ４）。解析部は、計算された類似度に応じて、予め保存されている舗装ブロックのデータから、同一の、または類似する舗装ブロックのデータを抽出する（ステップＴ５）。第１の実施形態と同様に、計算された類似度のすべてが予め定められた閾値よりも低い場合は、解析部は、舗装ブロックのデータを抽出しないで、その旨を表示部に通知するようにしてもよい。そして、表示部は、抽出したデータを表示し（ステップＴ６）、終了する。このような動作により、舗装ブロック識別装置は、画像データに基づいて、同一の、または類似する舗装ブロックのデータを抽出する。

【0036】

［第３の実施形態］
（舗装ブロック識別装置の構成）
本実施形態に係る舗装ブロック識別装置は、第１または第２の実施形態に係る舗装ブロック識別装置に、さらに画像処理部を備える構成とした。図１１は、本実施形態に係る舗装ブロック識別装置の構成の一例を示すブロック図である。本実施形態に係る舗装ブロック識別装置１００は、入力部１１０、画像処理部１５０、切り出し部１２０、解析部１３０および表示部１４０を備える。

【0037】

入力部１１０、切り出し部１２０、解析部１３０および表示部１４０の機能は、第１または第２の実施形態と同様である。

【0038】

画像処理部１５０は、入力された画像データについて、撮影時の条件に応じた画像処理を行なう。画像処理部１５０は、入力された画像データの撮影時の明るさ、天気などの条件や、舗装ブロックの表面の摩耗、汚れなどの条件、撮影機材の画素数などの条件に応じた画像処理を行なう。このような画像処理をすることで、使用されている舗装ブロックを特定する精度を高くすることが可能となる。

【0039】

このとき、撮影時の条件は、画像データから自動的に条件を読み取る構成にしてもよい。このような条件の読み取りのために、機械学習（ディープラーニング）を用いることもできる。ただし、機械学習（ディープラーニング）を用いる場合で、学習データが十分にある場合は、条件の異なる様々な舗装ブロックを含む画像から、画像処理や舗装ブロック画像の切り出しをしないで、類似度合いを示す出力を得ることもできる。

【0040】

撮影時の条件は、画像データと合わせて補助的なデータとして入力する構成にしてもよい。また、画像データに撮影した場所のＧＰＳデータと時間データを自動的に含める構成として、ＧＰＳデータと時間データを用いて、天気などの条件のデータをインターネットなどを通じて取得するようにすることもできる。

【0041】

画像処理を行なうタイミングは、画像処理により舗装ブロック画像データの切り出し精度がよくなる場合があるため、切り出しの前に行なうことが好ましいが、切り出しの後に行なうこともできる。

【0042】

［第４の実施形態］
（舗装ブロック識別装置の構成）
本実施形態に係る舗装ブロック識別装置は、第１の実施形態に係る舗装ブロック識別装置に、さらに判定結果入力部１６０とモデル更新部１７０を備える構成とした。図１２は、本実施形態に係る舗装ブロック識別装置の構成の一例を示すブロック図である。本実施形態に係る舗装ブロック識別装置１００は、入力部１１０、切り出し部１２０、解析部１３０、表示部１４０、判定結果入力部１６０およびモデル更新部１７０を備える。

【0043】

入力部１１０、切り出し部１２０、解析部１３０および表示部１４０の機能は、第１の実施形態と同様である。

【0044】

判定結果入力部１６０は、表示部１４０に表示されたデータが正しいものか否かの判定結果を入力する。この判定は、ユーザが行なう。このとき、表示されたデータが、図７に示す例のような複数の舗装ブロックのデータが含まれ、正しい舗装ブロックのデータが含まれているときは、正しい舗装ブロックの製品型番やブロック名などの舗装ブロックを特定するデータとそのブロックが正しいブロックである旨を、判定結果として入力する。また、表示された複数の舗装ブロックのデータがいずれも正しくないときは、その旨を、判定結果として入力する。

【0045】

モデル更新部１７０は、入力された判定結果が正しいとの判定であった場合、入力された舗装ブロック画像を含む画像データおよび正しいと判定された表示されたデータの少なくとも一部を用いて舗装ブロック識別モデルを更新する。例えば、図７の表示のうち「ブロックＡ」が「正しい」との入力がされた場合、入力された舗装ブロック画像を含む画像データである「図２の上の舗装ブロックの画像を含む画像データ」またはその画像データから切り出された「図２の下の舗装ブロック画像データ」と、「ブロックＡ」とを関連づけて、舗装ブロック識別モデルの学習データとして用いて学習させることで、舗装ブロック識別モデルを更新する。

【0046】

このように、表示されたデータが正しいものか否かの判定結果を入力し、判定結果が正しいとの判定であった場合、入力された画像データおよび正しいと判定された表示されたデータの少なくとも一部を用いて舗装ブロック識別モデルを更新することで、舗装ブロック識別モデルの精度をさらに高くすることが可能となる。

【0047】

［第５の実施形態］
（舗装ブロック識別システムの構成）
第１または第２の実施形態では、画像の入力から舗装ブロックの類似の判断、結果の表示までをすべて舗装ブロック識別装置が行なう構成としているが、本実施形態に係る舗装ブロック識別システムは、端末装置とサーバとを有し、これらの機能を、端末装置とサーバとが分担する構成とした。図１３は、本実施形態に係る舗装ブロック識別システムの構成の一例を示すブロック図である。本実施形態に係る舗装ブロック識別システム２００は、端末装置３００とサーバ４００とを有する。

【0048】

（端末装置の構成）
端末装置３００は、送受信部３１０および表示部１４０を備える。送受信部３１０は、サーバ４００に舗装ブロックの画像を含む画像データを送信し、サーバ４００から舗装ブロックのデータを受信する。送信する画像データは、端末装置３００が撮影機能を有していて、これにより撮影したものでもよいし、端末装置３００以外の装置により撮影されたものでもよい。送受信部３１０が送信するデータは、画像データ以外に第１の実施形態と同様の補助的なデータを含んでいてもよい。

【0049】

表示部１４０は、送受信部３１０が受信した舗装ブロックのデータを表示する。表示するデータは、例えば、図７に示すようなデータである。

【0050】

（サーバの構成）
サーバ４００は、入力部１１０、切り出し部１２０、解析部１３０および出力部４１０を備える。入力部１１０、切り出し部１２０および解析部１３０の機能は、第１または第２の実施形態と同様である。

【0051】

出力部４１０は、解析部１３０が抽出した舗装ブロックのデータを端末装置３００に送信する。送信するデータは、例えば、図７に示すようなデータである。このような構成により、画像データに基づいて、同一の、または類似する舗装ブロックのデータを抽出することができ、舗装ブロックの施工時や修復時に、使用されている舗装ブロックを簡単に特定できる。また、屋外であっても、通信機能を有する汎用的な端末装置３００を用いて、簡単に識別結果を得ることができる。

【0052】

本実施形態に係る舗装ブロック識別システムは、送信される舗装ブロックの画像を含む画像データに撮影した場所のＧＰＳデータを含む構成として、その画像データを蓄積することで、どの場所にどのような舗装ブロックが敷設されているかを示すデータベースを構築することができる。

【0053】

このデータベースには、舗装ブロック識別システムにより識別された舗装ブロックの製造メーカーのデータや製品型番のデータを含ませることができる。このようなデータベースを構築することで、舗装ブロックの製造メーカーは、自社の舗装ブロックがどこに使用されているかを知ることができる。そのデータを活用することで、舗装ブロックの補修時にユーザから注文があったときに応じるだけでなく、そのデータの示す場所やその周辺で新たに舗装ブロックの敷設の提案をするなど舗装ブロックの普及に役立てることができる。

【符号の説明】

【0054】

１００ 舗装ブロック識別装置
１１０ 入力部
１２０ 切り出し部
１３０ 解析部
１４０ 表示部
１５０ 画像処理部
１６０ 判定結果入力部
１７０ モデル更新部
２００ 舗装ブロック識別システム
３００ 端末装置
３１０ 送受信部
４００ サーバ
４１０ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】