特開 2021-140434 屋外構造物部位特定装置、屋外構造物部位特定方法および屋外構造物部位特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-140434(P2021-140434A)

(43)【公開日】2021年9月16日

(54)【発明の名称】屋外構造物部位特定装置、屋外構造物部位特定方法および屋外構造物部位特定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210820BHJP

   G06T 7/12 20170101ALI20210820BHJP

   E01D 22/00 20060101ALI20210820BHJP

   G06N 20/00 20190101ALI20210820BHJP

   G06N 3/08 20060101ALI20210820BHJP

【ＦＩ】

   G06T7/00 350C

   G06T7/12

   E01D22/00 A

   G06N20/00 130

   G06N3/08

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

【全頁数】16

(21)【出願番号】特願2020-37251(P2020-37251)

(22)【出願日】2020年3月4日

(71)【出願人】

【識別番号】000140292

【氏名又は名称】株式会社奥村組

(71)【出願人】

【識別番号】394026714

【氏名又は名称】株式会社ジャスト

(74)【代理人】

【識別番号】110002170

【氏名又は名称】特許業務法人翔和国際特許事務所

(72)【発明者】

【氏名】岩下 将也

(72)【発明者】

【氏名】山口 治

(72)【発明者】

【氏名】角田 賢明

(72)【発明者】

【氏名】梅田 貴大

【テーマコード（参考）】

2D059

5L096

【Ｆターム（参考）】

2D059AA03

2D059BB39

2D059GG39

5L096AA06

5L096BA03

5L096BA18

5L096CA02

5L096DA01

5L096EA03

5L096EA12

5L096FA06

5L096FA14

5L096HA11

5L096JA06

5L096KA04

(57)【要約】      （修正有）

【課題】屋外構造物の部位を、人工知能による機械学習によって、精度高く特定する装置を提供する。
【解決手段】屋外構造物部位特定装置は、複数の部位を含んで構成される第１屋外構造物の第１画像を取得する画像取得部と、第１画像中の第１屋外構造物及び第１屋外構造物の部位の境界を決定する境界決定部と、境界に基づいて第１屋外構造物の種類及び第１屋外構造物の部位を特定する特定部２０３と、部位の夫々に部位に応じて色付けして色付き第１画像を生成する色付き画像生成部と、第１屋外構造物の種類、色付き第１画像及び第１画像を人工知能に入力して機械学習させて、学習済み屋外構造物部位特定モデルを生成するモデル生成部と、複数の部位を含んで構成される第２屋外構造物の第２画像の入力を受け付ける受付部と、学習済み屋外構造物部位特定モデルを用いて、第２画像中の第２屋外構造物の種類及び第２構造物の部位を特定する特定部２０７と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数の部位を含んで構成される第１屋外構造物の第１画像を取得する画像取得部と、
取得した前記第１画像中の前記第１屋外構造物および前記第１屋外構造物の部位の境界を決定する境界決定部と、
決定された前記境界に基づいて、前記第１屋外構造物の種類および前記第１屋外構造物の部位を特定する第１特定部と、
特定された前記第１屋外構造物の部位のそれぞれに、前記第１屋外構造物の部位に応じた色付けをして、色付けされた色付き第１画像を生成する色付き画像生成部と、
特定した前記第１屋外構造物の種類、前記色付き第１画像および前記第１画像を人工知能に入力して機械学習させて、学習済み屋外構造物部位特定モデルを生成するモデル生成部と、
複数の部位を含んで構成される第２屋外構造物の第２画像の入力を受け付ける受付部と、
前記モデル生成部で生成した前記学習済み屋外構造物部位特定モデルを用いて、前記受付部が受け付けた前記第２画像中の前記第２屋外構造物の種類および前記第２屋外構造物の部位を特定する第２特定部と、
を備えた屋外構造物部位特定装置。

【請求項2】

前記第１特定部は、前記第１屋外構造物における主要部位として、橋梁の主桁、横桁、縦桁、床版、柱部、壁部、梁部、胸壁、堅壁、支承本体および高欄の少なくともいずれか１つを特定する請求項１に記載の屋外構造物部位特定装置。

【請求項3】

前記第１特定部は、前記第１画像において、前記主要部位同士が重なっている場合、手前側の主要部位を優先して特定する請求項２に記載の屋外構造物部位特定装置。

【請求項4】

前記第１画像において、前記主要部位と前記主要部位以外の部位である非主要部位とが重なり、前記主要部位が前記非主要部位に隠されている場合、前記主要部位のうち前記非主要部位に隠された部分を推測する推測部をさらに備え、
前記第１特定部は、前記推測部による推測結果を用いて、前記第１屋外構造物の種類および前記第１屋外構造物の部位を特定する請求項２または３に記載の屋外構造物部位特定装置。

【請求項5】

前記モデル生成部は、PSPNetを用いて前記学習済み屋外構造物部位特定モデルを生成する請求項１〜４のいずれか１項に記載の屋外構造物部位特定装置。

【請求項6】

前記モデル生成部は、水増しデータとして、拡大、回転および反転のいずれか１つを用いて前記学習済み屋外構造物特定モデルを生成する請求項１〜５のいずれか1項に記載の屋外構造物部位特定装置。

【請求項7】

前記モデル生成部は、転移学習を用いて前記学習済み屋外構造物特定モデルを生成する請求項１〜６のいずれか1項に記載の屋外構造物部位特定装置。

【請求項8】

複数の部位を含んで構成される第１屋外構造物の第１画像を取得する画像取得ステップと、
取得した前記第１画像中の前記第１屋外構造物および前記第１屋外構造物の部位の境界を決定する境界決定ステップと、
決定された前記境界に基づいて、前記第１屋外構造物の種類および前記第１屋外構造物の部位を特定する第１特定ステップと、
特定された前記第１屋外構造物の部位のそれぞれに、前記第１屋外構造物の部位に応じた色付けをして、色付けされた色付き第１画像を生成する色付き画像生成ステップと、
特定した前記第１屋外構造物の種類、前記色付き第１画像および前記第１画像を人工知能に入力して機械学習させて、学習済み屋外構造物部位特定モデルを生成するモデル生成ステップと、
複数の部位を含んで構成される第２屋外構造物の第２画像の入力を受け付ける受付ステップと、
前記モデル生成ステップにおいて生成した前記学習済み屋外構造物部位特定モデルを用いて、前記受付ステップにおいて受け付けた前記第２画像中の前記第２屋外構造物の種類および前記第２屋外構造物の部位を特定する第２特定ステップと、
を含む屋外構造物部位特定方法。

【請求項9】

複数の部位を含んで構成される第１屋外構造物の第１画像を取得する画像取得ステップと、
取得した前記第１画像中の前記第１屋外構造物および前記第１屋外構造物の部位の境界を決定する境界決定ステップと、
決定された前記境界に基づいて、前記第１屋外構造物の種類および前記第１屋外構造物の部位を特定する第１特定ステップと、
特定された前記第１屋外構造物の部位のそれぞれに、前記第１屋外構造物の部位に応じた色付けをして、色付けされた色付き第１画像を生成する色付き画像生成ステップと、
特定した前記第１屋外構造物の種類、前記色付き第１画像および前記第１画像を人工知能に入力して機械学習させて、学習済み屋外構造物部位特定モデルを生成するモデル生成ステップと、
複数の部位を含んで構成される第２屋外構造物の第２画像の入力を受け付ける受付ステップと、
前記モデル生成ステップにおいて生成した前記学習済み屋外構造物部位特定モデルを用いて、前記受付ステップにおいて受け付けた前記第２画像中の前記第２屋外構造物の種類および前記第２屋外構造物の部位を特定する第２特定ステップと、
をコンピュータに実行させる屋外構造物部位特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、屋外構造物部位特定装置、屋外構造物部位特定方法および屋外構造物部位特定プログラムに関し、特に、コンピュータに組み込まれた画像解析プログラムおよび人工知能による特定結果から屋外構造物の部位を特定する装置に関する。

【背景技術】

【0002】

インフラ構造物の老朽化は加速度的に進んでおり，維持管理・更新の必要性は，今後さらに増大していくと言われている。労働人口が減り続ける中、維持管理・更新にかかる労務の効率化は喫緊の課題となっている。維持管理・更新にかかる労務の効率化の実現に向け、近年著しく性能が向上しているＡＩによる画像認識技術を適用する研究事例が増えている。深層学習と呼ばれる高度なニューラルネットワークを用いれば、従来では困難であった人間の直感に近い画像認識が実現でき損傷部位の目視点検の補助や代替が期待できる。既に構造物の損傷を矩形領域（バウンディングボックス）で検出する（非特許文献１）、損傷の程度やその形状を領域（セグメンテーション）で検出する（非特許文献２）などで、多くの研究が報告されており、これらの技術を利用した目視点検の代替、補助が期待される。点検・診断業務においては、目視等で確認された損傷をもとに、損傷の危険性の評価、発生原因の推定、対策の検討など、維持・更新に向けた対応を講じる必要がある、このような二次的な判断をするためには、損傷の種類、位置、形状だけでなく、その損傷がどの構造部位に発生しているかという背景情報が重要である。

【0003】

また、インフラ構造物の中でも、例えば、橋梁はトンネルや管きょと異なり、屋外構造物であること、撮影地点の制約の都合などから、構造物を比較的全景で撮影する状況が多く、画像内に複数種の部位が含まれることが多い。国土交通省の定める（「橋梁の定期点検要領」）では、橋梁の部位・部材として、主桁などを含む２９種の上部構造、梁部などを含む８種の下部構造，支承本体を含む６種の支承部，高欄などを含む８種の路上部位・部材、その他、排水設備等の６種、合計５７種の部位・部材が規定されており、多数の部位・部材が構造物全体に配置されている。同要領では，損傷とその程度の判定、損傷の対策区分の判定、橋梁の健全性評価の各方法についても定められている。損傷の対策区分は損傷の発生部位によっても変わり、例えば床版に遊離石灰や鉄筋露出がある場合、「緊急の対策が必要」と判断される。部位は損傷の危険性や対策を考える上で、重要な参照情報となっている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】土木学会論文集Ｆ６（安全問題） ７３巻（２０１７）２号 「深層畳み込みニューラルネットワークに基づくコンクリート表面のひび割れ検出システム」

【非特許文献2】第３３回人工知能学会全国大会論文集２０１９ 「目視点検の損傷画像による鉄筋露出セグメンテーションの転移学習」

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、インフラ構造物の部位を特定する手法については、現状では、作業員の目視などに頼ることが多く、ベテランの作業員と比較的経験の浅い作業員とでは、部位の特定に要する時間や正確性に大きな乖離がある。そのため、インフラ構造物の部位の特定を精度高く行うことができなかった。本発明は、人工知能による機械学習によってインフラ構造物の部位を精度高く特定することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る屋外構造物部位特定装置は、
複数の部位を含んで構成される第１屋外構造物の第１画像を取得する画像取得部と、
取得した前記第１画像中の前記第１屋外構造物および前記第１屋外構造物の部位の境界を決定する境界決定部と、
決定された前記境界に基づいて、前記第１屋外構造物の種類および前記第１屋外構造物の部位を特定する第１特定部と、
特定された前記第１屋外構造物の部位のそれぞれに、前記第１屋外構造物の部位に応じた色付けをして、色付けされた色付き第１画像を生成する色付き画像生成部と、
特定した前記第１屋外構造物の種類、前記色付き第１画像および前記第１画像を人工知能に入力して機械学習させて、学習済み屋外構造物部位特定モデルを生成するモデル生成部と、
複数の部位を含んで構成される第２屋外構造物の第２画像の入力を受け付ける受付部と、
前記モデル生成部で生成した前記学習済み屋外構造物部位特定モデルを用いて、前記受付部が受け付けた前記第２画像中の前記第２屋外構造物の種類および前記第２構造物の部位を特定する第２特定部と、
を備えた。

【0007】

上記目的を達成するため、本発明に係る屋外構造物部位特定方法は、
複数の部位を含んで構成される第１屋外構造物の第１画像を取得する画像取得ステップと、
取得した前記第１画像中の前記第１屋外構造物および前記第１屋外構造物の部位の境界を決定する境界決定ステップと、
決定された前記境界に基づいて、前記第１屋外構造物の種類および前記第１屋外構造物の部位を特定する第１特定ステップと、
特定された前記第１屋外構造物の部位のそれぞれに、前記第１屋外構造物の部位に応じた色付けをして、色付けされた色付き第１画像を生成する色付き画像生成ステップと、
特定した前記第１屋外構造物の種類、前記色付き第１画像および前記第１画像を人工知能に入力して機械学習させて、学習済み屋外構造物部位特定モデルを生成するモデル生成ステップと、
複数の部位を含んで構成される第２屋外構造物の第２画像の入力を受け付ける受付ステップと、
前記モデル生成ステップにおいて生成した前記学習済み屋外構造物部位特定モデルを用いて、前記受付ステップにおいて受け付けた前記第２画像中の前記第２屋外構造物の種類および前記第２構造物の部位を特定する第２特定ステップと、
を含む。

【0008】

上記目的を達成するため、本発明に係る屋外構造物部位特定プログラムは、
複数の部位を含んで構成される第１屋外構造物の第１画像を取得する画像取得ステップと、
取得した前記第１画像中の前記第１屋外構造物および前記第１屋外構造物の部位の境界を決定する境界決定ステップと、
決定された前記境界に基づいて、前記第１屋外構造物の種類および前記第１屋外構造物の部位を特定する第１特定ステップと、
特定された前記第１屋外構造物の部位のそれぞれに、前記第１屋外構造物の部位に応じた色付けをして、色付けされた色付き第１画像を生成する色付き画像生成ステップと、
特定した前記第１屋外構造物の種類、前記色付き第１画像および前記第１画像を人工知能に入力して機械学習させて、学習済み屋外構造物部位特定モデルを生成するモデル生成ステップと、
複数の部位を含んで構成される第２屋外構造物の第２画像の入力を受け付ける受付ステップと、
前記モデル生成ステップにおいて生成した前記学習済み屋外構造物部位特定モデルを用いて、前記受付ステップにおいて受け付けた前記第２画像中の前記第２屋外構造物の種類および前記第２構造物の部位を特定する第２特定ステップと、
をコンピュータに実行させる。

【発明の効果】

【0009】

本発明の屋外構造物部位特定装置によれば、屋外構造物の部位を、人工知能による機械学習によって、精度高く特定することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態に係る屋外構造物部位特定装置を含む屋外構造物部位特定システムについて説明するための図である。

【図2】本発明の第１実施形態に係る屋外構造物部位特定装置の構成を説明するためのブロック図である。

【図3】本発明の第１実施形態に係る屋外構造物部位特定装置による色付き画像を説明するための図である。

【図4】本発明の第１実施形態に係る屋外構造物部位特定装置の学習済み屋外構造物部位特定モデル生成処理の処理手順を説明するためのフローチャートである。

【図5】本発明の第１実施形態に係る屋外構造物部位特定装置による部位特定処理の処理手順を説明するための他のフローチャートである。

【図6】本発明の第１実施形態に係る屋外構造物部位特定装置に入力される学習用画像および正解画像の組み合わせを説明するための図である。

【図7】本発明の第１実施形態に係る屋外構造物部位特定装置に検証用の画像データとして、橋梁の部位の画像を入力した場合の出力画像、正解画像の一例を説明するための図である。

【図8】本発明の第１実施形態に係る屋外構造物部位特定装置により生成された屋外構造物部位特定モデルの評価結果を説明するための図である。

【図9】本発明の第１実施形態に係る屋外構造部位特定装置が有するテーブルの一例を説明するための図である。

【図10】本発明の第２実施形態に係る屋外構造物部位特定装置の構成を説明するためのブロック図である。

【図11】本発明の第２実施形態に係る屋外構造物部位特定装置の処理手順を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

【0012】

［第１実施形態］
本発明の第１実施形態としての屋外構造物部位特定装置１０４について、図１〜図９を用いて説明する。屋外構造物部位特定装置１０４は、屋外構造物として、例えば、橋梁などの屋外構造物の種類および部位を特定するために用いられる。図１は、本実施形態に係る屋外構造物部位特定装置を含む屋外構造物部位特定システムについて説明するための図である。

【0013】

すなわち、図１に示す屋外構造物１２０は、高度経済成長時代に構築されたものであり、構築から４０年以上経過していることで、様々な障害が発生している可能性がある。このように、屋外構造物１２０に発生している障害を修復するためには、まず初めに、どのような障害が発生しているかを特定する前に、その障害が屋外構造物１２０のどの部位に発生しているかを特定する必要がある。そのためには、屋外構造物１２０の部位を正確に特定する必要がある。

【0014】

本実施形態の屋外構造物部位特定装置は、例えば、図１に示すシステム構成を備える屋外構造物部位特定システム１００を用いて実施されるようになっている。屋外構造物部位特定システム１００は、例えば、有線または無線の通信網１０１を介して互いに接続されている、屋外構造物１２０を撮像することが可能な機能を備えるドローン１０２と、例えば、管理事務所に設置されたパーソナルコンピュータ１０３と、ＡＩ（人工知能：Artificial Intelligence）として、好ましくは畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）やＰＳＰＮｅｔ（Pyramid Scene Parsing Network）などをアルゴリズムとするニューラルネットワークを実装可能な公知の機械学習ツール（ソフトウェア）が組み込まれた屋外構造物部位特定装置１０４とを含む。

【0015】

屋外構造物部位特定装置１０４は、好ましくはドローン１０２により撮像された屋外構造物１２０の画像を用いて、屋外構造物１２０の種類や部位を特定する。パーソナルコンピュータ１０３は、ドローン１０２による屋外構造物１２０の撮像を制御して、屋外構造物１２０の一部または全体を撮像する。撮像された画像は、ドローン１０２からパーソナルコンピュータ１０３へと送信される。パーソナルコンピュータ１０３は、受信した屋外構造物１２０の画像を屋外構造物部位特定装置１０４に送信すると共に、屋外構造物部位特定装置１０４から送信される屋外構造物１２０の部位の特定結果を、ディスプレイなどの表示部１０５に表示させる。

【0016】

図２は、本実施形態に係る屋外構造物部位特定装置１０４の構成を説明するためのブロック図である。屋外構造物部位特定装置１０４は、画像取得部２０１、境界決定部２０２、特定部２０３、色付き画像生成部２０４およびモデル生成部２０５を有する。屋外構造物部位特定装置１０４は、さらに、受付部２０６および特定部２０７を有する。なお、以下の説明では、屋外構造物１２０として橋梁を例に説明する。

【0017】

ここで、屋外構造物部位特定装置１０４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ネットワークインターフェース、およびストレージを有する。ここで、ＣＰＵは、演算制御用のプロセッサであり、プログラムを実行することで図２に示した屋外構造物部位特定装置１０４の各機能構成を実現する。ＣＰＵは、複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭは、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインターフェースは、ネットワークを介して他の装置などと通信する。なお、ＣＰＵは、１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。また、ネットワークインターフェースは、ＣＰＵとは独立した他のＣＰＵを有して、ＲＡＭの領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭとストレージとの間でデータを転送するＤＭＡＣ（Direct Memory Access Controller）を設けるのが望ましい。さらに、ＣＰＵは、ＲＡＭにデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵは、処理結果をＲＡＭに準備し、後の送信あるいは転送はネットワークインターフェースやＤＭＡＣに任せる。

【0018】

ＲＡＭは、ＣＰＵが一時記憶のワークエリアとして使用するメモリである。ＲＡＭには、本実施形態の実現に必要なデータを記憶する領域が確保されている。ストレージには、データベースや各種のパラメータ、モジュール、あるいは本実施形態の実現に必要なデータまたはプログラムが記憶されている。例えば、ストレージには、屋外構造物部位特定装置１０４の全体を制御するための制御プログラムが記憶されている。

【0019】

さらに、屋外構造物部位特定装置１０４は、入出力インターフェースをさらに備えてもよい。入出力インターフェースには、表示部、操作部、記憶媒体が接続される。入出力インターフェースには、さらに、音声出力部であるスピーカや、音声入力部であるマイク、あるいはＧＰＳ（Global Positioning System）位置判定部が接続されてもよい。なお、ＲＡＭやストレージには、屋外構造物部位特定装置１０４が有する汎用の機能や他の実現可能な機能に関するプログラムやデータが記憶されていてもよい。

【0020】

画像取得部２０１は、複数の部位を含んで構成される橋梁２１１の画像２１０を取得する。画像取得部２０１が取得する画像２１０は、ドローン１０２により撮像されたものであるが、画像２１０の撮像方法はこれには限定されない。例えば、デジタルカメラやフィルムカメラ、スマートフォンなどの携帯端末に付属するカメラ、人工衛星に搭載されたカメラなどで撮像されたものであってもよい。

【0021】

画像取得部２０１は、例えば、４４０枚の画像２１０を取得するが、画像取得部２０１が取得する画像２１０の枚数は、これには限定されない。画像取得部２０１が取得する画像２１０の枚数が多ければ多いほど人工知能による学習精度が向上するため好ましい。さらに、画像２１０の解像度は、高解像度、または低解像度のいずれであってもよい。高解像度の画像であれば人工知能による学習精度が向上するため好ましいが、屋外構造物部位特定装置１０４の処理能力や、通信網１０１の通信能力などに応じた解像度が選択される。そして、画像取得部２０１は、取得した画像２１０を境界決定部２０２へ送信する。

【0022】

境界決定部２０２は、取得した画像２１０中の橋梁２１１の部位の境界を決定する。境界決定部２０２は、画像取得部２０１から送信された画像２１０に写っている橋梁２１１を構成する部位の境界を決定する。

【0023】

境界の決定は、例えば、インスタンスセグメンテーションやセマンティックセグメンテーションなどの手法を用いて行われる。ここで、インスタンスセグメンテーションは、物体ごとに領域を分ける手法である。つまり、それぞれの物体を区別しつつ、物体がある領域をピクセル単位で分割する手法である。また、セマンティックセグメンテーションは、種別ごとに領域を分ける手法である。橋梁２１１の部位は固有の物体として個別に判断できないものが多いことから、本実施形態ではセマンティックセグメンテーションを用いた。

【0024】

また、境界の決定には、例えば、画像２１０の明暗の相違、影の形状や濃淡、コントラストの違いなどを用いてもよい。さらに、境界の決定の前に、境界決定部２０２は、画像２１０のコントラストや明暗、カラーバランスなどを調整してから境界を決定するようにしてもよい。なお、境界決定部２０２は、決定された境界を、境界線として、画像２１０に描画してもよい。このように、境界線を描画することにより、ユーザにとっての視認性が向上するからである。そして、境界決定部２０２は、境界が決定された画像２１０を特定部２０３へと送信する。

【0025】

特定部２０３は、決定された境界に基づいて、橋梁２１１の部位を特定する。特定部２０３による部位の特定は、例えば、決定された境界によって表される橋梁２１１の部位の形状や大きさなどに基づいて行われる。特定部２０３は、特定された部位について、画像２１０中の位置、例えば、部位名データと画像２１０中の座標データ（ｘ，ｙ）とを紐付けて、画像２１０中に記録する。なお、部位名データと座標データとを画像２１０中に記録するのではなく、所定のストレージに記憶しておき、これらのデータを必要に応じて適宜読み出すようにしてもよい。

【0026】

ここで、特定部２０３は、橋梁２１１における主要部位として、主桁、横桁、縦桁、床版、柱部・壁部、梁部、胸壁、堅壁、支承本体および高欄の少なくともいずれか１つを特定する。これらの主要部位は、橋梁２１１を構成する部位のうち大きな部位や、重要な部位である。主要部位のうち、主桁、横桁、縦桁および床版は、上部構造と呼ばれる。また、柱部・壁部および梁部は、橋脚を構成し、胸壁および堅壁は橋台を構成するものであり、これらは下部構造と呼ばれる。さらに、支承本体は、支承部と呼ばれ、高欄は、路上と呼ばれる。なお、これらの部位は、国土交通省の定める「橋梁の定期点検要領」において定義されている。

【0027】

また、特定部２０３は、画像２１０において、主要部位同士が重なって写っている場合、手前側の主要部位を優先して特定する。主要部位同士が重なり合っている場合、手前側に写っている主要部位の方が、部位の全体が写っているため、機械学習の精度が高くなるからである。

【0028】

色付き画像生成部２０４は、特定された橋梁２１１の部位のそれぞれに、部位に応じた色付けをして、色付けされた色付き画像２１２を生成する。図３は、本実施形態に係る屋外構造物部位特定装置による色付き画像を説明するための図である。このようにして、色付けがされた色付き画像２１２が、教師データとなる。本実施形態では、画像取得部２０１が取得した４４０枚の画像２１０に、色付けを行い、色付けのされた４４０枚の色付き画像２１２が教師データとなる。

【0029】

モデル生成部２０５は、色付き画像２１２および画像２１０を人工知能に入力して機械学習させて、学習済み屋外構造物部位特定モデルを生成する。人工知能による機械学習は、既知のアルゴリズムを用いて行われる。ここでは、例えば、ＰＳＰＮeｔを用いて行われる。ＰＳＰＮeｔは、従来のセマンティックセグメンテーションモデルと比較して、広域に分布する特徴をより高性能に検出できるアルゴリズムである。橋梁２１１の画像２１０においては、橋梁２１１の局所的な画像の中に部位が広範に分布していることが多くあり、広域に分布する部位の形状を検出するモデルとして適していると考えられる。なお、機械学習において、損失関数は重みなしとした。

【0030】

また、モデル生成部２０５は、人工知能による機械学習の精度を向上させて、より精度の高い屋外構造物部位特定モデルを生成するために、人工知能に学習させる画像２１０の枚数を水増しして増加させる。モデル生成部２０５は、例えば、拡大、回転および反転のいずれか１つを用いて水増しデータを得る。

【0031】

また、モデル生成部２０５は、人工知能による機械学習の精度を向上させるために、転移学習を用いてもよい。ここで、転移学習とは、異なるデータセットを用いた学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分でない場合に、推論性能の向上と学習時間の低減が期待できる手法である。本実施形態においては、２２種の物体をセマンティックセグメンテーションにてラベル付けしている画像データセットPascal VOC2012 Semantic Segmentation Datasetを用いて転移学習を行った。

【0032】

受付部２０６は、複数の部位を含んで構成される橋梁２２１の画像２２０の入力を受け付ける。本実施形態では、受け付ける画像２２０は、ドローン１０２により撮像された画像であるが、橋梁２２１の撮像方法はドローン１０２には限定されない。

【0033】

特定部２０７は、モデル生成部２０５で生成した学習済み屋外構造物部位特定モデルを用いて、受付部２０６が受け付けた画像２２０中の橋梁２２１の部位を特定する。特定部２０７においては、受け付けた画像２２０について、学習済み屋外構造物部位特定モデルを用いて、画像２２０と学習済み屋外構造物特定モデルにおける部位との相関関係により、橋梁２２１の部位が特定される。特定部２０７は、橋梁２２１の部位として、学習済み屋外構造物部位特定モデルにおける部位との相関度の高いものを橋梁２２１の部位として特定する。その後、屋外構造物部位特定装置１０４は、結果画像２３０を出力する。

【0034】

図４は、屋外構造物部位特定装置１０４の学習済み屋外構造物部位特定モデル生成処理の処理手順を説明するためのフローチャートである。図５は、屋外構造物部位特定装置１０４による部位特定処理の処理手順を説明するための他のフローチャートである。図４および図５に示したフローチャートは、屋外構造物部位特定装置１０４の不図示のＣＰＵ（Central Processing Unit）が、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を用いて実行し、図２に示した屋外構造物部位特定装置１０４の各機能構成を実現する。

【0035】

まず、図４を参照して、人工知能による機械学習により、学習済み屋外構造物部位特定モデルを生成する処理について説明する。ステップＳ４０１において、画像取得部２０１は、橋梁２１１の画像２１０を取得する。ステップＳ４０３において、境界決定部２０２は、取得した画像２１０中の橋梁の２１１の部位の境界を決定する。ステップＳ４０５において、特定部２０３は、決定された境界に基づいて、橋梁２１１の部位を特定する。ステップS４０７において、特定部２０３は、主要部位同士の重なりがあるか否かを判断する。重なりの判断は、例えば、ある主要部位について、輪郭線が途切れていたり、見えているはずの面が見えていなかったりなどに基づいて行われる。主要部位同士の重なりがないと判断した場合（ステップS４０７ＮＯ）、屋外構造物部位特定装置１０４は、ステップＳ４１１へ進む。主要部位同士の重なりがあると判断した場合（ステップＳ４０７のＹＥＳ）、屋外構造物部位特定装置１０４は、ステップＳ４０９へ進む。ステップＳ４０９において、特定部２０３は、手前側の主要部位を優先して部位を特定する。

【0036】

ステップＳ４１１において、色付き画像生成部２０４は、特定された橋梁２１１の部位のそれぞれに、部位に応じた色付けをして、色付き画像２１２を生成する。ステップＳ４１３において、色付き画像２１２および画像２１０（元の画像）を人工知能に入力して機械学習させて、学習済み屋外構造物部位特定モデルを生成する。ステップＳ４１５において、屋外構造物部位特定装置１０４は、全ての画像２１０について、人工知能による機械学習が終了したか否かを判断する。全ての画像２１０について、機械学習が終了していないと判断した場合（ステップＳ４１５のＮＯ）、屋外構造物部位特定装置１０４は、ステップＳ４０３へ戻る。全ての画像２１０について、機械学習が終了していると判断した場合（ステップＳ４１５のＹＥＳ）、屋外構造物部位特定装置１０４は、ステップＳ４１７へ進む。ステップＳ４１７において、モデル生成部２０５は、学習結果に基づいて、学習済み屋外構造物部位特定モデルを生成する。

【0037】

次に、図５を参照して、生成した学習済み屋外構造物部位特定モデルを用いて新たに取得した画像２２０中の橋梁２２１の部位を特定する処理について説明する。ステップＳ５０１において、受付部２０６は、複数の部位を含んで構成される橋梁２２１の画像２２０の入力を受け付ける。ステップＳ５０３において、特定部２０７は、モデル生成部２０５が生成した学習済み屋外構造物部位特定モデルを用いて、橋梁２２１の部位を特定する。ステップＳ５０５において、屋外構造物部位特定装置１０４は、特定した結果を出力する。ステップＳ５０７において、屋外構造物部位特定装置１０４は、受付部２０６が受け付けた画像２２０の全てについて、結果の出力が終了したか否かを判断する。全ての画像２２０について、結果の出力が終了していないと判断した場合（ステップＳ５０７のＮＯ）、屋外構造物部位特定装置１０４は、ステップＳ５０３へ戻る。全ての画像２２０について結果の出力が終了していると判断した場合（ステップＳ５０７のＹＥＳ）、屋外構造物部位特定装置１０４は、処理を終了する。

【0038】

図６は、屋外構造物部位特定装置１０４に入力される学習用の画像２１０および色付き画像２１２（正解画像）の組み合わせを説明するための図である。図示したように、人工知能による学習が終了した画像２１０と色付き画像２１２とラベル６０１とが並列に配置され、表示さる。ラベル６０１は、色付き画像２１２に着色した色と橋梁２１１の部位との関係を示している。例えば、図６に示したように、部位に応じた色付けは、主桁は赤茶色、横桁は深緑色、縦桁は黄土色、床版は青色、柱部・壁部は紫色、梁部は空色、胸壁は灰色、堅壁は茶色、支承本体は赤、高欄は黄緑色のように行われる。

【0039】

本実施形態において、生成した屋外構造物部位特定モデルの評価は、１１０枚の画像２２０を用いて行った。図７は、屋外構造物部位特定装置１０４に検証用の画像データとして、橋梁の部位の画像を入力した場合の出力画像、正解画像の一例を説明するための図である。図７（ａ）は、屋外構造物部位特定装置１０４による出力画像と正解画像との対応が良好な例を示している。また、図７（ｂ）は、屋外構造物部位特定装置１０４による出力画像と正解画像との対応が好ましくない例を示している。

【0040】

生成した屋外構造物部位特定モデルの評価は、Ｍｅａｎ ＩｏＵ（ｍＩｏＵ：Mean Intersection Over Union）を用いて行った。ＩｏＵは、物体検出の分野における評価指標として使われるものであり、正解領域と出力領域との一致率を数値化したものである。本実施形態では、画像番号ｉ、部位番号ｊをパラメータとした式（１）によって求める。これを全評価対象画像１１０枚で平均した部位ごとのｍＩｏＵ_ｊを式（２）で算出し、この結果をさらに全部位で平均したｍＩｏＵで式（３）を算出し、屋外構造物部位特定モデルの性能の評価を行った。

【数1】

【数2】

【数3】

ｉ、ｊ：画像番号、部位番号
Ｉ、Ｊ：評価画像総数（＝１１０）、部位総数（＝１１）
ＰＲＥＤ_ｉ，ｊ：画像ｉにおける部位ｊと出力した画素
ＴＲＵＥ_ｉ，ｊ：画像ｉにおける部位ｊの正解画素

【0041】

図８は、屋外構造物部位特定装置１０４により生成された屋外構造物部位特定モデルの評価結果を説明するための図である。同図に示したように、水増しおよび転移学習のいずれも行わなかった場合のｍＩｏＵは、２５．１％となり、水増しは行ったが転移学習は行わなかった場合のｍＩｏＵは、３０．２％となり、水増しおよび転移学習を行った場合のｍＩｏＵは、４７．０％となった。このように、４４０枚の画像２１０を教師データとした場合、水増しおよび転移学習を行うと、ＩｏＵとして５０％に近い評価が得られ、精度の高い屋外構造物部位特定モデルが得られることが分かった。

【0042】

なお、上述の説明では、屋外構造物として橋梁を例に説明をしたが、屋外構造物はこれには限定されず、例えば、電波塔（日本電波塔（東京タワー）、東京スカイツリー（登録商標））などにも適用できる。この場合、屋外構造物部位特定装置１０４は、図９に示す、テーブル９００を有することが望ましい。テーブル９００は、屋外構造物の種類９０１に関連付けて部位９０２を記憶する。屋外構造物部位特定装置１０４は、テーブル９００を参照して、各屋外構造物の部位などを特定する。なお、屋外構造物部位特定装置１０４は、画像中の屋外構造物の形状（シルエット）、大きさなどから屋外構造物の種類９０１を特定する。また、屋外構造物の画像に位置情報（例えば、ＧＰＳデータ）などのメタデータを付与しておき、この位置情報なども加味して屋外構造物の種類９０１を特定してもよい。さらにまた、橋梁には、例えば、桁橋、トラス橋、アーチ橋、ラーメン橋、斜張橋、吊り橋などが含まれるが、本実施形態の屋外構造物部位特定装置１０４は、いずれの橋梁であっても適用できる。

【0043】

本実施形態によれば、人工知能に対して、教師データとして、橋梁の部位に色付けをした色付け画像を与えて機械学習をさせるので、より精度の高い屋外構造物部位特定モデルを生成できるので、橋梁の部位を精度高く、迅速に特定することができる。

【0044】

［第２実施形態］
次に本発明の第２実施形態に係る屋外構造物部位特定装置について、図１０を用いて説明する。図１０は、本実施形態に係る屋外構造物部位特定装置の構成を説明するためのブロック図である。本実施形態に係る屋外構造物部位特定装置は、上記第１実施形態と比べると、推測部を有する点で異なる。その他の構成および動作は第１実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0045】

屋外構造物部位特定装置１０００は、さらに、推測部１００１を有する。推測部１００１は、画像２１０において、主要部位と主要部位以外の部位である非主要部位とが重なり、主要部位が非主要部位に隠されている場合、主要部位のうち非主要部位に隠された部分の形状を推測する。隠された部分の形状の推測は、例えば、非主要部位に隠されて途切れている主要部位の輪郭線などを外挿することにより行われる。このように、画像２１０において、主要部位の一部が欠けているような場合、推測部１００１が、欠けている部分の形状を推測して補うことにより、人工知能による機械学習の精度の向上が期待できる。そして、特定部２０３は、推測された形状に基づいて、橋梁２１１の部位を特定する。

【0046】

図１１は、本実施形態に係る屋外構造物部位特定装置の処理手順を説明するためのフローチャートである。ステップＳ１１０１において、屋外構造物部位特定装置１０４は、主要部位が非主要部位に隠されているか否かを判断する。主要部位が隠されていないと判断した場合（ステップＳ１１０１のＮＯ）、屋外構造物部位特定装置１０４は、ステップＳ４１１へ進む。主要部位が隠されていると判断した場合（ステップＳ１１０１のＹＥＳ）、屋外構造物部位特定装置１０４は、ステップＳ１１０３へ進む。ステップＳ１１０３において、推測部１００１は、隠された部分の形状を、外挿などの手法により推測する。

【0047】

本実施形態によれば、非主要部位に隠された主要部位の形状を推測して、人工知能に対して教師データとして与えるので、さらに精度の高い屋外構造物部位特定モデルを生成でき、橋梁の部位をさらに精度高く、迅速に特定することができる。

【0048】

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

【0049】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】