ホーム > 特許ランキング > 日本電信電話株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-06
(45)【発行日】2024-11-14
(54)【発明の名称】劣化判定装置、劣化判定方法、及びプログラム
(51)【国際特許分類】
G06T 7/60 20170101AFI20241107BHJP
G06T 7/00 20170101ALI20241107BHJP
【ＦＩ】
G06T7/60 150Z
G06T7/00 610
【請求項の数】
7
(21)【出願番号】P 2023525331
(86)(22)【出願日】2021-06-04
(86)【国際出願番号】 JP2021021432
(87)【国際公開番号】W WO2022254715
(87)【国際公開日】2022-12-08
【審査請求日】2023-10-06
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】100164471
【弁理士】
【氏名又は名称】岡野 大和
(74)【代理人】
【識別番号】100176728
【弁理士】
【氏名又は名称】北村 慎吾
(72)【発明者】
【氏名】濱野 勇臣
(72)【発明者】
【氏名】渡邉 一旭
(72)【発明者】
【氏名】内堀 大輔
(72)【発明者】
【氏名】櫻田 洋介
(72)【発明者】
【氏名】荒武 淳
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開２０２１－０３２６５０（ＪＰ，Ａ）
【文献】国際公開第２０２１／０２４４９９（ＷＯ，Ａ１）
【文献】特開２０２０－１９７７９７（ＪＰ，Ａ）
【文献】特許第６７３７３７１（ＪＰ，Ｂ１）
【文献】特開２０１６－２２３８１５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－ ７／９０
Ｇ０６Ｖ １０／００－２０／９０
(57)【特許請求の範囲】
【請求項1】
点検対象物の像を含む画像を示す画像データの入力を受け付ける入力部と、前記点検対象物の像を囲む領域のアスペクト比が大きくなるように前記画像を補正した補正画像を生成する補正部と、
前記補正画像から、前記補正画像に含まれる前記点検対象物の像を示す対象領域を抽出する対象領域抽出部と、
前記補正画像から、前記点検対象物の劣化部分の像を示す劣化領域を検出する劣化領域検出部と、
前記対象領域及び前記劣化領域に基づいて、前記点検対象物の劣化度を判定する判定部と、を備える劣化判定装置。
【請求項2】
前記点検対象物は、添架される物体と、他の物体を添架する添架部材とのいずれか一方又は両方を含む、請求項１に記載の劣化判定装置。
【請求項3】
前記補正部は、射影変換を用いて前記画像を補正することにより、前記補正画像を生成する、請求項１又は２に記載の劣化判定装置。
【請求項4】
前記判定部は、前記対象領域の面積に対する、前記劣化領域の面積の比率を、前記点検対象物の前記劣化度と判定する、請求項１から３のいずれか一項に記載の劣化判定装置。
【請求項5】
前記補正画像と前記劣化度とを含む表示用データを生成する表示用データ生成部をさらに備える、請求項１から４のいずれか一項に記載の劣化判定装置。
【請求項6】
点検対象物の像を含む画像を示す画像データの入力を受け付けるステップと、前記点検対象物の像を囲む領域のアスペクト比が大きくなるように前記画像を補正した補正画像を生成するステップと、
前記補正画像から、前記補正画像に含まれる前記点検対象物の像を示す対象領域を抽出するステップと、
前記補正画像から、前記点検対象物の劣化部分の像を示す劣化領域を検出するステップと、
前記対象領域及び前記劣化領域に基づいて、前記点検対象物の劣化度を判定するステップと、を含む劣化判定方法。
【請求項7】
コンピュータを、請求項１から５のいずれか一項に記載の劣化判定装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、点検対象物の劣化度を判定する劣化判定装置、劣化判定方法、及びプログラムに関する。
【背景技術】
【0002】
Ｍａｓｋ－Ｒ－ＣＮＮ（Convolutional Neural Network）等の深層学習を用いた画像処理を用いて、画像から点検対象物の像を示す領域（以降、「対象領域」という）を抽出することが知られている。点検対象物の像が、画像全体を画定する周縁に対して斜めに延在している場合、上記の深層学習を用いた画像処理を用いることによって、画像の全体、又は点検対象物と背景の一部を含む領域が抽出されることがある。すなわち、高い精度で対象領域が抽出されず、これに起因して、点検対象物の劣化度を高い精度で算出することができないという課題があった。
【0003】
画像に含まれる像の方向を変更する技術として、オルソ補正が知られている（非特許文献１）。オルソ補正においては、画像内のいずれの位置に示されている、物体の像も、該物体の正面が撮像素子に正対して撮像されたように補正される。したがって、オルソ補正が施された画像においては、該画像に像が含まれる物体の位置及び大きさが正確に示される。
【先行技術文献】
【非特許文献】
【0004】
【文献】”ドローン測量で作成する「オルソ画像」とは？|JDRONE”、［online］、［令和３年５月２１日検索］、インターネット<URL：https://jdrone.tokyo/ortho-commentary/>
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、オルソ補正においては、物体を含む撮像範囲内で、オーバーラップされている領域を有する複数の画像を取得する必要がある。したがって、オーバーラップされている領域を有さない画像において、オルソ補正を用いて、対象領域が適切に抽出されるような補正を行うことができないことがある。このため、点検対象物の劣化度を高い精度で判定することができないという課題が残っている。
【0006】
かかる事情に鑑みてなされた本開示の目的は、点検対象物の劣化度を高い精度で判定することができる劣化判定装置、劣化判定方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本開示に係る劣化判定装置は、点検対象物の像を含む画像を示す画像データの入力を受け付ける入力部と、前記画像に含まれる、少なくとも一部の点検対象物の像を囲む領域のアスペクト比が大きくなるように前記画像を補正した補正画像を生成する補正部と、前記補正画像から、前記補正画像に含まれる前記点検対象物の像を示す対象領域を抽出する対象領域抽出部と、前記補正画像から、前記点検対象物の劣化部分の像を示す劣化領域を検出する劣化領域検出部と、前記対象領域及び前記劣化領域に基づいて、前記点検対象物の劣化度を判定する判定部と、を備える。
【0008】
また、上記課題を解決するため、本開示に係る劣化判定方法は、点検対象物の像を含む画像を示す画像データの入力を受け付けるステップと、前記画像に含まれる、少なくとも一部の点検対象物の像を囲む領域のアスペクト比が大きくなるように前記画像を補正した補正画像を生成するステップと、前記補正画像から、前記補正画像に含まれる前記点検対象物の像を示す対象領域を抽出するステップと、前記補正画像から、前記点検対象物の劣化部分の像を示す劣化領域を検出するステップと、前記対象領域及び前記劣化領域に基づいて、前記点検対象物の劣化度を判定するステップと、を含む。
【0009】
また、上記課題を解決するため、本開示に係るプログラムは、コンピュータを上述した劣化判定装置として機能させる。
【発明の効果】
【0010】
本開示に係る劣化判定装置、劣化判定方法、及びプログラムによれば、点検対象物の劣化度を高い精度で判定することができる。
【図面の簡単な説明】
【0011】
【図1】本開示の一実施形態に係る劣化判定システムの概略図である。
【図2A】画像データが示す画像の一例を示す図である。
【図3A】補正画像の他の例を示す図である。
【図5】表示用データの一例を示す図である。
【図6】一実施形態に係る劣化判定装置の動作の一例を示すフローチャートである。
【図7】劣化判定装置のハードウェアブロック図である。
【発明を実施するための形態】
【0012】
【0013】
図１に示されるように、本実施形態に係る劣化判定システム１００は、撮像装置１と、劣化判定装置２とを備える。撮像装置１と、劣化判定装置２とは、通信ネットワークを介して互いに通信する。
【0014】
＜撮像装置の構成＞
撮像装置１は、撮像部１１と、出力部１２とを備える。撮像部１１は、光学素子、撮像素子等を有するカメラによって構成される。カメラは、望遠カメラであってもよいし、ＵＡＶ（unmanned aerial vehicle）に搭載された撮影機材等のカメラであってもよい。出力部１２は、情報を出力するための出力インターフェースによって構成されてもよいし、外部の装置などの他の機器と通信するための通信インターフェースによって構成されてもよい。通信インターフェースには、例えば、イーサネット（登録商標）、ＦＤＤＩ（Fiber Distributed Data Interface）、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられてもよい。
撮像装置１は、撮像部１１と、出力部１２とを備える。撮像部１１は、光学素子、撮像素子等を有するカメラによって構成される。カメラは、望遠カメラであってもよいし、ＵＡＶ（unmanned aerial vehicle）に搭載された撮影機材等のカメラであってもよい。出力部１２は、情報を出力するための出力インターフェースによって構成されてもよいし、外部の装置などの他の機器と通信するための通信インターフェースによって構成されてもよい。通信インターフェースには、例えば、イーサネット（登録商標）、ＦＤＤＩ（Fiber Distributed Data Interface）、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられてもよい。
【0015】
撮像部１１は、点検対象物を撮像して、該点検対象物の像を含む画像を生成する。点検対象物は、点検の対象となる設備等の物体であって、橋梁、橋梁添架部材、管路（橋梁添架管路）、管路添架部材等とすることができる。画像は、Ｒ（Red）、Ｇ（Green）、及びＢ（Blue）の３色によって表現される画像であってよい。
【0016】
出力部１２は、撮像部１１によって生成された画像を示す画像データを、通信ネットワークを介して劣化判定装置２に送信する。上述したように、撮像部１１によって生成された画像が、Ｒ、Ｇ、及びＢの３色によって表現される画像である場合、画像データは、各画素のＲＧＢ値を示すデータとすることができる。
【0017】
＜劣化判定装置の構成＞
劣化判定装置２は、ＰＣ（personal computer）、タブレット等の端末機器であってもよいし、上述した撮像装置１と一体として構成されるコンピュータ機器であってもよい。劣化判定装置２は、入力部２１と、データ格納部２２と、加工部２３と、補正データ格納部２４と、検査部２５と、出力部２６とを備える。入力部２１は、情報の入力を受け付ける入力インターフェースによって構成されてもよいし、情報を受信する通信インターフェースによって構成されてもよい。データ格納部２２及び補正データ格納部２４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）およびＲＡＭ（Random Access Memory）等のメモリによって構成される。加工部２３及び検査部２５は、制御部（コントローラ）を構成する。制御部は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)等の専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。出力部２６は、情報を出力する出力インターフェースによって構成されてもよいし、情報を送信する通信インターフェースによって構成されてもよい。
劣化判定装置２は、ＰＣ（personal computer）、タブレット等の端末機器であってもよいし、上述した撮像装置１と一体として構成されるコンピュータ機器であってもよい。劣化判定装置２は、入力部２１と、データ格納部２２と、加工部２３と、補正データ格納部２４と、検査部２５と、出力部２６とを備える。入力部２１は、情報の入力を受け付ける入力インターフェースによって構成されてもよいし、情報を受信する通信インターフェースによって構成されてもよい。データ格納部２２及び補正データ格納部２４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）およびＲＡＭ（Random Access Memory）等のメモリによって構成される。加工部２３及び検査部２５は、制御部（コントローラ）を構成する。制御部は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)等の専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。出力部２６は、情報を出力する出力インターフェースによって構成されてもよいし、情報を送信する通信インターフェースによって構成されてもよい。
【0018】
入力部２１は、撮像装置１が点検対象物を撮像することによって生成された画像を示す画像データの入力を受け付ける。入力部２１は、例えば、図２Ａに示すような、複数の点検対象物である、２本の管路の像Ｉ１及びＩ２を含む画像を示す画像データの入力を受け付けてもよい。
【0019】
データ格納部２２は、入力部２１によって入力が受け付けられた画像データを格納する。データ格納部２２は、例えば、該データ格納部２２に設けられた仮想的なデータ格納領域であるディレクトリに画像データを格納することができる。
【0020】
加工部２３は、画像データを加工する。加工部２３は、読出部２３１と、補正部２３２とを含む。加工部２３は、画像サイズの変更、ビットサイズの変更、色空間分解等の任意のデータ加工を行う機能部をさらに含んでいてもよい。
【0021】
読出部２３１は、データ格納部２２によって格納されている画像データを読み出す。このとき、読出部２３１は、読み出された画像データに、該画像データを一意に識別するための識別子を付与することができる。識別子は、例えば、番号とすることができる。また、識別子は、画像データが入力された順に所定値ずつ加算された番号とすることができる。所定値は１とすることができる。特に、入力部２１によって入力された画像が、複数の静止画像によって構成される動画像である場合、読出部２３１は、動画像を構成する静止画像を示す画像データごとに識別子を付与する。これによって、複数の画像データの入力が受け付けられた場合であっても、後述する各機能部による処理の結果を画像データと対応させることができる。なお、以降において、静止画像のことを単に「画像」という。
【0022】
読出部２３１は、データ格納部２２によって格納されている画像データを読み出すと、該画像データの形式、具体的には該画像データの拡張子を判定してもよい。具体的には、以降で説明する各機能部によって所定の形式の画像データ、すなわち所定の拡張子を有する画像データが処理されるように構成されている場合、読出部２３１は、画像データの形式が所定の形式であるか否かを判定する。そして、読出部２３１は、画像データの形式が所定の形式でないと判定されると、該画像データの形式を所定の形式に変換する。また、読出部２３１は、画像データの形式が所定の形式であると判定されると、該画像データの形式を変換しない。具体的には、読出部２３１は、画像データの拡張子が所定の拡張子であるか否かを判定する。そして、読出部２３１は、画像データの拡張子が所定の拡張子でないと判定されると、該画像データの拡張子を所定の拡張子に変換する。また、読出部２３１は、画像データの拡張子が所定の拡張子であると判定されると、該画像データの拡張子を変換しない。
【0023】
補正部２３２は、画像データが示す画像に含まれる、少なくとも一部の点検対象物の像を囲む領域のアスペクト比が大きくなるように画像を補正した補正画像を生成する。所定の領域は、バウンディングボックスとすることができる。これにより、バウンディングボックス内に、点検対象物以外の、背景等の被写体が含まれることが低減される。このため、追って詳細に説明する対象領域抽出部２５１による対象領域の抽出の精度が高くなる。
【0024】
具体的には、補正部２３２は、点検対象物の像を含む画像を幾何学的に変換することによって補正した補正画像を生成する。補正部２３２による幾何学的な変換は、アフィン変換、射影変換等とすることができる。
【0025】
例えば、まず、補正部２３２は、図２Ａに示すように、点検対象物の像を含む四角形の領域の頂点となる４点を設定する。図２Ａでは、４点の座標は、それぞれＰ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）、Ｐ３（ｘ３、ｙ３）、Ｐ４（ｘ４、ｙ４）で表されている。
【0026】
そして、補正部２３２は、設定された４点を用いた射影変換により、所定の方向に対する、点検対象物が延在する方向の角度を変換する。これによって、補正部２３２は、点検対象物の像がバウンディングボックスの辺に沿うような画像に補正した補正画像を生成する。本例では、補正部２３２は、図２Ａに示す座標Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）、Ｐ３（ｘ３、ｙ３）、Ｐ４（ｘ４、ｙ４）を頂点とする矩形で囲まれている領域を、それぞれＰ１’（ｘ１’、ｙ１’）、Ｐ２’（ｘ２’、ｙ２’）、Ｐ３’（ｘ３’、ｙ３’）、Ｐ４’（ｘ４’、ｙ４’）を頂点とする矩形で囲まれている領域に変換することによって補正した補正画像を生成する。このようにして、補正部２３２は、図２Ａに示す点検対象物である管路の像Ｉ１及びＩ２を、図２Ｂに示す管路の像Ｉ１’及びＩ２’に補正した補正画像を生成する。本例では、図２Ａに示すような点検対象物を含む領域（バウンディングボックスＢ）は、図２Ｂに示すような点検対象物を含む領域（バウンディングボックスＢ’）に変換され、このように、点検対象物を含む領域のアスペクト比は大きくなっている。
【0027】
補正部２３２は、射影変換を用いることによって画像を補正した補正画像を生成するが、これに限られず、補正部２３２は、アフィン変換を用いて画像を補正してもよい。ただし、補正部２３２がアフィン変換を用いて画像を補正する場合、射影変換を用いての写像を行うことはできない。このため、補正部２３１は、射影変換を用いることによって、アフィン変換を用いる場合に比べて、高い自由度で画像を補正することができる。
【0028】
また、補正部２３２が、射影変換を用いて補正した補正画像を生成する構成において、補正部２３２は、点検対象物の像を含む四角形の領域の頂点となる４点を選択することができるか否かを判定してもよい。例えば、点検対象物が、撮像装置１の撮像面に対向する方向に延在している場合、対象領域が四角形を形成しないことがある。このような場合、補正部２３２は、４点を選択することができず、上述した補正を行わない。これに伴い、後述する各機能部における処理も行われない。
【0029】
また、補正部２３２は、補正画像を示す補正画像データに識別子を付与してもよい。補正画像データに付与される識別子は、補正前の画像データに付与された識別子と同一の識別子であってもよいし、補正前の画像データに付与された識別子に関連することが認識され得る、異なる識別子であってもよい。
【0030】
補正データ格納部２４は、補正部２３２が画像を補正することによって生成した補正画像を示す補正画像データを格納する。補正データ格納部２４は、所定のディレクトリに補正画像データを格納する。なお、補正データ格納部２４が補正データを格納するディレクトリは、加工部２３によって用いられるディレクトリと同じであってもよいし、異なっていてもよい。
【0031】
検査部２５は、補正画像データが示す補正画像に基づいて、該補正画像に含まれる像が示す点検対象物の劣化度を判定する。検査部２５は、読出部２５１と、対象領域抽出部２５２と、劣化領域検出部２５３と、判定部２５４と、表示用データ生成部２５５とを含む。
【0032】
読出部２５１は、補正データ格納部２４に格納されている補正画像データを読み出す。具体的には、読出部２５１は、補正部２３２によって補正された補正画像を示す補正画像データを、補正データ格納部２４における所定のディレクトリから読み出す。
【0033】
対象領域抽出部２５２は、補正画像データが示す補正画像から、点検対象物の像を示す対象領域を抽出する。例えば、対象領域抽出部２５２は、深層学習手法であるインスタンス・セグメンテーション（例えば、Ｍａｓｋ－Ｒ－ＣＮＮ）等によるクラス別のセグメンテーションを用いることによって、補正画像から点検対象物の像を検出する。このような構成において、対象領域抽出部２５２は、補正画像に含まれる、複数の点検対象物の像をそれぞれ区別して検出することができる。図２Ｂ及び図２Ｃに示す例では、対象領域抽出部２５２は、図２Ｂに示す補正画像データが示す画像から、２本の管路の像Ｉ１及びＩ２をそれぞれ含む領域である、図２Ｃの実線の矩形に示すような対象領域Ｒ１及びＲ２を抽出している。
【0034】
また、点検対象物が、３本の管路、及び該３本の管路を添架する添架部材である場合、図３Ａに示すように、補正画像データが示す補正画像には、３本の管路の像Ｉ１、Ｉ２、及びＩ３、並びに添架部材の像Ｉ４が含まれる。このような例において、対象領域抽出部２５２は、図３Ｂに示すように、像Ｉ１、Ｉ２、Ｉ３、及びＩ４をそれぞれ示す領域である対象領域Ｒ１Ａ、Ｒ２Ａ、Ｒ３Ａ、及びＲ４Ａを抽出する。
【0035】
劣化領域検出部２５３は、補正画像データが示す補正画像から、点検対象物における劣化部分の像を示す劣化領域を検出する。劣化領域検出部２５３は、深層学習手法であるバウンディングボックス、クラス分類、セグメンテーション等を用いて、劣化領域を検出することができる。なお、劣化領域検出部２５３は、セグメンテーションを用いることによって、画素ごとに劣化を検出することができる。例えば、劣化領域検出部２５３は、図３Ｂに示すような対象領域Ｒ１Ａ、Ｒ２Ａ、Ｒ３Ａ、及びＲ４Ａから、図３Ｃに示すような劣化領域Ｒ１Ｂ、Ｒ２Ｂ、Ｒ３Ｂ、及びＲ４Ｂを抽出する。
【0036】
判定部２５４は、補正画像データが示す補正画像における対象領域及び劣化領域に基づいて、点検対象物の劣化度を判定する。
【0037】
まず、判定部２５４は、対象領域の面積を算出する。また、判定部２５４は、複数の対象領域が抽出されている場合、それぞれの対象領域の面積を個別に算出してもよい。判定部２５４は、対象領域の面積の算出にあたって、点検対象物の像を構成する画素の数である画素数を計数することによって面積を算出してもよい。
【0038】
また、判定部２５４は、劣化領域の面積を算出する。上述したように、劣化領域検出部２５３がセグメンテーションを用いて画素ごとに、該画素が像を示す物体の部分の劣化を検出する構成において、判定部２５４は、劣化が検出された画素の数を計数することによって劣化領域の面積を算出してもよい。この場合、判定部２５４は、劣化領域検出部２５３によって検出された劣化している画素を用いて、劣化領域の面積を効率的に算出することができる。
【0039】
そして、判定部２５４は、対象領域の面積に対する、劣化領域の面積の比率を、点検対象物の劣化度と判定する。このとき、判定部２５４は、対象領域を構成する画素の数に対する、劣化領域を構成する画素の数の比率を劣化度と判定してもよい。
【0040】
一例として、図４に示すように、判定部２５４は、補正画像データが示す補正画像のうち、対象領域ＲｉＡ（ｉ＝１～Ｎ（Ｎは点検対象物の数））と劣化領域ＲＢとの論理積を算出することによって、劣化領域ＲｉＢの画素数Ｙｉを算出する。すなわち、判定部２５４は、対象領域ＲｉＡを構成する画素であって、かつ、劣化領域ＲＢを構成する画素の数Ｙｉ、すなわち、劣化領域ＲｉＢを構成する画素の数Ｙｉを算出する。そして、対象領域ＲｉＡの画素数Ｘｉに対する劣化領域ＲｉＢの画素数Ｙｉの比率Ｙｉ／Ｘｉを劣化度と判定する。
【0041】
表示用データ生成部２５５は、判定部２５４によって判定された劣化度を示す表示用データを生成する。表示用データ生成部２５５は、補正画像と、該補正画像に含まれる像に対応する点検対象物の劣化度とを含む表示用データを生成してもよい。また、表示用データ生成部２５５は、図５に示すような、補正画像データが示す補正画像に劣化領域を示す加工が施された加工画像と、該加工画像に像が含まれる点検対象物それぞれの劣化度とを示す表示用データを生成してもよい。表示用データ生成部２５５は、図５に示す例のように劣化度を示すとともに、あるいは劣化度を示すことに代えて、劣化度に基づいて、補正画像に劣化領域を示す加工を施してもよい。一例として、表示用データ生成部２５５は、劣化度が１０％未満である劣化領域を青色で示し、劣化度が１０％以上で３０％未満である劣化領域を黄色で示し、劣化度が３０％以上である劣化領域を赤色で示してもよい。劣化度に応じて劣化領域に示される色はこれらに限らないが、劣化度が高くなるほど、点検者の注意を喚起しやすい色で劣化領域を示すことが好ましい。これにより、点検者は、劣化度の高い劣化領域を含む点検対象物を即時に認識し、該点検対象物のメンテナンスを迅速に実施することが可能となる。
【0042】
上述したように、補正部２３２は、補正画像を示す補正画像データに識別子を付与してもよい。このような構成において、表示用データ生成部２５５は、判定部２５４によって、複数の補正画像データが示す補正画像それぞれについての複数の劣化度が判定された場合、補正部２３２は、複数の補正画像データそれぞれに識別子を付与する。これにより、表示用データ生成部２５５は、識別子を用いて、複数の劣化度それぞれと、補正画像データとを対応付けることができる。したがって、表示用データ生成部２５５は、複数の補正画像データそれぞれについて、識別子を用いて、補正画像と該補正画像に含まれる像に対応する点検対象物の劣化度とを含む表示用データを生成してもよい。
【0043】
出力部２６は、表示用データ生成部２５５によって生成された表示用データを出力する。具体的には、出力部２６は、液晶パネル、有機ＥＬ等の表示インターフェースに表示用データを出力してもよい。また、出力部２６は、例えば、通信ネットワークを介して、表示用データを他の装置に出力してもよい。
【0044】
＜劣化判定装置の動作＞
ここで、本実施形態に係る劣化判定装置２の動作について、図６を参照して説明する。図６は、本実施形態に係る劣化判定装置２における動作の一例を示すフローチャートである。図６を参照して説明する劣化判定装置２における動作は本実施形態に係る劣化判定装置２の混雑情報処理方法に相当する。
ここで、本実施形態に係る劣化判定装置２の動作について、図６を参照して説明する。図６は、本実施形態に係る劣化判定装置２における動作の一例を示すフローチャートである。図６を参照して説明する劣化判定装置２における動作は本実施形態に係る劣化判定装置２の混雑情報処理方法に相当する。
【0045】
ステップＳ１において、入力部２１が、撮像装置１によって撮像された画像を示す画像データの入力を受け付ける。
【0046】
ステップＳ２において、データ格納部２２が、画像データを格納する。
【0047】
ステップＳ３において、補正部２３２が、画像データが示す画像に含まれる、少なくとも一部の点検対象物の像を囲む領域のアスペクト比が大きくなるように画像を補正した補正画像を生成する。このとき、補正部２３２は、読出部２３１がデータ格納部２２から読み出した画像データによって示される画像を補正した補正画像を生成する。また、読出部２３１は、画像データの読み出しにあたって、読み出された画像データに、該画像データを一意に識別するための識別子を付与してもよい。また、読出部２３１は、画像データの形式が所定の形式であるか否かを判定してもよい。そして、読出部２３１は、画像データの形式が所定の形式でないと判定されると、該画像データの形式を所定の形式に変換する。また、読出部２３１は、画像データの形式が所定の形式でないと判定されると、該画像データの形式を変換せず、この場合、補正部２３２は、補正画像を生成しなくてもよい。
【0048】
ステップＳ４において、補正データ格納部２４は、補正部２３２によって生成された補正画像を示す補正画像データを格納する。
【0049】
ステップＳ５において、対象領域抽出部２５２が、補正画像データが示す補正画像から、点検対象物の像を示す対象領域を抽出する。このとき、対象領域抽出部２５２は、補正データ格納部２４に格納され、読出部２５１によって読み出された補正画像データが示す補正画像から対象領域を抽出することができる。
【0050】
ステップＳ６において、劣化領域検出部２５３が、補正画像データが示す補正画像から、点検対象物における劣化部分の像を示す劣化領域を検出する。このとき、対象領域抽出部２５２は、補正データ格納部２４に格納され、読出部２５１によって読み出された補正画像データが示す補正画像から点検対象物の像を検出することができる。
【0051】
ステップＳ７において、判定部２５４が、補正画像データが示す補正画像における対象領域及び劣化領域に基づいて、点検対象物の劣化度を判定する。
【0052】
ステップＳ８において、表示用データ生成部２５５が、判定部２５４によって判定された劣化度を示す表示用データを生成する。このとき、表示用データ生成部２５５が、識別子を用いて、補正画像と該補正画像に含まれる像に対応する点検対象物の劣化度とを含む表示用データを生成してもよい。
【0053】
ステップＳ９において、出力部２６が、表示用データを出力する。
【0054】
上述したように、本実施形態によれば、劣化判定装置２は、画像に含まれる、少なくとも一部の点検対象物の像を囲む領域のアスペクト比が大きくなるように前記画像を補正した補正画像を生成する。そして、劣化判定装置２は、補正画像から、補正画像に含まれる点検対象物の像を示す対象領域を抽出し、補正画像から、点検対象物の劣化部分の像を示す劣化領域を検出する。そして、劣化判定装置２は、対象領域及び劣化領域に基づいて、点検対象物の劣化度を判定する。これにより、劣化判定装置２は、対象領域を高い精度で検出することができる。したがって、対象領域における劣化領域を高い精度で検出することができ、さらには、対象領域と劣化領域とに基づく劣化度を高い精度で検出することができる。したがって、点検対象物を点検する点検者は、適切に点検対象物の劣化度を認識することができ、該劣化度に基づいて点検対象物を適切にメンテナンスすることができる。
【0055】
また、劣化判定装置２は、対象領域を構成する画素の数に対する、前記劣化領域を構成する画素の数の比率を劣化度と判定してもよい。これにより、劣化判定装置２がセグメンテーションを用いて画素ごとに、該画素が像を示す物体の部分の劣化を検出する構成において、劣化判定装置２は、劣化が検出された画素の数を計数することによって劣化領域の面積を算出することができる。したがって、劣化判定装置２は、劣化領域の面積を効率的に算出することができ、これに伴い、劣化度を効率的に算出することができる。
【0056】
また、劣化判定装置２は、補正画像を示す補正画像データそれぞれに識別子を付与し、識別子を用いて、補正画像と該補正画像に含まれる像に対応する点検対象物の劣化度とを含む表示用データを生成してもよい。これにより、表示用データを参照した点検対象物の点検者は、表示用データに含まれる劣化度が、入力を受け付けた画像データのいずれに対応するのかを認識することができる。したがって、点検者は、画像データが示す画像が像を含む点検対象物を認識することができ、劣化度に応じて、適切にメンテナンスを行うことができる。
【0057】
＜プログラム＞
上述した劣化判定装置２はコンピュータ１０１によって実現することができる。また、劣化判定装置２として機能させるためのプログラムが提供されてもよい。また、該プログラムは、記憶媒体に記憶されてもよいし、ネットワークを通して提供されてもよい。図７は、制御装置３及び３－１としてそれぞれ機能するコンピュータ１０１の概略構成を示すブロック図である。ここで、コンピュータ１０１は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
上述した劣化判定装置２はコンピュータ１０１によって実現することができる。また、劣化判定装置２として機能させるためのプログラムが提供されてもよい。また、該プログラムは、記憶媒体に記憶されてもよいし、ネットワークを通して提供されてもよい。図７は、制御装置３及び３－１としてそれぞれ機能するコンピュータ１０１の概略構成を示すブロック図である。ここで、コンピュータ１０１は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
【0058】
図７に示すように、コンピュータ１０１は、プロセッサ１１０と、ＲＯＭ（Read Only Memory）１２０と、ＲＡＭ（Random Access Memory）１３０と、ストレージ１４０と、読出部１５０と、出力部１６０と、通信インターフェース（Ｉ／Ｆ）１７０とを備える。各構成は、バス１８０を介して相互に通信可能に接続されている。プロセッサ１１０は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。
【0059】
プロセッサ１１０は、各構成の制御、及び各種の演算処理を実行する。すなわち、プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行する。プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２０又はストレージ１４０に、本開示に係るプログラムが格納されている。
【0060】
プログラムは、コンピュータ１０１が読み取り可能な記憶媒体に記憶されていてもよい。このような記憶媒体を用いれば、プログラムをコンピュータ１０１にインストールすることが可能である。ここで、プログラムが記憶された記憶媒体は、非一時的（non-transitory）記憶媒体であってもよい。非一時的記憶媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0061】
ＲＯＭ１２０は、各種プログラム及び各種データを格納する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム及び各種データを格納する。
【0062】
読出部１５０は、ユーザの入力操作を受け付けて、ユーザの操作に基づく情報を取得する１つ以上の入力インターフェースを含む。例えば、読出部１５０は、ポインティングデバイス、キーボード、マウスなどであるが、これらに限定されない。
【0063】
出力部１６０は、情報を出力する１つ以上の出力インターフェースを含む。例えば、出力部１６０は、情報を映像で出力するディスプレイ、又は情報を音声で出力するスピーカであるが、これらに限定されない。なお、出力部１６０は、タッチパネル方式のディスプレイである場合には、読出部１５０としても機能する。
【0064】
通信インターフェース１７０は、外部の装置と通信するためのインターフェースである。
【0065】
以上の実施形態に関し、更に以下の付記を開示する。
【0066】
（付記項１）
点検対象物の像を含む画像を示す画像データの入力を受け付ける入力インターフェースと、
制御部とを備え、
前記制御部は、
前記画像に含まれる、少なくとも一部の点検対象物の像を囲む領域のアスペクト比が大きくなるように前記画像を補正した補正画像を生成し、
前記補正画像から、前記補正画像に含まれる前記点検対象物の像を示す対象領域を抽出し、
前記補正画像から、前記点検対象物の劣化部分の像を示す劣化領域を検出し、
前記対象領域及び前記劣化領域に基づいて、前記点検対象物の劣化度を判定する劣化判定装置。
（付記項２）
前記制御部は、前記対象領域の面積に対する、前記劣化領域の面積の比率を、前記点検対象物の前記劣化度と判定する、付記項１に記載の劣化判定装置。
（付記項３）
前記制御部は、前記対象領域を構成する画素の数に対する、前記劣化領域を構成する画素の数の比率を劣化度と判定する、付記項２に記載の劣化判定装置。
（付記項４）
前記制御部は、前記補正画像と前記劣化度とを含む表示用データを生成する、付記項１から３のいずれか一項に記載の劣化判定装置。
（付記項５）
前記制御部は、
前記補正画像を示す補正画像データそれぞれに識別子を付与し、
前記識別子を用いて、前記補正画像と該補正画像に含まれる像に対応する点検対象物の劣化度とを含む表示用データを生成する、付記項４に記載の劣化判定装置。
（付記項６）
点検対象物の像を含む画像を示す画像データの入力を受け付けるステップと、
前記画像に含まれる、少なくとも一部の点検対象物の像を囲む領域のアスペクト比が大きくなるように前記画像を補正した補正画像を生成するステップと、
前記補正画像から、前記補正画像に含まれる前記点検対象物の像を示す対象領域を抽出するステップと、
前記補正画像から、前記点検対象物の劣化部分の像を示す劣化領域を検出するステップと、
前記対象領域及び前記劣化領域に基づいて、前記点検対象物の劣化度を判定するステップと、を含む劣化判定方法。
（付記項７）
コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項１から５のいずれか一項に記載の劣化判定装置として機能させる、プログラムを記憶した非一時的記憶媒体。
点検対象物の像を含む画像を示す画像データの入力を受け付ける入力インターフェースと、
制御部とを備え、
前記制御部は、
前記画像に含まれる、少なくとも一部の点検対象物の像を囲む領域のアスペクト比が大きくなるように前記画像を補正した補正画像を生成し、
前記補正画像から、前記補正画像に含まれる前記点検対象物の像を示す対象領域を抽出し、
前記補正画像から、前記点検対象物の劣化部分の像を示す劣化領域を検出し、
前記対象領域及び前記劣化領域に基づいて、前記点検対象物の劣化度を判定する劣化判定装置。
（付記項２）
前記制御部は、前記対象領域の面積に対する、前記劣化領域の面積の比率を、前記点検対象物の前記劣化度と判定する、付記項１に記載の劣化判定装置。
（付記項３）
前記制御部は、前記対象領域を構成する画素の数に対する、前記劣化領域を構成する画素の数の比率を劣化度と判定する、付記項２に記載の劣化判定装置。
（付記項４）
前記制御部は、前記補正画像と前記劣化度とを含む表示用データを生成する、付記項１から３のいずれか一項に記載の劣化判定装置。
（付記項５）
前記制御部は、
前記補正画像を示す補正画像データそれぞれに識別子を付与し、
前記識別子を用いて、前記補正画像と該補正画像に含まれる像に対応する点検対象物の劣化度とを含む表示用データを生成する、付記項４に記載の劣化判定装置。
（付記項６）
点検対象物の像を含む画像を示す画像データの入力を受け付けるステップと、
前記画像に含まれる、少なくとも一部の点検対象物の像を囲む領域のアスペクト比が大きくなるように前記画像を補正した補正画像を生成するステップと、
前記補正画像から、前記補正画像に含まれる前記点検対象物の像を示す対象領域を抽出するステップと、
前記補正画像から、前記点検対象物の劣化部分の像を示す劣化領域を検出するステップと、
前記対象領域及び前記劣化領域に基づいて、前記点検対象物の劣化度を判定するステップと、を含む劣化判定方法。
（付記項７）
コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項１から５のいずれか一項に記載の劣化判定装置として機能させる、プログラムを記憶した非一時的記憶媒体。
【0067】
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。
【0068】
上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【0069】
１ 撮像装置
２ 劣化判定装置
１１ 撮像部
１２ 出力部
２１ 入力部
２２ データ格納部
２３ 加工部
２４ 補正データ格納部
２５ 検査部
２６ 出力部
１００ 劣化判定システム
１０１ コンピュータ
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 読出部
１６０ 出力部
１７０ 通信インターフェース
１８０ バス
２３１ 読出部
２３２ 補正部
２５１ 読出部
２５２ 対象領域抽出部
２５３ 劣化領域検出部
２５４ 判定部
２５５ 表示用データ生成部
２ 劣化判定装置
１１ 撮像部
１２ 出力部
２１ 入力部
２２ データ格納部
２３ 加工部
２４ 補正データ格納部
２５ 検査部
２６ 出力部
１００ 劣化判定システム
１０１ コンピュータ
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 読出部
１６０ 出力部
１７０ 通信インターフェース
１８０ バス
２３１ 読出部
２３２ 補正部
２５１ 読出部
２５２ 対象領域抽出部
２５３ 劣化領域検出部
２５４ 判定部
２５５ 表示用データ生成部
【図1】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【図7】