特許 7565313 情報処理装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-02

(45)【発行日】2024-10-10

(54)【発明の名称】情報処理装置、方法およびプログラム

(51)【国際特許分類】

   G06T 7/215 20170101AFI20241003BHJP

   G06T 7/20 20170101ALI20241003BHJP

   G06T 7/38 20170101ALI20241003BHJP

   G06V 20/17 20220101ALI20241003BHJP

   H04N 23/60 20230101ALI20241003BHJP

   G03B 15/00 20210101ALI20241003BHJP

   G03B 37/00 20210101ALI20241003BHJP

【ＦＩ】

G06T7/215

G06T7/20 100

G06T7/38

G06V20/17

H04N23/60

G03B15/00 U

G03B37/00

【請求項の数】 8

(21)【出願番号】P 2022053262

(22)【出願日】2022-03-29

(65)【公開番号】P2023146194

(43)【公開日】2023-10-12

【審査請求日】2023-09-27

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】100145838

【弁理士】

【氏名又は名称】畑添 隆人

(74)【代理人】

【識別番号】100103137

【弁理士】

【氏名又は名称】稲葉 滋

(74)【代理人】

【識別番号】100216367

【弁理士】

【氏名又は名称】水谷 梨絵

(72)【発明者】

【氏名】ローハス メナンヅロ

(72)【発明者】

【氏名】中澤 満

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１７－１３４１７７（ＪＰ，Ａ）

【文献】特開２０２１－０３２６５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２１５

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ７／３８

Ｇ０６Ｖ ２０／１７

Ｈ０４Ｎ ２３／６０

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ３７／００

(57)【特許請求の範囲】

【請求項1】

撮像対象と撮像位置との位置関係を、該撮像対象のうち所定の部分に対して一定の距離を保ちつつ変化させながら撮像することで得られた複数の撮像画像に基づいて、撮像画像を構成する複数の画像要素の夫々について撮像対象の画像内での動きの大きさを取得する動き取得手段と、
前記複数の画像要素の動きの大きさの分布を示すヒストグラムの対象としない画像要素を、該画像要素の動きの大きさに基づいて除外するための閾値を決定する閾値決定手段であって、前記複数の画像要素を前記動きの大きさの順に並べた場合の勾配が、ノイズとしての画像要素を特定するための基準を超える箇所を特定し、当該箇所に対応する動きの大きさを、前記閾値として決定する閾値決定手段と、
前記複数の画像要素のうち、前記閾値を超える動きの大きさに係る画像要素を除いた画像要素について、前記ヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラムを参照して、前記撮像対象のうち前記撮像位置から前記一定の距離にある前記所定の部分が撮像された画像要素に対応する動きの大きさの範囲を推定する範囲推定手段と、
推定された前記動きの大きさの範囲に属する前記画像要素を特定することで、前記撮像画像を構成する前記複数の画像要素のうち前記所定の部分が撮像された画像要素を特定する画像要素特定手段と、
を備える情報処理装置。

【請求項2】

前記範囲推定手段は、前記ヒストグラム中の、分布が集中している動きの大きさの区間を特定し、特定された動きの大きさの区間に基づいて、前記動きの大きさの範囲を推定する、
請求項１に記載の情報処理装置。

【請求項3】

前記複数の撮像画像を、当該複数の撮像画像の夫々に含まれる前記画像要素特定手段によって特定された画像要素が整合するように繋げることで、１の撮像位置から同時に撮像可能な範囲よりも広い範囲が撮像された連結画像を得る画像連結手段を更に備える、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記複数の撮像画像は、前記撮像対象のうち前記所定の部分に対して一定の距離を保ちながら飛行する飛翔体に設けられた撮像装置によって撮像することによって得られた撮像画像である、
請求項１から３のいずれか一項に記載の情報処理装置。

【請求項5】

前記複数の撮像画像は、撮像中に一定の速度を保ちながら飛行する飛翔体に設けられた撮像装置によって撮像することによって得られた撮像画像である、
請求項１から４のいずれか一項に記載の情報処理装置。

【請求項6】

前記複数の撮像画像は、前記撮像対象である構造物の１の側面に対峙し垂直飛行する飛翔体に設けられた撮像装置によって撮像することによって得られた撮像画像である、
請求項１から５のいずれか一項に記載の情報処理装置。

【請求項7】

コンピュータが、
撮像対象と撮像位置との位置関係を、該撮像対象のうち所定の部分に対して一定の距離を保ちつつ変化させながら撮像することで得られた複数の撮像画像に基づいて、撮像画像を構成する複数の画像要素の夫々について撮像対象の画像内での動きの大きさを取得する動き取得ステップと、
前記複数の画像要素の動きの大きさの分布を示すヒストグラムの対象としない画像要素を、該画像要素の動きの大きさに基づいて除外するための閾値を決定する閾値決定ステップであって、前記複数の画像要素を前記動きの大きさの順に並べた場合の勾配が、ノイズとしての画像要素を特定するための基準を超える箇所を特定し、当該箇所に対応する動きの大きさを、前記閾値として決定する閾値決定ステップと、
前記複数の画像要素のうち、前記閾値を超える動きの大きさに係る画像要素を除いた画像要素について、前記ヒストグラムを作成するヒストグラム作成ステップと、
前記ヒストグラムを参照して、前記撮像対象のうち前記撮像位置から前記一定の距離にある前記所定の部分が撮像された画像要素に対応する動きの大きさの範囲を推定する範囲推定ステップと、
推定された前記動きの大きさの範囲に属する前記画像要素を特定することで、前記撮像画像を構成する前記複数の画像要素のうち前記所定の部分が撮像された画像要素を特定する画像要素特定ステップと、
を実行する方法。

【請求項8】

コンピュータを、
撮像対象と撮像位置との位置関係を、該撮像対象のうち所定の部分に対して一定の距離を保ちつつ変化させながら撮像することで得られた複数の撮像画像に基づいて、撮像画像を構成する複数の画像要素の夫々について撮像対象の画像内での動きの大きさを取得する動き取得手段と、
前記複数の画像要素の動きの大きさの分布を示すヒストグラムの対象としない画像要素を、該画像要素の動きの大きさに基づいて除外するための閾値を決定する閾値決定手段であって、前記複数の画像要素を前記動きの大きさの順に並べた場合の勾配が、ノイズとしての画像要素を特定するための基準を超える箇所を特定し、当該箇所に対応する動きの大きさを、前記閾値として決定する閾値決定手段と、
前記複数の画像要素のうち、前記閾値を超える動きの大きさに係る画像要素を除いた画像要素について、前記ヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラムを参照して、前記撮像対象のうち前記撮像位置から前記一定の距離にある前記所定の部分が撮像された画像要素に対応する動きの大きさの範囲を推定する範囲推定手段と、
推定された前記動きの大きさの範囲に属する前記画像要素を特定することで、前記撮像画像を構成する前記複数の画像要素のうち前記所定の部分が撮像された画像要素を特定する画像要素特定手段と、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理技術に関する。

【背景技術】

【0002】

従来、各撮影画像のなかで所定の速度ベクトルを含む部分を撮影対象の一部として抽出する対象抽出部と、各撮影画像の相対位置を算出する相対位置算出部と、相対位置に基づいて各撮影画像を配列して撮影範囲よりも広い範囲を含む広域画像を作成する作成部とを備えることで、カメラの撮影範囲よりも広い撮影対象のパノラマ画像を取得可能な画像処理装置が提案されている（特許文献１を参照）。

【先行技術文献】

【非特許文献】

【0003】

【文献】特開２０２０－１８２０４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来、撮像対象の所定の部分（例えば、撮像位置から見て最も手前にある構造等。）が撮像された画像要素を撮像画像から抽出するための技術が種々提案されている。しかし、機械学習等を用いて抽出する場合には抽出精度に課題があり、また、精度を向上させたい場合には撮像対象の三次元形状を検知するための追加のセンサー（例えば、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサー等。）を要する等、撮像対象の所定の部分が撮像された画像要素を撮像画像から抽出する際の精度向上には課題が残されている。

【0005】

本開示は、上記した問題に鑑み、撮像対象中の所定の部分が撮像された画像要素を撮像画像から抽出する際の精度を高めることを課題とする。

【課題を解決するための手段】

【0006】

本開示の一例は、撮像対象と撮像位置との位置関係を変化させながら撮像することで得られた複数の撮像画像に基づいて、撮像画像を構成する複数の画像要素の夫々について撮像対象の画像内での動きの大きさを取得する動き取得手段と、前記複数の画像要素の動きの大きさの分布を示すヒストグラムの対象としない画像要素を、該画像要素の動きの大きさに基づいて除外するための閾値を決定する閾値決定手段と、前記複数の画像要素のうち、前記閾値を超える動きの大きさに係る画像要素を除いた画像要素について、前記ヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラムを参照して、前記撮像対象のうち前記撮像位置から所定の距離の範囲内にある所定の部分が撮像された画像要素に対応する動きの大きさの範囲を推定する範囲推定手段と、推定された前記動きの大きさの範囲に属する前記画像要素を特定することで、前記撮像画像を構成する前記複数の画像要素のうち前記所定の部分が撮像された画像要素を特定する画像要素特定手段と、を備える情報処理装置である。

【0007】

本開示は、情報処理装置、システム、コンピュータによって実行される方法又はコンピュータに実行させるプログラムとして把握することが可能である。また、本開示は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものとしても把握できる。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

【発明の効果】

【0008】

本開示によれば、撮像対象中の所定の部分が撮像された画像要素を撮像画像から抽出する際の精度を高めることが可能となる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係るシステムの構成を示す概略図である。

【図2】実施形態に係る情報処理装置の機能構成の概略を示す図である。

【図3】実施形態において構造物を撮像する際の飛行パターンを示す概略図である。

【図4】実施形態において、画素をｍａｇｎｉｔｕｄｅの昇順に並べたグラフを示す図である。

【図5】実施形態において作成される、撮像画像中のｍａｇｎｉｔｕｄｅの分布を示すヒストグラムの例を示す図である。

【図6】実施形態におけるユニット推定の概要を示す図（Ａ）である。

【図7】実施形態におけるユニット推定の概要を示す図（Ｂ）である。

【図8】実施形態において、構造物画像から検出された部材がクラスタリングされた様子を示す図である。

【図9】実施形態において、設計データから検出された部材がクラスタリングされた様子を示す図である。

【図10】実施形態に係るパノラマ画像生成処理の流れを示すフローチャートである。

【図11】実施形態に係る検査処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本開示に係る情報処理装置、方法およびプログラムの実施の形態を、図面に基づいて説明する。但し、以下に説明する実施の形態は、実施形態を例示するものであって、本開示に係る情報処理装置、方法およびプログラムを以下に説明する具体的構成に限定するものではない。実施にあたっては、実施の態様に応じた具体的構成が適宜採用され、また、種々の改良や変形が行われてよい。

【0011】

本実施形態では、本開示に係る技術を、鉄塔等の構造物の監視や点検のために実施した場合の実施の形態について説明する。但し、本開示に係る技術は、対象が撮像された画像の処理のために広く用いることが可能であり、本開示の適用対象は、実施形態において示した例に限定されない。

【0012】

従来、通信網のための基地局としての利用用途が見込まれる鉄塔等の構造物の監視や点検は目視により行われることが一般的であったが、近年、このような構造物の点検にかかるデジタルトランスフォーメーション（ＤＸ）が推進され、これまでの目視による監視や点検をドローン等の飛翔体による監視や点検に置き換えるための技術が種々提案されている。例として、構造物の撮像処理および画像解析を駆使した点検技術が提案されており、当該点検技術には、構造物の点検にかかる人手による業務の手間や負担を軽減する効果が期待されるとともに、構造物中の単位構造や部材の夫々の識別および異常検出の簡便な実現が期待される。しかし、従来提案されている技術では、種々の課題があった。

【0013】

例えば、従来、構造物を対象とした監視や点検を撮像画像に基づいて行うために、構造物中の所定の部分（例えば、撮像位置から見て最も手前にある構造等。）が撮像された画像要素を撮像画像から抽出するための技術が種々提案されている。しかし、機械学習等を用いて抽出する場合には抽出精度に課題があり、また、精度を向上させたい場合には構造物の三次元形状を検知するための追加のセンサー（例えば、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサー等。）を要する等、撮像対象の所定の部分が撮像された画像要素を撮像画像から抽出する際の精度向上には課題が残されている。

【0014】

また、本実施形態では、鉄塔等の長大な構造物を対象とした監視や点検を行うために、ドローン等の飛翔体を用いて撮像された構造物の撮像画像群を合成し、構造物全体を呈する１枚のパノラマ画像を生成する画像処理技術を採用する。しかし、従来提案されている技術では、撮像手段であるドローン等の飛翔体が突風等の偶発的な事象の影響を受けて飛翔体自体の速度ベクトルが変化してしまう可能性があり、このような偶発的な事象が発生した場合、各撮像画像の相対位置の特定が困難になり、ひいては好適なパノラマ画像の生成が困難となる可能性がある。

【0015】

加えて、鉄塔等の長大な構造物を対象とした監視や点検を行う場合、構造物の撮像画像が構造物のどの位置に相当するものかを把握する必要がある。また、鉄塔等の構造物が数多の部材で構成されることに鑑みると、構造物の一部に対応するに過ぎない任意の１枚の撮像画像が何れの箇所を示すかを把握する必要がある。しかし、従来提案されている技術では、構造物の撮像画像において構造物を構成する単位構造や部材を網羅的に認識するという点で改善の余地があった。

【0016】

上記した問題に鑑み、本実施形態に係る情報処理装置、方法およびプログラムは、上記した問題に鑑み、構造物中の所定の部分が撮像された画像要素を撮像画像から抽出する際の精度を高めること、構造物の撮像において偶発的な事象の影響を受けた場合にも好適なパノラマ画像を生成すること、及び構造物が撮像された画像において構造物を構成する単位構造や部材を網羅的に認識するための新規な技術を提供すること、等を可能とする。

【0017】

＜システムの構成＞
図１は、本実施形態に係るシステムの構成を示す概略図である。本実施形態に係るシステムは、ネットワークに接続されることで互いに通信可能な情報処理装置１と、ドローン８と、ユーザ端末９とを備える。

【0018】

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置１４、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信ユニット１５、等を備えるコンピュータである。但し、情報処理装置１の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、情報処理装置１は、単一の筐体からなる装置に限定されない。情報処理装置１は、所謂クラウドや分散コンピューティングの技術等を用いた、複数の装置によって実現されてよい。

【0019】

ドローン８は、外部からの入力信号及び／又は装置に記録されたプログラムに応じて飛行が制御される小型の無人航空機であり、プロペラ、モーター、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、通信ユニット、入力装置、出力装置等（図示は省略する）を備える。但し、ドローン８の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、本実施形態にかかるドローン８は、撮像装置８１を備えており、対象の構造物周辺を飛行する際に、外部からの入力信号及び／又は装置に記録されたプログラムに応じて構造物の撮像を行う。

【0020】

ユーザ端末９は、ユーザによって使用される端末装置である。ユーザ端末９は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、通信ユニット、入力装置、出力装置等（図示は省略する）を備えるコンピュータである。但し、ユーザ端末９の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、ユーザ端末９は、単一の筐体からなる装置に限定されない。ユーザ端末９は、所謂クラウドや分散コンピューティングの技術等を用いた、複数の装置によって実現されてよい。ユーザは、これらのユーザ端末９を介して、本実施形態に係るシステムによって提供される各種サービスを利用する。

【0021】

図２は、本実施形態に係る情報処理装置の機能構成の概略を示す図である。情報処理装置１は、記憶装置１４に記録されているプログラムが、ＲＡＭ１３に読み出され、ＣＰＵ１１によって実行されて、情報処理装置１に備えられた各ハードウェアが制御されることで、撮像画像取得部２１、動き取得部２２、閾値決定部２３、ヒストグラム作成部２４、範囲推定部２５、画像要素特定部２６、画像連結部２７、特徴検出部２８、単位構造推定部２９、部材検出部３０、クラスタ作成部３１、クラスタ対応付け部３２、部材対応付け部３３、位置合わせ部３４及び施工状態判定部３５を備える情報処理装置として機能する。なお、本実施形態及び後述する他の実施形態では、情報処理装置１の備える各機能は、汎用プロセッサであるＣＰＵ１１によって実行されるが、これらの機能の一部又は全部は、１又は複数の専用プロセッサによって実行されてもよい。

【0022】

撮像画像取得部２１は、複数の撮像画像を取得する。ここで、撮像画像の取得方法は限定されないが、本実施形態では、撮像装置８１が搭載されたドローン８を用いて撮像された撮像画像を、ユーザ端末９を介して取得する例について説明する。また、撮像画像は、動画から切り出された複数の静止画であってもよいし、連続撮像された複数の静止画であってもよい。なお、本実施形態において取得される複数の撮像画像は、撮像対象である構造物（例えば、鉄塔）のうち所定の部分（本実施形態では、構造物の１つの側面）に対峙して撮像中に略一定の距離及び略一定の速度を保ちながら略垂直飛行する飛翔体に設けられた撮像装置によって撮像対象と撮像位置との位置関係を変化させながら撮像することによって得られた撮像画像であり、撮像画像中には、構造物に含まれる複数の単位構造及び複数の所定の部材が同時に撮像されている。

【0023】

図３は、本実施形態において構造物を撮像する際の飛行パターンを示す概略図である。構造物が鉄塔である場合を例に挙げて説明すると、本実施形態において、作業者は、ドローンに搭載された撮像装置が鉄塔の検査対象の側面に向けられた状態で、ドローンを鉄塔の下から上に向けて略垂直飛行させながら動画を撮像することで、鉄塔の検査対象の側面全体が下から上に向かって順に撮像された動画を得る。このようにすることで、構造物に含まれる複数の単位構造（本実施形態では、鉄塔を構成する鉄筋等のバーがＸ状に交叉するユニット）及び複数の所定の部材（本実施形態では、締結材）のうち、検査対象の側面から捉えられるものが全て撮像された動画を得ることが出来る。なお、ドローンの飛行パターンは本実施形態において例示された略垂直飛行に限定されず、構造物の形状に応じて適宜設定されてよい。

【0024】

動き取得部２２は、複数の撮像画像に基づいて、撮像画像を構成する複数の画像要素の夫々について撮像対象の画像内での動きを示すベクトル（所謂オプティカルフロー）を取得する。ここで取得されるオプティカルフローには、画像要素毎にオプティカルフローの大きさを示すパラメータ（以下、「ｍａｇｎｉｔｕｄｅ」と称する。）が含まれる。ここで、画像要素は、撮像画像に含まれる画素、撮像画像中において撮像対象が撮像された画素の集合、又は撮像画像中において特定された撮像対象を示す特徴点等であってよいが、本実施形態では、画像要素として撮像画像に含まれる画素を用いる例について説明する。動き取得部２２は、より具体的には、撮像画像取得部２１によって取得された動画を構成する複数の撮像画像（例えば、動画を構成する複数のフレーム）に基づいて時系列上で前後する画像同士を比較することで、撮像画像を構成する複数の画像要素の夫々についてオプティカルフローを取得する。なお、本実施形態では、画素全体の動きを解析するｄｅｎｓｅ型のオプティカルフロー解析を用いる例について説明するが、オプティカルフロー解析のための具体的な手法は限定されない。

【0025】

閾値決定部２３は、複数の画像要素のｍａｇｎｉｔｕｄｅの分布を示すヒストグラムの対象としない画像要素を、該画像要素のｍａｇｎｉｔｕｄｅに基づいて除外するための閾値を決定する。例えば、閾値決定部２３は、複数の撮像画像のうち少なくとも連続して撮像される一連の画像群に含まれる画像要素をｍａｇｎｉｔｕｄｅの昇順／降順に並べ、当該並びにおいてｍａｇｎｉｔｕｄｅの変化が所定の基準を超える箇所を特定し、当該箇所に対応するｍａｇｎｉｔｕｄｅを閾値として決定してよい。

【0026】

図４は、本実施形態において、画素をｍａｇｎｉｔｕｄｅの昇順に並べたグラフを示す図である。本図では、横軸に画素がｍａｇｎｉｔｕｄｅの昇順に並び、縦軸が各画素のｍａｇｎｉｔｕｄｅを示している。閾値決定部２３は、画素をｍａｇｎｉｔｕｄｅの昇順に並べたグラフを作成し、当該グラフに基づいて、ｍａｇｎｉｔｕｄｅの変化が所定の基準を超える「急勾配」箇所を特定する。「急勾配」箇所を特定するための具体的な手法は限定されないが、例えば、閾値決定部２３は、グラフ上のｍａｇｎｉｔｕｄｅを繋いだ線グラフの接線の勾配（傾き）を算出して勾配が所定の閾値を超える箇所を特定する方法や、グラフ上で隣り合うか又は近接する画素間のｍａｇｎｉｔｕｄｅの差分や比が所定の閾値を超える箇所を特定する方法等を用いることで、ｍａｇｎｉｔｕｄｅの変化が所定の基準を超える「急勾配」箇所を特定することが出来る。なお、図４では、画素をｍａｇｎｉｔｕｄｅの昇順に並べる例を示したが、ｍａｇｎｉｔｕｄｅは降順に並べられてもよい。

【0027】

そして、閾値決定部２３は、当該グラフに配置された全画素の数に対する、特定された箇所のｍａｇｎｉｔｕｄｅ以下（又は、未満）のｍａｇｎｉｔｕｄｅを有する画素の数の割合、又は当該グラフに配置された全画素の数に対する、特定された箇所のｍａｇｎｉｔｕｄｅよりも大きい（又は、以上の）ｍａｇｎｉｔｕｄｅを有する画素の数の割合（即ち、図４のグラフにおいて急勾配が特定された箇所を境として左右いずれかに属する画素数の割合）を、閾値を特定するための割合として決定する。より具体的には、本実施形態では、当該グラフに配置された全画素の数に対する、特定された箇所のｍａｇｎｉｔｕｄｅ以下のｍａｇｎｉｔｕｄｅを有する画素の数の割合を、閾値を特定するためのｐｅｒｃｅｎｔｉｌｅとして決定する。そして、閾値決定部２３は、複数の撮像画像の夫々について、当該ｐｅｒｃｅｎｔｉｌｅに対応するｍａｇｎｉｔｕｄｅを求め、求められたｍａｇｎｉｔｕｄｅを、各撮像画像におけるヒストグラム作成のための閾値として決定する。

【0028】

このようにしてｐｅｒｃｅｎｔｉｌｅを介してｍａｇｎｉｔｕｄｅの閾値を決定することで、ドローンを用いて撮像された画像群における画像毎に異なり多種多様なピクセルの動きに対応可能な、相対的な度合いとしてのｐｅｒｃｅｎｔｉｌｅに基づいて閾値を決定することが出来る。但し、ｐｅｒｃｅｎｔｉｌｅを介してｍａｇｎｉｔｕｄｅの閾値を決定する方法に代えて、特定された箇所に相当するｍａｇｎｉｔｕｄｅを直接ｍａｇｎｉｔｕｄｅの閾値として決定する方法や、予め設定された値を閾値として採用することでステップＳ１０３を省略する方法、画像毎に急激にｍａｇｎｉｔｕｄｅが上昇するような画素を特定し当該画素に基づいて閾値を設定する方法、等が採用されてもよい。

【0029】

ヒストグラム作成部２４は、複数の画像要素のうち、閾値決定部２３によって決定された閾値を超えるｍａｇｎｉｔｕｄｅに係る画像要素を除いた画像要素（換言すれば、閾値以下のｍａｇｎｉｔｕｄｅに係る画像要素）について、複数の画像要素のｍａｇｎｉｔｕｄｅの分布を示すヒストグラムを作成する。より具体的には、ヒストグラム作成部２４は、複数の撮像画像の夫々について、閾値決定部２３によって決定された閾値以下のｍａｇｎｉｔｕｄｅを有する画像要素を、予め所定の幅に決定されたｍａｇｎｉｔｕｄｅの区間（ビン）に振り分け、ビン毎の画像要素数を算出することで、複数の画像要素のｍａｇｎｉｔｕｄｅの分布を示すヒストグラムを作成する。このようにすることで、ノイズ等の不要な画素を除いてヒストグラムを作成することが可能となり、後述する範囲推定部２５による範囲推定の精度を向上させることが可能となる。

【0030】

範囲推定部２５は、ヒストグラムを参照して、撮像対象のうち撮像位置から所定の距離の範囲内にある所定の部分が撮像された画像要素に対応するｍａｇｎｉｔｕｄｅの範囲を推定する。本実施形態では、所定の部分として、撮像対象である構造物のうち最も手前にある構造（以下、「前景」と称する）が特定される。

【0031】

図５は、本実施形態において作成される、撮像画像中のｍａｇｎｉｔｕｄｅの分布を示すヒストグラムの例を示す図である。本実施形態において、範囲推定部２５は、ヒストグラム中の、分布が集中しているビンを特定し、特定されたビンに基づいて、前景に係るｍａｇｎｉｔｕｄｅの範囲を推定する。ここで推定されるｍａｇｎｉｔｕｄｅの範囲は、特定されたビンの区間と同一であってもよいし、異なっていてもよい。例えば、範囲推定部２５は、特定されたビンを中心としてその前後所定の範囲を、所定の部分が撮像された画像要素に対応するｍａｇｎｉｔｕｄｅの範囲として推定することが出来る。この範囲の広さは、撮像画像の精度や、撮像の際の撮像装置８１と構造物との間の距離等に基づいて決定されてよい。

【0032】

画像要素特定部２６は、推定されたｍａｇｎｉｔｕｄｅの範囲に属する画像要素を特定することで、撮像画像を構成する複数の画像要素のうち所定の部分（本実施形態では、構造物のうち最も手前にある構造である前景）が撮像された画像要素を特定する。

【0033】

画像連結部２７は、複数の撮像画像を、当該複数の撮像画像の夫々に含まれる画像要素特定部２６によって特定された画像要素が整合するように繋げることで、１の撮像位置から同時に撮像可能な範囲よりも広い範囲が撮像された連結画像（例えば、パノラマ画像等）を得る。具体的には、例えば、画像連結部２７は、連続して撮像された複数の撮像画像の夫々において共通して検出された特徴点をマッチングさせ各画像を連結することで連結画像を得る。この際、画像連結部２７は、画像要素特定部２６によって特定された画像要素（即ち、前景等の所定の部分に係る画像要素）に係る特徴点をマッチングさせ各画像を連結することで、撮像画像のうち所定の部分（本実施形態では、前景）が整合するように連結された連結画像を得ることが出来る。なお、特徴点の検出／抽出については従来技術であるため詳述を省略するが、例えばＯｐｅｎＣＶの標準的なモジュール（ｆｅａｔｕｒｅ２ｄ）を用いることで、特徴点を検出／抽出することが出来る。

【0034】

また、画像連結に際して、画像連結部２７は、複数の撮像画像（動画中のフレーム）に基づいて撮像画像群のホモグラフィ行列（透視変換行列）を算出し、算出されたホモグラフィ行列を用いて複数の撮像画像を１の連結画像上に変換することで、連結画像を得ることとしてもよい。より具体的には、本実施形態において、画像連結部２７は、画像要素特定部２６によって特定された前景に係る画像要素に係る特徴点を複数の撮像画像間でマッチングさせることで、これらの複数の撮像画像に係るホモグラフィ行列を算出する。そして、画像連結部２７は、これらの複数の撮像画像中の前景に係る平面が１の連結画像上で一致するように、当該ホモグラフィ行列を用いて複数の撮像画像を変換し、これを１の連結画像上に配置することで、全体として前景が１の平面に配置された連結画像を得る。なお、画像連結部２７は、撮影画像群において算出されるホモグラフィ行列を、撮影対象である構造物の中心を示す撮影画像をリファレンスとして算出してよく、ここで、構造物の中心を示す画像は、撮像画像の撮像のタイミングに応じて決定されてよく、例えばｎ枚の撮像画像群のうちのｎ／２枚目の撮像画像である。また、画像連結部２７は、撮影画像群において算出されるホモグラフィ行列を、特定された構造物の単位構造（ユニット）の中心を示す撮像画像をリファレンスとして算出してもよい。

【0035】

特徴検出部２８は、各々が同一又は類似の外見的構造を有する複数の単位構造（以下、「ユニット」と称する。）を含む構造物を撮像装置によって撮像することで得られた構造物画像から、複数のユニット間で略共通する外見的構造に係る特徴を検出する。本実施形態では、構造物画像として、画像連結部２７によって得られた連結画像が用いられる。但し、検査処理において処理対象となる構造物画像は、画像連結部２７によって得られた連結画像に限定されず、その他の方法によって取得された構造物画像であってよい。また、本実施形態では、外見的構造として、構造物を構成する鉄筋等のバーが対角線状（Ｘ状）に交叉する構造が用いられ、外見的構造に係る特徴として、画像認識によって検出されたエッジ又は線分が対角線状に交叉する箇所（直線の交点やエッジ）に基づいて得られた特徴が用いられる。

【0036】

また、本実施形態において、特徴検出部２８は、検査対象の構造物の検査対象側面が撮像された構造物画像のうち画像要素特定部２６によって特定された所定の部分（本実施形態では、画像要素特定部２６によって特定された前景）が撮像された画像要素に基づいて、当該構造物画像から、構造物画像中のエッジ又は線分を検出し、検出されたエッジ又は線分を参照して、外見的構造に係る特徴を検出する。より具体的には、特徴検出部２８は、構造物画像中の直線を検出し、画像要素特定部２６によって特定された所定の部分に係る画像要素のみを抽出するフィルタリング（マスク）によって当該所定の部分に含まれる直線を抽出し、対角線状に延伸する部材の交点を検出することで、鉄塔を構成する鉄筋等のバーが対角線状（Ｘ状）に交叉する外見的構造に係る特徴を検出する。

【0037】

単位構造推定部２９は、特徴検出部２８によって検出された複数の特徴の夫々について、当該特徴を含む所定の範囲を、構造物画像中の、当該構造物に含まれる複数のユニットの夫々に係る部分として推定する。

【0038】

図６及び図７は、本実施形態におけるユニット推定の概要を示す図である。本実施形態における対象の構造物は鉄塔であり、夫々が鉄筋等のバーが対角線状（Ｘ状）に交叉する外見的構造を有するユニットが鉛直方向に並んだ構造の構造物である。このような構造物について単位構造を推定する方法の一例を、図６及び図７を参照して説明する。はじめに、単位構造推定部２９は、特徴検出部２８によって検出された複数の特徴点に基づいて、特徴点の数を鉛直方向にカウントしたグラフ（鉛直方向における特徴点の密度を示すグラフ。図６を参照。）を作成し、特徴点の密度が高い画素列の範囲を特定することで、鉄塔の中心領域（ユニットの中央が通る領域）を特定する。次に、単位構造推定部２９は、特徴検出部２８によって特定された複数の特徴点のうち鉄塔の中心領域における複数の特徴点に基づいて、水平方向に特徴点をカウントしたグラフ（水平方向における特徴点の密度を示すグラフ。図７を参照。）を作成し、特徴点の密度が高い画素行の範囲を複数特定することで、各ユニットの中心（ユニットを構成するバーがＸ状に交叉する位置。）を特定する。

【0039】

各ユニットの中心が特定されると、単位構造推定部２９は、特定されたユニットの中心を含む各ユニットの領域を特定する。各ユニットの領域を特定する際の、領域の終端についても、ユニットの中心と同様の方法で特定可能である。即ち、単位構造推定部２９は、特徴検出部２８によって検出された複数の特徴点に基づいて作成された、特徴点の数を鉛直方向にカウントしたグラフ（鉛直方向における特徴点の密度を示すグラフ。図６を参照。）を参照し、特徴点の密度が高い画素列の範囲のうちユニットの中心に係る範囲を除くものを、ユニットの左右の終端領域として特定する。そして、単位構造推定部２９は、特徴検出部２８によって特定された複数の特徴点のうちユニットの左右の終端領域における複数の特徴点に基づいて作成された、水平方向に特徴点をカウントしたグラフ（水平方向における特徴点の密度を示すグラフ。図７を参照。）を参照し、特徴点の密度が高い画素行の範囲を複数特定することで、各ユニットの終端を特定する。

【0040】

各ユニットの領域（所定の範囲）が特定されると、単位構造推定部２９は、特定された各ユニットに、ユニットを一意に識別するためのラベルを付す。ラベルの付し方は限定されないが、例えば数値及び／又は文字からなるラベルを最上部のユニットから最下部のユニットに向けて昇順に割り当てることで付されてよい。

【0041】

部材検出部３０は、構造物画像から、ユニットに含まれる複数の所定の部材（例えば、ボルト、ナット及びワッシャ等の、ネジ締結のための締結材）を検出する。本実施形態において、部材検出部３０は、構造物画像中に撮像された所定の部材を予め深層学習等させることで作成された機械学習モデルを用いて、ユニットに含まれる複数の所定の部材を検出する。但し、部材検出部３０が構造物画像から所定の部材を検出する具体的な方法は限定されない。例えば、部材検出部３０は、予め用意された所定の部材の画像と構造物画像とをマッチングさせる方法や、特徴検出によって予め用意された所定の部材特有のパターンを検出する方法等によっても、ユニットに含まれる複数の所定の部材を検出することが出来る。

【0042】

クラスタ作成部３１は、検出された複数の部材を、部材同士の距離に基づいてクラスタリングすることで、密集して施工された部材のクラスタを複数作成する。本実施形態において、クラスタ作成部３１は、ＤＢＳｃａｎ等の密度準拠クラスタリングを用いて、部材のクラスタリングを行う。但し、部材のクラスタリングを行う具体的な方法は限定されず、その他のクラスタリング手法が採用されてもよい。

【0043】

図８は、本実施形態において、構造物画像から検出された部材がクラスタリングされた様子を示す図である。図８の左側に示された構造物画像から、締結材等の所定の部材が検出され、検出された部材がそれらの位置に基づいてクラスタリングされた様子が、図８の右側に示されている。ここで、破線丸が、夫々のクラスタを示す。

【0044】

クラスタ対応付け部３２は、複数のクラスタの夫々の位置と、予め準備された当該構造物の設計データに示されている部材の複数のクラスタの夫々の位置とを比較することで、構造物画像中のクラスタと設計データ中のクラスタとを対応付ける。本実施形態では、クラスタの位置として、クラスタの中心（より具体的には、例えば、重心や、外接矩形の中心。）が用いられる。このため、クラスタ対応付け部３２は、クラスタ作成部３１によって作成されたクラスタの中心を計算し、設計データに示されている部材のクラスタの中心を計算して、中心位置同士を比較し、一致又は近似するクラスタを対応付ける。この際、設計データに示されている部材のクラスタについても、上記したクラスタ作成部３１によって作成されてよい。

【0045】

図９は、本実施形態において、設計データから検出された部材がクラスタリングされた様子を示す図である。図９の左側に示された設計データから、締結材等の所定の部材が検出され、検出された部材がそれらの位置に基づいてクラスタリングされた様子が、図９の右側に示されている。ここで、破線丸が、夫々のクラスタを示す。なお、本実施形態では、構造物の設計データとして設計画像を用いる例を示して説明しているが、構造物の設計データは、画像に限定されない。締結材の相対的な位置関係を把握可能なデータであれば、構造物の設計データとして用いることができる。

【0046】

部材対応付け部３３は、構造体画像におけるクラスタに属する部材の位置と、クラスタ対応付け部３２で当該クラスタに対応付けられた設計データにおけるクラスタに属する部材の位置とを比較することで、構造物画像中の部材と設計データに示された部材とを対応付ける。対応付けの具体的な方法には、クラスタ対応付け部３２によるクラスタの対応付けと同様の方法が採用されてよい。部材対応付け部３３は、対応付けられた構造物画像におけるクラスタと設計データにおけるクラスタとの間で、クラスタに属する部材同士の位置を比較し、一致又は近似する部材を対応付ける。

【0047】

位置合わせ部３４は、部材対応付け部３３による構造物画像中の部材と設計データに示された部材との対応付け結果に基づいて、構造物画像と設計データとの位置合わせを行う。具体的には、位置合わせ部３４は、部材対応付け部３３によって対応付けられた構造物画像における部材の位置と設計データにおける部材の位置とが一致（又は、可能な限り近接）するように構造物画像を変形することで、構造物画像と設計データとの位置合わせを行う。

【0048】

施工状態判定部３５は、撮像画像に含まれる締結部等の部材の画像に基づいて、部材の施工状態を判定する。ここで、具体的な判定方法は実施の形態に応じて適宜採用可能であり、限定されないため、詳細な説明を省略する。例を挙げると、施工状態判定部３５は、構造物画像中で区分された各ユニットの画像とユニットの設計データ（設計画像）とを比較して締結部等の部材の総数に関する相違点を検出する。

【0049】

＜処理の流れ＞
次に、本実施形態に係る情報処理装置によって実行される処理の流れを説明する。なお、以下に説明する処理の具体的な内容及び処理順序は、本開示を実施するための一例である。具体的な処理内容及び処理順序は、本開示の実施の形態に応じて適宜選択されてよい。

【0050】

図１０は、本実施形態に係るパノラマ画像生成処理の流れを示すフローチャートである。本フローチャートに示された処理は、構造物の施工中又は施工後の監視又は点検において、撮像画像が入力されたこと、又は作業者によってパノラマ画像生成処理の実行指示が入力されたことを契機として実行される。

【0051】

ステップＳ１０１では、撮像画像が取得される。作業者は、撮像装置８１を用いて構造物の検査対象となる側面を撮像し、得られた撮像画像の画像データを情報処理装置１に入力する。撮像方法及び画像データの情報処理装置１への入力方法は限定されないが、本実施形態では、撮像装置８１が搭載されたドローン８を用いて構造物の検査対象側面が撮像され、撮像装置８１からユーザ端末９に通信又は記録媒体を介して転送された画像データが更にネットワークを介して情報処理装置１に転送されることで、撮像画像の画像データが情報処理装置１に入力され、撮像画像取得部２１はこれを取得する。その後、処理はステップＳ１０２へ進む。

【0052】

ステップＳ１０２では、オプティカルフローが推定される。動き取得部２２は、ステップＳ１０１で取得された動画を構成する複数の撮像画像（動画を構成する複数のフレーム）に基づいて時系列上で前後する画像同士を比較することで、撮像画像を構成する複数の画素の夫々についてオプティカルフローを取得する。上述の通り、ここで取得されるオプティカルフローには、画素毎にオプティカルフローの大きさを示すパラメータであるｍａｇｎｉｔｕｄｅが含まれる。その後、処理はステップＳ１０３へ進む。

【0053】

ステップＳ１０３及びステップＳ１０４では、オプティカルフローのヒストグラムであって、一部が平坦化されたヒストグラムが作成される。閾値決定部２３は、一連の撮像画像に含まれる画素をｍａｇｎｉｔｕｄｅの昇順／降順に並べた場合にｍａｇｎｉｔｕｄｅの変化が所定の基準を超える箇所を特定し、当該箇所に対応するｐｅｒｃｅｎｔｉｌｅに基づいて、複数の撮像画像の夫々について、当該撮像画像におけるｍａｇｎｉｔｕｄｅの閾値を決定する（ステップＳ１０３）。そして、ヒストグラム作成部２４は、複数の撮像画像の夫々について、撮像画像に含まれる画素のうち、ステップＳ１０３で決定された閾値を超えるｍａｇｎｉｔｕｄｅに係る画素を除いた画素（換言すれば、閾値以下のｍａｇｎｉｔｕｄｅに係る画素）について、複数の画素のｍａｇｎｉｔｕｄｅの分布を示すヒストグラムを作成する（ステップＳ１０４）。その後、処理はステップＳ１０５へ進む。

【0054】

ステップＳ１０５及びステップＳ１０６では、オプティカルフローのヒストグラムに基づいて、撮像画像群における前景が区分される。範囲推定部２５は、ステップＳ１０４で作成されたヒストグラムを参照して、分布が集中しているｍａｇｎｉｔｕｄｅの区間（ビン）を特定することで、撮像対象のうち撮像位置から所定の距離の範囲内にある所定の部分（本実施形態では、前景）が撮像された画素に対応するｍａｇｎｉｔｕｄｅの範囲を推定する（ステップＳ１０５）。そして、画像要素特定部２６は、推定されたｍａｇｎｉｔｕｄｅの範囲に属する画素を特定することで、撮像画像を構成する複数の画素のうち前景が撮像された画素を特定する（ステップＳ１０６）。その後、処理はステップＳ１０７へ進む。

【0055】

ステップＳ１０７では、撮像画像群に基づいて、構造物のパノラマ画像が生成される。ここで、パノラマ画像は、撮像画像群の夫々においてステップＳ１０６で区分された前景群が整合性をもって繋ぎ合わされるように生成される。画像連結部２７は、複数の撮像画像を、ステップＳ１０６で特定された前景に係る画素が整合するように繋げることで、連結された静止画像（パノラマ画像）を生成する。なお、この際ホモグラフィ行列を用いた撮像画像の透視変換によって連結画像が得られてよいことは、画像連結部２７の説明において上述した通りである。その後、本フローチャートに示された処理は終了する。

【0056】

図１１は、本実施形態に係る検査処理の流れを示すフローチャートである。本フローチャートに示された処理は、構造物の施工中又は施工後の監視又は点検において、構造物画像が入力されたこと、又は作業者によって検査処理の実行指示が入力されたことを契機として実行される。なお、ここでは主として上述したパノラマ画像生成処理によって生成された連結画像が構造物画像として入力された場合について説明するが、構造物画像は、その他の方法によって取得されたものであってもよい。

【0057】

ステップＳ２０１では、検査対象の構造物（本実施形態では、鉄塔）の検査対象側面が撮像された構造物画像のうち所定の部分（本実施形態では、前景）が撮像された画素に基づいて、当該構造物画像から外見的構造に係る特徴を検出する。特徴検出部２８は、構造物画像中の直線のうち、前景に係る画素のみを抽出するフィルタリング（マスク）によって前景に含まれる直線（換言すれば、フロントバーに係る直線）を抽出し、対角線状に延伸する部材の交点を検出することで、鉄塔を構成する鉄筋等のバーが対角線状（Ｘ状）に交叉する外見的構造に係る特徴を検出する。その後、処理はステップＳ２０２へ進む。

【0058】

ステップＳ２０２では、構造物を構成する複数のユニットが区分される。単位構造推定部２９は、ステップＳ２０１で検出された複数の特徴の夫々について、当該特徴を含む所定の範囲を、構造物画像中の、当該構造物に含まれる複数のユニットの夫々に係る部分として推定し、推定された各ユニットに対してユニットを識別するためのラベルを付す。その後、処理はステップＳ２０４へ進む。

【0059】

ステップＳ２０４からステップＳ２０８では、構造物画像から締結材が検出され、画像から検出された締結材と設計データ中の締結材位置との対応付け及び位置合わせが行われる。部材検出部３０は、構造物画像から、ユニットに含まれる複数の所定の部材（本実施形態では、締結材）を検出する（ステップＳ２０４）。そして、クラスタ作成部３１は、検出された複数の部材を、部材同士の距離に基づいてクラスタリングすることで、密集して施工された部材のクラスタを複数作成する（ステップＳ２０５）。クラスタ対応付け部３２は、ステップＳ２０５で作成された複数のクラスタの夫々の位置と、予め準備された当該構造物の設計データに示されている部材の複数のクラスタの夫々の位置とを比較することで、構造物画像中のクラスタと設計データ中のクラスタとを対応付ける（ステップＳ２０６）。

【0060】

部材対応付け部３３は、対応付けられたクラスタ毎に、当該クラスタに属する部材の位置と、ステップＳ２０６で当該クラスタに対応付けられた設計データのクラスタに属する部材の位置とを比較することで、構造物画像中の部材と設計データに示された部材とを対応付ける（ステップＳ２０７）。そして、位置合わせ部３４は、ステップＳ２０７における構造物画像中の部材と設計データに示された部材との対応付け結果に基づいて、構造物画像と設計データとの位置合わせを行う（ステップＳ２０８）。その後、処理はステップＳ２０９へ進む。

【0061】

ステップＳ２０９では、施工状態が判定される。施工状態判定部３５は、各ユニットに含まれる部材（締結部）の総数等の施工状態を判定し、異常がある場合にはこれを検知する。判定結果は、ユーザ端末９に通知されてもよい。その後、本フローチャートに示された処理は終了する。

【0062】

＜バリエーション＞
上記説明した実施形態では、ステップＳ２０４以降の処理に、入力された構造物画像（パノラマ画像生成処理によって生成されたパノラマ画像を用いる場合、当該パノラマ画像）をそのまま用いる例について説明したが、構造物画像には、ユニット毎に作成された連結画像が用いられてもよい。この場合、入力された撮像画像群に基づいて、ユニット毎の連結画像が生成される。画像連結部２７は、特定されたユニット毎に、各ユニットに係る複数の撮像画像を前景に係る画素が整合するように繋げることで、ユニット毎の連結画像を生成する。なお、この際ホモグラフィ行列を用いた撮像画像の透視変換によって連結画像が得られてよいことは、上記ステップＳ１０７で説明した構造物全体に係るパノラマ画像生成と同様である。

【符号の説明】

【0063】

１ 情報処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】