特許 7442467 撮影画像分類装置及び撮影画像分類方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-22

(45)【発行日】2024-03-04

(54)【発明の名称】撮影画像分類装置及び撮影画像分類方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240226BHJP

   H04N 5/77 20060101ALI20240226BHJP

   H04N 5/91 20060101ALI20240226BHJP

   H04N 5/222 20060101ALI20240226BHJP

   G06F 16/55 20190101ALI20240226BHJP

【ＦＩ】

G01N21/88 J

H04N5/77 200

H04N5/91

H04N5/222 100

G06F16/55

【請求項の数】 7

(21)【出願番号】P 2021007755

(22)【出願日】2021-01-21

(65)【公開番号】P2022112102

(43)【公開日】2022-08-02

【審査請求日】2023-01-11

(73)【特許権者】

【識別番号】000005902

【氏名又は名称】株式会社三井Ｅ＆Ｓ

(73)【特許権者】

【識別番号】500578216

【氏名又は名称】株式会社ゼンリンデータコム

(74)【代理人】

【識別番号】100091546

【弁理士】

【氏名又は名称】佐藤 正美

(74)【代理人】

【識別番号】100206379

【弁理士】

【氏名又は名称】丸山 正

(72)【発明者】

【氏名】吉田 健治

(72)【発明者】

【氏名】三橋 慎司

【審査官】比嘉 翔一

(56)【参考文献】

【文献】特開２００１－１９７３５０（ＪＰ，Ａ）

【文献】特開２００３－１１１０１３（ＪＰ，Ａ）

【文献】特開２００６－０２７４４８（ＪＰ，Ａ）

【文献】特開２０１９－１５８６３５（ＪＰ，Ａ）

【文献】再公表特許第２０１８／０７０３５４（ＪＰ，Ａ１）

【文献】中国特許出願公開第１１１４８８８２９（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ、Ｇ０１Ｃ、Ｇ０１Ｄ、Ｇ０１Ｆ、Ｇ０１Ｇ、Ｇ０１Ｈ、Ｇ０１Ｊ、Ｇ０１Ｋ、Ｇ０１Ｌ、Ｇ０１Ｍ、Ｇ０１Ｎ、Ｇ０１Ｐ、Ｇ０１Ｑ、Ｇ０１Ｒ、Ｇ０１Ｓ、Ｇ０１Ｔ、Ｇ０１Ｖ、Ｇ０１Ｗ

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

点検対象物の１以上の点検部位のそれぞれごとに、予め決められた基準点を原点とする相対座標空間における予定撮影位置と撮像手段の予定動き情報とを対応付けた点検部位別設定情報を記憶する設定情報記憶手段と、
前記基準点の経度、緯度、高度を記憶する基準点記憶手段と、
前記点検対象物の前記点検部位の撮影時において取得される情報である、前記撮像手段を通じて撮影することにより得られる画像データと、撮影位置を示す経度、緯度、高度と、前記撮像手段の撮影時動き情報とを対応付けた撮影データを記憶する撮影データ記憶手段と、
前記撮影データの前記経度、緯度、高度を、前記基準点記憶手段の前記経度、緯度、高度を用いて、前記相対座標空間における撮影位置に変換する正規化手段と、
前記撮影データの変換された前記撮影位置と、前記撮影データの前記撮影時動き情報とに基づいて、前記設定情報記憶手段の前記点検部位別設定情報を参照し、点検部位を特定して点検部位ごとに前記撮影データの前記画像データを記録媒体に記録する画像分類手段と
を備えることを特徴とする撮影画像分類装置。

【請求項2】

請求項１に記載の撮影画像分類装置であって、
前記予定動き情報と、前記撮影時動き情報とは、撮像手段の少なくともチルト角度とロール角度である
ことを特徴とする撮影画像分類装置。

【請求項3】

請求項２に記載の撮影画像分類装置であって、
前記撮影データは、前記撮像手段を搭載したＵＡＶ（unmanned aerial vehicle）において形成されたものであり、前記撮影時動き情報には、前記ＵＡＶの前後の傾きを示すチルトピッチ角度と、左右の傾きを示すロールピッチ角度とを含み、
前記チルト角度は前記チルトピッチ角度で補正し、前記ロール角度は前記ロールピッチ角度で補正する補正手段
を備えることを特徴とする撮影画像分類装置。

【請求項4】

請求項２または請求項３に記載の撮影画像分類装置であって、
前記予定動き情報と、前記撮影時動き情報とは、撮像手段のパン角度を含む
ことを特徴とする撮影画像分類装置。

【請求項5】

請求項２、請求項３または請求項４に記載の撮影画像分類装置であって、
前記予定動き情報と、前記撮影時動き情報とは、撮像手段の拡大縮小率を含む
ことを特徴とする撮影画像分類装置。

【請求項6】

請求項１、請求項２、請求項３、請求項４または請求項５のいずれかに記載の撮影画像分類装置であって、
前記予定撮影位置と前記予定動き情報とは、範囲指定される情報である
ことを特徴とする撮影画像分類装置。

【請求項7】

点検対象物の１以上の点検部位のそれぞれごとに、予め決められた基準点を原点とする相対座標空間における予定撮影位置と撮像手段の予定動き情報とを対応付けた点検部位別設定情報を記憶する設定情報記憶手段と、前記基準点の経度、緯度、高度を記憶する基準点記憶手段と、前記点検対象物の前記点検部位の撮影時において取得される情報である、前記撮像手段を通じて撮影することにより得られる画像データと、撮影位置を示す経度、緯度、高度と、前記撮像手段の撮影時動き情報とを対応付けた撮影データを記憶する撮影データ記憶手段とを備える情報処理装置において用いられる撮影画像分類方法であって、
正規化手段が、前記撮影データの前記経度、緯度、高度を、前記基準点記憶手段の前記経度、緯度、高度を用いて、前記相対座標空間における撮影位置に変換する正規化工程と、
画像分類手段が、前記撮影データの変換された前記撮影位置と、前記撮影データの前記撮影時動き情報とに基づいて、前記設定情報記憶手段の前記点検部位別設定情報を参照し、点検部位を特定して点検部位ごとに前記撮影データの前記画像データを記録媒体に記録する画像分類工程と
を有することを特徴とする撮影画像分類方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、例えば、ガントリークレーン、鉄塔、橋梁などといった種々の構造物の点検部位を撮影することにより得た画像データを分類する装置、方法に関する。

【背景技術】

【0002】

デジタルカメラ技術やストレージデバイス技術が進歩し、デジタルカメラで撮影することにより得た撮影画像（画像データ）を、大量にストレージデバイスに蓄積することが容易にできるようになっている。このため、例えば、建築工事現場の作業状況の管理や種々の点検対象物の点検作業のために、工事現場や点検対象物をデジタルカメラで撮影することにより得られる撮影画像を蓄積して利用することが行われている。しかし、作業状況の管理や点検作業のために撮影することにより得られる撮影画像は、数千枚にも及ぶ場合がある。このため、大量の撮影画像を適切に分類して管理する必要があり、これに関連する種々の発明がなされている。

【0003】

例えば、特許文献１や特許文献２には、撮影計画に従って作業過程毎にその作業場面の撮影を行う場合に、シーン番号や分類項目を撮影画像に付加して、撮影画像を撮影計画通りに分類整理できるようにする発明が開示されている。また、特許文献３には、撮影画像を、位置に一意に割り当てられた撮影ポイントＩＤと対応づけて保存する発明が開示されている。また、特許文献４には、属性情報に応じて複数の画像ファイルを分類するための分類情報を生成し、この生成された分類情報を用いて複数の画像ファイルの表示を制御する発明が開示されている。

【0004】

また、特許文献５には、画像管理装置等に関する発明が開示されている。特許文献５に開示された発明は、位置情報に基づき１以上の画像を同一案件として分類するグルーピングの条件が画像に付されている場合には、画像を条件に従って案件毎に分類する。しかし、条件が画像に付されていない場合には、画像を画像から所定距離内の他の画像と同一の案件とするグルーピングの条件により分類する。というものである。また、特許文献６には、１つの建造物を複数の管理単位に分割し、管理単位毎に検査の結果データを記憶する発明が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００５－０３３４４８号公報

【文献】特開２００７－１４０７３８号公報

【文献】特開２０１１－０７０６３２号公報

【文献】特開２０１４－２１９９９３号公報

【文献】特開２０１６－０１９１６６号公報

【文献】特開２０１６－１２５８４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、更に簡単かつ柔軟に撮影画像の分類を行うようにしたいとする要求がある。例えば、構造物の点検を行う場合を考える。構造物の点検は、定期的に繰り返し行われる場合が多い。また、点検対象物である構造物には、種々のものが存在する。例えば、ガントリークレーンやトランスファークレーンのように、移動可能であり同様の構造を有する複数のものが存在するもの（移動共通構造物）がある。また、送電線の鉄塔などといった固定位置にあるが、同様の構造を有する複数のものが存在するもの（固定共通構造物）がある。また、橋梁などの固定位置にあり、それ自体が固有のもの（固定固有構造物）がある。

【0007】

橋梁などの固定固有構造物の場合には、定められた点検部位を撮影する撮影位置（経度、緯度、高度（高さ））を定めて、当該撮影位置から点検部位を撮影し、撮影画像を撮影位置に基づいて分類することが考えられる。しかし、移動共通構造物の場合には、港湾エリアやコンテナヤードなどの限られたエリア内であっても移動するものであるので、撮影位置を一意に定めることができない。このため、移動共通構造物については、点検の都度、撮影位置を定める必要が生じる。

【0008】

また、移動共通構造物が複数存在する場合には、そのそれぞれの位置は異なるので、同様の構造を有し、点検部位も共通である共通構造物でありながら、移動共通構造物ごとに撮影位置を定めて点検を行わなければならず、手間がかかる。同様に、固定共通構造物の場合にも、設けられている場所が異なるために、同様の構造を有し、点検部位も共通である共通構造物でありながら、固定共通構造物ごとに撮影位置を定めて点検を行わなければならず、手間がかかる。

【0009】

以上のことに鑑み、この発明は、点検対象の構造物の設置位置に左右されることなく、また、どのような構造物であっても、点検のために撮影して得られる撮影画像を、人手を煩わせることなく適切に分類して管理できるようにすることを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決するため、請求項１に記載の発明の撮影画像分類装置は、
点検対象物の１以上の点検部位のそれぞれごとに、予め決められた基準点を原点とする相対座標空間における予定撮影位置と撮像手段の予定動き情報とを対応付けた点検部位別設定情報を記憶する設定情報記憶手段と、
前記基準点の経度、緯度、高度を記憶する基準点記憶手段と、
前記点検対象物の前記点検部位の撮影時において取得される情報である、前記撮像手段を通じて撮影することにより得られる画像データと、撮影位置を示す経度、緯度、高度と、前記撮像手段の撮影時動き情報とを対応付けた撮影データを記憶する撮影データ記憶手段と、
前記撮影データの前記経度、緯度、高度を、前記基準点記憶手段の前記経度、緯度、高度を用いて、前記相対座標空間における撮影位置に変換する正規化手段と、
前記撮影データの変換された前記撮影位置と、前記撮影データの前記撮影時動き情報とに基づいて、前記設定情報記憶手段の前記点検部位別設定情報を参照し、点検部位を特定して点検部位ごとに前記撮影データの前記画像データを記録媒体に記録する画像分類手段と
を備えることを特徴とする。

【発明の効果】

【0011】

この発明によれば、点検対象物が実際にある位置に左右されることなく、適切に点検のための撮影を行い、点検対象物の点検部位ごとに、撮影することにより得られる撮影画像（画像データ）を分類できる。

【図面の簡単な説明】

【0012】

【図1】実施の形態の撮影画像分類装置の利用環境について説明するための図である。

【図2】実施の形態のＵＡＶ（unmanned aerial vehicle）の構成例を説明するためのブロック図である。

【図3】実施の形態のＵＡＶの撮像データファイルの格納データの例を説明するための図である。

【図4】点検対象物の例であるガントリークレーンの点検部位と予定撮影位置、予定動き情報の設定について説明するための図である。

【図5】点検部位と予定撮影位置及びカメラの予定動き情報との対応付けについて説明するための図である。

【図6】実施の形態の撮影画像分類装置の構成例を説明するためのブロック図である。

【図7】実施の形態の撮影画像分類装置の正規化データファイルの格納データの例について説明するための図である。

【図8】実施の形態の撮影画像分類装置の点検部位別画像データフォルダの点検部位別画像データファイルの例について説明するための図である。

【図9】点検対象物を点検する場合の一連の処理について説明するためのフローチャートである。

【図10】実施の形態の撮影画像分類装置で実行される撮影画像の分類処理について説明するためのフローチャートである。

【発明を実施するための形態】

【0013】

以下、図を参照しながら、この発明による撮影画像分類装置、撮影画像分類方法の実施の形態について説明する。以下に説明する撮影画像分類装置、撮影画像分類方法は、大型の点検対象物の多数の点検部位のそれぞれを撮影することにより得た、数百枚、数千枚単位の大量の撮影画像（画像データ）を、簡単かつ適切に分類することができるものである。

【0014】

大型の点検対象物には、例えば、ガントリークレーン、橋梁、鉄塔、風力発電用の風車塔、観覧車といった種々のものがある。また、撮影に用いることができる撮影手段には、ドローンやＵＡＶなどと呼ばれる無人航空機に搭載されたカメラ、種々の移動式ロボットに搭載されたカメラ、あるいは、点検作業者が手に持ついわゆるジンバルに固定されたカメラなどがある。

【0015】

以下に説明する実施の形態においては、点検対象物は、港湾エリアにおいてコンテナの積み下ろしに使用されるガントリークレーンであり、撮像手段はＵＡＶに搭載されたデジタルカメラである場合を例にして説明する。ガントリークレーンは、港湾エリアで使用される全高、全長とも数十メートルに及ぶ大きな鋼構造物であり、発錆や経年劣化の状況等を適切に把握するため定期的な点検が重要なものある。また、ＵＡＶは、高所の点検に使用して好適なものである。

【0016】

［撮影画像分類装置の利用環境］
図１は、実施の形態の撮影画像分類装置１の利用環境について説明するための図である。ＵＡＶ２は、現在位置測位手段とカメラ部２１０を備える。ＵＡＶ２の現在位置測位手段は、詳しくは後述もするが、ＲＴＫ（Real Time Kinematic）方式を用いたもので、誤差が数センチメートル以内の高精度な現在位置の測位が可能なものである。カメラ部２１０は、図１において点線で囲って示したように、支柱２１０Ｐに固定され、矢印ａが示すチルト動作と、矢印ｂが示すロール動作とが可能なものである。

【0017】

チルト動作は、垂直（上下）方向にカメラ部２１０の向きを変える動作であり、この実施の形態のＵＡＶ２のカメラ部２１０は、例えば、０度の位置（基準位置）から上下に４５度ずつ（±４５度）のチルト動作が可能なものである。また、ロール動作は、カメラ部２１０の光軸を中心にしてカメラ部２１０を回転させる動作であり、この実施の形態のＵＡＶ２のカメラ部２１０は、０度の位置（基準値）から上下に４５度ずつ（±４５度）のロール動作が可能なものである。

【0018】

ＵＡＶ２は、点検対象物であるガントリークレーンの点検部位を撮影した場合には、撮影画像（画像データ）に対して、撮影位置（経度、緯度、高度）と、カメラ部２１０の撮影時動き情報とを取得して、これらを対応付けた撮影データを形成する。この実施の形態において、カメラ部２１０の撮影時動き情報は、撮影時チルト角度θ、撮影時ロール角度φである。この撮影データは、撮影画像分類装置１に提供されて、図１に示すように、撮影データファイル１０４に保持される。

【0019】

点検部位対応付け装置３は、例えば、ＣＡＤ（Computer Aided Design）装置などから構成される。点検部位対応付け装置３は、予め決められる基準点を原点とする相対座標空間において、点検対象のガントリークレーンの点検部位ごとに、予定撮影位置とカメラ部２１０の予定動き情報とを設定する。カメラ部２１０の予定動き情報は、予定チルト角度α予定ロール角度βである。点検部位対応付け装置３は、点検部位の識別情報と点検部位ごとに設定した予定撮影位置とカメラ部２１０の予定動き情報とをヘッダ情報とする点検部位別画像データファイルを形成して点検部位別画像データフォルダ１０６に登録する。

【0020】

なお、ＵＡＶ２を用いて点検部位の撮影を行う場合には、風の影響や遠隔操作されるものについては操作者の技量のばらつきに対して予め対応しておく必要がある。このため、点検部位別画像データフォルダ１０６に登録される各検部位別撮影データファイルの予定撮影位置とカメラ部２１０の予定動き情報は、幅を持たせて設定される。すなわち、予定撮影位置とカメラ部２１０の予定チルト角度α、予定ロール角度βは、範囲を持つように設定される。

【0021】

基準点測量装置４は、上述の予め決められる基準点の経度、緯度、高度を正確に測量し、これを撮影画像分類装置１に設定する。具体的に、基準点測量装置４は、現在位置測位手段や半導体レーザを備え、目的とする基準点にレーザビームを照射し、その反射光を受光して基準点までの距離を正確に求める。基準点測量装置４は、レーザ光の照射方向、自機の現在位置、測量した基準点までの距離に基づいて、基準点の経度、緯度、高度を正確に測量し、これを撮影画像分類装置１に設定する。なお、基準点測量装置４の現在位置測位手段は、ＵＡＶ２の現在位置測位手段と同様に、ＲＴＫ方式を採用するなど、高精度に現在位置を測位することができるものである。

【0022】

ＵＡＶ２は、点検部位対応付け装置３により設定された予定撮影位置から点検部位の撮影を行うようにする。この場合、予定撮影位置は、所定の基準点を原点とする相対座標空間における相対座標である。しかし、基準点測量装置４により基準点の経度、緯度、高度が正確に測量されて特定されている。このため、例えば、点検部位対応付け装置３に対して、基準点測量装置４で測量された基準点の経度、緯度、高度を設定することで、当該基準点の経度、緯度、高度に基づいて、予定撮影位置の経度、緯度、高度を特定できる。

【0023】

このため、ＵＡＶ２が、遠隔操作によって動作するものである場合には、操縦者は、遠隔操作装置を通じて、経度、緯度、高度で特定される予定撮影位置にＵＡＶ２を位置づける。更に、操縦者は、ＵＡＶ２のカメラ部２１０が、点検部位に方向を向くように遠隔操作して、点検部位の撮影を行い、上述したように、撮影データを形成して蓄積する。

【0024】

また、ＵＡＶ２が、自律飛行可能なものであったとする。この場合には、上述したように、点検部位対応付け装置３で特定された予定撮影位置の経度、緯度、高度をＵＡＶ２に設定する。更に、ＵＡＶ２に対して、カメラ部２１０の向き（ＵＡＶ２の正面が向く方位）や点検部位ごとの撮影枚数などの必要情報を設定する。これらの情報に従って、ＵＡＶ２は自律飛行し、設定された予定撮影位置から点検部位の撮影を行い、点検部位の撮影を行い、上述したように、撮影データを形成して蓄積する。従って、この場合、点検部位対応付け装置３は、ＵＡＶナビ装置としても機能するものとなる。

【0025】

撮影画像分類装置１の撮影データファイル１０４は、上述したように、ＵＡＶ２を通じて点検部位を撮影することにより得られた撮影データ（撮影画像、撮影位置、カメラ部２１０の撮影時動く情報）を記憶保持する。撮影画像分類装置１の撮影画像分類処理部１１０は、撮影データファイル１０４の各撮影データの撮影位置を示す経度、緯度、高度を、設定された基準点の経度、緯度、高度に基づいて、基準点を原点とする相対座標空間における位置（ｘ、ｙ、ｚ）に変換する。すなわち、撮影位置を示す経度、緯度、高度を、基準点を原点とする相対座標空間における相対座標に正規化する。

【0026】

次に、撮影画像分類処理部１１０は、撮影データの正規化した撮影位置とカメラ部２１０の撮影時動き情報とを用いて、点検部位別画像データフォルダ１０６を参照し、撮影した点検部位の点検部位別画像データファイルを特定する。すなわち、点検部位別画像データフォルダ１０６には、点検対象のガントリークレーンの点検部位ごとに点検部位別画像データファイルが登録されている。当該点検部位別画像データファイルは、上述もしたように、予め決められる基準点を原点とする相対座標空間における、範囲指定された予定撮影位置（範囲）とカメラ部２１０の範囲指定された予定動き情報とをヘッダ情報として備えるものである。

【0027】

このため、撮影画像分類処理部１１０は、正規化した撮影位置とカメラ部２１０の撮影時動き情報が属する範囲指定された予定撮影位置（予定撮影エリア）とカメラ部２１０の範囲指定された予定動き情報とを有する点検部位別画像データファイルを特定する。これにより、撮影位置と撮影時動き情報とが対応付けられている撮影画像(画像データ)が、どの点検部位のものであるのかが特定できることになる。撮影画像分類処理部１１０は、特定した点検部位の点検部位別画像データファイルに、分類対象の撮影データの撮影画像（画像データ）を格納する。これにより、撮影データの撮影画像を点検部位別に分類して、管理できる。

【0028】

このように、この実施の形態では、（１）ガントリークレーンの点検部位に対応付けて、所定の基準点を原点とする相対座標空間において、予定撮影位置とカメラ部２１０の予定動き情報（チルト角度α、ロール角度β）とを撮影画像分類装置１に設定する。（２）所定の基準点の経度、緯度、高度を測量して、撮影画像分類装置１に設定する。

【0029】

（３）ＵＡＶ２を用いて、各点検部位を撮影し、撮影画像、撮影位置、カメラ部２１０の撮影時動き情報（撮影時チルト角度θ、撮影時ロール角度φ）からなる撮影データを形成する。この場合、相対座標空間における予定撮影位置に応じて絶対座標空間における予定撮影位置（経度、緯度、高度）を特定し、当該予定撮影位置から点検部位の撮影を行う
（４）ＵＡＶ２を通じて撮影されることにより形成された各点検部位の撮影データの撮影位置の経度、緯度、高度を、基準点を原点とする相対座標空間における位置（ｘ、ｙ、ｚ）に変換する。（５）変換された撮影位置とカメラ部２１０の撮影時動き情報に基づいて、点検部位別画像データフォルダ１０６の各ファイルを参照する。すなわち、撮影データの撮影位置と撮影時動き情報とが属する予定撮影位置と予定動き情報とを有する点検部位別画像データファイルを特定して、これに撮影データの撮影画像（画像データ）を格納する。これにより、撮影の点検部位別の分類が完了し、点検部位別に撮影画像の管理が可能になる。

【0030】

図１を用いて説明した利用環境において使用される撮影画像分類装置１についての説明を容易にするため、以下においては、まず、ＵＡＶ２の構成例と、相対座標空間における予定撮影位置（予定撮影空域）の設定について説明する。この後、この発明による撮影画像分類装置１の構成例について具体的に説明する。

【0031】

［ＵＡＶ２の構成例］
図２は、ＵＡＶ２の構成例を説明するためのブロック図である。ＵＡＶには、種々の種類のものが存在し大きく分けると、一般的な飛行機のように、羽が固定されている固定翼型、回転翼が１枚のヘリコプター型、回転翼が３枚以上のマルチコプター型がある。ヘリコプター型やマルチコプター型のＵＡＶの場合には、空中において一定の位置に留まるように飛行するホバリングが可能であるため、高所の点検作業に適している。この実施の形態のＵＡＶ２は、図１にも示したように、回転翼が４枚のクアッドコプター型のものである。

【0032】

ＵＡＶ２は、図２に示すように、回転翼及びその駆動装置部からなる飛行機構部２１と、駆動制御ユニット２２とからなる。ＵＡＶ２は、遠隔操作による飛行と設定された飛行指示データに応じた自律飛行との両方が可能なものである。図２において、送受信アンテナ２０１Ａ及び無線通信部２０１は、主には、遠隔操作装置と通信を行うものである。また、自律飛行時において、例えば、ＵＡＶナビ装置などから提供される飛行指示データの送受を行う場合にも、送受信アンテナ２０１Ａ及び無線通信部２０１が使用される。

【0033】

制御部２０２は、図示しないが、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリなどがバスを通じて接続されて構成されたマイクロプロセッサであり、ＵＡＶ２の各部を制御する。記憶装置２０３は記憶媒体とそのドライバとからなり、種々のプログラムや処理に必要になる種々のデータを記憶すると共に、各種の処理の途中結果を一時記憶する作業領域としても用いられる。また、記憶装置２０３は、上述したように、ＵＡＶナビ装置として機能する点検部位対応付け装置３などから提供される飛行指示データなども記憶することができるものである。

【0034】

撮影データファイル２０４は、所定の記憶装置の記憶媒体に作成され、後述するカメラ部２１０を通じて撮影することにより得た撮影画像（画像データ）を含む撮影データを記憶保持する。図３は、ＵＡＶ２の撮影データファイルの格納データの例を説明するための図である。図３に示すように、撮影データファイルには、画像データ、撮影位置として経度、緯度、高度、撮影時動き情報として、カメラ部２１０の撮影時の向き、撮影時チルト角度θ、撮影時チルトピッチ角度、撮影時ロール角度φ、撮影時ロールピッチ角度を備える。

【0035】

画像データは、ＵＡＶ２のカメラ部２１０を通じて撮影することにより得た点検部位の撮影画像である。撮影位置は、後述する現在位置測位手段を通じて高精度に測位した撮影時のＵＡＶ２の現在位置を示す経度、緯度、高度である。ＵＡＶ２の現在位置は、カメラ部２１０の現在位置とみなせる。カメラ部２１０の撮影時動き情報である撮影時チルト角度θは垂直（上下）方向にカメラ部２１０の向きを変えた場合の角度である。また、カメラ部２１０の撮影時動き情報である撮影時ロール角度φはカメラ部２１０の光軸を中心にしてカメラ部２１０を回転させた場合の角度である。これらの撮影時動き情報は、カメラ部２１０から取得可能である。

【0036】

さらに、カメラ部２１０の向きは、ＵＡＶ２が自律飛行する場合に使用される情報で、チルト角度θとロール角度φが共に０°である場合のカメラ部２１０が向いている方向、換言すれば、ＵＡＮ２の正面が向いている方向を示すものである。チルトピッチ角度は、ＵＡＶ２の前後の傾き（ピッチ方向の傾き）であり、ロールピッチ角度は、ＵＡＶ２の左右の傾き（ロール方向の傾き）である。カメラ部２１０の向き、チルトピッチ角度、ロールピッチ角度は、ＵＡＶ２に搭載されたセンサを通じて取得可能である。なお、チルトピッチ角度、ロールピッチ角度のそれぞれは、ＵＡＶ２自体の傾きを考慮して、撮影時チルト角度θ、撮影時ロール角度φを補正する場合に用いることができる。

【0037】

電源供給部２０５は、バッテリを備え、ＵＡＶ２の各部に必要となる電力を供給する。センサ部２０６は、例えば、ジャイロセンサ、気圧センサ、加速度センサ、超音波センサ、地磁気センサなどといった種々のセンサを備える。ジャイロセンサは姿勢制御に用いられ、気圧センサは高度検出に用いられる。加速度センサは速度検出に用いられ、超音波センサは対物との距離検出に用いられる。また、地磁気センサは方位検出に用いられる。なお、ジャイロセンサと加速度センサとで、前後、左右、上下の６軸センサを構成し、ＵＡＶ２の姿勢制御を細かく適切に行うことができるようにしている。

【0038】

自律姿勢制御部２０７は、センサ部２０６に搭載された各種のセンサからの検出出力とカメラ部２１０からの撮影映像を利用して、ＵＡＶ２が、適切な姿勢で安定して飛行するように、飛行駆動部２０９を制御する。なお、超音波センサを用いるため、カメラ部２１０からの画像情報を用いる必要は必ずしもないが、障害物の確認のためにカメラ部２１０からの画像情報も利用できるようにしている。特に、離着陸時には重要な情報となる。

【0039】

ＧＮＳＳ（Global Navigation Satellite System）部２０８及びＧＮＳＳアンテナ２０８Ａは、複数の人工衛星からの送信信号（測位情報）を受信して解析することにより、自機の現在位置を正確に検出（測位）する機能を実現する部分である。なお、ＧＮＳＳは、全球測位衛星システムを意味し、ＧＰＳ（Global Positioning System）、ＧＬＯＮＡＳＳ（Global Navigation Satellite System）、Ｇａｌｉｌｅｏ、準天頂衛星（ＱＺＳＳ）等の衛星測位システムの総称である。ＧＮＳＳ部２０８は、経度、緯度、高度の検出が可能である。飛行駆動部２０９は、自律姿勢制御部２０７の制御に従って、飛行機構部２１の４つのプロペラ機構の４つのエンジン部のそれぞれに、駆動制御信号を供給する。これにより、ＵＡＶ２について、各種移動動作、姿勢制御、ホバリングの位置制御ができる。

【0040】

カメラ部２１０は、上述もしたように、一の方向（前方）を向くように支柱２１０Ｐに取り付けられ、チルト動作とロール動作とか可能なものである。なお、パン動作（水平方向（左右方向）に向きを変える動作）は、この実施の形態のＵＡＶ２の場合には、カメラ部２１０の機能ではなく、ＵＡＶ２自体が向きを変えることにより実現される。カメラ部２１０は、制御部２０２の制御により、チルト角度やロール角度を変更したり、撮影を行ったりすることができる。

【0041】

飛行制御部２１１は、自律姿勢制御部２０７と協働し、ＵＡＶ２が自律飛行を行う場合に、例えば、ＵＡＶナビ装置などから供給を受けて、記憶装置２０３に記憶保持されている飛行指示データに応じた飛行ルートを飛行するように、飛行駆動部２０９を制御する。自律姿勢制御部２０７がＵＡＶ２の主に姿勢制御を行うに対して、飛行制御部２１１は、飛行指示データにより指示された緯度、経度、高度を含む座標点列を辿る飛行を行うように、飛行駆動部２０９を制御する。

【0042】

現在位置補正部２１２は、ＲＴＫ方式による現在位置の測位を実現する。現在位置補正部２１２は、ＧＮＳＳ部２０８を通じて測位した自機の現在位置を、図示しないネットワーク通信部を通じて所定の補正局に送信し、当該補正局から補正情報を得て、自機の現在位置を補正することにより、より正確な自機の現在位置を特定する。なお、補正局は、他の固定局で測位された当該固定局の現在位置等の提供を受けており、移動局からの当該移動局で測位された現在位置等の情報の提供を受けて、現在位置に含まれる誤差分を補正する補正情報を形成して提供できるものである。また、図示しないネットワーク通知部は、主にインターネットからなる広域ネットワークを通じて通信を行うためのものである。

【0043】

また、ここでは、広域ネットワーク上の所定の補正局を利用する場合を説明したが、これに限るものではない。ＵＡＶ２の近隣に固定局を配置し、当該固定局でも自機の現在位置を測位し、ＵＡＶ２と固定局との間で無線通信により情報をやり取りして、測位された現在位置に含まれる誤差分を補正して、より正確な現在位置を取得する方式を用いることもできる。

【0044】

撮影ログ形成部２１３は、カメラ部２１０を通じて撮影が行われた場合に、制御部２０２の制御により、撮影位置（撮影時の現在位置）、カメラ部２１０の動き情報からなるログデータを形成する。撮影位置は、撮影時において現在位置補正部２１２で取得した正確な自機の現在位置（経度、緯度、高度）である。カメラ部２１０の動き情報は、カメラ部２１０から取得する撮影時チルト角度θ、撮影時ロール角度φと、センサ部２０６から取得するカメラ部２１０の撮影時の向き（ＵＡＶ２の向き）、チルトピッチ角度、ロールピッチ角度からなる情報である。これにより、制御部２０２は、カメラ部２１０を通じて撮影した撮影画像（画像データ）に対して、撮影ログを付加した撮影データを形成し、図３を用いて説明した態様で、撮影データファイル２０４に記録することができる。

【0045】

このような構成を有するＵＡＶ２が、点検対象物であるガントリークレーンの周囲を飛行し、点検部位を撮影して、撮影画像を取得して、撮影データファイル２０４に記録できる。当該撮影データファイル２０４に記録された撮影データの画像データ（撮影画像）が、分類して管理する対象となる。

【0046】

［相対画像空間における予定撮影位置（予定撮影空域）の設定］
図４は、点検対象物の例であるガントリークレーンの点検部位と予定撮影位置、カメラ（撮像手段）の予定動き情報の設定について説明するための図である。なお、図４においては、ガントリークレーンが備えるオペレータ室や機械室等の設備についての記載は省略している。また、図５は、点検部位と予定撮影位置及びカメラの予定動き情報との対応付けについて説明するための図である。ガントリークレーンは、コンテナ船に対してコンテナの積み下ろしを行うものであり、コンテナ船の横幅方向に積載可能なコンテナの数を基準にして、１７列型、２２列型などのものがある。２２列型のガントリークレーンだと、全高約８０ｍ、全長約１４８ｍ、海側に張り出したアウトリーチ部分の長さ約６３ｍと、大型の鋼構造物である。

【0047】

ガントリークレーンの点検箇所は、多数の箇所に及ぶが、ここでは図４に示すように、矢印ｆが示す海側から見た場合の右側高所の点検部位ａ１、ａ２と、左側高所の点検部位ｂ１、ｂ２を点検する場合について考える。なお、図１を用いて説明したように、予定撮影位置、予定動き情報の設定は、ＣＡＤ装置等で実現される点検部位対応付け装置３を通じて行うことができる。使用者は、点検部位対応付け装置３のディスプレイに表示されるガントリークレーンの立体図面を見ながら、マウス等のポインティングディバイスやキーボードを操作して、予定撮影位置、予定動き角情報の設定ができる。

【0048】

予定撮影位置、予定動き情報を設定する場合、まず、点検対象のガントリークレーンについての基準点Ｐを定める。この実施の形態では、図４に示すように、ガントリークレーンの右前脚部の最下端部分に基準点Ｐを設定する。この基準点Ｐを原点（０、０、０）とする相対座標空間において、予定撮影位置、カメラ部２１０の予定動き情報を設定する。

【0049】

具体的に使用者は、図４に示すように、ガントリークレーンの右側高所の点検部位ａ１、ａ２に対する予定撮影位置ＰＲを指示する。点検部位対応付け装置３は、指示された予定撮影位置ＰＲの相対座標空間における座標を特定する。この例の場合、予定撮影位置ＰＲは、基準点Ｐより左側（－側）で、基準点Ｐより手前（－側）で、基準点Ｐより上側（＋側）である。このため、予定撮影位置ＰＲは、当該相対座標空間における相対座標位置（ｘ、ｙ、ｚ）が、例えば、（－２５ｍ、－１５ｍ、＋７５ｍ）のように特定される。

【0050】

但し、ＵＡＶ２によって点検部位を撮影するため、風の影響を受けたり、ＵＡＶ２が遠隔操作されるものである場合には、正確に点検予定位置に位置させることが難しかったりするため、予定撮影位置は、幅を持たせて設定する。この実施の形態では、選択した予定撮影位置の左右（ｘ軸方向）、前後（ｙ軸方向）、上下（ｚ軸方向）に、５ｍの幅を持たせる。このため、点検部位ａ１、ａ２に対する予定撮影位置は、図４の予定撮影エリアＡｒＲが示すように、横幅、奥行き、高さを有するエリアとして特定される。

【0051】

さらに、当該予定撮影エリアＡｒＲから点検部位ａ１、ａ２を、ＵＡＶ２に搭載されたカメラ部２１０を通じて、予定撮影エリアＡｒＲから撮影する場合のカメラ部２１０の予定動き情報（予定チルト角度α、予定ロール角度β）を設定する。これらの予定動き情報についても、予定撮影位置と同様に、範囲を持たせて設定する。

【0052】

同様に、使用者は、図４に示したガントリークレーンの左側高所の点検部位ｂ１、ｂ２に対する予定撮影位置ＰＬを指示する。点検部位対応付け装置３は、指示された予定撮影位置ＰＬの相対座標空間における座標を特定する。この例の場合、予定撮影位置ＰＬは、基準点Ｐより左側（－側）で、基準点Ｐより奥側（＋側）で、基準点Ｐより上側（＋側）である。このため、予定撮影位置ＰＬは、当該相対座標空間における相対座標位置（ｘ、ｙ、ｚ）が、例えば、（－２５ｍ、＋３５ｍ、＋７５ｍ）のように特定される。

【0053】

また、上述したように、この実施の形態において、予定撮影位置は、左右（ｘ軸方向）、前後（ｙ軸方向）、上下（ｚ軸方向）に、５ｍの幅を持たせて設定する。このため、点検部位ｂ１、ｂ２に対する予定撮影位置は、図４の予定撮影エリアＡｒＬが示すように、横幅、奥行き、高さを有するエリアとして特定される。さらに、当該予定撮影エリアＡｒＬから点検部位ｂ１、ｂ２を、ＵＡＶ２に搭載されたカメラ部２１０を通じて、予定撮影エリアＡｒＬから撮影する場合のカメラ部２１０の予定動き情報（予定チルト角度α、予定ロール角度β）を設定する。これらの予定動き情報についても、予定撮影位置と同様に、範囲を持たせて設定する。

【0054】

これにより、図５に示すように、点検部位ａ１、ａ２の予定撮影位置ＰＲを含む予定撮影エリアＡｒＲは、ｘ座標が－２０ｍ～－３０ｍの範囲、ｙ座標が－１０ｍ～－２０ｍの範囲、ｚ座標が７０ｍ～８０ｍの範囲となるエリアであることが特定できる。また、予定撮影エリアＡｒＲから点検部位ａ１を撮影する場合の予定動き情報は、予定チルト角度αが０°～＋３５°の範囲、予定ロール角度βが－４５°～＋４５°の範囲であることが設定される。同様に、予定撮影エリアＡｒＲから点検部位ａ２を撮影する場合の予定動き情報は、予定チルト角度αが－３５°～＋０°の範囲、予定ロール角度βが－４５°～＋４５°の範囲であることが設定される。

【0055】

また、図５に示すように、点検部位ｂ１、ｂ２の予定撮影位置ＰＬを含む予定撮影エリアＡｒＬは、ｘ座標が－２０ｍ～－３０ｍの範囲、ｙ座標が＋３０ｍ～＋４０ｍの範囲、ｚ座標が７０ｍ～８０ｍの範囲となるエリアであることが特定できる。また、予定撮影エリアＡｒＬから点検部位ｂ１を撮影する場合の予定動き情報は、予定チルト角度αが０°～＋３５°の範囲、予定ロール角度βが－４５°～＋４５°の範囲であることが設定される。同様に、予定撮影エリアＡｒＬから点検部位ａ２を撮影する場合の予定動き情報は、予定チルト角度αが－３５°～＋０°の範囲、予定ロール角度βが－４５°～＋４５°の範囲であることが設定される。

【0056】

また、図４に示したように、ガントリークレーンの海側の先端部の点検部位を撮影するためには、予定撮影エリアＡｒＦが特定され、カメラ部２１０の予定動き情報が特定される。このように、ガントリークレーの各点検部位について、予定撮影位置（予定撮影エリア）と予定動き情報（予定チルト角度α、予定ロール角度β）を特定し、これらを点検部位別に撮影画像分類装置１に対して設定しておくことになる。このように設定される情報に基づいて、ＵＡＶ２のカメラ部２１０を通じて撮影された撮影画像（画像データ）が、点検部位別に自動的に分類され、分析されて発錆の状況や劣化の状況が適切に把握される。

【0057】

［撮影画像分類装置の構成例］
図６は、撮影画像分類装置１の構成例を説明するためのブロック図である。制御部１０１は、図示しないが、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリが、バスを通じて接続されて構成されたマイクロプロセッサであり、撮影画像分類装置１の各部を制御する。記憶装置１０２は、例えば、ＳＳＤ（Solid State Drive）などの記録媒体とそのドライバとからなる装置部であり、種々のデータの記録、変更、削除、読み出しなどを行う。記憶装置１０２は、必要となるデータやプログラムを記憶保持する他、種々の処理において形成される中間データを一時記憶する作業領域としても用いられる。

【0058】

基準点データファイル１０３は、所定の記憶装置の記憶媒体に作成され、図１を用いて説明したように、基準点測量装置４で測位された基準点の経度、緯度、高度を示す情報を記憶保持する。撮影データファイル１０４は、所定の記憶装置の記憶媒体に作成され、ＵＡＶ２からの図３を用いて説明した撮影データファイル２０４に蓄積された撮影データを記憶保持する。正規化データファイル１０５もまた、所定の記憶装置の記憶媒体に作成される。正規化データファイル１０５は、撮影データファイル１０４に蓄積されている撮影データの撮影位置を示す経度、緯度、高度を、基準点Ｐを原点とする相対座標空間における座標位置（ｘ、ｙ、ｚ）に変換したデータ（正規化データ）を記憶保持する。

【0059】

図７は、撮影画像分類装置１の正規化データファイルの格納データの例について説明するための図である。図７に示すように、正規化データファイル１０５の格納データは、画像データ（撮影画像）と、撮影時の撮影位置である経度、緯度、高度を、基準点Ｐを原点とする相対座標空間における座標位置（ｘ、ｙ、ｚ）に変換したデータとを備える。更に、正規化データは、対応する画像データの撮影時における、カメラ部２１０の撮影時の向き、撮影時チルト角度θ、撮影時ロール角度φなどの情報を備える。カメラ部２１０の撮影時の向き、撮影時チルト角度θ、撮影時ロール角度φなどの撮影時動き情報については、変換の必要はなく、ＵＡＶ２からの情報をそのまま用いることができる。また、必要に応じて、撮影時チルトピッチ角度や撮影時ロールピッチ角度を示す情報を保持することもできる。

【0060】

点検部位別画像データフォルダ１０６は、所定の記憶装置の記憶媒体に作成され、複数の点検部位別画像データファイルを記憶保持する。点検部位別画像データフォルダ１０６に形成される各点検部位別画像データファイルは、正規化データファイル１０５に蓄積された撮影データに含まれる画像データ（撮影画像）を、点検部位別に記憶保持するものである。図８は、撮影画像分類装置１の点検部位別画像データフォルダ１０６に形成される点検部位別画像データファイルの例について説明するための図である。この実施の形態の点検部位別画像データファイルは、図８に示すように、ヘッダ情報として、点検部位の識別情報と点検部位の名称を有する。これら点検部位の識別情報と点検部位の名称とにより、どの点検部位についての情報なのかを認識できる。

【0061】

また、図８に示すように、点検部位別画像データファイルは、ヘッダ情報として、図４、図５を用いて説明したように点検部位別に特定される、予定撮影位置（予定撮影エリア）を示す情報と予定動き情報（予定動き情報の範囲）を示す情報とを有する。これらの情報は、上述した点検部位対応付け装置３を通じて特定された情報が、点検部位ごとに提供され、これに応じて点検部位別画像データファイルが形成されて、点検部位別画像データフォルダ１０６に記録される。点検部位別画像データファイルは、点検部位ごとに複数の画像データ（撮影画像）を記憶保持することができる。図８において、「０００１．ｊｐｇ」、「０００２．ｊｐｇ」との記載が、ＪＰＥＧ（Joint Photographic Experts Group）方式でデータ圧縮された撮影画像（静止画像データ）を示している。

【0062】

従って、正規化データファイル１０５の正規化後の撮影位置（ｘ、ｙ、ｚ）及び撮影時動き情報（撮影時チルト角度θ、撮影時ロール角度φ）に基づき、点検部位別画像データフォルダ１０６に形成されている各点検部位別画像データファイルのヘッダ部を参照する。この場合に、正規化後の撮影位置（ｘ、ｙ、ｚ）及び撮影時動き情報（撮影時チルト角度θ、撮影時ロール角度φ）が属する予定撮影エリアと予定動き情報範囲（予定チルト角度αの範囲、予定ロール角度βの範囲）が存在したとする。この場合、処理対象の正規化データに含まれる画像データ（撮影画像）に対応する点検部位別画像データファイルであると特定でき、当該撮影画像を当該点検部位別画像データファイルに格納する。このような撮影画像の分類処理を後述する点検部位別画像分類処理部１１２が行う。

【0063】

なお、基準点データファイル１０３、撮影データファイル１０４、正規化データファイル１０５、点検部位別画像データフォルダ１０６のそれぞれは、例えばＳＳＤなどの記録媒体とそのドライバとからなる所定の記憶装置の記録媒体にエリアを変えて形成できる。また、それぞれのファイルやフォルダを異なる記録媒体に作成することもできるし、いくつかの記録媒体にファイルやフォルダを分散して形成することもできる。また、撮影画像分類装置１が備える半導体メモリにファイルやフォルダを形成することももちろん可能である。また、ＵＡＶ２に搭載され、撮影データファイル２０４が形成されている半導体メモリを取り外して、撮影画像分類装置１に接続することにより、これを撮影データファイル１０４として利用することも可能である。

【0064】

接続端子１０７Ｔ及び外部Ｉ／Ｆ（Inter Face）１０７は、例えば、点検部位対応付け装置３や基準点測量装置４などの外部装置との接続端部を構成する。これにより、接続端子１０７Ｔ及び外部Ｉ／Ｆ１０７を通じて、点検部位対応付け装置３から点検部位別に予定撮影エリアや予定動き情報の提供を受けて、点検部位別画像データファイルを形成して点検部位別画像データフォルダ１０６に記録（登録）できる。同様に、接続端子１０７Ｔ及び外部Ｉ／Ｆ１０７を通じて、基準点測量装置４からの測量値の提供を受けて、基準点データファイル１０３に記録できる。また、接続端子１０７Ｔ及び外部Ｉ／Ｆ１０７を通じて、ＵＡＶ２から撮影データの提供を受けて、撮影データファイル１０４に記録できる。

【0065】

さらに、撮影画像分類装置１は、正規化処理部１１１と、点検部位別画像分類処理部１１２とからなる撮影画像分類処理部１１０を備える。正規化処理部１１１は、撮影データファイル１０４の撮影データ（図３）の撮影位置を示す経度、緯度、高度を、基準点データファイル１０３の基準点データを用いて、基準点Ｐを原点とする相対座標空間における相対座標（ｘ、ｙ、ｚ）に変換する。正規化処理部１１１は、撮影画像（画像データ）と、変換した相対座標（ｘ、ｙ、ｚ）と、撮影データのカメラ部２１０の向き、撮影時チルト角度θ、撮影時ロール角度φとからなる正規化データ（図７）を形成して、これを正規化データファイル１０５に記録する。

【0066】

点検部位別画像分類処理部１１２は、正規化データファイル１０５の正規化データの正規化された撮影位置及び撮影時チルト角度θ、撮影時ロール角度φに基づいて、点検部位別画像データフォルダ１０６の各点検部位別画像データファイルのヘッダ部を参照する。点検部位別画像データファイルには、図８を用いて説明したように、ヘッダ情報として範囲指定されたｘ座標、ｙ座標、ｚ座標からなる予定撮影エリアを示す情報と、範囲指定された予定チルト角度α、予定ロール角度βが記録されている。

【0067】

このため、正規化された撮影位置及び撮影時チルト角度θ、撮影時ロール角度φが属する予定撮影エリア、予定チルト角度αの範囲、予定ロール角度βの範囲が存在したとする。この場合に、その点検部位別画像データファイルを、対応する点検部位の点検部位別画像データファイルであると特定して、その特定した点検部位別画像データファイルに、処理対象の正規化データの画像データ（撮影画像）を記録する。これにより、撮影位置及びカメラ部２１０の撮影時の動き情報に基づいて、撮影部位を特定し、撮影部位ごとに撮影画像を分類できる。

【0068】

［撮影画像分類装置１の処理のまとめ］
次に、撮影画像分類装置１への情報の設定やＵＡＶ２による点検部位の撮影といった前処理も含め、撮影画像分類装置１で行われる撮影画像の分類処理についてまとめる。図９は、点検対象物（ガントリークレーン）の点検部位を点検する場合の一連の処理について説明するためのフローチャートである。

【0069】

まず、点検対象物であるガントリークレーについて、予定撮影位置及び予定動き情報と、点検部位との対応付けを行う（ステップＳ１０１）。ステップＳ１０１では、図１、図４、図５を用いて説明したように、点検部位対応付け装置３を通じて基準点Ｐを定め、定めた基準点Ｐを原点とする相対座標空間において、ガントリークレーンの点検部位ごとに、予定撮影位置とカメラの予定動き情報とを特定する。上述もしたように、予定撮影位置は、当該予定撮影位置を含む予定撮影エリアとして特定され、カメラの予定動き情報は、カメラ部２１０の予定チルト角度αの範囲と予定ロール角度βの範囲として特定される。

【0070】

次に、点検部位対応付け装置３は、点検部位ごとに特定した予定撮影位置を含む予定撮影エリアと、カメラ部２１０の予定チルト角度αの範囲と予定ロール角度βの範囲とを、撮影画像分類装置１に提供する。撮影画像分類装置１は、制御部１０１が機能し、点検部位別画像分類ファイル（図８）を形成して、点検部位別画像データフォルダ１０６に登録する処理を行う（ステップＳ１０２）。

【0071】

次に、基準点測量装置４を用いて、定められた基準点Ｐの経度、緯度、高度を測量して（ステップＳ１０３）、測量して得た基準点Ｐの経度、緯度、高度を、撮影画像分類装置１の基準点データファイル１０３に設定（登録）する（ステップＳ１０４）。なお、ステップＳ１０３の測量処理は、基準点Ｐが定まれば、ステップＳ１０１～ステップＳ１０２の処理と並行して行うことができる。このステップＳ１０１～ステップＳ１０４の処理により、点検対象物であるガントリークレーンの点検部位の撮影及び撮影画像の分類処理の前準備が完了する。

【0072】

次に、ＵＡＶ２を用いて、点検部位の空撮を行って撮影画像（画像データ）及びログ情報を出力する（ステップＳ１０５）。ＵＡＶ２は、制御部２０２が機能し、カメラ部２１０を通じて撮影した撮影画像（画像データ）と、撮影時の撮影位置（経度、緯度、高度）と撮影時のカメラ部２１０の動き情報（撮影時チルト角度θ、撮影時ロール角度φ）とを取得する。制御部２０２は、これらの情報を有する撮影データ（図３）を形成し、撮影データファイル２０４に記録する。これにより、種々の点検部位の撮影データが、撮影データファイル２０４に蓄積される。

【0073】

この後、ＵＡＶ２による点検部位の撮影が終了すると、ＵＡＶ２の撮影データファイル２０４に蓄積された撮影データが、撮影画像分類装置１の撮影データファイル１０４に入力される（ステップＳ１０６）。これにより、撮影画像分類装置１により撮影画像の分類処理の準備が整えられる。この後、撮影画像分類装置１における撮影画像分類処理が実行され（ステップＳ１０７）、撮影データの撮影画像（画像データ）が、撮影部位ごとに分類され、図９に示したフローチャートの一連の処理が終了する。

【0074】

［撮影画像分類装置１における撮影画像の分類処理］
図１０は、図９に示した処理のステップＳ１０７において撮影画像分類装置１で実行される撮影画像の分類処理について説明するためのフローチャートである。図１０に示すフローチャートの処理は、撮影画像分類装置１の制御部１０１において実行される処理である。まず、制御部１０１は、正規化処理部１１１を制御して、ステップＳ２０１～ステップＳ２０３の正規化処理を実行する。

【0075】

すなわち、撮影画像分類装置１の正規化処理部１１１は、制御部１０１の制御の下、撮影データファイル１０４より撮影データを読み出すようにし（ステップＳ２０１）、全ての撮影データを読み出して処理し終えたか否かを判別する（ステップＳ２０２）。ステップＳ２０２の判別処理において、全ての撮影データについて読み出していない（未処理の撮影データが存在する）と判別したときには、正規化処理を実行する（ステップＳ２０３）。

【0076】

ステップＳ２０３の正規化処理では、読み出した撮影データの撮影位置（経度、緯度、高度）を、基準点Ｐを原点とする相対座標空間における相対座標（ｘ、ｙ、ｚ）に変換し、正規化データ（図７）を形成して、正規化データファイル１０５に記録する。ステップＳ２０３の後においては、ステップＳ２０１からの処理を繰り返す。ステップＳ２０２の判別処理において、全ての撮影データについて読み出して処理をし終えたと判別したとする。この場合、制御部１０１は、点検部位別画像分類処理部１１２を制御し、ステップＳ２０４～ステップＳ２０９の撮影画像の分類処理を行う。

【0077】

点検部位別画像分類処理部１１２は、制御部１０１の制御の下、正規化データファイル１０５より正規化データを読み出し（ステップＳ２０４）、全ての正規化データを読み出して処理し終えたか否かを判別する（ステップＳ２０５）。ステップＳ２０５の判別処理において、全ての正規化データについて読み出していない（未処理の正規化データが存在する）と判別したときには、撮影画像の分類処理を実行する（ステップＳ２０６）。

【0078】

ステップＳ２０６では、読み出した正規化データの正規化された撮影位置（ｘ、ｙ、ｘ）とカメラ部２１０の動き情報（撮影時チルト角度θ、撮影時ロール角度φ）に基づいて、点検部位別画像データフォルダ１０６の点検部位別画像データファイルを参照する。点検部位別画像分類処理部１１２は、撮影位置及び撮影時動き情報を含む予定撮影エリア及び予定動き情報の範囲が設定された点検部位別画像データファイルが存在するか否かを判別する（ステップＳ２０７）。

【0079】

ステップＳ２０７の判別処理において、対応する点検部位別画像データファイルが存在すると判別したとする。この場合、点検部位別画像分類処理部１１２は、当該点検部位別画像データファイルに、処理対象の正規化データの撮影画像（画像データ）を追加する（ステップＳ２０８）。また、ステップＳ２０７の判別処理において、対応する点検部位別画像データファイルが存在しないと判別したとする。この場合、点検部位別画像分類処理部１１２は、対象外の撮影画像を集約する対象外の点検部位別画像データファイルに、処理対象の正規化データの撮影画像（画像データ）を追加する（ステップＳ２０９）。

【0080】

ステップＳ２０８とステップＳ２０９の処理の後においては、ステップＳ２０４からの処理を繰り返す。ステップＳ２０５の判別処理において、全ての正規化データについて処理を終えたと判別したときには、この図１０に示すフローチャートの処理を終了する。これにより、ＵＡＶ２により撮影された撮影画像を、作業者が目で見て分類するといった手間をかけることなく、点検部位別に自動的に分類できる。

【0081】

このように、事前準備として、（１）ガントリークレーンの点検部位に対応付けて、所定の基準点を原点とする相対座標空間において、予定撮影位置とカメラ部２１０の予定動き情報を特定し、撮影画像分類装置１に設定する。上述もしたように、予定撮影位置は予定撮影エリアとして範囲を持たせて設定され、予定動き情報としての予定チルト角度α、予定ロール角度βもまた範囲を持たせて設定される。これら設定された予定撮影エリアと予定動き情報の範囲とからなる情報が、点検部位別設定情報として機能する。（２）所定の基準点の経度、緯度、高度を正確に測量して、撮影画像分類装置１に設定する。

【0082】

撮影処理は、（３）相対座標空間における予定撮影位置に応じて撮影位置（経度、緯度、高度）を特定し、当該撮影位置にＵＡＶ２を位置づけて、点検部位の撮影を行う。この場合、形成される撮影データには、撮影画像（画像データ）に対して、撮影位置を示す経度、緯度、高度、カメラ部２１０の撮影時動き情報として撮影時チルト角度θ、撮影時ロール角度φが対応付けられている。

【0083】

撮影画像の分類処理は、（４）撮影画像分類装置１において、ＵＡＶ２を通じて撮影されることにより形成された各点検部位の撮影データの撮影位置の経度、緯度、高度を、基準点Ｐを原点とする相対座標空間における相対座標（ｘ、ｙ、ｚ）に変換する。（５）相対座標に変換された撮影位置とカメラ部２１０の撮影時動き情報に基づいて、点検部位別画像データフォルダ１０６の各点検部位別画像データファイルを参照し、対応する点検部位別画像データファイルを特定して、撮影画像（画像データ）を格納する。

【0084】

この場合、撮影位置と撮影時チルト角度θ及び撮影時ロール角度φが属する予定撮影位置（予定撮影エリア）と予定チルト角度αの範囲及び予定ロール角度βの範囲を有する点検部位別画像データファイルが特定すべきファイルとなる。このようにして、点検部位別に撮影画像を適切に分類することができる。なお、分類後の撮影画像については、人工知能を用いた画像分析処理を行うことにより、発錆の状況や経年変化の状況等を分析し、早急に補修すべき部位を特定し、迅速かつ的確な対応を取ることが可能になる。

【0085】

［実施の形態の効果］
上述した実施の形態の撮影画像分類装置１の場合には、点検対象物を予め決められる基準点を原点とする相対座標空間にあるものとして、点検部位の撮影を行い、撮影画像を含む撮影データを形成する。このようにして撮影された点検部位の撮影画像は、相対座標空間における撮影位置とカメラ部２１０の撮影時動き情報に基づいて、点検部位別に分類できる。従って、点検対象物の設置位置に左右されることなく、また、どのような構造物であっても、同様の手法を用いて点検部位を撮影し、撮影画像を、人手を煩わせることなく適切に分類して管理することができる。

【0086】

また、予定撮影位置やカメラの予定動き情報は、予定撮影エリア、予定動き情報の範囲というように、範囲として設定できるので、風等の自然環境の影響やＵＡＶ２の遠隔操作（手動操作）による撮影位置やカメラの動き情報のばらつきを吸収できる。従って、裕度をもって撮影画像の点検部位別の分類が可能になる。

【0087】

また、相対座標空間における撮影位置及びカメラの動き情報に基づいて、撮影画像の点検部位別の分類ができるため、撮影順序に縛られることもない。

【0088】

これらのことから、特に、同様の構造を有する複数の点検対象物を点検する場合において、同様の手法により点検部位別に撮影を行い、撮影画像を点検部位別に分類できる。このため、撮影画像の分類、管理、分析について、大幅な工数の削減が可能になる。もちろん、橋梁、電波塔、観覧車といった固定固有構造物の点検についても、点検部位の撮影、撮影画像の分類、管理、分析について処理を簡単にすることができ、大幅な工数の削減が可能になる。

【0089】

［変形例等］
上述した実施の形態では、ガントリークレーンが点検対象物である場合を例にして説明したが、これに限るものではない。ガントリークレーンやトランスファークレーンなどの移動共通構造物、送電線の鉄塔などの固定共通構造物、橋梁などの固定固有構造物のいずれを点検する場合においても、この発明を用いることができる。また、点検対象物は、鋼構造物に限るものではなく、木造構造物、鉄筋コンクリート構造物など、種々の材料により形成された構造物を点検する場合に、この発明を用いることができる。

【0090】

また、上述もしたように、ＵＡＶ２は、撮影時におけるチルトピッチ角度やロールピッチ角度も検出可能なものである。このため、風の影響や遠隔操作の場合の操作の影響により、前後や左右に傾いた状態で点検部位を撮影した場合には、撮影時チルト角度θを、チルトピッチ角度を考慮して補正したり、撮影時ロール角度φを、ロールピッチ角度を考慮して補正したりすることもできる。これにより、撮影時チルト角度θや撮影時ロール角度φを、ＵＡＶ２が水平を保った状態で撮影した場合の角度として把握することができ、撮影画像の分類をより適切に行うことができる。なお、撮影時チルト角度θや撮影時ロール角度φの補正処理は、例えば、撮影画像分類装置１の制御部１０１により行うことが可能である。もちろん、制御部１０１とは別に、撮影時動き情報の補正手段を設けるようにしてもよい。

【0091】

また、上述した実施の形態では、カメラ部２１０の撮影時動き情報として、撮影時チルト角度θと撮影時ロール角度φとを用いるものとして説明したが、これに限るものではない。例えば、カメラ部２１０が、パン角度を変えること（水平方向（左右方向）に向きを変える動作）が可能なものである場合には、撮影時チルト角度θと撮影時ロール角度φに加えて、撮影時パン角度ωを考慮するように構成することも可能である。

【0092】

例えば、予定撮影位置（予定撮影エリア）から上下方向に位置が異なる点検部位を撮影するだけでなく、左右方向に位置が異なる点検部位を撮影する場合には、予定動き情報として、予定チルト角度αと予定ロール角度βに加えて、予定パン角度γも設定する。更に、ＵＡＶ２による撮影時において、撮影時動き情報として、撮影時パン角度ωも検出し、撮影データに撮影時動き情報として、撮影時チルト角度θ、撮影時ロール角度φに加えて、撮影時パン角度ωも検出して撮影データに加える。

【0093】

従って、撮影画像の分類時において、撮影位置、撮影時チルト角度θ、撮影時ロール角度φに加えて撮影時パン角度ωも考慮することができる。これにより、予定撮影位置（予定撮影エリア）から左右に位置が異なる点検部位を撮影した場合の撮影画像を点検部位別に分類することが可能になる。この場合、予定動き情報としてのパン角度ωについても、範囲を持たせて設定することができる。

【0094】

なお、上述した実施の形態のＵＡＶ２のカメラ部２１０のようにカメラ部自体が水平方向に向きを変えることができるものではなく、ＵＡＶ２の向きを変えるようにする場合もある。この場合、パン角度については、ＵＡＶ２の向きとして把握することができる。

【0095】

また、予定拡大縮小率（ズーム倍率）を、撮影画像の分類のための判断情報として用いるようにすることもできる。すなわち、点検部位ごとに、予定撮影エリア、カメラ部の予定動き角度の範囲に加えて、予定拡大縮小率を設定しておく。ＵＡＶ２のカメラ部２１０を用いた点検部位の撮影時にカメラ部２１０の撮影時拡大縮小率を取得し、撮影データに加える。これにより、撮影画像分類装置１の点検部位別画像分類処理部１１２による撮影画像の分類時において、撮影時拡大縮小率をも考慮した撮影画像の分類処理が可能になる。この場合、予定拡大縮小率（ズーム倍率）についても、範囲を持たせて設定することができる。

【0096】

このように、カメラ部の予定動き情報としては、予定チルト角度α、予定ロール角度β予定パン角度γを用いることができ、更に予定拡大縮小率（ズーム倍率）も考慮することができる。すなわち、点検部位別設定情報には、予定撮影位置（予定撮影エリア）と、カメラの予定動き情報とがある。カメラの予定動き情報としては、予定チルト角度α、予定ロール角度β、予定パン角度γ、拡大縮小率の１つ以上を用いることができる。

【0097】

撮影時には、予定撮影位置（予定撮影エリア）とカメラの予定動き情報とに応じて、撮影時チルト角度θ、撮影時ロール角度φ、撮影時パン角度ω、撮影時拡大縮小率の１つ以上を取得して、撮影データに付加しておけばよい。これにより、撮影位置及びカメラ部の動き情報に応じた撮影画像の分類処理が可能になる。なお、カメラの動き情報としては、上述した角度情報や拡大縮小率の他にも、撮影画像の分類に用いることが可能な種々の情報を用いることができる。例えば、カメラ部２１０で撮影を行った場合に取得されるｅｘｉｆ情報に含まれる情報を、撮影画像の分類のためのカメラの動き情報として用いるようにし、これに応じたカメラの予定動き情報を定めておくことも可能である。

【0098】

また、上述した実施の形態の撮影画像分類装置１では、点検部位別画像データフォルダ１０６に、点検部位別に予定撮影エリアと予定動き情報とを備える点検部位別画像データファイルを予め用意するようにした。この点検部位別画像データフォルダ１０６の各点検部位別画像データファイルに対して、撮影画像を分類して記録するようにした。しかし、これに限るものではない。

【0099】

例えば、点検部位識別情報と、予定撮影エリアと、予定動き情報とを関連付けた分類用データを記憶保持する分類用データファイルを予め用意しておく。この場合、正規化処理部１１１で正規化された撮影データの撮影位置と撮影時動き情報とに基づいて、当該分類用データを参照して、点検部位識別情報を特定する。この特定した点検部位識別情報を分類対象の撮影画像（画像データ）に付加して、異なる点検部位識別情報ごとに、異なる画像データファイルに記録するようにする。このようにしても、点検部位別に画像データを分類できる。要は、相対座標空間において、点検部位別に予定撮影位置、予定動き情報を基準にして、撮影画像を分類する種々の方法を用いることができる。

【0100】

また、上述もしたように、点検部位の撮影処理の準備として、点検部位ごとに予定撮影位置、予定動き情報を設定するので、これに応じて、自律飛行するＵＡＶ２に対する飛行指示データを作成し、ＵＡＶ２に提供することができる。すなわち、点検部位の撮影処理の準備として設定される点検部位ごとに予定撮影位置、カメラ部の予定動き情報を用いて、飛行指示データを形成し、これを用いてＵＡＶ２を自律飛行させることもできる。

【0101】

［その他］
上述の実施の形態の説明からも分かるように、請求項の設定情報記憶手段の機能は、撮影画像分類装置１の点検部位別画像データフォルダ１０６が実現している。また、請求項の基準点記憶手段の機能は、撮影画像分類装置１の基準点データファイル１０３が実現し、請求項の撮影データ記憶手段の機能は、撮影画像分類装置１の撮影データファイル１０４が実現している。また、請求項の正規化手段の機能は、撮影画像分類装置１の正規化処理部１１１が実現し、請求項の画像分類手段の機能は、撮影画像分類装置１の点検部位別画像分類処理部１１２が実現している。また、請求項の補正手段は、例えば、撮影画像分類装置１の制御部１０１が実現することができる。

【0102】

また、図１０のフローチャートを用いて説明した方法が、撮影画像分類方法の一実施の形態に対応する。また、図１０のフローチャートに示した処理を実行するプログラムを作成し、例えばパーソナルコンピュータで実行可能にしておくことにより、当該パーソナルコンピュータを、この発明による撮影画像分類装置として機能させることができる。すなわち、図６に示した撮影画像分類装置１の正規化処理部１１１、点検部位別画像分類処理部１１２の機能は、制御部１０１で実行されるプログラムにより、制御部１０１の機能として実現することもできる。

【符号の説明】

【0103】

１…撮影画像分類装置、１０１…制御部、１０２…記憶装置、１０３…基準点データファイル、１０４…撮影データファイル、１０５…正規化データファイル、１０６…点検部位別画像データフォルダ、１０７…外部Ｉ／Ｆ、１０７Ｔ…接続端子、１１０…撮影画像分類処理部、１１１…正規化処理部、１１２…点検部位別画像分類処理部、２…ＵＡＶ、２１０…カメラ部、２１０Ｐ…支柱、２０２…制御部、２０４…撮影データファイル、３…点検部位対応付け装置、４…基準点測量装置、Ｐ…基準点、ａ１、ａ２、ｂ１、ｂ２…点検部位、ＰＬ、ＰＲ…予定撮影位置、ＡｒＬ、ＡｒＲ…予定撮影エリア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】