(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-18
(45)【発行日】2023-07-26
(54)【発明の名称】無人航空機、画像撮像システム、及びプログラム
(51)【国際特許分類】
B64U 20/87 20230101AFI20230719BHJP
B64C 13/18 20060101ALI20230719BHJP
B64C 27/04 20060101ALI20230719BHJP
B64C 39/02 20060101ALI20230719BHJP
B64D 47/08 20060101ALI20230719BHJP
G05D 1/10 20060101ALI20230719BHJP
H04N 23/60 20230101ALI20230719BHJP
H04N 23/695 20230101ALI20230719BHJP
B64U 101/26 20230101ALN20230719BHJP
B64U 101/30 20230101ALN20230719BHJP
【ＦＩ】
B64U20/87
B64C13/18 Z
B64C27/04
B64C39/02
B64D47/08
G05D1/10
H04N23/60
H04N23/695
B64U101:26
B64U101:30
【請求項の数】
5
(21)【出願番号】P 2019131390
(22)【出願日】2019-07-16
(65)【公開番号】P2021014241
(43)【公開日】2021-02-12
【審査請求日】2022-06-23
(73)【特許権者】
【識別番号】000003621
【氏名又は名称】株式会社竹中工務店
(74)【代理人】
【識別番号】100084995
【弁理士】
【氏名又は名称】加藤 和詳
(74)【代理人】
【識別番号】100099025
【弁理士】
【氏名又は名称】福田 浩志
(72)【発明者】
【氏名】深沢 茂臣
(72)【発明者】
【氏名】佐久間 康如
(72)【発明者】
【氏名】菊池 亮人
(72)【発明者】
【氏名】石原 次男
(72)【発明者】
【氏名】大下 知英
(72)【発明者】
【氏名】滝澤 辰徳
(72)【発明者】
【氏名】▲高▼井 勇志
(72)【発明者】
【氏名】杉山 和也
【審査官】諸星 圭祐
(56)【参考文献】
【文献】特開２０１８－１６０２２８（ＪＰ，Ａ）
【文献】特開２０１７－２１５２３９（ＪＰ，Ａ）
【文献】特開２０１８－０５５３５１（ＪＰ，Ａ）
【文献】特開２０１９－０５２９５４（ＪＰ，Ａ）
【文献】特開２００６－０２７４４８（ＪＰ，Ａ）
【文献】特開平０５－２３０９４７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０２６７５６１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６４Ｃ １３／１８
Ｂ６４Ｃ ２７／０８
Ｂ６４Ｃ ３９／０２
Ｂ６４Ｄ ４７／０８
Ｂ６４Ｕ ２０／８７
Ｂ６４Ｕ １０１／２６
Ｂ６４Ｕ １０１／３０
Ｇ０５Ｄ １／００ － １／１２
Ｈ０４Ｎ ５／２２２－ ５／２５７
Ｈ０４Ｎ ２３／６０ －２３／６９８
(57)【特許請求の範囲】
【請求項1】
カメラと、前記カメラによって撮像された画像を所定の記憶部に格納するように制御する画像格納制御部と、
構造物の溶接屋根から上方に突出し、頭頂部と側面部とを有する複数のハゼ嵌合部を前記カメラによって撮像する際に、前記構造物と前記カメラとの間の距離が予め設定された範囲内となり、かつ複数の前記ハゼ嵌合部が前記カメラによって所定の角度で撮像されるように、無人航空機の飛行を制御する飛行制御部と、
を備え、
前記頭頂部は前記ハゼ嵌合部の長手方向に延びており、当該ハゼ嵌合部は前記頭頂部が略平行になるように前記構造物に複数設置され、
前記飛行制御部は、前記側面部が前記カメラによって撮像されるように、無人航空機の飛行を制御する、
無人航空機。
【請求項2】
位置情報を取得する位置情報取得部を更に備え、前記画像格納制御部は、前記カメラによって撮像された画像と、前記位置情報取得部によって取得された前記位置情報とを対応付けて所定の記憶部に格納する、
請求項１に記載の無人航空機。
【請求項3】
請求項１又は請求項２に記載の無人航空機と、前記記憶部を備えるサーバと、
を含み、
前記無人航空機の前記画像格納制御部は、前記画像を前記サーバの前記記憶部に格納するために、前記画像を前記サーバへ送信する、
画像撮像システム。
【請求項4】
前記画像には、前記ハゼ嵌合部と略平行に設置された２つのマーカが写っており、
前記サーバには、
２つの前記マーカの対応付けされた関係から２つの当該マーカを結ぶ複数のグリッド線と、前記ハゼ嵌合部と略平行であって当該ハゼ嵌合部から所定区間離れた位置の複数のグリッド線と、により応じた前記ハゼ嵌合部の位置を表す座標に基づいて、複数の前記ハゼ嵌合部の位置を計算する画像処理部を備える、
請求項３に記載の画像撮像システム。
【請求項5】
無人航空機に搭載されたカメラにより撮像された画像を所定の記憶部に格納するように制御し、構造物の溶接屋根から上方に突出し、頭頂部と側面部とを有する複数のハゼ嵌合部であって、前記頭頂部が当該ハゼ嵌合部の長手方向に延びており、当該頭頂部が略平行になるように前記構造物に複数設置された当該ハゼ嵌合部を前記カメラによって撮像する際に、前記構造物と前記カメラとの間の距離が予め設定された範囲内となり、かつ複数の前記ハゼ嵌合部が前記カメラによって所定の角度で撮像されるように、無人航空機の飛行を制御し、
前記側面部が前記カメラによって撮像されるように、無人航空機の飛行を制御する、
処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、無人航空機、画像撮像システム、及びプログラムに関する。
【背景技術】
【0002】
従来、ドローンを遠隔操作することで検査対象物を撮影し、撮影情報に基づく検査対象物の不具合の検査を、迅速かつ低コストで行う検査システムが知られている（例えば、特許文献１）。この検査システムのドローンは、航行制御情報及び撮影制御情報を受信し、航行制御情報に基づいて航行制御部の制御の下で自動航行を行いつつ、撮影制御情報に基づいてカメラによる撮影を行って撮影情報を取得する。また、この検査システムのサーバ装置３は、ドローンによって撮像された撮影情報及び位置情報を受信し、撮影情報を解析し、検査対象物の欠陥を特定する。
【0003】
また、煙突、橋脚、サイロなどの人が接近しにくいコンクリート建造物などの外壁面の劣化状況をリモートセンシングする技術が知られている（例えば、特許文献２）。この技術は、遠方に設置したカメラにより煙突の外壁面を多数の部分に別けて撮影する。そして、ユーザは、撮影された画像について目視検査し、マウスで、欠陥情報を付け加える。付加された欠陥情報に応じて処理が行われ、全体の欠陥の分布情報が得られる。
【0004】
また、建造物等の面の状態を、精度良く解析する情報処理装置が知られている（例えば、特許文献３）。この情報処理装置は、面に沿って移動する移動体に搭載された撮像装置で続けて面を撮像し、当該面を含む領域が撮像された画像を取得する。そして、この情報処理装置は、取得した画像を分割し、画像の一部分である部分画像を複数出力し、部分画像の各々について、当該部分画像中の面の状態を判定する。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2017-78575号公報
【文献】特開平5-322778号公報
【文献】特開2018-17101号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、例えば、構造物の広範な領域に複数の検査対象物が略平行に並んでいる場合、それらの検査対象物の各々について個別に画像を撮像するよりも、複数の検査対象物が１枚の画像内に収まるように画像を撮像する方が効率的である。
【0007】
しかし、この場合、画像に基づき検査対象物の検査が行われるため、当該画像は、適切な解像度及び適切な向きで撮像される必要がある。
【0008】
しかし、上記特許文献１～３に開示されている技術においては、撮像される画像の解像度及び向きについては考慮されていない。
【0009】
本発明は上記事実に鑑みて、構造物に略平行に並んでいる複数の検査対象物の合否を判定するための適切な画像を取得することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するために、本発明の無人航空機は、カメラと、前記カメラによって撮像された画像を所定の記憶部に格納するように制御する画像格納制御部と、構造物に略平行に設置された複数の検査対象物を前記カメラによって撮像する際に、前記構造物と前記カメラとの間の距離が予め設定された範囲内となり、かつ前記検査対象物が前記カメラによって所定の角度で撮像されるように、無人航空機の飛行を制御する飛行制御部と、を備える無人航空機である。これにより、構造物に略平行に並んでいる複数の検査対象物の合否を判定するための適切な画像を取得することができる。
【0011】
本発明の前記検査対象物は、前記構造物から突出した形状であり、前記飛行制御部は、前記検査対象物の側面が前記カメラによって撮像されるように、無人航空機の飛行を制御するようにすることができる。これにより、検査対象物の側面の合否を判定するための適切な画像を、効率的に取得することができる。
【0012】
本発明の前記複数の検査対象物は、前記構造物の溶接屋根の複数のハゼ嵌合部であるようにすることができる。これにより、溶接屋根の複数のハゼ嵌合部の合否を判定するための適切な画像を、効率的に取得することができる。
【0013】
本発明の位置情報を取得する位置情報取得部を更に備え、前記画像格納制御部は、前記カメラによって撮像された画像と、前記位置情報取得部によって取得された前記位置情報とを対応付けて所定の記憶部に格納するようにすることができる。これにより、複数の検査対象物の画像と共に、検査対象物の位置情報を効率的に取得することができる。
【0014】
本発明の画像撮像システムは、上記の無人航空機と、前記記憶部を備えるサーバと、を含み、前記無人航空機の前記画像格納制御部は、前記画像を前記サーバの前記記憶部に格納するために、前記画像を前記サーバへ送信する画像撮像システムである。これにより、複数の検査対象物の画像を外部サーバへ自動的に格納することができる。
【0015】
本発明のプログラムは、無人航空機に搭載されたカメラにより撮像された画像を所定の記憶部に格納するように制御し、構造物に略平行に設置された複数の検査対象物を前記カメラによって撮像する際に、前記構造物と前記カメラとの間の距離が予め設定された範囲内となり、かつ前記検査対象物が前記カメラによって所定の角度で撮像されるように、無人航空機の飛行を制御する、処理をコンピュータに実行させるためのプログラムである。これにより、構造物に略平行に並んでいる複数の検査対象物の合否を判定するための適切な画像を取得することができる。
【発明の効果】
【0016】
本発明によれば、構造物に略平行に並んでいる複数の検査対象物の合否を判定するための適切な画像を取得することができる、という効果が得られる。
【図面の簡単な説明】
【0017】
【図1】本実施形態の画像撮像システムの概要を説明するための説明図である。
【図2】検査対象物の一例であるハゼ嵌合部の撮像を説明するための説明図である。
【図3】本実施形態における建物の屋根とカメラとの間の距離と、ハゼ嵌合部とカメラとの間の角度とを説明するための説明図である。
【図4】第１実施形態に係る画像撮像システムの概略構成を示すブロック図である。
【図5】第１実施形態の制御処理ルーチンの一例を示す図である。
【図6】第１実施形態の格納処理ルーチンの一例を示す図である。
【図7】第２実施形態を説明するための説明図である。
【図8】第２実施形態に係る画像撮像システムの概略構成を示すブロック図である。
【図9】ハゼ嵌合部の抽出処理を説明するための説明図である。
【図10】画像上のグリッド線を説明するための説明図である。
【図11】画像上のグリッド線を説明するための説明図である。
【図12】画像上の位置情報を説明するための説明図である。
【図13】第２実施形態の画像処理ルーチンの一例を示す図である。
【発明を実施するための形態】
【0018】
以下、図面を参照して、本発明の実施形態について詳細に説明する。
【0019】
＜第１実施形態に係る画像撮像システムの構成＞
【0020】
図１は、第１実施形態に係る画像撮像システム１０の構成の一例を示す図である。図１に示されるように、第１実施形態の画像撮像システム１０は、無人航空機の一例であるドローン３０と、ドローン３０を制御する制御機器２０と、サーバ（図示省略）とを備えている。制御機器２０と、ドローン３０と、サーバ（図示省略）とは、所定の通信手段によって接続されている。制御機器２０は、例えば、ユーザＵによって操作される。
【0021】
本実施形態の画像撮像システム１０は、図１に示されるように、建物の屋根Ｒｆにおける鉤（ハゼ）の嵌合部を撮像する。鉤（ハゼ）の嵌合部（以下、単に「ハゼ嵌合部」と称する。）は、金属製の屋根における接合部であり、金属板の接合において、板を折り曲げ、かみ合わせる形にした部分である。
【0022】
図１に示されるように、複数のハゼ嵌合部ｈは、建物の屋根Ｒｆに略平行に設置されている。このため、図１に示されるように、本実施形態の画像撮像システム１０は、ドローン３０に搭載されたカメラによって、建物の屋根Ｒｆに存在する複数のハゼ嵌合部ｈを一度に撮像する。なお、建物の屋根Ｒｆは構造物の一例であり、ハゼ嵌合部は、検査対象物の一例である。
【0023】
建物の屋根Ｒｆに存在する複数のハゼ嵌合部ｈを１枚の画像に収めようとする場合、ドローン３０による画像の撮像方法が問題となる。図２に、ドローン３０によるハゼ嵌合部ｈの撮像を説明するための説明図を示す。図２に示されるように、建物の屋根Ｒｆには複数のハゼ嵌合部ｈが存在している。ハゼ嵌合部は、建物の屋根Ｒｆから突出した形状を有している。この場合、ドローン３０のカメラによって、略平行に並んでいる複数のハゼ嵌合部ｈを撮像する場合を考える。ハゼ嵌合部については、ハゼ嵌合部の側面が検査対象となるため、ドローン３０のカメラは、ハゼ嵌合部の側面の画像を撮像する必要がある。
【0024】
この場合、例えば、図２に示されるハゼ嵌合部ｈ１とドローン３０のカメラとの間の距離は離れすぎているため、ハゼ嵌合部ｈ１の画像は必要な解像度が得られない。一方、図２に示されるハゼ嵌合部ｈ２とドローン３０のカメラとの間の距離は近すぎるため、ハゼ嵌合部ｈ２の側面の画像を得ることができない。
【0025】
そこで、本実施形態の画像撮像システム１０では、複数のハゼ嵌合部をドローン３０のカメラによって撮像する際に、建物の屋根Ｒｆとドローン３０のカメラとの間の距離が予め設定された範囲内となり、かつハゼ嵌合部がカメラによって所定の角度で撮像されるように、ドローン３０の飛行を制御する。
【0026】
具体的には、ドローン３０に搭載された赤外線センサによって、建物の屋根Ｒｆとドローン３０との間の距離を逐次検知し、建物の屋根Ｒｆとドローン３０のカメラとの間の距離が所定値の範囲内となるように、ドローン３０の飛行を制御する。
【0027】
なお、本実施形態においては、図３に示されるように、ドローン３０のカメラと建物の屋根Ｒｆとの間の距離が定義され、ドローン３０とハゼ嵌合部ｈとの間の角度θが定義される。
【0028】
以下、具体的に説明する。
【0029】
（制御機器２０）
【0030】
制御機器２０は、ＣＰＵ（Central Processing Unit）、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ（Read Only Memory）、データを一時的に記憶するＲＡＭ（Random Access Memory）、記憶手段としてのメモリ、及びネットワークインタフェース等を含むコンピュータによって構成されている。制御機器２０は、機能的には、図４に示されるように、制御部２２と、通信部２４とを備える。
【0031】
制御部２２は、ドローン３０を飛行させるための制御信号を送信する。通信部２４は、他の装置との間において情報の送受信を行う。
【0032】
なお、本実施形態においては、制御機器２０はドローン３０の起動又は停止を制御するのみである場合を説明する。
【0033】
（ドローン３０）
【0034】
ドローン３０は、機能的には、図４に示されるように、カメラ３２と、赤外線センサ３４と、コンピュータ３６と、ＧＮＳＳ（Global Navigation Satellite System）の一例であるＧＰＳセンサ（Global Positioning System）３８と、駆動装置４０とを備えている。
【0035】
カメラ３２は、ドローン３０周辺の画像を撮像する。赤外線センサ３４は、ドローン３０と周辺の障害物のとの間の距離を逐次計測する。また、ＧＰＳセンサ３８は、ドローン３０が位置する位置情報を逐次取得する。
【0036】
コンピュータ３６は、ＣＰＵ、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ、データを一時的に記憶するＲＡＭ、記憶手段としてのメモリ、ネットワークインタフェース等を含んで構成されている。コンピュータ３６は、ドローン３０の飛行を制御すると共に、カメラ３２によって撮像された画像を取得する。また、コンピュータ３６は、赤外線センサ３４によって計測された、建物の屋根とドローン３０との間の距離を取得する。
【0037】
コンピュータ３６は、機能的には、図４に示されるように、情報取得部４２と、飛行制御部４４と、カメラ制御部４６と、位置情報取得部４８と、画像格納制御部５０と、通信部５２とを備えている。
【0038】
情報取得部４２は、赤外線センサ３４によって計測された距離の情報を取得する。また、情報取得部４２は、カメラ３２によって撮像された画像を取得する。
【0039】
飛行制御部４４は、ドローン３０を飛行させる駆動装置４０を制御する。なお、飛行制御部４４は、後述する制御機器２０からの制御信号に応じて、ドローン３０の飛行を制御するようにしてもよい。
【0040】
カメラ制御部４６は、カメラ３２による画像の撮像を制御する。
【0041】
位置情報取得部４８は、ＧＰＳセンサ３８によって検知されたドローン３０の位置を表す位置情報を取得する。
【0042】
駆動装置４０は、コンピュータ３６の制御に応じて、ドローン３０を駆動させる。駆動装置４０の駆動に応じて、ドローン３０は飛行する。
【0043】
（サーバ６０）
【0044】
サーバ６０は、ＣＰＵ、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ、データを一時的に記憶するＲＡＭ、記憶手段としてのメモリ、及びネットワークインタフェース等を含むコンピュータによって構成されている。サーバ６０は、機能的には、図４に示されるように、画像処理部６２と、画像記憶部６４と、通信部６６とを備える。
【0045】
画像処理部６２は、ドローン３０から送信された画像を取得し、後述する画像記憶部６４へ格納する。画像記憶部６４には、ドローン３０のカメラ３２によって撮像された画像が格納される。通信部６６は、他の装置との間で情報のやり取りを行う。
【0046】
次に、本実施形態の画像撮像システム１０の作用について説明する。ドローン３０の起動を表す制御信号が制御機器２０から出力され、ドローン３０がその制御信号を受信すると、ドローン３０のコンピュータ３６は、図５に示す制御処理ルーチンを実行する。
【0047】
ステップＳ１００において、情報取得部４２は、赤外線センサ３４によって計測された距離の情報を取得する。
【0048】
ステップＳ１０２において、飛行制御部４４は、上記ステップＳ１００で取得された距離の情報に基づいて、建物の屋根とドローン３０のカメラ３２との間の距離が予め設定された範囲内となるように、駆動装置４０を制御する。なお、建物の屋根Ｒｆとドローン３０のカメラ３２との間の距離が予め設定された範囲内となるような駆動制御が行われることにより、後述するステップＳ１０４において、建物の屋根に設置されたハゼ嵌合部がカメラ３２によって所定の角度で撮像される。
【0049】
なお、ドローン３０（又はドローン３０のカメラ３２）と建物の屋根との間の距離Ｚは、250[ｍｍ]～2000[ｍｍ]が好ましい。また、画像に映るハゼ嵌合部とドローン３０との間の角度θは、40°～60°が好ましい。この場合には、数本（例えば、４本）程度のハゼ嵌合部を一枚の画像に収めることができる。その画像に写る４本程度のハゼ嵌合部の領域は適切な解像度であり、かつハゼ嵌合部の側面部分が写っているため、ハゼ嵌合部を検査するのに好適な画像が得られることになる。
【0050】
ステップＳ１０４において、カメラ制御部４６は、カメラ３２に画像を撮像させる。そして、情報取得部４２は、カメラ３２によって撮像された画像を取得する。
【0051】
ステップＳ１０６において、位置情報取得部４８は、ＧＰＳセンサ３８によって取得された位置情報を取得する。
【0052】
ステップＳ１０８において、画像格納制御部５０は、上記ステップＳ１０４で取得された画像に対して、上記ステップＳ１０６で取得された位置情報を付与する。
【0053】
ステップＳ１１０において、画像格納制御部５０は、上記ステップＳ１０８で生成された位置情報付きの画像を、サーバ６０へ送信するように制御する。通信部５２は、位置情報付きの画像情報をサーバ６０へ送信する。
【0054】
ステップＳ１１２において、飛行制御部４４は、制御機器２０から停止を表す制御信号を受信したか否かを判定する。停止を表す制御信号を受信した場合には、ステップＳ１１４へ進む。一方、停止を表す制御信号を受信していない場合には、ステップＳ１００へ戻る。
【0055】
ステップＳ１１４において、飛行制御部４４は、ドローン３０の飛行を停止するように駆動装置４０を制御して、制御処理ルーチンを終了する。
【0056】
次に、サーバ６０の作用を説明する。ドローン３０から画像が送信されると、サーバ６０は図６に示す格納処理ルーチンを実行する。なお、サーバ６０は、ドローン３０から画像が送信される毎に格納処理ルーチンを実行する。
【0057】
ステップＳ２００において、サーバ６０の通信部５２は、位置情報付きの画像を受信する。
【0058】
ステップＳ２０２において、サーバ６０の画像処理部６２は、上記ステップＳ２００で取得された位置情報付きの画像を、画像記憶部６４へ格納して、格納処理ルーチンを終了する。
【0059】
以上詳細に説明したように、本実施形態では、建物の屋根に略平行に設置された複数のハゼ嵌合部を、ドローンのカメラによって撮像する際に、建物の屋根とカメラとの間の距離が予め設定された範囲内となり、かつハゼ嵌合部がカメラによって所定の角度で撮像されるように、ドローンの飛行を制御する。そして、本実施形態では、カメラによって撮像された画像を画像記憶部に格納する。これにより、建物の溶接屋根に略平行に並んでいる複数のハゼ嵌合部の合否を判定するための適切な画像を取得することができる。具体的には、建物の溶接屋根のドローンとの間の距離が所定の範囲内であり、かつ所定の角度でハゼ嵌合部が撮像されるため、検査対象のハゼ嵌合部の側面が写った適切な解像度の画像を得ることができる。
【0060】
また、１枚の画像に複数のハゼ嵌合部を収めることができるため、ハゼ嵌合部の合否の判定を効率的に実施することができる。また、複数のハゼ嵌合部の画像と共に、ハゼ嵌合部の位置情報を効率的に取得することができる。
【0061】
＜第２実施形態＞
【0062】
次に、第２実施形態を説明する。第２実施形態では、複数のハゼ嵌合部を撮像する際に、建物の屋根面にマーカを設置する。そして、そのマーカを含む画像を撮像し、画像中のマーカの位置に基づいて、画像中のハゼ嵌合部の位置を計算する。
【0063】
第１実施形態においては、ＧＰＳセンサ３８によって取得された位置情報を画像に付与する場合を例に説明したが、ＧＰＳセンサ３８によって得られる位置情報の精度は低い場合がある。
【0064】
そこで、第２実施形態においては、位置情報を計算するためのマーカを建物の屋根面に設置し、そのマーカを含む画像を撮像する。そして、画像内のマーカとハゼ嵌合部との間の位置関係に応じて、各画像のハゼ嵌合部の位置を計算する。そして、その位置情報と画像とを対応付けて、建物の屋根の図面データに付与する。これにより、ハゼ嵌合部の画像の台帳を得ることができ、画像の管理を容易に行うことができる。
【0065】
図７に、第２実施形態を説明するための説明図を示す。図７に示されるように、第２実施形態では、マーカＭ１，Ｍ２を設置して、ハゼ嵌合部を含む画像を撮像する。これにより、後述する処理によって、画像に映るハゼ嵌合部と、建物の図面データとの対応付けを行うことができる。
【0066】
以下、具体的に説明する。
【0067】
＜第２実施形態に係る画像撮像システムの構成＞
【0068】
【0069】
サーバ２６０は、図８に示されるように、画像処理部２６２と、画像記憶部６４と、数字認識モデル記憶部２６５と、通信部６６と、図面データ記憶部２６６とを備えている。
【0070】
本実施形態において、ドローン３０のカメラ３２によって撮像される画像には、ハゼ嵌合部とは異なるマーカが写っている。そこで、サーバ２６０の画像処理部２６２は、マーカとハゼ嵌合部との間の位置関係に応じて、複数のハゼ嵌合部の位置情報を取得する。
【0071】
具体的には、まず、画像処理部２６２は、画像記憶部６４に記憶された画像を読み出す。次に、画像処理部２６２は、画像からハゼ嵌合部の領域を抽出する。図９に、ハゼ嵌合部の抽出処理を説明するための説明図を示す。
【0072】
図９（Ａ）に示されるように、ハゼ嵌合部ｈを含む画像は、Ｘ方向の輝度値の変化が激しい。図９（Ｂ）は、ある特定のＹ座標であるＹ１における輝度値の分布の様子である。図９（Ｂ）に示されるＢｈの部分がハゼ嵌合部に対応しており、Ｂｈの部分は輝度値の変化が激しいことがわかる。
【0073】
図９（Ｃ）は、隣接する画素の輝度値の差分を取ったグラフである。具体的には、図９（Ｃ）は、ある特定の位置Ｘ１の輝度値と、その隣の位置Ｘ２の輝度値との間の差分Ｅをグラフ化したものである。図９（Ｃ）からわかるように、ハゼ嵌合部の領域においては、差分Ｅの値が高いため、差分Ｅの値に応じて、ハゼ嵌合部の中心領域を抽出することができる。このため、画像処理部６２は、差分Ｅの値が所定の閾値以上である部分Ｅｈを、ハゼ嵌合部の中心領域として設定する。そして、本実施形態では、中心領域から所定の幅を有する領域をハゼ嵌合部として設定する。
【0074】
したがって、画像処理部２６２は、画像の特定位置Ｙ１の垂直方向（ドローンから見た場合の垂直方向を表す。図９では、Ｘ方向に対応する。）に並ぶ画素の輝度ヒストグラムを抽出し、当該輝度ヒストグラムの輝度変化に応じて、複数のハゼ嵌合部を抽出する。
【0075】
次に、画像処理部２６２は、複数のハゼ嵌合部の位置を計算するために、水平方向（Ｙ方向）に、仮想的なグリッド線を引く。具体的には、画像処理部２６２は、図１０に示されるような仮想的なグリッド線Ｌｙを引く。
【0076】
グリッド線Ｌｙの引き方としては、ハゼ嵌合部の中心領域として設定された各点に基づいて、最小二乗法によって直線を引き、その直線から所定間隔離れた位置に、グリッド線Ｌｙを引く。これにより、図１０に示されるような、グリッド線Ｌｙが引かれる。
【0077】
次に、画像処理部２６２は、画像のうちのマーカＭ１，Ｍ２の領域を認識する。なお、図１０に示されるように、マーカである巻き尺には、赤色の部分Ｒが含まれている。このため、画像処理部２６２は、マーカである巻き尺の赤色の部分Ｒを認識する。赤色の部分Ｒは、色処理によって認識される。そして、画像処理部２６２は、赤色の部分Ｒの領域を水平方向（Ｙ方向）へ延長した領域Ｐ１，Ｐ２を、マーカＭ１，Ｍ２の領域であると認識する。
【0078】
次に、画像処理部２６２は、マーカＭ１の各数字とマーカＭ２の各数字との対応付けを行う。具体的には、まず、画像処理部２６２は、数字認識モデル記憶部２６５に記憶された学習済みモデルを用いて、マーカＭ１，Ｍ２内の数字を認識する。
【0079】
数字認識モデル記憶部２６５に記憶された学習済みモデルは、画像が入力されるとその画像に写る数字に関する情報を出力するようなモデルである。この学習済みモデルは、例えば、ニューラルネットワーク等によって実現される。学習済みモデルは、学習用の画像と当該画像に写る正解の数字を表す情報との組み合わせである学習用データに基づく機械学習によって得られる。
【0080】
次に、画像処理部２６２は、マーカＭ１の目盛りを表す各数字とマーカＭ２の目盛りを表す各数字との間において、同一の数字を対応付け、グリッド線Ｌｘを引く。これにより、図１１に示されるように、Ｘ方向のグリッド線Ｌｘと、Ｙ方向のグリッド線Ｌｙとが画像に引かれたことになる。
【0081】
なお、マーカＭ１，Ｍ２の目盛りは、屋根面の位置を表すものでもある。例えば、マーカの目盛りと建物の屋根の図面上の位置とを予め対応付けておくことで、マーカ上の目盛りが、建物の屋根のどこに位置するのかを判別することができる。そこで、画像処理部２６２は、マーカＭ１，Ｍ２の目盛りの数字を読み取り、画像上の目盛りの位置を取得する。これにより、図１２に示されるように、画像に写るハゼ嵌合部の位置情報が得られる。
【0082】
次に、画像処理部２６２は、マーカＭ１，Ｍ２の目盛りの数字に応じた位置と、Ｘ方向のグリッド線ＬｘとＹ方向のグリッド線Ｌｙとに応じた各ハゼ嵌合部の位置を表す座標とに基づいて、ハゼ嵌合部の実際の位置を計算する。
【0083】
そして、画像処理部２６２は、図面データ記憶部２６６に格納されている、屋根面の図面データの各位置に、ハゼ嵌合部の画像を付与する。これにより、屋根面の図面データにハゼ嵌合部の画像が付与された台帳が生成される。
【0084】
次に、第２実施形態のサーバ２６０の作用を説明する。画像記憶部６４に画像が記憶されると、サーバ６０は、図１３に示される画像処理ルーチンを実行する。
【0085】
ステップＳ３００において、画像処理部２６２は、画像記憶部６４に格納されている画像を読み出し、画像からハゼ嵌合部の領域を抽出する。
【0086】
ステップＳ３０２において、画像処理部２６２は、上記ステップＳ３００で抽出されたハゼ嵌合部の中心領域を表す各点に基づいて、それらの各点に沿う直線を最小二乗法によって求める。そして、画像処理部６２は、最小二乗法よって求められた直線から所定間隔離れた位置にグリッド線Ｌｙを引く。
【0087】
ステップＳ３０３において、画像処理部２６２は、画像のうちのマーカＭ１，Ｍ２の領域を認識する。
【0088】
ステップＳ３０４において、画像処理部２６２は、数字認識モデル記憶部２６５に記憶された学習済みモデルを用いて、上記ステップＳ３０３で認識されたマーカ内に存在する数字を認識する。
【0089】
ステップＳ３０６において、画像処理部２６２は、マーカＭ１の目盛りを表す各数字とマーカＭ２の目盛りを表す各数字との間において、同一の数字を対応付ける。
【0090】
ステップＳ３０７において、画像処理部２６２は、上記ステップＳ３０６における数字の対応付け結果に基づいて、グリッド線Ｌｘを引く。
【0091】
ステップＳ３０８において、画像処理部２６２は、上記ステップＳ３０４での数字の認識結果に基づいて、目盛りの位置を取得する。
【0092】
ステップＳ３１０において、画像処理部２６２は、上記ステップＳ３０８で得られた目盛りの位置と、Ｘ方向のグリッド線ＬｘとＹ方向のグリッド線Ｌｙとに応じた各ハゼ嵌合部の位置を表す座標とに基づいて、ハゼ嵌合部の実際の位置を計算する。
【0093】
ステップＳ３１２において、画像処理部２６２は、上記ステップＳ３１０での位置の算出結果に基づいて、図面データ記憶部２６６に格納されている、屋根面の図面データの各位置に、ハゼ嵌合部の画像を付与する。これにより、屋根面の図面データにハゼ嵌合部の画像が付与された台帳が生成される。
【0094】
以上詳細に説明したように、第２実施形態では、ハゼ嵌合部とは異なるマーカが写っている画像から、マーカとハゼ嵌合部との間の位置関係に応じて、複数のハゼ嵌合部の位置情報を取得する。これにより、ハゼ嵌合部が建物の屋根上のどこに位置しているのかを特定することができ、ハゼ嵌合部が写る画像を適切に管理することができる。また、建物の屋根を表す図面データに対して、ハゼ嵌合部の画像を付与することにより、ハゼ嵌合部の画像を適切に管理することができる。
【0095】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【0096】
例えば、上記実施形態では、モデルの一例としてのニューラルネットワークモデルを機械学習させる場合を例に説明したが、これに限定されるものではない。例えば、ニューラルネットワークモデルとは異なる他のモデルを用いてもよい。例えば、サポートベクターマシーン等をモデルとして用いてもよい。
【0097】
また、上記実施形態では、検査対象物が建物の屋根のハゼ嵌合部である場合を例に説明したが、これに限定されるものではなく、他の検査対象物であってもよい。
【0098】
また、上記実施形態では、ドローン３０内部のコンピュータによってドローン３０の飛行が制御される場合を例に説明したが、制御機器２０からの制御信号に応じて、ドローン３０の飛行を制御するようにしてもよい。
【0099】
また、上記ではプログラムが記憶部（図示省略）に予め記憶（インストール）されている態様を説明したが、プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ及びマイクロＳＤカード等の記録媒体の何れかに記録されている形態で提供することも可能である。
【符号の説明】
【0100】
１０ 画像撮像システム
２０ 制御機器
２２ 制御部
２４ 通信部
３０ ドローン
３２ カメラ
３４ 赤外線センサ
３６ コンピュータ
３８ ＧＰＳセンサ
４０ 駆動装置
４２ 情報取得部
４４ 飛行制御部
４６ カメラ制御部
４８ 位置情報取得部
５０ 画像格納制御部
５２ 通信部
６０，２６０ サーバ
６２，２６２ 画像処理部
６４ 画像記憶部
６６ 通信部
２６５ 数字認識モデル記憶部
２６６ 図面データ記憶部
２０ 制御機器
２２ 制御部
２４ 通信部
３０ ドローン
３２ カメラ
３４ 赤外線センサ
３６ コンピュータ
３８ ＧＰＳセンサ
４０ 駆動装置
４２ 情報取得部
４４ 飛行制御部
４６ カメラ制御部
４８ 位置情報取得部
５０ 画像格納制御部
５２ 通信部
６０，２６０ サーバ
６２，２６２ 画像処理部
６４ 画像記憶部
６６ 通信部
２６５ 数字認識モデル記憶部
２６６ 図面データ記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
