知財求人 - 知財ポータルサイト「IP Force」
特許7290600点検システム、姿勢検出装置、点検方法、姿勢検出方法及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-05
(45)【発行日】2023-06-13
(54)【発明の名称】点検システム、姿勢検出装置、点検方法、姿勢検出方法及びコンピュータプログラム
(51)【国際特許分類】
G01B 11/26 20060101AFI20230606BHJP
G06T 7/70 20170101ALI20230606BHJP
G06T 7/13 20170101ALI20230606BHJP
G06T 7/00 20170101ALI20230606BHJP
B63C 11/00 20060101ALI20230606BHJP
B63B 39/14 20060101ALI20230606BHJP
G01C 3/06 20060101ALI20230606BHJP
G01B 11/00 20060101ALI20230606BHJP
【ＦＩ】
G01B11/26 H
G06T7/70 Z
G06T7/13
G06T7/00 350B
B63C11/00 B
B63B39/14
G01C3/06 120S
G01B11/00 H
【請求項の数】
13
(21)【出願番号】P 2020076176
(22)【出願日】2020-04-22
(65)【公開番号】P2021173581
(43)【公開日】2021-11-01
【審査請求日】2022-06-22
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(72)【発明者】
【氏名】恋塚 葵
【審査官】山▲崎▼ 和子
(56)【参考文献】
【文献】特開平０８－１６９３９８（ＪＰ，Ａ）
【文献】特開２０１８－０５４４３６（ＪＰ，Ａ）
【文献】特開２０００－０３００６４（ＪＰ，Ａ）
【文献】特開２０１１－１２５２６２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
Ｇ０６Ｔ ７／００－７／９０
Ｇ０６Ｖ １０／００－２０／９０
３０／４１８、４０／１６、４０／２０
Ｂ６３Ｂ ３９／１４
Ｂ６３Ｃ １／００－１５／００
Ｂ６３Ｇ １／００－１３／０２
(57)【特許請求の範囲】
【請求項1】
水中を点検する点検システムであって、撮像部と、
前記撮像部が撮像した水中の網の画像情報を受け付ける受付部と、
前記受付部が受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出する検出部と、
前記検出部が検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出する導出部と
を備える、点検システム。
【請求項2】
前記導出部は、前記水中ロボットの前記網に対する相対角度を導出する、請求項１に記載の点検システム。
【請求項3】
前記導出部は、前記画像の左端と右端との両方に網が撮像されている場合に、前記検出部が検出した前記画像に含まれる前記網目の前記輪郭に基づいて、前記画像の中心を基準として、前記基準から前記画像の右端までの長さと、前記基準から前記画像の左端までの長さとに基づいて、前記水中ロボットの前記網に対する相対角度を導出する、請求項２に記載の点検システム。
【請求項4】
前記導出部は、前記水中ロボットの前記網に対する相対距離を導出する、請求項２又は請求項３のいずれか一項に記載の点検システム。
【請求項5】
前記導出部は、前記相対角度と前記画像の左端と右端との間の距離に基づいて、前記水中ロボットの前記網に対する相対距離を導出する、請求項２から請求項４のいずれか一項に記載の点検システム。
【請求項6】
前記導出部は、前記画像の左端と右端とのいずれか一方に網が撮像されていない場合に、前記検出部が検出した前記画像に含まれる前記網目の前記輪郭に基づいて、前記画像の中心を基準として、前記基準から前記網が撮像されている一端までの長さのうち、前記撮像部の画角を分割した角度で撮像できる長さに基づいて、前記水中ロボットの前記網に対する相対角度を導出する、請求項２に記載の点検システム。
【請求項7】
前記導出部は、前記相対角度と前記基準から前記網が撮像されている一端までの長さに基づいて、前記水中ロボットの前記網に対する相対距離を導出する、請求項６に記載の点検システム。
【請求項8】
前記画像情報に基づいて画像を複数に分割することによって得られる複数の学習用分割画像の各々を機械学習する学習部を備え、
前記検出部は、前記学習部が機械学習することによって抽出した特徴量に基づいて画像に含まれる網目の輪郭を検出する、請求項１から請求項７のいずれか一項に記載の点検システム。
【請求項9】
水中の網を撮像した画像情報を受け付ける受付部と、前記受付部が受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出する検出部と、
前記検出部が検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出する導出部と
を備える、姿勢検出装置。
【請求項10】
水中を点検する点検システムが実行する点検方法であって、撮像するステップと、
前記撮像するステップで撮像した水中の網の画像情報を受け付けるステップと、
前記受け付けるステップで受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出するステップと、
前記網目の輪郭を検出するステップで検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出するステップと
を有する、点検方法。
【請求項11】
水中の網を撮像した画像情報を受け付けるステップと、前記受け付けるステップで受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出するステップと、
前記検出するステップで検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出するステップと
を有する、コンピュータが実行する姿勢検出方法。
【請求項12】
水中を点検する点検システムのコンピュータに、撮像するステップと、
前記撮像するステップで撮像した水中の網の画像情報を受け付けるステップと、
前記受け付けるステップで受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出するステップと、
前記網目の輪郭を検出するステップで検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出するステップと
を実行させる、コンピュータプログラム。
【請求項13】
コンピュータに水中の網を撮像した画像情報を受け付けるステップと、
前記受け付けるステップで受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出するステップと、
前記網目の輪郭を検出するステップで検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出するステップと
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、点検システム、姿勢検出装置、点検方法、姿勢検出方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
遠隔操縦が可能な水中ドローンなどの水中ロボットが知られている。水中ドローンに関して、対象物の形状の正確な認識とともに対象物に対する正確な位置／姿勢の制御を自律的に行う技術が知られている（例えば、特許文献１参照）。
この技術は、水中動力系と、水中ロボットと、対象物を撮像する複眼カメラと、水中動力系及び複眼カメラを制御する制御手段と、を備える水中航走体制御システムである。制御手段は、複眼カメラにより撮像された画像が入力される画像入力部と、対象物の特徴情報を含むモデルが記憶されるモデル記憶部と、入力画像についてモデルとの適合度を求めるための所定の適合度関数を演算する適合度演算部と、適合度に基づいて対象物の遺伝情報を生成する遺伝アルゴリズムを実行する遺伝アルゴリズム実行部と、を有する。遺伝アルゴリズム実行部は、対象物に合致するように遺伝情報を所定時間において進化させて、対象物の位置及び姿勢を推定する。
この技術は、水中動力系と、水中ロボットと、対象物を撮像する複眼カメラと、水中動力系及び複眼カメラを制御する制御手段と、を備える水中航走体制御システムである。制御手段は、複眼カメラにより撮像された画像が入力される画像入力部と、対象物の特徴情報を含むモデルが記憶されるモデル記憶部と、入力画像についてモデルとの適合度を求めるための所定の適合度関数を演算する適合度演算部と、適合度に基づいて対象物の遺伝情報を生成する遺伝アルゴリズムを実行する遺伝アルゴリズム実行部と、を有する。遺伝アルゴリズム実行部は、対象物に合致するように遺伝情報を所定時間において進化させて、対象物の位置及び姿勢を推定する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－９０４８８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
水中ロボットを使用して定置網などの魚網を点検することを考える。魚網の状況を把握するためには、水中ロボットに対して細かな操縦技術が必要となる。また、水中ロボットを深く潜らせると水中ロボットの位置把握が困難となる。従来の技術では、対象物が予め決まっていれば、正確な位置・姿勢の推定を自律的に行うことができる。しかし、従来の技術では、カメラの画角内に対象物が全て含まれることを前提とするため、カメラの画角内に対象物の全てを含めることが難しい魚網を点検する用途に使用することは難しい。また、従来の技術では、対象物の特徴情報を含むモデルを予め用意する必要があるため、汎用性が低く、利便性が悪い。
本発明は、このような事情を考慮してなされたものであり、その目的は、水中ロボットを使用して網を点検できる点検システム、姿勢検出装置、点検方法、姿勢検出方法及びコンピュータプログラムを提供することにある。
本発明は、このような事情を考慮してなされたものであり、その目的は、水中ロボットを使用して網を点検できる点検システム、姿勢検出装置、点検方法、姿勢検出方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【0005】
（１）本発明の一態様は、水中を点検する点検システムであって、撮像部と、前記撮像部が撮像した水中の網の画像情報を受け付ける受付部と、前記受付部が受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出する検出部と、前記検出部が検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出する導出部とを備える、点検システムである。
（２）本発明の一態様は、上記（１）に記載の点検システムにおいて、前記導出部は、前記水中ロボットの前記網に対する相対角度を導出する。
（３）本発明の一態様は、上記（２）に記載の点検システムにおいて、前記導出部は、前記画像の左端と右端との両方に網が撮像されている場合に、前記検出部が検出した前記画像に含まれる前記網目の前記輪郭に基づいて、前記画像の中心を基準として、前記基準から前記画像の右端までの長さと、前記基準から前記画像の左端までの長さとに基づいて、前記水中ロボットの前記網に対する相対角度を導出する。
（４）本発明の一態様は、上記（２）又は上記（３）に記載の点検システムにおいて、前記導出部は、前記水中ロボットの前記網に対する相対距離を導出する。
（５）本発明の一態様は、上記（２）から上記（４）のいずれか一項に記載の点検システムにおいて、前記導出部は、前記相対角度と前記画像の左端と右端との間の距離に基づいて、前記水中ロボットの前記網に対する相対距離を導出する。
（６）本発明の一態様は、上記（２）に記載の点検システムにおいて、前記導出部は、前記画像の左端と右端とのいずれか一方に網が撮像されていない場合に、前記検出部が検出した前記画像に含まれる前記網目の前記輪郭に基づいて、前記画像の中心を基準として、前記基準から前記網が撮像されている一端までの長さのうち、前記撮像部の画角を分割した角度で撮像できる長さに基づいて、前記水中ロボットの前記網に対する相対角度を導出する。
（７）本発明の一態様は、上記（６）に記載の点検システムにおいて、前記導出部は、前記相対角度と前記基準から前記網が撮像されている一端までの長さに基づいて、前記水中ロボットの前記網に対する相対距離を導出する。
（８）本発明の一態様は、上記（１）から上記（７）に記載の点検システムにおいて、前記画像情報に基づいて画像を複数に分割することによって得られる複数の学習用分割画像の各々を機械学習する学習部を備え、前記検出部は、前記学習部が機械学習することによって抽出した特徴量に基づいて画像に含まれる網目の輪郭を検出する。
（９）本発明の一態様は、水中の網を撮像した画像情報を受け付ける受付部と、前記受付部が受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出する検出部と、前記検出部が検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出する導出部とを備える、姿勢検出装置である。
（１０）本発明の一態様は、水中を点検する点検システムが実行する点検方法であって、撮像するステップと、前記撮像するステップで撮像した水中の網の画像情報を受け付けるステップと、前記受け付けるステップで受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出するステップと、前記網目の輪郭を検出するステップで検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出するステップとを有する、点検方法である。
（１１）本発明の一態様は、水中の網を撮像した画像情報を受け付けるステップと、前記受け付けるステップで受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出するステップと、前記検出するステップで検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出するステップとを有する、コンピュータが実行する姿勢検出方法である。
（１２）本発明の一態様は、水中を点検する点検システムのコンピュータに、撮像するステップと、前記撮像するステップで撮像した水中の網の画像情報を受け付けるステップと、前記受け付けるステップで受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出するステップと、前記網目の輪郭を検出するステップで検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出するステップとを実行させる、コンピュータプログラムである。
（１３）本発明の一態様は、コンピュータに、水中の網を撮像した画像情報を受け付けるステップと、前記受け付けるステップで受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出するステップと、前記網目の輪郭を検出するステップで検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出するステップとを実行させる、コンピュータプログラムである。
（２）本発明の一態様は、上記（１）に記載の点検システムにおいて、前記導出部は、前記水中ロボットの前記網に対する相対角度を導出する。
（３）本発明の一態様は、上記（２）に記載の点検システムにおいて、前記導出部は、前記画像の左端と右端との両方に網が撮像されている場合に、前記検出部が検出した前記画像に含まれる前記網目の前記輪郭に基づいて、前記画像の中心を基準として、前記基準から前記画像の右端までの長さと、前記基準から前記画像の左端までの長さとに基づいて、前記水中ロボットの前記網に対する相対角度を導出する。
（４）本発明の一態様は、上記（２）又は上記（３）に記載の点検システムにおいて、前記導出部は、前記水中ロボットの前記網に対する相対距離を導出する。
（５）本発明の一態様は、上記（２）から上記（４）のいずれか一項に記載の点検システムにおいて、前記導出部は、前記相対角度と前記画像の左端と右端との間の距離に基づいて、前記水中ロボットの前記網に対する相対距離を導出する。
（６）本発明の一態様は、上記（２）に記載の点検システムにおいて、前記導出部は、前記画像の左端と右端とのいずれか一方に網が撮像されていない場合に、前記検出部が検出した前記画像に含まれる前記網目の前記輪郭に基づいて、前記画像の中心を基準として、前記基準から前記網が撮像されている一端までの長さのうち、前記撮像部の画角を分割した角度で撮像できる長さに基づいて、前記水中ロボットの前記網に対する相対角度を導出する。
（７）本発明の一態様は、上記（６）に記載の点検システムにおいて、前記導出部は、前記相対角度と前記基準から前記網が撮像されている一端までの長さに基づいて、前記水中ロボットの前記網に対する相対距離を導出する。
（８）本発明の一態様は、上記（１）から上記（７）に記載の点検システムにおいて、前記画像情報に基づいて画像を複数に分割することによって得られる複数の学習用分割画像の各々を機械学習する学習部を備え、前記検出部は、前記学習部が機械学習することによって抽出した特徴量に基づいて画像に含まれる網目の輪郭を検出する。
（９）本発明の一態様は、水中の網を撮像した画像情報を受け付ける受付部と、前記受付部が受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出する検出部と、前記検出部が検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出する導出部とを備える、姿勢検出装置である。
（１０）本発明の一態様は、水中を点検する点検システムが実行する点検方法であって、撮像するステップと、前記撮像するステップで撮像した水中の網の画像情報を受け付けるステップと、前記受け付けるステップで受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出するステップと、前記網目の輪郭を検出するステップで検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出するステップとを有する、点検方法である。
（１１）本発明の一態様は、水中の網を撮像した画像情報を受け付けるステップと、前記受け付けるステップで受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出するステップと、前記検出するステップで検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出するステップとを有する、コンピュータが実行する姿勢検出方法である。
（１２）本発明の一態様は、水中を点検する点検システムのコンピュータに、撮像するステップと、前記撮像するステップで撮像した水中の網の画像情報を受け付けるステップと、前記受け付けるステップで受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出するステップと、前記網目の輪郭を検出するステップで検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出するステップとを実行させる、コンピュータプログラムである。
（１３）本発明の一態様は、コンピュータに、水中の網を撮像した画像情報を受け付けるステップと、前記受け付けるステップで受け付けた前記画像情報に基づいて、画像に含まれる網目の輪郭を検出するステップと、前記網目の輪郭を検出するステップで検出した前記画像に含まれる網目の前記輪郭に基づいて、前記網を撮像した水中ロボットの前記網に対する位置姿勢を導出するステップとを実行させる、コンピュータプログラムである。
【発明の効果】
【0006】
本発明によれば、水中ロボットを使用して網を点検できる点検システム、姿勢検出装置、点検方法、姿勢検出方法及びコンピュータプログラムを提供できる。
【図面の簡単な説明】
【0007】
【図1】本発明の実施形態に係る点検システムの構成例を示す図である。
【図2】網目部分の画像の例１を示す図である。
【図3】網目部分の画像の例２を示す図である。
【図4】網目部分の画像の例３を示す図である。
【図5】網目部分の画像の例４を示す図である。
【図6】網目部分の画像の例５を示す図である。
【図7】網目部分の画像の例６を示す図である。
【図8】網目輪郭の模式図である。
【図9】網目部分の画像の例７を示す図である。
【図10】網目部分の画像の例８を示す図である。
【図11】相対角度を推定する処理の例１を示す図である。
【図12】相対角度を推定する処理の例２を示す図である。
【図13】網目輪郭の一例を示す図である。
【図14】本実施形態に係る姿勢検出装置における相対距離を推定する処理の一例を示す図である。
【図15】本実施形態に係る点検システムの動作の一例を示すシーケンスチャートである。
【図16】実施形態の変形例に係る点検システムの構成例を示す図である。
【図17】実施形態の変形例に係る点検システムの動作の一例を示すシーケンスチャートである。
【発明を実施するための形態】
【0008】
次に、本実施形態の点検システム、姿勢検出装置、点検方法、姿勢検出方法及びコンピュータプログラムを、図面を参照しつつ説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
【0009】
（実施形態）
（点検システム）
図１は、本発明の実施形態に係る点検システムの構成例を示す図である。本実施形態に係る点検システム１００は、漁場で定置網などの魚網の点検、養殖場で養殖網の点検や魚の生育状況の確認を行う。以下、魚網、養殖網を単に網と記載する。
点検システム１００は、水中ロボット１と姿勢検出装置２と制御機器３とを備える。水中ロボット１は水中で作業するロボットである。水中ロボット１は撮像部を搭載し、撮像部が撮像することで得られる画像情報を制御機器３へ送信する。撮像部は、水中に設置された魚網や養殖場に設置された養殖網の少なくとも一部分を撮像する。水中ロボット１は、ケーブルを介して制御機器３と接続される。水中ロボット１は、ユーザーが制御機器３を操作することで送信される制御情報に基づいて動作する。また、水中ロボット１は、姿勢検出装置２が送信する相対角度情報と相対距離情報とに基づいて自律的に動作する。
（点検システム）
図１は、本発明の実施形態に係る点検システムの構成例を示す図である。本実施形態に係る点検システム１００は、漁場で定置網などの魚網の点検、養殖場で養殖網の点検や魚の生育状況の確認を行う。以下、魚網、養殖網を単に網と記載する。
点検システム１００は、水中ロボット１と姿勢検出装置２と制御機器３とを備える。水中ロボット１は水中で作業するロボットである。水中ロボット１は撮像部を搭載し、撮像部が撮像することで得られる画像情報を制御機器３へ送信する。撮像部は、水中に設置された魚網や養殖場に設置された養殖網の少なくとも一部分を撮像する。水中ロボット１は、ケーブルを介して制御機器３と接続される。水中ロボット１は、ユーザーが制御機器３を操作することで送信される制御情報に基づいて動作する。また、水中ロボット１は、姿勢検出装置２が送信する相対角度情報と相対距離情報とに基づいて自律的に動作する。
【0010】
制御機器３は水中ロボット１が送信した画像情報を受信し、受信した画像情報を姿勢検出装置２へ送信する。姿勢検出装置２は制御機器３が送信した画像情報を受信し、受信した画像情報に基づいて網に対する水中ロボット１の相対角度と相対距離とを導出する。具体的には、姿勢検出装置２は、受信した画像情報に基づいて、画像に含まれる網の網目部分を検出する。姿勢検出装置２は、検出した網目部分に基づいて網に対する水中ロボット１の相対角度を導出する。姿勢検出装置２は、導出した相対角度と網目部分とに基づいて網に対する水中ロボット１の相対距離を導出する。姿勢検出装置２は、網に対する水中ロボット１の相対角度の導出結果と網に対する水中ロボット１の相対距離の導出結果とを制御機器３へ送信する。
制御機器３は姿勢検出装置２と有線又は無線で接続される。制御機器３はテザーケーブルなどのケーブルを介して水中ロボット１と接続される。制御機器３は姿勢検出装置２が送信した網に対する水中ロボット１の相対角度の導出結果と網に対する水中ロボット１の相対距離の導出結果とを受信する。制御機器３は、受信した網に対する水中ロボット１の相対角度の導出結果と網に対する水中ロボット１の相対距離の導出結果とを、水中ロボット１へ送信する。また、制御機器３は、ユーザーＵの操作に基づいて制御情報を作成し、作成した制御情報を水中ロボット１へ送信する。水中ロボット１は、制御機器３が送信した網に対する水中ロボット１の相対角度の導出結果と網に対する水中ロボット１の相対距離の導出結果とに基づいて自律的に駆動する。また、水中ロボット１は、制御機器３が送信した制御情報に基づいて駆動する。
以下点検システム１００に含まれる水中ロボット１と姿勢検出装置２と制御機器３との各々について、順次説明する。
制御機器３は姿勢検出装置２と有線又は無線で接続される。制御機器３はテザーケーブルなどのケーブルを介して水中ロボット１と接続される。制御機器３は姿勢検出装置２が送信した網に対する水中ロボット１の相対角度の導出結果と網に対する水中ロボット１の相対距離の導出結果とを受信する。制御機器３は、受信した網に対する水中ロボット１の相対角度の導出結果と網に対する水中ロボット１の相対距離の導出結果とを、水中ロボット１へ送信する。また、制御機器３は、ユーザーＵの操作に基づいて制御情報を作成し、作成した制御情報を水中ロボット１へ送信する。水中ロボット１は、制御機器３が送信した網に対する水中ロボット１の相対角度の導出結果と網に対する水中ロボット１の相対距離の導出結果とに基づいて自律的に駆動する。また、水中ロボット１は、制御機器３が送信した制御情報に基づいて駆動する。
以下点検システム１００に含まれる水中ロボット１と姿勢検出装置２と制御機器３との各々について、順次説明する。
【0011】
（水中ロボット１）
水中ロボット１の一例は水中ドローンである。水中ドローンはコンピュータ等の装置を含む潜水用のドローンによって実現される。水中ロボット１は例えば、撮像部１０とセンサ１１と動力系１２と制御部１３と通信部１４とを備える。
撮像部１０は、静止画、動画を撮像することによって、画像情報を生成する。本実施形態では、撮像部１０が、水中ロボット１の前面に搭載されている場合について説明を続ける。撮像部１０は、水中ロボット１の前面を撮像する。撮像部１０は、水中ロボット１が水中に設置された網の前面に移動した場合に、その網の少なくとも一部分を撮像する。
センサ１１は、深度センサと地磁気センサと水温センサとを含んで構成される。センサ１１は、深度センサ、地磁気センサ、水温センサ以外のセンサを含んで構成されてもよい。センサ１１は、深度を測定する。センサ１１は、方位、傾き、動き、衝撃、振動、進行方向などを測定する。センサ１１は、水温を測定する。
動力系１２は、水中ロボット１を海上、水中で航行させる。例えば動力系１２は複数のスラスタとモータとを含んで構成される。
制御部１３は、水中ロボット１の移動、通信などの水中ロボット１の動作全般の制御、管理を行う。制御部１３は、撮像部１０に撮像させ、撮像させることによって、撮像部１０が生成した画像情報を取得する。制御部１３は、取得した画像情報を、通信部１４から姿勢検出装置２へ送信する。制御部１３は、通信部１４が受信した網に対する水中ロボット１の相対角度の導出結果と網に対する水中ロボット１の相対距離の導出結果とを取得し、取得した網に対する水中ロボット１の相対角度の導出結果と網に対する水中ロボット１の相対距離の導出結果とに基づいて、動力系１２を制御する。また、制御部１３は、通信部１４が送信した制御情報を取得し、取得した制御情報に基づいて、動力系１２を制御する。
通信部１４は、通信モジュールによって実現される。通信部１４はケーブルＣＡを介して制御機器３などの外部の通信装置と通信する。通信部１４は制御機器３との間で双方向の通信を行う。通信部１４はケーブルＣＡを介して、制御機器３と接続される。ケーブルＣＡの一例は、テザーケーブルである。通信部１４は、制御部１３が出力した画像情報を取得し、取得した画像情報を姿勢検出装置２へ送信する。通信部１４は、制御機器３が送信した網に対する水中ロボット１の相対角度の導出結果と網に対する水中ロボット１の相対距離の導出結果と制御情報とを受信する。
水中ロボット１の一例は水中ドローンである。水中ドローンはコンピュータ等の装置を含む潜水用のドローンによって実現される。水中ロボット１は例えば、撮像部１０とセンサ１１と動力系１２と制御部１３と通信部１４とを備える。
撮像部１０は、静止画、動画を撮像することによって、画像情報を生成する。本実施形態では、撮像部１０が、水中ロボット１の前面に搭載されている場合について説明を続ける。撮像部１０は、水中ロボット１の前面を撮像する。撮像部１０は、水中ロボット１が水中に設置された網の前面に移動した場合に、その網の少なくとも一部分を撮像する。
センサ１１は、深度センサと地磁気センサと水温センサとを含んで構成される。センサ１１は、深度センサ、地磁気センサ、水温センサ以外のセンサを含んで構成されてもよい。センサ１１は、深度を測定する。センサ１１は、方位、傾き、動き、衝撃、振動、進行方向などを測定する。センサ１１は、水温を測定する。
動力系１２は、水中ロボット１を海上、水中で航行させる。例えば動力系１２は複数のスラスタとモータとを含んで構成される。
制御部１３は、水中ロボット１の移動、通信などの水中ロボット１の動作全般の制御、管理を行う。制御部１３は、撮像部１０に撮像させ、撮像させることによって、撮像部１０が生成した画像情報を取得する。制御部１３は、取得した画像情報を、通信部１４から姿勢検出装置２へ送信する。制御部１３は、通信部１４が受信した網に対する水中ロボット１の相対角度の導出結果と網に対する水中ロボット１の相対距離の導出結果とを取得し、取得した網に対する水中ロボット１の相対角度の導出結果と網に対する水中ロボット１の相対距離の導出結果とに基づいて、動力系１２を制御する。また、制御部１３は、通信部１４が送信した制御情報を取得し、取得した制御情報に基づいて、動力系１２を制御する。
通信部１４は、通信モジュールによって実現される。通信部１４はケーブルＣＡを介して制御機器３などの外部の通信装置と通信する。通信部１４は制御機器３との間で双方向の通信を行う。通信部１４はケーブルＣＡを介して、制御機器３と接続される。ケーブルＣＡの一例は、テザーケーブルである。通信部１４は、制御部１３が出力した画像情報を取得し、取得した画像情報を姿勢検出装置２へ送信する。通信部１４は、制御機器３が送信した網に対する水中ロボット１の相対角度の導出結果と網に対する水中ロボット１の相対距離の導出結果と制御情報とを受信する。
【0012】
（姿勢検出装置２）
姿勢検出装置２は、パーソナルコンピュータ、サーバ、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。姿勢検出装置２は、受付部２０と網目部分検出部２１と相対角度導出部２２と相対距離導出部２３と通信部２４とを含んで構成される。
受付部２０は、通信部２４が受信した画像情報を受け付ける。網目部分検出部２１は、受付部２０が受け付けた画像情報を取得する。網目部分検出部２１は、複数の画像処理手法を用いて、取得した画像情報に含まれる網目部分の輪郭を検出する。ここで、網目部分の輪郭を検出する方法の一例について説明する。
図２は、網目部分の画像の例１を示す図である。図２は、網目部分検出部２１が、受付部２０から取得した画像情報に基づいて取得される画像の一例を示す。
網目部分検出部２１は、取得した画像情報に基づいて、画像をグレースケール変換することによって、ピクセルの標本値に光度以外の情報が含まれていない画像（以下「グレースケール画像」という）を生成する。
図３は、網目部分の画像の例２を示す図である。図３は、グレースケール画像の一例を示す。グレースケール画像は二値画像とは異なり、光が最も強い白から最も弱い黒までの間の灰色の明暗も含めて画像が表現される。
姿勢検出装置２は、パーソナルコンピュータ、サーバ、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。姿勢検出装置２は、受付部２０と網目部分検出部２１と相対角度導出部２２と相対距離導出部２３と通信部２４とを含んで構成される。
受付部２０は、通信部２４が受信した画像情報を受け付ける。網目部分検出部２１は、受付部２０が受け付けた画像情報を取得する。網目部分検出部２１は、複数の画像処理手法を用いて、取得した画像情報に含まれる網目部分の輪郭を検出する。ここで、網目部分の輪郭を検出する方法の一例について説明する。
図２は、網目部分の画像の例１を示す図である。図２は、網目部分検出部２１が、受付部２０から取得した画像情報に基づいて取得される画像の一例を示す。
網目部分検出部２１は、取得した画像情報に基づいて、画像をグレースケール変換することによって、ピクセルの標本値に光度以外の情報が含まれていない画像（以下「グレースケール画像」という）を生成する。
図３は、網目部分の画像の例２を示す図である。図３は、グレースケール画像の一例を示す。グレースケール画像は二値画像とは異なり、光が最も強い白から最も弱い黒までの間の灰色の明暗も含めて画像が表現される。
【0013】
網目部分検出部２１は、グレースケール画像のエッジ検出を行うことによって、明るさが不連続に変化している箇所を特定した画像（以下「エッジ検出画像」という）を生成する。
図４は、網目部分の画像の例３を示す図である。図４は、エッジ検出画像の一例を示す。エッジ検出画像では、グレースケール画像のエッジ検出を行うことによって、網以外の部分は黒、網の境界部分は白の２値で画像が表現される。
図４は、網目部分の画像の例３を示す図である。図４は、エッジ検出画像の一例を示す。エッジ検出画像では、グレースケール画像のエッジ検出を行うことによって、網以外の部分は黒、網の境界部分は白の２値で画像が表現される。
【0014】
網目部分検出部２１は、エッジ検出画像のノイズの除去と軽減とのいずれか一方又は両方を行う。ここでは、一例として、網目部分検出部２１が、エッジ検出画像にモルフォロジー変換を行う場合について説明を続ける。例えば、網目部分検出部２１は、エッジ変換画像に含まれる網の部分に対してモルフォロジー変換のクロージングを行うことによって、膨張の後に収縮させる処理を行った画像（以下「ノイズ軽減画像」という）を生成する。
図５は、網目部分の画像の例４を示す図である。図５は、ノイズ軽減画像の一例を示す。ノイズ軽減画像では、エッジ検出画像に含まれる網の部分にモルフォロジー変換が行われることによって、網目の境界がより鮮明となっている。
図５は、網目部分の画像の例４を示す図である。図５は、ノイズ軽減画像の一例を示す。ノイズ軽減画像では、エッジ検出画像に含まれる網の部分にモルフォロジー変換が行われることによって、網目の境界がより鮮明となっている。
【0015】
網目部分検出部２１は、ノイズ軽減画像に対し輪郭を検出した画像（以下「輪郭検出画像」という）を生成する。
図６は、網目部分の画像の例５を示す図である。図６は、輪郭検出画像の一例を示す。輪郭検出画像では、ノイズ軽減画像から輪郭が検出されることによって、網目部分に沿った輪郭が抽出されている。輪郭検出画像は、網目部分と網目部分以外の部分である背景部分とを含む。網目部分は、理想的には矩形形状の輪郭（以下「網目輪郭」という）が複数連続したものである。なお、網目輪郭には、矩形において、その一部が途切れているものも含む。以下、網目部分検出部２１が検出した複数の網目輪郭を網目輪郭群という。
図６は、網目部分の画像の例５を示す図である。図６は、輪郭検出画像の一例を示す。輪郭検出画像では、ノイズ軽減画像から輪郭が検出されることによって、網目部分に沿った輪郭が抽出されている。輪郭検出画像は、網目部分と網目部分以外の部分である背景部分とを含む。網目部分は、理想的には矩形形状の輪郭（以下「網目輪郭」という）が複数連続したものである。なお、網目輪郭には、矩形において、その一部が途切れているものも含む。以下、網目部分検出部２１が検出した複数の網目輪郭を網目輪郭群という。
【0016】
ここで、水中ロボット１の位置姿勢を導出するためには、ノイズ軽減画像から閉じた網目輪郭を検出する必要がある。しかし、網目部分検出部２１が検出した網目輪郭には、網目輪郭の一部が途切れているもの、ノイズの影響で誤検出されたもの、背景部分との色の差分が大きいことによって誤検出されたものが含まれている可能性がある。図６に示される輪郭検出画像には、輪郭検出画像の端の部分にみられるように、網目輪郭が途切れているものが含まれている。
そこで、網目部分検出部２１は、不良の網目輪郭を排除する処理を行ってもよい。具体的には、網目部分検出部２１は、検出した網目輪郭で囲まれている部分の面積を計算する。ここで、網目輪郭の一部が途切れていて面積を計算できない網目輪郭は排除する。網目部分検出部２１は、複数の網目輪郭の各々について網目輪郭で囲まれている部分の面積を計算した結果から、面積が面積閾値未満となる網目輪郭を排除する。例えば、網目部分検出部２１は、画質が１０８０ｐの場合に３００ｐｘ以下の網目輪郭を排除する。
図７は、網目部分の画像の例６を示す図である。図７は、複数の網目輪郭の各々について網目輪郭で囲まれている部分の面積を計算した結果に基づいて、面積が面積閾値未満となる不良の網目輪郭を排除することによって得られる画像（以下「網目輪郭画像」という）を示す。
そこで、網目部分検出部２１は、不良の網目輪郭を排除する処理を行ってもよい。具体的には、網目部分検出部２１は、検出した網目輪郭で囲まれている部分の面積を計算する。ここで、網目輪郭の一部が途切れていて面積を計算できない網目輪郭は排除する。網目部分検出部２１は、複数の網目輪郭の各々について網目輪郭で囲まれている部分の面積を計算した結果から、面積が面積閾値未満となる網目輪郭を排除する。例えば、網目部分検出部２１は、画質が１０８０ｐの場合に３００ｐｘ以下の網目輪郭を排除する。
図７は、網目部分の画像の例６を示す図である。図７は、複数の網目輪郭の各々について網目輪郭で囲まれている部分の面積を計算した結果に基づいて、面積が面積閾値未満となる不良の網目輪郭を排除することによって得られる画像（以下「網目輪郭画像」という）を示す。
【0017】
網目部分検出部２１は、網目輪郭画像に平行で、互いに直交するＸ軸とＹ軸とを設定する。例えば、図７に示すように、水平方向をＸ軸とし、Ｘ軸に垂直な方向をＹ軸とする。網目部分検出部２１は、網目輪郭群から、面積が面積閾値未満となる網目輪郭を排除した残りの網目輪郭について、ｘ座標が最大の点Ａ（Ｘｍａｘ）とｘ座標が最小の点Ｂ（Ｘｍｉｎ）とｙ座標が最大の点Ｃ（Ｙｍａｘ）とｙ座標が最小の点Ｄ（Ｙｍｉｎ）とを取得する。網目部分検出部２１は、各網目輪郭について、理想的な網目輪郭の形状はひし形となることから、算出した４点（Ａ（Ｘｍａｘ）、Ｂ（Ｘｍｉｎ）、Ｃ（Ｙｍａｘ）、Ｄ（Ｙｍｉｎ））を利用して、網目輪郭の各辺の傾きと長さとを導出する。
【0018】
図８は、網目輪郭の模式図である。図８は、一つの網目輪郭について、Ａ（Ｘｍａｘ）とＢ（Ｘｍｉｎ）とＣ（Ｙｍａｘ）とＤ（Ｙｍｉｎ）とを示す。網目部分検出部２１は、Ｂ（Ｘｍｉｎ）とＣ（Ｙｍａｘ）とを結んだ線の傾きとＤ（Ｙｍｉｎ）とＡ（Ｘｍａｘ）とを結んだ線の傾きとに基づいて、Ｂ（Ｘｍｉｎ）とＣ（Ｙｍａｘ）とを結んだ線とＤ（Ｙｍｉｎ）とＡ（Ｘｍａｘ）とを結んだ線との角度差（以下「第１角度差」という）を導出する。網目部分検出部２１は、導出した第１角度差が第１角度閾値以上である場合には、Ｂ（Ｘｍｉｎ）とＣ（Ｙｍａｘ）とを結んだ線とＤ（Ｙｍｉｎ）とＡ（Ｘｍａｘ）とを結んだ線とを含む不良の網目輪郭を排除する。
また、網目部分検出部２１は、Ａ（Ｘｍａｘ）とＣ（Ｙｍａｘ）とを結んだ線の傾きとＤ（Ｙｍｉｎ）とＢ（Ｘｍｉｎ）とを結んだ線の傾きとに基づいて、Ａ（Ｘｍａｘ）とＣ（Ｙｍａｘ）とを結んだ線とＤ（Ｙｍｉｎ）とＢ（Ｘｍｉｎ）とを結んだ線との角度差（以下「第２角度差」という）を導出する。網目部分検出部２１は、導出した第２角度差が第２角度閾値以上である場合には、Ａ（Ｘｍａｘ）とＣ（Ｙｍａｘ）とを結んだ線とＤ（Ｙｍｉｎ）とＢ（Ｘｍｉｎ）とを結んだ線とを含む不良の網目輪郭を排除する。ここで、第１角度差閾値と第２角度差閾値とは同じ値であってもよいし、異なる値であってもよい。
また、網目部分検出部２１は、Ａ（Ｘｍａｘ）とＣ（Ｙｍａｘ）とを結んだ線の傾きとＤ（Ｙｍｉｎ）とＢ（Ｘｍｉｎ）とを結んだ線の傾きとに基づいて、Ａ（Ｘｍａｘ）とＣ（Ｙｍａｘ）とを結んだ線とＤ（Ｙｍｉｎ）とＢ（Ｘｍｉｎ）とを結んだ線との角度差（以下「第２角度差」という）を導出する。網目部分検出部２１は、導出した第２角度差が第２角度閾値以上である場合には、Ａ（Ｘｍａｘ）とＣ（Ｙｍａｘ）とを結んだ線とＤ（Ｙｍｉｎ）とＢ（Ｘｍｉｎ）とを結んだ線とを含む不良の網目輪郭を排除する。ここで、第１角度差閾値と第２角度差閾値とは同じ値であってもよいし、異なる値であってもよい。
【0019】
網目部分検出部２１は、複数の網目輪郭の各々について、Ｂ（Ｘｍｉｎ）とＣ（Ｙｍａｘ）とを結んだ線の長さとＣ（Ｙｍａｘ）とＡ（Ｘｍａｘ）とを結んだ線の長さとＡ（Ｘｍａｘ）とＤ（Ｙｍｉｎ）とを結んだ線の長さとＤ（Ｙｍｉｎ）とＢ（Ｘｍｉｎ）とを結んだ線の長さとの四辺の長さを導出する。網目部分検出部２１は、導出した四辺の長さの比を導出する。網目部分検出部２１は、導出した四辺の長さの比に基づいて、四辺の長さの比が長さ比閾値以上である不良の網目輪郭を排除する。
【0020】
網目部分検出部２１は、四辺の長さの比が長さ比閾値以上である不良の網目輪郭を排除した残りの網目輪郭について、網目輪郭で囲まれた部分の面積を導出する。網目部分検出部２１は、導出した複数の面積の中央値を抽出する。網目部分検出部２１は、抽出した中央値に対して第１面積閾値より大きい面積を有する不良の網目輪郭を排除する。網目部分検出部２１は、抽出した中央値に対して第２面積閾値未満の面積を有する不良の網目輪郭を排除する。
【0021】
図９は、網目部分の画像の例７を示す図である。図９は、網目輪郭画像から、網目輪郭の各辺の傾きに基づいて不良の網目輪郭を排除し、各辺の長さに基づいて不良の網目輪郭を排除し、網目輪郭の面積に基づいて不良の網目輪郭を排除することによって得られる画像（以下「排除済網目輪郭画像」という）を示す。図９によれば、網目輪郭の四辺のうち対向する辺の角度差が角度閾値以上である不良の網目輪郭と、網目輪郭の四辺の長さの比が長さ比閾値以上である不良の網目輪郭と、網目輪郭で囲まれた部分の面積の中央値に対して第１面積閾値より大きい面積を有する不良の網目輪郭と、網目輪郭で囲まれた部分の面積の中央値に対して第２面積閾値未満の面積を有する不良の網目輪郭とが、網目輪郭画像から排除されている。
【0022】
相対角度導出部２２は、網目部分検出部２１が作成した排除済網目輪郭画像情報を取得する。相対角度導出部２２は、取得した排除済網目輪郭画像情報に基づいて、網に対する水中ロボット１の相対角度を導出する。相対角度導出部２２は、網目部分検出部２１が作成した排除済輪郭画像に含まれる網目輪郭群に基づいて、排除済輪郭画像のＸ軸方向に含まれる網目輪郭の数をカウントする。
図１０は、網目部分の画像の例８を示す図である。図１０は、図９に示される排除済網目輪郭画像に対して、排除済網目輪郭画像の中心点を基準として、右側に網目輪郭ｒ１から網目輪郭ｒ８を設定し、左側に網目輪郭ｌ１から網目輪郭ｌ１０、網目輪郭ｌ´１０を設定したものである。
相対角度導出部２２は、排除済網目輪郭画像の中心点を基準として、網目輪郭の重心のｘ座標が中心点よりも大きいもののうち重心が最も中心点に近い網目輪郭を網目輪郭ｒ１とし、網目輪郭の重心のｘ座標が網目輪郭ｒ１の重心よりも大きいもののうち重心が最も網目輪郭ｒ１に近い網目輪郭を網目輪郭ｒ２とし、網目輪郭の重心のｘ座標が網目輪郭ｒ２の重心よりも大きいもののうち重心が最も網目輪郭ｒ２に近い網目輪郭を網目輪郭ｒ３とする。以下同様にして、網目輪郭ｒ４から網目輪郭ｒ８を設定する。つまり、相対角度導出部２２は、網目輪郭ｒｎのＡ（Ｘｍａｘ）よりもＢ（Ｘｍｉｎ）のｘ座標が大きい輪郭のうち、網目輪郭ｒｎ（ｎは、ｎ＞０の整数）のＡ（Ｘｍａｘ）に最も近いＢ（Ｘｍｉｎ）を含む網目輪郭を選択することによって、網目輪郭ｒｎ＋１の網目輪郭を決定する。
図１０は、網目部分の画像の例８を示す図である。図１０は、図９に示される排除済網目輪郭画像に対して、排除済網目輪郭画像の中心点を基準として、右側に網目輪郭ｒ１から網目輪郭ｒ８を設定し、左側に網目輪郭ｌ１から網目輪郭ｌ１０、網目輪郭ｌ´１０を設定したものである。
相対角度導出部２２は、排除済網目輪郭画像の中心点を基準として、網目輪郭の重心のｘ座標が中心点よりも大きいもののうち重心が最も中心点に近い網目輪郭を網目輪郭ｒ１とし、網目輪郭の重心のｘ座標が網目輪郭ｒ１の重心よりも大きいもののうち重心が最も網目輪郭ｒ１に近い網目輪郭を網目輪郭ｒ２とし、網目輪郭の重心のｘ座標が網目輪郭ｒ２の重心よりも大きいもののうち重心が最も網目輪郭ｒ２に近い網目輪郭を網目輪郭ｒ３とする。以下同様にして、網目輪郭ｒ４から網目輪郭ｒ８を設定する。つまり、相対角度導出部２２は、網目輪郭ｒｎのＡ（Ｘｍａｘ）よりもＢ（Ｘｍｉｎ）のｘ座標が大きい輪郭のうち、網目輪郭ｒｎ（ｎは、ｎ＞０の整数）のＡ（Ｘｍａｘ）に最も近いＢ（Ｘｍｉｎ）を含む網目輪郭を選択することによって、網目輪郭ｒｎ＋１の網目輪郭を決定する。
【0023】
相対角度導出部２２は、排除済網目輪郭画像の中心点を基準として、網目輪郭の重心のｘ座標が中心点よりも小さいもののうち重心が最も中心点に近い網目輪郭を網目輪郭ｌ１とし、網目輪郭の重心のｘ座標が網目輪郭ｌ１の重心よりも小さいもののうち重心が最も網目輪郭ｌ１に近い網目輪郭を網目輪郭ｌ２とし、網目輪郭の重心のｘ座標が網目輪郭ｌ２の重心よりも小さいもののうち重心が最も網目輪郭ｌ２に近い網目輪郭を網目輪郭ｌ３とする。以下同様にして、網目輪郭ｌ４から網目輪郭ｌ１０を設定する。つまり、相対角度導出部２２は、網目輪郭ｌｍ（ｍは、ｍ＞０の整数）のＢ（Ｘｍｉｎ）よりもＡ（Ｘｍａｘ）のｘ座標が小さい輪郭のうち、網目輪郭ｌｍのＢ（Ｘｍｉｎ）に最も近いＡ（Ｘｍａｘ）を含む網目輪郭を選択することによって、網目輪郭ｌｍ＋１の網目輪郭を決定する。
相対角度導出部２２は図１０に示すように、網目部分検出部２１が不良の網目輪郭ｌ１０を選択した場合には、選択した網目輪郭ｌ１０の代わりに選択した網目輪郭ｌ１０に隣接する網目輪郭ｌ´１０を選択する。
相対角度導出部２２は図１０に示すように、網目部分検出部２１が不良の網目輪郭ｌ１０を選択した場合には、選択した網目輪郭ｌ１０の代わりに選択した網目輪郭ｌ１０に隣接する網目輪郭ｌ´１０を選択する。
【0024】
図１０に示される例では、排除済網目輪郭画像の中心点を基準として、左側に網目輪郭ｌ１から網目輪郭ｌ９と網目輪郭ｌ´１０の１０個の網目輪郭が選択され、右側に網目輪郭ｒ１から網目輪郭ｒ８の８個の網目輪郭が選択されている。図１０に示される例では、排除済網目輪郭画像の端部の網目輪郭でその一部が途切れているものはカウントされない。このため、相対角度導出部２２は、カウントされない網目輪郭を補償するための補正を行ってもよい。例えば、相対角度導出部２２は、網目輪郭ｒ８のＡ（Ｘｍａｘ）のｘ座標と網目輪郭ｌ´１０のＢ（Ｘｍｉｎ）のｘ座標とに基づいて、補正してもよい。具体的には、相対角度導出部２２は、網目輪郭ｒ８のＡ（Ｘｍａｘ）のｘ座標と網目輪郭ｌ´１０のＢ（Ｘｍｉｎ）のｘ座標とに基づいて、網目輪郭ｒ１から網目輪郭ｒ８と網目輪郭ｌ１から網目輪郭ｌ９と網目輪郭ｌ´１０とのＸ方向の長さの平均値を導出する。相対角度導出部２２は、導出した平均値に基づいて、カウントされていない網目輪郭のＸ軸方向の長さを導出する。このように構成することによって、カウントされていない網目輪郭を補償することができる。
【0025】
図１１は、相対角度を推定する処理の例１を示す図である。図１１は、網ＮＥと水中ロボット１とをＹ軸の正の方向からＹ軸の負の方向を見た図である。図１１において、姿勢検出装置２と制御機器３とは省略されている。水中ロボット１の網ＮＥに対する相対角度をθ［ｄｅｇ］とする。また、水中ロボット１の撮像部１０の画角を２α［ｄｅｇ］とする。撮像部１０は、中央軸（レンズ軸）から左側に角度α［ｄｅｇ］、右側に角度α［ｄｅｇ］分の領域を撮影できる。
網ＮＥにおいて、黒点は、網目輪郭に含まれるＡ（Ｘｍａｘ）又はＢ（Ｘｍｉｎ）を示している。つまり、網目輪郭は、黒点によって挟まれている領域で表される。図１１に示される例では、撮像部１０は、Ｘ軸方向に沿って、中央軸から左側に３個の網目輪郭を捉え、中心軸から右側に６個の網目輪郭を捉えている。
相対角度導出部２２は、排除済網目輪郭画像から、Ｘ軸方向に含まれる網目輪郭の数に基づいて、中央軸から左側の網目輪郭と、中央軸から右側の網目輪郭とをカウントする。ここで、撮像部１０が撮像していている網目輪郭の数の増加に応じて、撮像部１０が捉えている網ＮＥのＸ軸方向の長さが長くなる。このため、中央軸から左側に捉えられる網目輪郭の数と中央軸から右側に捉えられる網目輪郭の数との比は、排除済網目輪郭画像の中心点を基準として、左側の面に含まれる網ＮＥの長さと右側の面に含まれる網ＮＥの長さとの比となる。
網ＮＥにおいて、黒点は、網目輪郭に含まれるＡ（Ｘｍａｘ）又はＢ（Ｘｍｉｎ）を示している。つまり、網目輪郭は、黒点によって挟まれている領域で表される。図１１に示される例では、撮像部１０は、Ｘ軸方向に沿って、中央軸から左側に３個の網目輪郭を捉え、中心軸から右側に６個の網目輪郭を捉えている。
相対角度導出部２２は、排除済網目輪郭画像から、Ｘ軸方向に含まれる網目輪郭の数に基づいて、中央軸から左側の網目輪郭と、中央軸から右側の網目輪郭とをカウントする。ここで、撮像部１０が撮像していている網目輪郭の数の増加に応じて、撮像部１０が捉えている網ＮＥのＸ軸方向の長さが長くなる。このため、中央軸から左側に捉えられる網目輪郭の数と中央軸から右側に捉えられる網目輪郭の数との比は、排除済網目輪郭画像の中心点を基準として、左側の面に含まれる網ＮＥの長さと右側の面に含まれる網ＮＥの長さとの比となる。
【0026】
図１１には、排除済網目輪郭画像の中心点を基準として、左側の面に含まれる網ＮＥの長さを四角形で囲まれた「Ｌ」、右側の面に含まれる網ＮＥの長さを四角形で囲まれた「Ｒ」で表している。図１１において、角の二等分線の定理より、排除済網目輪郭画像の中心点を基準として、撮像部１０が捉えた網ＮＥの左端までの距離（三角形で囲まれた「Ｌ」で表す）と撮像部１０が捉えた網の右端までの距離（三角形で囲まれた「Ｒ」で表す）との比は、Ｌ：Ｒとなる。この関係と各角度の値とを用いて三角形の正弦定理を適用することによって、式（１）が成り立つ。ただし、Ｌ＜Ｒ、θ＜＝９０°－αの場合を想定している。
Ｒ／ｓｉｎ（９０°－α＋θ）＝Ｌ／ｓｉｎ（９０°－α－θ） （１）
式（１）を解くことによって、水中ロボット１の網ＮＥに対する相対角度θは式（２）となる。
θ＝ａｒｃｔａｎ（（Ｒ－Ｌ）／｛（Ｒ＋Ｌ）ｔａｎα｝） （２）
相対角度導出部２２は、式（２）により、水中ロボット１の網ＮＥに対する相対角度θを導出する。
ここでは、Ｌ＜Ｒ、θ＜＝９０°－αの場合を想定した場合について示したが、Ｌ＜Ｒ、θ＜＝９０°－αについても同様の方法で、水中ロボット１の網ＮＥに対する相対角度θを導出できるため、ここでの説明は省略する。
Ｒ／ｓｉｎ（９０°－α＋θ）＝Ｌ／ｓｉｎ（９０°－α－θ） （１）
式（１）を解くことによって、水中ロボット１の網ＮＥに対する相対角度θは式（２）となる。
θ＝ａｒｃｔａｎ（（Ｒ－Ｌ）／｛（Ｒ＋Ｌ）ｔａｎα｝） （２）
相対角度導出部２２は、式（２）により、水中ロボット１の網ＮＥに対する相対角度θを導出する。
ここでは、Ｌ＜Ｒ、θ＜＝９０°－αの場合を想定した場合について示したが、Ｌ＜Ｒ、θ＜＝９０°－αについても同様の方法で、水中ロボット１の網ＮＥに対する相対角度θを導出できるため、ここでの説明は省略する。
【0027】
水中ロボット１の網ＮＥに対する相対角度θが大きいため（θ＞９０°－α）、撮像部１０が網目輪郭全体を捉えられない場合には、相対角度導出部２２は、以下のようにして相対角度を求めてもよい。
図１２は、相対角度を推定する処理の例２を示す図である。図１２は、網ＮＥと水中ロボット１とをＹ軸の正の方向からＹ軸の負の方向を見た図である。図１２において、姿勢検出装置２と制御機器３とは省略されている。
水中ロボット１の網ＮＥに対する相対角度をθ［ｄｅｇ］とする。また、水中ロボット１の撮像部１０の画角を２α［ｄｅｇ］とする。撮像部１０は、中央軸（レンズ軸）から左側に角度α［ｄｅｇ］、右側に角度α［ｄｅｇ］分の領域を撮影できる。図１２において、網目輪郭に含まれるＡ（Ｘｍａｘ）又はＢ（Ｘｍｉｎ）を示す黒点は省略されている。
図１２に示されるように、撮像部１０が、中央軸（レンズ軸）から左側に角度α［ｄｅｇ］分の領域で網ＮＥの一部を捉えることができている場合について説明を続ける。相対角度導出部２２は、中央軸（レンズ軸）から左側の角度α［ｄｅｇ］をさらに二等分する。相対角度導出部２２は、排除済網目輪郭画像から、Ｘ軸方向に含まれる網目輪郭の数に基づいて、中央軸から左側に角度α／２［ｄｅｇ］分の領域に含まれる網目輪郭の数と、中央軸から左側に角度α／２［ｄｅｇ］から左側に角度α／２［ｄｅｇ］分の領域に含まれる網目輪郭の数とをカウントする。ここで、撮像部１０が撮像していている網目輪郭の数の増加に応じて、撮像部１０が捉えている網ＮＥのＸ軸方向の長さが長くなる。
図１２は、相対角度を推定する処理の例２を示す図である。図１２は、網ＮＥと水中ロボット１とをＹ軸の正の方向からＹ軸の負の方向を見た図である。図１２において、姿勢検出装置２と制御機器３とは省略されている。
水中ロボット１の網ＮＥに対する相対角度をθ［ｄｅｇ］とする。また、水中ロボット１の撮像部１０の画角を２α［ｄｅｇ］とする。撮像部１０は、中央軸（レンズ軸）から左側に角度α［ｄｅｇ］、右側に角度α［ｄｅｇ］分の領域を撮影できる。図１２において、網目輪郭に含まれるＡ（Ｘｍａｘ）又はＢ（Ｘｍｉｎ）を示す黒点は省略されている。
図１２に示されるように、撮像部１０が、中央軸（レンズ軸）から左側に角度α［ｄｅｇ］分の領域で網ＮＥの一部を捉えることができている場合について説明を続ける。相対角度導出部２２は、中央軸（レンズ軸）から左側の角度α［ｄｅｇ］をさらに二等分する。相対角度導出部２２は、排除済網目輪郭画像から、Ｘ軸方向に含まれる網目輪郭の数に基づいて、中央軸から左側に角度α／２［ｄｅｇ］分の領域に含まれる網目輪郭の数と、中央軸から左側に角度α／２［ｄｅｇ］から左側に角度α／２［ｄｅｇ］分の領域に含まれる網目輪郭の数とをカウントする。ここで、撮像部１０が撮像していている網目輪郭の数の増加に応じて、撮像部１０が捉えている網ＮＥのＸ軸方向の長さが長くなる。
【0028】
中央軸から左側に角度α／２［ｄｅｇ］分の領域に含まれる網目輪郭の数と中央軸から左側に角度α／２［ｄｅｇ］から左側に角度α／２［ｄｅｇ］分の領域に含まれる網目輪郭の数との比は、図１２の撮像部１０が捉えた排除済網目輪郭画像の左端までの距離（三角形で囲まれた「Ｌ」で表す）と撮像部１０が捉えた排除済網目輪郭画像の中心点までの距離（三角形で囲まれた「Ｒ」で表す）との比となる。この関係と、各角度の値を用いて三角形の正弦定理として以下の式（３）が成り立つ。ただし、Ｌ＜Ｒ、９０°－α＜θ＜９０°の場合を想定している。
Ｒ／ｓｉｎ（９０°－α＋θ）＝Ｌ／ｓｉｎ（９０°－θ） （３）
式（３）を解くと、水中ロボット１の網ＮＥに対する相対角度θは以下の式（４）のように求められる。
θ＝ａｒｃｔａｎ（（Ｒ－Ｌｃｏｓα）／（Ｌｓｉｎα）） （４）
ここでは、Ｌ＜Ｒ、９０°－α＜θ＜９０°の場合を想定した場合について示したが、Ｌ＞Ｒ、９０°－α＜θ＜９０°についても同様の方法で、水中ロボット１の網ＮＥに対する相対角度θを導出できるため、ここでの説明は省略する。
Ｒ／ｓｉｎ（９０°－α＋θ）＝Ｌ／ｓｉｎ（９０°－θ） （３）
式（３）を解くと、水中ロボット１の網ＮＥに対する相対角度θは以下の式（４）のように求められる。
θ＝ａｒｃｔａｎ（（Ｒ－Ｌｃｏｓα）／（Ｌｓｉｎα）） （４）
ここでは、Ｌ＜Ｒ、９０°－α＜θ＜９０°の場合を想定した場合について示したが、Ｌ＞Ｒ、９０°－α＜θ＜９０°についても同様の方法で、水中ロボット１の網ＮＥに対する相対角度θを導出できるため、ここでの説明は省略する。
【0029】
ここで、撮像部１０が網目輪郭全体を捉えられているかどうかは、排除済網目輪郭画像に含まれる水平方向の網目輪郭の分布を元に判断する。例えば、以下のように決定する。相対角度導出部２２は、排除済網目輪郭画像から、Ｘ軸方向に含まれる網目輪郭の数に基づいて、中央軸から左側の網目輪郭の数と、中央軸から右側の網目輪郭の数とをカウントする。中央軸から左側の網目輪郭の数のカウント結果をＮとし、中央軸から右側の網目輪郭の数のカウント結果をＭとする。排除済網目輪郭画像の水平方向の画素数をＷとする。
網目輪郭ｒＮのＡ（Ｘｍａｘ）のｘ座標から網目輪郭ｒＮー１のＡ（Ｘｍａｘ）のｘ座標を引いた値をＰｒとしたとき、相対角度導出部２２は、Ｗー（網目輪郭ｒＮのＡ（Ｘｍａｘ）のｘ座標）＜２Ｐｒの場合、中央軸から右側では網目全体を捉えられていると判定する。
同様に、網目輪郭ｌＭ－１のＢ（Ｘｍｉｎ）のｘ座標から網目輪郭ｌＭのＢ（Ｘｍｉｎ）のｘ座標を引いた値をＰｌとしたとき、相対角度導出部２２は、網目輪郭ｌＭのＢ（Ｘｍｉｎ）のｘ座標＜２Ｐｌの場合、中央軸から左側では網目全体を捉えられていると判定する。相対角度導出部２２は、左右両側で網目輪郭全体を捉えていると判定できた場合には、撮像部１０が網目輪郭全体を捉えていると判断し、θ＜＝９０°－αの場合の相対角度計算を行う。相対角度導出部２２は、網目輪郭ｌＭのＸｍｉｎのｘ座標≧２Ｐｌの場合、左側右側のいずれかで網目全体を捉えていると判断し、θ＞９０°－αの場合の相対角度計算を行う。
相対角度導出部２２は、水中ロボット１の網ＮＥに対する相対角度を示す情報を含む、水中ロボット１を宛先とする相対角度情報を作成する。相対角度導出部２２は、作成した相対角度情報を通信部２４へ出力する。
網目輪郭ｒＮのＡ（Ｘｍａｘ）のｘ座標から網目輪郭ｒＮー１のＡ（Ｘｍａｘ）のｘ座標を引いた値をＰｒとしたとき、相対角度導出部２２は、Ｗー（網目輪郭ｒＮのＡ（Ｘｍａｘ）のｘ座標）＜２Ｐｒの場合、中央軸から右側では網目全体を捉えられていると判定する。
同様に、網目輪郭ｌＭ－１のＢ（Ｘｍｉｎ）のｘ座標から網目輪郭ｌＭのＢ（Ｘｍｉｎ）のｘ座標を引いた値をＰｌとしたとき、相対角度導出部２２は、網目輪郭ｌＭのＢ（Ｘｍｉｎ）のｘ座標＜２Ｐｌの場合、中央軸から左側では網目全体を捉えられていると判定する。相対角度導出部２２は、左右両側で網目輪郭全体を捉えていると判定できた場合には、撮像部１０が網目輪郭全体を捉えていると判断し、θ＜＝９０°－αの場合の相対角度計算を行う。相対角度導出部２２は、網目輪郭ｌＭのＸｍｉｎのｘ座標≧２Ｐｌの場合、左側右側のいずれかで網目全体を捉えていると判断し、θ＞９０°－αの場合の相対角度計算を行う。
相対角度導出部２２は、水中ロボット１の網ＮＥに対する相対角度を示す情報を含む、水中ロボット１を宛先とする相対角度情報を作成する。相対角度導出部２２は、作成した相対角度情報を通信部２４へ出力する。
【0030】
相対距離導出部２３は、相対角度導出部２２が導出した網ＮＥに対する水中ロボット１の相対角度を示す情報を取得する。相対距離導出部２３は、網目部分検出部２１が作成した排除済網目輪郭画像情報を取得し、取得した排除済網目輪郭画像情報に基づいて、排除済網目輪郭画像の水平方向に含まれる網目輪郭の数Ｎｈをカウントする。相対距離導出部２３は、排除済網目輪郭画像の水平方向に含まれる網目輪郭の数Ｎｈのカウント結果と、取得した網ＮＥに対する水中ロボット１の相対角度とに基づいて、網ＮＥと水中ロボット１との距離を導出する。
【0031】
図１３は、網目輪郭の一例を示す図である。実際の網目輪郭の寸法として、ｐで示されるＡ（Ｘｍａｘ）とＢ（Ｘｍｉｎ）との間の長さを予め測定しておく。相対距離導出部２３は、取得した排除済網目輪郭画像情報に基づいて、排除済網目輪郭画像の水平方向に含まれる網目輪郭の数Ｎｈをカウントする。
例えば、相対距離導出部２３は、排除済網目輪郭画像の左端を基準として、網目輪郭の重心のｘ座標が中心点よりも大きいもののうち重心が最も左端に近い網目輪郭を網目輪郭ｒ１とし、網目輪郭の重心のｘ座標が網目輪郭ｒ１の重心よりも大きいもののうち重心が最も網目輪郭ｒ１に近い網目輪郭を網目輪郭ｒ２とし、網目輪郭の重心のｘ座標が網目輪郭ｒ２の重心よりも大きいもののうち重心が最も網目輪郭ｒ２に近い網目輪郭を網目輪郭ｒ３とする。以下同様にして、網目輪郭ｒ４以降を設定する。つまり、相対距離導出部２３は、網目輪郭ｒｎのＡ（Ｘｍａｘ）よりもＢ（Ｘｍｉｎ）のｘ座標が大きい輪郭のうち、網目輪郭ｒｎ（ｎは、ｎ＞０の整数）のＡ（Ｘｍａｘ）に最も近いＢ（Ｘｍｉｎ）を含む網目輪郭を選択することによって、網目輪郭ｒｎ＋１の網目輪郭を決定する。相対距離導出部２３は、設定した網目輪郭の数をカウントする。
例えば、相対距離導出部２３は、排除済網目輪郭画像の左端を基準として、網目輪郭の重心のｘ座標が中心点よりも大きいもののうち重心が最も左端に近い網目輪郭を網目輪郭ｒ１とし、網目輪郭の重心のｘ座標が網目輪郭ｒ１の重心よりも大きいもののうち重心が最も網目輪郭ｒ１に近い網目輪郭を網目輪郭ｒ２とし、網目輪郭の重心のｘ座標が網目輪郭ｒ２の重心よりも大きいもののうち重心が最も網目輪郭ｒ２に近い網目輪郭を網目輪郭ｒ３とする。以下同様にして、網目輪郭ｒ４以降を設定する。つまり、相対距離導出部２３は、網目輪郭ｒｎのＡ（Ｘｍａｘ）よりもＢ（Ｘｍｉｎ）のｘ座標が大きい輪郭のうち、網目輪郭ｒｎ（ｎは、ｎ＞０の整数）のＡ（Ｘｍａｘ）に最も近いＢ（Ｘｍｉｎ）を含む網目輪郭を選択することによって、網目輪郭ｒｎ＋１の網目輪郭を決定する。相対距離導出部２３は、設定した網目輪郭の数をカウントする。
【0032】
また、例えば、相対距離導出部２３は、排除済網目輪郭画像の右端を基準として、網目輪郭の重心のｘ座標が中心点よりも小さいもののうち重心が最も右端に近い網目輪郭を網目輪郭ｌ１とし、網目輪郭の重心のｘ座標が網目輪郭ｌ１の重心よりも小さいもののうち重心が最も網目輪郭ｌ１に最も近い網目輪郭を網目輪郭ｌ２とし、網目輪郭の重心のｘ座標が網目輪郭ｌ２の重心よりも小さいもののうち重心が最も網目輪郭ｌ２に近い網目輪郭を網目輪郭ｌ３とする。以下同様にして、網目輪郭ｌ４以降を設定する。つまり、相対角度導出部２２は、網目輪郭ｌｍ（ｍは、ｍ＞０の整数）のＢ（Ｘｍｉｎ）よりもＡ（Ｘｍａｘ）のｘ座標が小さい輪郭のうち、網目輪郭ｌｍのＢ（Ｘｍｉｎ）に最も近いＡ（Ｘｍａｘ）を含む網目輪郭を選択することによって、網目輪郭ｌｍ＋１の網目輪郭を決定する。
相対距離導出部２３は、不良の網目輪郭を選択した場合には、選択した網目輪郭の代わりに、選択した網目輪郭に隣接する網目輪郭を選択する。相対距離導出部２３は、設定した網目輪郭の数をカウントする。相対距離導出部２３は、網目輪郭のカウント結果に基づいて、網ＮＥの水平方向の長さを導出する。網ＮＥの水平方向の長さは、Ｎｈ×ｐで表される。
相対距離導出部２３は、不良の網目輪郭を選択した場合には、選択した網目輪郭の代わりに、選択した網目輪郭に隣接する網目輪郭を選択する。相対距離導出部２３は、設定した網目輪郭の数をカウントする。相対距離導出部２３は、網目輪郭のカウント結果に基づいて、網ＮＥの水平方向の長さを導出する。網ＮＥの水平方向の長さは、Ｎｈ×ｐで表される。
【0033】
図１４は、本実施形態に係る姿勢検出装置における相対距離を推定する処理の一例を示す図である。図１４は、網ＮＥと水中ロボット１とをＹ軸の正の方向からＹ軸の負の方向を見た図である。図１４において、姿勢検出装置２と制御機器３とは省略されている。
水中ロボット１の網ＮＥに対する相対角度をθ［ｄｅｇ］とする。また、水中ロボット１の撮像部１０の画角を２α［ｄｅｇ］とする。撮像部１０は、中央軸（レンズ軸）から左側に角度α［ｄｅｇ］、右側に角度α［ｄｅｇ］分の領域を撮影できる。
網ＮＥにおいて、黒点は、網目輪郭に含まれるＡ（Ｘｍａｘ）又はＢ（Ｘｍｉｎ）を示している。つまり、網目輪郭は、黒点によって挟まれている領域で表される。図１４に示される例では、撮像部１０は、Ｘ軸方向に沿って、中央軸から左側に３個の網目輪郭を捉え、中心軸から右側に６個の網目輪郭を捉えている。
Ｌ＜Ｒ、θ＜＝９０°－αのとき、図１４に示されるように、撮像部１０から網ＮＥまでの距離Ｃは正弦定理を用いて以下の式（５）と式（６）に示すように算出できる。
Ｃ／ｓｉｎ（９０°－α－θ）＝Ｎｈ×ｐ（Ｒ／Ｌ＋Ｒ）／ｓｉｎα （５）
Ｃ＝Ｎｈ×ｐ（Ｒ／Ｌ＋Ｒ）｛ｃｏｓ（α＋θ）／ｓｉｎα｝ （６）
Ｌ＜Ｒ、９０°－α＜θ＜９０°の場合も、同様の計算によって撮像部１０から網ＮＥまでの距離Ｃを算出することが可能であるため、ここでの説明は省略する。
相対距離導出部２３は、式（５）と式（６）とを使用して、撮像部１０と網ＮＥとの間の距離を導出する。また、撮像部１０から網ＮＥまでの垂直距離Ｈは、式（７）に示すように導出できる。
Ｈ＝Ｃｃｏｓθ （７）
相対距離導出部２３は、式（７）を使用して、撮像部１０から網ＮＥまでの垂直距離を導出する。
水中ロボット１の網ＮＥに対する相対角度をθ［ｄｅｇ］とする。また、水中ロボット１の撮像部１０の画角を２α［ｄｅｇ］とする。撮像部１０は、中央軸（レンズ軸）から左側に角度α［ｄｅｇ］、右側に角度α［ｄｅｇ］分の領域を撮影できる。
網ＮＥにおいて、黒点は、網目輪郭に含まれるＡ（Ｘｍａｘ）又はＢ（Ｘｍｉｎ）を示している。つまり、網目輪郭は、黒点によって挟まれている領域で表される。図１４に示される例では、撮像部１０は、Ｘ軸方向に沿って、中央軸から左側に３個の網目輪郭を捉え、中心軸から右側に６個の網目輪郭を捉えている。
Ｌ＜Ｒ、θ＜＝９０°－αのとき、図１４に示されるように、撮像部１０から網ＮＥまでの距離Ｃは正弦定理を用いて以下の式（５）と式（６）に示すように算出できる。
Ｃ／ｓｉｎ（９０°－α－θ）＝Ｎｈ×ｐ（Ｒ／Ｌ＋Ｒ）／ｓｉｎα （５）
Ｃ＝Ｎｈ×ｐ（Ｒ／Ｌ＋Ｒ）｛ｃｏｓ（α＋θ）／ｓｉｎα｝ （６）
Ｌ＜Ｒ、９０°－α＜θ＜９０°の場合も、同様の計算によって撮像部１０から網ＮＥまでの距離Ｃを算出することが可能であるため、ここでの説明は省略する。
相対距離導出部２３は、式（５）と式（６）とを使用して、撮像部１０と網ＮＥとの間の距離を導出する。また、撮像部１０から網ＮＥまでの垂直距離Ｈは、式（７）に示すように導出できる。
Ｈ＝Ｃｃｏｓθ （７）
相対距離導出部２３は、式（７）を使用して、撮像部１０から網ＮＥまでの垂直距離を導出する。
【0034】
相対距離導出部２３は、撮像部１０と制御機器３との間の距離を示す情報と撮像部１０から網ＮＥまでの垂直距離を示す情報とを含み、水中ロボット１を宛先とする相対距離情報を作成する。相対距離導出部２３は、作成した相対距離情報を通信部２４へ出力する。
通信部２４は、通信モジュールによって実現される。通信部２４はネットワークＮＷを介して外部の通信装置と通信する。通信部２４は例えば、有線で通信してもよい。また、通信部２４は、無線ＬＡＮ、ブルートゥース（登録商標）又はＬＴＥ（登録商標）などの無線通信方式で通信してもよい。通信部２４はネットワークＮＷを介して制御機器３と接続する。通信部２４は制御機器３が送信した画像情報を受信する。通信部２４は相対角度導出部２２が出力した相対角度情報を送信する。通信部２４は相対距離導出部２３が出力した相対距離情報を送信する。
前述した水中ロボット１の制御部１３と姿勢検出装置２の受付部２０と網目部分検出部２１と相対角度導出部２２と相対距離導出部２３とは、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部（図示なし）に格納されたアプリを実行することにより実現される機能部（以下、ソフトウェア機能部と称する）である。なお、制御部１３と受付部２０と網目部分検出部２１と相対角度導出部２２と相対距離導出部２３との全部または一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
通信部２４は、通信モジュールによって実現される。通信部２４はネットワークＮＷを介して外部の通信装置と通信する。通信部２４は例えば、有線で通信してもよい。また、通信部２４は、無線ＬＡＮ、ブルートゥース（登録商標）又はＬＴＥ（登録商標）などの無線通信方式で通信してもよい。通信部２４はネットワークＮＷを介して制御機器３と接続する。通信部２４は制御機器３が送信した画像情報を受信する。通信部２４は相対角度導出部２２が出力した相対角度情報を送信する。通信部２４は相対距離導出部２３が出力した相対距離情報を送信する。
前述した水中ロボット１の制御部１３と姿勢検出装置２の受付部２０と網目部分検出部２１と相対角度導出部２２と相対距離導出部２３とは、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部（図示なし）に格納されたアプリを実行することにより実現される機能部（以下、ソフトウェア機能部と称する）である。なお、制御部１３と受付部２０と網目部分検出部２１と相対角度導出部２２と相対距離導出部２３との全部または一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
【0035】
（制御機器３）
制御機器３は、パーソナルコンピュータ、サーバ、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。制御機器３は、ユーザーＵの操作に基づいて制御情報を作成し、作成した制御情報を水中ロボット１へ送信する。制御機器３は、姿勢検出装置２が送信した相対角度情報を受信し、受信した相対角度情報を水中ロボット１へ送信する。制御機器３は、姿勢検出装置２が送信した相対距離情報を受信し、受信した相対距離情報を水中ロボット１へ送信する。
制御機器３は、パーソナルコンピュータ、サーバ、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。制御機器３は、ユーザーＵの操作に基づいて制御情報を作成し、作成した制御情報を水中ロボット１へ送信する。制御機器３は、姿勢検出装置２が送信した相対角度情報を受信し、受信した相対角度情報を水中ロボット１へ送信する。制御機器３は、姿勢検出装置２が送信した相対距離情報を受信し、受信した相対距離情報を水中ロボット１へ送信する。
【0036】
（点検システムの動作）
図１５は、本実施形態に係る点検システムの動作の一例を示すシーケンスチャートである。
（ステップＳ１－１）
水中ロボット１において、撮像部１０は、水中ロボット１が水中に設置された網ＮＥの前面に移動した場合に、その網ＮＥの少なくとも一部分を撮像する。
（ステップＳ２－１）
水中ロボット１において、制御部１３は、撮像部１０が撮像することによって生成した画像情報を取得する。制御部１３は、取得した画像情報を、通信部１４へ出力する。
（ステップＳ３－１）
水中ロボット１において、通信部１４は、制御部１３が出力した画像情報を取得し、取得した画像情報を制御機器３へ送信する。
（ステップＳ４－１）
制御機器３は、水中ロボット１が送信した画像情報を受信し、受信した画像情報を、姿勢検出装置２へ送信する。
（ステップＳ５－１）
姿勢検出装置２において、通信部２４は、制御機器３が送信した画像情報を受信する。受付部２０は、通信部２４が受信した画像情報を取得する。
図１５は、本実施形態に係る点検システムの動作の一例を示すシーケンスチャートである。
（ステップＳ１－１）
水中ロボット１において、撮像部１０は、水中ロボット１が水中に設置された網ＮＥの前面に移動した場合に、その網ＮＥの少なくとも一部分を撮像する。
（ステップＳ２－１）
水中ロボット１において、制御部１３は、撮像部１０が撮像することによって生成した画像情報を取得する。制御部１３は、取得した画像情報を、通信部１４へ出力する。
（ステップＳ３－１）
水中ロボット１において、通信部１４は、制御部１３が出力した画像情報を取得し、取得した画像情報を制御機器３へ送信する。
（ステップＳ４－１）
制御機器３は、水中ロボット１が送信した画像情報を受信し、受信した画像情報を、姿勢検出装置２へ送信する。
（ステップＳ５－１）
姿勢検出装置２において、通信部２４は、制御機器３が送信した画像情報を受信する。受付部２０は、通信部２４が受信した画像情報を取得する。
【0037】
（ステップＳ６－１）
姿勢検出装置２において、網目部分検出部２１は、受付部２０へ入力された画像情報を取得する。網目部分検出部２１は、取得した画像情報に基づいて、画像をグレースケール変換することによってグレースケール画像を生成する。
（ステップＳ７－１）
姿勢検出装置２において、網目部分検出部２１は、グレースケール画像のエッジ検出を行うことによってエッジ検出画像を生成する。
（ステップＳ８－１）
姿勢検出装置２において、網目部分検出部２１は、エッジ検出画像のノイズの除去と軽減とのいずれか一方又は両方を行うことによってノイズ軽減画像を生成する。
（ステップＳ９－１）
姿勢検出装置２において、網目部分検出部２１は、ノイズ軽減画像に対し輪郭検出を行うことによって輪郭検出画像を取得する。
（ステップＳ１０－１）
姿勢検出装置２において、網目部分検出部２１は、網目輪郭画像から、網目輪郭の各辺の傾きに基づいて不良の網目輪郭を排除し、各辺の長さに基づいて不良の網目輪郭を排除し、網目輪郭の面積に基づいて不良の網目輪郭を排除することによって排除済網目輪郭画像を取得する。
姿勢検出装置２において、網目部分検出部２１は、受付部２０へ入力された画像情報を取得する。網目部分検出部２１は、取得した画像情報に基づいて、画像をグレースケール変換することによってグレースケール画像を生成する。
（ステップＳ７－１）
姿勢検出装置２において、網目部分検出部２１は、グレースケール画像のエッジ検出を行うことによってエッジ検出画像を生成する。
（ステップＳ８－１）
姿勢検出装置２において、網目部分検出部２１は、エッジ検出画像のノイズの除去と軽減とのいずれか一方又は両方を行うことによってノイズ軽減画像を生成する。
（ステップＳ９－１）
姿勢検出装置２において、網目部分検出部２１は、ノイズ軽減画像に対し輪郭検出を行うことによって輪郭検出画像を取得する。
（ステップＳ１０－１）
姿勢検出装置２において、網目部分検出部２１は、網目輪郭画像から、網目輪郭の各辺の傾きに基づいて不良の網目輪郭を排除し、各辺の長さに基づいて不良の網目輪郭を排除し、網目輪郭の面積に基づいて不良の網目輪郭を排除することによって排除済網目輪郭画像を取得する。
【0038】
（ステップＳ１１－１）
姿勢検出装置２において、相対角度導出部２２は、網目部分検出部２１が作成した排除済輪郭画像に含まれる網目輪郭群に基づいて、排除済輪郭画像のＸ軸方向に含まれる網目輪郭の数をカウントする。
（ステップＳ１２－１）
姿勢検出装置２において、相対角度導出部２２は、排除済網目輪郭画像から、Ｘ軸方向に含まれる網目輪郭の数に基づいて、中央軸から左側の網目輪郭と、中央軸から右側の網目輪郭とをカウントする。相対角度導出部２２は、中央軸から左側の網目輪郭のカウント結果と、中央軸から右側の網目輪郭のカウント結果とに基づいて、水中ロボット１の網ＮＥに対する相対角度θを導出する。
（ステップＳ１３－１）
姿勢検出装置２において、相対角度導出部２２は、水中ロボット１の網ＮＥに対する相対角度θを示す情報を含む、水中ロボット１を宛先とする相対角度情報を作成する。
（ステップＳ１４－１）
姿勢検出装置２において、相対角度導出部２２は、作成した相対角度情報を通信部２４へ出力する。通信部２４は、相対角度導出部２２が出力した相対角度情報を取得し、取得した相対角度情報を送信する。
（ステップＳ１５－１）
制御機器３は、姿勢検出装置２が送信した相対角度情報を受信する。制御機器３は、受信した相対角度情報を、水中ロボット１へ送信する。
姿勢検出装置２において、相対角度導出部２２は、網目部分検出部２１が作成した排除済輪郭画像に含まれる網目輪郭群に基づいて、排除済輪郭画像のＸ軸方向に含まれる網目輪郭の数をカウントする。
（ステップＳ１２－１）
姿勢検出装置２において、相対角度導出部２２は、排除済網目輪郭画像から、Ｘ軸方向に含まれる網目輪郭の数に基づいて、中央軸から左側の網目輪郭と、中央軸から右側の網目輪郭とをカウントする。相対角度導出部２２は、中央軸から左側の網目輪郭のカウント結果と、中央軸から右側の網目輪郭のカウント結果とに基づいて、水中ロボット１の網ＮＥに対する相対角度θを導出する。
（ステップＳ１３－１）
姿勢検出装置２において、相対角度導出部２２は、水中ロボット１の網ＮＥに対する相対角度θを示す情報を含む、水中ロボット１を宛先とする相対角度情報を作成する。
（ステップＳ１４－１）
姿勢検出装置２において、相対角度導出部２２は、作成した相対角度情報を通信部２４へ出力する。通信部２４は、相対角度導出部２２が出力した相対角度情報を取得し、取得した相対角度情報を送信する。
（ステップＳ１５－１）
制御機器３は、姿勢検出装置２が送信した相対角度情報を受信する。制御機器３は、受信した相対角度情報を、水中ロボット１へ送信する。
【0039】
（ステップＳ１６－１）
姿勢検出装置２において、相対距離導出部２３は、相対角度導出部２２が導出した網ＮＥに対する水中ロボット１の相対角度を示す情報を取得する。相対距離導出部２３は、網目部分検出部２１が作成した排除済網目輪郭画像情報を取得し、取得した排除済網目輪郭画像情報に基づいて、排除済網目輪郭画像の水平方向に含まれる網目輪郭の数Ｎｈをカウントする。相対距離導出部２３は、排除済網目輪郭画像の水平方向に含まれる網目輪郭の数Ｎｈのカウント結果と、取得した網ＮＥに対する水中ロボット１の相対角度とに基づいて、網ＮＥと水中ロボット１との距離を導出する。相対距離導出部２３は、撮像部１０から網ＮＥまでの垂直距離を導出する。
（ステップＳ１７－１）
姿勢検出装置２において、相対距離導出部２３は、撮像部１０と制御機器３との間の距離を示す情報と撮像部１０から網ＮＥまでの垂直距離を示す情報とを含み、水中ロボット１を宛先とする相対距離情報を作成する。
（ステップＳ１８－１）
姿勢検出装置２において、相対距離導出部２３は、作成した相対距離情報を通信部２４へ出力する。通信部２４は、相対距離導出部２３が出力した相対距離情報を取得し、取得した相対距離情報を送信する。
（ステップＳ１９－１）
制御機器３は、姿勢検出装置２が送信した相対距離情報を受信する。制御機器３は、受信した相対距離情報を、水中ロボット１へ送信する。
（ステップＳ２０－１）
水中ロボット１において、通信部１４は制御機器３が送信した相対角度情報と相対距離情報とを受信する。
（ステップＳ２1－１）
水中ロボット１において、制御部１３は通信部１４が受信した相対角度情報と相対距離情報とを取得する。制御部１３は、取得した相対角度情報と相対距離情報とに基づいて、水中ロボット１を制御するための制御情報を作成する。制御部１３は、作成した制御情報を動力系１２へ出力する。動力系１２は、制御部１３が出力した制御情報に基づいて、駆動する。これによって、水中ロボット１は自律的に動作する。
姿勢検出装置２において、相対距離導出部２３は、相対角度導出部２２が導出した網ＮＥに対する水中ロボット１の相対角度を示す情報を取得する。相対距離導出部２３は、網目部分検出部２１が作成した排除済網目輪郭画像情報を取得し、取得した排除済網目輪郭画像情報に基づいて、排除済網目輪郭画像の水平方向に含まれる網目輪郭の数Ｎｈをカウントする。相対距離導出部２３は、排除済網目輪郭画像の水平方向に含まれる網目輪郭の数Ｎｈのカウント結果と、取得した網ＮＥに対する水中ロボット１の相対角度とに基づいて、網ＮＥと水中ロボット１との距離を導出する。相対距離導出部２３は、撮像部１０から網ＮＥまでの垂直距離を導出する。
（ステップＳ１７－１）
姿勢検出装置２において、相対距離導出部２３は、撮像部１０と制御機器３との間の距離を示す情報と撮像部１０から網ＮＥまでの垂直距離を示す情報とを含み、水中ロボット１を宛先とする相対距離情報を作成する。
（ステップＳ１８－１）
姿勢検出装置２において、相対距離導出部２３は、作成した相対距離情報を通信部２４へ出力する。通信部２４は、相対距離導出部２３が出力した相対距離情報を取得し、取得した相対距離情報を送信する。
（ステップＳ１９－１）
制御機器３は、姿勢検出装置２が送信した相対距離情報を受信する。制御機器３は、受信した相対距離情報を、水中ロボット１へ送信する。
（ステップＳ２０－１）
水中ロボット１において、通信部１４は制御機器３が送信した相対角度情報と相対距離情報とを受信する。
（ステップＳ２1－１）
水中ロボット１において、制御部１３は通信部１４が受信した相対角度情報と相対距離情報とを取得する。制御部１３は、取得した相対角度情報と相対距離情報とに基づいて、水中ロボット１を制御するための制御情報を作成する。制御部１３は、作成した制御情報を動力系１２へ出力する。動力系１２は、制御部１３が出力した制御情報に基づいて、駆動する。これによって、水中ロボット１は自律的に動作する。
【0040】
前述した実施形態では、姿勢検出装置２と制御機器３とを別々の装置として説明したが、この例に限られない。例えば、姿勢検出装置２を制御機器３に組み込んでもよいし、姿勢検出装置２を水中ロボット１に組み込んでもよい。
前述した実施形態では、網目輪郭画像から、網目輪郭の各辺の傾きに基づいて不良の網目輪郭を排除し、各辺の長さに基づいて不良の網目輪郭を排除し、網目輪郭の面積に基づいて不良の網目輪郭を排除することによって排除済網目輪郭画像を取得する場合について説明したが、この例に限られない。例えば、網目輪郭画像から、網目輪郭の各辺の傾きと、各辺の長さと、網目輪郭の面積との少なくとも一つに基づいて、不良の網目輪郭を排除することによって排除済網目輪郭画像を取得してもよい。
前述した実施形態では、姿勢検出装置２の相対距離導出部２３が、排除済網目輪郭画像の右端又は左端を基準として、網目輪郭を設定する場合について説明したが、この例に限られない。例えば、相対距離導出部２３が、排除済網目輪郭画像の中心を基準として、網目輪郭を設定してもよい。
前述した実施形態では、網目輪郭画像から、網目輪郭の各辺の傾きに基づいて不良の網目輪郭を排除し、各辺の長さに基づいて不良の網目輪郭を排除し、網目輪郭の面積に基づいて不良の網目輪郭を排除することによって排除済網目輪郭画像を取得する場合について説明したが、この例に限られない。例えば、網目輪郭画像から、網目輪郭の各辺の傾きと、各辺の長さと、網目輪郭の面積との少なくとも一つに基づいて、不良の網目輪郭を排除することによって排除済網目輪郭画像を取得してもよい。
前述した実施形態では、姿勢検出装置２の相対距離導出部２３が、排除済網目輪郭画像の右端又は左端を基準として、網目輪郭を設定する場合について説明したが、この例に限られない。例えば、相対距離導出部２３が、排除済網目輪郭画像の中心を基準として、網目輪郭を設定してもよい。
【0041】
実施形態に係る点検システムによれば、点検システム１００は水中を点検し、撮像部１０と、撮像部１０が撮像した水中の網ＮＥの画像情報を受け付ける受付部２０と、受付部２０が受け付けた画像情報に基づいて、画像に含まれる網目の輪郭を検出する検出部（実施形態では、網目部分検出部２１）と、検出部が検出した画像に含まれる網目の輪郭に基づいて、網ＮＥを撮像した水中ロボット１の網ＮＥに対する位置姿勢を導出する導出部（実施形態では、相対角度導出部２２と相対距離導出部２３）とを備える。
このように構成することによって、水中ロボット１が標準で搭載する撮像部１０が撮像した画像から、網目の輪郭を検出できるため、検出した網目の輪郭に基づいて定置網や養殖場で用いられる網ＮＥに対する水中ロボット１の位置姿勢を導出できる。このため、定置網や養殖場において、網ＮＥの点検や魚の生育状況確認を水中ロボットによる自律航行で行うことができる。また、従来技術とはことなり、予めモデルを生成するステップが省略できるため、より汎用性と利便性とを向上できる。また、複眼カメラを使用することなく単眼カメラで実現できるため、普及する低価格帯の水中ドローンを使用できる。従来の位置推定技術は、音響測位を用いるものが多く、大規模で高額なものとなるため定置網漁や養殖での点検用途としては導入が難しい。本実施形態に係る点検システム１００では、水中ロボット１に搭載された撮像部１０が撮像した網ＮＥの画像に基づいて、網目の特徴に着目した位置姿勢を導出できる。
このように構成することによって、水中ロボット１が標準で搭載する撮像部１０が撮像した画像から、網目の輪郭を検出できるため、検出した網目の輪郭に基づいて定置網や養殖場で用いられる網ＮＥに対する水中ロボット１の位置姿勢を導出できる。このため、定置網や養殖場において、網ＮＥの点検や魚の生育状況確認を水中ロボットによる自律航行で行うことができる。また、従来技術とはことなり、予めモデルを生成するステップが省略できるため、より汎用性と利便性とを向上できる。また、複眼カメラを使用することなく単眼カメラで実現できるため、普及する低価格帯の水中ドローンを使用できる。従来の位置推定技術は、音響測位を用いるものが多く、大規模で高額なものとなるため定置網漁や養殖での点検用途としては導入が難しい。本実施形態に係る点検システム１００では、水中ロボット１に搭載された撮像部１０が撮像した網ＮＥの画像に基づいて、網目の特徴に着目した位置姿勢を導出できる。
【0042】
また、導出部は、水中ロボット１の網ＮＥに対する相対角度を導出する。このように構成することによって、水中ロボット１が標準で搭載する撮像部１０が撮像した画像から検出される網目の輪郭に基づいて水中ロボット１の網ＮＥに対する相対角度を導出できる。
また、導出部は、画像の左端と右端との両方に網ＮＥが撮像されている場合に、検出部が検出した画像に含まれる網目の輪郭に基づいて、画像の中心を基準として、基準から画像の右端までの長さと、基準から画像から右端までの長さとに基づいて、水中ロボット１の網ＮＥに対する相対角度を導出する。このように構成することによって、画像の中心を基準として、基準から画像の右端までの長さと、基準から画像から右端までの長さとに基づいて水中ロボット１の網ＮＥに対する相対角度を導出できる。
また、導出部は、水中ロボット１の網ＮＥに対する相対距離を導出する。このように構成することによって、水中ロボット１が標準で搭載する撮像部１０が撮像した画像から検出される網目の輪郭に基づいて水中ロボット１の網ＮＥに対する相対距離を導出できる。
また、導出部は、相対角度と画像の左端と右端との間の距離に基づいて、水中ロボット１の網ＮＥに対する相対距離を導出する。このように構成することによって、水中ロボット１の網ＮＥに対する相対角度と、水中ロボット１が標準で搭載する撮像部１０が撮像した画像の左端と右端との間の距離とに基づいて水中ロボット１の網ＮＥに対する相対距離を導出できる。
また、導出部は、画像の左端と右端との両方に網ＮＥが撮像されている場合に、検出部が検出した画像に含まれる網目の輪郭に基づいて、画像の中心を基準として、基準から画像の右端までの長さと、基準から画像から右端までの長さとに基づいて、水中ロボット１の網ＮＥに対する相対角度を導出する。このように構成することによって、画像の中心を基準として、基準から画像の右端までの長さと、基準から画像から右端までの長さとに基づいて水中ロボット１の網ＮＥに対する相対角度を導出できる。
また、導出部は、水中ロボット１の網ＮＥに対する相対距離を導出する。このように構成することによって、水中ロボット１が標準で搭載する撮像部１０が撮像した画像から検出される網目の輪郭に基づいて水中ロボット１の網ＮＥに対する相対距離を導出できる。
また、導出部は、相対角度と画像の左端と右端との間の距離に基づいて、水中ロボット１の網ＮＥに対する相対距離を導出する。このように構成することによって、水中ロボット１の網ＮＥに対する相対角度と、水中ロボット１が標準で搭載する撮像部１０が撮像した画像の左端と右端との間の距離とに基づいて水中ロボット１の網ＮＥに対する相対距離を導出できる。
【0043】
また、導出部は、画像の左端と右端とのいずれか一方に網ＮＥが撮像されていない場合に、検出部が検出した画像に含まれる網目の輪郭に基づいて、画像の中心を基準として、基準から網ＮＥが撮像されている一端までの長さのうち、撮像部１０の画角を分割した角度で撮像できる長さに基づいて、水中ロボット１の網ＮＥに対する相対角度を導出する。このように構成することによって、基準から網ＮＥが撮像されている一端までの長さのうち、撮像部１０の画角を分割した角度で撮像できる長さに基づいて水中ロボット１の網ＮＥに対する相対角度を導出できる。
また、導出部は、相対角度と基準から網ＮＥが撮像されている一端までの長さに基づいて、水中ロボット１の網ＮＥに対する相対距離を導出する。このように構成することによって、水中ロボット１の網ＮＥに対する相対角度と、水中ロボット１が標準で搭載する撮像部１０が撮像した基準から網ＮＥが撮像されている一端までの長さに基づいて水中ロボット１の網ＮＥに対する相対距離を導出できる。
また、導出部は、相対角度と基準から網ＮＥが撮像されている一端までの長さに基づいて、水中ロボット１の網ＮＥに対する相対距離を導出する。このように構成することによって、水中ロボット１の網ＮＥに対する相対角度と、水中ロボット１が標準で搭載する撮像部１０が撮像した基準から網ＮＥが撮像されている一端までの長さに基づいて水中ロボット１の網ＮＥに対する相対距離を導出できる。
【0044】
（実施形態の変形例）
図１６は、実施形態の変形例に係る点検システムの構成例を示す図である。実施形態の変形例に係る点検システム１００ａは、点検システム１００と比較して姿勢検出装置２の代わりに姿勢検出装置２ａを備える点で異なる。
（姿勢検出装置２ａ）
姿勢検出装置２ａは、パーソナルコンピュータ、サーバ、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。姿勢検出装置２ａは、受付部２０と網目部分検出部２１ａと相対角度導出部２２と相対距離導出部２３と通信部２４と学習部２５とを含んで構成される。
網目部分検出部２１ａは、網目部分検出部２１を適用できる。ただし、網目部分検出部２１ａは、作成した排除済網目輪郭画像情報に基づいて、排除済網目輪郭画像を分割するサイズにしたがって分割する。排除済網目輪郭画像を分割するサイズを「学習用画像分割サイズ」という。学習用画像分割サイズは、「５０ピクセル×５０ピクセル」や、「１００ピクセル×１００ピクセル」等、ピクセルで表されてもよいし、網目輪郭毎に分割してもよい。ここでは、網目輪郭毎に分割した場合について説明を続ける。例えば、網目部分検出部２１ａは、オープンシーヴィ(OpenCV: Open Source Computer Vision Library)等のオープンソースのコンピュータビジョン向けライブラリを使用した画像処理を行うことによって排除済網目輪郭画像を学習用画像分割サイズに分割する。以下、排除済網目輪郭画像を分割することによって得られる複数の画像の各々を「学習用分割画像」という。学習用分割画像は、排除済網目輪郭画像を網目輪郭毎に分割したものであるため、網目輪郭が含まれる。
学習部２５は、網目部分検出部２１ａが作成した複数の学習用分割画像を取得する。学習部２５は、学習用分割画像を機械学習することによって特徴量を抽出する。例えば、学習部２５は、複数の学習用分割画像の各々を畳み込みニューラルネットワークなどの機械学習を行うことによって、特徴量を抽出する。学習部２５は、複数の学習用分割画像を解析し、複数の学習用分割画像から有用な規則、判断基準等の特徴量を抽出する。排除済網目輪郭画像には排除されなかった網目輪郭が含まれるので、学習部２５が学習用分割画像を機械学習することによって、排除されなかった網目輪郭の特徴量が抽出される。学習部２５は、抽出した特徴量を表す学習データを記憶する。
網目部分検出部２１ａは、前述した処理を行うことによって、輪郭検出画像を生成する。網目部分検出部２１ａは、生成した輪郭検出画像を分割サイズに分割することによって分割画像を取得する。ここで、分割サイズは、学習用画像分割サイズと同じサイズである。ここで、網目部分検出部２１ａは、網目輪郭を含むように輪郭検出画像を分割サイズに分割する。網目部分検出部２１ａは、複数の分割画像の各々について、輪郭検出画像における位置を記憶する。網目部分検出部２１ａは、学習部２５に記憶された学習データを取得する。そして、網目部分検出部２１ａは、学習データに基づいて、輪郭検出画像を分割することによって得られた複数の分割画像の良否を判定する。ここで、画像の良否は、良の場合には排除されないことであり、否の場合には排除されることである。網目部分検出部２１ａは、複数の分割画像のうち否と判定された分割画像に該当する輪郭検出画像における位置を特定し、特定した位置の網目輪郭を排除することによって、排除済輪郭画像を生成する。
図１６は、実施形態の変形例に係る点検システムの構成例を示す図である。実施形態の変形例に係る点検システム１００ａは、点検システム１００と比較して姿勢検出装置２の代わりに姿勢検出装置２ａを備える点で異なる。
（姿勢検出装置２ａ）
姿勢検出装置２ａは、パーソナルコンピュータ、サーバ、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。姿勢検出装置２ａは、受付部２０と網目部分検出部２１ａと相対角度導出部２２と相対距離導出部２３と通信部２４と学習部２５とを含んで構成される。
網目部分検出部２１ａは、網目部分検出部２１を適用できる。ただし、網目部分検出部２１ａは、作成した排除済網目輪郭画像情報に基づいて、排除済網目輪郭画像を分割するサイズにしたがって分割する。排除済網目輪郭画像を分割するサイズを「学習用画像分割サイズ」という。学習用画像分割サイズは、「５０ピクセル×５０ピクセル」や、「１００ピクセル×１００ピクセル」等、ピクセルで表されてもよいし、網目輪郭毎に分割してもよい。ここでは、網目輪郭毎に分割した場合について説明を続ける。例えば、網目部分検出部２１ａは、オープンシーヴィ(OpenCV: Open Source Computer Vision Library)等のオープンソースのコンピュータビジョン向けライブラリを使用した画像処理を行うことによって排除済網目輪郭画像を学習用画像分割サイズに分割する。以下、排除済網目輪郭画像を分割することによって得られる複数の画像の各々を「学習用分割画像」という。学習用分割画像は、排除済網目輪郭画像を網目輪郭毎に分割したものであるため、網目輪郭が含まれる。
学習部２５は、網目部分検出部２１ａが作成した複数の学習用分割画像を取得する。学習部２５は、学習用分割画像を機械学習することによって特徴量を抽出する。例えば、学習部２５は、複数の学習用分割画像の各々を畳み込みニューラルネットワークなどの機械学習を行うことによって、特徴量を抽出する。学習部２５は、複数の学習用分割画像を解析し、複数の学習用分割画像から有用な規則、判断基準等の特徴量を抽出する。排除済網目輪郭画像には排除されなかった網目輪郭が含まれるので、学習部２５が学習用分割画像を機械学習することによって、排除されなかった網目輪郭の特徴量が抽出される。学習部２５は、抽出した特徴量を表す学習データを記憶する。
網目部分検出部２１ａは、前述した処理を行うことによって、輪郭検出画像を生成する。網目部分検出部２１ａは、生成した輪郭検出画像を分割サイズに分割することによって分割画像を取得する。ここで、分割サイズは、学習用画像分割サイズと同じサイズである。ここで、網目部分検出部２１ａは、網目輪郭を含むように輪郭検出画像を分割サイズに分割する。網目部分検出部２１ａは、複数の分割画像の各々について、輪郭検出画像における位置を記憶する。網目部分検出部２１ａは、学習部２５に記憶された学習データを取得する。そして、網目部分検出部２１ａは、学習データに基づいて、輪郭検出画像を分割することによって得られた複数の分割画像の良否を判定する。ここで、画像の良否は、良の場合には排除されないことであり、否の場合には排除されることである。網目部分検出部２１ａは、複数の分割画像のうち否と判定された分割画像に該当する輪郭検出画像における位置を特定し、特定した位置の網目輪郭を排除することによって、排除済輪郭画像を生成する。
【0045】
（点検システムの動作）
図１７は、実施形態の変形例に係る点検システムの動作の一例を示すシーケンスチャートである。図１７では、学習部２５が、学習データを記憶した後の動作について説明する。
ステップＳ１－２からＳ９－２は、図１５のステップＳ１－１からＳ９－１を適用できる。
（ステップＳ９－２）
姿勢検出装置２ａにおいて、網目部分検出部２１ａは、生成した輪郭検出画像を分割サイズに分割することによって分割画像を取得する。網目部分検出部２１ａは、複数の分割画像の各々について、輪郭検出画像における位置を記憶する。網目部分検出部２１ａは、学習部２５に記憶された学習データを取得する。網目部分検出部２１ａは、学習データに基づいて、輪郭検出画像を分割することによって得られた複数の分割画像の良否を判定する。網目部分検出部２１ａは、複数の分割画像のうち否と判定された分割画像に該当する輪郭検出画像における位置を特定し、特定した位置の網目輪郭を排除することによって、排除済輪郭画像を生成する。ステップＳ１０－２からＳ２１－２は、図１５のステップＳ１０－１からＳ２１－１を適用できる。
前述した実施形態の変形例において、網目部分検出部２１ａは、学習データに基づいて、複数の分割画像の良否を判定し、否と判定された分割画像に該当する輪郭検出画像における位置の網目輪郭を排除することに加えて、網目輪郭の各辺の傾きに基づいて不良の網目輪郭を排除し、各辺の長さに基づいて不良の網目輪郭を排除し、網目輪郭の面積に基づいて不良の網目輪郭を排除してもよい。
図１７は、実施形態の変形例に係る点検システムの動作の一例を示すシーケンスチャートである。図１７では、学習部２５が、学習データを記憶した後の動作について説明する。
ステップＳ１－２からＳ９－２は、図１５のステップＳ１－１からＳ９－１を適用できる。
（ステップＳ９－２）
姿勢検出装置２ａにおいて、網目部分検出部２１ａは、生成した輪郭検出画像を分割サイズに分割することによって分割画像を取得する。網目部分検出部２１ａは、複数の分割画像の各々について、輪郭検出画像における位置を記憶する。網目部分検出部２１ａは、学習部２５に記憶された学習データを取得する。網目部分検出部２１ａは、学習データに基づいて、輪郭検出画像を分割することによって得られた複数の分割画像の良否を判定する。網目部分検出部２１ａは、複数の分割画像のうち否と判定された分割画像に該当する輪郭検出画像における位置を特定し、特定した位置の網目輪郭を排除することによって、排除済輪郭画像を生成する。ステップＳ１０－２からＳ２１－２は、図１５のステップＳ１０－１からＳ２１－１を適用できる。
前述した実施形態の変形例において、網目部分検出部２１ａは、学習データに基づいて、複数の分割画像の良否を判定し、否と判定された分割画像に該当する輪郭検出画像における位置の網目輪郭を排除することに加えて、網目輪郭の各辺の傾きに基づいて不良の網目輪郭を排除し、各辺の長さに基づいて不良の網目輪郭を排除し、網目輪郭の面積に基づいて不良の網目輪郭を排除してもよい。
【0046】
実施形態の変形例に係る点検システムによれば、点検システム１００ａは水中を点検し、撮像部１０と、撮像部１０が撮像した水中の網ＮＥの画像情報を受け付ける受付部２０と、受付部２０が受け付けた画像情報に基づいて、画像に含まれる網目の輪郭を検出する検出部（実施形態では、網目部分検出部２１ａ）と、検出部が検出した画像に含まれる網目の輪郭に基づいて、網ＮＥを撮像した水中ロボット１の網ＮＥに対する位置姿勢を導出する導出部（実施形態では、相対角度導出部２２と相対距離導出部２３）とを備える。
このように構成することによって、水中ロボット１が標準で搭載する撮像部１０が撮像した画像から、網目の輪郭を検出できるため、検出した網目の輪郭に基づいて定置網や養殖場で用いられる網ＮＥに対する水中ロボット１の位置姿勢を導出できる。従来の位置推定技術は、音響測位を用いるものが多く、大規模で高額なものとなるため定置網漁や養殖での点検用途としては導入が難しい。本実施形態に係る点検システム１００では、水中ロボット１に搭載された撮像部１０が撮像した網ＮＥの画像に基づいて、網目の特徴に着目した位置姿勢を導出できる。
また、画像情報に基づいて画像を複数に分割することによって得られる複数の学習用分割画像の各々を機械学習する学習部２５を備え、検出部は、学習部２５が機械学習することによって抽出した特徴量に基づいて画像に含まれる網目の輪郭を検出する。このように構成することによって、学習部２５が機械学習することによって抽出した特徴量に基づいて画像に含まれる網目の輪郭を検出でき、より精度よく網目を検出できる。つまり、機械学習による画像認識と組み合わせることで、網ＮＥが写っている状態と網が写っていない状態とをより正確に分類できる。
このように構成することによって、水中ロボット１が標準で搭載する撮像部１０が撮像した画像から、網目の輪郭を検出できるため、検出した網目の輪郭に基づいて定置網や養殖場で用いられる網ＮＥに対する水中ロボット１の位置姿勢を導出できる。従来の位置推定技術は、音響測位を用いるものが多く、大規模で高額なものとなるため定置網漁や養殖での点検用途としては導入が難しい。本実施形態に係る点検システム１００では、水中ロボット１に搭載された撮像部１０が撮像した網ＮＥの画像に基づいて、網目の特徴に着目した位置姿勢を導出できる。
また、画像情報に基づいて画像を複数に分割することによって得られる複数の学習用分割画像の各々を機械学習する学習部２５を備え、検出部は、学習部２５が機械学習することによって抽出した特徴量に基づいて画像に含まれる網目の輪郭を検出する。このように構成することによって、学習部２５が機械学習することによって抽出した特徴量に基づいて画像に含まれる網目の輪郭を検出でき、より精度よく網目を検出できる。つまり、機械学習による画像認識と組み合わせることで、網ＮＥが写っている状態と網が写っていない状態とをより正確に分類できる。
【0047】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたコンピュータプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してコンピュータプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。 また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してコンピュータプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。 また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【0048】
１００、１００ａ…点検システム、１…水中ロボット、２、２ａ…姿勢検出装置、３…制御機器、１０…撮像部、１１…センサ、１２…動力系、１３…制御部、１４…通信部、２０…受付部、２１、２１ａ…網目部分検出部、２２…相対角度導出部、２３…相対距離導出部、２４…通信部、２５…学習部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】