(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-24
(45)【発行日】2023-11-01
(54)【発明の名称】水中レーザ視認装置
(51)【国際特許分類】
G01S 17/89 20200101AFI20231025BHJP
G01S 17/10 20200101ALI20231025BHJP
【FI】
G01S17/89
G01S17/10
(21)【出願番号】P 2019135049
(22)【出願日】2019-07-23
【審査請求日】2022-06-27
(73)【特許権者】
【識別番号】000000099
【氏名又は名称】株式会社IHI
(74)【代理人】
【識別番号】100118267
【氏名又は名称】越前 昌弘
(72)【発明者】
【氏名】倉田 孝男
(72)【発明者】
【氏名】伊澤 淳
(72)【発明者】
【氏名】吉田 明弘
【審査官】渡辺 慶人
(56)【参考文献】
【文献】特開2010-152819(JP,A)
【文献】特開平07-072250(JP,A)
【文献】特開2008-181422(JP,A)
【文献】特開2018-057828(JP,A)
【文献】特開2002-143121(JP,A)
【文献】特開2005-115548(JP,A)
【文献】米国特許出願公開第2015/0319347(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48 - 7/51
17/00 - 17/95
G06T 1/00 - 1/40
3/00 - 7/90
(57)【特許請求の範囲】
【請求項1】
濁水中の対象物に対して離れた位置に配置可能な水中機器に搭載された水中レーザ視認装置であって、
前記対象物に対してパルス状のレーザ光を発振するレーザ光照射装置と、
前記対象物からの反射光に合わせて開閉可能なシャッタを備えた撮像装置と、
前記レーザ光照射装置及び前記撮像装置を制御するとともに前記撮像装置により撮影した複数の撮影画像を保存する処理装置と、を備え、
前記処理装置は、前記撮影画像に前記対象物が含まれるか否か探索し、前記対象物が含まれていると判断された探索画像から特徴点を抽出し、複数の前記探索画像から抽出した前記特徴点を照合して対応関係を決定し、前記特徴点を位置合せして前記探索画像を積算し、前記対象物を含む積算画像を取得するように構成されて
おり、
さらに、前記処理装置は、前記撮影画像を複数の領域に分割して領域ごとに高速フーリエ変換を行って再構成画像を作成し、該再構成画像から物体の輪郭を抽出することによって、前記撮影画像に前記対象物が含まれるか否か探索するように構成され、前記撮影画像の全体を高速フーリエ変換した結果の波長に基づいて前記領域の大きさを設定するように構成されている、
ことを特徴とする水中レーザ視認装置。
【請求項2】
前記処理装置は、前記高速フーリエ変換の最大値、平均値、標準偏差、平均値/最大値又は一次微分値の何れか一つの数値を用いて前記再構成画像を作成するように構成されている、
請求項1に記載の水中レーザ視認装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、水中レーザ視認装置に関し、特に、撮影した画像中に含まれる対象物の存在が不明確な場合であっても対象物の画像を取得することができる水中レーザ視認装置に関する。
【背景技術】
【0002】
海洋調査や海洋工事等を行う場合、海底の状況や海底に設置された物体の状況を視認する必要がある。しかしながら、透明度が極めて低い濁水中では、通常の照明を点灯しても光が散乱してしまい、撮影した画像から対象物を視認することができない。
【0003】
そこで、特許文献1に記載されたように、濁水中の対象物に向けてパルス状のレーザ光を照射し、このパルスレーザ光が対象物に反射して戻ってきた瞬間にシャッタを開けて撮影するようにしたゲートカメラが既に開発されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載されたようなゲートカメラを用いた場合であっても、より深い位置にある物体を視認したい場合やより離れた位置から物体を視認したい場合には、光量やコントラストが不足し、撮影した画像中に含まれる対象物の存在が不明確となり、対象物である物体を視認することができないという問題があった。
【0006】
本発明はかかる問題点に鑑み創案されたものであり、撮影した画像中に含まれる対象物の存在が不明確な場合であっても対象物の画像を取得することができる水中レーザ視認装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明によれば、濁水中の対象物に対して離れた位置に配置可能な水中機器に搭載された水中レーザ視認装置であって、前記対象物に対してパルス状のレーザ光を発振するレーザ光照射装置と、前記対象物からの反射光に合わせて開閉可能なシャッタを備えた撮像装置と、前記レーザ光照射装置及び前記撮像装置を制御するとともに前記撮像装置により撮影した複数の撮影画像を保存する処理装置と、を備え、前記処理装置は、前記撮影画像に前記対象物が含まれるか否か探索し、前記対象物が含まれていると判断された探索画像から特徴点を抽出し、複数の前記探索画像から抽出した前記特徴点を照合して対応関係を決定し、前記特徴点を位置合せして前記探索画像を積算し、前記対象物を含む積算画像を取得するように構成されており、さらに、前記処理装置は、前記撮影画像を複数の領域に分割して領域ごとに高速フーリエ変換を行って再構成画像を作成し、該再構成画像から物体の輪郭を抽出することによって、前記撮影画像に前記対象物が含まれるか否か探索するように構成され、前記撮影画像の全体を高速フーリエ変換した結果の波長に基づいて前記領域の大きさを設定するように構成されている、ことを特徴とする水中レーザ視認装置が提供される。
【0013】
前記処理装置は、前記高速フーリエ変換の最大値、平均値、標準偏差、平均値/最大値又は一次微分値の何れか一つの数値を用いて前記再構成画像を作成するように構成されていてもよい。
【発明の効果】
【0015】
上述した本発明に係る濁水中における対象物の画像取得方法及び水中レーザ視認装置によれば、光量やコントラストが不足し、撮影した画像中に含まれる対象物の存在が不明確となり、対象物である物体を視認することができないような状態であっても、対象物を含む撮影画像(探索画像)から特徴点を抽出し、特徴点を位置合わせしながら探索画像を積算することによって、対象物を視認可能な画像を取得することができる。
【図面の簡単な説明】
【0016】
【
図1】本発明の一実施形態に係る水中レーザ視認装置を示す説明図であり、(a)は使用状態、(b)は概略構成図、である。
【
図2】濁水中の撮影画像を示す一例であり、(a)は距離5mの撮影画像、(b)は距離11mの撮影画像、(c)は距離13mの撮影画像、(d)は距離15mの撮影画像、を示している。
【
図3】本発明の一実施形態に係る濁水中における対象物の画像取得方法を示すフロー図である。
【
図4】距離15mの撮影画像の全体を高速フーリエ変換した結果を示す説明図であり、(a)はFFT画像、(b)は輝度分布図、である。
【
図5】
図4(b)に示した輝度分布図を縦方向と横方向に分離した輝度分布図であり、(a)は横方向の輝度分布図、(b)は縦方向の輝度分布図、である。
【
図6】画像再構成工程を示す説明図であり、(a)は概念図、(b)は標準偏差を用いた再構成画像、である。
【
図7】画像再構成工程の変形例を示す説明図であり、(a)は第一変形例、(b)は第二変形例、である。
【
図8】画像再構成工程の変形例を示す説明図であり、(a)は第三変形例、(b)は第四変形例、である。
【
図9】輪郭抽出工程を示す説明図であり、(a)は標準偏差を用いた再構成画像から対象物の輪郭を抽出した状態の画像、(b)は抽出された輪郭のみを示した画像、である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態について
図1(a)~
図9(b)を用いて説明する。ここで、
図1は、本発明の一実施形態に係る水中レーザ視認装置を示す説明図であり、(a)は使用状態、(b)は概略構成図、である。
【0018】
本発明の一実施形態に係る水中レーザ視認装置1は、例えば、
図1(a)及び
図1(b)に示したように、濁水中の対象物Xに対して離れた位置に配置可能な水中機器2に搭載されており、対象物Xに対してパルス状のレーザ光を発振するレーザ光照射装置3と、対象物Xからの反射光に合わせて開閉可能なシャッタ41を備えた撮像装置4と、レーザ光照射装置3及び撮像装置4を制御するとともに撮像装置4により撮影した複数の撮影画像を保存する処理装置5と、を備えている。
【0019】
水中機器2は、内部の水密状態を保持しつつ潜水可能な構造体である。水中機器2は、例えば、箱型の筐体であってもよいし、無人水中航走体(UUV: Unmanned Underwater Vehicle)であってもよい。また、水中機器2は、曳航式であってもよいし、浮沈式であってもよいし、自律航走式であってもよい。
【0020】
レーザ光照射装置3は、濁水中の対象物Xに向けてパルス状のレーザ光を発振する機器である。濁水中の懸濁粒子は、発振されたレーザ光に対して様々な散乱光を生じさせる。したがって、レーザ光の反射光を全て受振すると懸濁粒子の散乱光も含まれてしまい対象物Xの反射光が埋もれてしまうこととなる。
【0021】
そこで、本実施形態では、対象物Xからの反射光を受振するタイミングに合わせてシャッタ41を瞬間的に開状態に切り替え、光を撮像装置4に通過させるシャッタ41を用いている。このように、高速で開閉可能なシャッタ41を用いることにより、シャッタ41を閉状態に保持することによって懸濁粒子の散乱光を除去することができる。
【0022】
具体的には、レーザ光照射装置3は、距離計測センサ(図示せず)を備えており、対象物Xの距離を計測しつつ、対象物Xの反射光が撮像装置4に届くタイミングを処理装置5で算出している。シャッタ41には、レーザ光の発振と同時にレーザ光照射装置3から同期信号が送信される。シャッタ41を開状態に切り替えるタイミングは処理装置5からシャッタ41に送信される。
【0023】
撮像装置4は、例えば、フォーカスレンズを含む光増幅器であるイメージ・インテンシファイヤ、受光素子、走査装置等によって構成される高感度カメラである。なお、撮像装置4は、レーザ光の反射光に基づいて画像を取得可能なものであれば、他の構成を有するカメラであってもよい。
【0024】
処理装置5は、例えば、CPU(Central Processing Unit)、メモリ、ハードディスク等を備えたコンピュータである。処理装置5は、内蔵されたプログラムに基づいて、レーザ光照射装置3及び撮像装置4の操作を制御し、撮像装置4により撮影された撮影画像を保存する。また、処理装置5は、不鮮明な撮影画像から対象物Xを探索し、対象物Xの存在を視認可能な画像を取得する処理も行う。また、処理装置5は、画像を表示するモニタを備えていてもよい。
【0025】
上述した水中レーザ視認装置1は、例えば、
図1(a)に示したように、水中機器2に搭載され、水中に沈められる。例えば、対象物Xが海底に存在する場合には、水中機器2を海底に近い水深まで潜水させる必要がある。一般に、水深が深くなるに連れて太陽光の光量は少なくなり、海底付近では外乱等により濁度が高くなる傾向にあることから、対象物Xにより接近して撮像することが必要となる。
【0026】
しかしながら、現実には、対象物Xに接近することが困難な場合や海底付近まで水中機器2を潜水させることが困難な場合もある。例えば、対象物Xが潮流によって揺動する物体である場合には、水中機器2が対象物Xに衝突する可能性がある。また、対象物Xが存在する海底には岩や海生植物等の障害物が存在する場合には、水中機器2を海底付近で航走させることができないか、航走させることができたとしても水中機器2の制御が複雑になってしまう。
【0027】
したがって、できるだけ離れた位置から対象物Xを撮影することができる手法が望まれている。ここで、
図2は、濁水中の撮影画像を示す一例であり、(a)は距離5mの撮影画像、(b)は距離11mの撮影画像、(c)は距離13mの撮影画像、(d)は距離15mの撮影画像、を示している。
【0028】
対象物Xは、試験用に用意した試験体であり、例えば、矩形のホワイトボードである。このホワイトボードには、表面に複数の縦線や横線、数字、記号等を表示し、四隅に発光体を付している。かかる対象物Xを海底に設置し、水中レーザ視認装置1を対象物Xから徐々に距離を離しながら撮像した撮影画像のうち代表的なものを
図2(a)~
図2(d)に示している。
【0029】
図2(a)~
図2(d)を参照すれば、対象物Xからの距離が離れるにしたがって対象物Xの存在は不明確になり、13m離れた撮影画像では対象物Xの存在を視認することができるものの、15m離れた撮影画像では対象物Xの存在を視認することができない。
【0030】
そこで、本実施形態では、
図3に示した濁水中における対象物の画像取得方法に基づいて、撮影画像を処理装置5で処理することによって対象物Xを視認可能な画像を取得するようにしている。ここで、
図3は、本発明の一実施形態に係る濁水中における対象物の画像取得方法を示すフロー図である。
【0031】
本実施形態に係る画像取得方法は、対象物Xから離れた位置に水中レーザ視認装置1を配置して対象物Xが存在し得る方向に撮像装置4のカメラを向けて撮像し、撮像した撮影画像から対象物Xを認識することができるか否かを判断し、対象物Xの存在を確認できた撮影画像から特徴点を抽出し、特徴点を基準に撮影画像を積算して、対象物Xの存在を視認可能にした画像を取得するものである。
【0032】
具体的には、本実施形態に係る画像取得方法は、
図3に示したように、撮影工程Step1と、画像選択工程Step2と、ノイズ除去工程Step3と、探索工程Step4と、抽出工程Step5と、積算可否確認工程Step6と、照合工程Step7と、積算工程Step8と、設定枚数確認工程Step9と、先鋭化工程Step10と、を備えている。
【0033】
撮影工程Step1は、濁水中の対象物Xに対して離れた位置から対象物Xを含み得る複数の撮影画像を取得する工程である。複数の撮影画像は、略同じ距離だけ対象物Xから離れた位置から撮像されたものである。かかる撮影画像は、具体的には、上述した水中レーザ視認装置1によって撮像される。
【0034】
画像選択工程Step2は、複数の撮影画像から対象物Xの探索を行う画像を選択する工程である。略同じ距離だけ対象物Xから離れた位置から撮像された複数の撮影画像から任意に一枚の撮影画像を選択する。この工程は、積算する設定枚数に到達するまで繰り返される。
【0035】
ノイズ除去工程Step3は、選択画像からノイズを除去する工程である。例えば、メディアンフィルタ等の一般的な手法により選択画像のノイズを除去する。メディアンフィルタは、順序統計に基づくフィルタの中でエッジ情報を残すフィルタとしてよく知られている。ノイズ除去工程Step3後に、レベル補正やPSF(Point Spread Function)補正等の鮮鋭化処理を行ってもよい。
【0036】
探索工程Step4は、選択画像に対象物Xが含まれているか否か探索する工程である。具体的には、探索工程Step4は、選択画像を複数の領域αに分割して領域ごとに高速フーリエ変換(FFT:Fast Fourier Transform)を行って再構成画像を作成する画像再構成工程Step41と、再構成画像から物体の輪郭βを抽出する輪郭抽出工程Step42と、再構成画像に対象物Xが含まれているか確認する対象物確認工程Step43と、を備えている。
【0037】
ここで、
図2(d)に示した距離15mの撮影画像について本実施形態に係る画像取得方法を適用する場合を想定する。
図4は、距離15mの撮影画像の全体を高速フーリエ変換した結果を示す説明図であり、(a)はFFT画像、(b)は輝度分布図、である。
図5は、
図4(b)に示した輝度分布図を縦方向と横方向に分離した輝度分布図であり、(a)は横方向の輝度分布図、(b)は縦方向の輝度分布図、である。
図6は、画像再構成工程を示す説明図であり、(a)は概念図、(b)は標準偏差を用いた再構成画像、である。
【0038】
画像再構成工程Step41において、高速フーリエ変換(FFT)を行う単位となる領域αの大きさは、撮影画像の全体を高速フーリエ変換(FFT)した結果の波長λに基づいて設定される。この波長λを算出するには、まず、
図4(a)に示したように、選択画像の全体を高速フーリエ変換(FFT)する。
【0039】
この画像を輝度分布図で表現すると
図4(b)に示したように表示される。
図4(b)に示した輝度分布図を縦方向と横方向に分離したものを
図5(a)及び
図5(b)に表示している。なお、
図4(b)~
図5(b)において、「縦方向」は選択画像の縦方向を意味し、「横方向」は選択画像の横方向を意味し、「強度」は輝度の強度を意味している。
【0040】
図5(a)及び
図5(b)に示した縦方向及び横方向の輝度分布の両方を参酌しながら、ピーク値を含む1周期の波長λを決定する。この波長λは、輝度分布のブレ、すなわち、対象物Xのエッジの幅を意味している。なお、波長λは、処理装置5が閾値等の条件に基づいて決定してもよいし、作業者が目視で波長λを決定するようにしてもよい。
【0041】
本実施形態では、波長λは、例えば、16ドットに決定される。したがって、領域αは16ドット×16ドットの大きさに設定される。このように、波長λを2の累乗に決定することにより、領域αの高速フーリエ変換(FFT)を容易に行うことができる。例えば、領域αの大きさは、8×8であってもよいし、32×32であってもよい。
【0042】
図6(a)は、選択画像を仮想的にドットで表示したものである。選択画像のドット数は、例えば、16ビットで1200(縦方向)×1800(横方向)である。なお、
図6(a)は1200×1800のドットを簡略化して表示したものである。領域αは、例えば、
図6(a)で灰色に塗り潰したように、16ドット(縦方向)×16ドット(横方向)の範囲として表示される。16×16の領域αを高速フーリエ変換(FFT)の一単位として、横方向及び縦方向にスライドさせながら選択画像の全域を高速フーリエ変換(FFT)する。
【0043】
図6(b)に示した再構成画像は、領域αを高速フーリエ変換(FFT)し、領域αをその標準偏差の値に置換したものである。なお、再構成画像は、標準偏差以外の値を用いて作成することもできる。ここで、
図7は、画像再構成工程の変形例を示す説明図であり、(a)は第一変形例、(b)は第二変形例、である。
図8は、画像再構成工程の変形例を示す説明図であり、(a)は第三変形例、(b)は第四変形例、である。
【0044】
図7(a)に示した第一変形例は、高速フーリエ変換(FFT)の最大値を用いた再構成画像である。また、
図7(b)に示した第二変形例は、高速フーリエ変換(FFT)の平均値を用いた再構成画像である。
図8(a)に示した第三変形例は、高速フーリエ変換(FFT)の平均値/最大値を用いた再構成画像である。また、
図8(b)に示した第四変形例は、高速フーリエ変換(FFT)の一次微分値(差分)を用いた再構成画像である。
【0045】
このように、再構成画像は、領域αを高速フーリエ変換(FFT)した結果の標準偏差、最大値、平均値、平均値/最大値又は一次微分値の何れか一つの数値を用いて置換することにより再構成することができる。
【0046】
輪郭抽出工程Step42は、例えば、再構成画像の輝度の閾値を基準にして画像中に含まれる対象物Xであろう物体の輪郭βを算出する工程である。輪郭抽出方法は、かかる方法に限定されるものではなく、一次微分を用いたエッジ検出であってもよいし、事前に形状を記憶させた対象物Xとのマッチング周波数の違いを用いたエッジ・異物検出であってもよいし、主成分分析を用いたエッジ検出であってもよい。
【0047】
ここで、
図9は、輪郭抽出工程を示す説明図であり、(a)は標準偏差を用いた再構成画像から対象物の輪郭を抽出した状態の画像、(b)は抽出された輪郭のみを示した画像、である。上述した輪郭抽出方法により、再構成画像に含まれる物体の輪郭βを
図9(a)に黒線で示したように抽出することができる。その後、必要に応じて、
図9(b)に示したように、物体の輪郭βの形状のみを抽出するようにしてもよい。
【0048】
対象物確認工程Step43は、輪郭抽出工程Step42で抽出された物体の輪郭βが対象物Xであるか否かを確認する工程である。抽出された物体の輪郭βが対象物Xであるか否かは、事前に記憶させておいた対象物Xの輪郭形状とのマッチング率に基づいて判断することができる。かかる確認は、処理装置5で行ってもよいし、作業員の目視で行うようにしてもよい。
【0049】
そして、再作成画像に対象物Xが含まれていると判断された場合(Y)は、抽出工程Step5に移行し、再作成画像に対象物Xが含まれていないと判断された場合(N)は、当該画像を排除し、次の撮影画像に対象物Xが含まれているかを確認するために、画像選択工程Step2に戻ることとなる。
【0050】
抽出工程Step5は、対象物Xが含まれていると判断された探索画像から特徴点を抽出する工程である。具体的には、エッジを抽出するフィルタ(例えば、微分フィルタ等)を用いて対象物Xのエッジを抽出した後、コーナー(角部)の検出を行い、特徴量の指数の大きさに基づいて特徴点を抽出する。
【0051】
なお、特徴点の抽出方法は、上述した方法に限定されるものではなく、例えば、形状特徴量に基づいて特徴点を抽出してもよいし、テクスチャ特徴量に基づいて特徴点を抽出してもよいし、高次局所自己相関特徴に基づいて特徴点を抽出してもよい。
【0052】
積算可否確認工程Step6は、特徴点を抽出した探索画像が最初の一枚目の画像であるか否かを確認する工程である。最初の一枚目である場合(Y)は、積算する画像が存在しないことから、次の特徴点を抽出した探索画像を入手するために、画像選択工程Step2に戻ることとなる。また、最初の一枚目でない場合(N)は、積算する画像が存在していることから、照合工程Step7に移行する。
【0053】
照合工程Step7は、複数の探索画像から抽出した特徴点を照合して対応関係を決定する工程である。二つの探索画像において、特徴点の指数(ベクトル)の一致度合いから特徴点を照合する。このとき、一方の探索画像において、輝度の強度が強い特徴点から順に照合を行うようにしてもよい。かかる照合工程Step7は、例えば、対象物Xの左上の特徴点同士、対象物Xの右上の特徴点同士、対象物Xの左下の特徴点同士、対象物Xの右下の特徴点同士が対応するように照合する工程である。
【0054】
積算工程Step8は、特徴点を位置合せして探索画像を積算して積算画像を作成する工程である。照合工程Step7により特徴点の対応関係が把握できていることから、対応する特徴点同士が一致するように位置合わせをして探索画像を積算することができる。かかる処理によって、対象物Xが重なり合うように画像の向きを調整しながら積算することができる。
【0055】
このように、特徴点を一致させて積算画像を作成することにより、光量やコントラストが不足する撮影画像から対象物Xを視認可能な積算画像を取得することができる。また、対象物Xが海中で揺動していたり、水中レーザ視認装置1を搭載した水中機器2がゆっくりと移動又は揺動していたりする場合であっても、対象物Xを視認可能な積算画像を取得することができる。
【0056】
設定枚数確認工程Step9は、積算した画像枚数が設定枚数に到達したか否かを確認する工程である。設定枚数は任意であるが、例えば、16~32枚程度であってもよい。積算した画像枚数が設定枚数に到達していない場合(N)には、次に積算する画像を入手するために、画像選択工程Step2に戻ることとなる。また、積算した画像枚数が設定枚数に到達した場合(Y)には、先鋭化工程Step10に移行する。
【0057】
先鋭化工程Step10は、積算工程Step8により得られた積算画像を鮮鋭化する工程である。具体的には、積算画像をレベル補正やPSF(Point Spread Function)補正等の一般的な手法によって鮮鋭化処理を行う。なお、先鋭化工程Step10は、必要に応じて省略することもできるし、鮮鋭化処理の前にノイズ除去処理を行うようにしてもよい。
【0058】
本発明は、上述した実施形態に限定されず、本発明の趣旨を逸脱しない範囲で種々変更が可能であることは勿論である。
【符号の説明】
【0059】
1 水中レーザ視認装置
2 水中機器
3 レーザ光照射装置
4 撮像装置
5 処理装置
41 シャッタ
Step1 撮影工程
Step2 画像選択工程
Step3 ノイズ除去工程
Step4 探索工程
Step41 画像再構成工程
Step42 輪郭抽出工程
Step43 対象物確認工程
Step5 抽出工程
Step6 積算可否確認工程
Step7 照合工程
Step8 積算工程
Step9 設定枚数確認工程
Step10 先鋭化工程
X 対象物
α 領域
β 輪郭