特表 2024-513145 船舶清掃ロボットの複数のカメラ映像を１つの映像に処理する映像処理方法、コンピュータ判読可能記録媒体、コンピュータプログラム及びこれを利用したロボット制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-22

(54)【発明の名称】船舶清掃ロボットの複数のカメラ映像を１つの映像に処理する映像処理方法、コンピュータ判読可能記録媒体、コンピュータプログラム及びこれを利用したロボット制御方法

(51)【国際特許分類】

   H04N 23/695 20230101AFI20240314BHJP

   H04N 7/18 20060101ALI20240314BHJP

   H04N 23/60 20230101ALI20240314BHJP

   G05D 1/43 20240101ALI20240314BHJP

   B08B 1/12 20240101ALI20240314BHJP

   G09G 5/00 20060101ALI20240314BHJP

【ＦＩ】

H04N23/698

H04N7/18 K

H04N23/60 500

G05D1/02 K

B08B1/12

G09G5/00 510X

G09G5/00 530M

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023539076

(86)(22)【出願日】2022-03-22

(85)【翻訳文提出日】2023-06-23

(86)【国際出願番号】 KR2022003963

(87)【国際公開番号】W WO2022203340

(87)【国際公開日】2022-09-29

(31)【優先権主張番号】10-2021-0036557

(32)【優先日】2021-03-22

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0034833

(32)【優先日】2022-03-21

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】517161566

【氏名又は名称】タスグローバル カンパニーリミテッド

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】イ トン ウク

【テーマコード（参考）】

3B116

5C054

5C122

5C182

5H301

【Ｆターム（参考）】

3B116AA31

3B116AA46

3B116AB52

3B116AB54

3B116BA02

3B116BA12

3B116BA35

3B116CD42

3B116CD43

5C054CA04

5C054CC02

5C054ED11

5C054EE08

5C054FE06

5C054FE11

5C054HA19

5C122DA27

5C122FA03

5C122FA18

5C122FH01

5C122FH02

5C122FH04

5C122FH20

5C122HB01

5C182AC02

5C182AC03

5C182BA14

5C182BA75

5C182CA01

5C182CA11

5C182CA33

5C182CA34

5C182CB11

5C182CB47

5C182CB52

5C182CB55

5C182DA44

5H301BB11

5H301BB14

5H301DD01

5H301DD06

5H301DD07

5H301DD15

5H301GG09

5H301GG14

5H301JJ01

(57)【要約】

本発明は、複数の映像を１つの映像に処理する映像処理方法において、一列に配置された複数のカメラから少なくとも左側映像、中央映像、右側映像を取得する段階、前記左側映像、前記中央映像、及び前記右側映像のそれぞれをトップビュー左側映像、トップビュー中央映像、及びトップビュー右側映像として生成する段階、前記トップビュー左側映像、前記トップビュー中央映像、及び前記トップビュー右側映像を合成して１つのワイドトップビュー映像を生成する段階、及び前記ワイドトップビュー映像を最終ワイド映像として生成して出力する段階を含む映像処理方法に関する。これによって、複数のカメラ映像を１つの映像にまとめてロボット操縦者の疲労を減らすことができるようになる。

【特許請求の範囲】

【請求項1】

複数の映像を１つの映像に処理する映像処理方法において、
一列に配置された複数のカメラから少なくとも左側映像、中央映像、右側映像を取得する段階、
前記左側映像、前記中央映像、及び前記右側映像のそれぞれをトップビュー左側映像、トップビュー中央映像、及びトップビュー右側映像として生成する段階、
前記トップビュー左側映像、前記トップビュー中央映像、及び前記トップビュー右側映像を合成して１つのワイドトップビュー映像を生成する段階、及び
前記ワイドトップビュー映像を最終ワイド映像として生成して出力する段階を含む映像処理方法。

【請求項2】

前記左側映像、前記中央映像、前記右側映像、及び前記最終ワイド映像のそれぞれは、１つの消失点が存在する遠近ビュー映像であり、前記トップビュー左側映像、前記トップビュー中央映像、前記トップビュー右側映像、前記ワイドトップビュー映像のそれぞれは、消失点がない上から下に見るようなトップビュー映像である請求項１に記載の映像処理方法。

【請求項3】

前記左側映像、前記中央映像、及び前記右側映像のそれぞれをトップビュー左側映像、トップビュー中央映像、及びトップビュー右側映像として生成する段階、及び前記ワイドトップビュー映像を最終ワイド映像として生成して出力する段階は、
遠近法変換を利用し、
前記遠近法変換が変換行列を利用する場合であれば、前記左側映像、前記中央映像、及び前記右側映像のそれぞれをトップビュー左側映像、トップビュー中央映像、及びトップビュー右側映像として生成する段階で利用する変換行列は、前記ワイドトップビュー映像を最終ワイド映像として生成して出力する段階で利用する変換行列の逆行列であることを特徴とする請求項２に記載の映像処理方法。

【請求項4】

前記トップビュー左側映像、前記トップビュー中央映像、及び前記トップビュー右側映像を合成して１つのワイドトップビュー映像を生成する段階は、
前記トップビュー左側映像、前記トップビュー中央映像及び前記トップビュー右側映像のうちの少なくとも２つ以上の映像が重複する領域中の境界領域は半透明に処理し、残りの領域は除去する段階を含むことを特徴とする請求項３に記載の映像処理方法。

【請求項5】

前記一列に配置された複数のカメラから少なくとも左側映像、中央映像、右側映像を取得する段階は、
前記左側映像、前記中央映像、前記右側映像のそれぞれに対し、
以前の段階で取得または生成されたいずれか１つの映像に基づいて、明度情報、彩度情報、及び色相情報を取得する段階、
取得された前記明度情報を反転させて反転した明度情報を取得する段階、
前記反転した明度情報に基づいて、明度情報を補正するための第１補正情報を取得する段階、
前記第１補正情報を前記明度情報に適用して変換された明度情報を生成する段階、及び
前記変換された明度情報、前記彩度情報及び前記色相情報で補正された映像を生成する段階をさらに含む請求項１に記載の映像処理方法。

【請求項6】

前記反転した明度情報に基づいて、彩度情報を補正するための第２補正情報を取得する段階、及び
前記第２補正情報を前記彩度情報に適用して変換された彩度情報を生成する段階をさらに含み、
前記変換された明度情報、前記彩度情報及び前記色相情報で補正された映像を生成する段階で利用される彩度情報は、前記変換された彩度情報に代替されることを特徴とする請求項５に記載の映像処理方法。

【請求項7】

前記反転した明度情報に基づいて、明度情報を補正するための第１補正情報を取得する段階または彩度情報を補正するための第２補正情報を取得する段階は、
前記最終ワイド映像を構成する各画素に対し、
前記反転した明度情報が閾値以上の場合にのみ、０ではない、明度情報のための第１補正情報または彩度情報のための第２補正情報をそれぞれ取得することを特徴とする請求項６に記載の映像処理方法。

【請求項8】

前記第１補正情報と前記第２補正情報は、異なることを特徴とする請求項７に記載の映像処理方法。

【請求項9】

請求項１～８のいずれか１項の方法を行うプログラムを記録したコンピュータ判読可能記録媒体。

【請求項10】

請求項１～８のいずれか１項の方法をハードウェアとの結合によって実行させるための媒体に保存されたコンピュータプログラム。

【請求項11】

請求項１～８のいずれか１項の映像処理方法によって取得または生成されたいずれか１つの映像を学習して、ロボットの移動速度及び清掃ブラシの回転数を調節する制御モデルを構築する段階、及び
前記構築された制御モデルを利用し、ロボットに配置された複数のカメラから取得された映像を請求項１～８のいずれか１項の映像処理方法によって処理して生成された最終ワイド映像に基づいて、前記ロボットの移動速度及び清掃ブラシの回転数を調節する段階を含むロボット制御方法。

【請求項12】

前記ロボットの移動速度及び清掃ブラシの回転数を調節する段階は、
前記ロボットの操縦者にロボットの移動速度及び清掃ブラシの回転数を調節していることについて表示する段階を含み、
このような表示はテキスト、図、振動、音及び照明のうちの少なくともいずれか１つを利用することを含む請求項１１に記載のロボット制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、船舶清掃ロボットの映像処理方法に関し、より詳細には、船舶清掃ロボットの複数のカメラ映像を１つの映像に処理する映像処理方法に関する。

【背景技術】

【0002】

新しく建造した船舶でも海水に触れる瞬間から、様々な海洋生物が船体下部の表面（以下、船体表面と称する）に付着し始める。船体表面にはスライムから海藻類、フジツボ、イガイなど様々な海洋生物が付着し、付着する量に伴って船の移動速度が低下し、油類費の支出が１０～３０％増加するため、船体表面の清掃は必ず必要である。

【0003】

海洋生物が付着することを防止するために船体表面に防汚塗料をコーティングするが、海洋生物が付着する時間を遅延させる程度に過ぎず、例えば１年程度の時間が過ぎると水の抵抗を大きく高めるフジツボ、イガイのような生物（以下、フジツボと称する）が群落をなして船体表面に付着するようになる。このような海洋生物を除去するためには、潜水士や船舶清掃ロボット（以下、ロボットと称する）を利用して船体表面を清掃しなければならない。

【0004】

日光や照明で海水の中を照らすと、海水の中にある微細なゴミやプランクトンなどによって光が散乱され、肉眼やカメラの識別距離が短くなる。船舶清掃が行われる港内の海水での識別距離は大部分２０～５０ｃｍである。これによって、ロボットを利用した船体表面の清掃時には、識別距離が２０～５０ｃｍ程度になる状況を考慮しなければならない。例えば、ロボットの正面中央に広角や魚眼レンズを使用したカメラを１つ設置した場合、識別距離は普通カメラの左側から右側まで約４０～１００ｃｍである。例えば、ロボットの幅が１００ｃｍであり、識別距離が５０ｃｍの場合、１つのカメラでロボットの左側から右側まで全て確認可能であるが、識別距離が２０ｃｍではカメラの左側から右側まで４０ｃｍの範囲のみ見ることができるため、ロボットの中央部分のみ確認可能であり、左側や右側は見ることができない。

【0005】

船体表面を清掃すると、清掃していない部分と清掃した部分の境界線（以下、清掃境界線と称する）がはっきりしている。この清掃境界線にロボットに設置された清掃ブラシの左側の端や右側の端部分をかけて移動するが、識別距離が２０ｃｍならロボット中央のカメラの近くに清掃境界線を置いて進行しなければならないため、清掃時間が既存に比べ２倍以上かかるという問題がある。これを解決するために、カメラを２０～４０ｃｍ間隔で複数配置することができるが、ロボットの操縦者が複数のカメラを交互に見ながら操縦しなければならないため、操縦者の精神的な疲労が増加する。

【0006】

このため、長時間運転するロボット操縦者の疲労を減らすために、複数のカメラの映像を１つの映像にまとめる技術が必要となる。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】ＫＲ１０－１４４４３８７Ｂ１

【特許文献2】ＫＲ１０－２１８８７２１Ｂ１

【発明の概要】

【発明が解決しようとする課題】

【0008】

したがって、本発明の目的は、複数のカメラ映像を１つの映像にまとめてロボット操縦者の疲労を減らすことができる映像処理方法を提供することにある。

【0009】

本発明の他の目的は、映像の暗い部分を明るく変換してロボット操縦者の疲労を減らすことができる映像処理方法を提供することにある。

【0010】

本発明が解決しようとする課題は、以上で言及した課題に制限されず、言及されていない他の課題は以下の記載から当業者に明確に理解されることができる。

【課題を解決するための手段】

【0011】

前記目的は、本発明の第１側面により、
複数の映像を１つの映像に処理する映像処理方法において、一列に配置された複数のカメラから少なくとも左側映像、中央映像、右側映像を取得する段階、前記左側映像、前記中央映像、及び前記右側映像のそれぞれをトップビュー左側映像、トップビュー中央映像、及びトップビュー右側映像として生成する段階、前記トップビュー左側映像、前記トップビュー中央映像、及び前記トップビュー右側映像を合成して１つのワイドトップビュー映像を生成する段階、前記ワイドトップビュー映像を最終ワイド映像として生成して出力する段階を含む、映像処理方法によって達成される。

【0012】

このとき、前記左側映像、前記中央映像、前記右側映像、及び前記最終ワイド映像のそれぞれは、１つの消失点が存在する遠近ビュー映像であり、前記トップビュー左側映像、前記トップビュー中央映像、前記トップビュー右側映像、前記ワイドトップビュー映像のそれぞれは、消失点がない上から下に見るようなトップビュー映像であることが好ましい。

【0013】

また、前記左側映像、前記中央映像、及び前記右側映像のそれぞれをトップビュー左側映像、トップビュー中央映像、及びトップビュー右側映像として生成する段階、及び前記ワイドトップビュー映像を最終ワイド映像として生成して出力する段階は、遠近法変換を利用するが、前記遠近法変換が変換行列を利用する場合であれば、前記左側映像、前記中央映像、及び前記右側映像のそれぞれをトップビュー左側映像、トップビュー中央映像、及びトップビュー右側映像として生成する段階で利用する変換行列は、前記ワイドトップビュー映像を最終ワイド映像として生成して出力する段階で利用する変換行列の逆行列であることを特徴とする。

【0014】

さらに、前記トップビュー左側映像、前記トップビュー中央映像、及び前記トップビュー右側映像を合成して１つのワイドトップビュー映像を生成する段階は、前記トップビュー左側映像、前記トップビュー中央映像及び前記トップビュー右側映像のうちの少なくとも２つ以上の映像が重複する領域中の境界領域は半透明に処理し、残りの領域は除去する段階を含むことが好ましい。

【0015】

さらに、前記一列に配置された複数のカメラから少なくとも左側映像、中央映像、右側映像を取得する段階は、前記左側映像、前記中央映像、前記右側映像のそれぞれに対し、明度情報、彩度情報、及び色相情報を取得する段階、取得された前記明度情報を反転させて反転した明度情報を取得する段階、及び前記反転した明度情報に基づいて、明度情報を補正するための第１補正情報を取得する段階、前記第１補正情報を前記明度情報に適用して変換された明度情報を生成する段階、及び前記変換された明度情報、前記彩度情報及び前記色相情報で補正された映像を生成する段階をさらに含むことができる。

【0016】

また、本発明は、前記反転した明度情報に基づいて、彩度情報を補正するための第２補正情報を取得する段階、及び前記第２補正情報を前記彩度情報に適用して変換された彩度情報を生成する段階をさらに含み、前記変換された明度情報、前記彩度情報及び前記色相情報で補正された映像を生成する段階で利用される彩度情報は、前記変換された彩度情報に代替されることができる。

【0017】

さらに、前記反転した明度情報に基づいて、明度情報を補正するための第１補正情報を取得する段階または彩度情報を補正するための第２補正情報を取得する段階は、前記最終ワイド映像を構成する各画素に対し、前記反転した明度情報が閾値以上の場合にのみ、０ではない、明度情報を補正するための第１補正情報または彩度情報を補正するための第２補正情報をそれぞれ取得することが好ましい。

【0018】

このとき、前記第１補正情報と前記第２補正情報は、同一であるかまたは異なり得る。

【0019】

前記目的は、また本発明の第２側面により、
前記の方法を行うプログラムを記録したコンピュータ判読可能記録媒体によって達成される。

【0020】

さらに、前記目的は、また本発明の第３側面により、
前記の方法をハードウェアとの結合によって実行させるための媒体に保存されたコンピュータプログラムによって達成される。

【0021】

さらに、前記目的はまた本発明の第４側面により、
前記の映像処理方法によって取得または生成されたいずれか１つの映像を学習して、ロボットの移動速度及び清掃ブラシの回転数を調節する制御モデルを構築する段階、及び前記構築された制御モデルを利用し、ロボットに配置された複数のカメラから取得された映像を前記の映像処理方法によって処理して生成された最終ワイド映像に基づいて、前記ロボットの移動速度及び清掃ブラシの回転数を調節する段階を含む、ロボット制御方法によって達成される。

【0022】

このとき、前記ロボットの移動速度及び清掃ブラシの回転数を調節する段階は、前記ロボットの操縦者にロボットの移動速度及び清掃ブラシの回転数を調節していることについて表示する段階を含み、このような表示はテキスト、図、振動、音及び照明のうちの少なくともいずれか１つを利用することを含むことができる。

【発明の効果】

【0023】

前記のような本発明の複数の映像を１つの映像に処理する映像処理方法によれば、複数のカメラ映像を１つの映像にまとめてロボット操縦者の疲労を減らすことができるという長所がある。

【0024】

また、本発明の複数の映像を１つの映像に処理する映像処理方法によれば、映像の暗い部分を明るく変換してロボット操縦者の疲労を減らすことができるという長所がある。

【0025】

また、本発明の前記の映像処理方法を利用したロボット制御方法によれば、ロボット操縦者の疲労を減らしながら、よりきれいに船舶を清掃することができるという長所がある。

【図面の簡単な説明】

【0026】

以下、添付の図面に記載された内容を参照して本発明に係る例示的な実施例を詳細に説明する。ただし、本発明が例示的な実施例によって制限または限定されるものではない。各図面に示されている同じ参照符号は、実質的に同じ機能を行う部材を示す。

【図1】本発明に係る映像処理方法のフローチャートである。

【図2】本発明に係る映像処理方法の一実施例を示す図である。

【図3】従来技術に係る映像処理方法を例示的に示す図である。

【図4】本発明に係る映像処理方法で生成される情報を示す図である。

【図5】本発明に係る映像処理方法によって処理された映像の一例を示す図である。

【発明を実施するための形態】

【0027】

第１、第２などのように序数を含む用語は様々な構成要素を説明するために使用されるが、前記構成要素は、前記用語によって限定されるものではない。前記用語は、１つの構成要素を他の構成要素と区別する目的でのみ使用される。例えば、本発明の権利範囲から逸脱することなく、第１構成要素は第２構成要素と命名され得、同様に第２構成要素も第１構成要素と命名され得る。本出願で使用する用語は、単に特定の実施例を説明するために使用されたものであって、本発明を限定しようとする意図ではない。単数の表現は、文脈上明らかに異なる意味ではない限り、複数の表現を含む。

【0028】

本発明で使用される用語は、本発明における機能を考慮しながら、できる限り現在広く使用される一般的な用語を選択したが、これは当分野に従事する技術者の意図または判例、新しい技術の出現などによって変わり得る。また、特定の場合には、出願人が任意に選定した用語もあり、この場合、該当する発明の説明部分で詳細にその意味を記載する。したがって、本発明で使用される用語は、単純な用語の名称ではなく、その用語の持つ意味と本発明の全般にわたる内容に基づいて定義されるべきである。

【0029】

明細書全体において、ある部分が何らかの構成要素を「含む」とするとき、これは特に反対の記載がない限り他の構成要素を除外するものではなく他の構成要素をさらに含み得ることを意味する。

【0030】

図１は、本発明に係る映像処理方法のフローチャートである。図面を参照すると、本発明に係る映像処理方法は、必須に複数のカメラ映像を取得し（Ｓ１００）、そのそれぞれに対応するトップビュー映像を取得した後（Ｓ２００）、これを組み合わせて１つのワイドトップビュー映像を生成し（Ｓ３００）、最終的に最終ワイド映像を出力する（Ｓ４００）段階を含む。

【0031】

これについては、本発明に係る映像処理方法の一実施例を示す図である図２を参照して詳細に説明する。

【0032】

図面を参照すると、本発明の複数のカメラ映像を取得する段階（Ｓ１００）は、一列に配置された複数のカメラを利用して、それぞれ撮影された映像（以下、カメラ映像と称する）を取得する段階を含む。

【0033】

このとき、カメラ映像は、１つの消失点が存在する遠近ビュー映像（ｐｅｒｓｐｅｃｔｉｖｅ－ｖｉｅｗ ｉｍａｇｅ）であり、またそれぞれのカメラを利用して撮影された映像は、その配置された位置に応じて、左側映像、中央映像、及び右側映像と称されることができる。これは、本実施例において、３台のカメラを利用することに基づいて命名されたものであって、例えば５台のカメラを利用する場合には、左側１映像、左側２映像、中央映像、右側１映像、右側２映像などと命名され得るものであり、必ずしもこれに限定されるものではない。

【0034】

また、本発明の対応するトップビュー映像を取得する段階（Ｓ２００）は、前記の左側映像、中央映像、及び右側映像のそれぞれをトップビュー左側映像、トップビュー中央映像、及びトップビュー右側映像として生成する段階を含む。

【0035】

このとき、トップビュー左側映像、トップビュー中央映像、及びトップビュー右側映像は、消失点がなく、床を上から下に見るようなトップビュー映像（ｔｏｐ－ｖｉｅｗ ｉｍａｇｅ）であり、遠近ビュー映像でトップビュー映像を生成するためには、遠近法変換を利用する。遠くにあるものは小さく見え、近くにあるものは大きく見えるのが遠近法の原理である。このような遠近法の原理を適用してイメージを変換する方式が遠近法変換（ｐｅｒｓｐｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ）である。通常、遠近法変換では、映像内で４つの点のみを利用して変換行列を見つけて映像を変換させるが、これを活用すると、スキャンしたような平面イメージを作ることができ、このような遠近法変換方式は自律走行の自動車で走行ラインを検出する用途であるレーンビューの映像処理に活用されており、その他の様々な用途にも活用されている普遍的な技術であるので、ここではさらに詳細な説明は省略する。

【0036】

次に、１つのワイドトップビュー映像を生成する段階（Ｓ３００）は、前記のトップビュー左側映像、トップビュー中央映像、及びトップビュー右側映像を合成して１つのワイドトップビュー映像を生成するが、例えば、トップビュー左側映像とトップビュー中央映像、トップビュー中央映像とトップビュー右側映像のように、少なくとも２以上の映像が重複する領域中の境界領域のみ残して、残りの重複する領域は全て除去した後、映像を組み合わせる。

【0037】

このとき、映像の組み合わせは、例えば、少なくとも２以上の映像が重複する領域中の境界領域は半透明に処理し、残りの領域は映像から除去するか、または少なくとも２以上の映像が重複する領域中の境界領域は１つの映像でのみ残し、残りの映像では残りの領域を映像から除去するとき、共に除去することができる。ここで半透明に処理することは、原本映像－トップビュー左側映像、トップビュー中央映像、及びトップビュー右側映像－の映像情報、例えば色相情報、彩度情報、明度情報などを示す数値を半分に減少させることによって、以後に重複する境界領域を単純に加算することができるように処理することを含む。もちろん、重複する境界領域を含む映像のそれぞれに異なる加重値を適用して加算するかまたは重複する境界領域中で残したり、除去する部分が互いに重畳しないように設定することも可能である。本図面では、少なくとも２以上の映像が重複する領域中の境界領域に該当する部分は半透明に表現されている。

【0038】

最後に、最終的に最終ワイド映像を出力する段階（Ｓ４００）は、前記の遠近法変換を利用して前記で合成して生成された１つのワイドトップビュー映像を最終ワイド映像として生成する段階を含む。

【0039】

このとき、もし遠近ビュー映像から対応するトップビュー映像を取得する段階（Ｓ２００）で遠近法変換が変換行列（Ａ）を利用したとしたら、ワイドトップビュー映像から対応する最終ワイド映像を取得するこの段階（Ｓ４００）で利用される変換行列は、以前の変換行列（Ａ）の逆行列であることが好ましい。

【0040】

これによって、本発明の映像処理方法に基づいて互いに異なる消失点を持つ複数のカメラ映像を１つに合成する技術を、例えば船舶清掃ロボットに適用すると、ロボット操縦者の疲労を大きく減らすことができるようになる。

【0041】

一方、船舶清掃ロボットは手動走行または自律走行で動作し、特に手動走行時には地上または水上で人がロボットのカメラ映像をモニターで見ながらこのロボットを操縦することになる。

【0042】

ロボットが大型船舶の底面を走行する場合においては、真昼でも太陽光が届かず、ロボットに設置された照明を使用しながら走行しなければならないが、それさえも海水中のゴミ、プランクトンなどの微細な物体によって光が散乱したり、海水に吸収されて遠く届かない実情である。一般カメラとは異なり、微弱な光も感知可能な超低照度カメラを利用して撮影されたカメラ映像であっても、ロボットに設置された照明の光が船体表面に反射してカメラに戻る量が少ないとモニターに暗く表現され、ロボットから距離が遠くなるほど急激に暗くなる。

【0043】

暗い領域まで識別可能にするためにカメラ映像の彩度を増加させることができるが、単純な彩度の増加は色を過度に濃くし、細い形状を消えるようにして物体の識別をより困難にすることもある。このような従来技術の問題点は、従来技術による映像処理方法を例示的に示す図である図３を参照して説明する。図３（ａ）は、例えば、実際の船舶表面を清掃中の船舶清掃ロボットのカメラで撮影した原本映像であって、暗い領域３０ａ及び細い形状を含む微細な領域４０ａを含んでいる。図３（ｂ）は、原本映像で明度情報及び彩度情報の数値全てを増加させた映像であり、図３（ｃ）は、原本映像で明度情報の数値のみを、図３（ｄ）は、原本映像で彩度情報の数値のみを増加させた映像である。図３（ｃ）のように暗い領域を明るくするために明度を増加させると全体的にぼやけ、図３（ｄ）のようにぼやけた部分を鮮明にするために彩度を増加させると細い形状は消える形状歪みが発生することになる。したがって、暗い領域を明るくしながらぼやけた部分を鮮明にするために明度及び彩度を共に上げると、図３（ｂ）のように暗い領域３０ｂは明るくなる効果があるが、その他の領域も必要以上に明るくなって歪みが発生し、また微細な領域４０ｂでの細い形状は消えるという問題が発生する。

【0044】

普通、ロボット操縦者はモニターの画面を集中して長時間見なければならないため、精神的または肉体的疲労度が高い。また、ロボットの１秒当たりの移動距離は識別距離より長いため、操縦者は大部分の時間の間、カメラ映像の暗い部分を見ながら障害物や船舶表面の生物汚損状態を判断して操作をしなければならないため、操縦者の疲労度が高い。

【0045】

そこで、長時間運転するロボット操縦者の疲労を減らすために、カメラ映像の暗い部分も容易に識別可能にする技術が必要である。このとき、このような暗い部分も容易に識別可能にする技術は、前記の１つの映像に合成する技術とは別に単独で使用可能であり、またこれと連携して使用されることも可能である。

【0046】

図４は、本発明に係る映像処理方法で生成される情報を示す図であり、図５は、本発明に係る映像処理方法で処理された映像の一例を示す図である。

【0047】

図４を参照すると、本発明に係る映像処理方法は、原本映像に基づいて明度情報、彩度情報、及び色相情報を取得する段階（Ｓ５００）、取得された明度情報を反転させて反転した明度情報を取得する段階（Ｓ６００）、反転した明度情報に基づいて、明度情報を補正するための第１補正情報を取得する段階（Ｓ７００）、第１補正情報を明度情報に適用して変換された明度情報を生成する段階（Ｓ８００）、及び変換された明度情報、彩度情報及び色相情報で補正された映像を生成する段階（Ｓ９００）を含む。

【0048】

ここで、原本映像に基づいて明度情報、彩度情報、及び色相情報を取得する段階（Ｓ５００）において、原本映像は、一列に配置された複数のカメラから取得された左側映像、中央映像、右側映像のそれぞれであり得るか、または前記の１つの映像に合成する技術と連携して使用される場合、その段階で取得または生成された映像、例えば最終ワイド映像であり得る。原本映像は、各画素別のＲＧＢ値、ＨＳＢ（ｈｕｅ－ｓａｔｕｒａｔｉｏｎ－ｂｒｉｇｈｔｎｅｓｓ）値またはＨＬＳ（ｈｕｅ－ｌｉｇｈｔｎｅｓｓ－ｓａｔｕｒａｔｉｏｎ）値で示すことができ、ＲＧＢ値で表現された場合には色相（ｈｕｅ）情報、明度（ｌｉｇｈｔｎｅｓｓ）情報、及び彩度（Ｓａｔｕｒａｔｉｏｎ）情報をそれぞれ示すＨＬＳ値に変換されて保存されることができる。

【0049】

本発明の取得された明度情報を反転させて反転した明度情報を取得する段階（Ｓ６００）において、明度情報は、普通個別画素（ｐｉｘｅｌ）に対して最も暗いものを０とし最も明るいものは２５５として、２５６段階で表現され、例えば１２である明度情報の反転した明度情報は２５５－１２＝２４３となり得る。これは、図５（ｃ）が図５（ａ）の原本映像から取得された明度情報であるとき、図５（ｄ）が反転した明度情報であることから理解されることができる。

【0050】

次に、反転した明度情報に基づいて、明度情報を補正するための第１補正情報を取得する段階（Ｓ７００）は、反転した明度情報が閾値以上のときにのみ、０ではない、明度情報を補正するための第１補正情報を取得する段階を含む。すなわち、反転した明度情報が閾値以上のときには、反転した明度情報が閾値以下のときよりも明度情報を補正するための第１補正情報が大きくなり得、例えば反転した明度情報が閾値以下のときには、明度情報のための第１補正情報が０であり得る。このような適切な水準への明度調整は、所定の基準を満足する、図５（ａ）の５０ａのような暗い領域ではない部分６０ａまで明るくする必要がない場合に有用であり得る。ここで閾値は、必要に応じて実験的に定義されることができる。

【0051】

続いて、このように取得された第１補正情報を明度情報に適用して変換された明度情報を生成する段階（Ｓ８００）及び変換された明度情報、彩度情報及び色相情報で補正された映像を生成する段階（Ｓ９００）が進行される。

【0052】

ここで、本発明の映像処理方法は、明度調整で低くなるか高くなった彩度を適切な水準で調整するために、反転した明度情報に基づいて、彩度情報を補正するための第２補正情報を取得する段階、及び第２補正情報を彩度情報に適用して変換された彩度情報を生成する段階をさらに含むことができ、このとき変換された明度情報、彩度情報及び色相情報で補正された映像を生成する段階で利用される彩度情報は、変換された彩度情報に代替されることができる。明度情報を補正するための第１補正情報を取得する段階（Ｓ７００）と同様に、反転した明度情報が閾値以上のときにのみ、０ではない、彩度情報を補正するための第２補正情報を取得する段階を含むことができる。すなわち、反転した明度情報が閾値以上のときには、反転した明度情報が閾値以下のときよりも彩度情報を補正するための第２補正情報が大きくなり得、例えば反転した明度情報が閾値以下のときには、彩度情報のための第２補正情報が０であり得る。これは、所定の基準を満足する、図５（ｂ）の６０ｂのような微細な領域まで鮮明にする必要がない場合に有用であり得る。ここで閾値は、必要に応じて実験的に定義されることができる。もちろん、第１補正情報を定義する基準としての閾値と、第２補正情報を定義する基準としての閾値は異なって設定されることができ、また第１補正情報と第２補正情報も異なって定義されることができる。

【0053】

これによって、本発明の映像処理方法に基づいて原本映像で色相と形状の歪みを最小化しながら暗い領域のみよく見えるように処理するための技術を、例えば船舶清掃ロボットに適用すると、図５（ｂ）のような出力映像を取得することができるようになって、結果的にロボット操縦者の疲労を大きく減らすことができるようになる。

【0054】

一方、船舶には船舶清掃ロボットを利用して船舶表面の清掃時に衝突したり、移動できない部位である湾曲部竜骨（ｂｉｌｇｅ ｋｅｅｌ）、アノード（ａｎｏｄｅ）、船首舵（ｂｏｗ ｔｈｒｕｓｔｅｒ）、海水箱（ｓｅａ ｃｈｅｓｔ）などがある。ロボット操縦者は、ロボットの位置推定システムによって、ロボットの位置を知ることができるので、該当部位に到達する前に注意して操縦する。

【0055】

船舶表面にはスライムや海藻類以外に、フジツボやイガイなどの殻を持つ付着生物が生息する。殻を持つ付着生物が小規模の場合には大きな問題はないが、大規模に生息する場合には、ロボットと衝突してロボットが停止したり、または除去されなかった殻を持つ付着生物の上にロボットが乗り上げるようになり、ロボットが船体表面から離脱することがある。スライムや海藻類の場合には、最大走行速度で清掃が可能であるが、殻を持つ付着生物の場合は、低速で清掃を進行するか、清掃ブラシの回転数を上げなければならない。したがって、ロボット操縦者は状況に応じてロボットの走行速度や清掃ブラシの回転数を適切に操縦しなければならないが、長時間集中して操縦することは非常に難しい。

【0056】

そこで、長時間運転するロボット操縦者の疲労を減らすために、ロボットに設置されたカメラ映像を分析して、自動的にロボットの移動速度及び清掃ブラシの回転数を調節する人工知能技術が必要である。

【0057】

人工知能は、ディープラーニングやマシンラーニングなどの学習によって製作される、ＰＣで動作するプログラムであって、ロボット運営プログラムに含まれるか、または別途に設けられたＰＣに設置されることができる。ここで、ロボット運営プログラムとは、ロボットに動作を命令したり、ロボットに設置されたカメラからの映像をモニターに表示したり、ロボットに設置されたセンサーなどに対するデータをモニターに表示するなど、ロボット操縦者が全般的にロボットを操縦するのに必要な必須プログラムを通称する。特に、本発明の映像処理方法を実行できる船舶清掃ロボットに関するロボット運営プログラムには、状況に応じたロボットの移動速度及び清掃ブラシの回転数が定義されており、運営プログラムの実行時に下記の制御モデルにしたがってロボットの移動速度及び清掃ブラシの回転数を調節することになる。

【0058】

そこで、長時間運転するロボット操縦者の疲労を減らすために、自動的にロボットの移動速度及び清掃ブラシの回転数を調節する人工知能技術が必要である。このとき、このような人工知能技術は、カメラ映像の暗い部分も容易に識別可能にする技術及び／または前記の１つの映像に合成する技術とは別に単独で使用可能であり、さらにこれと共に連携して使用されることも可能である。

【0059】

このように、本発明に係るロボット制御方法は、前記の映像処理方法によって取得または生成されたいずれか１つの映像を学習して、ロボットの移動速度及び清掃ブラシの回転数を調節する制御モデルを構築する段階、及び構築された制御モデルを利用して、ロボットに配置された複数のカメラから取得された映像を前記の映像処理方法によって処理して生成された最終ワイド映像に基づいてロボットの移動速度及び清掃ブラシの回転数を調節する段階を含むことができる。

【0060】

また、ロボットの移動速度及び清掃ブラシの回転数を調節する段階は、ロボットの操縦者にロボットの移動速度及び清掃ブラシの回転数を調節していることについて表示する段階を含み、これらの表示はテキスト、図、振動、音及び照明うちの少なくともいずれか１つを利用することを含むことができる。

【0061】

一方、本発明の一実施例に係る映像処理方法は、全的にハードウェアであるか、全的にソフトウェアであるか、または部分的にハードウェアで部分的にソフトウェアである側面を有することができる。本明細書において、「部（ｕｎｉｔ）」、「モジュール（ｍｏｄｕｌｅ）」、「装置」または「システム」などの用語は、ハードウェア及び該当ハードウェアによって駆動されるソフトウェアの組み合わせを称するものと意図される。例えば、ハードウェアは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）または他のプロセッサ（ｐｒｏｃｅｓｓｏｒ）を含むデータ処理可能なコンピューティング装置であり得る。また、ハードウェアは、実行中のプロセス、客体（ｏｂｊｅｃｔ）、実行ファイル（ｅｘｅｃｕｔａｂｌｅ）、実行スレッド（ｔｈｒｅａｄ ｏｆ ｅｘｅｃｕｔｉｏｎ）、プログラム（ｐｒｏｇｒａｍ）などを称することができる。

【0062】

一方、本発明の実施例に係る方法は、少なくとも部分的にプログラム命令の形態で具現され、コンピュータ判読可能記録媒体に記録されることができる。例えば、プログラムコードを含むコンピュータ判読可能媒体で構成されるプログラム製品と共に具現され、これは記述された任意または全ての段階、動作、または過程を行うためのプロセッサによって実行されることができる。

【0063】

前記コンピュータ判読可能記録媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、実施例のために特別に設計及び構成されたものであるか、コンピュータソフトウェアの当業者に公知されて使用可能なものであり得る。コンピュータ判読可能記録媒体の例としては、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して行うように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行されることができる高級言語コードを含む。前記のハードウェア装置は、実施例の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成することができ、その逆も同様である。

【0064】

要約すると、本発明の複数の映像を１つの映像に処理する映像処理方法によれば、複数のカメラ映像を１つの映像にまとめてロボット操縦者の疲労を減らすことができるようになる。また、本発明の前記の映像処理方法を利用したロボット制御方法によれば、ロボット操縦者の疲労を減らしながら、よりきれいに船舶を清掃することができるようになる。

【0065】

本明細書で使用される用語は、特に特許請求の範囲（例えば、特許請求の範囲の本文）で、一般に「開放的」な用語として意図される（例えば、「含んでいる」は「含んでいるがこれに制限されない」と、「有する」は「少なくともそれ以上に有する」と、「含む」は「含むがこれに制限されない」と解釈されるべきである）。導入された特許請求の範囲の記載に対して特定の個数が意図される場合、そのような意図は当該特許請求の範囲に明示的に記載され、そのような記載が不在の場合には、そのような意図は存在しないものと理解される。

【0066】

本発明の特定の特徴のみが本明細書において図示されて説明されているが、様々な修正及び変更が当業者によって発生することができる。したがって、特許請求の範囲は、本発明の思想内に属する変更及び修正を含むものと意図されるということが理解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】