特許 7404831 ソーナー画像伝送装置、システム、ソーナー画像受信装置、ソーナー画像伝送方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-18

(45)【発行日】2023-12-26

(54)【発明の名称】ソーナー画像伝送装置、システム、ソーナー画像受信装置、ソーナー画像伝送方法、及びプログラム

(51)【国際特許分類】

   H04N 1/64 20060101AFI20231219BHJP

   G01S 15/89 20060101ALI20231219BHJP

   H04B 11/00 20060101ALI20231219BHJP

【ＦＩ】

H04N1/64

G01S15/89

H04B11/00 A

H04B11/00 B

【請求項の数】 10

(21)【出願番号】P 2019217986

(22)【出願日】2019-12-02

(65)【公開番号】P2021090092

(43)【公開日】2021-06-10

【審査請求日】2022-11-07

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】中村 義行

【審査官】花田 尚樹

(56)【参考文献】

【文献】特開２０１０－１３９２７０（ＪＰ，Ａ）

【文献】特表２０１９－５３０８４７（ＪＰ，Ａ）

【文献】特開２００７－１５８７８６（ＪＰ，Ａ）

【文献】特開２０１４－１３１１３６（ＪＰ，Ａ）

【文献】特開２００８－０４２６８８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／４１ － １／４１９

１／６４

Ｇ０１Ｓ １／７２ － １／８２

３／８０ － ３／８６

５／１８ － ５／３０

７／５２ － ７／６４

１５／００ －１５／９６

Ｈ０４Ｂ １／００

１／３０

１／５９

１／７２

１１／００ －１３／０２

(57)【特許請求の範囲】

【請求項1】

多重化された複数のソーナー画像に異なる色を割り当てて統合することで、カラー画像を生成する統合部と、
前記ソーナー画像又は前記カラー画像を圧縮する圧縮部と、
前記カラー画像を送信する送信部と、を備え、
前記統合部が、ターゲットに対して異なる３つのスキント方位から取得された３枚の前記ソーナー画像にＲＧＢのチャネルを割り当てて統合することで、前記カラー画像を生成しているソーナー画像伝送装置。

【請求項2】

前記統合部が、データ圧縮機能を備える汎用画像ファイルフォーマットを用いてカラー画像を生成し、
前記圧縮部が前記汎用画像ファイルフォーマットの前記カラー画像の画素を間引くことで圧縮している請求項１に記載のソーナー画像伝送装置。

【請求項3】

前記カラー画像には、３枚に共通の共通ヘッダと、各スキント固有の画像ヘッダが付加されている請求項２に記載のソーナー画像伝送装置。

【請求項4】

通信環境における通信性能に応じて、前記カラー画像の圧縮率を制御する圧縮率制御部をさらに備えた請求項１～３のいずれか１項に記載のソーナー画像伝送装置。

【請求項5】

請求項１～４のいずれか１項に記載のソーナー画像伝送装置と、
ソーナー画像受信装置と、を備え
前記ソーナー画像受信装置が、
前記カラー画像を受信する受信部と
前記受信部で受信された前記カラー画像から前記ソーナー画像を復元するデコーダと、を備えているソーナー画像伝送システム。

【請求項6】

多重化された複数のソーナー画像が異なる色に割り当てられたカラー画像を受信する受信部と、
前記カラー画像をカラー分離して、前記複数のソーナー画像を復元するデコーダと、を備え、
ターゲットに対して異なる３つのスキント方位から取得された３枚の前記ソーナー画像にＲＧＢのチャネルを割り当てて統合されることで、前記カラー画像が生成されており、
前記デコーダは、カラー画像をＲＧＢのそれぞれのチャネルに分離して、３枚のスキント画像を復元するソーナー画像受信装置。

【請求項7】

前記カラー画像には、３枚に共通の共通ヘッダと、各スキント固有の画像ヘッダが付加されており、
前記デコーダは、共通ヘッダと、画像ヘッダと、スキント画像とからソーナー画像を得る請求項６に記載のソーナー画像受信装置。

【請求項8】

前記デコーダが、前記カラー画像に対してデータ補間を行い、
前記データ補間が行われたカラー画像に対して、前記カラー分離を行う請求項６に記載のソーナー画像受信装置。

【請求項9】

多重化された複数のソーナー画像に異なる色を割り当てて統合することで、カラー画像を生成し、
前記ソーナー画像又は前記カラー画像を圧縮し、
前記カラー画像を送信し、
ターゲットに対して異なる３つのスキント方位から取得された３枚の前記ソーナー画像にＲＧＢのチャネルを割り当てて統合することで、前記カラー画像が生成されているソーナー画像伝送方法。

【請求項10】

多重化された複数のソーナー画像に異なる色を割り当てて統合することで、カラー画像を生成する処理と、
前記ソーナー画像又は前記カラー画像を圧縮する処理と
前記カラー画像を送信する処理と、
をコンピュータに実行させ、
ターゲットに対して異なる３つのスキント方位から取得された３枚の前記ソーナー画像にＲＧＢのチャネルを割り当てて統合することで、前記カラー画像が生成されている、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ソーナー画像伝送装置、ソーナー画像伝送システム、ソーナー画像受信装置、ソーナー画像伝送方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、水中情報収集システムが開示されている。水中航行体は、サイドスキャンソーナー（Side-Scan Sonar：ＳＳＳ）を用いて、水中の情報を収集している。水中航行体が、水中の情報を送信可能な音響モデムを有している。音響モデムが、水中の情報を水上移動体に送信している。サイドスキャンソーナーによって、水中の情報が画像情報として取得されている。また、水中情報は、所定の単位で圧縮され、送信されている。具体的には、情報処理部が、静止画をＪＰＥＧファイル形式に変換することで、データを圧縮している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－１３９２７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ソーナーにより取得されたソーナー画像をより効率的に伝送する技術が望まれている。

【0005】

本開示の目的は、上述した問題を鑑み、効率的にソーナー画像を伝送することができるソーナー画像伝送装置、ソーナー画像伝送システム、ソーナー画像受信装置、ソーナー画像伝送方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の一態様に係るソーナー画像伝送装置は、多重化された複数のソーナー画像に異なる色を割り当てて統合することで、カラー画像を生成する統合部と、前記ソーナー画像又は前記カラー画像を圧縮する圧縮部と、前記カラー画像を送信する送信部と、を備えている。

【0007】

本発明の一態様に係るソーナー画像受信装置は、多重化された複数のソーナー画像が異なる色に割り当てられたカラー画像を受信する受信部と、前記カラー画像をカラー分離して、前記複数のソーナー画像を復元するデコーダと、を備えている。

【発明の効果】

【0008】

本開示によれば、効率よくソーナー画像を伝送することができるソーナー画像伝送装置、ソーナー画像伝送システム、ソーナー画像受信装置、ソーナー画像伝送方法及びプログラムを提供することが可能となる。

【図面の簡単な説明】

【0009】

【図1】ソーナー画像伝送システムを示す図である。

【図2】スキント処理により多重化されたソーナー画像を生成する方法を説明するための図出る。

【図3】エンコーダの構成を示すブロック図である。

【図4】エンコーダにおけるエンコード処理を説明するための図である。

【図5】デコーダの構成を示すブロック図である。

【図6】デコーダにおけるデコード処理を説明するための図である。

【図7】変形例におけるデコーダの構成を示すブロック図である。

【図8】デコーダにおけるデコード処理の変形例を説明するための図である。

【図9】ソーナー画像伝送装置の構成を示すブロック図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回線で構成することができる。また、本開示は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。従って、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0011】

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-Transitory computer Readable Medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage Medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Transitory computer Readable Medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0012】

本開示は、ソーナー画像伝送装置、ソーナー画像受信装置、ソーナー画像伝送システム、ソーナー画像伝送方法及びプログラムに関する。ここでは、サイドスキャン方式の合成開口ソーナーによりリアルタイムで海底マップを生成するＵＵＶ（Unmanned Underwater Vehicle）への適用を例に説明する。

【0013】

サイドスキャン方式で海底マップを生成するために、ＵＵＶが直進しながら、ソーナーが両舷に送受信を行う。このようにすることで、縦長のwaterfall画像が連続的に生成される。この１回の送受信により取得する片舷スラントレンジ距離をＲとすると、両舷方向の刈り取り幅は２Ｒとなる。

【0014】

また合成開口ソーナーでは、複数の送受信を行って取得した受信信号を溜め込んだのち、信号処理を行ってソーナー画像を生成する。この溜め込み時間をｈとし、ＵＵＶの進行速度をＶとすると、アジマス方向に長さＶｈとなる。合成開口ソーナーが１回の信号処理で生成するソーナー画像は、面積２Ｒ×Ｖｈの矩形領域となる。

【0015】

ソーナー画像伝送装置は、１回の信号処理で得られるソーナー画像をその都度水上側へ伝送する。この画像伝送は必ずしも信号処理１回ごとに制限されるわけではなく、複数回の信号処理を行って溜め込んだ複数分のソーナー画像を１回で伝送してもよい。あるいは、信号処理１回分のソーナー画像を複数画像に分割して、複数回伝送する方式でもよい。

【0016】

ＵＵＶは、ＵＵＶを運用する水上側（母船、支援船など）との通信に制約が多く、長距離の通信手段としては水中音響通信が最も適した方式である。しかしながら水中音響通信は、電波や光波のような他の無線通信手段と比べて通信速度が遅く、大容量のデータを連続的、安定的に伝送するには適していない。またＵＵＶはバッテリ等の限られた電力で運用されることが多い。加えて、ＵＵＶ自体の物理的寸法の制約から、その搭載機器には常に小型・省電力であることが求められる。

【0017】

本実施の形態によれば、ＵＵＶからソーナー画像のようなデータサイズの大きいデータを水中音響通信で伝送することが可能となる。さらに、本実施の形態によれば、ソーナー画像の特性に応じた効果的なデータ圧縮を、小型・省電力な形態で実現することが可能となる。

【0018】

実施の形態１．
図１を参照して、ソーナー画像伝送システムについて説明する。ソーナー画像伝送システム１００は、水中ビークル（以下、単にビークルとする）２００と水上艇４００とを有している。ソーナー画像伝送システム１００は、ビークル２００と、水上艇４００との間で、ソーナー画像を伝送するシステムである。水上艇４００は、ビークル２００を運用する母船や支援船などである。

【0019】

ビークル２００は、水中を航走するＵＵＶ等である。また、ビークル２００は、水上艇４００で牽引される曳航体であってもよい。ビークル２００には、ソーナー２０１と、ソーナー画像伝送装置２１０が搭載されている。

【0020】

ソーナー２０１は音波の送受信器を備えている。つまり、ソーナー２０１は、海中に向けて音波を発射し、その反射波を捉える。ソーナー２０１が発する音波は，超音波であってもよい。ソーナー２０１は、海底までの距離を測距することで、海底マップを示すソーナー画像を生成する。ソーナー２０１は、ソーナー画像をソーナー画像伝送装置２１０に出力する。

【0021】

ソーナー２０１がスキント（ｓｑｕｉｎｔ）処理を行う例について説明する。ソーナー２０１が同一の海底面に対して、異なる３つのスキント方位から送受信を行う。ソーナー２０１がスキント処理を行うことで、３枚の多重化されたソーナー画像が生成される。つまり、異なる３つのスキント方位で、それぞれソーナー画像（スキント画像ともいう）が取得され、これらが多重化される。ここで３枚のスキント画像は、同じ海底面を同一サイズおよび同一分解能で画像化されている。データとしては３枚に共通のファイルヘッダと各スキント固有のヘッダを持つ画像ファイル形式とする。共通のファイルヘッダを共通ヘッダとし、各スキント固有のヘッダを画像ヘッダとする。

【0022】

合成開口ソーナーのスキント処理によって、３枚の多重化されたソーナー画像２０２を得る方法について、図２を用いて説明する。通常のサイドスキャンソーナーや合成開口ソーナーでは、ｓｑｕｉｎｔ０のように、真横（０°）に送受信している。本実施の形態では、ｓｑｕｉｎｔ＋α、ｓｑｕｉｎｔ０、ｓｑｕｉｎｔ－αの３方位にソーナー２０１が送受信を行う。ビークル２００が航行中に、ソーナー２０１が斜め前方（＋α）、真横（０°）、斜め後方（－α）の順に送受信を行う。それぞれの送受信でのターゲットＴは同じ位置となっている。このようにすることで、３－ｓｑｕｉｔ重畳領域の画像を得ることができる。３－ｓｑｕｉｔ重畳領域は、いずれのスキント方位においても超音波が届いた領域である。

【0023】

図１の説明に戻る。ソーナー画像伝送装置２１０は、ソーナー２０１で取得されたソーナー画像２０２のデータを取得する。ソーナー画像伝送装置２１０は、水上艇４００に伝送するための処理をソーナー画像２０２に対して施す。なお、ソーナー画像伝送装置２１０は、ソーナー２０１と別個の装置として示されているが、ソーナー２０１と一体の装置となっていてもよい。つまり、ソーナー画像伝送装置２１０は、ソーナー２０１に組み込まれていてもよい。

【0024】

ソーナー画像伝送装置２１０はエンコーダ２１１と、送信部２１２と、ループ２１３とを備えている。エンコーダ２１１は、ソーナー画像２０２をエンコードして、伝送ファイル２０３とする。つまり、エンコーダ２１１はソーナー画像２０２のデータを圧縮する。エンコーダ２１１で圧縮されたソーナー画像は、送信部２１２に出力される。

【0025】

送信部２１２は、伝送路３００を介して、ソーナー画像の伝送ファイル２０３を水上艇４００に伝送する。ここでは、水中音響通信により、送信部２１２が圧縮されたソーナー画像を送信する。つまり、伝送路３００は水中となっており、水中を伝播する音波によりソーナー画像が送信される。送信部２１２は、伝送ファイル２０３の形式でソーナー画像を水上艇４００に送信する。

【0026】

ビークル２００と水上艇４００との間には、音響通信の伝送路３００がある。伝送路３００は、海中などの自然環境であるため、その時々で通信性能が変動する。よって、エンコーダ２１１は、適応エンコーダとすることが好ましい。例えば、ソーナー画像伝送装置２１０は、直近の通信性能をフィードバックするループ２１３を備えている。送信部２１２がソーナー画像の伝送ファイル２０３を送信したときの通信性能が、ループ２１３を介して、エンコーダ２１１にフィードバックされる。エンコーダ２１１は、フィードバックされた通信性能に応じて、次のエンコードにおける圧縮率等を変化させる。エンコーダ２１１における処理については、後述する。

【0027】

伝送路３００を介して、ソーナー画像が水上に伝送される。水上艇４００がソーナー画像のデータを受信する。水上艇４００は、ソーナー画像受信装置４１０を備えている。ソーナー画像受信装置４１０は、受信部４１１と、デコーダ４１２とを備えている。受信部４１１は、ソーナー画像を、伝送ファイル４０３として、受信する。受信部４１１は、伝送ファイル４０３をデコーダ４１２に出力する。デコーダ４１２は、伝送ファイル４０３をデコードする。つまり、デコーダ４１２は、受信データを再構成して、ソーナー画像４０４を生成する。

【0028】

デコーダ４１２で再構成されたソーナー画像４０４は、水中側と同じ３枚のスキント画像形式として参照可能となる。ただし再構成されたソーナー画像４０４は、伝送時のエンコーダ２１１の特性により、必ずしもソーナー画像２０２と完全に同じ画質に復元されるとは限らない。

【0029】

次に、エンコーダ２１１における処理について説明する。図３は、エンコーダ２１１の一例を示すブロック図である。図４は、エンコーダ２１１の各ブロックにおける処理を説明するための図である。エンコーダ２１１には、画像形式でソーナー画像２０２が入力される。上記の通り、３枚の多重化されたソーナー画像２０２がエンコーダ２１１に入力される。つまり、ソーナー画像２０２は、３枚のスキント画像２０２ａを有している。

【0030】

それぞれのスキント画像２０２ａの画像サイズをＷ×Ｈ［ｄｏｔｓ］とする。つまり、１枚のスキント画像２０２ａは、縦方向の画素数がＷ［ｄｏｔｓ］、横方向の画素数がＨ［ｄｏｔｓ］の矩形画像である。なお、Ｈ、Ｗはそれぞれ１以上の整数である。スキント画像２０２ａは、グレイスケール画像であるため、各画素の輝度情報は所定の階調数で示される。

【0031】

また、スキント画像２０２ａには、共通ヘッダ２０２ｂ、及び画像ヘッダ２０２ｃが付加情報として付されている。３枚のスキント画像２０２ａで、共通ヘッダ２０２ｂは共通となっている。また、画像ヘッダ２０２ｃは、それぞれのスキント画像２０２ａで異なっている。つまり、３枚のスキント画像２０２ａには固有の画像ヘッダ２０２ｃと、共通の共通ヘッダ２０２ｂが付されている。

【0032】

分離部２２１は、ソーナー画像２０２に含まれているヘッダデータと画像データとを分離する。つまり、分離部２２１は、ソーナー画像２０２のデータに含まれている共通ヘッダ２０２ｂ、及び画像ヘッダ２０２ｃのデータを抽出して、スキント画像２０２ａの画像データから分離する。これにより、スキント画像２０２ａが、共通ヘッダ２０２ｂ、及び画像ヘッダ２０２ｃから分離される。共通ヘッダ２０２ｂ、及び画像ヘッダ２０２ｃは、ヘッダデータ圧縮部２２２に入力される。ここでは、１つの共通ヘッダ２０２ｂと、３つの画像ヘッダ２０２ｃの合計４つのヘッダデータがヘッダデータ圧縮部２２２に入力される。

【0033】

ヘッダデータ圧縮部２２２は、４つのヘッダデータを集合して、圧縮する。これにより、単一の圧縮された圧縮ヘッダデータ２０５が生成される。例えば、圧縮方式については、ｚｉｐ、７ｚ等の汎用の高圧縮率方式を適用することができる。これにより、大幅にヘッダデータのデータサイズを圧縮することができる。ここでは、ヘッダデータの圧縮については、公知のデータ圧縮手法を用いることができるため、詳細な説明を省略する。ヘッダデータ圧縮部２２２は、圧縮ヘッダデータ２０５をアーカイバ２４０に出力する。

【0034】

一方、３枚のスキント画像２０２ａの画像データは、統合部２２３に入力される。１枚のスキント画像２０２ａの画像データのサイズは、Ｗ×Ｈ［ｄｏｔｓ］であり、それぞれの画素に輝度情報が含まれている。このため、統合部２２３には、Ｗ×Ｈ×１ｃｈ×３枚のデータが入力される。統合部２２３は、３枚のスキント画像２０２ａのデータを統合する。

【0035】

統合部２２３は、３枚のスキント画像２０２ａに異なる色を割り当てて統合することで、カラー画像２０６を生成する。具体的には、統合部２２３は、３枚のスキント画像２０２ａの輝度情報にＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のチャネルに割り当て、カラー画像２０６を生成する。例えば、統合部２２３は、１枚目のスキント画像２０２ａの輝度情報にＲのチャネルに割り当てる。統合部２２３は、２枚目のスキント画像２０２ａの輝度情報にＧのチャネルに割り当てる。統合部２２３は、３枚目のスキント画像２０２ａの輝度情報にＢのチャネルに割り当てる。これにより、３枚のスキント画像２０２ａが１枚のカラー画像２０６に集約される。カラー画像２０６は、Ｗ×Ｈ×３ｃｈ×１枚のデータとなっている。このようにすることで、効率よくソーナー画像を伝送することができる。

【0036】

カラー画像２０６のフォーマットとしては、jpeg等の汎用的な圧縮画像フォーマットを採用することが好ましい。つまり、カラー画像２０６は、データ圧縮機能を備える汎用画像ファイルフォーマットとなっている。統合部２２３は、データ圧縮機能を備える汎用画像ファイルフォーマットを用いてカラー画像２０６を生成している。このようにすることで、カラー統合と同時にデータ圧縮を行うことができる。よって、より効率よく、ソーナー画像を伝送することができる。さらに、圧縮率を可変とすることで、画質とデータサイズのトレードオフにも対応することができる。

【0037】

統合部２２３で生成されたカラー画像２０６は、圧縮部２２４に入力される。例えば、圧縮部２２４は、カラー画像２０６を間引くことで、データを圧縮する。圧縮部２２４で圧縮されたカラー画像を圧縮カラー画像２０７とする。

【0038】

圧縮部２２４は、カラー画像２０６の画素を間引くことで、カラー画像２０６を圧縮している。圧縮部２２４での間引き率ｄとすると、データ圧縮率は１／ｄ^２となる。つまり、圧縮カラー画像２０７では、縦方向の画像サイズが、Ｗ／ｄとなり、横方向の画像サイズがＨ／ｄとなる。ｄは、１以上の整数であり、ｄの値によって間引かれる画素数が変わる。したがって、間引き率ｄにおいて圧縮率が変わるため、圧縮カラー画像２０７の画像サイズが変化する。統合部２２３は、圧縮カラー画像２０７をアーカイバ２４０に出力する。

【0039】

圧縮部２２４は、カラー画像２０６に含まれる一部の画素を間引いている。圧縮部２２４は、データの間引きによる圧縮を行う。もちろん、圧縮部２２４は、間引き処理以外の手法でデータを圧縮してもよい。本実施の形態において、画像又はヘッダデータ等をデータ圧縮は、可逆圧縮でもよく、非可逆圧縮でもよい。

【0040】

ここで、圧縮カラー画像２０７は、｛（Ｗ×Ｈ）／ｄ^２｝×３ｃｈ×１枚のデータとなっている。さらに、圧縮部２２４での圧縮率（間引き率ｄ）を可変とすることで、画質とデータサイズのトレードオフにも対応することができる。例えば、ｄ＝２とすると、画像サイズは、（Ｗ×Ｈ）／４［ｄｏｔｓ］になる。

【0041】

アーカイバ２４０は、圧縮ヘッダデータ２０５及び圧縮カラー画像２０７を１つの伝送ファイル２０３にまとめる。伝送ファイル２０３が、水中音響通信の伝送データとして使用される。つまり、図１に示す送信部２１２が、伝送ファイル２０３を送信する。

【0042】

さらに、圧縮率制御部２３０が統合部２２３での圧縮率、及び圧縮部２２４での間引き率ｄを制御する。例えば、圧縮率制御部２３０には、伝送路３００における通信性能がループ２１３から入力される。例えば、水中音響通信からは、直近の伝送において得られた通信性能がフィードバックとして、圧縮率制御部２３０に入力される。圧縮率制御部２３０は、通信性能に応じて、圧縮率を設定する。

【0043】

統合部２２３での圧縮率、及び圧縮部２２４での間引き率ｄは、画質とデータサイズのトレードオフに対応するパラメータとして利用可能である。つまり、圧縮率、及び間引き率ｄを小さくすると、元画像に近い高画質となるが、伝送ファイル２０３のサイズが大きくなる。一方、圧縮率、間引き率ｄを大きくすると、伝送ファイル２０３のサイズは小さくなるが、元画像との乖離が大きくなり画質が劣化する。

【0044】

伝送路３００での通信環境が良く高いスループットが得られている場合は、圧縮率および間引き率を小さく設定する。これにより、画像サイズは大きいが、高画質の画像を伝送ファイル２０３とすることができる。一方、通信環境が悪く高いスループットが得られない場合は、圧縮率および間引き率を大きく設定する。画質よりもサイズを優先した伝送ファイルとする。つまり、通信環境が悪い場合であっても、確実に伝送ファイルを伝送することができる。圧縮率制御部２３０が、通信環境に応じて、伝送ファイル２０３のデータサイズを変更することで、確実に伝送ファイルを送信することができる。圧縮率制御部２３０は、圧縮部２２４での間引き率ｄのみを制御して、圧縮率を調整してもよい。

【0045】

エンコーダ２１１によるエンコーディングでは、入力となるソーナー画像２０２が３枚のスキント画像２０２ａを含んでいる。１枚のスキント画像２０２ａは、Ｗ×Ｈ［ｄｏｔｓ］の画像サイズである。ソーナー画像２０２は、共通ヘッダ２０２ｂ、画像ヘッダ２０２ｃを含んでいる。このうちヘッダ部分は、汎用の高圧縮率方式を適用することでデータサイズを大幅に低減できる。

【0046】

またスキント画像２０２ａは、カラー統合によってＷ×ＨドットのＲＢＧ画像１枚に集約される。この際、データフォーマットにjpeg等の汎用の圧縮画像フォーマットを採用することで、画像サイズは低減される。このサイズ低減率は、フォーマッティング時の圧縮率指定で制御することができる。汎用画像ファイルフォーマットを採用することで、専用プロセッサやハードウェアを必要とせず、小型・省電力な装置構成で効率的な圧縮が可能となる。

【0047】

間引き率ｄを設定することで画像サイズを１／ｄ^２に低減することが可能となる。間引き率ｄは１以上の整数である。圧縮率制御部２３０が、間引き率ｄを変更することで、圧縮部２２４での圧縮率が変化する。圧縮率、間引き率はともに画質とデータサイズのトレードオフに対応するパラメータとして利用可能である。通信性能に応じて、圧縮率等を可変することで、ソーナー画像を適切なデータサイズに圧縮することができる。よって、適切にソーナー画像を伝送することができる。

【0048】

次に、デコーダ４１２での処理について、図５、及び図６を用いて説明する。図５は、デコーダ４１２の構成を示すブロック図である。図６は、デコーダ４１２における各処理を説明するための図である。デコーダ４１２は、エンコーダ２１１の処理をほぼ逆にした処理であるため、適宜説明を省略する。

【0049】

受信部４１１が受信した伝送ファイル４０３がデコーダ４１２に入力される。伝送ファイル４０３は、圧縮ヘッダデータ４０５と圧縮カラー画像４０７を含んでいる。圧縮ヘッダデータ４０５は、伝送ファイル２０３の圧縮ヘッダデータ２０５に対応し、圧縮カラー画像４０７は、伝送ファイル２０３の圧縮カラー画像２０７に対応している。

【0050】

抽出部４２１は、伝送ファイル４０３に含まれる圧縮ヘッダデータ４０５と圧縮カラー画像４０７とを分離する。抽出部４２１は、圧縮ヘッダデータ４０５を解凍部４２２に出力する。解凍部４２２が圧縮ヘッダデータ４０５を解凍する。これにより、圧縮ヘッダデータ４０５が共通ヘッダ４０２ｂ及び画像ヘッダ４０２ｃに復元される。共通ヘッダ４０２ｂは、元の共通ヘッダ２０２ｂに対応しており、画像ヘッダ４０２ｃは元の画像ヘッダ４０２ｃに対応している。よって、１つの圧縮ヘッダデータ４０５から、１つの共通ヘッダ２０２ｂと、３つの画像ヘッダ４０２ｃが生成される。

【0051】

抽出部４２１は、圧縮カラー画像４０７を超解像処理部４２３に出力する。超解像処理部４２３は、圧縮カラー画像４０７の間引きデータを復元することで、復元カラー画像４０６を生成する。例えば、圧縮カラー画像４０７の輝度情報を補完することで、エンコーダ２１１で間引かれた画素の輝度情報が復元される。

【0052】

これにより、｛（Ｗ×Ｈ）／ｄ^２｝×３ｃｈ×１枚の圧縮カラー画像４０７から、Ｗ×Ｈ×３ｃｈ×１枚の復元カラー画像４０６が生成される。例えば、汎用画像ビューア等でよく採用されるサンプル補間方式（例えばバイリニア、バイキュービック等）を用いて、復元カラー画像４０６を生成することができる。超解像処理部４２３は、データ補間により間引かれたデータを復元する。より高精度な復元が必要な場合は、機械学習等を用いたより高精度な超解像法を採用することも可能である。

【0053】

さらに、超解像処理部４２３は、復元カラー画像４０６のＲＧＢチャネルに割り当てられた輝度情報をカラー分離する。つまり、３ｃｈの復元カラー画像４０６を、Ｒのチャンネルに応じたスキント画像２０２ａと、Ｇチャネルに応じたスキント画像２０２ａと、Ｇチャネルに応じたスキント画像２０２ａにカラー分離する。これにより、３枚のスキント画像４０２ａを復元することができる。超解像処理部４２３は、Ｗ×Ｈ×１ｃｈ×３枚のスキント画像４０２ａを生成する。

【0054】

ヘッダ／画像統合部４４０は、共通ヘッダ４０２ｂと画像ヘッダ４０２ｃとスキント画像４０２ａとをフォーマッティングし、ソーナー画像４０４を得る。ヘッダ／画像統合部４４０は、スキント画像４０２ａに共通ヘッダ４０２ｂと画像ヘッダ４０２ｃを付与する。これにより、ソーナー画像４０４が生成される。このように、デコーダ４１２は受信部４１１で受信されたカラー画像からソーナー画像４０４を復元する。デコーダ４１２で再構成された受信データは、水中側と同じ３枚のスキント画像形式として参照可能となる。

【0055】

なおデコーダ４１２側には通信性能のフィードバックは必要なく、水中側で設定された圧縮率および間引き率に応じたデコード処理を行うのみである。また、伝送ファイル２０３に圧縮率、及び間引き率のデータを含めるようにしてもよい。つまり、圧縮ヘッダデータ２０５が圧縮率などのデータを含んでいてもよい。

【0056】

［変形例１］
図７、図８を用いて、変形例について説明する。図７は、変形例１のデコーダ４１２の構成を示すブロック図である。図８は、変形例におけるデータ処理を説明するための図である。上記の実施の形態では、水中側でカラー統合された伝送データをデコーダにおいてカラー分離することで、水中側で取得した多重化ソーナー画像（３枚のスキント画像）を復元している。一方、本変形例では、カラー分離を行わず、カラー統合された１枚のカラー画像としてソーナー画像を提示している。

【0057】

なお、ビークル２００側での処理は、実施の形態１と同様であるため説明を省略する。デコーダ４１２は図５のカラー分離部４２４が省略された構成となっている。デコーダ４１２において、実施の形態１と共通する内容については適宜説明を省略する。

【0058】

実施の形態１と同様に、抽出部４２１は、伝送ファイル４０３を圧縮ヘッダデータ４０５と圧縮カラー画像４０７に分離する。解凍部４２２は、圧縮ヘッダデータ４０５をデータ解凍して、共通ヘッダ４０２ｂと画像ヘッダ４０２ｃを復元する。共通ヘッダ４０２ｂと画像ヘッダ４０２ｃは、元の共通ヘッダ２０２ｂおよび画像ヘッダ２０２ｃに対応している。共通ヘッダ４０２ｂおよび画像ヘッダ４０２ｃは、ヘッダ／画像統合部４４０に出力される。

【0059】

超解像処理部４２３は、圧縮カラー画像４０７に超解像処理を施す。これにより、圧縮カラー画像４０７は、間引きデータを復元した復元カラー画像４０６となる。復元カラー画像４０６はヘッダ／画像統合部４４０に出力される。変形例１では、超解像処理後のカラー分離は適用されない。

【0060】

ヘッダ／画像統合部４４０は、共通ヘッダ４０２ｂと、画像ヘッダ４０２ｃと、１枚の復元カラー画像４０６とを統合し、復元画像ファイル４０８を生成する。ここでは、復元画像ファイル４０８の１枚のカラー画像４０８ａと、共通画像ヘッダ４０８ｂを含んでいる。画像ヘッダ４０２ｃにはスキント画像固有のデータが含まれているため、ヘッダ／画像統合部４４０は、画像ヘッダ４０２ｃから１枚のカラー画像４０８ａとして必要な情報だけを抽出する。ヘッダ／画像統合部４４０は、共通画像ヘッダ４０８ｂをカラー画像４０８ａに付与する。カラー画像４０８ａは、復元カラー画像４０６に対応している。そして、カラー画像４０８ａがソーナー画像として表示される。

【0061】

また、上記の説明では、合成開口ソーナーの画像データを伝送する方式を示したが、合成開口ソーナー以外の各種計測データを伝送する方式として用いてもよい。例えば、サイドスキャンソーナーやマルチビーム・エコーサウンダといった各種ソーナー画像や、ソーナー以外の水中調査用センサの画像データを対象としてもよい。

【0062】

また、スキント処理により送受信方位の異なる３枚の多重化ソーナー画像を入力としたが、他の実施例としては異なる送受信周波数を用いて同時に取得したソーナー画像を入力としてもよい。この場合、３種類の送受信周波数を用いて３枚のソーナー画像が得られれば、上記の実施形態と同じ構成で伝送することができる。

【0063】

ただしエンコード・デコードにあたっては、それぞれの画像のサイズ、分解能は同じとしている。ＲＧＢチャネルに対して各ソーナー画像の輝度情報をそれぞれ割り当てる構成となる。また、他の実施例として、水中側のエンコードの処理順序を圧縮（間引き）とカラー統合の順に入れ替える方法が考えられる。例えば、圧縮部２２４が３枚のスキント画像２０２ａを間引くことで圧縮した後、統合部２２３が圧縮スキント画像をカラー統合してもよい。この場合、対応するデコード側も同様にカラー分離と超解像の順に入れ替えるのが妥当であるが、両者の順は必ずしも整合させる必要はない。

【0064】

また、他の実施例として、水中側のエンコードに通信性能のフィードバックを適用せず、固定的な圧縮率および間引き率でエンコードを行ってもよい。この場合、水中側は適応エンコードではなく通常のエンコード（非適応エンコード）となるため、よりシンプルな構成で実現できる。その時々の通信環境に応じたベストエフォートな伝送を行うためには、実施の形態１で示したように、適応エンコードを行う。

【0065】

また、他の実施例として、水中側と水上側の通信手段として、水中音響通信以外の方法を用いることが考えられる。具体例として光波や電波を用いた通信が挙げられる。光波や電波を用いた通信方式は水中で使用すると一般的に音響通信に比べて伝搬距離が短くなる。よって、運用上の制約が大きくなることを留意しなければならない。

【0066】

その他の実施の形態．
図９を用いたソーナー画像伝送装置５００の構成について説明する。ソーナー画像伝送装置５００は、多重化された複数のソーナー画像に異なる色を割り当てて統合することで、カラー画像を生成する統合部５０１を備えている。ソーナー画像伝送装置５００は、前記ソーナー画像又は前記カラー画像を圧縮する圧縮部５０２と、前記カラー画像を送信する送信部５０３と、を備えている。この構成によれば、効率よくソーナー画像を伝送することができる。

【0067】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態４の５つのスキント画像に対し、実施の形態２又は実施の形態３の処理を適用してもよい。また、５より多いスキント画像に対して、実施の形態１、２、３のいずれの処理を適用してもよい。

【符号の説明】

【0068】

１００ ソーナー画像伝送システム
２００ ビークル
２０１ ソーナー
２０２ ソーナー画像
２１０ ソーナー画像伝送装置
２１１ エンコーダ
２１２ 送信部
２１３ ループ
２２１ 分離部
２２２ ヘッダデータ圧縮部
２２３ 統合部
２２４ 圧縮部
２３０ 圧縮率制御部
２４０ アーカイバ
４００ 水上艇
４０３ 伝送ファイル
４１１ 受信部
４１２ デコーダ
４２１ 抽出部
４２２ 解凍部
４２３ 超解像処理部
４４０ ヘッダ／画像統合部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】