特開 2018-106313 移動体用画像変換装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-106313(P2018-106313A)

(43)【公開日】2018年7月5日

(54)【発明の名称】移動体用画像変換装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20180608BHJP

   H04N 5/21 20060101ALI20180608BHJP

【ＦＩ】

   G06T1/00 330A

   H04N5/21 B

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

【全頁数】13

(21)【出願番号】特願2016-250273(P2016-250273)

(22)【出願日】2016年12月24日

(71)【出願人】

【識別番号】506429880

【氏名又は名称】株式会社サードプラステクノロジー

(74)【代理人】

【識別番号】110002424

【氏名又は名称】ケー・ティー・アンド・エス特許業務法人

(72)【発明者】

【氏名】水津 克己

(72)【発明者】

【氏名】山本 正壽

【テーマコード（参考）】

5B057

5C021

【Ｆターム（参考）】

5B057AA16

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD05

5B057CE03

5B057CE05

5B057CE06

5B057CH09

5B057CH11

5B057CH14

5B057DA07

5B057DA08

5B057DB02

5B057DB09

5B057DC32

5C021PA31

5C021RB03

5C021RB07

5C021XB11

(57)【要約】      （修正有）

【課題】従来とは異なる画像のデータの圧縮・伸長技術を提供する。
【解決手段】本発明の移動体用画像変換装置は、道路上の障害物を検出する場合に用いるもので、原画像の解像度を劣化させるフィルタと解像度を高めるフィルタとを有している。サーバーに解像度を低くした圧縮画像を記憶しておき、これを受信して解像度を上げて伸長した復元画像を生成し、これと撮像画像との差分画像により、障害物を検出することを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

移動体に搭載され第１画像を超解像処理により第２画像に変換する移動体用画像変換装置。

【請求項2】

前記第１画像は前記移動体の外部のデータサーバから送信され、
前記移動体用画像変換装置は前記第１画像を受信する受信部を有する請求項１に記載の移動体用画像変換装置。

【請求項3】

前記超解像処理は、反復演算処理を含む請求項１または２に記載の移動体用画像変換装置。

【請求項4】

前記移動体はカメラを備え、
前記移動体用画像変換装置は、少なくとも前記カメラで撮影された第３画像と前記第２画像に基づいて前記移動体の周辺の障害物を認識する障害物認識部を有する請求項１から３のいずれか１項に記載の移動体用画像変換装置。

【請求項5】

前記移動体用画像変換装置は、前記移動体の周辺の気象環境を認識する気象環境認識部を備え、前記気象環境認識部の認識結果に基づいて前記超解像処理の実施を決定する請求項１から４に記載の移動体用画像変換装置。

【請求項6】

前記移動体用画像変換装置は、点像分布関数に基づくフィルタを保存するメモリと、前記第１画像に前記フィルタをかけて前記第２画像を生成する第１画像処理部とを有する請求項１に記載の移動体用画像変換装置。

【請求項7】

移動体に搭載され第５画像を解像度劣化処理により第６画像に変換する移動体用画像変換装置。

【請求項8】

前記移動体は外部を撮影して前記第５画像を生成するカメラを備え、
前記移動体用画像変換装置は、前記第６画像を外部のデータサーバに送信する送信部を有する請求項７に記載の移動体用画像変換装置。

【請求項9】

前記解像度劣化処理は、反復演算処理を含む請求項７または８に記載の移動体用画像変換装置。

【請求項10】

前記移動体用画像変換装置は、前記移動体の周辺の気象環境を認識する気象環境認識部を備え、前記気象環境認識部の認識結果に基づいて前記解像度劣化処理の実施を決定する請求項７から９に記載の移動体用画像変換装置。

【請求項11】

前記移動体用画像変換装置は、点像分布関数に基づくフィルタを保存するメモリと、前記第５画像に前記フィルタをかけて前記第６画像を生成する第２画像処理部とを有する請求項７に記載の移動体用画像変換装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動車などの移動体に搭載される画像変換装置に関する。

【背景技術】

【0002】

自動車は、自動運転制御、ドライブレコーダーまたはセキュリティの目的で画像のデータを取り扱う。これらの自動車は、画像データの通信および記録のために画像変換装置を備える（例えば、特許文献１参照）。画像変換装置は、画像のデータを圧縮または伸長する。従来、JPEG（Joint Photographic Experts Group）またはMPEG(Moving Pictures Experts Group)を含む多数の画像圧縮・伸長技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−１５１７１１号公報

【特許文献2】特開２０１５−１１５７４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来とは異なる画像のデータの圧縮・伸長技術を提供する。

【課題を解決するための手段】

【0005】

本発明の一態様の移動体用画像変換装置は、移動体に搭載され第１画像を超解像処理により第２画像に変換する。

【0006】

本発明の別の態様の移動体用画像変換装置は、移動体に搭載され第５画像を解像度劣化処理により第６画像に変換する。

【0007】

本発明の一態様の方法は、移動体の外部のデータサーバにおいて第４解像度および第４データサイズを有する第４画像のデータに解像度劣化処理を施して前記第４解像度よりも低い第１解像度および前記第４データサイズよりも小さい第１データサイズを有する第１画像のデータを生成し、前記移動体において前記第１画像のデータに超解像処理を施して前記第１解像度よりも高い第２解像度を有する第２画像を生成する。

【0008】

また、前記解像度劣化処理は、第４のフィルタを前記第４画像のデータにかけることを含むこととしてもよい。前記超解像処理は、前記第４のフィルタに対応する第１のフィルタを前記第１画像のデータにかけることを含むこととしてもよい。

【0009】

また、前記データサーバにおいて前記移動体の現在の地理的位置を示す情報を取得してもよい。前記データサーバにおいて前記地理的位置を示す情報に基づいてデータベースに保存された複数の画像のデータから前記第４画像のデータを抽出してもよい。前記移動体において前記移動体に設置されたカメラから第３画像のデータを取得してもよい。前記移動体において少なくとも前記第２画像のデータと前記第３画像のデータに基づいて前記移動体の周辺の障害物を認識することをさらに含むこととしてもよい。

【0010】

また、前記移動体において前記移動体の周辺の気象環境を示す情報を取得してもよい。前記移動体において前記気象環境を示す情報に基づいて前記超解像処理の実施を決定することをさらに含むこととしてもよい。

【0011】

本発明の別の態様の方法は、移動体において第５解像度および第５データサイズを有する第５画像のデータに解像度劣化処理を施して前記第５解像度よりも低い第６解像度および前記第５データサイズよりも小さい第６データサイズを有する第６画像のデータを生成し、前記データサーバにおいて前記第６画像のデータに超解像処理を施して前記第６解像度よりも高い第７解像度を有する第７画像を生成することを含む。

【0012】

また、前記解像度劣化処理は、第５のフィルタを前記第５画像のデータにかけることを含むこととしてもよい。前記超解像処理は、前記第５のフィルタに対応する第６のフィルタを前記第６画像のデータにかけることを含むこととしてもよい。

【0013】

また、前記第５画像のデータは、前記移動体に設置されたカメラから取得されてもよい。前記データサーバにおいて前記移動体の現在の地理的位置を示す情報を取得してもよい。前記データサーバにおいて前記地理的位置を示す情報に基づいてデータベースに保存された複数の画像のデータから第４画像のデータを抽出してもよい。前記データサーバにおいて少なくとも前記第７画像のデータと前記第４画像のデータに基づいて前記移動体の周辺の障害物を認識することをさらに含むこととしてもよい。

【0014】

また、前記移動体において前記移動体の周辺の気象環境を示す情報を取得してもよい。前記移動体において前記気象環境を示す情報に基づいて前記解像度劣化処理の実施を決定することをさらに含むこととしてもよい。

【0015】

移動体は、地上、地中、海上、海中および空中で移動可能な有人または無人の人工物をいう。例えば、移動体は、自動車、電車、機関車、特殊車両、船舶、潜水艇、航空機、ロケット、人工衛星を含む。

【0016】

画像は、静止画および動画を含む。

【0017】

データサイズは、ビットまたはバイトで表される物理量である。

【発明の効果】

【0018】

本発明によれば、従来とは異なる画像のデータの圧縮・伸長技術を提供できる。

【図面の簡単な説明】

【0019】

【図1】画像変換処理の概念図

【図2】本発明の第１実施形態に係るシステムを示すブロック図

【図3】本発明の第１実施形態に係る移動体の障害物認識処理を示すフローチャート

【図4】本発明の第１実施形態に係るデータサーバの画像処理を示すフローチャート

【図5】本発明の第２実施形態に係るシステムを示すブロック図

【図6】本発明の第２実施形態に係る移動体の障害物認識処理を示すフローチャート

【図7】本発明の第２実施形態に係るデータサーバの障害物認識処理を示すフローチャート

【発明を実施するための形態】

【0020】

（画像変換処理の概要）
図１を参照して、画像変換処理の概要を説明する。画像変換処理は、超解像処理、解像度劣化処理および障害物認識処理を含む。

【0021】

原画像１１、劣化画像１７および復元画像２３は、それぞれ同じアスペクト比で同じ画素数を有する。解像度劣化フィルタ１５と超解像フィルタ２１は、それぞれ同じアスペクト比で同じ画素数を有する。フィルタ１５の各画素値は、例えば、２５６階調のグレイスケールで表される。同様にフィルタ２１の各画素値は、例えば、２５６階調のグレイスケールで表される。フィルタ１５の各画素値の分布は、画像の解像度を劣化させるように定められている。逆にフィルタ２１の各画素値の分布は、画像の解像度を高めるように定められている。すなわち、フィルタ１５の各画素値の分布は、フィルタ２１の各画素値の分布と対応関係を有している。例えば、フィルタ１５の各画素値の分布は、フィルタ２１の各画素値の分布と逆の関係を有する。また、フィルタ２１は、特開２０１５−１１５７４７号公報に記載された点像分布関数に基づくフィルタであることとしてもよい。フィルタ１５は、フィルタ２１と逆の関係を有するので、フィルタ１５も点像分布関数に基づくフィルタとなる。

【0022】

解像度劣化処理は、複数のフィルタリング処理を繰り返す反復演算処理を含む。各フィルタリング処理は、画像のデータにフィルタを畳み込み演算して新たな画像のデータを生成する処理を含む。例えば、１回目のフィルタリング処理は、原画像１１のデータにフィルタ１５を畳み込み演算して中間画像のデータを生成する。２回目のフィルタリング処理は、中間画像のデータにフィルタ１５を畳み込み演算して劣化画像１７のデータを生成する。フィルタリング処理の繰り返しの回数は２回に限らず、これよりも多くてもよい。また、各回でフィルタを変更してもよい。畳み込み演算は、画素ブロック１３の各画素値とフィルタ１５の各画素値を積和演算して、画素ブロック１３の中央の画素の新たな画素値を生成する処理を含む。劣化画像１７の解像度は原画像１１の解像度よりも低い。また、劣化画像１７のデータサイズは原画像１１のデータサイズよりも低い。フィルタ１５の特性およびフィルタリング処理の繰り返しの回数を適切に設計することにより、劣化画像１７のデータサイズを原画像１１のデータサイズの１／１０から１／２０にすることができる。

【0023】

超解像処理は、フィルタの特性を除き、解像度劣化処理と同様の処理である。例えば、１回目のフィルタリング処理は、劣化画像１７のデータにフィルタ２１を畳み込み演算して中間画像のデータを生成する。２回目のフィルタリング処理は、中間画像のデータにフィルタ２１を畳み込み演算して復元画像２３のデータを生成する。畳み込み演算は、画素ブロック１９の各画素値とフィルタ２１の各画素値を積和演算して画素ブロック１９の中央の画素の新たな画素値を生成する処理を含む。復元画像２３の解像度は劣化画像１７の解像度よりも高い。なお、反復演算処理の繰り返しの回数によっては、復元画像２３の解像度は、原画像１１の解像度よりも高くなり得る。

【0024】

超解像処理は、例えば、特開２０１５−１１５７４７号公報に詳細に説明されている。本実施形態の超解像処理もこれと同様の仕組みを利用している。ただし、特開２０１５−１１５７４７号公報では、画像の劣化プロセスが未知であるのに対し、本実施形態では、画像の劣化プロセスが既知である。そのため、本実施形態の超解像処理は、より少ない反復回数でもっともらしい復元画像を生成することができる。

【0025】

なお、本実施形態では、フィルタ１５およびフィルタ２１は、縦横３画素ずつであるが、これに限らず、縦横５画素ずつ、縦横７画素ずつ、あるいはそれよりも多くしてもよい。

【0026】

解像度劣化処理は、上記フィルタリング処理の代わりに、または、それに加えて、画素の間引きによる画像サイズの縮小を含んでいてもよい。超解像処理は、上記フィルタリング処理の代わりに、または、それに加えて、画素の補完による画像サイズの拡大を含んでいてもよい。

【0027】

障害物認識処理は、復元画像２３と撮影画像２５の差分画像２７を生成することを含む。原画像１１および復元画像２３も障害物を含まない背景画像である。撮影画像２５は障害物を含む背景画像である。差分画像２７は、障害物を含み背景を含まない。差分画像２７は、障害物の認識に利用可能である。原画像１１は、過去の撮影画像またはそれに基づく加工画像であり、経度および緯度のような地理的位置を示す情報（以降、「地理的位置情報」）に対応付けられてデータベースに保存されている。自動車の自動運転の分野では、これは３次元地図情報として知られている。撮影画像２５は、現在の撮影画像である。撮影画像２５は、例えば、移動体に搭載されたカメラから得られる。地理的位置情報は、経度および緯度に加えて、深度または高度を含んでもよい。これにより海中、地中または空中を移動する移動体の位置を正確に示すことができる。

【0028】

（第１の実施形態）
図２に示されるシステムは、移動体１０１および移動体１０１と通信可能なデータサーバ１３１を備える。

【0029】

移動体１０１は、カメラ１０３、地理的位置センサ１０５、気象環境センサ１０７、送受信部１０９、駆動系１１１およびコントローラ１１３を備える。データサーバ１３１は、送受信部１３３、データベース１３５およびコントローラ１３７を備える。

【0030】

カメラ１０３は、移動体１０１の前方、後方、右側方、左側方、上方または下方の少なくとも一つを撮影して第３画像（撮影画像）のデータを生成する。カメラ１０３は、可視光、赤外線および紫外線の少なくとも一つの波長域に感度を有する。

【0031】

地理的位置センサ１０５は、これに限られないが、GPS（Global Positioning System）センサであり、移動体の経度および緯度を含む地理的位置を検出する。地理的位置センサ１０５は、経度および緯度に加え、さらに深度または高度を検出することとしてもよい。

【0032】

気象環境センサ１０７は、カメラ１０３により撮影された第３画像の画質に悪影響を与え得る気象環境、例えば、雨、霧、雪、砂嵐またはスモッグを直接的または間接的に検出して気象環境を示す情報（以降、「気象環境情報」）を生成する。水センサは、雨、霧および雪を直接的に検出できる。自動車のフロントガラスのワイパーの動作を監視することで、雨、霧および雪を間接的に検出できる。

【0033】

送受信部１０９は、無線通信または有線通信が可能な送信部および受信部を含む。

【0034】

駆動系１１１は、移動体１０１の位置および速度を制御するための機構である。例えば、自動車の場合、駆動系１１１は、ハンドル、アクセルおよびブレーキを含む。

【0035】

コントローラ１１３は、プロセッサ１１５およびメモリ１１７を含む。プロセッサ１１５は、メモリ１１７に保存されたプログラムを実行することにより、超解像処理（第１画像処理）、障害物認識および気象環境認識を実現する。メモリ１１７は、揮発性メモリおよび不揮発性メモリを含み、第１のフィルタ１１９および所定気象条件１２１を保存している。第１のフィルタ１１９は、第１の点像分布関数に基づく超解像処理用のフィルタであり、例えば、上述のフィルタ２１である。所定気象条件は、障害物認識処理を複数の選択肢から選択するための判断基準を提供する。ある実施態様では、障害物認識処理は、カメラ１０３の画像の画質に悪影響を与え得る気象環境である場合に、カメラ１０３の画像とデータサーバ１３１の画像の両方を利用し、そうでない場合に、カメラ１０３の画像だけを利用する。この態様では、所定気象条件として、カメラ１０３の画像の画質に悪影響を与え得る気象環境の情報がメモリ１１７に保存される。このような気象条件は、上述の通り、例えば、雨、霧、雪、砂嵐またはスモッグである。

【0036】

コントローラ１１３は、プログラムとそれを実行するプロセッサに限らず、SoC（System on Chip）、FPGA（Field Programmable Gate Array）のようなハードウェアにより実現されてもよい。

【0037】

送受信部１３３は、無線通信または有線通信が可能な送信部および受信部を含む。

【0038】

データベース１３５は、複数の異なる地理的位置で撮影された撮影画像またはそれに基づく加工画像を保存している。これらの撮影画像または加工画像は、地理的位置情報に対応付けられている。すなわち、データベース１３５は、地理的位置情報に基づいて複数の画像のデータから特定の画像のデータを抽出することができるように構成されている。

【0039】

コントローラ１３７は、プロセッサ１３９およびメモリ１４１を含む。プロセッサ１３９は、メモリ１４１に保存されたプログラムを実行することにより、解像度劣化処理を実現する。メモリ１４１は、揮発性メモリおよび不揮発性メモリを含み、第１のフィルタに対応する第４のフィルタ１４３を保存している。第４のフィルタ１４３は、第４の点像分布関数に基づく解像度劣化処理用のフィルタであり、例えば、上述のフィルタ１５である。第４の点像分布関数は、第１の点像分布関数に対応している。

【0040】

コントローラ１３７は、プログラムとそれを実行するプロセッサに限らず、SoC（System on Chip）、FPGA（Field Programmable Gate Array）のようなハードウェアにより実現されてもよい。

【0041】

図３は、移動体１０１の障害物認識処理を示すフローチャートである。

【0042】

コントローラ１１３は、カメラ１０３から第３画像のデータを取得し（S11）、地理的位置センサ１０５から地理的位置情報を取得する（S13）。第３画像のデータと地理的位置情報は互いに関連付けられる。

【0043】

コントローラ１１３は、気象環境センサ１０７から気象環境情報を取得し（S15）、気象環境情報により示される気象環境がメモリ１１７に保存されている所定気象条件１２１を満たすか否かを判断する（S17）。所定気象条件１２１は、例えば、雨、霧、雪、砂嵐およびスモッグである。この場合、気象環境情報により示される気象環境が晴であれば、所定気象条件１２１は満たされない。気象環境情報により示される気象環境が雨であれば、所定気象条件１２１は満たされる。

【0044】

コントローラ１１３は、気象環境が所定気象条件を満たさない場合（S17, No）、第１障害物認識処理を実施する（S19）。第１障害物認識処理は、カメラ１０３により撮影された第３画像のみを利用して障害物認識を実施する処理である。このような処理はよく知られているため、説明を省略する。

【0045】

コントローラ１１３は、気象環境が所定気象条件を満たす場合（S17, Yes）、地理的位置情報をデータサーバ１３１に送信する（S25）。データサーバ１３１は、これに対応して、その地理的位置情報に対応する第１画像のデータを送信する（詳細は図４を用いて後述する）。第１画像は、例えば、上述の劣化画像１７である。コントローラ１１３は、第１画像のデータを受信するまで待機する（S27, No）。コントローラ１１３は、第１画像のデータを受信すれば（S27, Yes）、第１画像のデータに超解像処理を施して第２画像のデータを生成する（S29）。第１画像は、第１解像度を有する。第２画像は、第１解像度よりも高い第２解像度を有する。超解像処理の具体例は、図１を利用して説明した通りである。第２画像は、例えば、上述の復元画像２３である。これにより、画像認識の精度を高めるための第２画像が得られる。

【0046】

コントローラ１１３は、第２障害物認識処理を実施する（S31）。第２障害物認識処理は、カメラ１０３の第３画像とデータサーバ１３１の第２画像の両方を利用して障害物を認識する処理である。第２障害物認識処理の具体例は、図１を利用して説明した通りである。

【0047】

コントローラ１１３は、障害物を発見すれば（S21, Yes）、障害物回避のために駆動系１１１の制御を実施する。駆動系１１１の制御は、例えば、減速、加速および進路変更を含む。コントローラ１１３の処理は、駆動系１１１の制御の後で、カメラ１０３からの第３画像の取得（S11）に戻る。また、障害物が発見されない場合も（S21, No）、コントローラ１１３の処理は、カメラ１０３からの第３画像の取得（S11）に戻る。

【0048】

図４は、データサーバ１３１の画像処理を示すフローチャートである。

【0049】

コントローラ１３７は、移動体１０１から地理的位置情報を受信するまで待機している（S33, No）。コントローラ１３７は、移動体１０１から地理的位置情報を取得すれば（S33, Yes）、データベース１３５に保存された複数の画像から第４画像を抽出する（S35）。第４画像は、移動体１０１から受信した地理的位置情報に対応付けられた画像である。

【0050】

コントローラ１３７は、第４画像のデータに解像度劣化処理を施して第１画像のデータを生成し（S37）、その第１画像のデータを移動体１０１に送信する（S39）。第４画像は、第４解像度および第４データサイズを有する。第１画像は、第４解像度よりも低い第１解像度および第４データサイズよりも小さい第１データサイズを有する。解像度劣化処理の具体例は、図１を利用して説明した通りである。

【0051】

上述の通り、データサーバ１３１は、第４画像（原画像）のデータに解像度劣化処理を施すことで第１画像（劣化画像）のデータを生成することができる。第４画像は、第４解像度および第４データサイズを有する。第１画像は、第４解像度よりも低い第１解像度および第４データサイズよりも小さい第１データサイズを有する。移動体１０１は、第１画像のデータに超解像処理を施すことで第２画像（復元画像）のデータを生成することができる。第２画像は、第１解像度よりも高い第２解像度を有する。第１画像がデータサーバ１３１から移動体１０１に送信されるので、データ通信量を低減することができる。

【0052】

解像度劣化処理は、第４のフィルタ１４３を第４画像のデータにかけることを含む。超解像処理は、第４のフィルタ１４３に対応する第１のフィルタ１１９を第１画像のデータにかけることを含む。第１のフィルタ１１９は、第４のフィルタ１４３の逆の特性を有することとしてもよい。第１のフィルタ１１９は、第４のフィルタ１４３に対応しているので、より少ない反復回数でもっともらしい復元画像を生成することができる。

【0053】

移動体１０１は、複数の選択肢から画像認識処理を選択する。第１画像認識処理は、移動体１０１とデータサーバ１３１の間の通信を要しない。第２画像認識処理は、移動体１０１とデータサーバ１３１の間の通信を要する。このように、画像認識処理を使い分けることで、全体のデータ通信量を低減できる。

【0054】

（第２実施形態）
第１実施形態では、移動体が障害物認識処理を実施しているが、第２実施形態では、データサーバが障害物認識処理を実施する。第１実施形態と同様の構成は同じ符号を付して説明を省略する。

【0055】

図５に示されるシステムは、移動体２０１および移動体２０１と通信可能なデータサーバ２３１を備える。

【0056】

移動体２０１は、第５のフィルタ２１９を保存しているコントローラ２１３を備える。第５のフィルタ２１９は、第５の点像分布関数に基づく解像度劣化処理用のフィルタであり、例えば、上述のフィルタ１５である。データサーバ２３１は、第６のフィルタ２４３を保存しているコントローラ２３７を備える。第６のフィルタは、第６の点像分布関数に基づく超解像処理用のフィルタであり、例えば、上述のフィルタ２１である。第６の点像分布関数は、第５の点像分布関数に対応している。プロセッサ１１５は、メモリ１１７に保存されたプログラムを実行することにより、解像度劣化処理（第２画像処理）を実現する。

【0057】

図６は、移動体２０１の障害物認識処理を示すフローチャートである。

【0058】

コントローラ２１３は、カメラ１０３から第５画像のデータを取得し（S51）、地理的位置センサ１０５から地理的位置情報を取得する（S53）。第５画像は、カメラ１０３で撮影された画像である。第５画像のデータと地理的位置情報は互いに関連付けられる。

【0059】

コントローラ２１３は、気象環境センサ１０７から気象環境情報を取得し（S55）、気象環境情報により示される気象環境がメモリ１１７に保存されている所定気象条件１２１を満たすか否かを判断する（S57）。

【0060】

コントローラ２１３は、気象環境が所定気象条件を満たさない場合（S57, No）、第１障害物認識処理を実施する（S59）。

【0061】

コントローラ２１３は、気象環境が所定気象条件を満たす場合（S57, Yes）、第５画像のデータに解像度劣化処理を施して第６画像のデータを生成する。解像度劣化処理の具体例は、図１を利用して説明した通りである。第５画像は、第５解像度および第５データサイズを有する。第６画像は、第５解像度よりも低い第６解像度および第５データサイズよりも小さい第６データサイズを有する。

【0062】

コントローラ２１３は、第６画像のデータおよび地理的位置情報をデータサーバ２３１に送信する（S67, S69）。データサーバ２３１は、これに対応して、第２障害物認識処理を実施して、その結果を送信する（詳細は図７を用いて後述する）。コントローラ２１３は、第２障害物認識処理の結果を受信するまで待機する（S71, No）。

【0063】

コントローラ２１３は、第１障害物認識処理（S59）の結果または第２障害物認識処理の結果（S71, Yes）を受け、障害物を発見すれば（S61, Yes）、障害物回避のために駆動系１１１の制御を実施する。コントローラ２１３の処理は、駆動系１１１の制御の後で、カメラ１０３からの第５画像の取得（S51）に戻る。また、障害物が発見されない場合も（S61, No）、コントローラ２１３の処理は、カメラ１０３からの第５画像の取得（S51）に戻る。

【0064】

図７は、データサーバ２３１の障害物認識処理を示すフローチャートである。

【0065】

コントローラ２３７は、移動体２０１から地理的位置情報および第６画像のデータを受信するまで待機している（S73, No）。コントローラ２３７は、移動体２０１から地理的位置情報を取得すれば（S75, Yes）、データベース１３５に保存された複数の画像から第４画像を抽出する（S75）。第４画像は、移動体２０１から受信した地理的位置情報に示される地理的位置に対応付けられた画像である。

【0066】

コントローラ２３７は、第６画像のデータに超解像処理を施して第７画像のデータを生成する（S77）。超解像処理の具体例は、図１を利用して説明した通りである。第６画像は、第６解像度を有する。第７画像は、第６画像よりも高い第７画像を有する。

【0067】

コントローラ２３７は、第２障害物認識処理を実施し（S79）、その結果を移動体２０１に送信する（S81）。第２障害物認識処理は、カメラ１０３の第５画像とデータサーバ２３１の第４画像の両方を利用して障害物を認識する処理である。第２障害物認識処理の具体例は、図１を利用して説明した通りである。

【0068】

上述の通り、移動体２０１は、第５画像（原画像）のデータに解像度劣化処理を施すことで第６画像（劣化画像）のデータを生成することができる。第５画像は、第５解像度および第５データサイズを有する。第６画像は、第５解像度よりも低い第６解像度および第５データサイズよりも小さい第６データサイズを有する。移動体２０１は、第５画像のデータを送信し、データサーバ２３１は、その第５画像のデータを受信する。データサーバ２３１は、第５画像のデータに超解像処理を施すことで第７画像（復元画像）のデータを生成することができる。第７画像は、第６解像度よりも高い第７解像度を有する。第６画像が移動体２０１からデータサーバ２３１に送信されるので、データ通信量を低減することができる。

【0069】

また、解像度劣化処理は、第５のフィルタ２１９を第５画像のデータにかけることを含む。超解像処理は、第５のフィルタ２１９に対応する第６のフィルタ２４３を第５画像にかけることを含む。第６のフィルタ２４３は、第５のフィルタ２１９の逆の特性を有することとしてもよい。第６のフィルタ２４３は第５のフィルタ２１９に対応しているので、より少ない反復回数でもっともらしい復元画像を生成することができる。

【0070】

本発明は、上記第１および第２実施形態に開示された構成および処理に限られない。本発明の趣旨の範囲内で適宜変更してもよい。

【0071】

解像度劣化処理は、JPEGまたはMPEGを含む既存の圧縮・伸長技術の前処理として利用されてもよい。ある例では、移動体が原画像に解像度劣化処理を施して劣化画像を生成し、劣化画像に既存の圧縮技術を適用して圧縮画像を生成し、その圧縮画像を送信する。データサーバは、その圧縮画像を受信し、圧縮画像に既存の伸長技術を適用して劣化画像を再生し、その劣化画像に超解像処理を施して復元画像を生成する。

【産業上の利用可能性】

【0072】

本発明は、画像のデータの圧縮・伸長技術に利用可能である。

【符号の説明】

【0073】

１０１、２０１ 移動体
１０３ カメラ
１０５ 地理的位置センサ
１０７ 気象環境センサ
１０９ 送受信部
１１１ 駆動系
１１３、２１３ コントローラ
１３１、２３１ データサーバ
１３３ 送受信部
１３５ データベース
１３７、２３７ コントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】