特開 2022-190298 画像圧縮装置、重要度提供装置、画像圧縮方法、重要度提供方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022190298

(43)【公開日】2022-12-26

(54)【発明の名称】画像圧縮装置、重要度提供装置、画像圧縮方法、重要度提供方法、及びコンピュータプログラム

(51)【国際特許分類】

   G08G 1/00 20060101AFI20221219BHJP

   G08G 1/09 20060101ALI20221219BHJP

   G16Y 10/40 20200101ALI20221219BHJP

   G16Y 20/20 20200101ALI20221219BHJP

   G16Y 40/20 20200101ALI20221219BHJP

【ＦＩ】

G08G1/00 D

G08G1/09 F

G16Y10/40

G16Y20/20

G16Y40/20

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021098562

(22)【出願日】2021-06-14

(71)【出願人】

【識別番号】000002130

【氏名又は名称】住友電気工業株式会社

(74)【代理人】

【識別番号】100123021

【弁理士】

【氏名又は名称】渥美 元幸

(74)【代理人】

【識別番号】100126538

【弁理士】

【氏名又は名称】嶺 直道

(72)【発明者】

【氏名】石岡 正紀

(72)【発明者】

【氏名】岳 麗

(72)【発明者】

【氏名】前田 直樹

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB13

5H181CC04

5H181FF04

5H181FF10

5H181FF13

5H181FF22

5H181FF27

5H181LL01

5H181LL02

5H181LL04

5H181LL09

5H181MC19

5H181MC22

(57)【要約】

【課題】低処理負荷で画像を効率的に圧縮するための画像圧縮装置を提供する。
【解決手段】カメラを備えた移動体に搭載される画像圧縮装置であって、前記移動体の位置に基づいて、前記カメラが撮影した画像中の各位置の重要度を、前記移動体の外部に設置された重要度提供装置から取得する重要度取得部と、取得した前記重要度に基づいて、前記画像から注目領域を抽出する注目領域抽出部と、前記注目領域抽出部の抽出結果に応じた圧縮率で、前記画像に含まれる各領域を圧縮する画像圧縮部とを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

カメラを備えた移動体に搭載される画像圧縮装置であって、
前記移動体の位置に基づいて、前記カメラが撮影した画像中の各位置の重要度を、前記移動体の外部に設置された重要度提供装置から取得する重要度取得部と、
取得した前記重要度に基づいて、前記画像から注目領域を抽出する注目領域抽出部と、
前記注目領域抽出部の抽出結果に応じた圧縮率で、前記画像に含まれる各領域を圧縮する画像圧縮部とを備える、画像圧縮装置。

【請求項2】

前記画像圧縮部により圧縮済みの画像を、前記画像圧縮装置の外部に設置された装置に提供する提供部をさらに備える、請求項１に記載の画像圧縮装置。

【請求項3】

前記注目領域抽出部は、前記重要度に応じた縮小率で領域ごとに縮小された前記画像から前記注目領域を抽出する、請求項１又は請求項２に記載の画像圧縮装置。

【請求項4】

前記注目領域抽出部は、前記重要度に応じたフレーム間隔で領域ごとに間引かれた前記画像から前記注目領域を抽出する、請求項１から請求項３のいずれか１項に記載の画像圧縮装置。

【請求項5】

前記注目領域抽出部は、前記重要度に基づいて、前記画像から領域を除外して前記注目領域を抽出する、請求項１から請求項４のいずれか１項に記載の画像圧縮装置。

【請求項6】

前記提供部は、さらに、前記移動体の位置及び速度の情報を前記重要度提供装置に提供する、請求項２に記載の画像圧縮装置。

【請求項7】

第１移動体に搭載される請求項１から請求項６のいずれか１項に記載の画像圧縮装置から、前記第１移動体の位置の情報を取得する取得部と、
前記第１移動体の位置に基づいて、前記第１移動体に備えられるカメラによる撮影領域の各位置の重要度を、前記画像圧縮装置に提供する重要度提供部とを備える、重要度提供装置。

【請求項8】

前記取得部は、さらに、前記第１移動体の速度の情報を取得し、
前記重要度提供部は、前記第１移動体の位置及び速度に基づいて前記第１移動体の走行予定位置を予測し、前記走行予定位置に基づく、前記第１移動体に備えられるカメラによる撮影領域の各位置の重要度を、前記画像圧縮装置に提供する、請求項７に記載の重要度提供装置。

【請求項9】

前記取得部は、さらに、第２移動体に備えられたカメラが撮影した画像を取得し、
前記重要度提供装置は、
前記画像を認識する認識部と、
前記画像の認識結果に基づいて、前記画像中の各位置の重要度を決定し、前記重要度を前記第２移動体の位置と対応付けてデータベースに登録する重要度決定部とをさらに備え、
前記重要度提供部は、前記第１移動体の位置に応じた前記重要度を前記データベースから読み出し、前記画像圧縮装置に提供する、請求項７又は請求項８に記載の重要度提供装置。

【請求項10】

前記重要度提供部は、前記第１移動体の複数の前記走行予定位置に応じた前記重要度を前記画像圧縮装置に提供する、請求項８に記載の重要度提供装置。

【請求項11】

カメラを備えた移動体に搭載される画像圧縮装置による画像圧縮方法であって、
前記移動体の位置に基づいて、前記カメラが撮影した画像中の各位置の重要度を、前記移動体の外部に設置された重要度提供装置から取得するステップと、
取得した前記重要度に基づいて、前記画像から注目領域を抽出するステップと、
前記注目領域の抽出結果に応じた圧縮率で、前記画像に含まれる各領域を圧縮するステップとを含む、画像圧縮方法。

【請求項12】

第１移動体に搭載される請求項１から請求項６のいずれか１項に記載の画像圧縮装置から、前記第１移動体の位置の情報を取得するステップと、
前記第１移動体の位置に基づいて、前記第１移動体に備えられるカメラによる撮影領域の各位置の重要度を、前記画像圧縮装置に提供するステップとを含む、重要度提供方法。

【請求項13】

コンピュータを、カメラを備えた移動体に搭載される画像圧縮装置として機能させるためのコンピュータプログラムであって、
前記コンピュータを、
前記移動体の位置に基づいて、前記カメラが撮影した画像中の各位置の重要度を、前記移動体の外部に設置された重要度提供装置から取得する重要度取得部と、
取得した前記重要度に基づいて、前記画像から注目領域を抽出する注目領域抽出部と、
前記注目領域抽出部の抽出結果に応じた圧縮率で、前記画像に含まれる各領域を圧縮する画像圧縮部として機能させるための、コンピュータプログラム。

【請求項14】

コンピュータを、
第１移動体に搭載される請求項１から請求項６のいずれか１項に記載の画像圧縮装置から、前記第１移動体の位置の情報を取得する取得部と、
前記第１移動体の位置に基づいて、前記第１移動体に備えられるカメラによる撮影領域の各位置の重要度を、前記画像圧縮装置に提供する重要度提供部として機能させるための、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像圧縮装置、重要度提供装置、画像圧縮方法、重要度提供方法、及びコンピュータプログラムに関する。

【背景技術】

【0002】

画像から注目領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を抽出することは、画像を効率的に圧縮する上で非常に重要である。近年、ＡＩによる画像認識にとって重要な領域を注目領域として抽出する技術が開発されている。

【0003】

例えば、非特許文献１には、画像の圧縮率を上げながらＡＩによる物体認識を試行し、物体を認識できる限界圧縮率をブロック単位で決定し、結果として注目領域を低圧縮率で圧縮する方法が開示されている。

【0004】

また、非特許文献２には、処理の軽量化を目的として、事前の学習により重要な領域（注目領域）と適切な画質を予測することが記載されている。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】久保田智規，中尾鷹詔，吉田英司，久保田真，「ＡＩ解析に適した映像データ高圧縮技術 ～クラウド・５Ｇでの利用に向けて～」，富士通テクニカルレビュー，２０２０年８月１９日公開

【非特許文献2】岩井孝法，二瓶浩一，篠原悠介，逸身勇人，沢辺亜南，「ＮＥＣの最先端技術 自動運転・無人運転を支える通信技術」，［ｏｎｌｉｎｅ］，２０２１年１月８日，ＮＥＣ，［２０２１年２月４日検索］，インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｊｐｎ．ｎｅｃ．ｃｏｍ／ｒｄ／ｔｅｃｈｎｏｌｏｇｉｅｓ／２０２１０１／ｉｎｄｅｘ．ｈｔｍｌ＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来の手法によると、注目領域の抽出処理を、画像圧縮を行う画像圧縮装置単独で行っているため、画像圧縮装置の処理負荷が大きいという課題がある。

【0007】

本開示は、このような課題に鑑みてなされたものであり、低処理負荷で画像を効率的に圧縮するための画像圧縮装置、重要度提供装置、画像圧縮方法、重要度提供方法、及びコンピュータプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の一態様に係る画像圧縮装置は、カメラを備えた移動体に搭載される画像圧縮装置であって、前記移動体の位置に基づいて、前記カメラが撮影した画像中の各位置の重要度を、前記移動体の外部に設置された重要度提供装置から取得する重要度取得部と、取得した前記重要度に基づいて、前記画像から注目領域を抽出する注目領域抽出部と、前記注目領域抽出部の抽出結果に応じた圧縮率で、前記画像に含まれる各領域を圧縮する画像圧縮部とを備える。

【0009】

本開示の他の態様に係る重要度提供装置は、第１移動体に搭載される上述の画像圧縮装置から、前記第１移動体の位置の情報を取得する取得部と、前記第１移動体の位置に基づいて、前記第１移動体に備えられるカメラによる撮影領域の各位置の重要度を、前記画像圧縮装置に提供する重要度提供部とを備える。

【0010】

本開示の他の態様に係る画像圧縮方法は、カメラを備えた移動体に搭載される画像圧縮装置による画像圧縮方法であって、前記移動体の位置に基づいて、前記カメラが撮影した画像中の各位置の重要度を、前記移動体の外部に設置された重要度提供装置から取得するステップと、取得した前記重要度に基づいて、前記画像から注目領域を抽出するステップと、前記注目領域の抽出結果に応じた圧縮率で、前記画像に含まれる各領域を圧縮するステップとを含む。

【0011】

本開示の他の態様に係る重要度提供方法は、第１移動体に搭載される上述の画像圧縮装置から、前記第１移動体の位置の情報を取得するステップと、前記第１移動体の位置に基づいて、前記第１移動体に備えられるカメラによる撮影領域の各位置の重要度を、前記画像圧縮装置に提供するステップとを含む。

【0012】

本開示の他の態様に係るコンピュータプログラムは、コンピュータを、カメラを備えた移動体に搭載される画像圧縮装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、前記移動体の位置に基づいて、前記カメラが撮影した画像中の各位置の重要度を、前記移動体の外部に設置された重要度提供装置から取得する重要度取得部と、取得した前記重要度に基づいて、前記画像から注目領域を抽出する注目領域抽出部と、前記注目領域抽出部の抽出結果に応じた圧縮率で、前記画像に含まれる各領域を圧縮する画像圧縮部として機能させる。

【0013】

本開示の他の態様に係るコンピュータプログラムは、コンピュータを、第１移動体に搭載される上述の画像圧縮装置から、前記第１移動体の位置の情報を取得する取得部と、前記第１移動体の位置に基づいて、前記第１移動体に備えられるカメラによる撮影領域の各位置の重要度を、前記画像圧縮装置に提供する重要度提供部として機能させる。

【0014】

なお、本開示は、画像圧縮方法又は重要度提供方法に含まれる特徴的なステップをコンピュータに実行させるためのコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本開示は、画像圧縮装置又は重要度提供装置の一部又は全部を実現する半導体集積回路として実現したり、画像圧縮装置又は重要度提供装置を含むシステムとして実現したりすることもできる。

【発明の効果】

【0015】

本開示によると、低処理負荷で画像を効率的に圧縮することができる。

【図面の簡単な説明】

【0016】

【図1】図１は、本開示の実施形態１に係る運転支援システムの全体構成を示す図である。

【図2】図２は、本開示の実施形態１に係る車載システムの構成の一例を示すブロック図である。

【図3】図３は、本開示の実施形態１に係るプロセッサの機能的な構成を示すブロック図である。

【図4】図４は、画像取得部が取得した画像の一例を示す図である。

【図5】図５は、重要度マップの一例を示す図である。

【図6】図６は、注目領域抽出部によるブロック画像の縮小処理を説明するための図である。

【図7】図７は、本開示の実施形態１に係るサーバの構成の一例を示すブロック図である。

【図8】図８は、車両の走行予定位置及び重要度マップの一例を示す図である。

【図9】図９は、運転支援システムを構成する複数の車両及びサーバの処理手順を示すシーケンス図である。

【図10】図１０は、注目領域抽出部によるブロック毎のフレーム間引き処理を説明するための図である。

【図11】図１１は、注目領域抽出部によるブロックの除外処理を説明するための図である。

【発明を実施するための形態】

【0017】

［本開示の実施形態の概要］
最初に本開示の実施形態の概要を列記して説明する。
（１）本開示の一実施形態に係る画像圧縮装置は、カメラを備えた移動体に搭載される画像圧縮装置であって、前記移動体の位置に基づいて、前記カメラが撮影した画像中の各位置の重要度を、前記移動体の外部に設置された重要度提供装置から取得する重要度取得部と、取得した前記重要度に基づいて、前記画像から注目領域を抽出する注目領域抽出部と、前記注目領域抽出部の抽出結果に応じた圧縮率で、前記画像に含まれる各領域を圧縮する画像圧縮部とを備える。

【0018】

この構成によると、画像圧縮装置の外部装置である重要度提供装置から取得した重要度に基づいて、注目領域が抽出される。このため、重要度の低い領域については、注目領域の抽出に必要な時間を短くするための処理を施すことができ、これにより、画像圧縮装置の処理負荷を低減することができる。よって、低処理負荷で画像を効率的に圧縮することができる。

【0019】

（２）また、前記画像圧縮装置は、前記画像圧縮部により圧縮済みの画像を、前記画像圧縮装置の外部に設置された装置に提供する提供部をさらに備えてもよい。

【0020】

この構成によると、圧縮済み画像を外部に設置された装置に提供することができる。

【0021】

（３）また、前記注目領域抽出部は、前記重要度に応じた縮小率で領域ごとに縮小された前記画像から前記注目領域を抽出してもよい。

【0022】

この構成によると、重要度の低い領域については、高縮小率で領域を縮小することができる。これにより、重要度の低い領域についての注目領域の抽出に必要な時間を短くすることができる。よって、低処理負荷で画像を効率的に圧縮することができる。

【0023】

（４）また、前記注目領域抽出部は、前記重要度に応じたフレーム間隔で領域ごとに間引かれた前記画像から前記注目領域を抽出してもよい。

【0024】

この構成によると、重要度の低い領域については大きいフレーム間隔で間引かれた画像から注目領域を抽出することができる。これにより、重要度の低い領域についての注目領域の抽出に必要な時間を短くすることができる。よって、低処理負荷で画像を効率的に圧縮することができる。

【0025】

（５）また、前記注目領域抽出部は、前記重要度に基づいて、前記画像から領域を除外して前記注目領域を抽出してもよい。

【0026】

この構成によると、重要度の低い領域については注目領域の抽出対象から除外した上で、注目領域を抽出することができる。これにより、重要度の低い領域についての注目領域の抽出に必要な時間を短くすることができる。よって、低処理負荷で画像を効率的に圧縮することができる。

【0027】

（６）また、前記提供部は、さらに、前記移動体の位置及び速度の情報を前記重要度提供装置に提供してもよい。

【0028】

この構成によると、重要度提供装置では、移動体の位置及び速度から移動体の将来の走行予定位置を予測することができ、重要度取得部は、走行予定位置に応じた重要度を重要度提供装置から事前に取得することができる。これにより、注目領域の抽出処理を時間遅れなく効率的に行うことができる。

【0029】

（７）本開示の他の態様に係る重要度提供装置は、第１移動体に搭載される上述の画像圧縮装置から、前記第１移動体の位置の情報を取得する取得部と、前記第１移動体の位置に基づいて、前記第１移動体に備えられるカメラによる撮影領域の各位置の重要度を、前記画像圧縮装置に提供する重要度提供部とを備える。

【0030】

この構成によると、重要度提供装置は、第１移動体の位置に応じた重要度を画像圧縮装置に提供することができる。これにより、画像圧縮装置は、第１移動体の位置に応じた重要度に基づいて、注目領域を抽出することができる。このため、画像圧縮装置は、重要度の低い領域については、注目領域の抽出に必要な時間を短くするための処理を施すことができ、これにより、画像圧縮装置の処理負荷を低減することができる。よって、低処理負荷で画像を効率的に圧縮することができる。

【0031】

（８）また、前記取得部は、さらに、前記第１移動体の速度の情報を取得し、前記重要度提供部は、前記第１移動体の位置及び速度に基づいて前記第１移動体の走行予定位置を予測し、前記走行予定位置に基づく、前記第１移動体に備えられるカメラによる撮影領域の各位置の重要度を、前記画像圧縮装置に提供してもよい。

【0032】

この構成によると、重要度提供装置は、第１移動体の位置及び速度から第１移動体の将来の走行予定位置を予測することができ、走行予定位置に応じた重要度を画像圧縮装置に提供することができる。このため、画像圧縮装置は、走行予定位置に応じた重要度を重要度提供装置から事前に取得することができる。これにより、注目領域の抽出処理を時間遅れなく効率的に行うことができる。

【0033】

（９）また、前記取得部は、さらに、第２移動体に備えられたカメラが撮影した画像を取得し、前記重要度提供装置は、前記画像を認識する認識部と、前記画像の認識結果に基づいて、前記画像中の各位置の重要度を決定し、前記重要度を前記第２移動体の位置と対応付けてデータベースに登録する重要度決定部とをさらに備え、前記重要度提供部は、前記第１移動体の位置に応じた前記重要度を前記データベースから読み出し、前記画像圧縮装置に提供してもよい。

【0034】

この構成によると、第２移動体に備えられたカメラが撮影した画像を認識することにより決定された重要度が、第２移動体の位置と対応付けられてデータベースに登録される。このため、画像認識結果に応じた重要度を第１移動体に搭載された画像圧縮装置に提供することができる。これにより、画像圧縮装置は、効率的に注目領域の抽出処理を行うことができる。

【0035】

（１０）また、前記重要度提供部は、前記第１移動体の複数の前記走行予定位置に応じた前記重要度を前記画像圧縮装置に提供してもよい。

【0036】

この構成によると、画像圧縮装置は、複数の位置の重要度から第１移動体が通過した位置に最も近い位置の重要度を選択したり、複数の位置の重要度から第１移動体が通過した位置の重要度を補間したりすることにより、正確な重要度を事前に取得することができる。これにより、注目領域の抽出処理を時間遅れなく効率的に行うことができる。

【0037】

（１１）本開示の他の態様に係る画像圧縮方法は、カメラを備えた移動体に搭載される画像圧縮装置による画像圧縮方法であって、前記移動体の位置に基づいて、前記カメラが撮影した画像中の各位置の重要度を、前記移動体の外部に設置された重要度提供装置から取得するステップと、取得した前記重要度に基づいて、前記画像から注目領域を抽出するステップと、前記注目領域の抽出結果に応じた圧縮率で、前記画像に含まれる各領域を圧縮するステップとを含む。

【0038】

この構成は、上述の画像圧縮装置における特徴的な処理をステップとして含む。このため、この構成によると、上述の画像圧縮装置と同様の作用および効果を奏することができる。

【0039】

（１２）本開示の他の態様に係る重要度提供方法は、第１移動体に搭載される上述の画像圧縮装置から、前記第１移動体の位置の情報を取得するステップと、前記第１移動体の位置に基づいて、前記第１移動体に備えられるカメラによる撮影領域の各位置の重要度を、前記画像圧縮装置に提供するステップとを含む。

【0040】

この構成は、上述の重要度提供装置における特徴的な処理をステップとして含む。このため、この構成によると、上述の重要度提供装置と同様の作用および効果を奏することができる。

【0041】

（１３）本開示の他の実施形態に係るコンピュータプログラムは、コンピュータを、カメラを備えた移動体に搭載される画像圧縮装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、前記移動体の位置に基づいて、前記カメラが撮影した画像中の各位置の重要度を、前記移動体の外部に設置された重要度提供装置から取得する重要度取得部と、取得した前記重要度に基づいて、前記画像から注目領域を抽出する注目領域抽出部と、前記注目領域抽出部の抽出結果に応じた圧縮率で、前記画像に含まれる各領域を圧縮する画像圧縮部として機能させる。

【0042】

この構成によると、コンピュータを、上述の画像圧縮装置として機能させることができる。このため、上述の画像圧縮装置と同様の作用および効果を奏することができる。

【0043】

（１４）本開示の他の実施形態に係るコンピュータプログラムは、コンピュータを、第１移動体に搭載される上述の画像圧縮装置から、前記第１移動体の位置の情報を取得する取得部と、前記第１移動体の位置に基づいて、前記第１移動体に備えられるカメラによる撮影領域の各位置の重要度を、前記画像圧縮装置に提供する重要度提供部として機能させる。

【0044】

この構成によると、コンピュータを、上述の重要度提供装置として機能させることができる。このため、上述の重要度提供装置と同様の作用および効果を奏することができる。

【0045】

［本開示の実施形態の詳細］
以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。

【0046】

また、同一の構成要素には同一の符号を付す。それらの機能および名称も同様であるため、それらの説明は適宜省略する。

【0047】

＜実施形態１＞
〔運転支援システム１の全体構成〕
図１は、本開示の実施形態１に係る運転支援システムの全体構成を示す図である。
図１を参照して、運転支援システム１は、道路上を走行する無線通信が可能な複数の車両２と、車両２と無線通信する１または複数の基地局６と、基地局６とインターネット等のネットワーク５を介して有線または無線で通信するサーバ７とを備える。

【0048】

基地局６は、マクロセル基地局、マイクロセル基地局、及びピコセル基地局などからなる。

【0049】

車両２には、通常の乗用車（自動車）だけでなく、路線バスや緊急車両などの公共車両も含まれる。また、車両２は、四輪車だけでなく、二輪車（バイク、オートバイ）であってもよい。

【0050】

各車両２は、後述するようにカメラを含む車載システム３を備えており、カメラで車両２の周囲を撮影することにより得られる時系列の画像データ（以下では、単に「画像」という）を圧縮する画像圧縮処理を施す。車載システム３は、圧縮済みの画像を基地局６及びネットワーク５を介してサーバ７に送信する。

【0051】

サーバ７は、車載システム３から送信された時系列の圧縮済み画像を伸張し、伸張した画像を認識する。例えば、サーバ７は、当該画像中に含まれる物体を認識する処理を実行してもよいし、認識した物体を追跡する処理を実行してもよい。また、サーバ７は、画像のシーンを認識する処理を実行してもよい。画像のシーンは、一例として、高速道路のシーン、一般道路のシーンなどの車両２の走行シーンを示すものであってもよい。サーバ７は、実行した処理の結果を、車載システム３に送信する。

【0052】

車載システム３は、サーバ７から、物体認識処理等の処理結果を受け、当該処理結果に基づいて、車両２の運転を支援する処理を実行する。例えば、車載システム３は、車両又は歩行者の認識結果を受け、車両又は歩行者との衝突を回避するように車両２の運転を支援する。

【0053】

〔車載システム３の構成〕
図２は、本開示の実施形態１に係る車載システム３の構成の一例を示すブロック図である。

【0054】

図２に示すように、車両２の車載システム３は、カメラ３１と、通信部３２と、制御部（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機３６と、ジャイロセンサ３７と、速度センサ３８とを備える。

【0055】

カメラ３１は、車両２に搭載され、車両２の周囲（特に、車両２の前方）の時系列の画像を取り込む画像センサよりなる。カメラ３１は、単眼である。ただし、カメラ３１は、複眼であってもよい。

【0056】

通信部３２は、例えば５Ｇ（第５世代移動通信システム）対応の通信処理が可能な無線通信機よりなる。なお、通信部３２は、車両２に既設の無線通信機であってもよいし、搭乗者が車両２に持ち込んだ携帯端末であってもよい。通信部３２は、制御部３３を基地局６を介してネットワーク５に接続するための装置である。

【0057】

搭乗者の携帯端末は、車両２の車内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続されることにより、一時的に車載の無線通信機となる。

【0058】

制御部３３は、車両２のカメラ３１及び通信部３２を含む車両２に搭載される車載装置を制御するコンピュータ装置よりなる。制御部３３は、ＧＰＳ受信機３６が定期的に取得するＧＰＳ信号により車両２の位置を求める。なお、制御部３３は、図示しない準天頂衛星から送信される信号の受信機が受信したＧＰＳ補完信号又はＧＰＳ補強信号を合わせて用いることで、ＧＰＳ信号を補完したり、車両２の位置を補正したりしてもよい。

【0059】

制御部３３は、ジャイロセンサ３７及び速度センサ３８から出力される信号に基づいて、車両２の位置及び方向を補完し、車両２の正確な現在位置及び方向を把握する。ここで、車両２の現在位置は、例えば、緯度及び経度により示される。また、車両２の方向（進行方向）は、例えば、北を０度とする時計回りの０度～３６０度の範囲の角度で示される。

【0060】

ＧＰＳ受信機３６、ジャイロセンサ３７及び速度センサ３８は、車両２の現在位置、方向及び速度をそれぞれ計測するセンサである。

【0061】

制御部３３は、プロセッサ３４と、メモリ３５とを備える。
プロセッサ３４は、メモリ３５に格納されたコンピュータプログラムを実行するマイクロコンピュータなどの演算処理装置である。

【0062】

メモリ３５は、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）またはＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）などの揮発性のメモリ素子、フラッシュメモリ若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性のメモリ素子、または、ハードディスクなどの磁気記憶装置などにより構成されている。メモリ３５は、制御部３３で実行されるコンピュータプログラムや、制御部３３におけるコンピュータプログラム実行時に生成されるデータ等を記憶する。

【0063】

〔プロセッサ３４の機能構成〕
図３は、本開示の実施形態１に係るプロセッサ３４の機能的な構成を示すブロック図である。

【0064】

図３を参照して、プロセッサ３４は、メモリ３５に記憶されたコンピュータプログラムを実行することにより実現される機能的な処理部として、画像取得部４１と、重要度取得部４２と、注目領域抽出部４３と、画像圧縮部４４と、提供部４５とを備える。

【0065】

≪画像取得部４１について≫
画像取得部４１は、カメラ３１が撮影した車両２の前方の画像をリアルタイムで順次取得する。ただし、取得する画像は車両２の前方の画像に限定されるものではなく、例えば、車両２の後方の画像であってもよい。

【0066】

図４は、画像取得部４１が取得した画像の一例を示す図である。
例えば、画像５０は、車両２が走行する道路５１と、道路５１を走行する自動車５２と、高架橋５３と、高架橋５３を走行する自動車５４、５５とを含む。

【0067】

≪重要度取得部４２について≫
重要度取得部４２は、車両２の位置に基づいて、カメラ３１が撮影した画像中の各位置の重要度を、通信部３２を介してサーバ７から取得する。つまり、重要度取得部４２は、後述する提供部４５がサーバ７に提供した車両２の位置においてカメラ３１が撮影した画像中の各位置の重要度を示す重要度マップを、サーバ７から取得する。

【0068】

図５は、重要度マップの一例を示す図である。
図５では、画像５０上に重要度マップを重畳させて表示している。画像５０は、複数のブロック６０に分割される。図５では、一例として画像５０を６４（＝８×８）個のブロック６０に分割した例を示している。ブロック６０のサイズはあらかじめ定められており、全部が同じサイズであってもよいし、一部又は全部が異なるサイズであってもよい。また、ブロック６０の個数は６４個に限定されるものではない。

【0069】

重要度マップは、ブロック６０毎の重要度を規定する。ここで、重要度とは、車両２の走行に影響を与える度合いを示す。重要度は、例えば、０から１までの数値で表現され、数値が大きいほど重要度が高いものとする。

【0070】

例えば、高架橋５３よりも上の領域は、近い将来において車両２が通行する可能性はほぼないため、車両２の走行に与える影響は低い。このため、画像５０における上から２行のブロック６０の重要度は０に設定される。一方、道路５１を含む領域においては、例えば自動車５２に衝突する可能性があるため、車両２の走行に与える影響が高い。このため、画像５０における下から４行のブロック６０の重要度は１に設定される。

【0071】

また、残りのブロック６０については、値が連続的に変化するように重要度が設定される。例えば、上から３行目のブロック６０の重要度は０．３に設定され、上から４行目のブロック６０の重要度は０．６に設定される。つまり、重要度０のブロック６０から重要度１のブロック６０まで、値が連続するように重要度が設定される。

【0072】

なお、重要度取得部４２は、サーバ７から取得した重要度マップのサイズと、カメラ３１により撮影された画像５０のサイズが異なる場合には、重要度マップを拡大又は縮小処理し、画像５０のサイズに合わせる変換処理を行う。

【0073】

また、図５では、重要度が低い領域の例として高架橋５３を示したが、これに限定されるものではない。例えば、空、道路５１の外側、柵の外、トンネルの壁面など、車両２が走行する可能性が低い部分が、重要度が低い領域の例として挙げられる。
≪注目領域抽出部４３について≫

【0074】

注目領域抽出部４３は、重要度取得部４２が取得した重要度マップに基づいて、画像取得部４１が取得した画像５０から、注目領域を抽出する。

【0075】

注目領域抽出部４３は、前処理として、画像５０を構成する各ブロック６０の像（以下、「ブロック画像」という）を、重要度マップが示す重要度に応じた縮小率で縮小する。

【0076】

図６は、注目領域抽出部４３によるブロック画像の縮小処理を説明するための図である。注目領域抽出部４３は、重要度に応じた縮小率でブロック画像を縮小する。例えば、注目領域抽出部４３は、重要度が０以上０．３以下のブロック６０については、第１縮小率で当該ブロック６０のブロック画像を縮小する。また、注目領域抽出部４３は、重要度が０．３より大きく０．９以下のブロック６０については、第２縮小率で当該ブロック６０のブロック画像を縮小する。さらに、注目領域抽出部４３は、重要度が０．９より大きく１以下のブロック６０については、第３縮小率で当該ブロック６０のブロック画像を縮小する。ここで、第１縮小率、第２縮小率、第３縮小率の順に縮小率が高いものとする。つまり、第１縮小率による縮小後のブロック画像のサイズが最も小さく、第３縮小率による縮小後のブロック画像のサイズが最も大きい。

【0077】

注目領域抽出部４３は、縮小後のブロック画像を第１学習モデルに入力することにより、当該ブロック画像中に検出対象物体が含まれるか否かをリアルタイムで判定する。

【0078】

ここで、第１学習モデルは、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＡｕｔｏＥｎｃｏｄｅｒなどである。検出対象物体を含む縮小後のブロック画像を教師データとして、ディープラーニングなどの機械学習手法により、第１学習モデルの各パラメータが決定されているものとする。

【0079】

つまり、注目領域抽出部４３は、第１学習モデルに未知の縮小後のブロック画像を入力することにより、当該ブロック画像に検出対象物体が含まれることの確信度を算出する。注目領域抽出部４３は、確信度が所定の閾値以上のブロックを注目領域として抽出する。抽出した注目領域の情報は、例えば、注目領域の左上隅座標及び右下隅座標を含む。ただし、注目領域の表現方法はこれに限定されるものではない。例えば、注目領域情報は、注目領域の左上隅座標と注目領域の横方向の画素数及び縦方向の画素数とを含んでいてもよいし、注目領域を示すブロックの識別子を含んでいてもよい。

【0080】

ここで、検出対象物体は、例えば、自動車５２やオートバイなどの車両、人間、道路標識など、車両２の走行に影響を与える物体を含む。

【0081】

なお、第１学習モデルに入力するブロック画像のサイズが小さいほど、確信度の算出処理は短い。つまり、第１縮小率による縮小後のブロック画像を入力とする確信度の算出処理が最も短く、第３縮小率による縮小後のブロック画像を入力とする確信度の算出処理が最も長い。

【0082】

第１学習モデルは、入力されるブロック画像のサイズごとに設けてられていてもよい。サイズごとに第１学習モデルを設けることにより、小サイズのブロック画像ほど、短時間での確信度の算出処理が可能となる。ただし、第１学習モデルは、ブロック画像のサイズによらず、１つとしてもよい。この場合であっても、入力されるブロック画像のサイズが小さいほど、確信度の算出処理は短くなる。

【0083】

≪画像圧縮部４４について≫
画像圧縮部４４は、注目領域抽出部４３による注目領域の抽出結果に基づいて、画像取得部４１が取得した画像をリアルタイムで圧縮する。例えば、画像圧縮部４４は、Ｈ．２６４又はＨ．２６５などの動画圧縮規格に準拠して時系列の画像を圧縮する。

【0084】

画像圧縮部４４は、Ｉフレームの画像に対して、注目領域を第１圧縮率でフレーム内圧縮（フレーム内符号化）し、注目領域以外の領域（非注目領域）を第２圧縮率でフレーム内圧縮する。ここで、第１圧縮率の方が第２圧縮率よりも圧縮率が低いものとする。これにより、圧縮後の注目領域は、圧縮後の非注目領域よりもデータサイズが大きくなり、伸張した際のオリジナル画像との同一性が保持される。

【0085】

また、画像圧縮部４４は、Ｐフレーム又はＢフレームの画像に対しても、注目領域抽出部４３による注目領域の抽出結果に基づいて、圧縮処理を行う。つまり、画像圧縮部４４は、注目領域を第３圧縮率でフレーム間圧縮（フレーム間予測符号化）し、注目領域以外の領域（非注目領域）を第４圧縮率でフレーム間圧縮する。ここで、第３圧縮率の方が第４圧縮率よりも圧縮率が低いものとする。これにより、圧縮後の注目領域は、圧縮後の非注目領域よりもデータサイズが大きくなり、伸張した際のオリジナル画像との同一性が保持される。

【0086】

≪提供部４５について≫
提供部４５は、画像圧縮部４４で圧縮済みの画像を、通信部３２を介してサーバ７に送信する。なお、画像の送信は、リアルタイムで行うのが望ましい。なお、提供部４５は、圧縮済みの画像を、サーバ７以外の車両２外の他の装置に送信するものであってもよい。例えば、提供部４５は、圧縮済みの画像をブロードキャストしてもよい。

【0087】

提供部４５は、ＧＰＳ受信機３６から出力されるＧＰＳ信号に基づいて車両２の位置を算出し、ジャイロセンサ３７から出力される信号に基づいて車両２の方向を算出する。また、提供部４５は、速度センサ３８から車両２の速度を取得する。提供部４５は、圧縮済み画像と対応付けて、画像５０の撮影時刻における車両２の位置、方向及び速度を示す情報を、通信部３２を介してサーバ７に送信する。ただし、車両２の位置精度が、車両２の走行レーンを特定できる程度に高い場合には、車両２の位置と地図情報とを照合することにより、車両２の走行方向は特定可能である。このため、このような場合には、提供部４５は、車両２の位置及び速度を示す情報を送信し、車両２の方向を示す情報を送信しなくてもよい。また、提供部４５は、車両２の速度を示す情報を送信せずに、車両２の位置を示す情報を送信するものであってもよい。

【0088】

〔サーバ７の構成〕
図７は、本開示の実施形態１に係るサーバ７の構成の一例を示すブロック図である。
図７に示すように、サーバ７は、取得部７１と、認識部７２と、重要度決定部７３と、データベース７４と、重要度提供部７５とを備える。

【0089】

サーバ７は、プロセッサ、メモリ、通信モジュール等を備える一般的なコンピュータにより構成される。サーバ７を構成する処理部７１～７３、７５は、メモリに記憶されたコンピュータプログラムをプロセッサ上で実行することにより実現される機能的な処理部である。また、データベース７４は、メモリに記憶されるデータである。

【0090】

取得部７１は、通信モジュールを介して車載システム３から、時系列の圧縮済み画像を取得する。また、取得部７１は、通信モジュールを介して車載システム３から、車両２の位置、方向及び速度を示す情報を取得する。

【0091】

なお、取得部７１は、複数の車両２から、時系列の圧縮済み画像、並びに、車両の位置、方向及び速度を示す情報を取得する。

【0092】

認識部７２は、取得部７１が取得した圧縮済み画像をフレームごとに伸張（復号化）する。認識部７２は、伸張された画像を認識する。例えば、認識部７２は、伸張した画像を第２学習モデルに入力することにより、画像から検出対象物体を抽出する。認識部７２は、抽出された検出対象物体の外接矩形を注目領域として抽出する。抽出した注目領域の情報は、例えば、注目領域の左上隅座標及び右下隅座標を含む。ただし、注目領域の表現方法はこれに限定されるものではない。例えば、注目領域情報は、注目領域の左上隅座標と注目領域の横方向の画素数及び縦方向の画素数とを含んでいてもよい。

【0093】

ここで、第２学習モデルは、例えば、ＣＮＮ、ＲＮＮ、ＡｕｔｏＥｎｃｏｄｅｒなどである。検出対象物体を含む画像を教師データとして、ディープラーニングなどの機械学習手法により、第２学習モデルの各パラメータが決定されているものとする。

【0094】

なお、車両２毎に、画像５０のサイズが異なるが、認識部７２は、第２学習モデルに入力する前に、画像５０を拡大又は縮小することにより、所定のサイズ（例えば、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）サイズ）の画像５０に変換する。

【0095】

重要度決定部７３は、認識部７２による画像の認識結果に基づいて、画像中の各位置の重要度を決定する。

【0096】

例えば、重要度決定部７３は、車両２の位置ごとに、過去一定期間の間に取得された、当該位置と対応付けられた圧縮済み画像に基づいて認識された検出対象物体の認識結果を抽出する。重要度決定部７３は、抽出した認識結果に基づいて、画像５０に含まれるブロック６０毎に、検出対象物体が含まれる頻度を算出する。重要度決定部７３は、算出した頻度が第１閾値以上のブロック６０の重要度を１とし、算出した頻度が第２閾値以下のブロック６０の重要度を０．０とする。ここで、第１閾値は、第２閾値よりも大きい値である。このような処理により、図５に示したように、重要度が１のブロック６０と、重要度が０のブロック６０とが決定される。また、重要度決定部７３は、重要度が１のブロック６０と重要度が０のブロック６０との間のブロック６０について、値が連続的に変化するように重要度を決定する。

【0097】

重要度決定部７３は、決定した重要度を示す重要度マップを、車両２の位置と対応付けてデータベース７４に登録する。
データベース７４は、車両２の位置ごとに重要度マップを記憶している。

【0098】

重要度提供部７５は、取得部７１が取得した車両２の位置に基づいて、車両２に備えられるカメラ３１による撮影領域の各位置の重要度を示す重要度マップを車両２の車載システム３に提供する。例えば、重要度提供部７５は、車両２の位置に対応した重要度マップをデータベース７４から読み出す。重要度提供部７５は、読み出した重要度マップを、通信モジュールを介して車両２の車載システム３に送信する。

【0099】

なお、重要度提供部７５は、車両２の走行予定位置を予測し、予測した走行予定位置に基づいて、重要度マップを車両２の車載システム３に提供してもよい。例えば、重要度提供部７５は、取得部７１が取得した車両２の位置、方向及び速度に基づいて、現在時刻から第１所定時間先までの第２所定時間間隔の車両２の走行予定位置を算出する。重要度提供部７５は、車両２の各走行予定位置における重要度マップをデータベース７４から読み出し、通信モジュールを介して車両２の車載システム３に送信する。

【0100】

ただし、車両２の位置精度が、車両２の走行レーンを特定できる程度に高い場合には、車両２の位置と地図情報とを照合することにより、車両２の走行方向は特定可能である。このため、このような場合には、重要度提供部７５の位置及び速度に基づいて、車両２の走行予定位置を算出してもよい。

【0101】

図８は、車両２の走行予定位置及び重要度マップの一例を示す図である。図８の（ａ）は、車両２の現在位置Ｐ１と走行予定位置Ｐ２～Ｐ６とを示す。図８の（ｂ）は、現在位置Ｐ１における重要度マップを示す。図８の（ｃ）は、走行予定位置Ｐ６における重要度マップを示す。なお、走行予定位置Ｐ２～Ｐ５における重要度マップについても、同様に、重要度提供部７５が車載システム３に提供しているものとする。

【0102】

図３を参照して、車載システム３の重要度取得部４２が、これら複数の重要度マップを取得している場合には、注目領域抽出部４３は、車両２の位置に最も近い位置の重要度マップを利用して、注目領域を抽出してもよい。例えば、注目領域抽出部４３による処理時点において、車両２が現在位置Ｐ１に最も近い位置を走行している場合には、図８の（ｂ）に示した重要度マップを利用して注目領域を抽出してもよいし、上記処理時点において、車両２が走行予定位置Ｐ６に最も近い位置を走行している場合には図８の（ｃ）に示した重要度マップを利用して注目領域を抽出してもよい。

【0103】

また、上記処理時点において、車両２が走行予定位置Ｐ４と走行予定位置Ｐ５との間を走行している場合には、注目領域抽出部４３は、走行予定位置Ｐ４に対応した重要度マップと走行予定位置Ｐ５に対応した重要度マップを合成してもよい。例えば、注目領域抽出部４３は、２つの重要度マップのブロック６０毎の重要度の平均を算出することにより、重要度マップを合成してもよい。なお、注目領域抽出部４３は、走行予定位置Ｐ４から車両２までの距離の逆数を走行予定位置Ｐ４に対応する重要度マップの重みとし、走行予定位置Ｐ５から車両２までの距離の逆数を走行予定位置Ｐ５に対応する重要度マップの重みとした上で、ブロック６０毎に重要度の重み付き平均を算出することにより、重要度マップを合成してもよい。

【0104】

〔運転支援システム１の処理手順〕
図９は、運転支援システム１を構成する複数の車両２及びサーバ７の処理手順を示すシーケンス図である。
図９を参照して、第１の車両２は、当該車両２の位置、速度及び方向を取得する（ステップＳ１）。

【0105】

第１の車両２は、当該車両２の位置、速度及び方向を示す情報をサーバ７に送信し、サーバ７は、当該情報を受信する（ステップＳ２）。

【0106】

サーバ７は、ステップＳ２において受信した情報に基づいて、車両２の走行予定位置を予測する（ステップＳ３）。

【0107】

サーバ７は、受信した情報が示す第１の車両２の位置と、第１の車両２の走行予定位置とに基づいて、各位置の重要度マップをデータベース７４から読み出す（ステップＳ４）。

【0108】

サーバ７は、読み出した重要度マップを第１の車両２に送信し、第１の車両２は、重要度マップを受信する（ステップＳ５）。
第１の車両２は、カメラ３１により撮影された画像を取得する（ステップＳ６）。

【0109】

第１の車両２は、自身の位置に基づいて、注目領域の抽出に用いる重要度マップを決定する（ステップＳ７）。

【0110】

第１の車両２は、決定した需要度マップに基づいて、取得した画像から注目領域を抽出する（ステップＳ８）。
第１の車両２は、抽出した注目領域に基づいて、取得した画像を圧縮する（ステップＳ９）。

【0111】

第１の車両２は、圧縮済みの画像をサーバ７に送信し、サーバ７は、圧縮済みの画像を受信する（ステップＳ１０）。
サーバ７は、受信した圧縮済みの画像を伸張し、伸張した画像を認識する（ステップＳ１１）。

【0112】

サーバ７は、画像の認識結果に基づいて、画像の重要度を決定し、データベース７４に記憶されている重要度マップを更新する（ステップＳ１２）。重要度マップの更新は、車両２の位置が同一の重要度マップについて、最新のものを残し、他のものを削除するものであってもよいし、最新のものから所定個数を残し、他のものを削除するものであってもよし。最新のものから所定個数の重要度マップを残した場合には、サーバ７の重要度決定部７３は、所定個数の重要度マップを合成して車両２の位置に対応した重要度マップを求めてもよい。例えば、ブロック６０毎の重要度の平均を求めることにより重要度マップを合成することができる。

【0113】

第１の車両２と同様に、第２の車両２は、圧縮済みの画像をサーバ７に送信し、サーバ７は、圧縮済みの画像を受信する（ステップＳ１３）。

【0114】

サーバ７は、ステップＳ１３において受信した圧縮済みの画像を伸張し、伸張した画像を認識する（ステップＳ１４）。

【0115】

サーバ７は、ステップＳ１４における画像の認識結果に基づいて、画像の重要度を決定し、データベース７４に記憶されている重要度マップを更新する（ステップＳ１５）。重要度マップの更新処理は、ステップＳ１２における更新処理と同様に行われる。
図９に示したような処理が繰り返し実行される。

【0116】

〔実施形態１の効果〕
以上説明したように、本開示の実施形態１によると、車載システム３の外部装置であるサーバ７から取得した重要度マップに基づいて、注目領域が抽出される。このため、重要度の低い領域については、注目領域の抽出に必要な時間を短くするための処理を施すことができ、これにより、車載システム３の処理負荷を低減することができる。よって、低処理負荷で画像を効率的に圧縮することができる。

【0117】

特に、車載システム３の注目領域抽出部４３は、重要度に応じた縮小率でブロック６０ごとに縮小された画像５０から注目領域を抽出する。このため、重要度の低いブロック６０については、高縮小率でブロック６０を縮小することができる。これにより、重要度の低いブロック６０についての注目領域の抽出に必要な時間を短くすることができる。

【0118】

なお、提供部４５は、車両２の位置及び速度の情報をサーバ７に提供している。このため、サーバ７は、車両２の位置及び速度から車両２の将来の走行予定位置を予測することができ、重要度取得部４２は、走行予定位置に応じた重要度マップをサーバ７から事前に取得することができる。これにより、注目領域の抽出処理を時間遅れなく効率的に行うことができる。

【0119】

また、第２の車両２に搭載されたカメラ３１により撮影された画像を認識することにより決定された重要度が、第２の車両２の位置と対応付けられてデータベース７４に登録される。このため、サーバ７は、画像認識結果に応じた重要度を第１の車両２に搭載された車載システム３に提供することができる。これにより、車載システム３は、効率的に注目領域の抽出処理を行うことができる。

【0120】

また、車載システム３は、車両２の複数の走行予定位置の重要度マップを取得することができる。これにより、車載システム３は、車両２が通過した位置に最も近い位置の重要度マップを選択したり、複数の位置の重要度マップから車両２が通過した位置の重要度マップを補間したりすることにより、正確な重要度マップを取得することができる。これにより、注目領域の抽出処理を時間遅れなく効率的に行うことができる。

【0121】

＜実施形態２＞
実施形態１では、重要度に応じた縮小率でブロック画像を縮小した上で注目領域の抽出を行った。実施形態２では、重要度に応じて画像フレームを間引いた上で注目領域の抽出を行う。
運転支援システム１の構成は、実施形態１と同様である。このため、その詳細な説明は繰り返さない。
実施形態２では、注目領域抽出部４３による注目領域抽出処理の前処理の内容が実施形態１と異なる。

【0122】

注目領域抽出部４３は、重要度取得部４２が取得した重要度マップのブロック６０毎の重要度に基づいて、重要度に応じたフレーム間隔でブロック６０毎に間引かれた画像５０から注目領域を抽出する。なお、注目領域抽出部４３は、実施形態１と同様に、第１学習モデルを用いて注目領域を抽出する。

【0123】

図１０は、注目領域抽出部４３によるブロック６０毎のフレーム間引き処理を説明するための図である。
注目領域抽出部４３は、重要度に応じたフレーム間隔でブロック６０毎にフレーム間引きを行う。例えば、注目領域抽出部４３は、重要度が０以上０．１以下のブロック６０については、第１処理間隔で（ここでは、８フレームごとに）注目領域を抽出する。つまり、注目領域抽出部４３は、第１フレームのブロック６０から注目領域を抽出し、第２～第８フレームのブロック６０からは注目領域を抽出しない。ただし、注目領域抽出部４３は、第２～第８フレームのブロック６０については、第１フレームのブロック６０からの注目領域の抽出結果を用いる。つまり、第１フレームのブロック６０からの注目領域が抽出された場合には、第２～第８フレームについても同じブロック６０から注目領域が抽出されたものとする。また、第１フレームのブロック６０からの注目領域が抽出されなかった場合には、第２～第８フレームについても同じブロック６０から注目領域が抽出されなかったものとする。注目領域抽出部４３は、第９フレーム以降のブロック６０についても、同様にフレーム間引きを行う。

【0124】

また、注目領域抽出部４３は、重要度が０．１より大きく０．５以下のブロック６０については、第２処理間隔で（ここでは、４フレームごとに）注目領域を抽出する。つまり、注目領域抽出部４３は、第１フレームのブロック６０から注目領域を抽出し、第２～第４フレームのブロック６０からは注目領域を抽出しない。ただし、注目領域抽出部４３は、第２～第４フレームのブロック６０については、第１フレームのブロック６０からの注目領域の抽出結果を用いる。つまり、第１フレームのブロック６０からの注目領域が抽出された場合には、第２～第４フレームについても同じブロック６０から注目領域が抽出されたものとする。また、第１フレームのブロック６０からの注目領域が抽出されなかった場合には、第２～第４フレームについても同じブロック６０から注目領域が抽出されなかったものとする。注目領域抽出部４３は、第５フレーム以降のブロック６０についても、同様にフレーム間引きを行う。

【0125】

また、注目領域抽出部４３は、重要度が０．５より大きく１．０より小さいブロック６０については、第３処理間隔で（ここでは、２フレームごとに）注目領域を抽出する。つまり、注目領域抽出部４３は、第１フレームのブロック６０から注目領域を抽出し、第２フレームのブロック６０からは注目領域を抽出しない。ただし、注目領域抽出部４３は、第２フレームのブロック６０については、第１フレームのブロック６０からの注目領域の抽出結果を用いる。つまり、第１フレームのブロック６０からの注目領域が抽出された場合には、第２フレームについても同じブロック６０から注目領域が抽出されたものとする。また、第１フレームのブロック６０からの注目領域が抽出されなかった場合には、第２フレームについても同じブロック６０から注目領域が抽出されなかったものとする。注目領域抽出部４３は、第３フレーム以降のブロック６０についても、同様にフレーム間引きを行う。

【0126】

また、注目領域抽出部４３は、重要度が１のブロック６０については、第４処理間隔で（ここでは、１フレームごとに）注目領域を抽出する。つまり、注目領域抽出部４３は、フレーム間引きを行わずに、全てのフレームのブロック６０から注目領域を抽出する。

【0127】

以上説明したように、本開示の実施形態２によると、重要度の低いブロック６０については大きいフレーム間隔で間引かれた画像５０から注目領域を抽出することができる。これにより、重要度の低いブロック６０についての注目領域の抽出に必要な時間を短くすることができる。よって、低処理負荷で画像５０を効率的に圧縮することができる。

【0128】

＜実施形態３＞
実施形態３では、重要度に応じて一部のブロック６０のみから注目領域を抽出する例について説明する。
運転支援システム１の構成は、実施形態１と同様である。このため、その詳細な説明は繰り返さない。
実施形態３では、注目領域抽出部４３による注目領域抽出処理の前処理の内容が実施形態１と異なる。

【0129】

注目領域抽出部４３は、重要度に基づいて、画像５０からブロック６０を除外して注目領域を抽出する。なお、注目領域抽出部４３は、実施形態１と同様に、第１学習モデルを用いて注目領域を抽出する。

【0130】

図１１は、注目領域抽出部４３によるブロック６０の除外処理を説明するための図である。
注目領域抽出部４３は、注目領域に応じてブロック６０を除外する。
例えば、注目領域抽出部４３は、重要度が０のブロック６０については、注目領域の抽出処理の対象から除外し、除外されたブロック６０については、注目領域の抽出処理を実行しない。

【0131】

一方、注目領域抽出部４３は、重要度が０よりも大きいブロック６０については、注目領域の抽出処理の対象と決定し、対象とされた当該ブロック６０から注目領域を抽出する。

【0132】

なお、注目領域の抽出処理の対象とするか否かを決定するための重要度の閾値は０に限定されるものではなく、それ以外の値であってもよい。

【0133】

また、注目領域抽出部４３は、重要度が低いものから所定個数のブロック６０を注目領域の抽出処理の対象から除外し、それ以外のブロック６０から注目領域を抽出してもよい。

【0134】

以上説明したように、本開示の実施形態３によると、重要度の低いブロック６０については注目領域の抽出対象から除外した上で、注目領域を抽出することができる。これにより、重要度の低いブロック６０についての注目領域の抽出に必要な時間を短くすることができる。よって、低処理負荷で画像５０を効率的に圧縮することができる。

【0135】

＜変形例＞
車載システム３において、画像の認識処理を行う場合には、注目領域抽出部４３は、重要度の低いブロック６０に対して物体が認識されにくくするための所定の画像処理を施してもよい。例えば、当該ブロック６０のブロック画像のコントラストを減らす処理や、ブロック６０のブロック画像を平滑化する処理（ローパスフィルタを通過させる処理）などを行ってもよい。これにより、物体認識処理に必要な時間を減らすことができる。

【0136】

［付記］
上記の車載システム３又はサーバ７を構成する構成要素の一部または全部は、１または複数のシステムＬＳＩなどの半導体装置から構成されていてもよい。

【0137】

上記したコンピュータプログラムを、コンピュータ読取可能な非一時的な記録媒体、例えば、ＨＤＤ、ＣＤ－ＲＯＭ、半導体メモリなどに記録して流通させてもよい。また、コンピュータプログラムを、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送して流通させてもよい。
また、車載システム３又はサーバ７は、複数のコンピュータ又は複数のプロセッサにより実現されてもよい。

【0138】

さらに、上記実施形態の少なくとも一部を任意に組み合わせてもよい。

【0139】

今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0140】

１ 運転支援システム
２ 車両
３ 車載システム（画像圧縮装置）
５ ネットワーク
６ 基地局
７ サーバ（重要度提供装置）
３１ カメラ
３２ 通信部
３３ 制御部（ＥＣＵ）
３４ プロセッサ
３５ メモリ
３６ ＧＰＳ受信機
３７ ジャイロセンサ
３８ 速度センサ
４１ 画像取得部
４２ 重要度取得部
４３ 注目領域抽出部
４４ 画像圧縮部
４５ 提供部
５０ 画像
５１ 道路
５２ 自動車
５３ 高架橋
５４ 自動車
５５ 自動車
６０ ブロック
７１ 取得部
７２ 認識部
７３ 重要度決定部
７４ データベース
７５ 重要度提供部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】