知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-09
(45)【発行日】2024-09-18
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
H04N 19/115 20140101AFI20240910BHJP
H04N 19/167 20140101ALI20240910BHJP
H04N 19/17 20140101ALI20240910BHJP
H04N 19/85 20140101ALI20240910BHJP
【ＦＩ】
H04N19/115
H04N19/167
H04N19/17
H04N19/85
【請求項の数】
6
(21)【出願番号】P 2023501712
(86)(22)【出願日】2021-02-24
(86)【国際出願番号】 JP2021006866
(87)【国際公開番号】W WO2022180683
(87)【国際公開日】2022-09-01
【審査請求日】2023-08-14
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】逸身 勇人
(72)【発明者】
【氏名】二瓶 浩一
(72)【発明者】
【氏名】岩井 孝法
(72)【発明者】
【氏名】篠原 悠介
(72)【発明者】
【氏名】バイエ フロリアン
(72)【発明者】
【氏名】ヴィタル チャルヴィ
【審査官】山▲崎▼ 雄介
(56)【参考文献】
【文献】特開２０１６－０４６７０７（ＪＰ，Ａ）
【文献】特開２０１９－０８３４９１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／００７５３０２（ＵＳ，Ａ１）
【文献】特開２０２０－０８３３０９（ＪＰ，Ａ）
【文献】SHIOHARA, Yusuke et al.，Video Compression Estimating Recognition Accuracy for Remote Site Object Detection，2020 International Wireless Communications and Mobile Computing (IWCMC)，IEEE，2020年07月27日，pp. 285-290，<URL: https://ieeexplore.ieee.org/document/9148347>，<DOI: 10.1109/IWCMC48107.2020.9148347>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
画像データ及び点群データの少なくとも何れかを含む入力データを取得する取得手段と、前記入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する推定手段であって、前記入力データに含まれる前記複数の領域のうちの少なくとも何れかを重要度に応じて代替データに置換することによって得られた置換後のデータを参照して学習された推定手段と、
前記置換後のデータを参照することによって評価値を導出する評価手段と、
を備え、
前記評価手段は、前記置換後のデータを入力した移動体のコントローラからの出力を参照して、前記評価値を導出する
ことを特徴とする情報処理装置。
【請求項2】
前記推定手段は、自己注意モジュールを用いて前記重要度を推定することを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記評価値を参照して、前記推定手段を学習させる学習手段を更に備え、前記評価値は、前記出力から導出された報酬値を含み、前記学習手段は、前記報酬値が大きくなるように前記推定手段を学習させる
ことを特徴とする請求項１に記載の情報処理装置。
【請求項4】
前記評価値を参照して、前記推定手段を学習させる学習手段を更に備え、前記評価値は、前記出力から導出されたロス値であり、前記学習手段は、前記ロス値が小さくなるように前記推定手段を学習させる
ことを特徴とする請求項１に記載の情報処理装置。
【請求項5】
画像データ及び点群データの少なくとも何れかを含む入力データを取得すること、前記入力データが示すフレームに含まれる複数の領域の各々について重要度を推定することであって、前記入力データに含まれる前記複数の領域のうちの少なくとも何れかを重要度に応じて代替データに置換することによって得られた置換後のデータを参照して学習された推定手段を用いて重要度を推定すること、
前記置換後のデータを入力した移動体のコントローラからの出力を参照して、評価値を導出すること
を含むことを特徴とする情報処理方法。
【請求項6】
コンピュータを、画像データ及び点群データの少なくとも何れかを含む入力データを取得する取得手段、
前記入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する推定手段であって、前記入力データに含まれる前記複数の領域のうちの少なくとも何れかを重要度に応じて代替データに置換することによって得られた置換後のデータを参照して学習された推定手段、
前記置換後のデータを入力した移動体のコントローラからの出力を参照して、評価値を導出する評価手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
画像処理の一技術として、画像に含まれる領域毎に画像の品質を異ならせることによって、符号化データのデータ量を削減する技術が知られている。例えば、特許文献１には、撮像装置によって撮像された画像のうち、第１部分領域の解像度を維持しつつ、第１部分領域以外の解像度を低くすることが開示されている。
このような技術では、重要度の高い領域の品質を低下させずに、重要度の低い領域の品質を低下させることが試みられる。
このような技術では、重要度の高い領域の品質を低下させずに、重要度の低い領域の品質を低下させることが試みられる。
【先行技術文献】
【特許文献】
【0003】
【文献】日本国特開2018-056838号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１の技術では、何れの領域の品質を高く設定し、何れの領域の品質を低下させるのか、換言すれば、品質を高く保つ重要領域と、品質を低下させる非重要領域とをどのように推定すればよいのかという点において改善の余地がある。
【0005】
本発明の一態様は、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することである。
【課題を解決するための手段】
【0006】
（削除）
【0007】
本発明の一側面に係る情報処理装置は、画像データ及び点群データの少なくとも何れかを含む入力データを取得する取得手段と、前記入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する推定手段であって、前記入力データに含まれる前記複数の領域のうちの少なくとも何れかを重要度に応じて代替データに置換することによって得られた置換後のデータを参照して学習された推定手段と、を備える。
【0008】
（削除）
【0009】
本発明の一側面に係る情報処理方法は、画像データ及び点群データの少なくとも何れかを含む入力データを取得すること、前記入力データが示すフレームに含まれる複数の領域の各々について重要度を推定することであって、前記入力データに含まれる前記複数の領域のうちの少なくとも何れかを重要度に応じて代替データに置換することによって得られた置換後のデータを参照して学習された推定手段を用いて重要度を推定すること、を含む。
【0010】
（削除）
【0011】
本発明の一側面に係るプログラムは、コンピュータを、画像データ及び点群データの少なくとも何れかを含む入力データを取得する取得手段、前記入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する推定手段であって、前記入力データに含まれる前記複数の領域のうちの少なくとも何れかを重要度に応じて代替データに置換することによって得られた置換後のデータを参照して学習された推定手段を用いて重要度を推定する推定手段、として機能させるためのプログラムである。
【発明の効果】
【0012】
本発明の一態様によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の例示的実施形態１に係る情報処理装置の構成を示すブロック図である。
【図2】本発明の例示的実施形態１に係る情報処理装置が実行する情報処理方法の流れを示すフローチャートである。
【図3】本発明の例示的実施形態１に係る他の情報処理装置の構成を示すブロック図である。
【図4】本発明の例示的実施形態１に係る他の情報処理装置が実行する情報処理方法の流れを示すフローチャートである。
【図5】本発明の例示的実施形態２に係る情報処理装置を含む情報処理システムの構成を示すブロック図である。
【図6A】本発明の例示的実施形態２に係る情報処理装置が取得する映像データの一例である。
【図7A】本発明の例示的実施形態２に係る情報処理装置が取得する映像データの一例である。
【図8】本発明の例示的実施形態２に係る情報処理装置が処理する点群データの一例を示す図である。
【図9】本発明の例示的実施形態２に係る情報処理装置が実行する、データの重要度を推定する方法を学習する学習方法の流れの一例を示すフローチャートである。
【図12】例示的実施形態２に係る情報処理システムの構成を示すブロック図である。
【図13】本発明の例示的実施形態３に係る情報処理装置が実行する、データの重要度を推定する方法を学習する学習方法の流れの一例を示すフローチャートである。
【図16】本発明の例示的実施形態４に係る情報処理装置が実行する、データに含まれる領域の重要度を推定する方法を学習する学習方法の流れの一例を示すフローチャートである。
【図18】本発明の例示的実施形態５に係る画像処理システムの構成を示すブロック図である。
【図19】本発明の例示的実施形態５に係る画像処理方法の流れを示すフロー図である。
【図20A】本発明の例示的実施形態５に係る処理方法のステップＳ１０２ｂで取得された画像の一例を示す図である。
【図20B】本発明の例示的実施形態５に係るステップＳ１０４ｂにおいて推定した重要度の一例を示す模式図である。
【図20C】本発明の例示的実施形態５に係るステップＳ１０５ｂにおいて推定した予備的品質パラメータを示す模式図である。
【図21A】本発明の例示的実施形態５に係る処理方法のフローＳ１０６ｂの処理例１を示すフローチャートである。
【図21B】本発明の例示的実施形態５に係る処理方法のフローＳ１０６ｂの処理例１による品質パラメータを示す模式図である。
【図22】ソフトウェアによって情報処理装置及び画像処理装置を実現するための構成図である。
【発明を実施するための形態】
【0014】
〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。本例示的実施形態に係る情報処理装置１は、画像データ及び点群データの少なくとも何れかを含む入力データに含まれる領域の一部を、重要度に応じて代替データに置換する方法を学習する装置である。
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。本例示的実施形態に係る情報処理装置１は、画像データ及び点群データの少なくとも何れかを含む入力データに含まれる領域の一部を、重要度に応じて代替データに置換する方法を学習する装置である。
【0015】
（情報処理装置１の構成）
本例示的実施形態１に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の構成を示すブロック図である。図１に示すように、情報処理装置１は、取得部１０、推定部１１、置換部１２、評価部１３、及び学習部１４を備える。なお、取得部１０は、請求の範囲に記載した取得手段の一実施形態である。推定部１１は、請求の範囲に記載した推定手段の一実施形態である。置換部１２は、請求の範囲に記載した置換手段の一実施形態である。評価部１３は、請求の範囲に記載した評価手段の一実施形態である。学習部１４は、請求の範囲に記載した学習手段の一実施形態である。
本例示的実施形態１に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の構成を示すブロック図である。図１に示すように、情報処理装置１は、取得部１０、推定部１１、置換部１２、評価部１３、及び学習部１４を備える。なお、取得部１０は、請求の範囲に記載した取得手段の一実施形態である。推定部１１は、請求の範囲に記載した推定手段の一実施形態である。置換部１２は、請求の範囲に記載した置換手段の一実施形態である。評価部１３は、請求の範囲に記載した評価手段の一実施形態である。学習部１４は、請求の範囲に記載した学習手段の一実施形態である。
【0016】
情報処理装置１は、一例として、自動運転車、ロボット、又はドローン等の移動体を視点として取得された画像データ又は点群データを処理するために用いることができる。より具体的には、情報処理装置１は、移動体に搭載された撮像装置又は測距装置等により取得された画像データ又は点群データを処理するために用いることができる。
以下、情報処理装置１が備える各構成について説明する。
以下、情報処理装置１が備える各構成について説明する。
【0017】
取得部１０は、例えば、画像データ及び点群データの少なくとも何れかを含む入力データを取得する。取得部１０が取得する入力データは、例えば、カメラ等によって撮像された画像データ、又は３次元Ｌｉｄａｒ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）等の測距装置により測定された点群データである。画像データは、静止画像データでもよく、動画像データでもよい。つまり、データは単独のデータでもよく、連続的に取得された複数のデータでもよい。取得部１０がカメラ、又は３次元Ｌｉｄａｒ等から画像データ又は点群データを取得する方法は限定されない。一例として、取得部１０は、有線通信、無線通信又はこれらの組み合わせを用いてこれらのデータを取得することができる。
【0018】
推定部１１は、入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する。本実施形態において、重要度とは、当該領域に、入力データの利用目的を達成するために必要な情報がどの程度含まれているかを示す指標である。
【0019】
一例として、入力データが、自動車等の移動体の運行を遠隔で監視又は操作するための、当該移動体から撮影された映像である場合を考える。移動体とは、人が乗るものに限らず、ドローン等のように無人で物品を搬送する装置も含まれる。その場合、移動体が進行する道路の交通情報が含まれる領域、あるいは移動体の進行方向の周囲にある人又は物体等が含まれる領域等は、移動体の運行を安全に監視又は操作する、という目的を達成するために重要度が高いと考えられる。重要度の指標は、一例として、後述の評価部によって導出される評価値が挙げられる。
【0020】
推定部１１は、一例として、ニューラルネットワークアルゴリズム、又は遺伝的アルゴリズム等の各種のアルゴリズムを用いてもよい。推定部１１は、一例として、自己注意（Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ）モジュールを含んでもよい。
【0021】
置換部１２は、入力データに含まれる複数の領域のうちの少なくとも何れかを、重要度に応じて、代替データに置換することによって、置換後のデータを生成する。本実施形態において、代替データとは、入力データに比べて符号化した際のデータ量が小さいデータである。
【0022】
代替データとしては、一例として、ガウシアンノイズ等のノイズデータ、又は、置換前の画像に比べて量子化パラメータ（ＱＰ：Ｑｕａｎｔｕｍ Ｐａｒａｍｅｔｅｒ）を大きく設定した（量子化誤差を大きくした）画像データ等が挙げられる。
【0023】
評価部１３は、置換後のデータを参照することによって評価値を導出する。本実施形態において、評価値とは、置換後のデータを参照した場合、例えば、置換後のデータを利用した場合に、入力データの利用目的がどの程度達成されるかを示す指標である。
【0024】
一例として、置換後のデータをコントローラに入力し、運転シミュレーションを実行した場合に与えられる報酬値を評価値としてもよい。また、置換する前の入力データと、置換後のデータとをコントローラに入力し、それぞれの出力値の差分を評価値としてもよい。
【0025】
学習部１４は、評価値を参照して、推定部１１を学習させる。本実施形態において、学習するとは、推定部による重要度の推定の際に用いられる各種のパラメータを、より高い評価値が得られるように更新することである。
【0026】
一例として、代替データに置換する領域又は領域の組み合わせを変えて、コントローラに入力して与えられる報酬値が大きくなるように、推定部による推定に用いられる各種のパラメータを調整して更新してもよい。あるいは、置換する前後のデータをコントローラに入力した場合の出力の差分が小さくなるように、推定部による推定に用いられる各種のパラメータを調整して更新してもよい。
【0027】
なお、図１に示す実施形態では、取得部１０、推定部１１、置換部１２、評価部１３、及び学習部１４が１つの情報処理装置１に組み込まれているように記載しているが、これらは必ずしも１つの情報処理装置に組み込まれる必要はない。例えば、取得部１０、推定部１１、置換部１２、評価部１３、及び学習部１４の全部又は一部が別々に配置されていてもよい。そして、これらが有線通信又は無線通信で接続されていてもよい。また、取得部１０、推定部１１、置換部１２、評価部１３、及び学習部１４の全部又は一部がクラウド上にあってもよい。この点は、以下に示す装置構成についても同様である。
【0028】
（情報処理装置１による効果）
以上のように、本例示的実施形態に係る情報処理装置１は、入力データに含まれる領域の各々について重要度を推定し、重要度に応じて代替データに置換したデータを参照して評価値を導出し、評価値を参照して推定部を学習させる、という構成が採用されている。このため、本例示的実施形態に係る情報処理装置１によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができるという効果が得られる。
以上のように、本例示的実施形態に係る情報処理装置１は、入力データに含まれる領域の各々について重要度を推定し、重要度に応じて代替データに置換したデータを参照して評価値を導出し、評価値を参照して推定部を学習させる、という構成が採用されている。このため、本例示的実施形態に係る情報処理装置１によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができるという効果が得られる。
【0029】
（情報処理方法Ｓ１の流れ）
次に、本例示的実施形態に係る情報処理方法（学習方法）Ｓ１の流れについて、図２を参照して説明する。図２は、情報処理装置１が実行する情報処理方法Ｓ１の流れを示すフローチャートである。図２に示すように、情報処理方法Ｓ１は、以下のステップを含む。まず、ステップＳ１０において、入力データを取得する。具体的には、取得部１０は、画像データ及び点群データの少なくとも何れかを含む入力データを取得する。一例として、取得部１０は、カメラから静止画又は動画の画像データを入力データとして取得することができる。また、取得部１０は、３次元Ｌｉｄａｒから点群データを入力データとして取得してもよい。取得部１０がカメラ、又は３次元Ｌｉｄａｒ等から画像データ又は点群データを取得する方法は限定されない。一例として、取得部１０は、有線通信、無線通信又はこれらの組み合わせを用いてこれらのデータを取得することができる。
次に、本例示的実施形態に係る情報処理方法（学習方法）Ｓ１の流れについて、図２を参照して説明する。図２は、情報処理装置１が実行する情報処理方法Ｓ１の流れを示すフローチャートである。図２に示すように、情報処理方法Ｓ１は、以下のステップを含む。まず、ステップＳ１０において、入力データを取得する。具体的には、取得部１０は、画像データ及び点群データの少なくとも何れかを含む入力データを取得する。一例として、取得部１０は、カメラから静止画又は動画の画像データを入力データとして取得することができる。また、取得部１０は、３次元Ｌｉｄａｒから点群データを入力データとして取得してもよい。取得部１０がカメラ、又は３次元Ｌｉｄａｒ等から画像データ又は点群データを取得する方法は限定されない。一例として、取得部１０は、有線通信、無線通信又はこれらの組み合わせを用いてこれらのデータを取得することができる。
【0030】
次に、ステップＳ１１において、重要度を推定する。具体的には、推定部１１は、入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する。一例として、推定部１１は、ニューラルネットワークアルゴリズム、遺伝的アルゴリズム等のアルゴリズムを用いることができる。
【0031】
次に、ステップＳ１２において、代替データに置換する。具体的には、置換部１２は、入力データに含まれる複数の領域のうちの少なくとも何れかを、重要度に応じて、代替データに置換することによって、置換後のデータを生成する。一例として置換部１２は、ガウシアンノイズ等のノイズデータ、又は、置換前の画像に比べて量子化パラメータを大きく設定した画像データ等に置換することができる。
【0032】
次に、ステップＳ１３において、評価値を導出する。具体的には、評価部１３は、置換後のデータを参照することによって評価値を導出する。一例として、評価部１３は、置換後のデータをコントローラに入力して得られる報酬値、又は置換する前後のデータをコントローラに入力した場合の出力値の差分を、評価値として導出することができる。
【0033】
次に、ステップＳ１４において、推定部１１を学習させる。具体的には、学習部１４は、評価値を参照して、推定部１１を学習させる。一例として、学習部１４は、報酬値が大きくなるように、又は差分が小さくなるように、推定部を学習させることができる。
【0034】
（情報処理方法Ｓ１の効果）
以上のように、本例示的実施形態に係る情報処理方法Ｓ１は、画像データ及び点群データの少なくとも何れかを含む入力データを取得し、入力データが示すフレームに含まれる複数の領域の各々について重要度を推定し、入力データに含まれる複数の領域のうちの少なくとも何れかを、重要度に応じて、代替データに置換することによって、置換後のデータを生成し、置換後のデータを参照することによって評価値を導出し、評価値を参照して、推定部１１を学習させる、という構成が採用されている。このため、本例示的実施形態に係る情報処理方法Ｓ１によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができるという効果が得られる。
以上のように、本例示的実施形態に係る情報処理方法Ｓ１は、画像データ及び点群データの少なくとも何れかを含む入力データを取得し、入力データが示すフレームに含まれる複数の領域の各々について重要度を推定し、入力データに含まれる複数の領域のうちの少なくとも何れかを、重要度に応じて、代替データに置換することによって、置換後のデータを生成し、置換後のデータを参照することによって評価値を導出し、評価値を参照して、推定部１１を学習させる、という構成が採用されている。このため、本例示的実施形態に係る情報処理方法Ｓ１によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができるという効果が得られる。
【0035】
（情報処理装置２の構成）
次に、本例示的実施形態１に係る情報処理装置２の構成について、図３を参照して説明する。図３は、情報処理装置２の構成を示すブロック図である。図３に示すように、情報処理装置２は、取得部２０、及び推定部２１を備える。なお、取得部２０は、請求の範囲に記載した取得手段の一実施形態である。推定部２１は、請求の範囲に記載した推定手段の一実施形態である。
次に、本例示的実施形態１に係る情報処理装置２の構成について、図３を参照して説明する。図３は、情報処理装置２の構成を示すブロック図である。図３に示すように、情報処理装置２は、取得部２０、及び推定部２１を備える。なお、取得部２０は、請求の範囲に記載した取得手段の一実施形態である。推定部２１は、請求の範囲に記載した推定手段の一実施形態である。
【0036】
取得部２０は、画像データ及び点群データの少なくとも何れかを含む入力データを取得する。つまり、取得部２０は、前述の情報処理装置１の取得部１０と同じ構成でもよく、取得部２０が取得する入力データは、取得部１０が取得する入力データと同様でもよい。
【0037】
推定部２１は、取得部２０によって取得された入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する。推定部２１は、入力データに含まれる複数の領域のうちの少なくとも何れかを重要度に応じて代替データに置換することによって得られた置換後のデータを参照して学習されている。つまり、推定部２１は、前述の情報処理装置１の学習部１４によって学習された推定部１１を用いることができる。
【0038】
（情報処理装置２の効果）
以上のように、本例示的実施形態に係る情報処理装置２は、取得部２０、及び推定部２１を備える、という構成が採用されている。そして、取得部２０は、画像データ及び点群データの少なくとも何れかを含む入力データを取得し、推定部２１は、取得部２０によって取得された入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する。このため、本例示的実施形態に係る情報処理装置２によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができるという効果が得られる。
以上のように、本例示的実施形態に係る情報処理装置２は、取得部２０、及び推定部２１を備える、という構成が採用されている。そして、取得部２０は、画像データ及び点群データの少なくとも何れかを含む入力データを取得し、推定部２１は、取得部２０によって取得された入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する。このため、本例示的実施形態に係る情報処理装置２によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができるという効果が得られる。
【0039】
（情報処理方法Ｓ２の流れ）
次に、本例示的実施形態１に係る情報処理方法（推定方法）Ｓ２の流れについて、図４を参照して説明する。図４は、情報処理装置２が実行する情報処理方法Ｓ２の流れを示すフローチャートである。図４に示すように、情報処理方法Ｓ２は、以下のステップを含む。
次に、本例示的実施形態１に係る情報処理方法（推定方法）Ｓ２の流れについて、図４を参照して説明する。図４は、情報処理装置２が実行する情報処理方法Ｓ２の流れを示すフローチャートである。図４に示すように、情報処理方法Ｓ２は、以下のステップを含む。
【0040】
まず、ステップＳ２０において、入力データを取得する。具体的には、取得部２０は、画像データ及び点群データの少なくとも何れかを含む入力データを取得する。
【0041】
次に、ステップＳ２１において、重要度を推定する。具体的には、推定部２１は、入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する。なお、推定部２１は、情報処理装置１によって、入力データに含まれる複数の領域のうちの少なくとも何れかを重要度に応じて代替データに置換することによって得られた置換後のデータを参照して学習されていてもよい。
【0042】
（情報処理方法Ｓ２の効果）
以上のように、本例示的実施形態に係る情報処理方法Ｓ２は、画像データ及び点群データの少なくとも何れかを含む入力データを取得し、入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する、という構成が採用されている。このため、本例示的実施形態に係る情報処理装置２によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができるという効果が得られる。
以上のように、本例示的実施形態に係る情報処理方法Ｓ２は、画像データ及び点群データの少なくとも何れかを含む入力データを取得し、入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する、という構成が採用されている。このため、本例示的実施形態に係る情報処理装置２によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができるという効果が得られる。
【0043】
〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、その説明を適宜省略する。
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、その説明を適宜省略する。
【0044】
（情報処理装置３の構成）
本例示的実施形態２で説明する情報処理装置３は、自動運転車に搭載されたビデオカメラによって撮像された映像（動画像）の重要度を評価する装置である。自動運転車は、ビデオカメラで撮像された映像に基づいて、自動運転コントローラによって自動運転される、移動体の一例である。ビデオカメラで撮像された映像は、運転監視センターにも監視映像として送信され、監視者によってモニターで監視される。監視者は、モニターに表示された監視映像を見て、異常がないことを確認し、万一異常が生じた場合、又は異常が生じそうな場合に、自動運転車を自ら遠隔操作する等の処置を適宜行う。このようにすることで、移動体の運行を安全に監視又は操作することができる。
本例示的実施形態２で説明する情報処理装置３は、自動運転車に搭載されたビデオカメラによって撮像された映像（動画像）の重要度を評価する装置である。自動運転車は、ビデオカメラで撮像された映像に基づいて、自動運転コントローラによって自動運転される、移動体の一例である。ビデオカメラで撮像された映像は、運転監視センターにも監視映像として送信され、監視者によってモニターで監視される。監視者は、モニターに表示された監視映像を見て、異常がないことを確認し、万一異常が生じた場合、又は異常が生じそうな場合に、自動運転車を自ら遠隔操作する等の処置を適宜行う。このようにすることで、移動体の運行を安全に監視又は操作することができる。
【0045】
監視映像は、インターネットを含む無線通信ネットワークを介して運転監視センターに送信される。しかし、インターネット等の無線通信ネットワークは、近年ますます需要が増大しており、通信可用帯域に十分な余裕がない。自動運転中の監視映像の送信データ容量が大きいと、通信状態の悪化等によって通信可用帯域が低下した場合に、監視映像の乱れが発生し、十分な監視ができなくなる虞がある。そのため、必要最小限のデータ容量の監視映像を送信することにより、そのような虞を減少させることが好ましい。
【0046】
情報処理装置３は、運転監視センターに送信する映像（監視映像）のデータ量を低減するために、映像中の重要な領域と重要ではない非重要領域とを学習する学習装置である。なお、本実施形態における重要な領域とは、自動運転車の安全な運行を確保するために監視する必要性が高い領域を指す。また、非重要領域とは、重要領域よりも重要度が低い領域を指す。
【0047】
（情報処理システム３００）
以下、例示的実施形態２に係る情報処理システム３００の構成について説明する。図５は、情報処理装置３を含む情報処理システム３００の構成を示すブロック図である。図５に示すように、情報処理システム３００は、情報処理装置３と移動体４０とを含む。情報処理装置３は、制御部３０、通信部３６、出力部３７、及びメモリ３８を備える。移動体４０は、撮像部（ビデオカメラ）４１と送信部４２とを備える。ビデオカメラ４１は、移動体４０に搭載された車載カメラであり、送信部４２は、ビデオカメラ４１が撮像した映像を情報処理装置３に、例えば無線通信により送信する。
以下、例示的実施形態２に係る情報処理システム３００の構成について説明する。図５は、情報処理装置３を含む情報処理システム３００の構成を示すブロック図である。図５に示すように、情報処理システム３００は、情報処理装置３と移動体４０とを含む。情報処理装置３は、制御部３０、通信部３６、出力部３７、及びメモリ３８を備える。移動体４０は、撮像部（ビデオカメラ）４１と送信部４２とを備える。ビデオカメラ４１は、移動体４０に搭載された車載カメラであり、送信部４２は、ビデオカメラ４１が撮像した映像を情報処理装置３に、例えば無線通信により送信する。
【0048】
制御部３０は、取得部３１、推定部３２、置換部３３、評価部３４、及び学習部３５を備える。これらについては後述する。
【0049】
通信部３６は、送信部４２から送信された映像データを受信する。通信部３６は、映像データを無線通信又は有線通信で受信してもよい。
【0050】
出力部３７は、取得したデータ、置換されたデータ、推定部３２に設定された各種パラメータ、推定部３２が推定した重要度に関する情報、又は評価値等の、情報処理装置３の内部で生成されたデータの少なくとも一部を出力する。出力されたデータは、表示装置等に表示されてもよく、外部へ送信されてもよい。
【0051】
メモリ３８は、制御部３０によって参照される各種プログラム、各種データ等を一時的又は非一時的に記憶する。
【0052】
次に、制御部３０に含まれる構成要素について説明する。制御部３０の取得部３１、推定部３２、置換部３３、評価部３４、及び学習部３５は、情報処理装置１の取得部１０、推定部１１、置換部１２、評価部１３、及び学習部１４と同等の機能を有する。
【0053】
取得部３１は、ビデオカメラ４１から映像データを取得する。図６Ａの６００１は、取得部３１がビデオカメラ４１から取得した映像の１フレームである。フレーム６００１には、前方を走行する車７１、道路７２、センターライン７３、歩道７４，７５、歩道７５の隣にある畑７６、背景７７、空７８等が映っている。
【0054】
推定部３２は、１フレームの画像６００１中の領域の重要度（監視する必要性）を推定する。図６Ｂに示す６００２は、推定部３２が重要度を推定したヒートマップである。実際のヒートマップは、色によって重要度が示されるが、ヒートマップ６００２では、便宜上重要度を濃淡の度合いで示しており、濃い領域ほど重要度が高い。ヒートマップ６００２の領域８１には、車７１、センターライン７３を含む道路７２、歩道７５、歩道の隣の畑７６等が含まれており、重要度が高い領域であることがわかる。また、領域８２には、走行車線側の歩道７４、背景７７の一部等が含まれており、重要度が高い領域であることがわかる。逆に、領域８３は車が走行していない道路と空であり、領域８１，８２に比べて、相対的に重要度が低い領域であることがわかる。
【0055】
推定部３２は、一例として、自己注意（ｓｅｌｆ ａｔｔｅｎｔｉｏｎ）モジュールを用いて重要度を推定する。自己注意モジュールは、それ自身の途中の計算結果に注意し、それから読み込むデータを決定するアルゴリズムを有する公知のモジュールである。自己注意モジュールで生成される関数には、重み付けのためのパラメータが含まれている。なお、推定部３２を学習させる方法については後述する。
【0056】
置換部３３は、画像６００１中の重要度が低い領域のデータを、代替データに置換する。具体的には、置換部３３は、重要度が小さい順に選択した領域であって、フレームにおいて所定の割合を有する１又は複数の領域を代替データに置換する。代替データは、元のデータに比べて、データ量（データサイズ）を小さくしたデータである。図６Ｃに示す置換後の画像６００３は、重要度が低いヒートマップ６００２の領域８３を、ノイズデータに置換した領域９２を含んでいる。ノイズデータは、元の画像データに比べてデータサイズが小さい。領域９１は、重要性が高い領域であるため、ノイズデータには置換されていない領域である。
【0057】
置換部３３は、重要度が低い領域のデータを、ノイズ以外のデータ、例えば量子化誤差の大きい画像データに置換してもよい。つまり、置換部３３が用いる代替データは、ノイズ、及び量子化誤差の大きい画像データの少なくとも何れかを含むデータである。図７Ａから図７Ｃは、画像の重要度が低い領域のデータを、量子化パラメータを大きく設定することにより、量子化誤差の大きい画像データに置換する方法を示す図である。図７Ａの画像７００１と図７Ｂのヒートマップ７００２は、図６Ａの画像６００１と図６Ｂのヒートマップ６００２と同じである。図７Ｃに示す画像７００３は、重要度が低い領域８３を、量子化誤差の大きい画像データに置換した画像である。量子化パラメータを大きく設定することにより、データサイズを小さくすることができる。
【0058】
評価部３４は、置換後の画像６００３又は画像７００３を用いた場合の評価値を導出する。具体的には、評価部３４は、例えば置換後の画像を入力した移動体のコントローラからの出力を参照して、評価値を導出する。置換後の画像６００３又は画像７００３は、一部がノイズ又は量子化誤差の大きな画像となっている。このような置換後の画像において、自動運転車の安全な走行に影響を与えない場合は、その置換後の画像に対しては高い評価値が与えられる。評価部３４の具体例については後述する。
【0059】
学習部３５は、評価部３４によって導出された評価値を参照して、推定部３２を学習させる。学習部３５の具体例については後述する。
【0060】
また、取得部３１が取得するデータは動画像データではなく、静止画像データでもよい。また、画像データではなく、例えば、３次元Ｌｉｄａｒ等により取得された点群データでもよい。点群データとは、３次元Ｌｉｄａｒは、赤外線、レーザ等を照射し、物体の各点からの反射波を受信して、各点までの方向と距離を導出する測距装置である。点群データとは、このような測距装置によって取得された物体の各点の方向と距離を示すデータの集合データである。
【0061】
図８に、情報処理装置３が処理可能な、点群データによる画像の一例を示す。図８は、３次元Ｌｉｄａｒによって取得された点群データを画像化した図である。点群データに対しても、画像と同様に領域ごとの重要度を推定することが可能である。点群データの場合、置換部３３は、重要度が低い領域の点データにノイズを加える。
【0062】
以上説明した情報処理装置３においては、取得部３１が取得する画像データは、ビデオカメラ４１から取得した動画像データとした。しかし、取得部３１が取得する画像データはこれに限らず、例えば、シミュレーションコンピュータで作成した、車載カメラからの映像を模擬した仮想的なシミュレーション画像であってもよい。
【0063】
（情報処理装置３の効果）
以上のように、本例示的実施形態２に係る情報処理装置３においては、制御部３０、通信部３６、出力部３７、及びメモリ３８を備える構成が採用されている。このため、本例示的実施形態に係る情報処理装置３によれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、入力されたデータ、置換されたデータ、設定された各種パラメータ、又は評価値等の情報処理装置３の内部で生成されたデータの少なくとも一部を出力し、確認することができるという効果が得られる。
以上のように、本例示的実施形態２に係る情報処理装置３においては、制御部３０、通信部３６、出力部３７、及びメモリ３８を備える構成が採用されている。このため、本例示的実施形態に係る情報処理装置３によれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、入力されたデータ、置換されたデータ、設定された各種パラメータ、又は評価値等の情報処理装置３の内部で生成されたデータの少なくとも一部を出力し、確認することができるという効果が得られる。
【0064】
（学習方法の具体例）
次に、自己注意モジュールを含む推定部３２を学習させる方法Ｓ３について、図面を参照して説明する。図９は、推定部３２を学習させる学習方法（情報処理方法）Ｓ３の流れの一例を示すフローチャートである。学習方法Ｓ３は、自動運転シミュレーションに用いる模擬映像を用いて学習する方法である。
次に、自己注意モジュールを含む推定部３２を学習させる方法Ｓ３について、図面を参照して説明する。図９は、推定部３２を学習させる学習方法（情報処理方法）Ｓ３の流れの一例を示すフローチャートである。学習方法Ｓ３は、自動運転シミュレーションに用いる模擬映像を用いて学習する方法である。
【0065】
まず、制御部３０は、ステップＳ３０において、自己注意モジュールのデータを初期化する。
【0066】
次に、ステップＳ３１において、制御部３０は、自己注意モジュールのパラメータを取得する。最初のシミュレーション時に取得するパラメータは、ユーザが任意に設定して入力したパラメータである。
【0067】
次に、ステップＳ３２において、評価部３４は、シミュレーションを実行して、その評価を行う。本実施形態においては、実行されるシミュレーションは自動運転のシミュレーションであり、制御部３０は、その結果から報酬値を導出する。シミュレーション評価の詳細な流れについては、図面を代えて後述する。
【0068】
次に、ステップＳ３３において、評価部３４は、平均報酬を計算する。平均報酬とは、後述するシミュレーション評価で所定の回数だけ繰り返し導出される、評価値としての報酬値の平均値である。具体的には、シミュレーション評価においては、後述のように、一連のシミュレーションステップが所定の回数だけ繰り返し行われる。その際に、１回ごとのシミュレーションステップで導出された報酬値が累積されていく。そして、最終的な報酬値の累積値を所定の回数で除した値が報酬値の平均値である。
【0069】
次に、ステップＳ３４において、制御部３０は、自己注意モジュールのパラメータを更新する。具体的には、学習部３５は、ステップＳ３３で導出された報酬値の大きさに基づいて、より報酬値が大きくなるようにパラメータを更新する。具体的には、学習部３５は、報酬値の平均値の大きさに基づいて、より報酬値の平均値が大きくなるようにパラメータを更新する。
【0070】
次に、ステップＳ３５において、制御部３０は、所定の試行回数のシミュレーション評価を実行したか否かを判定する。ステップＳ３５において、所定の試行回数のシミュレーション評価が実行されたと判定された場合（ステップＳ３５：ＹＥＳ）は、学習フローを終了する。一方、所定の試行回数のシミュレーション評価が実行されていないと判定された場合（ステップＳ３５：ＮＯ）は、ステップＳ３１に戻る。ステップＳ３１において、制御部３０は、ステップＳ３４で更新されたパラメータを取得する。
【0071】
次に、ステップＳ３２のシミュレーション評価ステップの詳細な流れについて、図面を参照して説明する。図１０は、シミュレーション評価方法Ｓ４のフローチャートである。本実施形態においては、シミュレーション評価は自動運転シミュレータを用いて行う。自動運転シミュレータは、車載カメラで取得された映像を模擬した映像に基づいて、自動運転コントローラが実行する自動運転をコンピュータ上で模擬する装置である。自動運転シミュレータは、例えばオープンソースのＣＡＲＬＡを用いることができる。
【0072】
まず、ステップＳ４０において、制御部３０は、自動運転シミュレータのデータを初期化する。
【0073】
次に、ステップＳ４１において、制御部３０は、自動運転シミュレータから入力データを取得する。具体的には、取得部３１が自動運転シミュレータから模擬映像データを入力データとして取得し、推定部３２に送信する。
【0074】
次に、ステップＳ４２において、制御部３０は、取得した入力データの重要度を推定する。具体的には、推定部３２は、映像データのフレームデータを複数の領域に分割し、自己注意モジュールを用いて領域ごとの重要度を推定する。
【0075】
次に、ステップＳ４３において、制御部３０は、重要度の小さい順に、所定割合の領域を代替データに置換する。具体的には、例えば所定割合が４０％に設定されているとする。この場合、置換部３３は、重要度が小さい領域から順に選択していき、選択した領域の合計のデータサイズ（又は領域の画像面積）が全体の４０％以上になったところで選択を停止する。そして、置換部３３は、選択された領域をすべて代替データに置換する。
【0076】
次に、ステップＳ４４において、制御部３０は、置換した画像を自動運転コントローラに入力して、自動運転コントローラが出力する制御コマンドを取得する。
【0077】
次に、ステップＳ４５において、評価部３４は、制御コマンドを自動運転シミュレータに入力して報酬を取得し、報酬の累積値に加算する。報酬の累積とは、例えばｎ（ｎは２以上の整数）回目のシミュレーションステップの報酬値を、１からｎ－１回目までのシミュレーションステップの報酬値の総和に加えることをいう。即ち、ｎ回目までの報酬値の累積値は、ｎ回目の報酬値を、１からｎ－１回目までの報酬値の総和に加えることによって算出される。
【0078】
制御コマンドを入力した自動運転シミュレータの運転結果が、安全な運行であった場合は、高い報酬値が与えられる。逆に、自動運転シミュレータの運転結果が、安全が危惧される運行であった場合は、低い報酬値が与えられる。安全な運行であったかどうかは、事故の有無を中心に考慮されてもよい。
【0079】
次に、ステップＳ４６において、制御部３０は、シミュレーションステップがすべて終了したか否かを判定する。つまり、自動運転シミュレータが保有する模擬映像をすべて置換処理してコントローラに入力したか否かを判定する。ステップＳ４６において、すべて終了した、又は事故が発生したと判定された場合（ステップＳ４６：ＹＥＳ）は、ステップＳ４７に移行する。ステップＳ４６において、すべて終了していないと判定された場合（ステップＳ４６：ＮＯ）は、ステップＳ４１に戻る。
【0080】
ステップＳ４７において、制御部３０は、所定のシミュレーション回数を終了したか否かを判定する。所定の回数とは、例えば、平均報酬を計算するために十分な回数である。ステップＳ４７において、所定のシミュレーション回数を終了した（ステップＳ４７：ＹＥＳ）と判定された場合は、シミュレーション評価ステップを終了し、図９のステップＳ３３に移行する。ステップＳ４７において、所定のシミュレーション回数を終了していない（ステップＳ４７：ＮＯ）と判定された場合は、ステップＳ４０に戻る。
【0081】
（学習方法の変形例１）
図１０に示すシミュレーション評価フローに代えて、次のようなシミュレーション評価フローを用いてもよい。即ち、図１０を用いて説明したシミュレーション評価方法Ｓ４では、代替データに置換する割合を所定の値に固定していた。しかし、置換割合を一定値に固定すると、学習された重要度推定方法が極端化する場合がある。具体的には、重要度推定結果が２極化してしまう場合がある。その場合は、置換割合を複数設定してシミュレーション評価し、それらの結果を平均化することが好ましい。以下にその方法を説明する。
図１０に示すシミュレーション評価フローに代えて、次のようなシミュレーション評価フローを用いてもよい。即ち、図１０を用いて説明したシミュレーション評価方法Ｓ４では、代替データに置換する割合を所定の値に固定していた。しかし、置換割合を一定値に固定すると、学習された重要度推定方法が極端化する場合がある。具体的には、重要度推定結果が２極化してしまう場合がある。その場合は、置換割合を複数設定してシミュレーション評価し、それらの結果を平均化することが好ましい。以下にその方法を説明する。
【0082】
図１１は、シミュレーション評価ステップの変形例であるシミュレーション評価方法Ｓ５の詳細なフローチャートである。このシミュレーション評価では、置換割合を予め複数設定しておく。例えば、置換割合を、１０％、３０％、４０％の３通り設定しておき、各置換割合でシミュレーションする回数を定めておく。例えば、置換割合１０％を２回、３０％を２回、４０％を２回等である。置換部３３は、互いに異なる複数の所定の割合の各々について、置換後のデータを生成する。そして、評価部３４は、置換部３３が生成した置換後の各データについて予備的評価値を導出し、予備的評価値の平均をとることによって評価値を導出する。予備的評価値は、１つの置換割合で評価した評価値である。そして、すべての置換割合で導出された予備的評価値の平均をとって最終的な評価値とする。なお、「予備的評価値」との表現は、最終的に導出する「評価値」との区別を明確化するために導入したものであり、「予備的」との文言は、本例示的実施形態を限定するものではない。
【0083】
以上の前提で、ステップＳ５０からステップＳ５７までは、図１０のフローチャートのステップＳ４０からステップＳ４７までと同じである。異なる点は、ステップＳ５７で諾（ＹＥＳ）と判定された場合に、ステップＳ５８に移行する点である。ステップＳ５８において、推定部３２は、所定割合ごとのシミュレーションがすべて終了したか否かを判定する。ステップＳ５８において、すべて終了した（ステップＳ５８：ＹＥＳ）と判定された場合は、シミュレーション評価ステップを終了して、図９のステップＳ３３に移行する。ステップＳ５８において、すべて終了はしていない（ステップＳ５８：ＮＯ）と判定された場合は、ステップＳ５０に戻る。そして、終了していない所定の割合を設定してシミュレーションステップを繰り返す。以上の学習方法Ｓ３、Ｓ４、Ｓ５により、推定部３２は、データの領域の重要度を推定する方法を学習することができる。
【0084】
（情報処理システム４００）
次に、例示的実施形態２に係る情報処理システム４００の構成について説明する。図１２は、情報処理装置４を含む情報処理システム４００の構成を示すブロック図である。図１２に示すように、情報処理システム４００は、情報処理装置４と移動体６０とを含む。情報処理装置４は、入力データが示すフレームに含まれる領域の各々について重要度を推定する装置である。
次に、例示的実施形態２に係る情報処理システム４００の構成について説明する。図１２は、情報処理装置４を含む情報処理システム４００の構成を示すブロック図である。図１２に示すように、情報処理システム４００は、情報処理装置４と移動体６０とを含む。情報処理装置４は、入力データが示すフレームに含まれる領域の各々について重要度を推定する装置である。
【0085】
情報処理装置４は、制御部５０、通信部５３、出力部５４、及びメモリ５５を備える。移動体６０は、撮像部（ビデオカメラ）６１と送信部６２とを備える。通信部５３、メモリ５５、ビデオカメラ６１、及び送信部６２は、情報処理システム３００で説明した、通信部３６、メモリ３８、ビデオカメラ４１、及び送信部４２と同様の機能を有するので、説明は省略する。
【0086】
制御部５０は、取得部５１と推定部５２とを備える。取得部５１は、通信部５３を介して、対象となる画像を取得する。推定部５２は、取得部５１が取得した画像の領域の重要度を推定する。推定部５２は、前述の情報処理システム３００によって学習された推定部３２を用いることができる。
【0087】
情報処理装置４は、推定部５２によって推定された重要度を示す重要度情報を、出力部５４から出力する。重要度情報は、取得した画像データ、推定部５２に設定された各種パラメータ、推定部５２が推定した重要度に関する情報等の、情報処理装置４の内部で生成されたデータの少なくとも一部である。出力部５４からの出力は、対象画像に含まれる複数の領域の各々に重要度が示された画像の形式であってもよいし、複数の領域を互いに区別するための領域特定情報と当該領域の重要度の組のセットであってもよい。出力されたデータは、表示装置等に表示されてもよく、外部へ送信されてもよい。
【0088】
情報処理装置４が事項する情報処理方法（推定方法）は、実施形態１で説明した情報処理方法（推定方法）Ｓ２と同様であるので、ここでの説明は省略する。
【0089】
以上の例示的実施形態２に係る情報処理システム３００及び情報処理方法Ｓ３、Ｓ４、Ｓ５により、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができる。また、例示的実施形態２に係る情報処理システム４００により、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができる。具体的には、移動体に搭載されたビデオカメラから撮像された映像に含まれる領域ごとの重要度を推定することができる。
【0090】
〔例示的実施形態３〕
次に、本発明の例示的実施形態３について、図面を参照して詳細に説明する。例示的実施形態３に係る情報処理装置４は、例示的実施形態２にて説明した情報処理装置３と同じ構成であるため、情報処理装置４の構成についての説明は省略する。以下の説明では、情報処理装置４の構成要素は情報処理装置３の構成要素と同じ符号を用いて説明する。
次に、本発明の例示的実施形態３について、図面を参照して詳細に説明する。例示的実施形態３に係る情報処理装置４は、例示的実施形態２にて説明した情報処理装置３と同じ構成であるため、情報処理装置４の構成についての説明は省略する。以下の説明では、情報処理装置４の構成要素は情報処理装置３の構成要素と同じ符号を用いて説明する。
【0091】
本実施形態に係る情報処理装置４においては、評価部３４は、入力データを更に参照することによって評価値を導出する。評価部３４は、入力データを所定のコントローラに入力した場合の当該コントローラの出力と、置換後のデータを所定のコントローラに入力した場合の当該コントローラの出力とを参照することによって、評価値を導出する。具体的には、評価部３４は、入力データを所定のコントローラに入力した場合の当該コントローラの出力と、置換後のデータを所定のコントローラに入力した場合の当該コントローラの出力との差分として評価値を導出する。そして、学習部３５は、当該評価値が小さくなるように、推定部３２を学習させる。
【0092】
（学習方法の具体例）
情報処理装置４の推定部３２が学習する学習方法の具体例について、図面を参照して説明する。図１３は、例示的実施形態３に係る情報処理装置４が実行する、データに含まれる領域の重要度を推定する方法を学習する学習する学習方法（情報処理方法）Ｓ６の流れの一例を示すフローチャートである。
情報処理装置４の推定部３２が学習する学習方法の具体例について、図面を参照して説明する。図１３は、例示的実施形態３に係る情報処理装置４が実行する、データに含まれる領域の重要度を推定する方法を学習する学習する学習方法（情報処理方法）Ｓ６の流れの一例を示すフローチャートである。
【0093】
まず、制御部３０は、ステップＳ６０において、自己注意モジュールのデータを初期化する。
【0094】
次に、ステップＳ６１において、制御部３０は、自己注意モジュールのパラメータを取得する。最初のシミュレーション時に取得するパラメータは、ユーザが任意に設定して入力したパラメータである。
【0095】
次に、ステップＳ６２において、制御部３０は、シミュレーションを実行して、学習データに対するロス評価を行う。実行されるシミュレーションは、自動運転のシミュレーションであり、評価部３４は、その結果からロス値を導出する。つまり、評価値は、コントローラの出力から導出されたロス値である。ロス評価の詳細な流れについては、図面を代えて後述する。
【0096】
次に、ステップＳ６３において、制御部３０は、自己注意モジュールのパラメータを更新する。具体的には、学習部３５は、累積したロス値が小さくなるように、自己注意モジュールのパラメータを更新する。つまり、学習部３５は、ロス値が小さくなるように推定部３２を学習させる。
【0097】
次に、ステップＳ６４において、制御部３０は、所定の試行回数のシミュレーション評価を実行したか否かを判定する。ステップＳ６４において、所定の試行回数のシミュレーション評価が実行されたと判定された場合（ステップＳ６４：ＹＥＳ）は、学習フローを終了する。一方、所定の試行回数のシミュレーション評価が実行されていないと判定された場合（ステップＳ６４：ＮＯ）は、ステップＳ６１に戻る。ステップＳ６１において、推定部３２は、ステップＳ６３で更新されたパラメータを取得する。
【0098】
次に、ステップＳ６２のロス評価ステップの詳細な流れについて、図面を参照して説明する。図１４は、ロス評価方法Ｓ７のフローチャートである。ロス評価は、自動運転シミュレータを用いて行う。
【0099】
まず、ステップＳ７０において、制御部３０は、自動運転シミュレータのデータを初期化する。
【0100】
次に、ステップＳ７１において、制御部３０は、学習データから入力データを取得する。具体的には、推定部３２は、取得部３１を介して、例えば、学習データとしての車載カメラの模擬映像から選択されたフレームデータを入力データとして取得する。
【0101】
次に、ステップＳ７２において、制御部３０は、取得した入力データの重要度を推定する。具体的には、推定部は、フレームデータを複数の領域に分割し、自己注意モジュールを用いて領域ごとの重要度を推定する。
【0102】
次に、ステップＳ７３において、制御部３０は、重要度の小さい順に、所定割合の領域を代替データに置換する。具体的には、例えば所定割合が４０％に設定されているとする。この場合、置換部３３は、重要度が小さい領域から順に選択していき、選択した領域の合計のデータサイズ（又は領域の画像面積）が全体の４０％以上になったところで選択を停止する。そして、選択された領域をすべて代替データに置換する。
【0103】
次に、ステップＳ７４において、評価部３４は、置換した画像を自動運転コントローラに入力して、自動運転コントローラが出力する制御コマンドＡを取得する。
【0104】
次に、ステップＳ７５において、評価部３４は、元の画像（置換する前の画像）を自動運転コントローラに入力して、自動運転コントローラが出力する制御コマンドＢを取得する。
【0105】
次に、ステップＳ７６において、評価部３４は、制御コマンドＡと制御コマンドＢとから、ロス値を計算し、ロス値の累積値に加算する。ロス値の累積とは、例えばｎ（ｎは２以上の整数）個目の入力データを用いた場合のロス値を、１からｎ－１個目までの入力データを用いた場合のロス値の総和に加えることをいう。即ち、ｎ回目までのロス値の累積値は、ｎ回目のロス値を、１からｎ－１回目までのロス値の総和に加えることによって算出される。
【0106】
次に、ステップＳ７７において、制御部３０は、学習データがすべて終了したか否かを判定する。つまり、模擬映像から選択されたフレームデータをすべて置換処理してコントローラに入力したか否かを判定する。ステップＳ７７において、学習データがすべて終了したと判定された場合（ステップＳ７７：ＹＥＳ）は、フローはロス評価を終了して、図１３のステップＳ６３に移行する。ステップＳ７７において、学習データがすべて終了していないと判定された場合（ステップＳ７７：ＮＯ）は、フローはステップＳ７１に戻る。
【0107】
（ステップＳ７４からステップＳ７６までの具体例）
本実施形態を限定するものではないが、ステップＳ７４からステップＳ７６までの具体例について説明する。自動運転コントローラに画像を入力した場合に出力される制御コマンドとしては、例えば、スロットルの開度コマンド（加速コマンド）、ブレーキ強度コマンド（減速コマンド）、ステアリングコマンド（方向転換コマンド）の３種類がある。この場合、置換前の画像を入力した場合の制御コマンドとして、加速コマンドが０．０、減速コマンドが１．０、方向転換コマンドが０．０だったとする。そして、置換後の画像を入力した場合の制御コマンドとして、加速コマンドが０．５、減速コマンドが０．０、方向転換コマンドが－０．１だったとする。この場合、評価部３４は、ロス値として、例えば平均自乗和を用いることができる。つまり、
ロス値＝（（０．５－０．０）２+（０．０－１．０）２+（－０．１－０．０）２）／３
＝０．４２
と評価することができる（上記の式において記号「／」は割り算を表す）。
本実施形態を限定するものではないが、ステップＳ７４からステップＳ７６までの具体例について説明する。自動運転コントローラに画像を入力した場合に出力される制御コマンドとしては、例えば、スロットルの開度コマンド（加速コマンド）、ブレーキ強度コマンド（減速コマンド）、ステアリングコマンド（方向転換コマンド）の３種類がある。この場合、置換前の画像を入力した場合の制御コマンドとして、加速コマンドが０．０、減速コマンドが１．０、方向転換コマンドが０．０だったとする。そして、置換後の画像を入力した場合の制御コマンドとして、加速コマンドが０．５、減速コマンドが０．０、方向転換コマンドが－０．１だったとする。この場合、評価部３４は、ロス値として、例えば平均自乗和を用いることができる。つまり、
ロス値＝（（０．５－０．０）２+（０．０－１．０）２+（－０．１－０．０）２）／３
＝０．４２
と評価することができる（上記の式において記号「／」は割り算を表す）。
【0108】
（学習方法の変形例２）
図１４に示すロス評価フローに代えて、次のようなロス評価フローを用いてもよい。即ち、図１４を用いて説明したロス評価方法Ｓ７は、代替データに置換する割合を所定の値に固定していた。しかし、例示的実施形態２の学習方法の変形例１で説明した理由により、置換割合を複数設定してロス評価し、それらの結果を平均化することが好ましい。以下にその方法を説明する。
図１４に示すロス評価フローに代えて、次のようなロス評価フローを用いてもよい。即ち、図１４を用いて説明したロス評価方法Ｓ７は、代替データに置換する割合を所定の値に固定していた。しかし、例示的実施形態２の学習方法の変形例１で説明した理由により、置換割合を複数設定してロス評価し、それらの結果を平均化することが好ましい。以下にその方法を説明する。
【0109】
図１５は、シミュレーション評価ステップの変形例であるロス評価方法Ｓ８の詳細なフローチャートである。このロス評価では、置換割合を予め複数設定する。例えば、置換割合を、１０％、３０％、４０％の３通り設定しておく。そして、各置換割合でシミュレーションする回数を定めておく。例えば、置換割合１０％を２回、３０％を２回、４０％を２回等である。置換部３３は、互いに異なる複数の所定の割合の各々について、置換後のデータを生成する。そして、評価部３４は、置換部３３が生成した置換後の各データについて予備的ロス値を導出し、予備的ロス値の平均をとることによって評価値を導出する。予備的ロス値は、１つの置換割合で評価したロス値である。そして、すべての置換割合で導出された予備的ロス値の平均をとって最終的な評価値とする。
【0110】
以上の前提で、ステップＳ８０からステップＳ８７までは、図１４のフローチャートのステップＳ７０からステップＳ７７までと同じである。異なる点は、ステップＳ８７で諾（ＹＥＳ）と判定された場合に、フローはステップＳ８８に移行する点である。ステップＳ８８において、制御部３０は、所定割合ごとのシミュレーションがすべて終了したか否かを判定する。ステップＳ８８において、すべて終了した（ステップＳ８８：ＹＥＳ）と判定された場合は、ロス評価ステップを終了して、フローは図１３のステップＳ６３に移行する。ステップＳ８８において、すべて終了していない（ステップＳ８８：ＮＯ）と判定された場合は、フローはステップＳ８０に戻る。そして、終了していない所定の割合を設定してシミュレーションステップを繰り返す。以上の学習方法Ｓ６、Ｓ７、Ｓ８により、推定部３２は、データに含まれる領域の重要度を推定する方法を学習することができる。
【0111】
以上の例示的実施形態３に係る情報処理装置４及び情報処理方法Ｓ６、Ｓ７、Ｓ８により、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができる。
【0112】
〔例示的実施形態４〕
次に、本発明の例示的実施形態４について、図面を参照して詳細に説明する。例示的実施形態４に係る情報処理装置５は、例示的実施形態２にて説明した情報処理装置３と同じ構成であるため、情報処理装置５の構成についての説明は省略する。以下の説明では、情報処理装置５の構成要素は情報処理装置３の構成要素と同じ符号を用いて説明する。
次に、本発明の例示的実施形態４について、図面を参照して詳細に説明する。例示的実施形態４に係る情報処理装置５は、例示的実施形態２にて説明した情報処理装置３と同じ構成であるため、情報処理装置５の構成についての説明は省略する。以下の説明では、情報処理装置５の構成要素は情報処理装置３の構成要素と同じ符号を用いて説明する。
【0113】
本実施形態に係る情報処理装置５においては、評価部３４は、置換後のデータのデータサイズを更に参照して評価値を導出する。そして、学習部３５は、置換後のデータのデータサイズが小さくなるように、推定部３２を学習させる。報酬又はロス値等によって学習させた推定部３２が推定した、重要度が低い領域をノイズ等に置換した場合でも、必ずしもデータサイズが減少しない場合がある。例えば、変化が少ない空などは、ノイズ化してもデータサイズの減少に貢献しない場合がある。重要度が低い領域をノイズ化するのは、データサイズを削減するためであったので、これでは目的を達成することができない。そこで、置換後のデータサイズを考慮して推定部３２に推定方法を学習させることが好ましい場合がある。
【0114】
（学習方法の具体例）
情報処理装置５の推定部３２が学習する学習方法の具体例について、図面を参照して説明する。図１６は、例示的実施形態４に係る情報処理装置５が実行する、データの重要度推定方法を学習させる学習方法（情報処理方法）Ｓ９の流れの一例を示すフローチャートである。
情報処理装置５の推定部３２が学習する学習方法の具体例について、図面を参照して説明する。図１６は、例示的実施形態４に係る情報処理装置５が実行する、データの重要度推定方法を学習させる学習方法（情報処理方法）Ｓ９の流れの一例を示すフローチャートである。
【0115】
まず、制御部３０は、ステップＳ９０において、自己注意モジュールのデータを初期化する。
【0116】
次に、ステップＳ９１において、制御部３０は、自己注意モジュールのパラメータを取得する。最初のシミュレーション時に取得するパラメータは、ユーザが任意に設定して入力したパラメータである。
【0117】
次に、ステップＳ９２において、制御部３０は、シミュレーションを実行して、その評価を行う。本実施形態においては、実行されるシミュレーションは自動運転のシミュレーションであり、制御部３０は、その結果から報酬値とデータサイズを導出する。シミュレーション評価の詳細な流れについては、図面を代えて後述する。
【0118】
次に、ステップＳ９３において、評価部３４は、平均報酬と平均データサイズを計算する。平均報酬は例示的実施形態２で説明したとおりである。データサイズとは、置換後のデータサイズである。平均データサイズは、複数回のシミュレーション評価で得られたデータサイズを平均化したものである。この場合、平均報酬をＲａ、平均データサイズをＶａ、所定係数をα（α＞０）とすると、評価値は、
Ｒａ－αＶａ
で表される。つまり、平均データサイズが小さいほど、評価値は大きくなる。ここで、所定係数の具体的な値は、本例示的実施形態を限定するものではないが、一例として、平均報酬の取り得る範囲、平均データサイズの取り得る範囲、及び、望ましい符号化データサイズ等に応じて適宜設定しておくことができる。
Ｒａ－αＶａ
で表される。つまり、平均データサイズが小さいほど、評価値は大きくなる。ここで、所定係数の具体的な値は、本例示的実施形態を限定するものではないが、一例として、平均報酬の取り得る範囲、平均データサイズの取り得る範囲、及び、望ましい符号化データサイズ等に応じて適宜設定しておくことができる。
【0119】
次に、ステップＳ９４において、制御部３０は、自己注意モジュールのパラメータを更新する。具体的には、学習部３５は、平均報酬と平均データサイズからステップＳ９３で導出された評価値の大きさに基づいて、より評価値が大きくなるようにパラメータを更新する。
【0120】
次に、ステップＳ９５において、制御部３０は、所定の試行回数のシミュレーション評価を実行したか否かを判定する。ステップＳ９５において、所定の試行回数のシミュレーション評価が実行されたと判定された場合（ステップＳ９５：ＹＥＳ）は、学習フローを終了する。一方、所定の試行回数のシミュレーション評価が実行されていないと判定された場合（ステップＳ９５：ＮＯ）は、ステップＳ９１に戻る。ステップＳ９１において、制御部３０は、ステップＳ９４で更新されたパラメータを取得する。
【0121】
次に、ステップＳ９２のシミュレーション評価ステップの詳細な流れについて、図面を参照して説明する。図１７は、シミュレーション評価方法Ｓ１０のフローチャートである。本実施形態においては、シミュレーション評価は自動運転シミュレータを用いて行う。
【0122】
まず、ステップＳ１０１において、制御部３０は、自動運転シミュレータのデータを初期化する。
【0123】
次に、ステップＳ１０２において、制御部３０は、自動運転シミュレータから入力データを取得する。具体的には、取得部３１が自動運転シミュレータから模擬映像データを入力データとして取得し、推定部３２に送信する。
【0124】
次に、ステップＳ１０３において、制御部３０は、取得した入力データの領域の重要度を推定する。具体的には、推定部３２は、映像データのフレームデータを複数の領域に分割し、自己注意モジュールを用いて領域ごとの重要度を推定する。
【0125】
次に、ステップＳ１０４において、制御部３０は、重要度の小さい順に、所定割合の領域を代替データに置換する。そして、選択された領域をすべて代替データに置換する。そして、置換後の画像データを符号化する。
【0126】
次に、ステップＳ１０５において、制御部３０は、符号化したデータを復号化する。つまり、置換後の画像データに戻す。
【0127】
次に、ステップＳ１０６において、制御部３０は、復号化した画像データを自動運転コントローラに入力し、制御コマンドを取得する。
【0128】
次に、ステップＳ１０７において、制御部３０は、制御コマンドを自動運転シミュレータに入力して報酬を取得し、報酬の累積値に加算する。報酬の累積については、例示的実施形態１で説明したとおりである。
【0129】
次に、ステップＳ１０８において、制御部３０は、シミュレーションステップがすべて終了したか否かを判定する。つまり、自動運転シミュレータが保有する模擬映像をすべて置換処理してコントローラに入力したか否かを判定する。ステップＳ１０８において、すべて終了した、又は事故が発生したと判定された場合（ステップＳ１０８：ＹＥＳ）は、ステップＳ１０９に移行する。ステップＳ１０８において、すべて終了していないと判定された場合（ステップＳ１０８：ＮＯ）は、ステップＳ１０３に戻る。
【0130】
ステップＳ１０９において、制御部３０は、符号化後のデータサイズを取得する。具体的には、評価部３４は、ステップＳ１０４で符号化した、置換後の画像データの符号化後のデータサイズを取得する。
【0131】
ステップＳ１１０において、制御部３０は、所定のシミュレーション回数を終了したか否かを判定する。所定の回数とは、例えば、平均報酬と符号化後の平均データサイズを計算するために十分な回数である。ステップＳ１１０において、所定のシミュレーション回数を終了した（ステップＳ１１０：ＹＥＳ）と判定された場合は、シミュレーション評価ステップを終了し、図１６のステップＳ９３に移行する。ステップＳ１１０において、所定のシミュレーション回数を終了していない（ステップＳ１１０：ＮＯ）と判定された場合は、ステップＳ１０２に戻る。
【0132】
以上の例示的実施形態４に係る情報処理装置５及び情報処理方法Ｓ９、Ｓ１０により、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができる。
【0133】
〔例示的実施形態５〕
次に、本発明の例示的実施形態５について、図面を参照して詳細に説明する。本例示的実施形態は、画像表示システムの例示的実施形態の一形態である。本例示的実施形態に係る画像表示システム１０ｂは、取得した画像に含まれる複数の領域の各々について重要度と品質パラメータを推定した後、これらの推定された重要度と品質パラメータを参照して、品質パラメータを決定する。決定した品質パラメータを用いて符号化された符号化データを伝送し、表示部で表示するシステムである。
次に、本発明の例示的実施形態５について、図面を参照して詳細に説明する。本例示的実施形態は、画像表示システムの例示的実施形態の一形態である。本例示的実施形態に係る画像表示システム１０ｂは、取得した画像に含まれる複数の領域の各々について重要度と品質パラメータを推定した後、これらの推定された重要度と品質パラメータを参照して、品質パラメータを決定する。決定した品質パラメータを用いて符号化された符号化データを伝送し、表示部で表示するシステムである。
【0134】
（画像表示システムの構成）
例示的実施形態５に係る画像表示システム１０ｂの構成について、図１８を参照して説明する。図１８は、画像表示システム１０ｂの構成を示すブロック図である。図１８に示すように、画像表示システム１０ｂは、画像処理装置１００ｂ、表示装置２００ｂおよび移動体３００ｂとを備える。
例示的実施形態５に係る画像表示システム１０ｂの構成について、図１８を参照して説明する。図１８は、画像表示システム１０ｂの構成を示すブロック図である。図１８に示すように、画像表示システム１０ｂは、画像処理装置１００ｂ、表示装置２００ｂおよび移動体３００ｂとを備える。
【0135】
一例として、画像表示システム１０ｂは、自動運転車、ロボット、ドローンなどの移動体の遠隔管制に用いることができる。このような遠隔管制においては、例えば、移動体に設けられたカメラによって撮像された画像を、画像処理装置１００ｂによって処理し、処理後の画像を運転監視センターなどの遠隔地に送信する。この送信された画像を当該遠隔地に配置された表示装置２００ｂが受信し、表示部２０６ｂによって画像を表示する。これにより、移動体が適切に運行できているかを当該遠隔地から人が監視することができる。
【0136】
なお、表示部２０６ｂには、画像を表示する液晶表示パネル等を用いることができるがこれに限られるものではない。
【0137】
以下、画像表示システム１０ｂが備える画像処理装置１００ｂと表示装置２００ｂについて説明する。
【0138】
（移動体の説明）
例示的実施形態５においては、移動体３００ｂを図示して説明に加えている。図１８に示すように、移動体３００ｂは撮像部３０２ｂと通信部３０４ｂとを備える。以下それぞれについて説明する。
例示的実施形態５においては、移動体３００ｂを図示して説明に加えている。図１８に示すように、移動体３００ｂは撮像部３０２ｂと通信部３０４ｂとを備える。以下それぞれについて説明する。
【0139】
撮像部３０２ｂは、一例としてカメラなどの撮像装置などであってよい。撮像部３０２ｂは、静止画像を取得するものであってもよいし、動画像を取得するものであってもよい。撮像部３０２ｂは、移動体３００ｂの進行方向（前方）の画角が含まれる画像を取得することが好ましいが、これは本例示的実施形態を限定するものではない。一例として、撮像部３０２ｂは、移動体３００ｂの進行方向とは反対側（後方）の画角が含まれる画像を取得してもよいし、移動体の進行方向に垂直な方向（側方）の画角が含まれる画像を取得してもよい。
【0140】
通信部３０４ｂは、撮像部３０２ｂで取得された画像を画像処理装置１００ｂに伝送する。通信部３０４ｂは、一例として、アンテナを備え、無線通信を用いて符号化データを送信する構成とすることができるが、これは本実施形態を限定するものではなく、有線通信を用いてもよいし、無線通信と有線通信との組み合わせを用いてもよい。
【0141】
（画像処理装置の構成）
画像処理装置１００ｂは、図１８に示すように、取得部１０２ｂと、重要度推定部１０４ｂと、品質パラメータ推定部１０５ｂと、品質パラメータ決定部１０６ｂと、符号化部１０８ｂと、送信部１１０ｂとを備えている。以下それぞれについて説明する。
画像処理装置１００ｂは、図１８に示すように、取得部１０２ｂと、重要度推定部１０４ｂと、品質パラメータ推定部１０５ｂと、品質パラメータ決定部１０６ｂと、符号化部１０８ｂと、送信部１１０ｂとを備えている。以下それぞれについて説明する。
【0142】
（取得部）
取得部１０２ｂは、画像を取得する。取得部１０２ｂが取得する画像は、移動体３００ｂから撮像された画像である。取得部１０２ｂによる具体的な処理例については後述する。
取得部１０２ｂは、画像を取得する。取得部１０２ｂが取得する画像は、移動体３００ｂから撮像された画像である。取得部１０２ｂによる具体的な処理例については後述する。
【0143】
（重要度推定部）
重要度推定部１０４ｂは、取得部１０２ｂが取得した画像に含まれる複数の領域の各々について重要度を推定する。本例示的実施形態に係る重要度推定部１０４ｂは、例示的実施形態１及び２において説明した推定部１１、２１及び推定部、３２、５２と同様の構成を有しており、一例として以下の学習プロセスによって学習された推論モデルを用いて構成することができる。
重要度推定部１０４ｂは、取得部１０２ｂが取得した画像に含まれる複数の領域の各々について重要度を推定する。本例示的実施形態に係る重要度推定部１０４ｂは、例示的実施形態１及び２において説明した推定部１１、２１及び推定部、３２、５２と同様の構成を有しており、一例として以下の学習プロセスによって学習された推論モデルを用いて構成することができる。
【0144】
（置換ステップ）
取得部１０２ｂが取得した学習用画像に含まれる複数の領域のうちの少なくとも何れかを、当該重要度推定部１０４ｂが推定した重要度に応じて、代替データに置換することによって、置換後のデータを生成する。
取得部１０２ｂが取得した学習用画像に含まれる複数の領域のうちの少なくとも何れかを、当該重要度推定部１０４ｂが推定した重要度に応じて、代替データに置換することによって、置換後のデータを生成する。
【0145】
（評価ステップ）
前記置換後のデータを参照することによって評価値を導出する。ここで、当該評価ステップでは、取得部１０２ｂが取得した置換前の学習用画像を更に参照する構成としてもよい。
前記置換後のデータを参照することによって評価値を導出する。ここで、当該評価ステップでは、取得部１０２ｂが取得した置換前の学習用画像を更に参照する構成としてもよい。
【0146】
（学習ステップ）
前記評価値を参照して、当該重要度推定部１０４ｂを学習させる。ここで、重要度推定部１０４ｂの学習は、重要度推定部１０４ｂとして機能する推論モデルが有する各種のパラメータを、前記評価値に応じて更新することによって行うことができる。なお、重要度推定部１０４ｂによる具体的な処理例については後述する。
前記評価値を参照して、当該重要度推定部１０４ｂを学習させる。ここで、重要度推定部１０４ｂの学習は、重要度推定部１０４ｂとして機能する推論モデルが有する各種のパラメータを、前記評価値に応じて更新することによって行うことができる。なお、重要度推定部１０４ｂによる具体的な処理例については後述する。
【0147】
（品質パラメータ推定部）
品質パラメータ推定部１０５ｂは、取得部１０２ｂが取得した画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する。また、一例として、品質パラメータ推定部１０５は、画像を符号化した場合の符号化効率が向上するように予備的品質パラメータを推定する。一例として、品質パラメータの決定に先立つ予備的品質パラメータの推定は、Ｈ２６５等の動画像符号化技術を用いて行うことができるが、これは本例示的実施形態を限定するものではない。
品質パラメータ推定部１０５ｂは、取得部１０２ｂが取得した画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する。また、一例として、品質パラメータ推定部１０５は、画像を符号化した場合の符号化効率が向上するように予備的品質パラメータを推定する。一例として、品質パラメータの決定に先立つ予備的品質パラメータの推定は、Ｈ２６５等の動画像符号化技術を用いて行うことができるが、これは本例示的実施形態を限定するものではない。
【0148】
また、本例示的実施形態において、「予備的品質パラメータ」との表現は、後述する品質パラメータ決定部１０６ｂが決定する「品質パラメータ」との文言上の混乱を招来しないように形式的に導入したものである。「予備的」との文言が、動画像符号化技術において何らの実体的限定を表すものではない。
【0149】
本例示的実施形態において、「予備的品質パラメータ」は一例として「品質パラメータ」と同様に、対象画像に対して適用される量子化処理の粗さを指定するための量子化パラメータ（ＱＰ：Ｑｕａｎｔｕｍ Ｐａｒａｍｅｔｅｒ）を挙げることができる。
【0150】
また、品質パラメータ推定部１０５ｂによって参照される「複数の領域」は、重要度推定部１０４ｂが参照する「複数の領域」と同じである必要はない。一例として、品質パラメータ推定部１０５ｂによって参照される「複数の領域」は、動画像符号化技術において生成又は参照される「符号化ユニット」や「マクロブロック」等と呼ばれる領域であってもよい。一方、重要度推定部１０４ｂによって参照される「複数の領域」は、一例として、Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎアルゴリズムによって生成又は参照される個々の注目領域であってもよい。
【0151】
品質パラメータ推定部１０５ｂによる具体的な処理については、参照する図面を代えて後述する。
【0152】
（品質パラメータ決定部）
品質パラメータ決定部１０６ｂは、重要度と推定された予備的品質パラメータとを参照して複数の領域の各々についての品質パラメータを決定する。本例示的実施形態に係る品質パラメータ決定部１０６ｂは、重要度だけでなく予備的品質パラメータも参照して品質パラメータを決定する。一例として、品質パラメータ決定部１０６ｂは、重要度推定部１０４が推定した重要度および品質パラメータ推定部が推定した予備的品質パラメータと正の相関を有するように品質パラメータを設定することができる。すなわち、品質パラメータ決定部１０６ｂは、重要度推定部１０４ｂが推定した重要度が高い程、当該領域の画像品質が高くなるように、品質パラメータを設定することができる。
品質パラメータ決定部１０６ｂは、重要度と推定された予備的品質パラメータとを参照して複数の領域の各々についての品質パラメータを決定する。本例示的実施形態に係る品質パラメータ決定部１０６ｂは、重要度だけでなく予備的品質パラメータも参照して品質パラメータを決定する。一例として、品質パラメータ決定部１０６ｂは、重要度推定部１０４が推定した重要度および品質パラメータ推定部が推定した予備的品質パラメータと正の相関を有するように品質パラメータを設定することができる。すなわち、品質パラメータ決定部１０６ｂは、重要度推定部１０４ｂが推定した重要度が高い程、当該領域の画像品質が高くなるように、品質パラメータを設定することができる。
【0153】
なお、上述したように、一般には、品質パラメータ推定部１０５ｂによって参照される「複数の領域」と、重要度推定部１０４ｂが参照する「複数の領域」とが同じではない場合が生じ得る。換言すれば、品質パラメータ推定部１０５ｂが予備的品質パラメータを付与する複数の領域（例えば、領域Ｒ１ａ、領域Ｒ２ａ、領域Ｒ３ａ、・・・）の各々が、重要度推定部１０４ｂが重要度を付与した複数の領域（例えば、領域Ｒ１ｂ、領域Ｒ２ｂ、領域Ｒ３ｂ）の各々と完全には重複しない場合が生じ得る。
【0154】
このような場合、品質パラメータ決定部１０６ｂは、品質パラメータ推定部１０５ｂが予備的品質パラメータを付与した領域の品質パラメータを、当該領域に含まれるか又は重複する何れかの領域であって、重要度推定部１０４ｂが重要度を付与した領域を参照して決定する構成とすることができる。
【0155】
一例として、品質パラメータ推定部１０５ｂが予備的品質パラメータを付与した領域Ｒ１ａに、重要度推定部１０４ｂが重要度を付与した複数の領域Ｒ１ｂ及び領域Ｒ２ｂが含まれているか、又は重複している場合、品質パラメータ決定部１０６ｂは、領域Ｒ１ｂ及び領域Ｒ２ｂに付された少なくとも何れかの重要度を参照して、領域Ｒ１ａの品質パラメータを決定する構成とすることができる。
【0156】
（符号化部）
符号化部１０８ｂは、品質パラメータ決定部１０６ｂが決定した品質パラメータを用いて対象画像を符号化することによって、符号化データを生成する。
符号化部１０８ｂは、品質パラメータ決定部１０６ｂが決定した品質パラメータを用いて対象画像を符号化することによって、符号化データを生成する。
【0157】
（送信部）
送信部１１０ｂは、符号化部１０８ｂが生成した符号化データを送信する。
送信部１１０ｂは、符号化部１０８ｂが生成した符号化データを送信する。
【0158】
送信部１１０ｂは、一例として、アンテナを備え、無線通信を用いて符号化データを送信する構成とすることができるが、これは本実施形態を限定するものではなく、有線通信を用いてもよいし、無線通信と有線通信との組み合わせを用いてもよい。
【0159】
（表示装置の構成）
表示装置２００ｂは、受信部２０２ｂと、復号部２０４ｂと、表示部２０６ｂとを備えている。
表示装置２００ｂは、受信部２０２ｂと、復号部２０４ｂと、表示部２０６ｂとを備えている。
【0160】
なお、受信部２０２ｂは、請求の範囲に記載した受信手段の一実施形態である。表示部２０６ｂは、請求の範囲に記載した表示手段の一実施形態である。
【0161】
受信部２０２ｂは、送信部１１０ｂから送信された符号化データを受信する。
【0162】
復号部２０４ｂは、受信部２０２ｂが受信した符号化データを復号して画像データに変換する。
【0163】
復号部２０４ｂによる具体的な復号アルゴリズムは本例示的実施形態を限定するものではないが、当該復号アルゴリズムは、符号化部１０８ｂによる符号化アルゴリズムに対応するアルゴリズムを採用することが好ましい。また、復号部２０４ｂは、複数の領域の各々に関する復号処理を、当該領域に対して品質パラメータ決定部１０６ｂが決定した品質パラメータであって符号化データに含まれる品質パラメータを参照して行う構成を採用することができる。
【0164】
これにより、復号部２０４ｂによる復号後の画像の品質が、品質パラメータ決定部１０６ｂが決定した品質パラメータに準じたものとなる。
【0165】
表示部２０６ｂは、復号部２０４ｂが復号した画像を表示する。
【0166】
（画像表示システムの効果）
以上のように構成された画像表示システム１０ｂによれば、画像処理装置１００ｂは移動体から撮像した対象画像に含まれる複数の領域の各々について、重要度に応じた符号化処理の粗さを指定することができる。このため、移動体から撮像し、符号化された画像データは好適に削減されており、伝送負荷を好適に抑制できる。
以上のように構成された画像表示システム１０ｂによれば、画像処理装置１００ｂは移動体から撮像した対象画像に含まれる複数の領域の各々について、重要度に応じた符号化処理の粗さを指定することができる。このため、移動体から撮像し、符号化された画像データは好適に削減されており、伝送負荷を好適に抑制できる。
【0167】
以下、図１９～図２１を用いて例示的実施形態５に係る画像表示システム１０ｂにおける表示方法の流れを説明する。
（画像表示システムにおける表示方法の説明）
図１９は、例示的実施形態５に係る画像表示システム１０ｂにおける表示方法の流れを示すフロー図であり、画像処理装置１００ｂにおける処理の流れを示すフローチャートＳ１００ｂと、表示装置２００ｂにおける処理の流れを示すフローチャートＳ２００ｂとを示している。図１９に示すように、例示的実施形態５に係る画像処理装置１００ｂにおける処理の流れを示すフローチャートＳ１００ｂは、ステップＳ１０２ｂ～Ｓ１１０ｂを含んでいる。
（画像表示システムにおける表示方法の説明）
図１９は、例示的実施形態５に係る画像表示システム１０ｂにおける表示方法の流れを示すフロー図であり、画像処理装置１００ｂにおける処理の流れを示すフローチャートＳ１００ｂと、表示装置２００ｂにおける処理の流れを示すフローチャートＳ２００ｂとを示している。図１９に示すように、例示的実施形態５に係る画像処理装置１００ｂにおける処理の流れを示すフローチャートＳ１００ｂは、ステップＳ１０２ｂ～Ｓ１１０ｂを含んでいる。
【0168】
また、例示的実施形態５に係る表示装置２００ｂにおける処理の流れを示すフローチャートＳ２００ｂは、ステップＳ２０２ｂ、Ｓ２０４ｂおよびＳ２０６ｂを含んでいる。
【0169】
図２０Ａ乃至図２０Ｃは例示的実施形態５に係る画像表示システム１０ｂにおける表示方法の具体例を説明する図であり、これらの図面が示している画像および模式図は互いに対応関係を有している。図２０Ａに示す画像７０２は、ステップＳ１０２ｂにおいて取得部１０２ｂが取得した移動体から撮像した画像の一例を示している。図２０Ｂとして示す模式図７０４は、ステップＳ１０４ｂにおいて重要度推定部１０４ｂが複数の領域の各々について推定した重要度を示している。図２０Ｃとして示す模式図７０６は、ステップＳ１０５ｂにおいて品質パラメータ推定部１０５ｂが複数の領域の各々について推定した予備的品質パラメータを示している。これらの図面を参照して説明する例示的な処理の流れについては後述する。
【0170】
図２１Ａ及び図２１Ｂは、例示的実施形態５に係る画像表示システム１０ｂにおける表示方法のステップＳ１０６ｂの処理例を示すものである。図２１Ａとして示したフローチャートＳ１０６０ａは、図１９に示したステップＳ１０６ｂにおける品質パラメータの決定の処理例の流れを示している。図２１Ｂとして示した模式図８０２は、図２１Ｃとして示した模式図７０６における複数の領域の各々についてステップＳ１０６ｂにおける処理例によって決定した品質パラメータを示している。
【0171】
【0172】
（画像処理装置における処理の流れの説明）
（ステップＳ１０２ｂ）
ステップＳ１０２ｂにおいて、例示的実施形態５に係る画像処理装置１００ｂにおける処理では、取得部１０２ｂは撮影された画像を取得する。本例示的実施形態に係る取得部１０２ｂは、例示的実施形態１において説明した取得部１０の構成と同様であるのですでに記載した説明は省略する。
（ステップＳ１０２ｂ）
ステップＳ１０２ｂにおいて、例示的実施形態５に係る画像処理装置１００ｂにおける処理では、取得部１０２ｂは撮影された画像を取得する。本例示的実施形態に係る取得部１０２ｂは、例示的実施形態１において説明した取得部１０の構成と同様であるのですでに記載した説明は省略する。
【0173】
本ステップＳ１０２ｂで取得された画像の一例を図２０Ａに画像７０２として示す。この画像７０２は移動体３００ｂの撮像部３０２で撮像された画像であり、移動体３００ｂはこの具体例の場合、走行中の車両である。画像７０２は移動体３００ｂ（走行中の車両）の進行方向（前方）の画角が含まれる静止画像であり、その中央部付近には前方に走行している先行車両が撮像されている。
【0174】
（ステップＳ１０４ｂ）
ステップＳ１０４ｂにおいて、例示的実施形態５に係る画像処理装置１００ｂにおける処理では、重要度推定部１０４ｂは、画像に含まれる複数の領域の各々について重要度を推定する。本ステップに係る重要度推定部１０４ｂの処理は、画像表示システム１０ｂにおいて説明した処理と同様の処理を含むので、すでに記載した説明は省略する。
ステップＳ１０４ｂにおいて、例示的実施形態５に係る画像処理装置１００ｂにおける処理では、重要度推定部１０４ｂは、画像に含まれる複数の領域の各々について重要度を推定する。本ステップに係る重要度推定部１０４ｂの処理は、画像表示システム１０ｂにおいて説明した処理と同様の処理を含むので、すでに記載した説明は省略する。
【0175】
本ステップＳ１０４ｂにおいて、重要度推定部１０４ｂが推定した重要度の一例を図２０Ｂの模式図７０４として示す。重要度推定部１０４ｂは、ステップＳ１０２ｂで取得された画像７０２を、一例として図２０Ｂの模式図７０４に示すように、６列４行の２４の領域に分割して、この２４の領域各々について重要度を推定する。
【0176】
また、この重要度の推定処理において、重要度推定部１０４ｂは、ステップＳ１０２ｂで取得された画像７０２に含まれる複数の領域のそれぞれを、重要度に応じて、重要領域（ＩＲ）及び非重要領域（ＮＩＲ）の何れかに分類する。
【0177】
一例として、重要度推定部１０４ｂは、図２０Ｂで示した模式図７０４に示すように、画像７０２の２４の領域を、先行車両が撮像されている付近の６つの重要領域（ＩＲ）と、それ以外の非重要領域（ＮＩＲ）とに分類する。
【0178】
重要度推定部１０４ｂは、最も重要度が高い領域（先行車両の撮像が含まれている領域）に対して最も高い値の重要度（この模式図７０４では３つの領域に示された０．９）を付与する。同様に重要度推定部１０４ｂは、重要度が比較的高いと推定した領域（先行車両の撮像が含まれている周囲の領域）に、比較的高い重要度（この模式図７０４では他の３つの領域で示された０．５および０．６）を付与している。
【0179】
さらに重要度推定部１０４ｂは、重要度が最も低いと推定した領域（模式図７０４の上部１行の領域）に最も低い値の重要度（模式図７０４では０．１）を付与している。それ以外の非重要領域（ＮＩＲ）において重要度推定部１０４ｂは重要度が低いと推定し、その対象領域のうち重要領域（ＩＲ）から離れた領域に低い値の重要度（模式図７０４では０．２）を付与している。また、重要度推定部１０４ｂは、重要度が相対的に低いと推定した重要領域（ＩＲ）に隣接した領域に対し相対的に低い値の重要度（模式図７０４では０．３）を付与している。
【0180】
（ステップＳ１０５ｂ）
ステップＳ１０５ｂにおいて、例示的実施形態５に係る画像処理装置１００ｂにおける処理では、品質パラメータ推定部１０５ｂは、画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する。ここで、品質パラメータ推定部１０５ｂは、一例として、画像を符号化した場合の符号化効率が向上するように予備的品質パラメータを推定する。本例示的実施形態に係る品質パラメータ推定部１０５ｂは、例示的実施形態５の画像処理装置１００ｂの構成において説明した品質パラメータ推定部１０５ｂの処理と同様であるのですでに記載した説明は省略する。
ステップＳ１０５ｂにおいて、例示的実施形態５に係る画像処理装置１００ｂにおける処理では、品質パラメータ推定部１０５ｂは、画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する。ここで、品質パラメータ推定部１０５ｂは、一例として、画像を符号化した場合の符号化効率が向上するように予備的品質パラメータを推定する。本例示的実施形態に係る品質パラメータ推定部１０５ｂは、例示的実施形態５の画像処理装置１００ｂの構成において説明した品質パラメータ推定部１０５ｂの処理と同様であるのですでに記載した説明は省略する。
【0181】
本ステップＳ１０５ｂにおいて、品質パラメータ推定部１０５ｂが推定した予備的品質パラメータの一例を図２０Ｃにおいて模式図７０６として示している。品質パラメータ推定部１０５ｂは、ステップＳ１０２ｂで取得された画像７０２を、図２０Ｃの模式図７０６に示すように、一例として、６列４行の２４の領域に分割して、この２４個の領域各々について予備的品質パラメータを推定する。ここで、図２０Ａ乃至図２０Ｃに示した具体例においては、品質パラメータ推定部１０５ｂによって参照される「複数の領域」と、重要度推定部１０４ｂが参照する「複数の領域」とは、同じ６列４行の２４の領域に同様に分割されている例を示しているが、これは本例示的実施形態を限定するものではなく、上述したように、一般には、両者の「複数の領域」は互いに異なり得る。
【0182】
なお、図２０Ｃの模式図７０６に示す例では、より小さい品質パラメータが付与された領域の方が、より大きい品質パラメータが付与された領域よりも品質が高い。即ち、模式図７０６においては、４０で示される品質パラメータが付与された領域の品質が最も低品質であり、１０で示される品質パラメータが付与された領域の品質が最も高品質である。
【0183】
（ステップＳ１０６ｂ）
ステップＳ１０６ｂにおいて、例示的実施形態５に係る画像処理装置１００ｂにおける処理では、品質パラメータ決定部１０６ｂは、重要度推定部１０４ｂが推定した重要度と品質パラメータ推定部１０５ｂが推定した予備的品質パラメータとを参照して複数の領域の各々についての品質パラメータを決定する。
ステップＳ１０６ｂにおいて、例示的実施形態５に係る画像処理装置１００ｂにおける処理では、品質パラメータ決定部１０６ｂは、重要度推定部１０４ｂが推定した重要度と品質パラメータ推定部１０５ｂが推定した予備的品質パラメータとを参照して複数の領域の各々についての品質パラメータを決定する。
【0184】
本例示的実施形態では、ステップＳ１０６ｂについて具体例を挙げて説明する。
【0185】
（ステップＳ１０６ｂの処理例）
図２１Ａは、ステップＳ１０６ｂの処理例（この処理例を符号Ｓ１０６０ａを付す場合もある）を示すフローチャートおよび模式図８０２である。以下、図２１Ａを使って処理例Ｓ１０６０ａをさらに詳しく説明する。
図２１Ａは、ステップＳ１０６ｂの処理例（この処理例を符号Ｓ１０６０ａを付す場合もある）を示すフローチャートおよび模式図８０２である。以下、図２１Ａを使って処理例Ｓ１０６０ａをさらに詳しく説明する。
【0186】
（ステップＳ１０６１ａ）
本ステップＳ１０６１ａは、複数の領域に関するループ処理の始端である。当該ループ処理では、対象画像に含まれる複数の領域の各々が、所定の順序で順次処理対象となる。
本ステップＳ１０６１ａは、複数の領域に関するループ処理の始端である。当該ループ処理では、対象画像に含まれる複数の領域の各々が、所定の順序で順次処理対象となる。
【0187】
（ステップＳ１０６２ａ）
続いて、ステップＳ１０６２ａにおいて、品質パラメータ決定部１０６ｂは、対象領域の重要度が閾値以上かどうかを判断する。ここで対象領域とは、品質パラメータ推定部１０５ｂが推定した予備的品質パラメータの複数の領域のうち、処理対象である領域のことを指している。対象領域の重要度が閾値以上である場合（判断ステップのＹＥＳに該当）、品質パラメータ決定部１０６ｂは、当該対象領域に対して何らの処理も行わずに次の処理に進む。即ち、重要度が閾値以上である対象領域においては、予備的品質パラメータがそのまま品質パラメータとして決定される。一方で、対象領域の重要度が閾値以上でない場合（換言すれは、閾値より低い値である場合）（判断ステップのＮＯに該当）、ステップＳ１０６３ａに進む。
続いて、ステップＳ１０６２ａにおいて、品質パラメータ決定部１０６ｂは、対象領域の重要度が閾値以上かどうかを判断する。ここで対象領域とは、品質パラメータ推定部１０５ｂが推定した予備的品質パラメータの複数の領域のうち、処理対象である領域のことを指している。対象領域の重要度が閾値以上である場合（判断ステップのＹＥＳに該当）、品質パラメータ決定部１０６ｂは、当該対象領域に対して何らの処理も行わずに次の処理に進む。即ち、重要度が閾値以上である対象領域においては、予備的品質パラメータがそのまま品質パラメータとして決定される。一方で、対象領域の重要度が閾値以上でない場合（換言すれは、閾値より低い値である場合）（判断ステップのＮＯに該当）、ステップＳ１０６３ａに進む。
【0188】
なお、上記閾値の具体的な値は、本例示的実施形態を限定するものではないが、一例として望ましい符号化データ量に応じて予め定めておくことができる。
【0189】
図２１Ｂとして示す模式図８０２は、図２０Ｃの模式図７０６に示した各領域において、本処理例によってどのように品質パラメータが決定されたかを表している。図２１Ｂの模式図８０２に示すように、重要領域（ＩＲ）では、図２０Ｃの模式図７０６に示した予備的品質パラメータがそのまま品質パラメータに設定される。即ち、重要度が閾値以上である対象領域（重要領域ＩＲ）においては、予備的品質パラメータがそのまま品質パラメータとして決定されている。
【0190】
（ステップＳ１０６３ａ）
ステップＳ１０６３ａでは、品質パラメータ決定部１０６ｂは、対象領域を低画質化するように品質パラメータを決定する。即ち、重要度が閾値より低い対象領域においては、当該対象領域に付与された予備的品質パラメータの値よりも大きい値を有する品質パラメータを当該対象領域に付与する。
ステップＳ１０６３ａでは、品質パラメータ決定部１０６ｂは、対象領域を低画質化するように品質パラメータを決定する。即ち、重要度が閾値より低い対象領域においては、当該対象領域に付与された予備的品質パラメータの値よりも大きい値を有する品質パラメータを当該対象領域に付与する。
【0191】
一例として、品質パラメータ決定部１０６ｂは、図２１Ｂの模式図８０２に示すように、非重要領域（ＮＩＲ）に含まれる各領域に対して、図２０Ｃの模式図７０６に示した予備的品質パラメータよりも大きな値を有する品質パラメータを付与する。
【0192】
（ステップＳ１０６５ａ）
本ステップＳ１０６５ａは、複数の領域に関するループ処理の終端である。
本ステップＳ１０６５ａは、複数の領域に関するループ処理の終端である。
【0193】
ここで、ステップＳ１０６ｂに続くステップについて図１９に戻って説明する。
【0194】
（ステップＳ１０８ｂ）
ステップＳ１０８ｂにおいて、例示的実施形態５に係る画像処理装置１００ｂにおける処理では、符号化部１０８ｂは、品質パラメータ決定部１０６ｂが決定した品質パラメータを用いて画像を符号化して符号化データとする。
ステップＳ１０８ｂにおいて、例示的実施形態５に係る画像処理装置１００ｂにおける処理では、符号化部１０８ｂは、品質パラメータ決定部１０６ｂが決定した品質パラメータを用いて画像を符号化して符号化データとする。
【0195】
（ステップＳ１１０ｂ）
ステップＳ１１０ｂにおいて、例示的実施形態５に係る画像処理装置１００ｂにおける処理では、送信部１１０ｂが、符号化部１０８が符号化した符号化データを送信する。本ステップにおける送信部１１０ｂの処理は、例示的実施形態３の画像処理装置１００ｂの構成において説明した送信部１１０ｂ処理と同じであるためここでは詳細な説明を省略する。
ステップＳ１１０ｂにおいて、例示的実施形態５に係る画像処理装置１００ｂにおける処理では、送信部１１０ｂが、符号化部１０８が符号化した符号化データを送信する。本ステップにおける送信部１１０ｂの処理は、例示的実施形態３の画像処理装置１００ｂの構成において説明した送信部１１０ｂ処理と同じであるためここでは詳細な説明を省略する。
【0196】
（表示装置における処理の流れの説明）
以下、表示装置２００ｂにおける処理の流れをステップごとに説明する。
以下、表示装置２００ｂにおける処理の流れをステップごとに説明する。
【0197】
（ステップＳ２０２ｂ）
ステップＳ２０２ｂにおいて、例示的実施形態５に係る表示装置２００ｂにおける処理では、受信部２０２ｂが、送信部１１０ｂから送信された符号化データを受信する。本ステップにおける受信部２０２ｂの処理は、例示的実施形態３の表示装置２００ｂにおいて説明した処理と同様であるので、ここでは詳細な説明を省略する。
ステップＳ２０２ｂにおいて、例示的実施形態５に係る表示装置２００ｂにおける処理では、受信部２０２ｂが、送信部１１０ｂから送信された符号化データを受信する。本ステップにおける受信部２０２ｂの処理は、例示的実施形態３の表示装置２００ｂにおいて説明した処理と同様であるので、ここでは詳細な説明を省略する。
【0198】
（ステップＳ２０４ｂ）
ステップＳ２０４ｂにおいて、例示的実施形態５に係る表示装置２００ｂにおける処理では、復号部２０４ｂは、受信部２０２ｂが受信した符号化データを復号して画像データに変換する。
ステップＳ２０４ｂにおいて、例示的実施形態５に係る表示装置２００ｂにおける処理では、復号部２０４ｂは、受信部２０２ｂが受信した符号化データを復号して画像データに変換する。
【0199】
（ステップＳ２０６ｂ）
ステップＳ２０６ｂにおいて、例示的実施形態５に係る表示装置２００ｂにおける処理では、表示部２０６ｂは、復号部２０４ｂから得られた画像データに基づき画像を表示する。
ステップＳ２０６ｂにおいて、例示的実施形態５に係る表示装置２００ｂにおける処理では、表示部２０６ｂは、復号部２０４ｂから得られた画像データに基づき画像を表示する。
【0200】
（画像表示システムの表示方法の効果）
以上のように画像表示システム１０ｂの表示方法によれば、移動体から撮像した対象画像に含まれる複数の領域の各々について、重要度に応じた符号化処理の粗さを指定することができる。特に、例示的実施形態５の処理例Ｓ１０６０ａにおいては、移動体から撮像し、符号化された画像データは好適に削減されている。したがって、画像表示システム１０ｂの表示方法によれば伝送負荷を好適に抑制できる。また、例示的実施形態５の処理例Ｓ１０６０ｂにおいては、移動体から撮像し、符号化された画像データは好適に削減して伝送負荷を好適に抑制できるとともに、重要な領域の画像を高品質で表示することができる。
以上のように画像表示システム１０ｂの表示方法によれば、移動体から撮像した対象画像に含まれる複数の領域の各々について、重要度に応じた符号化処理の粗さを指定することができる。特に、例示的実施形態５の処理例Ｓ１０６０ａにおいては、移動体から撮像し、符号化された画像データは好適に削減されている。したがって、画像表示システム１０ｂの表示方法によれば伝送負荷を好適に抑制できる。また、例示的実施形態５の処理例Ｓ１０６０ｂにおいては、移動体から撮像し、符号化された画像データは好適に削減して伝送負荷を好適に抑制できるとともに、重要な領域の画像を高品質で表示することができる。
【0201】
〔ソフトウェアによる実現例〕
情報処理装置１，２，３，４，５及び画像処理装置１００ｂの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
情報処理装置１，２，３，４，５及び画像処理装置１００ｂの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0202】
後者の場合、情報処理装置１，２，３，４，５及び画像処理装置１００ｂは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図２２に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１，２，３，４，５及び画像処理装置１００ｂとして動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１，２，３，４，５及び画像処理装置１００ｂの各機能が実現される。
【0203】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
【0204】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0205】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0206】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0207】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0208】
態様１に係る情報処理装置は、画像データ及び点群データの少なくとも何れかを含む入力データを取得する取得手段と、前記入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する推定手段と、前記入力データに含まれる前記複数の領域のうちの少なくとも何れかを、前記重要度に応じて、代替データに置換することによって、置換後のデータを生成する置換手段と、前記置換後のデータを参照することによって評価値を導出する評価手段と、前記評価値を参照して、前記推定手段を学習させる学習手段とを備えている。
【0209】
上記の構成によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができる。
【0210】
態様２に係る情報処理装置においては、態様１の構成に加えて、前記評価手段は、前記入力データを更に参照することによって評価値を導出するという構成が採用されている。
【0211】
上記の構成によれば、置換後のデータだけでなく、入力後のデータも参照して重要領域と非重要領域とを推定する学習をさせることができる。
【0212】
態様３に係る情報処理装置においては、態様２の構成に加えて、前記評価手段は、前記入力データを所定のコントローラに入力した場合の当該コントローラの出力と、前記置換後のデータを前記所定のコントローラに入力した場合の当該コントローラの出力とを参照することによって、前記評価値を導出するという構成が採用されている。
【0213】
上記の構成によれば、所定のコントローラの出力を参照して、重要領域と非重要領域とを推定する学習をさせることができる。
【0214】
態様４に係る情報処理装置においては、態様３の構成に加えて、前記評価手段は、前記入力データを所定のコントローラに入力した場合の当該コントローラの出力と、前記置換後のデータを前記所定のコントローラに入力した場合の当該コントローラの出力との差分として前記評価値を導出し、前記学習手段は、前記評価値が小さくなるように、前記推定手段を学習させるという構成が採用されている。
【0215】
上記の構成によれば、所定のコントローラからの出力の差分に基づいて重要領域と非重要領域とを推定する学習をさせることができる。
【0216】
態様５に係る情報処理装置においては、態様１から４のいずれか１つの構成に加えて、前記置換手段は、重要度が小さい順に選択した領域であって、前記フレームにおいて所定の割合を有する１又は複数の前記領域を前記代替データに置換するという構成が採用されている。
【0217】
上記の構成によれば、所定の割合を置換したデータを用いることによって、重要領域と非重要領域とを推定する学習をさせることができる。
【0218】
態様６に係る情報処理装置においては、態様５の構成に加えて、前記置換手段は、互いに異なる複数の所定の割合の各々について、前記置換後のデータを生成し、前記評価手段は、前記置換手段が生成した置換後の各データについて予備的評価値を導出し、前記予備的評価値の平均をとることによって前記評価値を導出するという構成が採用されている。
【0219】
上記の構成によれば、複数の所定の割合を置換したデータを用いることによって、重要領域と非重要領域とを推定する学習をさせることができる。
【0220】
態様７に係る情報処理装置においては、態様１から６のいずれか１つの構成に加えて、前記評価手段は、前記置換後のデータのデータサイズを更に参照して前記評価値を導出するという構成が採用されている。
【0221】
上記の構成によれば、データサイズを考慮して重要領域と非重要領域とを推定する学習をさせることができる。
【0222】
態様８に係る情報処理装置においては、態様７の構成に加えて、前記学習手段は、前記置換後のデータのデータサイズが小さくなるように、前記推定手段を学習させるという構成が採用されている。
【0223】
上記の構成によれば、データサイズが小さくなるように重要領域と非重要領域とを推定する学習をさせることができる。
【0224】
態様９に係る情報処理装置においては、態様１から８のいずれか１つの構成に加えて、前記置換手段が用いる前記代替データは、ノイズ、及び量子化誤差の大きい画像データの少なくとも何れかを含むデータであるという構成が採用されている。
【0225】
上記の構成によれば、データサイズが小さくなるように重要領域と非重要領域とを推定する学習をさせることができる。
【0226】
態様１０に係る情報処理装置においては、態様１から９のいずれか１つの構成に加えて、前記推定手段は、自己注意モジュールを用いて前記重要度を推定するという構成が採用されている。
【0227】
上記の構成によれば、自己注意モジュールを用いて重要領域と非重要領域とを推定する学習をさせることができる。
【0228】
態様１１に係る情報処理装置においては、態様１から１０のいずれか１つの構成に加えて、前記評価手段は、前記置換後のデータを入力した移動体のコントローラからの出力を参照して、前記評価値を導出するという構成が採用されている。
【0229】
上記の構成によれば、移動体のコントローラを用いて重要領域と非重要領域とを推定する学習をさせることができる。
【0230】
態様１２に係る情報処理装置においては、態様１１の構成に加えて、前記評価値は、前記出力から導出された報酬値を含み、前記学習手段は、前記報酬値が大きくなるように前記推定手段を学習させるという構成が採用されている。
【0231】
上記の構成によれば、コントローラの出力値から導出される報酬値が大きくなるように推定手段を学習させることができる。
【0232】
態様１３に係る情報処理装置においては、態様１１の構成に加えて、前記評価値は、前記出力から導出されたロス値であり、前記学習手段は、前記ロス値が小さくなるように前記推定手段を学習させるという構成が採用されている。
【0233】
上記の構成によれば、ロス値を用いて推定手段を学習させることができる。
【0234】
態様１４に係る情報処理装置は、画像データ及び点群データの少なくとも何れかを含む入力データを取得する取得手段と、前記入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する推定手段であって、前記入力データに含まれる前記複数の領域のうちの少なくとも何れかを重要度に応じて代替データに置換することによって得られた置換後のデータを参照して学習された推定手段と、を備えている。
【0235】
上記の構成によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができる。
【0236】
態様１５に係る情報処理方法は、画像データ及び点群データの少なくとも何れかを含む入力データを取得すること、前記入力データが示すフレームに含まれる複数の領域の各々について重要度を推定すること、前記入力データに含まれる前記複数の領域のうちの少なくとも何れかを、前記重要度に応じて、代替データに置換することによって、置換後のデータを生成すること、前記置換後のデータを参照することによって評価値を導出すること、及び前記評価値を参照して、推定手段を学習させること、を含む。
【0237】
上記の構成によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができる。
【0238】
態様１６に係る情報処理方法においては、画像データ及び点群データの少なくとも何れかを含む入力データを取得すること、前記入力データが示すフレームに含まれる複数の領域の各々について重要度を推定することであって、前記入力データに含まれる前記複数の領域のうちの少なくとも何れかを重要度に応じて代替データに置換することによって得られた置換後のデータを参照して学習された推定手段を用いて重要度を推定すること、を含む。
【0239】
上記の構成によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができる。
【0240】
態様１７に係る記録媒体は、コンピュータを、画像データ及び点群データの少なくとも何れかを含む入力データを取得する取得手段、前記入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する推定手段、前記入力データに含まれる前記複数の領域のうちの少なくとも何れかを、前記重要度に応じて、代替データに置換することによって、置換後のデータを生成する置換手段、前記置換後のデータを参照することによって評価値を導出する評価手段、及び前記評価値を参照して、前記推定手段を学習させる学習手段、として機能させるためのプログラムを記録した、コンピュータ読み取り可能な非一時的記録媒体である。
【0241】
上記の構成によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができる。
【0242】
態様１８に係る記録媒体は、コンピュータを、画像データ及び点群データの少なくとも何れかを含む入力データを取得する取得手段、前記入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する推定手段であって、前記入力データに含まれる前記複数の領域のうちの少なくとも何れかを重要度に応じて代替データに置換することによって得られた置換後のデータを参照して学習された推定手段を用いて重要度を推定する推定手段、として機能させるためのプログラムを記録した、コンピュータ読み取り可能な非一時的記録媒体である。
【0243】
上記の構成によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができる。
【0244】
態様１９に係るプログラムは、コンピュータを、画像データ及び点群データの少なくとも何れかを含む入力データを取得する取得手段、前記入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する推定手段、前記入力データに含まれる前記複数の領域のうちの少なくとも何れかを、前記重要度に応じて、代替データに置換することによって、置換後のデータを生成する置換手段、前記置換後のデータを参照することによって評価値を導出する評価手段、及び前記評価値を参照して、前記推定手段を学習させる学習手段、として機能させるためのプログラムである。
【0245】
上記の構成によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができる。
【0246】
態様２０に係るプログラムは、コンピュータを、画像データ及び点群データの少なくとも何れかを含む入力データを取得する取得手段、前記入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する推定手段であって、前記入力データに含まれる前記複数の領域のうちの少なくとも何れかを重要度に応じて代替データに置換することによって得られた置換後のデータを参照して学習された推定手段を用いて重要度を推定する推定手段、として機能させるためのプログラムである。
【0247】
上記の構成によれば、画像における重要領域と非重要領域とを好適に推定することのできる技術を提供することができる。
【0248】
〔付記事項３〕
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
【0249】
少なくとも１つのプロセッサを備え、前記プロセッサは、画像データ及び点群データの少なくとも何れかを含む入力データを取得する取得処理と、前記入力データが示すフレームに含まれる複数の領域の各々について重要度を推定する推定処理と、前記入力データに含まれる前記複数の領域のうちの少なくとも何れかを、前記重要度に応じて、代替データに置換することによって、置換後のデータを生成する生成処理と、前記置換後のデータを参照することによって評価値を導出する導出処理と、前記評価値を参照して、推定手段を学習させる学習処理とを実行する情報処理装置。
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記推定処理と、前記生成処理と、前記導出処理と、前記学習処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記推定処理と、前記生成処理と、前記導出処理と、前記学習処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0250】
１，２，３，４，５・・・情報処理装置
１０，２０，３１，５１・・・取得部
１１，２１，３２，５２・・・推定部
１２，３３・・・置換部
１３，３４・・・評価部
１４，３５・・・学習部
３０，５０・・・制御部
３６，５３・・・通信部
３７，５４・・・出力部
３８，５５・・・メモリ
４１，６１・・・撮像部
４２，６２・・・送信部
３００、４００・・・情報処理システム
１０，２０，３１，５１・・・取得部
１１，２１，３２，５２・・・推定部
１２，３３・・・置換部
１３，３４・・・評価部
１４，３５・・・学習部
３０，５０・・・制御部
３６，５３・・・通信部
３７，５４・・・出力部
３８，５５・・・メモリ
４１，６１・・・撮像部
４２，６２・・・送信部
３００、４００・・・情報処理システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20A】
【図20B】
【図20C】
【図21A】
【図21B】
【図22】