知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2026-01-09
(45)【発行日】2026-01-20
(54)【発明の名称】情報処理装置および方法
(51)【国際特許分類】
H04N 19/107 20140101AFI20260113BHJP
H04N 19/166 20140101ALI20260113BHJP
H04N 19/174 20140101ALI20260113BHJP
【ＦＩ】
H04N19/107
H04N19/166
H04N19/174
【請求項の数】
13
(21)【出願番号】P 2022579393
(86)(22)【出願日】2022-01-05
(86)【国際出願番号】 JP2022000078
(87)【国際公開番号】W WO2022168516
(87)【国際公開日】2022-08-11
【審査請求日】2024-11-08
(31)【優先権主張番号】P 2021017957
(32)【優先日】2021-02-08
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】金 鐘大
【審査官】岩井 健二
(56)【参考文献】
【文献】特開２００４－１９３８５０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２１／００３７２５０（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００８／０１６５２４６（ＵＳ，Ａ１）
【文献】国際公開第２０１４／００２３８５（ＷＯ，Ａ１）
【文献】国際公開第２０１３／０３３６７９（ＷＯ，Ａ１）
【文献】国際公開第２０１３／０３３６７６（ＷＯ，Ａ１）
【文献】永田聡 他，3GPP Release 15標準化技術概要，NTT DOCOMOテクニカル・ジャーナル，2018年11月，Vol.26, No.3，pp.37-46，https://www.nttdocomo.co.jp/binary/pdf/corporate/technology/rd/technical_journal/bn/vol26_3/vol26_3_007jp.pdf
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
第１無線通信路を介して伝送される動画像の符号化データを受信する受信装置から前記第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して伝送されるエラー情報を取得するエラー情報取得部と、前記エラー情報取得部により取得された前記エラー情報に基づいて、前記動画像の符号化を制御する符号化制御部と
を備え、
前記動画像は、各フレームの符号化の際に、前記フレームの一部がイントラ領域に設定されてイントラ符号化され、
前記イントラ領域の位置は、所定のフレーム数で巡回するように、前記フレーム毎に所定の向きに移動され、
前記符号化制御部は、前記エラー情報取得部により前記エラー情報が取得された場合、前記イントラ領域の位置を前記巡回における初期位置に戻す
情報処理装置。
【請求項2】
前記イントラ領域は、前記フレームの垂直方向に並ぶ複数のブロックにより構成される、前記フレームの部分領域であり、前記イントラ領域の位置は、前記フレームの左端を前記初期位置とし、前記フレーム毎に右向きに移動され、
前記符号化制御部は、前記エラー情報取得部により前記エラー情報が取得された場合、前記イントラ領域の位置を前記フレームの左端に戻す
請求項１に記載の情報処理装置。
【請求項3】
前記エラー情報は、前記符号化データの受信の際のエラーを示す情報を含む請求項１に記載の情報処理装置。
【請求項4】
前記エラー情報は、前記符号化データの復号の際のエラーを示す情報を含む請求項１に記載の情報処理装置。
【請求項5】
前記動画像を符号化し、前記符号化データを生成する符号化部をさらに備え、前記符号化制御部は、前記エラー情報取得部により取得された前記エラー情報に基づいて前記符号化部を制御する
請求項１に記載の情報処理装置。
【請求項6】
前記第１無線通信路の状態を監視する無線通信路状態監視部をさらに備え、前記符号化制御部は、さらに、前記無線通信路状態監視部により監視される前記第１無線通信路の状態に基づいて、前記動画像の符号化を制御する
請求項１に記載の情報処理装置。
【請求項7】
前記第１無線通信路および前記第２無線通信路は、互いに異なる周波数帯の通信路である請求項１に記載の情報処理装置。
【請求項8】
前記第１無線通信路は、国際電気通信連合が定める規定IMT（International Mobile Telecommunications）-2020を満足する無線通信システムの、eMBB（enhance Mobile broadband）の要件を満たす通信路であり、前記第２無線通信路は、前記無線通信システムの、URLLC（Ultra Reliable Low Latency Communication）の要件を満たす通信路である
請求項７に記載の情報処理装置。
【請求項9】
前記第１無線通信路は、前記第２無線通信路と同一の周波数帯の下りリンクであって、国際電気通信連合が定める規定IMT（International Mobile Telecommunications）-2020を満足する無線通信システムの、eMBB（enhance Mobile broadband）の要件を満たす無線通信路であり、前記第２無線通信路は、前記第１無線通信路と同一の周波数帯の上りリンクであって、前記無線通信システムの、URLLC（Ultra Reliable Low Latency Communication）の要件を満たす無線通信路である
請求項１に記載の情報処理装置。
【請求項10】
前記第１無線通信路は、前記第２無線通信路と異なるネットワークスライスであって、国際電気通信連合が定める規定IMT（International Mobile Telecommunications）-2020を満足する無線通信システムの、eMBB（enhance Mobile broadband）の要件を満たす無線通信路であり、前記第２無線通信路は、前記第１無線通信路と異なる前記ネットワークスライスであって、前記無線通信システムの、URLLC（Ultra Reliable Low Latency Communication）の要件を満たす無線通信路である
請求項１に記載の情報処理装置。
【請求項11】
前記第１無線通信路および前記第２無線通信路は、互いに異なる無線通信規格の通信路である請求項１に記載の情報処理装置。
【請求項12】
前記第１無線通信路は、国際電気通信連合が定める規定IMT（International Mobile Telecommunications）-Advanced規格に準拠する無線通信路、3GPP（Third Generation Partnership Project）により策定されたLTE（Long Term Evolution）に準拠する無線通信路、または、IEEE（Institute of Electrical and Electronics Engineers）802.11規格を使用した無線通信路であり、前記第２無線通信路は、国際電気通信連合が定める規定IMT-2020を満足する無線通信システムの、URLLC（Ultra Reliable Low Latency Communication）の要件を満たす無線通信路である
請求項１１に記載の情報処理装置。
【請求項13】
動画像の各フレームの符号化の際に、前記フレームの一部がイントラ領域に設定されてイントラ符号化され、前記イントラ領域の位置は、所定のフレーム数で巡回するように、前記フレーム毎に所定の向きに移動されるように符号化された前記動画像の符号化データであって、第１無線通信路を介して伝送される前記符号化データを受信する受信装置から、前記第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して伝送されるエラー情報を取得した場合、前記イントラ領域の位置を前記巡回における初期位置に戻す情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置および方法に関し、特に、動画像の符号化データを伝送する際の、受信側におけるエラー発生により復号画像の画質が低減する期間の増大を抑制することができるようにした情報処理装置および方法に関する。
【背景技術】
【0002】
近年、3GPP（Third Generation Partnership Project）により、国際電気通信連合が定める規定IMT(International Mobile Telecommunications)-2020を満足する無線通信システムである第５世代移動通信システム（以下、５Ｇとも称する）の仕様の検討および作成が行われた（例えば、非特許文献１参照）。
【0003】
５Ｇでは用途に応じてユースケースが規定されている。例えば、大容量のデータ伝送が可能なユースケース（eMBB（enhance Mobile broadband））や、高信頼かつ低遅延のデータ伝送が可能なユースケース（URLLC（Ultra Reliable Low Latency Communication））等が規定された。
【先行技術文献】
【非特許文献】
【0004】
【文献】"TR 21.916 V1.0.0 (2020-12)", 3rd Generation Partnership Project;Technical Specification Group Services and System Aspects;Release 16 Description;Summary of Rel-16 Work Items (Release 16)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、これらのユースケース毎に遅延時間の要求条件が異なる。例えば、大容量ユースケース（eMBB）の場合、無線区間の遅延時間の要求条件は4msである。これに対して、低遅延ユースケース（URLLC）の場合、無線区間の遅延時間の要求条件は0.5msである。
【0006】
したがって、高画質の動画像を送信するために無線ネットワークとして大容量ユースケース（eMBB）を想定した場合、ネットワーク遅延によりエラー復帰の時間が長くなってしまうおそれがあった。
【0007】
本開示は、このような状況に鑑みてなされたものであり、動画像の符号化データを伝送する際の、受信側におけるエラー発生により復号画像の画質が低減する期間の増大を抑制することができるようにするものである。
【課題を解決するための手段】
【0008】
本技術の一側面の情報処理装置は、第１無線通信路を介して伝送される動画像の符号化データを受信する受信装置から前記第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して伝送されるエラー情報を取得するエラー情報取得部と、前記エラー情報取得部により取得された前記エラー情報に基づいて、前記動画像の符号化を制御する符号化制御部とを備え前記動画像は、各フレームの符号化の際に、前記フレームの一部がイントラ領域に設定されてイントラ符号化され、前記イントラ領域の位置は、所定のフレーム数で巡回するように、前記フレーム毎に所定の向きに移動され、前記符号化制御部は、前記エラー情報取得部により前記エラー情報が取得された場合、前記イントラ領域の位置を前記巡回における初期位置に戻す情報処理装置である。
【0009】
本技術の一側面の情報処理方法は、動画像の各フレームの符号化の際に、前記フレームの一部がイントラ領域に設定されてイントラ符号化され、前記イントラ領域の位置は、所定のフレーム数で巡回するように、前記フレーム毎に所定の向きに移動されるように符号化された前記動画像の符号化データであって、第１無線通信路を介して伝送される前記符号化データを受信する受信装置から、前記第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して伝送されるエラー情報を取得した場合、前記イントラ領域の位置を前記巡回における初期位置に戻す情報処理方法である。
【0012】
本技術の一側面の情報処理装置および方法においては、動画像の各フレームの符号化の際に、フレームの一部がイントラ領域に設定されてイントラ符号化され、そのイントラ領域の位置は、所定のフレーム数で巡回するように、フレーム毎に所定の向きに移動されるように符号化された、その動画像の符号化データであって、第１無線通信路を介して伝送されるその符号化データを受信する受信装置から、その第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して伝送されるエラー情報が取得された場合、そのイントラ領域の位置がその巡回における初期位置に戻される。
【図面の簡単な説明】
【0014】
【図1】画像伝送システムの例について説明する図である。
【図2】エラー対応時の遅延の例について説明する図である。
【図3】画像伝送システムの主な構成例を示す図である。
【図4】画像符号化装置の主な構成例を示すブロック図である。
【図5】符号化部の主な構成例を示すブロック図である。
【図6】画像復号装置の主な構成例を示すブロック図である。
【図7】復号部の主な構成例を示すブロック図である。
【図8】画像符号化処理の流れの例を説明するフローチャートである。
【図9】画像復号処理の流れの例を説明するフローチャートである。
【図10】エラー対応時の遅延の例について説明する図である。
【図11】動画像符号化の例について説明する図である。
【図12】イントラストライプの例について説明する図である。
【図13】符号量の例について説明する図である。
【図14】符号化制御の例を説明する図である。
【図15】符号化制御処理の流れの例を説明するフローチャートである。
【図16】符号化制御の例を説明する図である。
【図17】符号化制御処理の流れの例を説明するフローチャートである。
【図18】画像伝送システムの主な構成例を示す図である。
【図19】画像伝送システムの主な構成例を示す図である。
【図20】画像伝送システムの主な構成例を示す図である。
【図21】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【0015】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．エラー対応時の遅延
２．第１の実施の形態（画像伝送システム）
３．第２の実施の形態（符号化制御１）
４．第３の実施の形態（符号化制御２）
５．第４の実施の形態（画像伝送システムの他の例）
６．付記
１．エラー対応時の遅延
２．第１の実施の形態（画像伝送システム）
３．第２の実施の形態（符号化制御１）
４．第３の実施の形態（符号化制御２）
５．第４の実施の形態（画像伝送システムの他の例）
６．付記
【0016】
＜１．エラー対応時の遅延＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献や特許文献に記載されている内容も含まれる。
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献や特許文献に記載されている内容も含まれる。
【0017】
非特許文献１：（上述）
非特許文献２：Recommendation ITU-T H.264 (04/2017) "Advanced video coding for generic audiovisual services", April 2017
非特許文献３：Recommendation ITU-T H.265 (02/18) "High efficiency video coding", february 2018
非特許文献４：Benjamin Bross, Jianle Chen, Shan Liu, Ye-Kui Wang, "Versatile Video Coding (Draft 7)", JVET-P2001-vE, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 Oct 2019
非特許文献５：永田聡,武田和晃,梅田大将,高橋秀明,青柳健一郎, "3GPP Release15標準化技術概要", https://www.nttdocomo.co.jp/binary/pdf/corporate/technology/rd/technical_journal/bn/vol26_3/vol26_3_007jp.pdf
特許文献１：特開２０１０－０６２９４６号公報
非特許文献２：Recommendation ITU-T H.264 (04/2017) "Advanced video coding for generic audiovisual services", April 2017
非特許文献３：Recommendation ITU-T H.265 (02/18) "High efficiency video coding", february 2018
非特許文献４：Benjamin Bross, Jianle Chen, Shan Liu, Ye-Kui Wang, "Versatile Video Coding (Draft 7)", JVET-P2001-vE, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 Oct 2019
非特許文献５：永田聡,武田和晃,梅田大将,高橋秀明,青柳健一郎, "3GPP Release15標準化技術概要", https://www.nttdocomo.co.jp/binary/pdf/corporate/technology/rd/technical_journal/bn/vol26_3/vol26_3_007jp.pdf
特許文献１：特開２０１０－０６２９４６号公報
【0018】
つまり、上述の非特許文献や特許文献に記載されている内容や、上述の非特許文献や特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。
【0019】
つまり、上述の非特許文献や特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、上述の非特許文献に記載されているQuad-Tree Block Structure、QTBT（Quad Tree Plus Binary Tree） Block Structureが実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たす。
【0020】
また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の非特許文献に記載されているTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれる。
【0021】
また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準とするブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
【0022】
＜画像伝送システムにおけるエラー対応の遅延＞
従来、画像データを伝送する画像伝送システムとして様々なシステムが開発された。例えば、無線通信を用いて動画像等を伝送するシステムが開発された。一般的に、動画像等の画像データはデータサイズが大きいので、符号化（圧縮）して伝送することが考えられた。
従来、画像データを伝送する画像伝送システムとして様々なシステムが開発された。例えば、無線通信を用いて動画像等を伝送するシステムが開発された。一般的に、動画像等の画像データはデータサイズが大きいので、符号化（圧縮）して伝送することが考えられた。
【0023】
例えば、図１に示される画像伝送システム１０は、送信側（つまり伝送元側）にエンコーダ１１を有し、受信側（つまり伝送先側）にデコーダ１２を有する。画像データは、エンコーダ１１により符号化される。そして、その符号化データ（ビットストリーム）が無線ネットワーク２１を介してデコーダ１２に伝送される。そのビットストリームは、デコーダ１２によって復号され、画像データ（復号画像）として出力される。
【0024】
このような画像伝送システム１０において、ビットストリームの受信や復号においてエラーが発生することが考えられる。その場合、デコーダ１２は、その復号画像を得ることができない。伝送する画像データが動画像であって、エラーが発生したフレームの次以降のフレームがインター符号化される場合、そのエラーが次以降のフレームにも伝搬し、次以降のフレームについても復号画像を得ることができない状態が続くおそれがあった。
【0025】
そこで、例えば、受信側におけるエラーの発生に応じて、ビットストリームの送信（つまり画像データの符号化）を制御することが考えられた。例えば、デコーダ１２が受信や復号に失敗した場合、そのエラーを示すエラー情報を、無線ネットワーク２１を介して、エンコーダ１１宛てに送信する。そのエラー情報を取得すると、エンコーダ１１は、そのエラーが後のフレームに伝搬しないように符号化を行う。
【0026】
このようにすることにより、デコーダ１２がより早期に復号画像を得ることができるようになる。
【0027】
近年、例えば非特許文献１に示されるように、3GPP（Third Generation Partnership Project）により、国際電気通信連合が定める規定IMT(International Mobile Telecommunications)-2020を満足する無線通信システムである第５世代移動通信システム（以下、５Ｇとも称する）の仕様の検討および作成が行われた。
【0028】
５Ｇでは用途に応じてユースケースが規定されている。例えば、大容量のデータ伝送が可能なユースケース（eMBB（enhance Mobile broadband））や、高信頼かつ低遅延のデータ伝送が可能なユースケース（URLLC（Ultra Reliable Low Latency Communication））等が規定された。例えば、無線ネットワークとして大容量ユースケース（eMBB）を想定することにより、高画質の動画像を送信することができる。例えば、図１の例のような画像伝送システム１０の場合、無線ネットワーク２１として大容量ユースケース（eMBB）を適用するとする。この場合、エンコーダ１１からデコーダ１２への動画像のビットストリームの伝送だけでなく、デコーダ１２からエンコーダ１１へのエラー情報の伝送も、この大容量ユースケース（eMBB）の無線ネットワーク２１を介して行われることになる。
【0029】
しかしながら、これらのユースケース毎に遅延時間の要求条件が異なる。例えば、大容量ユースケース（eMBB）の場合、無線区間の遅延時間の要求条件は4msである。これに対して、低遅延ユースケース（URLLC）の場合、無線区間の遅延時間の要求条件は0.5msである。
【0030】
したがって、図１の画像伝送システム１０の無線ネットワーク２１として、上述のように、高画質の動画像を送信するために大容量ユースケース（eMBB）を適用した場合、動画像のビットストリームに比べてデータ量の少ないエラー情報の伝送についても、ネットワーク遅延が、低遅延ユースケース（URLLC）の場合に比べて増大し得る。つまり、エラー情報に基づく符号化制御のタイミングが遅延するおそれがあった。この符号化制御のタイミングが遅延すると、デコーダ１２において復号画像を得ることができるようになるまでの時間も増大するおそれがあった。
【0031】
例えば、図２に示されるように、送信側において各フレームが符号化され、その符号化データが送信側から受信側に順次伝送され、受信側において復号されるとする。例えば、時刻ｔ１においてパケットにエラーが混入し、受信側において、時刻ｔ２にそのエラーが検出されたとする。図１の例のように、大容量ユースケース（eMBB）の無線ネットワーク２１を介してそのエラーの通知を行う場合、そのエラーは、ネットワーク遅延等により時刻ｔ３（例えば、10mS後）に送信側に通知される。したがって、そのエラーに基づく符号化制御は、時刻ｔ３において処理対象であるフレームP2の次のフレームに対して行われる。したがって、図２の例の場合、３フレーム分の復号画像を得ることができない（ロスする）。フレーム（復号画像）が得られなければ、その動画像（復号動画像）の画質は低減する。
【0032】
このように、大容量ユースケース（eMBB）の無線ネットワーク２１を介してビットストリームおよびエラー情報の伝送を行う場合、受信側におけるエラー発生により復号画像の画質が低減する期間が増大するおそれがあった。
【0033】
なお、遅延時間を低減させるために、図１の画像伝送システム１０の無線ネットワーク２１として、低遅延ユースケース（URLLC）を適用した場合、伝送データレートの不足により、動画像のビットストリームの伝送が困難になるおそれがあった。
【0034】
＜エラー情報伝送用ネットワークの構築＞
そこで、エラー情報の伝送を、ビットストリームの伝送に用いる無線通信路と異なる、ビットストリームの伝送に用いる無線通信路よりも低遅延の無線通信を介して行うようにする。
そこで、エラー情報の伝送を、ビットストリームの伝送に用いる無線通信路と異なる、ビットストリームの伝送に用いる無線通信路よりも低遅延の無線通信を介して行うようにする。
【0035】
例えば、情報処理方法において、第１無線通信路を介して伝送される動画像の符号化データを受信する受信装置から、その第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して伝送されるエラー情報を取得し、その取得されたエラー情報に基づいて、動画像の符号化を制御するようにする。
【0036】
例えば、情報処理装置において、第１無線通信路を介して伝送される動画像の符号化データを受信する受信装置から、その第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して伝送されるエラー情報を取得するエラー情報取得部と、そのエラー情報取得部により取得されたエラー情報に基づいて、動画像の符号化を制御する符号化制御部とを備えるようにする。
【0037】
また、例えば、情報処理方法において、第１無線通信路を介して伝送される動画像の符号化データを受信し、その符号化データに関するエラーを示す情報であるエラー情報を、その第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して、符号化データの送信元に送信するようにする。
【0038】
例えば、情報処理装置において、第１無線通信路を介して伝送される動画像の符号化データを受信するデータ受信部と、そのデータ受信部が受信する符号化データに関するエラーを示す情報であるエラー情報を、その第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して、符号化データの送信元に送信するエラー情報送信部とを備えるようにする。
【0039】
このようにすることにより、動画像の符号化データを伝送する際の、受信側におけるエラー発生により復号画像の画質が低減する期間の増大を抑制することができる。
【0040】
＜２．第１の実施の形態＞
＜画像伝送システム＞
図３は、本技術を適用した画像伝送システムの主な構成例を示す図である。図３に示される画像伝送システム１００は、動画像を伝送するシステムである。図３に示されるように、画像伝送システム１００は、画像符号化装置１１１および画像復号装置１１２を有する。画像符号化装置１１１および画像復号装置１１２は、無線ネットワーク１２１を介して、通信可能に互いに接続されている。また、画像符号化装置１１１および画像復号装置１１２は、無線ネットワーク１２２を介して、通信可能に互いに接続されている。
＜画像伝送システム＞
図３は、本技術を適用した画像伝送システムの主な構成例を示す図である。図３に示される画像伝送システム１００は、動画像を伝送するシステムである。図３に示されるように、画像伝送システム１００は、画像符号化装置１１１および画像復号装置１１２を有する。画像符号化装置１１１および画像復号装置１１２は、無線ネットワーク１２１を介して、通信可能に互いに接続されている。また、画像符号化装置１１１および画像復号装置１１２は、無線ネットワーク１２２を介して、通信可能に互いに接続されている。
【0041】
画像符号化装置１１１は、送信する動画像の画像データを取得し、符号化してその符号化データ（ビットストリーム）を生成する。画像符号化装置１１１は、そのビットストリームを、無線ネットワーク１２１を介して画像復号装置１１２へ送信する。画像復号装置１１２は、そのビットストリームを受信し、復号する。画像復号装置１１２は、その復号により得られた復号画像（復号動画像）の画像データを出力する。
【0042】
無線ネットワーク１２１は、無線ネットワーク１２２に比べて大容量のデータ伝送が可能な（伝送データレートが高い）無線通信路である。無線ネットワーク１２１の仕様は任意であるが、画像データのビットストリームの伝送が可能な伝送データレートを必要とする。
【0043】
また、画像復号装置１１２は、ビットストリームの受信または復号等においてエラーが発生した場合（つまり復号画像が得られない場合）、そのエラーを示すエラー情報を、無線ネットワーク１２２を介して画像符号化装置１１１へ送信する。画像符号化装置１１１は、そのエラー情報を受信する。画像符号化装置１１１は、受信したエラー情報等に基づいて、動画像の符号化を制御する。例えば、画像符号化装置１１１は、そのエラーが後のフレームに伝搬しないように符号化を行う。
【0044】
無線ネットワーク１２２は、無線ネットワーク１２１に比べて高信頼かつ低遅延のデータ伝送が可能な無線通信路である。無線ネットワーク１２２の仕様は任意であるが、無線ネットワーク１２１よりも短い遅延時間の要求条件を必要とする。
【0045】
無線ネットワーク１２１と無線ネットワーク１２２は、周波数帯域（チャネル）が互いに異なる無線通信路である。例えば、無線ネットワーク１２１として、５Ｇの大容量ユースケース（eMBB）を適用してもよい。例えば、無線ネットワーク１２２として、５Ｇの低遅延ユースケース（URLLC）を適用してもよい。以下においては、無線ネットワーク１２１が、５Ｇの大容量ユースケース（eMBB）の無線通信路であり、無線ネットワーク１２２が５Ｇの低遅延ユースケース（URLLC）の無線通信路であるものとして説明する。
【0046】
画像符号化装置１１１は、また、無線ネットワーク１２１の状態を監視し、無線ネットワーク１２１について、主観的な評価であるQoE（Quality of Experience）情報を得ることができる。画像符号化装置１１１は、そのQoE情報にも基づいて、動画像の符号化を制御することができる。このQoE情報は、どのような情報であってもよい。例えば、非特許文献５に記載の方法のように、MDT（Minimization of Drive Test）の仕組みを用いて端末から収集した、通信時の無線切断やハンドオーバーの失敗などの情報が、このQoE情報に含まれてもよい。
【0047】
なお、図３においては、画像符号化装置１１１と画像復号装置１１２が１台ずつ示されているが、これらの数は任意であり、例えば複数台であってもよい。つまり、画像伝送システム１００は、画像符号化装置１１１および画像復号装置１１２を、それぞれ任意の台数有するようにしてもよい。また、画像伝送システム１００が、画像符号化装置１１１および画像復号装置１１２以外の装置を有してもよい。さらに、画像伝送システム１００が、無線ネットワーク１２１および無線ネットワーク１２２以外の無線通信路を有していてもよい。
【0048】
【0049】
なお、図４においては、処理部やデータの流れ等の主なものを示しており、図４に示されるものが全てとは限らない。つまり、画像符号化装置１１１において、図４においてブロックとして示されていない処理部が存在したり、図４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【0050】
図４に示されるように、画像符号化装置１１１は、符号化部２１１、通信部２１２、および符号化制御部２１３を有する。通信部２１２は、データ送信部２２１、ネットワーク状態監視部２２２、およびエラー情報監視部２２３を有する。
【0051】
符号化部２１１は、画像符号化装置１１１に入力された画像データ（伝送対象の動画像）を符号化し、その符号化データ（ビットストリーム）を生成する。この符号化方法は任意である。例えば、上述した非特許文献２に記載のAVC（Advanced Video Coding）、非特許文献３に記載のHEVC（High Efficiency Video Coding）、または非特許文献４に記載のVVC（Versatile Video Coding）等を適用してもよい。もちろん、これら以外の符号化方式も適用し得る。符号化部２１１は、生成したビットストリームを、通信部２１２（のデータ送信部２２１）に供給する。
【0052】
通信部２１２は、通信に関する処理を行う。
【0053】
データ送信部２２１は、符号化部２１１から供給されるビットストリームを取得する。データ送信部２２１は、取得したビットストリームを、無線ネットワーク１２１（eMBB）を介して画像復号装置１１２へ送信する。
【0054】
ネットワーク状態監視部２２２は、無線ネットワーク１２１の状態を監視し、ネットワークについてのQoE情報を得る。ネットワーク状態監視部２２２は、得られたQoE情報を符号化制御部２１３に供給する。
【0055】
エラー情報監視部２２３は、無線ネットワーク１２２（URLLC）を介して画像復号装置１１２から伝送されるエラー情報を監視する。エラー情報監視部２２３は、画像復号装置１１２からエラー情報が送信された場合、そのエラー情報を、無線ネットワーク１２２を介して受信する。つまり、エラー情報監視部２２３は、無線ネットワーク１２１を介して伝送される動画像の符号化データを受信する画像復号装置１１２から無線ネットワーク１２１よりも低遅延な伝送が可能な無線ネットワーク１２２を介して伝送されるエラー情報を取得する。エラー情報監視部２２３は、受信したエラー情報を符号化制御部２１３に供給する。
【0056】
符号化制御部２１３は、符号化部２１１により実行される符号化処理を制御する。符号化制御部２１３は、符号化方法やパラメータ等を指定する符号化制御情報を符号化部２１１に供給することにより、符号化部２１１により実行される符号化処理を制御する。
【0057】
例えば、符号化制御部２１３は、エラー情報監視部２２３から供給されるエラー情報を取得し、そのエラー情報に基づいて符号化部２１１を制御する。例えば、符号化制御部２１３は、エラー情報を取得した場合、符号化部２１１に対して、そのエラー情報が示すエラーが後のフレームに伝搬しないように符号化処理を実行させる。
【0058】
また、符号化制御部２１３は、ネットワーク状態監視部２２２から供給されるQoE情報を取得し、そのQoE情報に基づいて符号化部２１１を制御する。例えば、符号化制御部２１３は、符号化部２１１に対して、無線ネットワーク１２１の通信状況が改善するように符号化処理を実行させる。
【0059】
【0060】
なお、図５においては、処理部やデータの流れ等の主なものを示しており、図５に示されるものが全てとは限らない。つまり、符号化部２１１において、図５においてブロックとして示されていない処理部が存在したり、図５において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【0061】
図５に示されるように、符号化部２１１は、並べ替えバッファ２５１、演算部２５２、係数変換部２５３、量子化部２５４、符号化部２５５、および蓄積バッファ２５６を有する。また、符号化部２１１は、逆量子化部２５７、逆係数変換部２５８、演算部２５９、インループフィルタ部２６０、およびフレームメモリ２６１を有する。さらに、符号化部２１１は、予測部２６２およびレート制御部２６３を有する。予測部２６２は、インター予測部２７１およびイントラ予測部２７２を有する。
【0062】
符号化部２１１には、動画像の各フレーム（入力画像）がその再生順（表示順）に入力される。並べ替えバッファ２５１は、各入力画像をその再生順（表示順）に取得し、保持（記憶）する。並べ替えバッファ２５１は、その入力画像を符号化順（復号順）に並べ替えたり、処理単位のブロックに分割したりする。並べ替えバッファ２５１は、処理後の各入力画像を演算部２５２に供給する。
【0063】
演算部２５２は、並べ替えバッファ２５１から供給される処理単位のブロックに対応する画像から、予測部２６２より供給される予測画像を減算して、残差データを導出し、それを係数変換部２５３に供給する。
【0064】
係数変換部２５３は、演算部２５２から供給される残差データを取得する。また、係数変換部２５３は、その残差データを所定の方法で係数変換し、変換係数データを導出する。この係数変換処理の方法は任意である。例えば、直交変換であってもよい。係数変換部２５３は、導出した変換係数データを量子化部２５４に供給する。
【0065】
量子化部２５４は、係数変換部２５３から供給される変換係数データを取得する。また、量子化部２５４は、その変換係数データを量子化し、量子化係数データを導出する。その際、量子化部２５４は、レート制御部２６３により指定されるレートで量子化を行う。量子化部２５４は、導出した量子化係数データを、符号化部２５５および逆量子化部２５７に供給する。
【0066】
符号化部２５５は、量子化部２５４から供給された量子化係数データを取得する。また、符号化部２５５は、インループフィルタ部２６０から供給されるフィルタ係数等のフィルタに関する情報を取得する。さらに、符号化部２５５は、予測部２６２から供給される最適な予測モードに関する情報を取得する。
【0067】
符号化部２５５は、それらの情報をエントロピ符号化（可逆符号化）し、ビット列（符号化データ）を生成し、多重化する。このエントロピ符号化の方法は任意である。例えば、符号化部２５５は、このエントロピ符号化として、CABAC（Context-based Adaptive Binary Arithmetic Code）を適用し得る。また、符号化部２５５は、このエントロピ符号化として、CAVLC（Context-based Adaptive Variable Length Code）を適用し得る。もちろんこれらの例以外の符号化方法も適用可能である。
【0068】
符号化部２５５は、以上のようにして導出した符号化データを蓄積バッファ２５６に供給する。
【0069】
蓄積バッファ２５６は、符号化部２５５において得られた符号化データを、一時的に保持する。蓄積バッファ２５６は、所定のタイミングにおいて、保持している符号化データを、例えばビットストリーム等としてデータ送信部２２１に供給する。
【0070】
逆量子化部２５７は、量子化部２５４から供給される量子化係数データを取得する。逆量子化部２５７は、その量子化係数データを逆量子化し、変換係数データを導出する。この逆量子化処理は、量子化部２５４において実行される量子化処理の逆処理である。逆量子化部２５７は、導出した変換係数データを逆係数変換部２５８に供給する。
【0071】
逆係数変換部２５８は、逆量子化部２５７から供給される変換係数データを取得する。逆係数変換部２５８は、その変換係数データを所定の方法で逆係数変換し、残差データを導出する。この逆係数変換処理は、係数変換部２５３において実行される係数変換処理の逆処理である。例えば、係数変換部２５３が残差データに対して直交変換処理を実行する場合、逆係数変換部２５８は、変換係数データに対して、その直交変換処理の逆処理である逆直交変換処理を実行する。逆係数変換部２５８は、導出した残差データを演算部２５９に供給する。
【0072】
演算部２５９は、逆係数変換部２５８から供給される残差データと、予測部２６２から供給される予測画像を取得する。演算部２５９は、その残差データと、その残差データに対応する予測画像とを加算し、局所復号画像を導出する。演算部２５９は、導出した局所復号画像をインループフィルタ部２６０およびフレームメモリ２６１に供給する。
【0073】
インループフィルタ部２６０は、演算部２５９から供給される局所復号画像を取得する。また、インループフィルタ部２６０は、並べ替えバッファ２５１から供給される入力画像（元画像）を取得する。なお、インループフィルタ部２６０に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。例えば、必要に応じて、予測モード、動き情報、符号量目標値、量子化パラメータqP、ピクチャタイプ、ブロック（CU、CTU等）の情報等がインループフィルタ部２６０に入力されるようにしてもよい。
【0074】
インループフィルタ部２６０は、局所復号画像に対して適宜フィルタ処理を実行する。インループフィルタ部２６０は、必要に応じて入力画像（元画像）や、その他の入力情報もそのフィルタ処理に用いる。
【0075】
例えば、インループフィルタ部２６０は、そのフィルタ処理として、バイラテラルフィルタを適用し得る。例えば、インループフィルタ部２６０は、そのフィルタ処理として、デブロッキングフィルタ（DBF（DeBlocking Filter））を適用し得る。例えば、インループフィルタ部２６０は、そのフィルタ処理として、適応オフセットフィルタ（SAO（Sample Adaptive Offset））を適用し得る。例えば、インループフィルタ部２６０は、そのフィルタ処理として、適応ループフィルタ（ALF(Adaptive Loop Filter)）を適用し得る。また、インループフィルタ部２６０は、フィルタ処理として、これらの内の複数のフィルタを組み合わせて適用し得る。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。例えば、インループフィルタ部２６０は、フィルタ処理として、バイラテラルフィルタ、デブロッキングフィルタ、適応オフセットフィルタ、適応ループフィルタの４つのインループフィルタをこの順に適用する。
【0076】
もちろん、インループフィルタ部２６０が実行するフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部２６０がウィーナーフィルタ等を適用するようにしてもよい。
【0077】
インループフィルタ部２６０は、フィルタ処理された局所復号画像をフレームメモリ２６１に供給する。なお、例えばフィルタ係数等のフィルタに関する情報を復号側に伝送する場合、インループフィルタ部２６０は、そのフィルタに関する情報を符号化部２５５に供給する。
【0078】
フレームメモリ２６１は、画像に関するデータの記憶に関する処理を実行する。例えば、フレームメモリ２６１は、演算部２５９から供給される局所復号画像や、インループフィルタ部２６０から供給されるフィルタ処理された局所復号画像を取得し、それを保持（記憶）する。また、フレームメモリ２６１は、その局所復号画像を用いてピクチャ単位毎の復号画像を再構築し、保持する（フレームメモリ２６１内のバッファへ格納する）。フレームメモリ２６１は、予測部２６２の要求に応じて、その復号画像（またはその一部）を予測部２６２に供給する。
【0079】
予測部２６２は、予測画像の生成に関する処理を実行する。例えば、予測部２６２は、並べ替えバッファ２５１から供給される入力画像（元画像）を取得する。例えば、予測部２６２は、フレームメモリ２６１から読み出す復号画像（またはその一部）を取得する。
【0080】
予測部２６２のインター予測部２７１は、他のフレームの復号画像を参照画像として参照してインター予測と動き補償を実行し、予測画像を生成する。また、予測部２６２のイントラ予測部２７２は、カレントフレームの復号画像を参照画像として参照してイントラ予測を実行し、予測画像を生成する。
【0081】
予測部２６２は、各予測モードで生成された予測画像を評価し、その評価結果に基づいて最適な予測モードを選択する。そして、予測部２６２は、その最適な予測モードで生成された予測画像を演算部２５２および演算部２５９に供給する。また、予測部２６２は、以上の処理により選択した最適な予測モードに関する情報を、必要に応じて符号化部２５５に供給する。
【0082】
なお、予測部２６２（のインター予測部２７１およびイントラ予測部２７２）は、符号化制御部２１３の制御に従って予測を実行することもできる。例えば、予測部２６２は、符号化制御部２１３から供給される符号化制御情報を取得し、その符号化制御情報に従って、イントラ予測やインター予測を実行することができる。
【0083】
レート制御部２６３は、蓄積バッファ２５６に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部２５４の量子化動作のレートを制御する。
【0084】
【0085】
なお、図６においては、処理部やデータの流れ等の主なものを示しており、図６に示されるものが全てとは限らない。つまり、画像復号装置１１２において、図６においてブロックとして示されていない処理部が存在したり、図６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【0086】
図６に示されるように、画像復号装置１１２は、通信部３１１、復号制御部３１２、および復号部３１３を有する。通信部３１１は、データ受信部３２１、受信エラー検出部３２２、およびエラー情報送信部３２３を有する。
【0087】
通信部３１１は、通信に関する処理を行う。
【0088】
データ受信部３２１は、無線ネットワーク１２１（eMBB）を介して画像符号化装置１１１から伝送されるビットストリームを受信する。データ受信部３２１は、受信したビットストリームを復号部３１３に供給する。
【0089】
受信エラー検出部３２２は、データ受信部３２１による受信状況を監視し、データ受信部３２１において発生するエラー（受信エラー）を検出する。受信エラー検出部３２２は、受信エラーを検出した場合、その受信エラーを示すエラー情報をエラー情報送信部３２３に供給する。また、受信エラー検出部３２２は、そのエラー検出結果（受信エラーを検出したか否かを示す情報等）を復号制御部３１２に供給する。
【0090】
エラー情報送信部３２３は、エラー情報を、無線ネットワーク１２２（URLLC）を介して画像符号化装置１１１へ送信する。このエラー情報は、無線ネットワーク１２２（URLLC）を介して画像符号化装置１１１へ伝送され、エラー情報監視部２２３により受信される。
【0091】
つまり、エラー情報送信部３２３は、データ受信部３２１が受信する符号化データに関するエラーを示す情報であるエラー情報を、無線ネットワーク１２１よりも低遅延な伝送が可能な無線ネットワーク１２２を介して、その符号化データの送信元に送信する。
【0092】
エラー情報送信部３２３は、受信エラー検出部３２２から供給される、受信エラーを示すエラー情報を取得する。また、エラー情報送信部３２３は、復号部３１３から供給される、復号エラーを示すエラー情報を取得する。エラー情報送信部３２３は、取得したそれらのエラー情報を画像符号化装置１１１へ送信する。
【0093】
つまり、エラー情報送信部３２３が送信するエラー情報には、符号化データの受信の際のエラーを示す情報を含み得る。また、エラー情報送信部３２３が送信するエラー情報には、符号化データの復号の際のエラーを示す情報を含み得る。もちろん、エラー情報送信部３２３が送信するエラー情報に、その両方の情報が含まれていてもよいし、その他のエラーを示す情報が含まれていてもよい。
【0094】
復号制御部３１２は、復号部３１３により実行される復号処理を制御する。例えば、復号制御部３１２は、復号方法やパラメータ等を指定する復号制御情報を復号部３１３に供給することにより、復号部３１３により実行される復号処理を制御する。
【0095】
例えば、復号制御部３１２は、受信エラー検出部３２２から供給されるエラー検出結果を取得し、そのエラー検出結果に基づいて符号化部２１１を制御する。
【0096】
復号部３１３は、データ受信部３２１から供給されるビットストリームを取得する。復号部３１３は、そのビットストリームを復号し、復号画像（伝送対象の復号動画像）の画像データを生成する。復号部３１３は、その画像データを画像復号装置１１２の外部に出力する。なお、復号部３１３は、復号制御部３１２の制御に従って、この復号処理を実行することができる。また、復号部３１３は、その復号処理においてエラー（復号エラー）が発生した場合、その復号エラーを示すエラー情報をエラー情報送信部３２３に供給する。
【0097】
【0098】
なお、図７においては、処理部やデータの流れ等の主なものを示しており、図７に示されるものが全てとは限らない。つまり、復号部３１３において、図７においてブロックとして示されていない処理部が存在したり、図７において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【0099】
図７に示されるように、復号部３１３は、蓄積バッファ３５１、復号部３５２、逆量子化部３５３、逆係数変換部３５４、演算部３５５、インループフィルタ部３５６、並べ替えバッファ３５７、フレームメモリ３５８、および予測部３５９を有する。
【0100】
蓄積バッファ３５１は、データ受信部３２１から供給されたビットストリームを取得し、保持（記憶）する。蓄積バッファ３５１は、所定のタイミングにおいて、または、所定の条件が整う等した場合、蓄積しているビットストリームに含まれる符号化データを抽出し、復号部３５２に供給する。
【0101】
復号部３５２は、蓄積バッファ３５１から供給される符号化データを取得する。復号部３５２は、取得した符号化データを復号する。その際、復号部３５２は、例えばCABACやCAVLC等のエントロピ復号（可逆復号）を適用する。つまり、復号部３５２は、符号化部２５５が実行する符号化処理の符号化方式に対応する復号方式で符号化データを復号する。復号部３５２は、符号化データを復号し、量子化係数データを導出する。復号部３５２は、導出した量子化係数データを逆量子化部３５３に供給する。
【0102】
また、復号部３５２は、その復号処理においてエラー（復号エラー）が発生した場合、その復号エラーを示すエラー情報を生成し、エラー情報送信部３２３に供給する。
【0103】
逆量子化部３５３は、量子化係数データに対して逆量子化処理を実行し、変換係数データを導出する。この逆量子化処理は、量子化部２５４において実行される量子化処理の逆処理である。逆量子化部３５３は、導出した変換係数データを逆係数変換部３５４に供給する。
【0104】
逆係数変換部３５４は、逆量子化部３５３から供給される変換係数データを取得する。逆係数変換部３５４は、その変換係数データに対して逆係数変換処理を実行し、残差データを導出する。この逆係数変換処理は、係数変換部２５３において実行される係数変換処理の逆処理である。逆係数変換部３５４は、導出した残差データを演算部３５５に供給する。
【0105】
演算部３５５は、逆係数変換部３５４から供給される残差データと、予測部３５９から供給される予測画像とを取得する。演算部３５５は、その残差データとその残差データに対応する予測画像とを加算し、局所復号画像を導出する。演算部３５５は、導出した局所復号画像を、インループフィルタ部３５６およびフレームメモリ３５８に供給する。
【0106】
インループフィルタ部３５６は、演算部３５５から供給される局所復号画像を取得する。インループフィルタ部３５６は、その局所復号画像に対して適宜フィルタ処理を実行する。例えば、インループフィルタ部３５６は、そのフィルタ処理として、バイラテラルフィルタを適用し得る。例えば、インループフィルタ部３５６は、そのフィルタ処理として、デブロッキングフィルタ（DBF（DeBlocking Filter））を適用し得る。例えば、インループフィルタ部３５６は、そのフィルタ処理として、適応オフセットフィルタ（SAO（Sample Adaptive Offset））を適用し得る。例えば、インループフィルタ部３５６は、そのフィルタ処理として、適応ループフィルタ（ALF(Adaptive Loop Filter)）を適用し得る。また、インループフィルタ部３５６は、フィルタ処理として、これらの内の複数のフィルタを組み合わせて適用し得る。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。例えば、インループフィルタ部３５６は、フィルタ処理として、バイラテラルフィルタ、デブロッキングフィルタ、適応オフセットフィルタ、適応ループフィルタの４つのインループフィルタをこの順に適用する。もちろん、インループフィルタ部３５６が実行するフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部３５６がウィーナーフィルタ等を適用するようにしてもよい。
【0107】
インループフィルタ部３５６は、インループフィルタ部２６０により実行されたフィルタ処理に対応するフィルタ処理を実行する。インループフィルタ部３５６は、フィルタ処理された局所復号画像を並べ替えバッファ３５７およびフレームメモリ３５８に供給する。
【0108】
並べ替えバッファ３５７は、インループフィルタ部３５６から供給された局所復号画像を入力とし、それを保持（記憶）する。並べ替えバッファ３５７は、その局所復号画像を用いてピクチャ単位毎の復号画像を再構築し、保持する（バッファ内に格納する）。並べ替えバッファ３５７は、得られた復号画像を、復号順から再生順に並べ替える。並べ替えバッファ３５７は、再生順に並べ替えた復号画像群を動画像データとして画像復号装置１１２の外部に出力する。
【0109】
フレームメモリ３５８は、演算部３５５より供給される局所復号画像を取得し、ピクチャ単位毎の復号画像を再構築して、フレームメモリ３５８内のバッファへ格納する。また、フレームメモリ３５８は、インループフィルタ部３５６から供給される、インループフィルタ処理された局所復号画像を取得し、ピクチャ単位毎の復号画像を再構築して、フレームメモリ３５８内のバッファへ格納する。フレームメモリ３５８は、適宜、その記憶している復号画像（またはその一部）を参照画像として予測部３５９に供給する。
【0110】
予測部３５９は、フレームメモリ３５８から読み出す復号画像（またはその一部）を取得する。予測部３５９は、符号化の際に採用された予測モードで予測処理を実行し、復号画像を参照画像として参照して予測画像を生成する。予測部３５９は、生成した予測画像を演算部３５５に供給する。
【0111】
＜画像符号化処理の流れ＞
次に、画像伝送システム１００において実行される処理について説明する。図８のフローチャートを参照して、画像符号化装置１１１により実行される画像符号化処理の流れの例を説明する。
次に、画像伝送システム１００において実行される処理について説明する。図８のフローチャートを参照して、画像符号化装置１１１により実行される画像符号化処理の流れの例を説明する。
【0112】
画像符号化処理が開始されると、符号化部２１１は、ステップＳ２０１において、送信対象の動画像の画像データを取得する。
【0113】
ステップＳ２０２において、符号化部２１１は、符号化制御部２１３の符号化制御に従って、ステップＳ２０１において取得した画像データを符号化し、ビットストリームを生成する。
【0114】
ステップＳ２０３において、データ送信部２２１は、ステップＳ２０２において生成されたビットストリームを、無線ネットワーク１２１（eMBB）を介して画像復号装置１１２へ送信する。
【0115】
ステップＳ２０４において、ネットワーク状態監視部２２２は、無線ネットワーク１２１の状態を監視し、適宜QoE情報を符号化制御部２１３に供給する。
【0116】
ステップＳ２０５において、エラー情報監視部２２３は、無線ネットワーク１２２を介してエラー情報の伝送を監視する。無線ネットワーク１２２を介して画像復号装置１１２からエラー情報が伝送された場合、エラー情報監視部２２３は、そのエラー情報を受信し、符号化制御部２１３に供給する。
【0117】
ステップＳ２０６において、符号化制御部２１３は、ステップＳ２０４およびステップＳ２０５の処理結果（監視結果）に基づいて、ステップＳ２０２において実行される符号化処理を制御する。
【0118】
ステップＳ２０７において、符号化制御部２１３は、画像符号化処理を終了するか否かを判定する。動画像の符号化が継続しており、画像符号化処理を終了しないと判定された場合、処理はステップＳ２０１に戻り、それ以降の処理を繰り返す。
【0119】
また、ステップＳ２０７において、画像符号化処理を終了すると判定された場合、画像符号化処理が終了する。
【0120】
＜画像復号処理の流れ＞
次に、画像復号装置１１２により実行される画像復号処理の流れの例を、図９のフローチャートを参照して説明する。
次に、画像復号装置１１２により実行される画像復号処理の流れの例を、図９のフローチャートを参照して説明する。
【0121】
画像復号処理が開始されると、データ受信部３２１は、ステップＳ３０１において、無線ネットワーク１２１（eMBB）を介して画像符号化装置１１１から伝送されるビットストリームを受信する。
【0122】
ステップＳ３０２において、受信エラー検出部３２２は、ステップＳ３０１の受信処理を監視し、受信エラーが発生した場合、その受信エラーを検出する。
【0123】
ステップＳ３０３において、復号制御部３１２は、ステップＳ３０２の受信エラー検出結果に基づいて、後述するステップＳ３０４の処理（復号処理）を制御する。
【0124】
ステップＳ３０４において、復号部３１３は、ステップＳ３０３の復号制御に従って、ステップＳ３０１において受信されたビットストリームを復号し、復号動画像の画像データを生成する。この画像データは、画像復号装置１１２の外部に出力される。
【0125】
ステップＳ３０５において、復号部３１３は、ステップＳ３０４の復号処理において復号エラーが発生した場合、その復号エラーを検出する。
【0126】
ステップＳ３０６において、エラー情報送信部３２３は、エラーが検出されたか否かを判定する。すなわち、エラー情報送信部３２３は、ステップＳ３０２において受信エラーが検出されたか否か、ステップＳ３０５において復号エラーが検出されたか否かを判定する。エラーが検出された、すなわち、受信エラーおよび復号エラーの内の少なくともいずれか一方が検出された場合、処理はステップＳ３０７に進む。
【0127】
ステップＳ３０７において、エラー情報送信部３２３は、検出されたエラーを示すエラー情報を、無線ネットワーク１２２（URLLC）を介して画像符号化装置１１１へ送信する。ステップＳ３０７の処理が終了すると、処理はステップＳ３０８に進む。
【0128】
また、ステップＳ３０６において、エラーが検出されなかった、すなわち、受信エラーおよび復号エラーの両方が検出されなかったと判定された場合、ステップＳ３０７の処理がスキップされ、処理はステップＳ３０８に進む。
【0129】
ステップＳ３０８において、エラー情報送信部３２３は、画像復号処理を終了するか否かを判定する。ビットストリームの伝送が継続しており、画像復号処理を終了しないと判定された場合、処理はステップＳ３０１に戻り、それ以降処理を繰り返す。
【0130】
また、ステップＳ３０８において、画像復号処理を終了すると判定された場合、画像復号処理が終了する。
【0131】
以上のように、動画像のビットストリームを伝送する無線ネットワーク１２１（eMBB）よりも低遅延な通信が可能な無線ネットワーク１２２（URLLC）を介してエラー情報を伝送することにより、図１０に示されるように、エラー情報の伝送に係る遅延を、図２の例よりも短くすることができる。例えば、図１０の場合、復号画像の損失を２フレームにすることができる。
【0132】
つまり、動画像の符号化データを伝送する際の、受信側におけるエラー発生により復号画像の画質が低減する期間の増大を抑制することができる。
【0133】
＜３．第２の実施の形態＞
＜イントラストライプ＞
なお、エラーが後のフレームに伝搬しないようにする符号化制御の方法は任意である。例えば、画像符号化においてイントラストライプと称する技術が適用される場合、このイントラストライプを利用してもよい。
＜イントラストライプ＞
なお、エラーが後のフレームに伝搬しないようにする符号化制御の方法は任意である。例えば、画像符号化においてイントラストライプと称する技術が適用される場合、このイントラストライプを利用してもよい。
【0134】
例えば、図１１のＡに示されるように、動画像の各フレームが、イントラ符号化が行われるフレームであるイントラフレーム（Ｉ）と、インター符号化が行われるフレームであるインターフレーム（Ｐ）とにより構成されるとする。
【0135】
その場合、図１１のＢに示されるように、イントラフレームの符号量が、インターフレームの符号量に対して極端に増大してしまう可能性がある。符号量が大きいイントラフレームに合わせる必要があるため、バッファの容量が増大し、遅延が増大するおそれがあった。
【0136】
そこで、図１２のＡに示されるように、全フレームをインターフレーム（Ｐ）とし、各フレームの一部の領域をイントラ領域に設定し、イントラ符号化するようにする。このイントラ領域を、イントラストライプとも称する。図１１のＢに示されるように、イントラストライプ（イントラ領域）の位置をフレーム毎に移動させ、所定のフレーム数で巡回するようにする。例えば、フレームをＮ分割し、その１つの部分領域をイントラ領域に設定する。そして、フレーム毎に１つずつイントラ領域を隣の部分領域に移動させ、Ｎフレーム後に元の位置に戻るようにする。
【0137】
このようにすることにより、図１３に示されるように、各フレームの符号量を、図１１のＢの例に比べて平滑化することができる。これにより、バッファの容量の増大を抑制することができ、遅延の増大を抑制することができる。
【0138】
なお、エラーが発生した場合も、イントラ領域がフレーム内を一巡することにより、１フレーム分の復号画像を得ることができる。例えば、特許文献１に記載の方法のようにベクトル制御を行うことによりエラーの伝搬を抑制することができる。
【0139】
しかしながら、この方法の場合、ベクトル制御することにより、イントラ領域の復号画像の画質が低減するおそれがあった。そのため、１フレーム分の復号画像が得られても、その画質が低減しているおそれがあった。したがって、画像の符号化データを伝送する際の、受信側におけるエラー発生により復号画像の画質が低減する期間が増大するおそれがあった。
【0140】
＜イントラストライプの位置制御＞
そこで、エラー情報が取得された場合、イントラストライプの位置を初期位置に戻すように、符号化制御を行ってもよい。
そこで、エラー情報が取得された場合、イントラストライプの位置を初期位置に戻すように、符号化制御を行ってもよい。
【0141】
つまり、伝送対象の動画像が、各フレームの符号化の際に、フレームの一部がイントラ領域に設定されてイントラ符号化され、そのイントラ領域の位置は、所定のフレーム数で巡回するように、フレーム毎に所定の向きに移動されるとする。このような場合において、エラー情報監視部２２３によりエラー情報が取得されたときは、符号化制御部２１３が、イントラ領域の位置を初期位置に戻すようにしてもよい。
【0142】
例えば、図１２のＢのように、イントラ領域が、フレームの垂直方向に並ぶ複数のブロックにより構成される、フレームの部分領域であり、イントラ領域の位置は、フレームの左端を初期位置とし、フレーム毎に右向きに移動されるとする。このような場合において、エラー情報監視部２２３によりエラー情報が取得された場合、符号化制御部２１３が、イントラ領域の位置をフレームの左端に戻すようにしてもよい。
【0143】
例えば、図１４に示されるように、Pic0においてエラーが発生した場合、符号化制御部２１３は、符号化部２１１を制御し、Pic1のイントラストライプの位置を初期位置（フレームの左端）に移動させる。
【0144】
このようにすることにより、画質を低減させずに、イントラストライプの復号画像を得ることができる。そのため、１フレーム分の復号画像が得られた時点で、画質が低減していないフレーム画像を得ることができる。したがって、画像の符号化データを伝送する際の、受信側におけるエラー発生により復号画像の画質が低減する期間の増大を抑制することができる。
【0145】
【0146】
符号化制御処理が開始されると、符号化制御部２１３は、ステップＳ４０１において、エラーが検出されたか否かを判定する。エラーが検出されたと判定された場合、処理はステップＳ４０２に進む。
【0147】
ステップＳ４０２において、符号化制御部２１３は、符号化部２１１を制御し、イントラストライプをフレームの左端（初期位置）に引き戻す。ステップＳ４０２の処理が終了すると、符号化制御処理が終了し、処理は、図８のステップＳ２０７に進む。
【0148】
また、ステップＳ４０１において、エラーが検出されていないと判定された場合、ステップＳ４０２の処理がスキップされ、符号化制御処理が終了し、処理は、図８のステップＳ２０７に進む。
【0149】
このように符号化制御処理を実行することにより、画像の符号化データを伝送する際の、受信側におけるエラー発生により復号画像の画質が低減する期間の増大を抑制することができる。
【0150】
なお、イントラストライプの境界は、エラー領域からエラーデータが伝搬しないように、モード制約をかけてもよい。例えば、非特許文献４に記載のVVCの場合、イントラストライプ境界にVirtual boundaryの設定を行い、符号化することによって、エラーデータの引き込みを防ぐことができる。
【0151】
＜４．第３の実施の形態＞
＜イントラフレームの挿入＞
例えば、図１１のＡに示されるように、動画像の各フレームが、イントラ符号化が行われるフレームであるイントラフレーム（Ｉ）と、インター符号化が行われるフレームであるインターフレーム（Ｐ）とにより構成されるとする。その場合、図１６に示されるように、イントラフレームを挿入するように制御してもよい。
＜イントラフレームの挿入＞
例えば、図１１のＡに示されるように、動画像の各フレームが、イントラ符号化が行われるフレームであるイントラフレーム（Ｉ）と、インター符号化が行われるフレームであるインターフレーム（Ｐ）とにより構成されるとする。その場合、図１６に示されるように、イントラフレームを挿入するように制御してもよい。
【0152】
つまり、伝送対象の動画像は、イントラ符号化されるフレームであるイントラフレームを含むとする。その場合、エラー情報監視部２２３によりエラー情報が取得されたときは、符号化制御部２１３が、次に符号化されるフレームをイントラフレームに設定してもよい。
【0153】
例えば、図１６に示されるように、Pic0においてエラーが発生した場合、符号化制御部２１３は、符号化部２１１を制御し、Pic1をイントラフレームに設定する。
【0154】
このようにすることにより、Pic2以降のフレームにはエラーを伝搬させないようにすることができる。したがって、画像の符号化データを伝送する際の、受信側におけるエラー発生により復号画像の画質が低減する期間の増大を抑制することができる。
【0155】
【0156】
符号化制御処理が開始されると、符号化制御部２１３は、ステップＳ４３１において、エラーが検出されたか否かを判定する。エラーが検出されたと判定された場合、処理はステップＳ４３２に進む。
【0157】
ステップＳ４３２において、符号化制御部２１３は、符号化部２１１を制御し、イントラフレームを挿入する。ステップＳ４３２の処理が終了すると、符号化制御処理が終了し、処理は、図８のステップＳ２０７に進む。
【0158】
また、ステップＳ４３１において、エラーが検出されていないと判定された場合、ステップＳ４３２の処理がスキップされ、符号化制御処理が終了し、処理は、図８のステップＳ２０７に進む。
【0159】
このように符号化制御処理を実行することにより、画像の符号化データを伝送する際の、受信側におけるエラー発生により復号画像の画質が低減する期間の増大を抑制することができる。
【0160】
＜５．第４の実施の形態＞
＜画像伝送システムのその他の構成１＞
画像伝送システム１００の構成は、図３の例に限定されない。例えば、図１８に示されるように、ビットストリームの伝送とエラー情報の伝送とを、互いに同一チャネル（同一周波数帯域）において行うようにしてもよい。
＜画像伝送システムのその他の構成１＞
画像伝送システム１００の構成は、図３の例に限定されない。例えば、図１８に示されるように、ビットストリームの伝送とエラー情報の伝送とを、互いに同一チャネル（同一周波数帯域）において行うようにしてもよい。
【0161】
図１８の例の場合、ビットストリームの伝送は、無線ネットワーク５０１の下りリンク５１１において行われ、エラー情報の伝送は、同じ無線ネットワーク５０１（すなわち、同一周波数帯）の上りリンク５１２において行われている。このようにすることにより、ビットストリームの伝送は、大容量ユースケース（eMBB）の通信により行い、エラー情報の伝送は、低遅延ユースケース（URLLC）の通信により行うことができる。
【0162】
つまり、ビットストリームを伝送する第１無線通信路を、エラー情報を伝送する第２無線通信路と同一の周波数帯の下りリンクであって、国際電気通信連合が定める規定IMT（International Mobile Telecommunications）-2020を満足する無線通信システムの、eMBB（enhanced Mobile broadband）の要件を満たす無線通信路とし、第２無線通信路を、第１無線通信路と同一の周波数帯の上りリンクであって、上記無線通信システムの、URLLC（Ultra Reliable Low Latency Communication）の要件を満たす無線通信路としてもよい。
【0163】
このようにすることにより、図３の例の場合と同様に、画像の符号化データを伝送する際の、受信側におけるエラー発生により復号画像の画質が低減する期間の増大を抑制することができる。
【0164】
なお、下りリンクのeMBB通信による干渉により、URLLC通信の品質が低下するのを抑制するために（すなわち、上りリンクのURLLC通信の品質を確保するために）、エラー発生期間中はeMBB通信を止める制御を行ってもよい。
【0165】
＜画像伝送システムのその他の構成２＞
また、例えば、図１９に示されるように、ビットストリームの伝送とエラー情報の伝送とを、互いに異なるネットワークスライスにおいて行うようにしてもよい。例えば、５Ｇにおいては、ネットワークスライシングにより、ネットワークを複数のネットワークスライスに仮想的に分割し、それぞれを利用することができる。このような機能を利用して、ビットストリームの伝送とエラー情報の伝送とを行うようにしてもよい。
また、例えば、図１９に示されるように、ビットストリームの伝送とエラー情報の伝送とを、互いに異なるネットワークスライスにおいて行うようにしてもよい。例えば、５Ｇにおいては、ネットワークスライシングにより、ネットワークを複数のネットワークスライスに仮想的に分割し、それぞれを利用することができる。このような機能を利用して、ビットストリームの伝送とエラー情報の伝送とを行うようにしてもよい。
【0166】
図１９の例の場合、ビットストリームの伝送は、５Ｇネットワーク５４１のあるネットワークスライス５５１において行われ、エラー情報の伝送は、同じ５Ｇネットワーク５４１の他のネットワークスライス５５２において行われている。このようにすることにより、ビットストリームの伝送は、大容量ユースケース（eMBB）の通信により行い、エラー情報の伝送は、低遅延ユースケース（URLLC）の通信により行うことができる。
【0167】
つまり、ビットストリームを伝送する第１無線通信路を、エラー情報を伝送する第２無線通信路と異なるネットワークスライスであって、国際電気通信連合が定める規定IMT（International Mobile Telecommunications）-2020を満足する無線通信システムの、eMBB（enhance Mobile broadband）の要件を満たす無線通信路とし、第２無線通信路を、第１無線通信路と異なるネットワークスライスであって、上記無線通信システムの、URLLC（Ultra Reliable Low Latency Communication）の要件を満たす無線通信路としてもよい。
【0168】
このようにすることにより、図３の例の場合と同様に、画像の符号化データを伝送する際の、受信側におけるエラー発生により復号画像の画質が低減する期間の増大を抑制することができる。
【0169】
＜画像伝送システムのその他の構成３＞
また、例えば、図２０に示されるように、ビットストリームの伝送とエラー情報の伝送とを、互いに異なる無線通信規格の通信路において行うようにしてもよい。
また、例えば、図２０に示されるように、ビットストリームの伝送とエラー情報の伝送とを、互いに異なる無線通信規格の通信路において行うようにしてもよい。
【0170】
図２０の例の場合、ビットストリームの伝送は、無線ネットワーク５７１において行われ、エラー情報の伝送は、無線ネットワーク５７１と異なる通信規格の無線ネットワーク５７２において行われる。
【0171】
無線ネットワーク５７１は、例えば、IMT（International Mobile Telecommunications）-Advanced規格に準拠する無線通信路（以下、４Ｇとも称する）であってもよい。また、無線ネットワーク５７１は、3GPP（Third Generation Partnership Project）により策定されたLTE（Long Term Evolution）に準拠する無線通信路であってもよい。さらに、無線ネットワーク５７１は、IEEE（Institute of Electrical and Electronics Engineers）802.11規格を使用した無線通信路（以下、Wi-Fi（登録商標）とも称する）であってもよい。もちろん、無線ネットワーク５７１が、これらの通信規格以外の通信路であってもよい。これに対して、無線ネットワーク５７２においては、例えば、５Ｇの無線通信路としてもよい。
【0172】
このようにすることにより、ビットストリームの伝送は、大容量の通信により行い、エラー情報の伝送は、低遅延ユースケース（URLLC）の通信により行うことができる。
【0173】
つまり、ビットストリームを伝送する第１無線通信路を、国際電気通信連合が定める規定IMT（International Mobile Telecommunications）-Advanced規格に準拠する無線通信路、3GPP（Third Generation Partnership Project）により策定されたLTE（Long Term Evolution）に準拠する無線通信路、または、IEEE（Institute of Electrical and Electronics Engineers）802.11規格を使用した無線通信路としてもよい。また、エラー情報を伝送する第２無線通信路を、国際電気通信連合が定める規定IMT-2020を満足する無線通信システムの、URLLC（Ultra Reliable Low Latency Communication）の要件を満たす無線通信路としてもよい。
【0174】
このようにすることにより、図３の例の場合と同様に、画像の符号化データを伝送する際の、受信側におけるエラー発生により復号画像の画質が低減する期間の増大を抑制することができる。
【0175】
＜６．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【0176】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【0177】
図２１に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
【0178】
バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
【0179】
入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
【0180】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0181】
コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
【0182】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
【0183】
その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
【0184】
＜本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。
本技術は、任意の画像符号化・復号方式に適用することができる。
【0185】
本技術は、任意の構成に適用することができる。例えば、本技術は、衛星放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。
【0186】
また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
【0187】
また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
【0188】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【0189】
＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
【0190】
例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
【0191】
＜その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0192】
例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【0193】
また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【0194】
また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【0195】
また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【0196】
また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【0197】
なお、本技術は以下のような構成も取ることができる。
（１） 第１無線通信路を介して伝送される動画像の符号化データを受信する受信装置から前記第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して伝送されるエラー情報を取得するエラー情報取得部と、
前記エラー情報取得部により取得された前記エラー情報に基づいて、前記動画像の符号化を制御する符号化制御部と
を備える情報処理装置。
（２） 前記動画像は、各フレームの符号化の際に、前記フレームの一部がイントラ領域に設定されてイントラ符号化され、
前記イントラ領域の位置は、所定のフレーム数で巡回するように、前記フレーム毎に所定の向きに移動され、
前記符号化制御部は、前記エラー情報取得部により前記エラー情報が取得された場合、前記イントラ領域の位置を初期位置に戻す
（１）に記載の情報処理装置。
（３） 前記イントラ領域は、前記フレームの垂直方向に並ぶ複数のブロックにより構成される、前記フレームの部分領域であり、
前記イントラ領域の位置は、前記フレームの左端を前記初期位置とし、前記フレーム毎に右向きに移動され、
前記符号化制御部は、前記エラー情報取得部により前記エラー情報が取得された場合、前記イントラ領域の位置を前記フレームの左端に戻す
（２）に記載の情報処理装置。
（４） 前記動画像は、イントラ符号化されるフレームであるイントラフレームを含み、
前記符号化制御部は、前記エラー情報取得部により前記エラー情報が取得された場合、次に符号化されるフレームを前記イントラフレームに設定する
（１）に記載の情報処理装置。
（５） 前記エラー情報は、前記符号化データの受信の際のエラーを示す情報を含む
（１）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記エラー情報は、前記符号化データの復号の際のエラーを示す情報を含む
（１）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記動画像を符号化し、前記符号化データを生成する符号化部をさらに備え、
前記符号化制御部は、前記エラー情報取得部により取得された前記エラー情報に基づいて前記符号化部を制御する
（１）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記第１無線通信路の状態を監視する無線通信路状態監視部をさらに備え、
前記符号化制御部は、さらに、前記無線通信路状態監視部により監視される前記第１無線通信路の状態に基づいて、前記動画像の符号化を制御する
（１）乃至（７）のいずれかに記載の情報処理装置。
（９） 前記第１無線通信路および前記第２無線通信路は、互いに異なる周波数帯の通信路である
（１）乃至（８）のいずれかに記載の情報処理装置。
（１０） 前記第１無線通信路は、国際電気通信連合が定める規定IMT（International Mobile Telecommunications）-2020を満足する無線通信システムの、eMBB（enhance Mobile broadband）の要件を満たす通信路であり、
前記第２無線通信路は、前記無線通信システムの、URLLC（Ultra Reliable Low Latency Communication）の要件を満たす通信路である
（９）に記載の情報処理装置。
（１１） 前記第１無線通信路は、前記第２無線通信路と同一の周波数帯の下りリンクであって、国際電気通信連合が定める規定IMT（International Mobile Telecommunications）-2020を満足する無線通信システムの、eMBB（enhance Mobile broadband）の要件を満たす無線通信路であり、
前記第２無線通信路は、前記第１無線通信路と同一の周波数帯の上りリンクであって、前記無線通信システムの、URLLC（Ultra Reliable Low Latency Communication）の要件を満たす無線通信路である
（１）乃至（８）のいずれかに記載の情報処理装置。
（１２） 前記第１無線通信路は、前記第２無線通信路と異なるネットワークスライスであって、国際電気通信連合が定める規定IMT（International Mobile Telecommunications）-2020を満足する無線通信システムの、eMBB（enhance Mobile broadband）の要件を満たす無線通信路であり、
前記第２無線通信路は、前記第１無線通信路と異なる前記ネットワークスライスであって、前記無線通信システムの、URLLC（Ultra Reliable Low Latency Communication）の要件を満たす無線通信路である
（１）乃至（８）のいずれかに記載の情報処理装置。
（１３） 前記第１無線通信路および前記第２無線通信路は、互いに異なる無線通信規格の通信路である
（１）乃至（８）のいずれかに記載の情報処理装置。
（１４） 前記第１無線通信路は、国際電気通信連合が定める規定IMT（International Mobile Telecommunications）-Advanced規格に準拠する無線通信路、3GPP（Third Generation Partnership Project）により策定されたLTE（Long Term Evolution）に準拠する無線通信路、または、IEEE（Institute of Electrical and Electronics Engineers）802.11規格を使用した無線通信路であり、
前記第２無線通信路は、国際電気通信連合が定める規定IMT-2020を満足する無線通信システムの、URLLC（Ultra Reliable Low Latency Communication）の要件を満たす無線通信路である
（１３）に記載の情報処理装置。
（１５） 第１無線通信路を介して伝送される動画像の符号化データを受信する受信装置から前記第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して伝送されるエラー情報を取得し、
取得された前記エラー情報に基づいて、前記動画像の符号化を制御する
情報処理方法。
（１） 第１無線通信路を介して伝送される動画像の符号化データを受信する受信装置から前記第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して伝送されるエラー情報を取得するエラー情報取得部と、
前記エラー情報取得部により取得された前記エラー情報に基づいて、前記動画像の符号化を制御する符号化制御部と
を備える情報処理装置。
（２） 前記動画像は、各フレームの符号化の際に、前記フレームの一部がイントラ領域に設定されてイントラ符号化され、
前記イントラ領域の位置は、所定のフレーム数で巡回するように、前記フレーム毎に所定の向きに移動され、
前記符号化制御部は、前記エラー情報取得部により前記エラー情報が取得された場合、前記イントラ領域の位置を初期位置に戻す
（１）に記載の情報処理装置。
（３） 前記イントラ領域は、前記フレームの垂直方向に並ぶ複数のブロックにより構成される、前記フレームの部分領域であり、
前記イントラ領域の位置は、前記フレームの左端を前記初期位置とし、前記フレーム毎に右向きに移動され、
前記符号化制御部は、前記エラー情報取得部により前記エラー情報が取得された場合、前記イントラ領域の位置を前記フレームの左端に戻す
（２）に記載の情報処理装置。
（４） 前記動画像は、イントラ符号化されるフレームであるイントラフレームを含み、
前記符号化制御部は、前記エラー情報取得部により前記エラー情報が取得された場合、次に符号化されるフレームを前記イントラフレームに設定する
（１）に記載の情報処理装置。
（５） 前記エラー情報は、前記符号化データの受信の際のエラーを示す情報を含む
（１）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記エラー情報は、前記符号化データの復号の際のエラーを示す情報を含む
（１）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記動画像を符号化し、前記符号化データを生成する符号化部をさらに備え、
前記符号化制御部は、前記エラー情報取得部により取得された前記エラー情報に基づいて前記符号化部を制御する
（１）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記第１無線通信路の状態を監視する無線通信路状態監視部をさらに備え、
前記符号化制御部は、さらに、前記無線通信路状態監視部により監視される前記第１無線通信路の状態に基づいて、前記動画像の符号化を制御する
（１）乃至（７）のいずれかに記載の情報処理装置。
（９） 前記第１無線通信路および前記第２無線通信路は、互いに異なる周波数帯の通信路である
（１）乃至（８）のいずれかに記載の情報処理装置。
（１０） 前記第１無線通信路は、国際電気通信連合が定める規定IMT（International Mobile Telecommunications）-2020を満足する無線通信システムの、eMBB（enhance Mobile broadband）の要件を満たす通信路であり、
前記第２無線通信路は、前記無線通信システムの、URLLC（Ultra Reliable Low Latency Communication）の要件を満たす通信路である
（９）に記載の情報処理装置。
（１１） 前記第１無線通信路は、前記第２無線通信路と同一の周波数帯の下りリンクであって、国際電気通信連合が定める規定IMT（International Mobile Telecommunications）-2020を満足する無線通信システムの、eMBB（enhance Mobile broadband）の要件を満たす無線通信路であり、
前記第２無線通信路は、前記第１無線通信路と同一の周波数帯の上りリンクであって、前記無線通信システムの、URLLC（Ultra Reliable Low Latency Communication）の要件を満たす無線通信路である
（１）乃至（８）のいずれかに記載の情報処理装置。
（１２） 前記第１無線通信路は、前記第２無線通信路と異なるネットワークスライスであって、国際電気通信連合が定める規定IMT（International Mobile Telecommunications）-2020を満足する無線通信システムの、eMBB（enhance Mobile broadband）の要件を満たす無線通信路であり、
前記第２無線通信路は、前記第１無線通信路と異なる前記ネットワークスライスであって、前記無線通信システムの、URLLC（Ultra Reliable Low Latency Communication）の要件を満たす無線通信路である
（１）乃至（８）のいずれかに記載の情報処理装置。
（１３） 前記第１無線通信路および前記第２無線通信路は、互いに異なる無線通信規格の通信路である
（１）乃至（８）のいずれかに記載の情報処理装置。
（１４） 前記第１無線通信路は、国際電気通信連合が定める規定IMT（International Mobile Telecommunications）-Advanced規格に準拠する無線通信路、3GPP（Third Generation Partnership Project）により策定されたLTE（Long Term Evolution）に準拠する無線通信路、または、IEEE（Institute of Electrical and Electronics Engineers）802.11規格を使用した無線通信路であり、
前記第２無線通信路は、国際電気通信連合が定める規定IMT-2020を満足する無線通信システムの、URLLC（Ultra Reliable Low Latency Communication）の要件を満たす無線通信路である
（１３）に記載の情報処理装置。
（１５） 第１無線通信路を介して伝送される動画像の符号化データを受信する受信装置から前記第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して伝送されるエラー情報を取得し、
取得された前記エラー情報に基づいて、前記動画像の符号化を制御する
情報処理方法。
【0198】
（１６） 第１無線通信路を介して伝送される動画像の符号化データを受信するデータ受信部と、
前記データ受信部が受信する前記符号化データに関するエラーを示す情報であるエラー情報を、前記第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して、前記符号化データの送信元に送信するエラー情報送信部と
を備える情報処理装置。
（１７） 前記データ受信部による前記符号化データの受信エラーを検出する受信エラー検出部をさらに備え、
前記エラー情報は、前記受信エラー検出部により検出された前記受信エラーを示す情報を含む
（１６）に記載の情報処理装置。
（１８） 前記エラー情報は、前記データ受信部により受信された前記符号化データの復号に関する復号エラーを示す情報を含む
（１６）または（１７）に記載の情報処理装置。
（１９） 前記データ受信部により受信された前記符号化データを復号する復号部をさらに備え、
前記エラー情報送信部は、前記復号部から供給される前記復号エラーを示す情報を取得し、前記復号エラーを示す情報を含む前記エラー情報を送信する
（１８）に記載の情報処理装置。
（２０） 第１無線通信路を介して伝送される動画像の符号化データを受信し、
前記符号化データに関するエラーを示す情報であるエラー情報を、前記第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して、前記符号化データの送信元に送信する
情報処理方法。
前記データ受信部が受信する前記符号化データに関するエラーを示す情報であるエラー情報を、前記第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して、前記符号化データの送信元に送信するエラー情報送信部と
を備える情報処理装置。
（１７） 前記データ受信部による前記符号化データの受信エラーを検出する受信エラー検出部をさらに備え、
前記エラー情報は、前記受信エラー検出部により検出された前記受信エラーを示す情報を含む
（１６）に記載の情報処理装置。
（１８） 前記エラー情報は、前記データ受信部により受信された前記符号化データの復号に関する復号エラーを示す情報を含む
（１６）または（１７）に記載の情報処理装置。
（１９） 前記データ受信部により受信された前記符号化データを復号する復号部をさらに備え、
前記エラー情報送信部は、前記復号部から供給される前記復号エラーを示す情報を取得し、前記復号エラーを示す情報を含む前記エラー情報を送信する
（１８）に記載の情報処理装置。
（２０） 第１無線通信路を介して伝送される動画像の符号化データを受信し、
前記符号化データに関するエラーを示す情報であるエラー情報を、前記第１無線通信路よりも低遅延な伝送が可能な第２無線通信路を介して、前記符号化データの送信元に送信する
情報処理方法。
【符号の説明】
【0199】
１００ 画像伝送システム， １１１ 画像符号化装置， １１２ 画像復号装置， １２１ 無線ネットワーク， １２２ 無線ネットワーク， ２１１ 符号化部， ２１２ 通信部， ２１３ 符号化制御部， ２２１ データ送信部， ２２２ ネットワーク状態監視部， ２２３ エラー情報監視部， ２５５ 符号化部， ２６２ 予測部， ２７１ インター予測部， ２７２ イントラ予測部， ３１１ 通信部， ３１２ 復号制御部， ３１３ 復号部， ３２１ データ受信部， ３２２ 受信エラー検出部， ３２３ エラー情報送信部， ３５２ 復号部， ３５９ 予測部， ５０１ 無線ネットワーク， ５１１ 下りリンク， ５１２ 上りリンク， ５４１ ５Ｇネットワーク， ５５１および５５２ ネットワークスライス， ５７１ 無線ネットワーク， ５７２ 無線ネットワーク， ９００ コンピュータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】