特許 7425788 画像処理方法、装置、システム、ネットワーク機器、端末及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-23

(45)【発行日】2024-01-31

(54)【発明の名称】画像処理方法、装置、システム、ネットワーク機器、端末及びコンピュータプログラム

(51)【国際特許分類】

   H04N 21/234 20110101AFI20240124BHJP

   H04N 21/4728 20110101ALI20240124BHJP

   H04N 19/20 20140101ALI20240124BHJP

   H04N 19/70 20140101ALI20240124BHJP

【ＦＩ】

H04N21/234

H04N21/4728

H04N19/20

H04N19/70

【請求項の数】 13

(21)【出願番号】P 2021515166

(86)(22)【出願日】2019-07-23

(65)【公表番号】

(43)【公表日】2022-01-06

(86)【国際出願番号】 CN2019097355

(87)【国際公開番号】W WO2020057249

(87)【国際公開日】2020-03-26

【審査請求日】2022-07-15

(31)【優先権主張番号】201811095593.9

(32)【優先日】2018-09-19

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】511151662

【氏名又は名称】中興通訊股▲ふん▼有限公司

【氏名又は名称原語表記】ＺＴＥ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】ＺＴＥ Ｐｌａｚａ，Ｋｅｊｉ Ｒｏａｄ Ｓｏｕｔｈ，Ｈｉ－Ｔｅｃｈ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】ウー，ジャオ

(72)【発明者】

【氏名】リー，ミン

(72)【発明者】

【氏名】ウー，ピン

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０００－１６５６４１（ＪＰ，Ａ）

【文献】特表２００９－５１０８８８（ＪＰ，Ａ）

【文献】中国特許出願公開第１０１５２１７４５（ＣＮ，Ａ）

【文献】中国特許出願公開第１８８９６８６（ＣＮ，Ａ）

【文献】特表２０１７－５２７１６０（ＪＰ，Ａ）

【文献】特開２０１３－２３２７２４（ＪＰ，Ａ）

【文献】Goksel Dedeoglu，“Region of interest (ROI) SEI message” [online]，JCTVC-K0247，インターネット＜URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K0247-v3.zip＞，2012年10月19日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

画像処理方法であって、
ビデオ画像における関心領域間の合成表示方式を指示するための合成指示情報を取得するステップと、
各前記関心領域の特徴情報を取得するステップと、
前記合成指示情報及び前記特徴情報に基づいて、前記ビデオ画像のメディアストリームを生成するステップと、を含み、
前記メディアストリームは記述データを含み、前記合成指示情報及び前記特徴情報に基づいて、前記ビデオ画像のメディアストリームを生成する前記ステップは、
前記合成指示情報及び前記特徴情報を前記記述データに書き込んで前記メディアストリームを生成するステップを含み、
前記メディアストリームはビデオストリームをさらに含み、前記画像処理方法は、
前記ビデオ画像の前記関心領域を取得し、同一画像フレーム中の各前記関心領域の関連画像を少なくとも１つのスライス単位に画定して独立符号化を行い、前記ビデオ画像の第１ビデオストリームを生成するステップと、及び/又は、
前記ビデオ画像の前記関心領域を取得し、同一画像フレーム中の各前記関心領域の関連画像を前記合成指示情報に応じて合成したものを処理すべき画像フレームとし、前記処理すべき画像フレームを少なくとも１つのスライス単位に画定して符号化を行い、前記関心領域の第２ビデオストリームを生成するステップと、をさらに含むことを特徴とする画像処理方法。

【請求項2】

前記合成指示情報は、前記関心領域を接合表示することを指示するための第１指示情報、前記関心領域を融合表示することを指示するための第２指示情報、前記関心領域を入れ子表示することを指示するための第３指示情報、前記関心領域をズーム表示することを指示するための第４指示情報、前記関心領域を回転表示することを指示するための第５指示情報、及び前記関心領域を切り取り表示することを指示するための第６指示情報のうちの少なくとも１種を含むことを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記特徴情報は位置情報及び／又は符号化品質指示情報を含み、前記位置情報は前記関心領域の特定位置の座標情報、及び前記関心領域の長さ値と幅値を含むことを特徴とする請求項１に記載の画像処理方法。

【請求項4】

前記記述データは、付加拡張情報、ビデオユーザビリティ情報、システム層メディア属性記述単位のうちの少なくとも１種を含むことを特徴とする請求項１に記載の画像処理方法。

【請求項5】

メディアストリームを記憶する、又はターゲットノードに送信するステップをさらに含むことを特徴とする請求項１に記載の画像処理方法。

【請求項6】

前記メディアストリームをターゲットノードに送信する前記ステップの前に、前記ターゲットノードからの前記ビデオ画像の取得要求を受信するステップをさらに含むことを特徴とする請求項５に記載の画像処理方法。

【請求項7】

前記メディアストリームをターゲットノードに送信する前記ステップは、前記取得要求から取得コンテンツを指示する識別情報を解析し、前記識別情報に応じて前記メディアストリームを前記ターゲットノードに送信するステップを含むことを特徴とする請求項６に記載の画像処理方法。

【請求項8】

前記識別情報に応じて前記メディアストリームを前記ターゲットノードに送信する前記ステップは、
前記識別情報が第１識別子である場合、前記第１ビデオストリーム及び前記記述データを前記ターゲットノードに送信するステップと、
前記識別情報が第２識別子である場合、前記第１ビデオストリームにおける関心領域のスライス単位及び前記記述データを抽出し、前記ターゲットノードに送信するステップと、
前記識別情報が第３識別子である場合、前記第２ビデオストリーム及び前記記述データを前記ターゲットノードに送信するステップと、を含むことを特徴とする請求項７に記載の画像処理方法。

【請求項9】

前記ビデオ画像はパノラマビデオ画像であることを特徴とする請求項１～８のいずれか１項に記載の画像処理方法。

【請求項10】

画像処理方法であって、
ビデオ画像のビデオストリーム及び記述データを受信するステップであって、前記記述データは、ビデオ画像における関心領域間の合成表示方式を指示するための合成指示情報と、各前記関心領域の特徴情報とを含む、ステップと、
前記記述データを解析して関心領域の合成指示情報及び前記特徴情報を得るステップと、
前記合成指示情報及び前記特徴情報に応じて、前記ビデオストリームにおける関心領域画像の合成再生表示を制御するステップと、を含み、
前記ビデオストリームは、同一画像フレーム中の各前記関心領域の関連画像を少なくとも１つのスライス単位に画定して独立符号化を行って生成された第１ビデオストリームを含む、及び/又は、
前記ビデオストリームは、同一画像フレーム中の各前記関心領域の関連画像を前記合成指示情報に応じて合成したものを処理すべき画像フレームとし、前記処理すべき画像フレームを少なくとも１つのスライス単位に画定して符号化を行って生成された第２ビデオストリームを含むことを特徴とする画像処理方法。

【請求項11】

ネットワーク機器であって、第１プロセッサ、第１メモリ及び第１通信バスを含み、
前記第１通信バスは第１プロセッサと第１メモリとの接続通信を実現することに用いられ、
前記第１プロセッサは、第１メモリに記憶されている１つ又は複数のコンピュータプログラムを実行して、請求項１～９のいずれか１項に記載の画像処理方法のステップを実現することに用いられることを特徴とするネットワーク機器。

【請求項12】

端末であって、第２プロセッサ、第２メモリ及び第２通信バスを含み、
前記第２通信バスは第２プロセッサと第２メモリとの接続通信を実現することに用いられ、
前記第２プロセッサは第２メモリに記憶されている１つ又は複数のコンピュータプログラムを実行して、請求項１０に記載の画像処理方法のステップを実現することに用いられることを特徴とする端末。

【請求項13】

１つ又は複数のプロセッサにより実行されると、請求項１～１０のいずれか１項に記載の画像処理方法のステップを実現することを特徴とする１つ又は複数のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（相互参照）
本発明は、２０１８年９月１９日に中国特許局に提出された、出願番号が２０１８１１０９５５９３.９、発明名称が「画像処理方法、装置、システム、ネットワーク機器、端末及び記憶媒体」である中国特許出願の優先権を主張し、該出願の全内容が引用により本発明に組み込まれている。

【0002】

本発明の実施例は画像コーデックの技術分野に関するが、これに限定されず、具体的には、画像処理方法、装置、システム、ネットワーク機器、端末及び記憶媒体に関するが、これらに限定されない。

【背景技術】

【0003】

時下、デジタルメディア技術の急速な発展に伴い、ハードウェア性能が倍増し、ネットワーク帯域幅が大幅に増加し、ネットワーク速度が向上し、モバイル機器の数が幾何学的に増加し、ビデオアプリケーションの発展の機会を提供する。ビデオアプリケーションは、新しいビデオコンテンツタイプやビデオ再現特性、及びより優れた臨場感や視聴体験をユーザーに提供するように、シングルビュー、低解像度、低ビットレートから徐々にマルチビュー、高解像度、高ビットレートへと急速に発展している。

【0004】

３６０パノラマビデオ（以下、パノラマビデオと略称する）は新しいビデオコンテンツタイプとして、ユーザーが主観的なニーズに応じて、視野角を任意に選択して視聴することができ、それにより３６０度全方向視聴を実現する。現在のネットワーク性能及びハードウェア処理性能が高いにもかかわらず、ユーザー数の激増及びパノラマビデオデータ量の膨大さのため、ユーザーの視聴体験を確保するうえで、ネットワーク及びハードウェアリソースの占有を低減させる必要がある。

【0005】

現在、関心領域（Region Of Interest、以下、ＲＯＩと略称する）技術は、すべてのパノラマビデオを処理する必要がなく、ユーザーの好みに応じてパノラマビデオを切り取り表示することができるが、関連技術では、ＲＯＩは一般に１つしかないため、パノラマビデオ中の一部の画像のみを表示でき、ユーザーが複数のＲＯＩを視聴するニーズを満たすことができない。従って、複数のＲＯＩが存在する場合、各ＲＯＩの合成表示を指示するようにどのように符号化を実現するかは解決を急いでいる。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の実施例に係る画像処理方法、装置、システム、ネットワーク機器、端末及び記憶媒体が主に解決する課題は、複数のＲＯＩが存在する場合に如何に符号化を実現することである。

【課題を解決するための手段】

【0007】

上記した課題を解決するために、本発明の実施例は、
ビデオ画像における関心領域間の合成表示方式を指示するための合成指示情報を取得するステップと、
前記合成指示情報に基づいて前記ビデオ画像のメディアストリームを生成するステップと、を含む画像処理方法を提供する。

【0008】

本発明の実施例は、
ビデオ画像のビデオストリーム及び記述データを受信するステップと、
前記記述データを解析して関心領域の合成指示情報を得るステップと、
前記合成指示情報に応じて、前記ビデオストリームにおける関心領域画像の合成再生表示を制御するステップと、を含む画像処理方法をさらに提供する。

【0009】

本発明の実施例は、
ネットワーク側はビデオ画像における各前記関心領域の合成表示方式を指示するための合成指示情報を取得し、前記合成指示情報に基づいて前記ビデオ画像のメディアストリームを生成し、メディアストリームをターゲットノードに送信するステップと、
前記ターゲットノードは前記メディアストリームを受信し、前記メディアストリームを解析して関心領域の合成指示情報を得て、前記合成指示情報に応じて前記メディアストリームにおけるビデオストリームの再生表示を制御するステップと、を含む画像処理方法をさらに提供する。

【0010】

本発明の実施例は、
ビデオ画像における各前記関心領域の合成表示方式を指示するための合成指示情報を取得することに用いられる取得モジュールと、
前記合成指示情報に基づいて前記ビデオ画像のメディアストリームを生成することに用いられる処理モジュールと、を含む画像処理装置をさらに提供する。

【0011】

本発明の実施例は、
ビデオ画像のビデオストリーム及び記述データを受信することに用いられる受信モジュールと、
前記記述データを解析して関心領域の合成指示情報を得ることに用いられる解析モジュールと、
前記合成指示情報に応じて、前記ビデオストリームにおける関心領域画像の合成再生表示を制御することに用いられる制御モジュールと、を含む画像処理装置をさらに提供する。

【0012】

本発明の実施例は、前記２種の画像処理装置を含む画像処理システムをさらに提供する。

【0013】

本発明の実施例は、第１プロセッサ、第１メモリ及び第１通信バスを含み、
前記第１通信バスは、第１プロセッサと第１メモリとの接続通信を実現することに用いられ、
前記第１プロセッサは、第１メモリに記憶されている１つ又は複数のコンピュータプログラムを実行して、前記いずれかに記載の画像処理方法のステップを実現することに用いられるネットワーク機器をさらに提供する。

【0014】

本発明の実施例は、第２プロセッサ、第２メモリ及び第２通信バスを含み、
前記第２通信バスは、第２プロセッサと第２メモリとの接続通信を実現することに用いられ、
前記第２プロセッサは、第２メモリに記憶されている１つ又は複数のコンピュータプログラムを実行して、前記画像処理方法のステップを実現することに用いられる端末をさらに提供する。

【0015】

本発明の実施例は、１つ又は複数のプロセッサにより実行されると、前記画像処理方法のステップを実現する１つ又は複数のプログラムをさらに提供する。

【発明の効果】

【0016】

本発明のその他の特徴及び対応する有益な効果は明細書において後述され、理解できるように、少なくとも有益な効果の一部は本発明の明細書の記載から明らかになる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施例１における画像処理方法の模式的フローチャートである。

【図2】本発明の実施例１におけるＲＯＩ画像接合指示の模式図１である。

【図3】本発明の実施例１におけるＲＯＩ画像接合指示の模式図２である。

【図4】本発明の実施例１におけるＲＯＩ画像接合指示の模式図３である。

【図5】本発明の実施例１におけるＲＯＩ画像接合指示の模式図４である。

【図6】本発明の実施例１におけるＲＯＩ画像接合指示の模式図５である。

【図7】本発明の実施例１におけるＲＯＩ画像融合指示の模式図１である。

【図8】本発明の実施例１におけるＲＯＩ画像融合指示の模式図２である。

【図9】本発明の実施例１におけるＲＯＩ画像重畳領域の模式図である。

【図10】本発明の実施例１におけるＲＯＩ画像入れ子指示の模式図である。

【図11】本発明の実施例１におけるＲＯＩ画像透明チャンネル処理の模式図である。

【図12】本発明の実施例１におけるＲＯＩ画像座標位置の模式図である。

【図13】本発明の実施例１におけるＲＯＩ画像ビデオストリーム生成の模式図１である。

【図14】本発明の実施例１におけるＲＯＩ画像ビデオストリーム生成の模式図２である。

【図15】本発明の実施例２における画像処理方法の模式的フローチャートである。

【図16】本発明の実施例３における画像処理方法の模式的フローチャートである。

【図17】本発明の実施例４における画像処理装置の構造模式図である。

【図18】本発明の実施例５における画像処理装置の構造模式図である。

【図19】本発明の実施例６における画像処理システムの構造模式図である。

【図20】本発明の実施例７におけるネットワーク機器の構造模式図である。

【図21】本発明の実施例８における端末の構造模式図である。

【発明を実施するための形態】

【0018】

本発明の目的、技術案及び利点をより明確にするために、以下、具体的な実施形態及び図面を参照しながら本発明の実施例をさらに詳細に説明する。理解できるように、ここに説明される具体的な実施例は単に本発明を解釈するためのものであり、本発明を限定するものではない。

【0019】

（実施例１）
ビデオ画像に複数のＲＯＩが存在する場合に、ユーザーが複数のＲＯＩを同時に視聴するニーズを満たすように符号化を行うために、本発明の実施例は画像処理方法を提供し、主にネットワーク側機器、エンコーダー等に応用され、サーバ、基地局等の機器を含むが、これらに限定されず、図１に示すように、以下のステップＳ１０１～Ｓ１０２を含む。

【0020】

Ｓ１０１、ビデオ画像における関心領域間の合成表示方式を指示するための合成指示情報を取得する。

【0021】

ビデオ画像を符号化するとき、ビデオ画像におけるＲＯＩ間の合成表示方式を指示するための合成指示情報を取得する。理解できるように、該ビデオ画像にＲＯＩがないか画定されていない場合、該合成指示情報を取得するプロセスを実行しない。複数のＲＯＩが存在する場合のみに、対応する合成指示情報を取得する。１つのＲＯＩのみが存在する場合、本技術案を採用して該１つのＲＯＩの表示を制御するようにしてもよい。

【0022】

オプションとして、符号化プロセスでは、まず、ビデオ画像中にＲＯＩが存在することを決定し、この場合、該ＲＯＩの合成表示方式を指示するための対応する合成指示情報を取得する。

【0023】

ＲＯＩについて、以下の方式によって設定できるが、これらに限定されない。

【0024】

１、画像処理、ＲＯＩ識別等の技術によってビデオ画像を予め分析し、さらに分析結果によって、パノラマビデオ中の特定コンテンツ又は特定空間位置を画定し、それによって異なるＲＯＩを形成する。例えば、サッカー試合中、１つのカメラを用いてボールの運動軌跡をＲＯＩとして追跡撮影し、又はＲＯＩ識別技術によって、撮影したビデオ画像における特定目標（例えば、特定の選手）に識別追跡を行い、ＲＯＩを形成する。

【0025】

２、ユーザーニーズ又は事前設定情報に応じて、ビデオ画像に対して特定コンテンツ又は特定空間位置を手動で画定し、それにより異なる関心領域を形成する。

【0026】

３、ビデオ画像再生中、ユーザーの関心領域の情報を収集し、これらの情報に応じてパノラマビデオ中の特定コンテンツ又は特定空間位置を自動で画定し、それにより異なる関心領域を形成する。

【0027】

４、ユーザーはビデオ画像を視聴中、関心領域を自ら選定する。

【0028】

Ｓ１０２、前記合成指示情報に基づいて前記ビデオ画像のメディアストリームを生成する。

【0029】

取得した合成指示情報に基づいて該ビデオ画像のメディアストリームを生成する。つまり、該合成指示情報を符号化し、該ビデオ画像のコードストリームに書き込み、それにより該ビデオ画像のメディアストリームを生成する。再生機器は、該メディアストリームを復号でき、少なくとも該ビデオ画像における各ＲＯＩを合成して表示再生できる。

【0030】

合成指示情報は、
関心領域を接合表示することを指示するための第１指示情報、関心領域を融合表示することを指示するための第２指示情報、関心領域を入れ子表示することを指示するための第３指示情報、関心領域をズーム表示することを指示するための第４指示情報、関心領域を回転表示することを指示するための第５指示情報、及び関心領域を切り取り表示することを指示するための第６指示情報のうちの少なくとも１種を含む。

【0031】

そのうち、第１指示情報は、各ＲＯＩを接合することを指示することに用いられ、接合とは、２つのＲＯＩが隣接するが重畳していない。図２に示すように、Ａ、Ｂ、Ｃ、Ｄ領域はビデオ画像における４つの関心領域であり、サイズが同じであり、パノラマ画像における出現位置に応じて接合できる。

【0032】

オプションとして、図３に示すように、Ａ、Ｂ、Ｃ、Ｄ領域は任意の位置、又は指定の位置に応じて接合してもよい。

【0033】

オプションとして、図４に示すように、Ａ、Ｂ、Ｃ、Ｄ領域はサイズが異なってもよい。

【0034】

オプションとして、図５に示すように、Ａ、Ｂ、Ｃ、Ｄ領域は位置が任意であってもよいとともに、サイズが異なってもよい。

【0035】

オプションとして、図６に示すように、Ａ、Ｂ、Ｃ、Ｄ領域を接合後、矩形ではない任意の形状を形成してもよい。

【0036】

第２指示情報は、各ＲＯＩを融合することを指示することに用いられ、融合により２つのＲＯＩ間に部分重畳領域が存在するが、一方のＲＯＩが完全に他方のＲＯＩに重ね合わせられるのではない。図７に示すように、Ａ、Ｂ、Ｃ、Ｄ領域はビデオ画像における４つの関心領域であり、特定範囲の領域を重畳させて融合される。

【0037】

オプションとして、図８に示すように、４つの関心領域の合成表示方式は、固定カバレッジ順序で画素の直接カバレッジを行うことであってもよく、重ね合わせの順序がＡ→Ｂ→Ｃ→Ｄであり、従って、最後にカバレッジするＤがその他の３つのＲＯＩによりカバレッジされていない。

【0038】

オプションとして、融合による重畳部分領域について、その画素値は以下の方式によって処理されてもよい。図９に示すように、４つの異なるＲＯＩ領域の重畳部分の画素から計算して新たな画素値を生成する。例えば、すべての画素平均値を計算し、又は異なる領域の画素に対して異なる重み値を設定し、又は特徴マッチング方法に応じて新たな画素値を算出し、自然な画像融合効果を取得する。そのうち、特徴マッチング方法で新たな画素値を計算することは、通常、できるだけ最適な融合効果を取得するようにビデオ処理能力が高いネットワーク側機器に適用され、理論的には、端末側にも適用できるが、端末の性能要件が高い。

【0039】

第３指示情報はＲＯＩを入れ子表示することを指示することに用いられ、入れ子表示は一方のＲＯＩを他方のＲＯＩの上に完全に重畳させる。図１０に示すように、Ａ、Ｂ領域はビデオ画像における２つの関心領域であり、ＢをＡの上に完全に重畳させて一体にネストし、ネストする位置は実際の需要に応じて設定でき、例えば、画像画面のサイズに応じて設定でき、画像画面が相対的に小さいＲＯＩを相対的に大きいＲＯＩの上に重畳させ、又はユーザーに応じてカスタマイズされる。

【0040】

第４指示情報はＲＯＩをズームすることを指示することに用いられ、ズームは画像のサイズを変更することである。ズーム率の値を含み、例えば、ズーム率値が２である場合、ＲＯＩの対角線長さを元の２倍に拡大することを指示できる。

【0041】

第５指示情報はＲＯＩを回転させることを指示することに用いられ、回転タイプ及び回転角度を含み、回転タイプは水平回転、垂直回転を含むが、これらに限定されない。

【0042】

第６指示情報は関心領域を切り取り表示することを指示することに用いられ、図１１に示すように、Ａ、Ｂ領域はビデオ画像における２つの関心領域であり、Ｂ領域中の円形領域を切り取り、Ａｌｐｈａ透明チャンネルを用いて実現できる。オプションとして、切り取ったＢをＡとネストして該画像を合成するようにしてもよい。

【0043】

実際の応用では、通常、ユーザーが複数のＲＯＩを視聴するニーズをよりよく満たすように、上記６種の指示情報のうちの複数種を組み合わせて対応するＲＯＩを合成処理することができる。

【0044】

本実施例では、Ｈ.２６４／ＡＶＣ規格、Ｈ.２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高効率ビデオ符号化）規格を用いてビデオ画像を符号化できる。符号化を行う過程では、取得した合成指示情報をビデオ画像のコードストリームに書き込む。

【0045】

本発明のその他の例では、さらに該ビデオ画像における対応するＲＯＩの特徴情報を取得し、上記取得した合成指示情報及び該特徴情報に基づいて、該ビデオ画像のメディアストリームを生成するようにしてもよい。つまり、上記合成指示情報及び特徴情報をビデオ画像のコードストリームに同時に書き込む。

【0046】

そのうち、生成されたメディアストリームは、少なくとも記述データ及びビデオストリームを含む。本実施例では、取得した合成指示情報及び特徴情報を該記述データに書き込む。なお、記述データは主にビデオストリームの復号を指示し、ビデオ画像の再生を実現することに用いられる。記述データは、例えば、時間同期情報、テキスト情報及びその他の関連情報等のうちの少なくとも１種を含んでもよい。

【0047】

さらになお、記述データはビデオ画像の一部として、オプションとして、以下の２種の形式が存在する。一方は、コードストリームの形式でビデオストリームとともに符号化されてもよく、つまり、ビデオストリームに属する部分データであり、他方は、ビデオストリームと単独に符号化されもよく、ビデオストリームと分離するものである。

【0048】

ＲＯＩ特徴情報は位置情報及び／又は符号化品質指示情報を含み、位置情報はＲＯＩの特定位置の座標情報、及びＲＯＩの長さ値と幅値を含む。特定位置はＲＯＩ領域の４つの角のうちいずれか１つの角の位置、例えば左上角の画素点、右下角の画素点であってもよく、ＲＯＩ領域の中心点の位置であってもよい。符号化品質指示情報は符号化プロセスに使用される符号化品質等級であってもよく、異なる符号化品質指示情報は異なる符号化品質等級を表し、異なる符号化品質等級によって符号化を行って生成される画像の画質も異なる。

【0049】

例えば、符号化品質指示情報は「１」、「２」、「３」、「４」、「５」、「６」であってもよく、異なる数値は異なる符号化品質等級を表し、例えば、符号化品質指示情報が「１」である場合、低品質で符号化することを示し、相対的には、符号化品質指示情報が「２」である場合、「１」よりも高い中品質で符号化することを示し、数値が大きいほど、符号化品質が順に逓増する。

【0050】

本発明のその他の例では、ＲＯＩ位置情報は以下の方式で表されてもよい。図１２に示すように、ＲＯＩ領域１２１は、上側辺がビデオ画像の３００行目に位置し、下側辺がビデオ画像の６００行目に位置し、左側辺がビデオ画像の５００列目に位置し、右側辺がビデオ画像の８００列目に位置する。つまり、ＲＯＩ領域が位置する行列位置によってその位置情報をマークする。１９２０＊１０８０画像領域の場合、左上角の画素点位置が（０，０）、右下角の画素点位置が（１９１９，１０７９）である。２次元又は３次元画像領域の場合、デカルト座標系を使用してもよく、例えば柱面、球面又は極座標系のようなその他の非デカルト曲線座標系を使用してもよい。

【0051】

理解できるように、ＲＯＩの長さ値は、上記図１２では、上下側辺の長さであり、つまり、左右側辺の距離はＲＯＩの長さ値とすることができ、即ち、８００－５００＝３００画素点であり、６００－３００＝３００画素点はＲＯＩの幅値とすることができる。その逆も同様である。

【0052】

ＲＯＩの合成指示情報及び特徴情報は以下の表１に示される。

【0053】

【表1】

【0054】

table_id：表の識別子；
version：バージョン情報；
length：長さ情報；
roi_num：含まれる関心領域の数；
(roi_position_x,roi_position_y,roi_position_z)：ビデオ画像における関心領域の座標情報；
roi_width：関心領域の幅；
roi_height：関心領域の高さ；
roi_quality：関心領域品質情報；
relation_type：関心領域の合成指示情報であり、０は接合、１は入れ子、２は融合である；
(roi_new_position_x,roi_new_position_y,roi_new_position_z)：関心領域の新画像における座標情報；
scale：関心領域のズーム率；
rotation：関心領域の回転角度；
ｆｌｉｐ：関心領域の反転であり、０は水平反転、１は垂直反転である；
alpha_flag：透明チャンネル識別子であり、０は透明チャンネル情報無し、１は透明チャンネル情報有りである；
alpha_info()：透明チャンネル情報と関心領域とを組み合わせて（切り取り）新たな画像を生成する；
filter_info()：relation_typeが融合方式である場合、融合領域のフィルタリング方式、例えば平均値、中央値等を指すことができる；
user_data()：ユーザー情報。

【0055】

上記ＲＯＩ合成指示情報及び特徴情報を含むroi_info_tableをビデオ画像の記述データに書き込み、オプションとして、記述データは、付加拡張情報（Supplemental Enhancement Information、ＳＥＩ）、ビデオユーザビリティ情報（Video Usability Information、ＶＵＩ）、システム層メディア属性記述単位のうちの少なくとも１種を含む。

【0056】

roi_info_tableをビデオコードストリーム中の付加拡張情報に書き込み、具体的な例は以下の表２に示される構造であってもよい。

【0057】

【表2】

【0058】

roi_info_tableは対応するＲＯＩの関連情報（合成指示情報、特徴情報等）を含み、付加拡張情報に書き込まれ、ＳＥＩ情報から識別情報がROI_INFOの情報を取得できる。ROI_INFOの情報をＳＥＩ情報の識別情報とすることに相当する。

【0059】

roi_info_tableをビデオユーザビリティ情報に書き込み、具体的な例は以下の表３に示される構造であってもよい。

【0060】

【表3】

【0061】

表３では、roi_info_flagの値が１である場合、後続にＲＯＩ情報が存在することを示す。roi_info_table()は上記表１中のroi_info_tableデータ構造でもあり、ＲＯＩ関連情報を含む。ＶＵＩ情報から識別情報としてroi_info_flagが１である関心領域情報を取得できる。

【0062】

roi_info_tableをシステム層メディア属性記述単位に書き込み、システム層メディア属性記述単位はトランスポートストリームの記述子、ファイル形式のデータ単位（例えば、Ｂｏｘ中）、トランスポートストリームのメディア記述情報（例えば、メディアプレゼンテーション記述（Media Presentation Description、ＭＰＤ）等の情報単位）を含むが、これらに限定されない。

【0063】

ＲＯＩ合成指示情報及び特徴情報をＳＥＩに書き込み、さらにその一時的動き制約タイルセット（temporal Motion-Constrained Tile Sets、ＭＣＴＳ）と組み合わせてもよく、オプションとして、ＲＯＩの関連情報とＨ.２６５／ＨＥＶＣ規格を用いた一時的動き制約タイルセットとを組み合わせる。ＲＯＩの合成指示情報をタイルと緊密に組み合わせ、単独なコーデックＲＯＩデータを追加せずに、所要のタイルデータを柔軟に抽出し、このように、ユーザーの異なるニーズを満たすことができるだけでなく、アプリケーションにおいてユーザーとの対話に有利である。以下の表４に示される。

【0064】

【表4】

【0065】

ただし、roi_info_flag：０は関心領域の関連情報無し、１は関心領域の関連情報有りを示す。

【0066】

roi_infoの一例は以下の表５に示される。

【0067】

【表5】

【0068】

length：長さ情報；
roi_num：含まれる関心領域の数；
(roi_pos_x,roi_pos_y)：スライスグループ（Slice Group）又はタイルＴｉｌｅにおける関心領域の座標情報；
roi_width：関心領域の幅；
roi_height：関心領域の高さ；
roi_quality：関心領域品質情報；
relation_type：関心領域の関連関係であり、０は接合、１は入れ子、２は融合である；
(roi_new_pos_x,roi_new_pos_y)：新画像における関心領域の座標情報；
scale：関心領域のズーム率；
rotation：関心領域の回転角度；
flip：関心領域の反転であり、０は水平反転、１は垂直反転である；
alpha_flag：透明チャンネル識別子であり、０は透明チャンネル情報無し、１は透明チャンネル情報有りである；
alpha_info()：透明チャンネル情報と関心領域とを組み合わせて新たな画像を生成する；
filter_info()：relation_typeが融合方式である場合、融合領域のフィルタリング方式、例えば平均値、中央値等を指すことができる。

【0069】

メディアストリームに含まれるビデオストリームは、ビデオ画像データを含む。該ビデオストリームを生成するプロセスは、該ビデオ画像の関心領域を取得し、同一画像フレーム中の各関心領域の関連画像を少なくとも１つのスライス単位に画定して独立符号化を行い、該ビデオ画像の第１ビデオストリームを生成するステップを含む。

【0070】

図１３に示すように、ビデオ画像の第１フレーム画像を取得し、該第１フレーム画像中の各ＲＯＩの関連画像を決定し、該ビデオ画像に２つのＲＯＩが存在し、それぞれＲＯＩ１３１及びＲＯＩ１３２であり、且つ該第１フレーム画像にＲＯＩ１３１の関連画像Ａ１、及びＲＯＩ１３２の関連画像Ｂ１が存在するとする場合、ＲＯＩ１３１の関連画像Ａ１を少なくとも１つのスライス単位に画定して独立符号化を行うとともに、ＲＯＩ１３２の関連画像Ｂ１を少なくとも１つのスライス単位に画定して独立符号化を行い、又は、関連画像Ａ１及び関連画像Ｂ１の両方を少なくとも１つのスライス単位に画定して独立符号化を行い、該ビデオ画像のすべての画像フレームの符号化が完了するまで、該ビデオ画像のほかのすべてのフレームに対して、シリアル又はパラレルの方式で、第１フレーム画像と同様なステップを実行し、該第１ビデオストリームを生成する。

【0071】

例えば、関連画像Ａ１を１つのスライス単位ａ１１として画定して独立符号化を行い、関連画像Ｂ１を２つのスライス単位として画定し、それぞれｂ１１及びｂ１２として独立符号化を行う。

【0072】

ビデオ画像におけるＲＯＩ関連画像を除くその他の領域１３３に対して、従来の任意の符号化方式を用いて符号化を行うことができ、独立符号化であってもよく、非独立符号化であってもよい。最終的に生成される第１ビデオストリームは、少なくとも各ＲＯＩのすべての独立符号化されたスライス単位を含む。受信側は、ユーザーがＲＯＩ画像のみを視聴する必要が存在する場合、第１ビデオストリームにおけるＲＯＩに対応するスライス単位のみを抽出すればよく（すべてのスライス単位を抽出する必要がない）、該スライス単位を独立復号し、その他のスライスに依存せずに復号を実現でき、受信側の復号性能の要件を低下させる。

【0073】

必要に応じて、さらにビデオ画像におけるＲＯＩ関連画像のみを符号化し、関連画像を除くその他の領域を符号化処理するようにしてもよく、又は関連画像とその他の領域を単独に符号化するようにしてもよい。

【0074】

スライス単位はＨ.２６４／ＡＶＣ規格のスライスＳｌｉｃｅ、Ｈ.２６５／ＨＥＶＣ規格のタイルＴｉｌｅ等を含む。

【0075】

メディアストリームにおけるビデオストリームは、第２ビデオストリームであってもよく、該第２ビデオストリームを生成するプロセスは、各関連画像を合成指示情報に応じて合成したものを処理すべき画像フレームとし、処理すべき画像フレームを少なくとも１つのスライス単位に画定して符号化を行い、関心領域の第２ビデオストリームを生成する。

【0076】

図１４に示すように、第１ビデオストリームとの相違点として、第２ビデオストリームは、ビデオ画像の同一画像フレーム中のＲＯＩ（図１４では、ＲＯＩ１４１及びＲＯＩ１４２を含む）の関連画像であり（それぞれＣ１及びＤ１である）、まず、合成指示情報に応じて合成し、ここで接合合成と仮定し、さらに合成後の画像を処理すべき画像フレームＥ１とし、その後、該処理すべき画像フレームＥ１を少なくとも１つのスライス単位（例えばｅ１１）に画定して符号化を行い、ここで、符号化方式として、独立符号化を採用してもよく、非独立符号化を採用してもよく、又はその他の符号化方式を採用してもよい。該ビデオ画像におけるその他の画像フレームに対して上記方式を用いて処理を行ってもよく、各画像フレームはパラレル又はシリアルの方式で処理できる。それにより該第２ビデオストリームを生成する。

【0077】

復号側では、第２ビデオストリームに対して、よく使用される復号方式で処理を行うことができ、復号後、ＲＯＩ関連画像を合併処理せずに、合成後のＲＯＩ画像を直接得ることができ、このような符号化方式は復号側の処理負荷の低下、復号効率の向上に有利である。しかし、符号化を行う際に、まず合成処理を行う必要がある。

【0078】

本発明のその他の例では、ネットワーク側又は符号化側は同一ビデオ画像に対して、上記２種のビデオストリームを生成することができる。

【0079】

生成されるメディアストリームは、記憶されてもよく、対応するターゲットノードに送信されてもよい。例えば、ターゲットノードからのビデオ画像の取得要求を受信すると、該メディアストリームを該ターゲットノードに送信することをトリガーする。オプションとして、取得要求から取得コンテンツを指示する識別情報を解析し、該識別情報に応じて該メディアストリームをターゲットノードに送信する。

【0080】

オプションとして、識別情報が第１識別子である場合、第１ビデオストリーム及び記述データをターゲットノードに送信し、例えば、サーバ側は、端末からのビデオ画像の要求を受信し、該要求に応じて該ビデオ画像のメディアストリーム（第１ビデオストリーム及び記述データを含む）を端末に送信する。端末は、該メディアストリームを復号して該ビデオ画像を完全に再生することができる。勿論、端末はさらに、該メディアストリームを復号し、関心領域が位置する独立符号化可能なスライス単位データを抽出し、記述データと組み合わせて、該関心領域画像を再生表示することができる。

【0081】

識別情報が第２識別子である場合、第１ビデオストリームにおける関心領域のスライス単位（復号操作をしない）及び前記記述データを抽出し、ターゲットノードに送信し、例えば、サーバ側は端末からの関心領域の要求を受信し、サーバ側は要求情報に応じて対応する関心領域が位置する独立符号化可能なスライス単位データを見つけ、抽出後、関心領域の関連情報（合成指示情報及び特徴情報等）又は変更後の関心領域情報と組み合わせて、新たなコードストリームを生成して端末に送信する。すべてのコードストリームを端末に送信することを回避し、ネットワークの帯域幅占有及び伝送遅延を低下させる。

【0082】

識別情報が第３識別子である場合、第２ビデオストリーム及び前記記述データをターゲットノードに送信する。例えば、サーバはさらに端末が送信する要求に応じて、該ビデオ画像の第２ビデオストリーム及び記述データを端末に送信することを選択してもよく、端末はそれを復号した後、合成済みのＲＯＩ画像を直接得ることができ、記述データ中の合成指示情報に応じてＲＯＩを合成処理する必要がなく、端末のリソース占有の低下、端末の処理効率の向上に有利である。

【0083】

本発明のその他の例では、ビデオ画像は３６０度パノラマビデオ、立体ビデオ等であってもよい。ビデオ画像が立体ビデオである場合、ＲＯＩの関連情報（合成指示情報及び特徴情報等を含む）は左右視野に同時に適用できる。

【0084】

本発明の実施例に係る画像処理方法は、ビデオ画像におけるＲＯＩ画像の合成表示を指示するための合成指示情報をビデオ画像のコードストリームに書き込むことによって、ビデオ画像に複数のＲＯＩが存在する場合における符号化プロセスを実現し、ユーザーが複数のＲＯＩ画像を同時に視聴する視聴ニーズを満たす。

【0085】

ＲＯＩ画像を独立符号化することによって、復号側が独立復号を行い、その他のスライスに依存せずに復号を実現でき、メディアストリーム送信方式として、ＲＯＩが位置する独立復号可能なスライス単位データを抽出して端末に送信することを選択でき、すべてのスライスデータを端末に送信する必要がなく、従って、ネットワークの帯域幅占有の低下、伝送効率及び復号効率の向上に有利である。

【0086】

（実施例２）
本発明の実施例は、実施例１をもとに、画像処理方法を提供し、主に端末、デコーダー等に適用され、携帯電話、パーソナルコンピュータ等を含むが、これらに限定されない。図１５に示すように、該画像処理方法は以下のステップＳ１５１～Ｓ１５３を含む。

【0087】

Ｓ１５１、ビデオ画像のビデオストリーム及び記述データを受信する。

【0088】

Ｓ１５２、記述データを解析して関心領域の合成指示情報を得る。

【0089】

記述データの異なるタイプ、即ち、ＲＯＩ関連情報が配置される異なる位置、例えばＳＥＩ、ＶＵＩ、ＭＰＤ等に応じて、関心領域情報の合成指示情報を抽出する。そのうち、合成指示情報の記述は実施例１を参照でき、ここでは詳細説明をしない。オプションとして、さらに記述データから、位置情報及び符号化品質指示情報等を含むＲＯＩの特徴情報を取得してもよい。

【0090】

上記ＲＯＩの関連情報に応じて、ＲＯＩ画像データ、即ちビデオストリームデータを取得する。

【0091】

Ｓ１５３、合成指示情報に応じてビデオストリームにおける関心領域画像の合成再生表示を制御する。

【0092】

合成指示情報に応じて、ＲＯＩ画像を合成して再生表示する。

【0093】

本発明のその他の例では、ビデオ画像のビデオストリーム及び記述データを受信する前に、取得要求をネットワーク側（又は符号化側）に送信するステップをさらに含み、異なるビデオストリームを取得するように、前記取得要求には取得コンテンツを指示する識別情報がさらに設定されてもよい。

【0094】

例えば、識別情報を第１識別子とする場合、対応するビデオ画像の第１ビデオストリーム及び記述データを取得することを指示することに用いられ、識別情報を第２識別子とする場合、対応するビデオ画像の第１ビデオストリームにおける関心領域のスライス単位及び記述データを取得することを指示することに用いられ、識別情報を第３識別子とする場合、対応するビデオ画像の第２ビデオストリーム及び記述データを取得することを指示することに用いられる。

【0095】

取得要求が異なる場合、受信したネットワーク側が送信するメディアストリームは異なり、後続の処理プロセスもその分異なる。例えば、取得要求では識別情報が第１識別子である場合、対応するビデオ画像の第１ビデオストリーム及び記述データを取得し、このとき、第１ビデオストリーム及び記述データを復号し、該ビデオ画像の完全画像を得るようにしてもよく、該完全画像を再生するようにしてもよい。又は、第１ビデオストリームにおけるＲＯＩ画像の独立符号化可能なスライス単位データを抽出し、記述データ中のＲＯＩ合成指示情報に応じて、該ＲＯＩ画像を合成した後、再生表示する。

【0096】

取得要求では識別情報が第２識別子である場合、対応するビデオ画像のＲＯＩが位置する独立復号可能なスライス単位及び記述データを取得し、このとき、端末は該ＲＯＩの独立復号可能なスライス単位を直接復号操作し、記述データ中の合成指示情報に応じて該ＲＯＩ画像を合成した後、再生表示するようにしてもよい。

【0097】

取得要求では識別情報が第３識別子である場合、対応するビデオ画像の第２ビデオストリーム及び記述データを取得し、このとき、端末は公知の復号方式を直接採用して復号し、合成後のＲＯＩ画像を得て、その後、再生表示するようにしてもよい。

【0098】

理解できるように、取得要求は取得コンテンツを指示するための識別情報を含むことに限定されず、例えば、本側及び相手側のアドレス情報、要求される取得対象のビデオ画像の識別情報、検証情報等のその他の必要な情報を含む。

【0099】

（実施例３）
本発明の実施例は、実施例１及び／又は実施例２をもとに、画像処理方法を提供し、主にネットワーク側及び端末側を含むシステムに適用され、図１６に示すように、該画像処理方法は主に以下のステップＳ１６１～Ｓ１６６を含む。

【0100】

Ｓ１６１、ネットワーク側はビデオ画像における各関心領域の合成表示方式を指示するための合成指示情報を取得する。

【0101】

Ｓ１６２、ネットワーク側は合成指示情報に基づいてビデオ画像のメディアストリームを生成する。

【0102】

Ｓ１６３、ネットワーク側はメディアストリームをターゲットノードに送信する。

【0103】

Ｓ１６４、ターゲットノードはメディアストリームを受信する。

【0104】

Ｓ１６５、ターゲットノードはメディアストリームを解析して関心領域の合成指示情報を得る。

【0105】

Ｓ１６６、ターゲットノードは合成指示情報に応じてメディアストリームにおけるビデオストリームの再生表示を制御する。

【0106】

具体的には、実施例１及び／又は実施例２の関連説明を参照でき、ここでは詳細説明をしない。

【0107】

なお、理解できるように、ネットワーク側により生成されるメディアストリームとネットワーク側からターゲットノードに送信されるメディアストリームとは同じであってもよく、異なってもよい。実施例１及び／又は実施例２に記載されるように、ネットワーク側はターゲットノードの取得要求に応じて、特定のビデオストリームではなく、ターゲットノードに送信されるビデオストリームを柔軟に選択できる。従って、区別の便宜上、ネットワーク側により生成されるメディアストリームを第１メディアストリーム、ターゲットノードに送信されるメディアストリームを第２メディアストリームとすることができる。

【0108】

（実施例４）
本発明の実施例は、実施例１をもとに、実施例１に記載の画像処理方法のステップを実現することに用いられる画像処理装置を提供する。図１７に示すように、該画像処理装置は、
ビデオ画像における各前記関心領域の合成表示方式を指示するための合成指示情報を取得することに用いられる取得モジュール１７１と、合成指示情報に基づいてビデオ画像のメディアストリームを生成することに用いられる処理モジュール１７２と、を含む。画像処理方法の具体的なステップは実施例１の説明を参照でき、ここでは詳細説明をしない。

【0109】

（実施例５）
本発明の実施例は、実施例２をもとに、実施例２に記載の画像処理方法のステップを実現することに用いられる画像処理装置を提供する。図１８に示すように、該画像処理装置は、
ビデオ画像のビデオストリーム及び記述データを受信することに用いられる受信モジュール１８１と、
記述データを解析して関心領域の合成指示情報を得ることに用いられる解析モジュール１８２と、
合成指示情報に応じてビデオストリームにおける関心領域画像の再生表示を制御することに用いられる制御モジュール１８３と、を含む。

【0110】

画像処理方法の具体的なステップは実施例２の説明を参照でき、ここでは詳細説明をしない。

【0111】

（実施例６）
本発明の実施例は、実施例３をもとに、画像処理システムを提供し、図１９に示すように、実施例４に記載の画像処理装置１９１及び実施例５に記載の画像処理装置１９２を含む。該画像処理システムは実施例３に記載の画像処理方法を実現することに用いられる。

【0112】

画像処理方法の具体的なステップは実施例３の説明を参照でき、ここでは詳細説明をしない。

【0113】

（実施例７）
本発明の実施例は、実施例１をもとに、ネットワーク機器を提供し、図２０に示すように、第１プロセッサ２０１、第１メモリ２０２及び第１通信バス２０３を含み、
第１通信バス２０３は第１プロセッサ２０１と第１メモリ２０２との接続通信を実現することに用いられ、
前記第１プロセッサ２０１は、第１メモリ２０２に記憶されている１つ又は複数のコンピュータプログラムを実行して、実施例１に記載の画像処理方法のステップを実現することに用いられる。具体的には、実施例１の説明を参照でき、ここでは詳細説明をしない。

【0114】

（実施例８）
本発明の実施例は、実施例２をもとに、端末を提供し、図２１に示すように、第２プロセッサ２１１、第２メモリ２１２及び第２通信バス２１３を含み、
そのうち、第２通信バス２１３は第２プロセッサ２１１と第２メモリ２１２との接続通信を実現することに用いられ、
前記第２プロセッサ２１１は、第２メモリ２１２に記憶されている１つ又は複数のコンピュータプログラムを実行して、実施例２に記載の画像処理方法のステップを実現することに用いられる。具体的には、実施例２の説明を参照でき、ここでは詳細説明をしない。

【0115】

（実施例９）
本発明の実施例は、実施例１、２をもとに、記憶媒体を提供し、該記憶媒体はコンピュータ読み取り可能な記憶媒体であってもよく、１つ又は複数のコンピュータプログラムが記憶されており、前記１つ又は複数のコンピュータプログラムが１つ又は複数のプロセッサにより実行されると、実施例１又は実施例２に記載の画像処理方法のステップを実現する。

【0116】

具体的には、実施例１、２の説明を参照でき、ここでは詳細説明をしない。

【0117】

該記憶媒体は、情報（例えば、コンピュータ読み取り可能な命令、データ構造、コンピュータプログラムモジュール又はその他のデータ）を記憶するための任意の方法又は技術において実施される揮発性又は不揮発性、取り外し可能又は取り外し不可能な媒体を含む。記憶媒体は、ＲＡＭ（Random Access Memory、ランダムアクセスメモリ）、ＲＯＭ（Read-Only Memory、読み出し専用メモリ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable read only memory、電気的消去可能プログラマブル読み出し専用メモリ）、フラッシュメモリ又はその他のメモリ技術、ＣＤ－ＲＯＭ（Compact Disc Read-Only Memory、コンパクトディスク読み出し専用メモリ）、デジタル多用途ディスク（ＤＶＤ）又はその他の光ディスク記憶、磁気カセット、磁気テープ、磁気ディスク記憶又はその他の磁気記憶装置、又は所望の情報を記憶でき且つコンピュータによりアクセス可能な任意のその他の媒体を含むが、これらに限定されない。

【0118】

本実施例はコンピュータプログラム（又は、コンピュータソフトウェアという）をさらに提供し、該コンピュータプログラムはコンピュータ読み取り可能な媒体に分布してもよく、コンピューティング装置により実行されると、上記実施例１及び／又は実施例２における画像処理方法の少なくとも１つのステップを実現し、場合によっては、上記実施例に記載される順序で、示される又は説明される少なくとも１つのステップを実行できる。

【0119】

本実施例はコンピュータプログラム製品をさらに提供し、コンピュータ読み取り可能な装置を含み、該コンピュータ読み取り可能な装置に上記コンピュータプログラムが記憶されている。本実施例では、該コンピュータ読み取り可能な装置は上記コンピュータ読み取り可能な記憶媒体を含んでもよい。

【0120】

本発明の有益な効果について、
本発明の実施例に係る画像処理方法、装置、システム、ネットワーク機器、端末及び記憶媒体は、ビデオ画像における関心領域間の合成表示方式を指示するための合成指示情報を取得し、前記合成指示情報に基づいて前記ビデオ画像のメディアストリームを生成し、即ち、該合成指示情報をビデオ画像のコードストリームに書き込むことによって、複数（少なくとも２つ）のＲＯＩが存在する場合におけるビデオ画像の符号化プロセスを実現し、ビデオ再生時、該合成指示情報に基づいて各ＲＯＩの合成表示再生を制御することによって、ユーザーが複数のＲＯＩを同時に視聴するニーズを満たすことができ、いくつかの実施プロセスでは、上記技術効果を実現できるが、これらに限定されない。

【0121】

以上からわかるように、当業者は、以上開示されている方法のすべて又はいくつかのステップ、システム、装置の機能モジュール／ユニットがソフトウェア（コンピューティング装置により実行可能なコンピュータプログラムコードで実現できる）、ファームウェア、ハードウェア及びこれらの適切な組み合わせとして実施できると理解できる。ハードウェア実施形態では、以上説明される機能モジュール／ユニットの画定は必ずしも物理要素の画定に対応せず、例えば、１つの物理要素は複数の機能を有してもよく、又は１つの機能又はステップは複数の物理要素により連携して実行されてもよい。いくつかの物理要素又はすべての物理要素は、例えば、中央処理装置、デジタル信号プロセッサ又はマイクロプロセッサのようなプロセッサにより実行されるソフトウェアとして実施されもよく、又はハードウェアとして実施されてもよく、又は例えば特定用途向け集積回路のような集積回路として実施されてもよい。

【0122】

また、当業者が周知するように、通信媒体は通常、コンピュータ読み取り可能な命令、データ構造、コンピュータプログラムモジュール、又は例えばキャリアやその他の伝送メカニズムのような変調データ信号中のその他のデータを含み、任意の情報配信媒体を含んでもよい。従って、本発明は任意の特定のハードウェアとソフトウェアとの組み合わせに限定されない。

【0123】

以上、具体的な実施形態を参照しながら本発明の実施例をさらに詳細に説明したが、本発明の具体的な実施はこれらの説明に限定されるものではないと理解すべきである。当業者が本発明の構想を逸脱せずに種々の簡単な派生や置換を行うことができ、これらはすべて本発明の保護範囲に属するとみなすべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】