知財求人 - 知財ポータルサイト「IP Force」
特開2023-93363画素アレイをスライスおよびタイルに分割するための方法および画像処理デバイス、ならびに、スライスおよびタイルをビデオストリームに符号化するためのシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023093363
(43)【公開日】2023-07-04
(54)【発明の名称】画素アレイをスライスおよびタイルに分割するための方法および画像処理デバイス、ならびに、スライスおよびタイルをビデオストリームに符号化するためのシステム
(51)【国際特許分類】
H04N 19/436 20140101AFI20230627BHJP
【ＦＩ】
H04N19/436
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022199187
(22)【出願日】2022-12-14
(31)【優先権主張番号】21216704
(32)【優先日】2021-12-22
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】502208205
【氏名又は名称】アクシス アーベー
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】エドパルム， ヴィクトル
(72)【発明者】
【氏名】ユアン， ソン
(72)【発明者】
【氏名】ヘニンソン， トイヴォ
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159KK13
5C159LC08
(57)【要約】 （修正有）
【課題】より効率的な並列処理を可能とする画像分割方法、画像処理デバイス及び記憶媒体を提供する。
【解決手段】第１の画像処理回路に配置された第１の符号器及び第２の画像処理回路に配置された第２の符号器を含むシステムにおける画像分割方法は、画素アレイを第１の画像処理回路に配置された第１のバッファに格納されている画素の第１のサブセット及び第２の画像処理回路に配置された第２のバッファに格納されている画素の第２のサブセットに分割するステップを含む。第１のサブセットと第２のサブセットとの間の第１の境界は、画素アレイに対してある傾斜角で傾斜している。
【選択図】図２
【解決手段】第１の画像処理回路に配置された第１の符号器及び第２の画像処理回路に配置された第２の符号器を含むシステムにおける画像分割方法は、画素アレイを第１の画像処理回路に配置された第１のバッファに格納されている画素の第１のサブセット及び第２の画像処理回路に配置された第２のバッファに格納されている画素の第２のサブセットに分割するステップを含む。第１のサブセットと第２のサブセットとの間の第１の境界は、画素アレイに対してある傾斜角で傾斜している。
【選択図】図２
【特許請求の範囲】
【請求項1】
第１の画像処理回路に配置された第１の符号器、および第２の画像処理回路に配置された第２の符号器によって、符号化ビデオストリームに符号化するために画素アレイをスライスおよびタイルに分割するための方法であって、前記画素アレイの画素は垂直方向および水平方向に沿って規則的な間隔で配置され、それぞれのスライスは、他のスライスに関する画像データへのアクセスを必要とせずに符号化され得る垂直分離であり、それぞれのタイルは、他のタイルに関する画像データへのアクセスを必要とせずに符号化され得る水平分離であり、前記画素アレイは、前記第１の画像処理回路に配置された第１のバッファに画素データが格納されている画素の第１のサブセット、および、前記第２の画像処理回路に配置された第２のバッファに画素データが格納されている画素の第２のサブセットで構成され、前記画素の第１のサブセットと前記画素の第２のサブセットとの間の第１の境界は前記画素アレイに対してある傾斜角で傾斜しており、前記方法は、
前記画素アレイを２つまたはそれ以上のスライスに分割することと、
それぞれのスライスを２つまたはそれ以上のタイルに分割することであって、前記それぞれのスライスの２つまたはそれ以上のタイルはタイルの第１のサブセットおよびタイルの第２のサブセットで構成され、前記タイルの第１のサブセットおよび前記タイルの第２のサブセットは分離しており、前記タイルの第１のサブセットは前記第１の符号器によって符号化され、前記タイルの第２のサブセットは前記第２の符号器によって符号化される、それぞれのスライスを２つまたはそれ以上のタイルに分割することと、を含み、
それぞれのスライスを２つまたはそれ以上のタイルに分割する動作は、２つの隣接するスライスにおける前記タイルの第１のサブセットと前記タイルの第２のサブセットとの間の第２の境界が前記水平方向に沿って整列しないように前記タイルの前記第１のサブセットと前記タイルの前記第２のサブセットとの間の前記第２の境界を前記２つまたはそれ以上のスライスの２つの隣接するスライス間の前記水平方向に沿ったオフセットで設定することを含み、前記オフセットは前記傾斜角に基づく、方法。
前記画素アレイを２つまたはそれ以上のスライスに分割することと、
それぞれのスライスを２つまたはそれ以上のタイルに分割することであって、前記それぞれのスライスの２つまたはそれ以上のタイルはタイルの第１のサブセットおよびタイルの第２のサブセットで構成され、前記タイルの第１のサブセットおよび前記タイルの第２のサブセットは分離しており、前記タイルの第１のサブセットは前記第１の符号器によって符号化され、前記タイルの第２のサブセットは前記第２の符号器によって符号化される、それぞれのスライスを２つまたはそれ以上のタイルに分割することと、を含み、
それぞれのスライスを２つまたはそれ以上のタイルに分割する動作は、２つの隣接するスライスにおける前記タイルの第１のサブセットと前記タイルの第２のサブセットとの間の第２の境界が前記水平方向に沿って整列しないように前記タイルの前記第１のサブセットと前記タイルの前記第２のサブセットとの間の前記第２の境界を前記２つまたはそれ以上のスライスの２つの隣接するスライス間の前記水平方向に沿ったオフセットで設定することを含み、前記オフセットは前記傾斜角に基づく、方法。
【請求項2】
前記傾斜角は、前記画素の第１のサブセットと前記画素の第２のサブセットとの間の前記第１の境界に沿って一定である、請求項１に記載の方法。
【請求項3】
前記傾斜角は、前記画素の第１のサブセットと前記画素の第２のサブセットとの間の前記第１の境界に沿って変化し、
前記画素アレイを２つまたはそれ以上のスライスに分割する前記動作は、前記画素アレイを３つまたはそれ以上のスライスに分割することを含み、
それぞれのスライスを２つまたはそれ以上のタイルに分割する前記動作は、前記３つまたはそれ以上のスライスのそれぞれ２つの隣接するスライスについて、前記２つの隣接するスライスのそれぞれのスライスの前記タイルの第１のサブセットと前記タイルの第２のサブセットとの間の前記第２の境界をあるオフセットで設定することを含み、前記オフセットは、前記２つの隣接するスライスにおける前記画素の第１のサブセットと前記画素の第２のサブセットとの間の前記第１の境界の局所傾斜角に基づく、請求項１に記載の方法。
前記画素アレイを２つまたはそれ以上のスライスに分割する前記動作は、前記画素アレイを３つまたはそれ以上のスライスに分割することを含み、
それぞれのスライスを２つまたはそれ以上のタイルに分割する前記動作は、前記３つまたはそれ以上のスライスのそれぞれ２つの隣接するスライスについて、前記２つの隣接するスライスのそれぞれのスライスの前記タイルの第１のサブセットと前記タイルの第２のサブセットとの間の前記第２の境界をあるオフセットで設定することを含み、前記オフセットは、前記２つの隣接するスライスにおける前記画素の第１のサブセットと前記画素の第２のサブセットとの間の前記第１の境界の局所傾斜角に基づく、請求項１に記載の方法。
【請求項4】
前記画素の第１のサブセットと前記画素の第２のサブセットとの間の前記第１の境界は湾曲している、請求項３に記載の方法。
【請求項5】
前記画素の第１のサブセットと前記画素の第２のサブセットとの間の前記第１の境界は、一定の傾斜角ではあるが、前記画素アレイの別個の水平部分では別個の傾斜角で傾斜する、請求項３に記載の方法。
【請求項6】
前記画素アレイを３つまたはそれ以上のスライスに分割する前記動作は、それぞれ２つの隣接する水平部分について、前記２つの隣接する水平部分間の第３の境界が２つのスライス間の第４の境界と整列するように前記画素アレイのそれぞれの別個の水平部分を２つまたはそれ以上のスライスに分割することによって、前記画素アレイを４つまたはそれ以上のスライスに分割することを含む、請求項５に記載の方法。
【請求項7】
前記２つの隣接するスライスにおける前記画素の第１のサブセットと前記画素の第２のサブセットとの間の前記第１の境界の前記局所傾斜角は、前記２つの隣接するスライスにおける平均傾斜角として決定される、請求項３から６のいずれか一項に記載の方法。
【請求項8】
前記２つまたはそれ以上のスライスのそれぞれの前記２つまたはそれ以上のタイルの対応するタイルのサイズは、前記２つまたはそれ以上のスライスのそれぞれにおいて同じである、請求項１に記載の方法。
【請求項9】
画素データが前記第２のバッファに格納されているそれぞれのスライスの前記タイルの第１のサブセットに符号化される画素の画素データを前記第１の符号器に転送することと、
前記第１の符号器によって前記タイルの第１のサブセットを符号化することと、
画素データが前記第１のバッファに格納されているそれぞれのスライスの前記タイルの第２のサブセットに符号化される画素の画素データを前記第２の符号器に転送することと、
前記第２の符号器によって前記タイルの第２のサブセットを符号化することと、をさらに含む、請求項１から８のいずれか一項に記載の方法。
前記第１の符号器によって前記タイルの第１のサブセットを符号化することと、
画素データが前記第１のバッファに格納されているそれぞれのスライスの前記タイルの第２のサブセットに符号化される画素の画素データを前記第２の符号器に転送することと、
前記第２の符号器によって前記タイルの第２のサブセットを符号化することと、をさらに含む、請求項１から８のいずれか一項に記載の方法。
【請求項10】
処理機能を有するデバイスによって実行されるときに、請求項１から８のいずれか一項に記載の方法を実施するための命令が格納されている、非一時的なコンピュータ可読記憶媒体。
【請求項11】
第１の画像処理回路に配置された第１の符号器および第２の画像処理回路に配置された第２の符号器によって、符号化ビデオストリームに符号化するために画素アレイをスライスおよびタイルに分割するための画像処理デバイスであって、前記画素アレイの画素は垂直方向および水平方向に沿って規則的な間隔で配置され、それぞれのスライスは、他のスライスに関する画像データへのアクセスを必要とせずに符号化され得る垂直分離であり、それぞれのタイルは、他のタイルに関する画像データへのアクセスを必要とせずに符号化され得る水平分離であり、前記画素アレイは、前記第１の画像処理回路に配置された第１のバッファに画素データが格納されている画素の第１のサブセットと、前記第２の画像処理回路に配置された第２のバッファに画素データが格納されている画素の第２のサブセットとで構成され、前記画素の第１のサブセットと前記画素の第２のサブセットとの間の第１の境界は、前記画素アレイに対してある傾斜角で傾斜しており、前記画像処理デバイスは、
前記画素アレイを２つまたはそれ以上のスライスに分割するように構成される第１の分割機能と、
それぞれのスライスを２つまたはそれ以上のタイルに分割するように構成される第２の分割機能であって、前記それぞれのスライスの２つまたはそれ以上のタイルはタイルの第１のサブセットおよびタイルの第２のサブセットで構成され、前記タイルの第１のサブセットおよび前記タイルの第２のサブセットは分離しており、前記タイルの第１のサブセットは前記第１の符号器によって符号化され、前記タイルの第２のサブセットは前記第２の符号器によって符号化される、第２の分割機能とを実行するように構成される回路を備え、
前記第２の分割機能は、２つの隣接するスライスにおける前記タイルの第１のサブセットと前記タイルの第２のサブセットとの間の第２の境界が水平方向に沿って整列しないように前記タイルの前記第１のサブセットと前記タイルの前記第２のサブセットとの間の前記第２の境界を、前記２つまたはそれ以上のスライスの２つの隣接するスライス間の前記水平方向に沿ったオフセットで設定するようにさらに構成され、前記オフセットは前記傾斜角に基づく、画像処理デバイス。
前記画素アレイを２つまたはそれ以上のスライスに分割するように構成される第１の分割機能と、
それぞれのスライスを２つまたはそれ以上のタイルに分割するように構成される第２の分割機能であって、前記それぞれのスライスの２つまたはそれ以上のタイルはタイルの第１のサブセットおよびタイルの第２のサブセットで構成され、前記タイルの第１のサブセットおよび前記タイルの第２のサブセットは分離しており、前記タイルの第１のサブセットは前記第１の符号器によって符号化され、前記タイルの第２のサブセットは前記第２の符号器によって符号化される、第２の分割機能とを実行するように構成される回路を備え、
前記第２の分割機能は、２つの隣接するスライスにおける前記タイルの第１のサブセットと前記タイルの第２のサブセットとの間の第２の境界が水平方向に沿って整列しないように前記タイルの前記第１のサブセットと前記タイルの前記第２のサブセットとの間の前記第２の境界を、前記２つまたはそれ以上のスライスの２つの隣接するスライス間の前記水平方向に沿ったオフセットで設定するようにさらに構成され、前記オフセットは前記傾斜角に基づく、画像処理デバイス。
【請求項12】
前記傾斜角は、前記画素の第１のサブセットと前記画素の第２のサブセットとの間の前記第１の境界に沿って変化し、
前記第１の分割機能は、前記画素アレイを３つまたはそれ以上のスライスに分割するように構成され、
第２の分割機能は、前記３つまたはそれ以上のスライスのそれぞれ２つの隣接するスライスについて、前記２つの隣接するスライスのそれぞれのスライスの前記タイルの第１のサブセットと前記タイルの第２のサブセットとの間の前記第２の境界をあるオフセットで設定するように構成され、前記オフセットは、前記２つの隣接するスライスにおける前記画素の第１のサブセットと前記画素の第２のサブセットとの間の前記第１の境界の局所傾斜角に基づく、請求項１１に記載の画像処理デバイス。
前記第１の分割機能は、前記画素アレイを３つまたはそれ以上のスライスに分割するように構成され、
第２の分割機能は、前記３つまたはそれ以上のスライスのそれぞれ２つの隣接するスライスについて、前記２つの隣接するスライスのそれぞれのスライスの前記タイルの第１のサブセットと前記タイルの第２のサブセットとの間の前記第２の境界をあるオフセットで設定するように構成され、前記オフセットは、前記２つの隣接するスライスにおける前記画素の第１のサブセットと前記画素の第２のサブセットとの間の前記第１の境界の局所傾斜角に基づく、請求項１１に記載の画像処理デバイス。
【請求項13】
前記画素の第１のサブセットと前記画素の第２のサブセットとの間の前記第１の境界は、一定の傾斜角ではあるが、前記画素アレイの別個の水平部分では別個の傾斜角で傾斜し、
前記第２の分割機能は、それぞれ２つの隣接する水平部分について、前記２つの隣接する水平部分間の第３の境界が２つの隣接するスライス間の第４の境界と整列するように前記画素アレイのそれぞれの別個の水平部分を２つまたはそれ以上のスライスに分割するように構成される、請求項１２に記載の画像処理デバイス。
前記第２の分割機能は、それぞれ２つの隣接する水平部分について、前記２つの隣接する水平部分間の第３の境界が２つの隣接するスライス間の第４の境界と整列するように前記画素アレイのそれぞれの別個の水平部分を２つまたはそれ以上のスライスに分割するように構成される、請求項１２に記載の画像処理デバイス。
【請求項14】
前記第２の分割機能は、前記２つの隣接するスライスにおける前記画素の第１のサブセットと前記画素の第２のサブセットとの間の前記第１の境界の前記局所傾斜角を、前記２つの隣接するスライスにおける平均傾斜角として決定するようにさらに構成される、請求項１２または１３に記載の画像処理デバイス。
【請求項15】
画素アレイを符号化ビデオストリームに符号化するためのシステムであって、前記画素アレイの画素は垂直方向および水平方向に沿って規則的な間隔で配置され、前記画素アレイは画素の第１のサブセットと画素の第２のサブセットとで構成され、前記画素の第１のサブセットと前記画素の第２のサブセットとの間の第１の境界は前記画素アレイに対してある傾斜角で傾斜しており、前記システムは、
第１の画像処理回路と、
第２の画像処理回路と、
前記第１の画像処理回路に配置された第１の符号器と、
前記第２の画像処理回路に配置された第２の符号器と、
前記第１の画像処理回路に配置された第１のバッファであって、前記画素の第１のサブセットの画素データを格納する、第１のバッファと、
前記第２の画像処理回路に配置された第２のバッファであって、前記画素の第２のサブセットの画素データを格納する、第２のバッファと、
回路であって、
前記画素アレイを２つまたはそれ以上のスライスに分割するように構成される第１の分割機能であって、それぞれのスライスは、他のスライスに関する画像データへのアクセスを必要とせずに符号化され得る垂直分離である、第１の分割機能と、
それぞれのスライスを２つまたはそれ以上のタイルに分割するように構成される第２の分割機能であって、それぞれのタイルは、他のタイルに関する画像データへのアクセスを必要とせずに符号化され得る水平分離であり、前記それぞれのスライスの２つまたはそれ以上のタイルはタイルの第１のサブセットおよびタイルの第２のサブセットで構成され、前記タイルの第１のサブセットおよび前記タイルの第２のサブセットは分離しており、前記タイルの第１のサブセットは前記第１の符号器によって符号化され、前記タイルの第２のサブセットは前記第２の符号器によって符号化され、
前記第２の分割機能は、２つの隣接するスライスにおける前記タイルの第１のサブセットと前記タイルの第２のサブセットとの間の第２の境界が前記水平方向に沿って整列しないように前記タイルの前記第１のサブセットと前記タイルの前記第２のサブセットとの間の前記第２の境界を、前記２つまたはそれ以上のスライスの２つの隣接するスライス間の前記水平方向に沿ったオフセットで設定するようにさらに構成され、前記オフセットは前記傾斜角に基づく、第２の分割機能と、
画素データが前記第２のバッファに格納されているそれぞれのスライスの前記タイルの第１のサブセットの画素の画素データを前記第１の符号器に転送するように構成される第１の転送機能と、
画素データが前記第１のバッファに格納されているそれぞれのスライスの前記タイルの第２のサブセットの画素の画素データを前記第２の符号器に転送するように構成される第２の転送機能と、を実行するように構成される回路と、を備え、
前記第１の符号器は前記タイルの第１のサブセットを符号化するように構成され、
前記第２の符号器は前記タイルの第２のサブセットを符号化するように構成される、システム。
第１の画像処理回路と、
第２の画像処理回路と、
前記第１の画像処理回路に配置された第１の符号器と、
前記第２の画像処理回路に配置された第２の符号器と、
前記第１の画像処理回路に配置された第１のバッファであって、前記画素の第１のサブセットの画素データを格納する、第１のバッファと、
前記第２の画像処理回路に配置された第２のバッファであって、前記画素の第２のサブセットの画素データを格納する、第２のバッファと、
回路であって、
前記画素アレイを２つまたはそれ以上のスライスに分割するように構成される第１の分割機能であって、それぞれのスライスは、他のスライスに関する画像データへのアクセスを必要とせずに符号化され得る垂直分離である、第１の分割機能と、
それぞれのスライスを２つまたはそれ以上のタイルに分割するように構成される第２の分割機能であって、それぞれのタイルは、他のタイルに関する画像データへのアクセスを必要とせずに符号化され得る水平分離であり、前記それぞれのスライスの２つまたはそれ以上のタイルはタイルの第１のサブセットおよびタイルの第２のサブセットで構成され、前記タイルの第１のサブセットおよび前記タイルの第２のサブセットは分離しており、前記タイルの第１のサブセットは前記第１の符号器によって符号化され、前記タイルの第２のサブセットは前記第２の符号器によって符号化され、
前記第２の分割機能は、２つの隣接するスライスにおける前記タイルの第１のサブセットと前記タイルの第２のサブセットとの間の第２の境界が前記水平方向に沿って整列しないように前記タイルの前記第１のサブセットと前記タイルの前記第２のサブセットとの間の前記第２の境界を、前記２つまたはそれ以上のスライスの２つの隣接するスライス間の前記水平方向に沿ったオフセットで設定するようにさらに構成され、前記オフセットは前記傾斜角に基づく、第２の分割機能と、
画素データが前記第２のバッファに格納されているそれぞれのスライスの前記タイルの第１のサブセットの画素の画素データを前記第１の符号器に転送するように構成される第１の転送機能と、
画素データが前記第１のバッファに格納されているそれぞれのスライスの前記タイルの第２のサブセットの画素の画素データを前記第２の符号器に転送するように構成される第２の転送機能と、を実行するように構成される回路と、を備え、
前記第１の符号器は前記タイルの第１のサブセットを符号化するように構成され、
前記第２の符号器は前記タイルの第２のサブセットを符号化するように構成される、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理に関し、詳細には、２つの別個の画像処理回路の各々を使用して符号化ビデオストリームに符号化するために画素アレイをスライスおよびタイルに分割して該画素アレイの画素の２つのサブセットに対して符号化しかつバッファリングすることに関する。
【背景技術】
【0002】
時を経て、画像フレームは、例えば、解像度が高くなりかつ画像センサが大きくなることにより、大きくなっている。大きな画像フレームの他の例には、複数の画像センサによってキャプチャされた画像フレーム同士を合成することによって構造化されたパノラマ画像フレームがある。ビデオストリームのそのような大きな画像フレームを処理する、例えば、画像フレームを符号化するとき、それぞれの画像フレームは、２つまたはそれ以上の画像部分に分割され得、これらの部分は次いで、別個の処理回路において並列に処理される。同様に、符号化された画像フレームはまた、復号器側で対応する２つまたはそれ以上の画像部分に分割され得、２つまたはそれ以上の画像部分は次いで、別個の処理回路において並列に処理される。そのような解決策では、一般的に、別個の処理回路は、各々の画像部分を独立してできるだけ大きく処理することができるようにし、かつ共有する画素データをできるだけ少なくすることが望ましいが、これは、そのような共有が、処理を減速させるような、処理回路間の画素データの転送を含む同期を必要とする、および／または処理回路の複雑さおよび費用を増大させる処理回路間の画素データのより早い転送を必要とするからである。
【発明の概要】
【0003】
本発明の目的は、２つの別個の画像処理回路の各々を使用して符号化ビデオストリームに符号化するために画素アレイをスライスおよびタイルに分割して、該画素アレイの画素の２つのサブセットに対して符号化しかつバッファリングするための方法、画像処理デバイス、およびシステムを提供することで、既知の方法、画像処理デバイスおよびシステムにおける問題点を克服または軽減することである。
【0004】
第１の態様によれば、第１の画像処理回路に配置された第１の符号器、および第２の画像処理回路に配置された第２の符号器によって、符号化ビデオストリームに符号化するために画素アレイをスライスおよびタイルに分割するための方法が提供される。画素アレイは、第１の画像処理回路に配置された第１のバッファに画素データが格納されている画素の第１のサブセット、および、第２の画像処理回路に配置された第２のバッファに画素データが格納されている画素の第２のサブセットで構成され、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界は、画素アレイに対してある傾斜角で傾斜している。方法は、画素アレイを２つまたはそれ以上のスライスに分割することと、それぞれのスライスを２つまたはそれ以上のタイルに分割することとを含み、それぞれのスライスの２つまたはそれ以上のタイルはタイルの第１のサブセットおよびタイルの第２のサブセットで構成され、タイルの第１のサブセットおよびタイルの第２のサブセットは分離しており、タイルの第１のサブセットは第１の符号器によって符号化され、タイルの第２のサブセットは第２の符号器によって符号化される。それぞれのスライスを２つまたはそれ以上のタイルに分割する動作では、タイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界が２つまたはそれ以上のスライスの２つの隣接するスライス間のオフセットで設定されることを含み、オフセットは傾斜角に基づく。
【0005】
２つまたはそれ以上のスライスの２つの隣接するスライス間のオフセットでタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界を設定することであって、オフセットは傾斜角に基づく、第２の境界を設定することによって、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに第１の符号器によって符号化される画素数、それに加えて、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに第２の符号器によって符号化される画素数は、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界が画素アレイに対してある傾斜角で傾斜しているときのオフセットを使用しないこととの関連で低減する。それ故に、第１の符号器に転送される必要がある第２のバッファに格納された画素データ量、および第２の符号器に転送される必要がある第１のバッファに格納された画素データ量は、オフセットを使用しないこととの関連で低減する。
【0006】
スライスは、上下の垂直分離を意味する。それぞれのスライスは、他のスライスに関する画像データへのアクセスを必要とせずに符号化され得る。
【0007】
タイルは、水平方向に隣り合う水平分離を意味する。それぞれのタイルは、他のタイルに関する画像データへのアクセスを必要とせずに符号化され得る。
【0008】
ここで、第１の境界が傾斜角で傾斜することは、第１の境界に沿った少なくともどこかで、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界が、画素アレイの画素の列または行に沿って延在しないことで、同じ画素の列における画素が画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界の異なる側に位置し、同じ画素の行における画素が、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界の異なる側に位置することを意味する。
【0009】
ここでのオフセットは、スライスの長さに沿ったオフセット、すなわち、２つの隣接するスライスにおけるタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界がスライスの長さに沿って整列しないようにされることを意味する。
【0010】
オフセットが傾斜角に基づくことは、２つの隣接するスライス間のオフセットが傾斜角を考慮に入れて設定されることで、異なるオフセットが異なる傾斜角に対して設定されるようにすることを意味する。例えば、オフセットは、その後に、第１の符号器および第２の符号器によって、それぞれ、タイルの第１のサブセットおよびタイルの第２のサブセットを符号化ビデオストリームに符号化するときに、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素数、それに加えて、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素数が、最小化されるまたは少なくともできるだけ低いままであるような傾斜角に基づいて設定され得る。例えば、傾斜角に基づいてオフセットを設定するための手法は、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素数と、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素数との和が、異なるオフセットに対して決定され、かつオフセットが最小和になるオフセットに設定されるように、反復するものであってよい。
【0011】
傾斜角は、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界に沿って一定であり得る。オフセットはさらにまた、２つまたはそれ以上のスライスのそれぞれ２つの隣接するスライスに対して同じになるように設定され得る。
【0012】
別の方法として、傾斜角は、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界に沿って変化し得る。画素アレイを２つまたはそれ以上のスライスに分割する動作はさらにまた、画素アレイを３つまたはそれ以上のスライスに分割することを含んでよく、それぞれのスライスを２つまたはそれ以上のタイルに分割する動作は、３つまたはそれ以上のスライスのそれぞれ２つの隣接するスライスについて、２つの隣接するスライスのそれぞれのスライスのタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界をあるオフセットで設定することを含んでよく、オフセットは、２つの隣接するスライスにおける画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界の局所傾斜角に基づく。
【0013】
局所傾斜角は、オフセットが設定される２つの隣接するスライスにおける第１の境界の傾斜角の尺度を意味する。
【0014】
傾斜角が画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界に沿って変化するシナリオでは、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界は、一定の傾斜角ではあるが、画素アレイの別個の水平部分では別個の傾斜角で傾斜し得る。画素アレイを３つまたはそれ以上のスライスに分割する動作はさらにまた、それぞれ２つの隣接する水平部分について、２つの隣接する水平部分間の第３の境界が２つの隣接するスライス間の第４の境界と整列するように画素アレイのそれぞれの別個の水平部分を２つまたはそれ以上のスライスに分割することによって、画素アレイを４つまたはそれ以上のスライスに分割することを含んでよい。２つの隣接するスライス間の第４の境界を２つの隣接する水平部分間の第３の境界と整列させることによって、第１の境界はそれぞれの水平部分におけるスライスにおいて一定の傾斜角を有することになる。これによって、そのスライスにおける第１の境界の傾斜角に基づくそれぞれのスライスにおける第２の境界のオフセットの設定が可能になり、それによって、オフセットを有さないこととの関連で、符号化するための画像処理回路間の転送を必要とするデータ量が低減する。別の方法として、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界は湾曲し得る。
【0015】
傾斜角が画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界に沿って変化するシナリオでは、２つの隣接するスライスにおける第１の境界の局所傾斜角は、２つの隣接するスライスにおける平均傾斜角として決定されてよい。
【0016】
２つまたはそれ以上のスライスのそれぞれの２つまたはそれ以上のタイルの対応するタイルのサイズは、２つまたはそれ以上のスライスのそれぞれにおいて同じであってよい。換言すれば、２つまたはそれ以上のスライスにおけるタイル間の境界は、水平方向に整列してよい。
【0017】
方法は、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットの画素に符号化される画素データを第１の符号器に転送することと、第１の符号器によってタイルの第１のサブセットを符号化することと、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素の画素データを第２の符号器に転送することと、第２の符号器によってタイルの第２のサブセットを符号化することとをさらに含んでよい。
【0018】
第２の態様によれば、処理機能を有するデバイスによって実行されるときに第１の態様による方法を実施するための命令が格納されている、非一時的なコンピュータ可読記憶媒体が提供される。
【0019】
第３の態様によれば、第１の画像処理回路に配置された第１の符号器および第２の画像処理回路に配置された第２の符号器によって、符号化ビデオストリームに符号化するために画素アレイをスライスおよびタイルに分割するための画像処理デバイスが提供される。画素アレイは、第１の画像処理回路に配置された第１のバッファに画素データが格納されている画素の第１のサブセットと、第２の画像処理回路に配置された第２のバッファに画素データが格納されている画素の第２のサブセットとで構成され、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界は、画素アレイに対してある傾斜角で傾斜している。デバイスは、画素アレイを２つまたはそれ以上のスライスに分割するように構成される第１の分割機能と、それぞれのスライスを２つまたはそれ以上のタイルに分割するように構成される第２の分割機能とを実行するように構成される回路を備え、それぞれのスライスの２つまたはそれ以上のタイルはタイルの第１のサブセットおよびタイルの第２のサブセットで構成され、タイルの第１のサブセットおよびタイルの第２のサブセットは分離しており、タイルの第１のサブセットは第１の符号器によって符号化され、タイルの第２のサブセットは第２の符号器によって符号化される。第２の分割機能は、タイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界を、２つまたはそれ以上のスライスの２つの隣接するスライス間のオフセットで設定するようにさらに構成され、オフセットは傾斜角に基づく。
【0020】
適用可能なとき、第１の態様による方法の上記のオプションの特徴は第３の態様にも適用される。過度の繰り返しを回避するために、上記を参照されたい。
【0021】
第４の態様によれば、画素アレイを符号化ビデオストリームに符号化するためのシステムが提供される。画素アレイは、画素の第１のサブセットと画素の第２のサブセットとで構成され、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界は、画素アレイに対してある傾斜角で傾斜している。システムは、第１の画像処理回路と、第２の画像処理回路と、第１の画像処理回路に配置された第１の符号器と、第２の画像処理回路に配置された第２の符号器と、第１の画像処理回路に配置された第１のバッファであって、画素の第１のサブセットの画素データを格納する第１のバッファと、第２の画像処理回路に配置された第２のバッファであって、画素の第２のサブセットの画素データを格納する第２のバッファとを備える。システムは、画素アレイを２つまたはそれ以上のスライスに分割するように構成される第１の分割機能と、それぞれのスライスを２つまたはそれ以上のタイルに分割するように構成される第２の分割機能であって、それぞれのスライスの２つまたはそれ以上のタイルは、タイルの第１のサブセットおよびタイルの第２のサブセットで構成され、タイルの第１のサブセットおよびタイルの第２のサブセットは分離しており、タイルの第１のサブセットは第１の符号器によって符号化され、タイルの第２のサブセットは第２の符号器によって符号化される、第２の分割機能とを実行するように構成される回路をさらに備える。第２の分割機能は、タイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界を、２つまたはそれ以上のスライスの２つの隣接するスライス間のオフセットで設定するようにさらに構成され、オフセットは傾斜角に基づく。回路は、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素の画素データを第１の符号器に転送するように構成される第１の転送機能と、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素の画素データを第２の符号器に転送するように構成される第２の転送機能とでさらに構成される。第１の符号器はタイルの第１のサブセットを符号化するように構成され、第２の符号器はタイルの第２のサブセットを符号化するように構成される。
【0022】
適用可能なとき、第１の態様による方法の上記のオプションの特徴は第４の態様にも適用される。過度の繰り返しを回避するために、上記を参照されたい。
【0023】
本発明の適用性のさらなる範囲は、以下に示される詳細な説明から明らかになるであろう。しかしながら、詳細な説明および具体的な例は、本発明の好ましい実施形態を示し例示としてのみ示されるが、これは本発明の範囲内のさまざまな変更および修正が当業者にはこの詳細な説明から明らかとなるからであることを、理解するべきである。
【0024】
それ故に、本発明は、説明されるデバイスの特定の構成部品または説明される方法の動作には、そのようなデバイスおよび方法が変化し得るため限定されないことは理解されたい。本明細書で使用される専門用語が特定の実施形態を説明する目的のためだけのものであり、限定することを意図していないことも理解されたい。本明細書および添付の特許請求項で使用されるように、「ａ」、「ａｎ」、「ｔｈｅ」、および「ｓａｉｄ」という冠詞が、別段文脈で明確に指示されない限り、要素の１つまたは複数があることを意味すると意図されていることは留意されるべきである。よって、例えば、「あるユニット（ａ ｕｎｉｔ）」または「そのユニット（ｔｈｅ ｕｎｉｔ）」への言及はいくつかのデバイスなどを含み得る。さらに、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含有する（ｃｏｎｔａｉｎｉｎｇ）」という語および同様の言い回しは、他の要素またはステップを排除しない。
【0025】
本発明の上記のおよび他の態様について、ここで、添付の図を参照しながらより詳細に説明する。図は、限定と見なされるべきではなく、むしろ、説明および理解のために使用されている。同様の参照符号は全体を通して同様の要素を指す。
【図面の簡単な説明】
【0026】
【図1】本開示による、画素アレイを符号化ビデオストリームに符号化するためのシステムの概略的なブロック図である。
【図2】本開示による、符号化ビデオストリームに符号化するために画素アレイをスライスおよびタイルに分割するための方法のフローチャートであって、画素アレイは、画素の第１のサブセットおよび画素の第２のサブセットで構成され、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界は画素アレイに対してある傾斜角で傾斜している、フローチャートである。
【図3】本開示による、符号化ビデオストリームに符号化するために画素アレイをスライスおよびタイルに分割するための画像処理デバイスの概略的なブロック図である。
【図4】単一の画像フレームをキャプチャするための４つのセンサの組み合わせの概略図である。
【図5】単一の画像センサを使用してキャプチャされた画像フレームの４つの部分への分割の概略図である。
【図6】画素の第１のサブセットと画素の第２のサブセットとの間の水平方向境界による第１の例に対する先行技術の方法による、画素アレイのタイルへの分割を示す図である。
【図7a】一定の傾斜角による第２の例としての先行技術の方法による画素アレイのタイルへの分割を示す図である。
【図8a】変化する傾斜角であって、一定であるが２つの水平部分では異なっている傾斜角による第３の例として、先行技術の方法による画素アレイのタイルへの分割を示す図である。
【図9a】画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界が湾曲している場合の変化する傾斜角による第４の例として、先行技術の方法による画素アレイのタイルへの分割を示す図である。
【図9b】画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界が湾曲している場合の図９ａにあるのと同じ変化する傾斜角による第４の例として、本開示の方法による画素アレイのスライスおよびタイルへの分割を示す図である。
【図9c】画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界が湾曲している場合の図９ａにあるのと同じ変化する傾斜角による第４の例として、本開示の方法による画素アレイのスライスおよびタイルへの分割を示す図である。
【図9d】画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界が湾曲している場合の図９ａにあるのと同じ変化する傾斜角による第４の例として、本開示の方法による画素アレイのスライスおよびタイルへの分割を示す図である。
【図10a】画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界が湾曲している場合の変化する傾斜角による第５の例として、先行技術の方法による画素アレイのタイルへの分割を示す図である。
【図10b】画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界が湾曲している場合の図１０ａにあるのと同じ変化する傾斜角による第５の例として、本開示の方法による画素アレイのスライスおよびタイルへの分割を示す図である。
【発明を実施するための形態】
【0027】
本発明についてここで、本発明の現在のところ好ましい実施形態が示されている添付の図面を参照しながら、以降でより詳しく説明する。しかしながら、本発明は、多くの異なる形態で具現化されてよく、本明細書に示される実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態は、完全に網羅して本発明の範囲を当業者に伝えるために提供される。
【0028】
以下では、本開示による、画素アレイを符号化ビデオストリームに符号化するためのシステム１００について、図１を参照しながら論述する。システム１００は、画素アレイが画素の第１のサブセットおよび画素の第２のサブセットで構成され、かつ画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界が画素アレイに対してある傾斜角で傾斜しており、画素の第１のサブセットおよび画素の第２のサブセットが各々の処理回路で、例えば、並列処理を可能にするために、別個に処理されるシナリオで使用されることが意図されている。
【0029】
システム１００は例えば、複数の画像センサによってキャプチャされた画像フレーム同士を合成することによって構造化されるパノラマ画像フレームなどの大きな画像フレームの符号化に対して使用され得る。システム１００において符号化される画素アレイはさらにまた、複数の画像センサの２つの画像センサからの画素に関連していることが考えられる。画素アレイの画素はさらにまた、典型的には、２つの別個の画像センサからの画素間の第１の境界におけるいずれの可視の影響も取り除くまたは低減するために、画素データの水平方向の補正変換、ならびに画素データの合成および混合によって処理されていることが考えられる。画素アレイのさらなる処理はまた、画素アレイがシステム１００において得られる前に行われていてよい。そのような処理が２つの画像処理回路で別個に（典型的には並列に）行われる場合、画素データは２つの画像処理回路間で転送させなければならない。さらに、場合によっては、２つの画像処理回路の異なる１つで処理される画素アレイの画素データ間の第１の境界は、画素アレイに対して傾斜していてよい。第１の画像センサ４１０、第２の画像センサ４２０、第３の画像センサ４３０、および第４の画像センサ４４０のセットアップの一例が図４に示されている。第２の画像センサ４２０および第３の画像センサ４３０は、いずれの相互の傾斜もなく中央に配置されるに対し、第１の画像センサ４１０および第４の画像センサ４４０は、第２の画像センサ４２０および第３の画像センサ４３０に対してそれぞれ、角度ｕで傾斜させて配置される。例えば、第１の画像センサ４１０および第２の画像センサ４２０に関する画素データを含むシステム１００において処理される画素アレイについて、合成に関する処理、および異なる処理回路によって処理されるべきである任意のさらなる処理の後の画素データ間の第１の境界は、画素アレイに対する角度で傾斜することになる。この傾斜は、一部は第１の画像センサ４１０と第２の画像センサ４２０との間の角度ｕによるものであり、一部はシステム１００の処理前の変換によるものである。第１の境界の傾斜はまた、第２の画像センサ４２０および第３の画像センサ４３０からの処理された画像データに関する画素アレイにおいて、例えば、水平方向の補正変換により、画像センサ間の相互の傾斜以外の理由で生じる場合がある。
【0030】
システム１００はまた、例えば広角レンズを使用して、例えば、大きな画像フレームの符号化に対して使用されてよく、大きな画像フレームは２つまたはそれ以上の垂直部分に分割されている。システム１００において符号化される画素アレイはさらにまた、画像フレームの２つの部分からの画素に関連することが考えられる。画素アレイの画素はさらにまた、典型的には、画素アレイがシステム１００において得られる前に処理されていることが考えられる。そのような処理は、例えば、球面投影または円柱投影に関する画素データの変換を含んでよい。合成に関するそのような処理および任意のさらなる処理が２つの画像処理回路で別個に（典型的には並列に）行われている場合があるとき、この画素データは典型的には、２つの画像処理回路間の画素データの転送を必要とすることになる。さらに、場合によっては、２つの画像処理回路の異なる１つで処理された画素アレイの画素データ間の第１の境界は、例えば、球面投影または円柱投影に関する画素データの変換により、第１の境界が湾曲しているように、画素アレイに対して傾斜していてよい。第１の画像部分５１０、第２の画像部分５２０、第３の画像部分５３０、および第４の画像部分５４０への画像フレーム５００の分割の一例が図５に示されている。例えば、第１の画像部分５１０および第２の画像部分５２０に関する画素データを含む、システム１００において処理される画素アレイが、例えば、レンズ歪みについて調節するために画素データの水平方向の補正変換を含めて、２つの処理回路のうちの対応する１つにおいて処理されているとき、２つの画像処理回路の異なるものにおいて処理された画素アレイの画素データ間の第１の境界は、第１の境界が湾曲しているように画素アレイに対して傾斜していてよい。
【0031】
システム１００は、第１の画像処理回路１１０と、第２の画像処理回路１２０と、第１の画像処理回路１１０に配置される第１の符号器１１２と、第２の画像処理回路１２０に配置される第２の符号器１２２と、第１の画像処理回路１１０に配置される第１のバッファ１１４と、第２の画像処理回路１２０に配置される第２のバッファ１２４とを備える。第１のバッファ１１４は画素の第１のサブセットに関する画素データを格納し、第２のバッファ１２４は画素の第２のサブセットに関する画素データを格納する。第１の処理回路１１０および第２の処理回路１２０はそれぞれ、中央処理装置（ＣＰＵ）、マイクロコントローラ、またはマイクロプロセッサなど、第１のプロセッサ１１６および第２のプロセッサ１２６をそれぞれ含んでよい。第１の符号器１１２および第２の符号器１２２は例えば、Ｈ．２６２、Ｈ．２６５、Ｈ．２６６、ＡＶ１、およびＶＰ９の映像圧縮規格に従って符号化するように適応され得る。
【0032】
システム１００は回路１３０をさらに備える。回路１３０は、システム１００の機能を実行するように構成される。回路は例えば、図３に関してさらに説明されることになる画像処理デバイス３００に含まれてよい。回路１３０は、中央処理装置（ＣＰＵ）、マイクロコントローラ、またはマイクロプロセッサなどのプロセッサ１３２を含んでよい。プロセッサ１３２はプログラムコードを実行するように構成される。プログラムコードは例えば、システム１００の機能を実行するように構成されてよい。
【0033】
システム１００はメモリ１４０をさらに含んでよい。メモリ１４０は、バッファ、フラッシュメモリ、ハードドライブ、取り外し可能な媒体、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、または別の適したデバイスのうちの１つまたは複数であってよい。例示の配置構成では、メモリ１４０は、長期データ格納用の不揮発性メモリと、回路１３０用のシステムメモリとして機能する揮発性メモリとを含む。メモリ１４０は、データバス上で回路１３０とデータを交換し得る。メモリ１４０と回路１３０との間の付属の制御線およびアドレスバスも存在し得る。データは、データバス上で第１の処理回路１１０と第２の処理回路１２０との間でさらに交換されてよい。
【0034】
システム１００の機能は、システム１００の非一時的なコンピュータ可読媒体（例えば、メモリ１４０）上に格納され、かつ回路１３０によって（例えば、プロセッサ１３２を使用して）実行される実行可能な論理ルーチン（例えば、コード行、ソフトウェアプログラムなど）の形態で具現化されてよい。さらに、画像処理デバイス１００の機能は、スタンドアロンのソフトウェアアプリケーションであってよい、または画像処理デバイス１００に関連している追加のタスクを実行するソフトウェアアプリケーションの一部を形成してよい。説明される機能は、回路１３０の処理ユニット、例えば、プロセッサ１３２が実行するように構成される方法と見なされ得る。また、説明される機能はソフトウェアで実装され得るが、そのような機能性は、専用ハードウェアもしくはファームウェア、または、ハードウェア、ファームウェア、および／またはソフトウェアの何らかの組み合わせを介して同様に実行されてよい。
【0035】
システム１００は、画素の第１のサブセットおよび画素の第２のサブセットが第１の処理回路１１０および第２の処理回路１２０それぞれで別個に符号化されるシナリオで使用されることが意図されているため、できるだけ少量の画素データが第１の処理回路１１０と第２の処理回路１２０との間で共有されるのが望ましいが、これは、そのような共有が、処理を減速させるような、第１の処理回路１１０と第２の処理回路１２０との間の画素データの転送を含む同期を必要とするからである。それ故に、第１の処理回路１１０および第２の処理回路１２０のうちの１つにおいて画素データを符号化するとき、そのような符号化は好ましくは、できるだけ少量の画素データの転送しか必要としないものとするべきである。符号化がスライスのタイルで実行されることになるため、スライスおよびタイルへの分割は、それぞれのタイルが、画素の第１のサブセットおよび画素の第２のサブセットのうちの１つからのみからまたは主に１つからの画素データに関連するようにするべきであり、すなわち、いくつかのタイルは主に画素の第１のサブセットからの画素データに関連し得、いくつかのタイルは主に画素の第２のサブセットからの画素データに関連し得る。この目的に向けて、回路１３０は、傾斜角に基づいて画素アレイをスライスおよびタイルに分割するための分割機能を実行するように構成される。
【0036】
具体的には、回路１３０は、画素アレイを２つまたはそれ以上のスライスに分割するように構成される第１の分割機能１５１を実行するように構成される。第１の分割機能１５１は、画素アレイを少なくとも２つのスライスに、典型的には、最高で１００のスライス、好ましくは４～１６のスライスに分割するように構成される。
【0037】
回路１３０は、それぞれのスライスを２つまたはそれ以上のタイルに分割するように構成される第２の分割機能１５２を実行するようにさらに構成され、それぞれのスライスの２つまたはそれ以上のタイルはタイルの第１のサブセットおよびタイルの第２のサブセットで構成され、タイルの第１のサブセットおよびタイルの第２のサブセットは分離しており、タイルの第１のサブセットは第１の符号器１１２によって符号化され、タイルの第２のサブセットは第２の符号器１２２によって符号化される。タイルの第１のサブセットおよびタイルの第２のサブセットは、分離していることに加えて、それぞれ連続することになり、主に、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界の１つの側の画素に関連することで、タイルの第１のサブセットおよびタイルの第２のサブセットのうちの１つは、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界の１つの側の画素に関連し、これらのうちのもう１つは該第１の境界のもう１つの側の画素に関連する。第２の分割機能は、タイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界を、２つまたはそれ以上のスライスの２つの隣接するスライス間のオフセットで設定するようにさらに構成され、オフセットは傾斜角に基づく。具体的には、オフセットは、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素数、それに加えて、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素数が、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界が画素アレイに対する傾斜角ｖで傾斜するときのオフセットを使用しないこととの関連で低減するように選択される。それ故に、第１の符号器に転送させる必要がある第２のバッファに格納された画素データ量、および第２の符号器に転送させる必要がある第１のバッファに格納された画素データ量は、オフセットを使用しないこととの関連で低減する。例えば、オフセットは、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素数と、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素数との和が、異なるオフセットに対して決定され、かつオフセットが最小和になるオフセットに設定されるような反復法による傾斜角に基づいて設定されてよい。別の方法として、傾斜角の関数が、オフセットが決定された傾斜角に対して計算可能であることから導出される解析的解法も使用されてよい。第２の分割機能１５２は、画素アレイをスライスごとに少なくとも２つのタイルに分割するように構成される。スライスごとのタイル数は、アプリケーション特有であってよく、例えば、スライスごとに１０のタイルとすることが可能である。スライスごとのタイル数は異なるスライスで異なっていてよい。
【0038】
回路１３０は、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素の画素データを第１の符号器に転送するように構成される第１の転送機能１５３を実行するように、および、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素の画素データを第２の符号器に転送するように構成される第２の転送機能１５４を実行するようにさらに構成される。画素データを第２のバッファから第１の符号器におよび第１のバッファから第２の符号器に転送することは、周辺部品接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）（ＰＣＩ）を介して実行されてよく、これによって、それぞれ、第１の符号器が第１のバッファにおいて直接画像データにアクセスし、かつ第２の符号器が第２の画像バッファにおいて直接画像データにアクセスするときよりもその画像データへのアクセスが減速する。
【0039】
回路１３０は、タイルの第１のサブセットを符号化するように第１の符号器に命令するように構成される第１の命令機能１５５を実行するように、および、タイルの第２のサブセットを符号化するように第２の符号器に命令するように構成される第２の命令機能１５６を実行するようにさらに構成されてよい。
【0040】
第１の符号器１１２はタイルの第１のサブセットを符号化するように構成され、第２の符号器１１４はタイルの第２のサブセットを符号化するように構成される。
【0041】
傾斜角は、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界に沿って一定であってよい。オフセットはさらにまた、それぞれ２つの隣接するスライス間で同じであるように設定されてよい。
【0042】
代替的には、傾斜角は、画素アレイの、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界に沿って変化し得る。第１の分割機能１５１は、さらにまた、画素アレイを３つまたはそれ以上のスライスに分割するように構成されてよく、第２の分割機能は、異なる２つの隣接するスライス間で異なるオフセットを使用するように構成されてよい。具体的には、２つの隣接するスライス間で使用されるオフセットは、２つの隣接するスライスにおける局所傾斜角に基づいてよい。
【0043】
傾斜角が、３つまたはそれ以上のスライスのうちの２つの隣接するスライスにおいて変化することで、例えば、画素アレイの画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界が湾曲するケースである場合、２つの隣接するスライスにおける局所傾斜角は、２つの隣接するスライスにおける平均傾斜角として決定されてよい。
【0044】
傾斜角が、画素アレイの第１の水平部分において一定であり、また、画素アレイの第２の水平部分において一定であるが異なるように変化する場合、第１の分割機能１５１は、画素アレイのそれぞれの別個の水平部分を２つまたはそれ以上のスライスに分割することで、画素アレイが４つまたはそれ以上のスライスに分割されるように構成されてよい。画素アレイの同じ水平部分における２つの隣接するスライスに対する局所傾斜角は、さらにまた、その水平部分における一定の傾斜角として決定されてよい。画素アレイの水平部分の異なるものにおける２つの隣接するスライスに対する局所傾斜角は、２つの水平部分における２つの異なってはいるが一定の傾斜角の平均として決定されてよい。２つの隣接するスライス間の第４の境界を２つの隣接する水平部分間の第３の境界と整列させることによって、第１の境界はそれぞれの水平部分におけるスライスにおいて一定の傾斜角を有することになる。これによって、そのスライスにおける第１の境界の傾斜角に基づいてそれぞれのスライスにおける第２の境界のオフセットの設定が可能になることで、オフセットを有さないこととの関連で符号化するために画像処理回路間の転送を必要とするデータ量が低減する。
【0045】
２つまたはそれ以上のスライスのそれぞれの２つまたはそれ以上のタイルの対応するタイルのサイズは、２つまたはそれ以上のスライスのそれぞれにおいて同じあるか異なっているかのどちらかであってよい。換言すれば、２つまたはそれ以上のスライスにおけるタイル間の境界は水平方向に整列していてもしていなくもよい。これは、異なるスライスの対応するタイルに対する異なるサイズが関連の実装に対して復号可能であるまたは復号器側にない可能性があるかどうかに左右されることになる。さらに、２つまたはそれ以上のスライスの対応するタイルの同じサイズを有することは符号化のスケジューリングを簡易にし得るが、これは、同じサイズのタイルを符号化することはかかる時間が同様であるからである。２つまたはそれ以上のスライスの対応するタイルの同じサイズを有することは、２つまたはそれ以上のスライスのうちの１つのスライスにおけるタイルを符号化するとき、２つまたはそれ以上のスライスのうちの他のスライスにおける対応するタイルに対して対応するバッファにおける画像データの使用をさらに可能にし得る。
【0046】
以下では、本開示による、符号化ビデオストリームに符号化するために画素アレイをスライスおよびタイルに分割するための方法２００について、図２を参照しながら論述する。方法２００は、画素アレイが画素の第１のサブセットおよび画素の第２のサブセットで構成され、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界が画素アレイに対してある傾斜角で傾斜しており、画素の第１のサブセットおよび画素の第２のサブセットが、例えば並列処理を可能にするために、各々の処理回路で別個に処理されるシナリオで使用されることが意図されている。方法２００は、例えば、複数の画像センサによってキャプチャされた画像フレーム同士を合成することによって構造化されるパノラマ画像フレームなどの大きな画像フレーム、または、例えば、広角レンズを使用してキャプチャされる大きな画像フレームの符号化に関して実行されてよく、ここで、大きな画像フレームは、図１、図４、および図５を参照してシステム１００に関して説明されるように、２つまたはそれ以上の部分に分割されている。
【0047】
方法２００が、画素の第１のサブセットおよび画素の第２のサブセットが第１の処理回路１１０および第２の処理回路１２０においてそれぞれ、別個に符号化されるシナリオで実行されることが意図されているため、できるだけ少ない画素データが第１の処理回路１１０と第２の処理回路１２０との間で共有されることが望ましいが、これは、そのような共有が処理を減速させるような、第１の処理回路１１０と第２の処理回路１２０との間の画素データの転送を含む同期を必要とするからである。例えば、画素データを第２のバッファから第１の符号器におよび第１のバッファから第２の符号器に転送することは、ＰＣＩを介して実行されてよく、これによって、それぞれ、第１の符号器が第１のバッファにおいて直接画像データにアクセスし、かつ第２の符号器が第２の画像バッファにおいて直接画像データにアクセスするときよりもその画像データへのアクセスが減速する。さらに、画素データの転送を含む同期のさらなるステップを有することによって、画像処理回路のうちの１つがその他の画像処理回路の画像データの受信を待たなくてはならないことにより待ち時間が取り込まれる場合がある。それ故に、第１の処理回路１１０および第２の処理回路１２０のうちの１つにおいて画素データを符号化するとき、そのような符号化は好ましくは、できるだけ少ない画素データの転送しか必要としないようにするべきである。符号化がスライスのタイルで実行されることになるため、スライスおよびタイルへの分割は、それぞれのタイルが、画素の第１のサブセットおよび画素の第２のサブセットのうちの１つのみからのまたは主に１つからの画素データに関連するようにするべきであり、すなわち、いくつかのタイルは主に画素の第１のサブセットからの画素データに関連し得、いくつかのタイルは主に画素の第２のサブセットからの画素データに関連し得る。この目的に向けて、画素アレイは、傾斜角に基づいてスライスおよびタイルに分割される。
【0048】
方法２００は、画素アレイを２つまたはそれ以上のスライスに分割することＳ２１０と、それぞれのスライスを２つまたはそれ以上のタイルに分割することＳ２２０とを含み、それぞれのスライスの２つまたはそれ以上のタイルはタイルの第１のサブセットおよびタイルの第２のサブセットで構成され、タイルの第１のサブセットおよびタイルの第２のサブセットは分離しており、タイルの第１のサブセットは第１の符号器によって符号化され、タイルの第２のサブセットは第２の符号器で符号化される。タイルの第１のサブセットおよびタイルの第２のサブセットは、分離していることに加えて、それぞれ連続することになり、主に、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界の１つの側の画素に関連することで、タイルの第１のサブセットおよびタイルの第２のサブセットのうちの１つは、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界の１つの側の画素に関連し、これらのうちのもう１つは該第１の境界のもう１つの側の画素に関連する。それぞれのスライスを２つまたはそれ以上のタイルに分割することＳ２１０は、タイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界を、２つまたはそれ以上のスライスの２つの隣接するスライス間のオフセットで設定することを含み、オフセットは傾斜角に基づく。具体的には、オフセットは、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素数、それに加えて、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素数が、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界が画素アレイに対する傾斜角ｖで傾斜するときのオフセットを使用しないこととの関連で低減するように選択される。それ故に、第１の符号器に転送させる必要がある第２のバッファに格納された画素データ量、および第２の符号器に転送させる必要がある第１のバッファに格納された画素データ量は、オフセットを使用しないこととの関連で低減する。例えば、オフセットは、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素数と、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素数との和が、異なるオフセットに対して決定され、かつオフセットが最小和になるオフセットに設定されるような反復法による傾斜角に基づいて設定されてよい。
【0049】
方法２００およびそれに含まれるステップは、図１に関して説明されるようなシステム１００の対応する機能としてさらに適応されてよい。
【0050】
以下では、本開示による、画素アレイをスライスおよびタイルに分割するための画像処理デバイス３００について、図３を参照しながら論述する。スライスおよびタイルは、第１の画像処理回路に配置された第１の符号器および第２の画像処理回路に配置された第２の符号器によって符号化ビデオストリームに符号化されることが意図されている。画像処理デバイス３００は、画素アレイが画素の第１のサブセットおよび画素の第２のサブセットで構成され、かつ画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界が画素アレイに対してある傾斜角で傾斜しており、画素の第１のサブセットおよび画素の第２のサブセットが、例えば、並列処理を可能にするために別個に処理されるシナリオで使用されることが意図されている。画像処理デバイス３００は、例えば、複数の画像センサによってキャプチャされた画像フレーム同士を合成することによって構造化されるパノラマ画像フレームなどの大きな画像フレーム、または、例えば、広角レンズを使用してキャプチャされる大きな画像フレームの符号化に対して使用されてよく、ここで、大きな画像フレームは、図１、図４、および図５を参照してシステム１００に関して説明されるように、２つまたはそれ以上の部分に分割されている。画像処理デバイス３００は、図１を参照して説明されるシステム１００などのシステムに含まれてよい。
【0051】
画像処理デバイス３００は回路１３０を備える。回路１３０は、システム１００の機能を実行するように構成される。回路１３０は、中央処理装置（ＣＰＵ）、マイクロコントローラ、またはマイクロプロセッサなどのプロセッサ１３２を含んでよい。プロセッサ１３２はプログラムコードを実行するように構成される。プログラムコードは例えば、システム１００の機能を実行するように構成されてよい。
【0052】
画像処理デバイス３００はメモリ１４０をさらに含んでよい。メモリ３４０は、バッファ、フラッシュメモリ、ハードドライブ、取り外し可能な媒体、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、または別の適したデバイスのうちの１つまたは複数であってよい。例示の配置構成では、メモリ１４０は、長期データ格納用の不揮発性メモリと、回路１３０用のシステムメモリとして機能する揮発性メモリとを含む。メモリ１４０は、データバス上で回路１３０とデータを交換し得る。メモリ１４０と回路１３０との間の付属の制御線およびアドレスバスも存在し得る。データは、データバス上で第１の処理回路１１０と第２の処理回路１２０との間でさらに交換されてよい。
【0053】
画像処理デバイス３００の機能は、画像処理デバイス３００の非一時的なコンピュータ可読媒体（例えば、メモリ１４０）上に格納され、かつ回路１３０によって（例えば、プロセッサ１３２を使用して）実行される実行可能な論理ルーチン（例えば、コード行、ソフトウェアプログラムなど）の形態で具現化されてよい。さらに、画像処理デバイス３００の機能は、スタンドアロンのソフトウェアアプリケーションであってよい、または画像処理デバイス３００に関連している追加のタスクを実行するソフトウェアアプリケーションの一部を形成してよい。説明される機能は、回路１３０の処理ユニット、例えば、プロセッサ１３２が実行するように構成される方法と見なされ得る。また、説明される機能はソフトウェアで実装され得るが、そのような機能性は、専用ハードウェアもしくはファームウェア、または、ハードウェア、ファームウェア、および／またはソフトウェアの何らかの組み合わせを介して同様に実行されてよい。
【0054】
画像処理デバイス３００は、画素の第１のサブセットおよび画素の第２のサブセットが、それぞれ、第１の処理回路１１０および第２の処理回路１２０で別個に処理されるシナリオで使用されることが意図されているため、できるだけ少ない画素データが第１の処理回路１１０と第２の処理回路１２０との間で共有されるのが望ましいが、これは、そのように共有することは、処理を減速させるような、第１の処理回路１１０と第２の処理回路１２０との間の画素データの転送を含む同期を必要とするからである。それ故に、第１の処理回路１１０および第２の処理回路１２０のうちの１つにおいて画素データを符号化するとき、そのような符号化は好ましくは、できるだけ少ない画素データの転送しか必要としないものとするべきである。符号化がスライスのタイルで実行されることになるため、スライスおよびタイルへの分割は、それぞれのタイルが、主に画素の第１のサブセットおよび画素の第２のサブセットのうちの１つからの画素データに関連するようにするべきであり、すなわち、いくつかのタイルは主に画素の第１のサブセットからの画素データに関連し得、いくつかのタイルは主に画素の第２のサブセットからの画素データに関連し得る。この目的に向けて、回路１３０は、傾斜角に基づいて画素アレイをスライスおよびタイルに分割するための分割機能を実行するように構成される。
【0055】
具体的には、回路１３０は、画素アレイを２つまたはそれ以上のスライスに分割するように構成される第１の分割機能１５１を実行するように構成される。
【0056】
回路１３０は、それぞれのスライスを２つまたはそれ以上のタイルに分割するように構成される第２の分割機能１５２を実行するようにさらに構成され、それぞれのスライスの２つまたはそれ以上のタイルはタイルの第１のサブセットおよびタイルの第２のサブセットで構成され、タイルの第１のサブセットおよびタイルの第２のサブセットは分離しており、タイルの第１のサブセットは第１の符号器によって符号化され、タイルの第２のサブセットは第２の符号器によって符号化される。タイルの第１のサブセットおよびタイルの第２のサブセットは、分離していることに加えて、それぞれ連続することになり、主に、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界の１つの側の画素に関連することで、タイルの第１のサブセットおよびタイルの第２のサブセットのうちの１つは、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界の１つの側の画素に関連し、これらのうちのもう１つは該第１の境界のもう１つの側の画素に関連する。第２の分割機能は、タイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界を、２つまたはそれ以上のスライスの２つの隣接するスライス間のオフセットで設定するようにさらに構成され、オフセットは傾斜角に基づく。具体的には、オフセットは、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素数、それに加えて、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素数が、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界が画素アレイに対する傾斜角ｖで傾斜するときのオフセットを使用しないこととの関連で低減するように選択される。それ故に、第１の符号器に転送させる必要がある第２のバッファに格納された画素データ量、および第２の符号器に転送させる必要がある第１のバッファに格納された画素データ量は、オフセットを使用しないこととの関連で低減する。例えば、オフセットは、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素数と、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素数との和が、異なるオフセットに対して決定され、かつオフセットが最小和になるオフセットに設定されるような反復法による傾斜角に基づいて設定されてよい。
【0057】
画像処理デバイス３００およびそれに含まれる機能は、図１に関して説明されるようなシステム１００の対応する機能としてさらに適応されてよい。
【0058】
以下では、画素アレイがタイルにまたはスライスおよびタイルに分割される、図６、図７ａ～図７ｂ、図８ａ～図８ｄ、図９ａ～図９ｄ、および図１０ａ～図１０ｄを参照しながら５つの例について説明する。画素アレイ、スライス、タイル、および傾斜角の絶対的なサイズおよび相対的なサイズが例示の目的のためだけに選択されているため、必ずしも任意の実際のシナリオを反映するとは限らないことは留意されたい。図６、図７ａ～図７ｂ、図８ａ～図８ｄ、図９ａ～図９ｄ、および図１０ａ～図１０ｄにおいて、薄い実線でかつ数字「１」または数字「２」を含むそれぞれの正方形は、単一の画素または複数の画素を含む画素ブロックのどちらかに対応し、太字の破線のそれぞれの正方形または長方形はタイルに対応し、それぞれの水平方向の太線はスライス間の第４の境界を示す。例えば、図７ａにおいて、画素アレイ７００は、それぞれが９つの画素または画素ブロックで構成される８つの正方形タイルに分割されるが、画素アレイ７００はいずれのスライスにも分割されない。図７ｂにおいて、画素アレイ７００は、それぞれが３つの画素または画素ブロックである２つのスライスに高さで分割され、それぞれのスライスは３つのタイルに分割される。タイルのうちの４つは９つの画素または画素ブロックで構成され、タイルのうちの２つは１８個の画素または画素ブロックで構成される。
【0059】
ここで、画素アレイ６００をタイルに分割する第１の例が挙げられた図６を参照する。この場合、画素の第１のサブセットおよび画素の第２のサブセットとの間の第１の境界Ｂは水平、すなわち、画素アレイにおける列と平行である。画素の第１のサブセットは数字「１」で示される正方形で構成され、画素の第２のサブセットは数字「２」で示される正方形で構成される。それぞれの正方形は、単一の画素または複数の画素を含む画素のブロックに対応することが可能である。画素アレイ６００をタイルに分割することで、第１の処理回路および第２の処理回路においてそれぞれ、画素の第１のサブセットおよび画素の第２のサブセットを別個に符号化するときに第１の処理回路と第２の処理回路との間で転送させなければならない画素データをできるだけ少なくするために、第１の回路と第２の回路との間の画素データの転送の必要性を回避することは些細なことである。例えば、図６に示される８つのタイルへの分割は、画素データの転送を必要とすることはない。
【0060】
ここで、画素アレイ７００がタイルにまたはスライスおよびタイルに分割される第２の例について図７ａ～図７ｂを参照する。この場合、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界Ｂは一定の傾斜角ｖで傾斜している。画素の第１のサブセットは数字「１」で示される正方形で構成され、画素の第２のサブセットは数字「２」で示される正方形で構成される。画素の第１のサブセットは第１の処理回路における第１のバッファにおいてバッファリングされた画素データを有し、画素の第２のサブセットは第１の処理回路における第１のバッファにおいてバッファリングされた画素データを有する。それぞれの正方形は、単一の画素または複数の画素を含む画素のブロックに対応することが可能である。
【0061】
図７ａでは、画素アレイ７００は、先行技術の方法に従って、８つのタイルに、つまり、それぞれの列に２つのタイルがある４つのタイルの列に分割されている。左から最初の２つの列における４つのタイルの画素は、第１の処理回路において第１の符号器によって符号化され、左から最後の２つの列における４つのタイルは、第２の処理回路において第２の符号器によって符号化される。図７ａに見られるように、先行技術の方法に従って画素アレイ７００をタイルに分割した後、９つの正方形に対応する画素の画素データは、最初の２つの列の４つのタイルを第１の符号器によって符号化するときに第２の処理回路から第１の回路に転送させなければならず、９つの正方形に対応する画素の画素データは、最後の２つの列の４つのタイルを第２の符号器によって符号化するときに第１の処理回路から第２の回路に転送させなければならない。それ故に、１８個の正方形に対応する画素の画素データ全体は、この例において先行技術の方法を使用して２つの処理回路の間で転送させなければならない。
【0062】
本開示による方法２００が図７ｂに示されるようにこの第１の例として実行されるとき、画素アレイ７００は最初２つまたはそれ以上のスライスに分割され、それぞれのスライスは次いで、２つまたはそれ以上のタイルに分割され、それぞれのスライスの２つまたはそれ以上のタイルはタイルの第１のサブセットおよびタイルの第２のサブセットで構成され、タイルの第１のサブセットおよびタイルの第２のサブセットは分離しており、タイルの第１のサブセットは第１の符号器によって符号化され、タイルの第２のサブセットは第２の符号器によって符号化される。それぞれのスライスが２つまたはそれ以上のタイルに分割されるとき、タイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界は、２つまたはそれ以上のスライスの２つの隣接するスライス間のオフセットで設定され、オフセットは傾斜角に基づく。図７ｂに対して使用される方法のスライスおよびタイルへの分割は、それぞれのスライスにおける対応するタイル（同じタイルの列におけるタイル）が同じサイズの、すなわち同じ幅のものでなければならないことをさらに必要とする。図７ｂに見られるように、画素アレイ７００は第１のスライスＳ１および第２のスライスＳ２に分割されている。第１のスライスＳ１は３つのタイルＴ１、Ｔ２、Ｔ３に分割されており、第１のタイルＴ１および第２のタイルＴ２はタイルの第１のサブセットに属し、第３のタイルＴ３はタイルの第２のサブセットに属する。第１のスライスＳ１のタイルの第１のサブセットおよびタイルの第２のサブセットは分離しており、すなわち、それぞれのタイルはタイルの第１のサブセットおよびタイルの第２のサブセットのうちの１つに属しているだけである。同様に、第２のスライスＳ２は３つのタイルＴ１、Ｔ２、Ｔ３に分割されており、第１のタイルＴ１はタイルの第１のサブセットに属し、第２のタイルＴ２および第３のタイルＴ３はタイルの第２のサブセットに属する。第２のスライスＳ２のタイルの第１のサブセットおよびタイルの第２のサブセットは分離しており、すなわち、それぞれのタイルはタイルの第１のサブセットおよびタイルの第２のサブセットのうちの１つに属しているだけである。第１のスライスＳ１のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界、および第２のスライスＳ２のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界は、第１の境界Ｂの傾斜角ｖに基づいて互いに対してオフセットされる。オフセットは、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素数、それに加えて、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素数が、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界Ｂが画素アレイに対する傾斜角ｖで傾斜するときのオフセットを使用しないこととの関連で低減するように選択される。それ故に、第１の符号器に転送される必要がある第２のバッファに格納された画素データ量、および第２の符号器に転送される必要がある第１のバッファに格納された画素データ量は、オフセットを使用しないこととの関連で低減する。例えば、オフセットは、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素数と、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素数との和が、異なるオフセットに対して決定され、かつオフセットが最小和になるオフセットに設定されるような反復法による傾斜角に基づいて設定されてよい。
【0063】
図７ｂに見られるように、本開示による方法に従って画素アレイ７００をスライスおよびタイルに分割した後、２つの正方形に対応する画素の画素データは、第１のスライスＳ１のタイルの第１のサブセット、すなわち、第１のタイルＴ１および第２のタイルＴ２を符号化するときに第２の処理回路から第１の回路に転送させなければならず、２つの正方形に対応する画素の画素データは、第１のスライスＳ１のタイルの第２のサブセット、すなわち、第３のタイルＴ３を符号化するときに第１の処理回路から第２の回路に転送させなければならない。さらに、２つの正方形に対応する画素の画素データは、第２のスライスＳ２のタイルの第１のサブセット、すなわち、第１のタイルＴ１を符号化するときに第２の処理回路から第１の回路に転送させなければならず、２つの正方形に対応する画素の画素データは、第２のスライスＳ２のタイルの第２のサブセット、すなわち、第２のタイルＴ２および第３のタイルＴ３を符号化するときに第１の処理回路から第２の回路に転送させなければならない。それ故に、８つの正方形に対応する画素の画素データ全体は、この例において本開示の方法２００を使用して２つの処理回路の間で転送させなければならない。
【0064】
図７ｂにおけるオフセットは６つの正方形である。傾斜角が小さくなっていく場合、オフセットは小さくなっていくことが考えられ、その逆もまた同様である。
【0065】
ここで、画素アレイ８００がタイルにまたはスライスおよびタイルに分割される第３の例について図８ａ～図８ｄを参照する。この場合、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界Ｂは、第１の境界Ｂに沿って変化する傾斜角ｖ１、ｖ２で傾斜し、それによって、画素アレイ８００の第１の水平部分において、第１の境界Ｂは一定である第１の傾斜角ｖ１を有し、かつ画素アレイ８００の第２の水平部分において、第１の境界Ｂは、一定であるが第１の傾斜角ｖ１と異なる第２の傾斜角ｖ２を有する。画素の第１のサブセットは数字「１」で示される正方形で構成され、画素の第２のサブセットは数字「２」で示される正方形で構成される。画素の第１のサブセットは第１の処理回路における第１のバッファにおいてバッファリングされる画素データを有し、画素の第２のサブセットは第１の処理回路における第１のバッファにおいてバッファリングされる画素データを有する。それぞれの正方形は、単一の画素または複数の画素を含む画素のブロックに対応することができる。
【0066】
図８ａにおいて、画素アレイ８００は、先行技術の方法に従って、１６個のタイル、つまり、それぞれの列に４つのタイルがある４つのタイルの列に分割されている。左から最初の２つの列における８つのタイルの画素は、第１の処理回路における第１の符号器によって符号化され、左から最後の２つの列における８つのタイルは第２の処理回路における第２の符号器によって符号化される。図８ａに見られるように、先行技術の方法に従って、画素アレイ８００をタイルに分割した後、４つの正方形に対応する画素の画素データは、最初の２つの列の８つのタイルを第１の符号器によって符号化するときに第２の処理回路から第１の回路に転送させなければならず、１２の正方形に対応する画素の画素データは、最後の２つの列の８つのタイルを第２の符号器によって符号化するときに第１の処理回路から第２の回路に転送させなければならない。それ故に、１６の正方形に対応する画素の画素データ全体は、この例において先行技術の方法を使用して２つの処理回路の間で転送させなければならない。
【0067】
本開示による方法２００が図８ｂに示されるようなこの第３の例として実行されるとき、画素アレイ８００は最初、２つまたはそれ以上のスライスに分割され、それぞれのスライスは次いで、２つまたはそれ以上のタイルに分割され、それぞれのスライスの２つまたはそれ以上のタイルはタイルの第１のサブセットおよびタイルの第２のサブセットで構成され、タイルの第１のサブセットおよびタイルの第２のサブセットは分離しており、タイルの第１のサブセットは第１の符号器によって符号化され、タイルの第２のサブセットは第２の符号器によって符号化される。それぞれのスライスが２つまたはそれ以上のタイルに分割されるとき、タイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界は、２つまたはそれ以上のスライスの２つの隣接するスライス間のオフセットで設定され、オフセットは傾斜角ｖ１、ｖ２に基づく。図８ｂに対して使用される方法のスライスおよびタイルへの分割は、それぞれのスライスにおける対応するタイル（同じタイルの列におけるタイル）が同じサイズの、すなわち同じ幅のものでなければならないことをさらに必要とする。傾斜角ｖ１、ｖ２は一定であるが２つの水平部分においては異なっており、２つの水平部分はそれぞれ２つのスライスに分割される。図８ｂに見られるように、画素アレイ８００は第１のスライスＳ１、第２のスライスＳ２、第３のスライスＳ３、および第４のスライスＳ４に分割されている。第１のスライスＳ１は７つのタイルＴ１～Ｔ７に分割されており、第１のタイルＴ１～第６のタイルＴ６は第１のスライスＳ１のタイルの第１のサブセットに属し、第７のタイルＴ７は第１のスライスＳ１のタイルの第２のサブセットに属する。同様に、第２のスライスＳ２は７つのタイルＴ１～Ｔ７に分割されており、第１のタイルＴ１～第４のタイルＴ４は第２のスライスＳ２のタイルの第１のサブセットに属し、第５のタイルＴ５～第７のタイルＴ７は第２のスライスＳ２のタイルの第２のサブセットに属する。第３のスライスＳ３は７つのタイルＴ１～Ｔ７に分割されており、第１のタイルＴ１～第３のタイルＴ３は第３のスライスＳ３のタイルの第１のサブセットに属し、第４のタイルＴ４～第７のタイルＴ７は第３のスライスＳ３のタイルの第２のサブセットに属する。最後に、第４のスライスＳ４は７つのタイルＴ１～Ｔ７に分割されており、第１のタイルＴ１および第２のタイルＴ２は第４のスライスＳ４のタイルの第１のサブセットに属し、第３のタイルＴ３～第７のタイルＴ７は第４のスライスＳ４のタイルの第２のサブセットに属する。スライスのそれぞれのタイルの第１のサブセットおよびタイルの第２のサブセットは分離しており、すなわち、それぞれのタイルはタイルの第１のサブセットおよびタイルの第２のサブセットのうちの１つに属しているだけである。第１のスライスＳ１のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界、および第２のスライスＳ２のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界は、第３のスライスＳ３および第４のスライスＳ４の水平部分における第１の境界Ｂの局所傾斜角ｖ１に基づいて互いに対してオフセットされる。第２のスライスＳ２のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界、および第３のスライスＳ２のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界は、第２のスライスＳ２および第３のスライスＳ３の水平部分における第１の境界Ｂの局所傾斜角ｖ１、ｖ２に基づいて互いに対してオフセットされる。第２のスライスＳ２および第３のスライスＳ３は異なる一定の傾斜角を有する水平部分の異なるものに位置しているため、第２のスライスＳ２および第３のスライスＳ３における局所傾斜角は、第１の傾斜角ｖ１および第２の傾斜角ｖ２の平均として決定可能である。第３のスライスＳ３のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界、および第４のスライスＳ４のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界は、第３のスライスＳ３および第４のスライスＳ４の水平部分における第１の境界Ｂが位置する局所傾斜角ｖ２に基づいて互いに対してオフセットされる。それぞれ２つの隣接するスライス間の対応するオフセットは、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素数、それに加えて、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素数が、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界Ｂが画素アレイに対する変化する傾斜角ｖ１、ｖ２で傾斜するときのオフセットを使用しないこととの関連で低減するように選択される。それ故に、第１の符号器に転送される必要がある第２のバッファに格納された画素データ量、および第２の符号器に転送される必要がある第１のバッファに格納された画素データ量は、オフセットを使用しないこととの関連で低減する。
【0068】
図８ｂに見られるように、本開示による方法に従って画素アレイ８００をスライスおよびタイルに分割した後、１つの正方形に対応する画素の画素データは、第１のスライスＳ１のタイルの第１のサブセット、すなわち、第１のタイルＴ１～第６のタイルＴ６を符号化するときに第２の処理回路から第１の回路に転送させなければならず、１つの正方形に対応する画素の画素データは、第１のスライスＳ１のタイルの第２のサブセット、すなわち、第７のタイルＴ７を符号化するときに第１の処理回路から第２の回路に転送させなければならない。さらに、１つの正方形に対応する画素の画素データは、第２のスライスＳ２のタイルの第１のサブセット、すなわち、第１のタイルＴ１～第４のタイルＴ４を符号化するときに第２の処理回路から第１の回路に転送させなければならず、１つの正方形に対応する画素の画素データは、第２のスライスＳ２のタイルの第２のサブセット、すなわち、第５のタイルＴ５～第７のタイルＴ７を符号化するときに第１の処理回路から第２の回路に転送させなければならない。さらに、１つの正方形に対応する画素の画素データは、第３のスライスＳ３のタイルの第１のサブセット、すなわち、第１のタイルＴ１～第３のタイルＴ３を符号化するときに第２の処理回路から第１の回路に転送させなければならず、ゼロの正方形に対応する画素の画素データは、第３のスライスＳ３のタイルの第２のサブセット、すなわち、第４のタイルＴ４～第７のタイルＴ７を符号化するときに第１の処理回路から第２の回路に転送させなければならない。最後に、ゼロの正方形に対応する画素の画素データは、第４のスライスＳ４のタイルの第１のサブセット、すなわち、第１のタイルＴ１および第２のタイルＴ２を符号化するときに第２の処理回路から第１の回路に転送させなければならず、ゼロの正方形に対応する画素の画素データは、第４のスライスＳ４のタイルの第２のサブセット、すなわち、第３のタイルＴ３～第７のタイルＴ７を符号化するときに第１の処理回路から第２の回路に転送させなければならない。それ故に、５つの正方形に対応する画素の画素データ全体は、この例において本開示の方法２００を使用して２つの処理回路の間で転送させなければならない。
【0069】
図８ｂにおけるオフセットは、第１のスライスと第２のスライスとの間の２つの正方形、第２のスライスＳ２と第３のスライスＳ３との間の１つの正方形、および、第３のスライスＳ３と第４のスライスＳ４との間の１つの正方形である。傾斜角が隣接するスライスのいずれかにおいて小さくなっていく場合、オフセットはそれら２つの隣接するスライス間で小さくなっていき、その逆もまた同様である。
【0070】
ここで、本開示による画素アレイ８００のスライスおよびタイルへの分割が第３の例として示されている図８ｃを参照する。図８ｂに関して説明される分割とは対照的に、図８ｃに対して使用される方法のスライスおよびタイルへの分割では、異なるスライスにおけるタイルのサイズに対する制限はない。それ故に、タイルのスライスにおけるサイズおよび位置は独立して設定可能である。その結果として、図８ｃに見られるように、画素アレイ８００は第１のスライス～第４のスライスＳ１、Ｓ２、Ｓ３、Ｓ４に分割されている。第１のスライスＳ１は４つのタイルに分割されており、この場合、左から最初の３つのタイルは第１のスライスＳ１のタイルの第１のサブセットに属し、最後のタイルは第１のスライスＳ１のタイルの第２のサブセットに属する。同様に、第２のスライスＳ２は５つのタイルに分割されており、最初の３つのタイルは第２のスライスＳ２のタイルの第１のサブセットに属し、最後の２つのタイルは第２のスライスＳ２のタイルの第２のサブセットに属する。第３のスライスＳ３は４つのタイルに分割されており、左から最初の２つのタイルは第３のスライスＳ３のタイルの第１のサブセットに属し、最後の２つのタイルは第３のスライスＳ３のタイルの第２のサブセットに属する。最後に、第４のスライスＳ４は５つのタイルに分割されており、左から最初の２つのタイルは第４のスライスＳ４のタイルの第１のサブセットに属し、最後の３つのタイルは第４のスライスＳ４のタイルの第２のサブセットに属する。スライスのそれぞれのタイルの第１のサブセットおよびタイルの第２のサブセットは分離しており、すなわち、それぞれのタイルはタイルの第１のサブセットおよびタイルの第２のサブセットのうちの１つに属しているだけである。第１のスライスＳ１のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界、および第２のスライスＳ２のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界は、第１のスライスＳ１および第２のスライスＳ２の水平部分における第１の境界Ｂの局所傾斜角ｖ１に基づいて互いに対してオフセットされる。第２のスライスＳ２のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界、および第３のスライスＳ３のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界は、第２のスライスＳ２および第３のスライスＳ３の水平部分における第１の境界Ｂの局所傾斜角ｖ１、ｖ２に基づいて互いに対してオフセットされる。第２のスライスＳ２および第３のスライスＳ３は異なる一定の傾斜角を有する水平部分の異なるものに位置しているため、第２のスライスＳ２および第３のスライスＳ３における局所傾斜角は、第１の傾斜角ｖ１および第２の傾斜角ｖ２の平均として決定可能である。第３のスライスＳ３のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界、および第４のスライスＳ４のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界は、第３のスライスＳ３および第４のスライスＳ４の水平部分における第１の境界Ｂの局所傾斜角ｖ２に基づいて互いに対してオフセットされる。それぞれ２つの隣接するスライス間の対応するオフセットは、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素数、それに加えて、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素数が、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界Ｂが画素アレイに対する傾斜角ｖ１もしくはｖ２でまたは変化する傾斜角ｖ１、ｖ２で傾斜するときのオフセットを使用しないこととの関連で低減するように選択される。それ故に、第１の符号器に転送される必要がある第２のバッファに格納された画素データ量、および第２の符号器に転送される必要がある第１のバッファに格納された画素データ量は、オフセットを使用しないこととの関連で低減する。
【0071】
図８ｃに見られるように、タイルのサイズが異なるスライスにおいて独立して設定可能である場合の、本開示による方法に従って画素アレイ８００をスライスおよびタイルに分割した後、１つの正方形に対応する画素の画素データは、第１のスライスＳ１のタイルの第１のサブセット、すなわち、第１のタイル～第３のタイルを符号化するときに第２の処理回路から第１の回路に転送させなければならず、１つの正方形に対応する画素の画素データは、第１のスライスＳ１のタイルの第２のサブセット、すなわち、第４のタイルを符号化するときに第１の処理回路から第２の回路に転送させなければならない。さらに、１つの正方形に対応する画素の画素データは、第２のスライスＳ２のタイルの第１のサブセット、すなわち、第１のタイル～第３のタイルを符号化するときに第２の処理回路から第１の回路に転送させなければならず、１つの正方形に対応する画素の画素データは、第２のスライスＳ２のタイルの第２のサブセット、すなわち、第４のタイルおよび第５のタイルを符号化するときに第１の処理回路から第２の回路に転送させなければならない。さらに、１つの正方形に対応する画素の画素データは、第３のスライスＳ３のタイルの第１のサブセット、すなわち、第１のタイルおよび第２のタイルを符号化するときに第２の処理回路から第１の回路に転送させなければならず、ゼロの正方形に対応する画素の画素データは、第３のスライスＳ３のタイルの第２のサブセット、すなわち、第３のタイルおよび第４のタイルを符号化するときに第１の処理回路から第２の回路に転送させなければならない。最後に、ゼロの正方形に対応する画素の画素データは、第４のスライスＳ４のタイルの第１のサブセット、すなわち、第１のタイルおよび第２のタイルを符号化するときに第２の処理回路から第１の回路に転送させなければならず、ゼロの正方形に対応する画素の画素データは、第４のスライスＳ４のタイルの第２のサブセット、すなわち、第３のタイル～第５のタイルを符号化するときに第１の処理回路から第２の回路に転送させなければならない。それ故に、５つの正方形に対応する画素の画素データ全体は、この例において本開示の方法２００を使用して２つの処理回路の間で転送させなければならない。
【0072】
図８ｃにおけるオフセットは、第１のスライスＳ１と第２のスライスＳ２との間の２つの正方形、第２のスライスＳ２と第３のスライスＳ３との間の１つの正方形、および、第３のスライスＳ３と第４のスライスＳ４との間の１つの正方形である。傾斜角が隣接するスライスのいずれかにおいて小さくなっていく場合、オフセットはそれらの隣接するスライス間で小さくなっていき、その逆もまた同様である。
【0073】
図８ｃに関して異なるスライスにおけるタイルのサイズに対する制限がない場合でも、それぞれのスライスが２つ以上のタイルに分割されていることは留意されたい。別の方法として、それぞれのスライスはまた、第１の境界のそれぞれの側に１つとなるように、２つのタイルに分割されている。しかしながら、スライスを、タイルが同様のサイズである２つ以上のタイルに分割することは、符号化のスケジューリングを簡易にし得るが、これは、同様のサイズのタイルを符号化することはかかる時間が同様であるからである。また、これによって、２つまたはそれ以上のスライスの他のスライスにおける対応するタイルに対する対応するバッファにおける画像データの使用が可能になる。
【0074】
さらに別の方法として、図８ｄは、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界Ｂにおけるタイルを除く、それぞれのスライスにおける対応するタイル（同じタイルの列におけるタイル）は同じサイズ、すなわち同じ幅のものでなければならないことが必要とされる場合の画素アレイ８００のスライスおよびタイルへの分割を示す。見られるように、スライスにおける大部分の対応するタイルは同じサイズのものである。しかしながら、第２のスライスＳ２および第４のスライスＳ４における画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界Ｂにおけるタイルの幅は、タイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界がこれらの各々の隣接するスライスに対するオフセットで配置されるように適応されかつ配置されることで、先行技術と比較して２つの処理回路間で転送させなければならない画素の画素データの総量を低減するようにする。具体的には、第１のスライスＳ１と第２のスライスＳ２との間の第２の境界のオフセットは２つの正方形であり、第２のスライスＳ２と第３のスライスＳ３との間の第２の境界のオフセットは１つの正方形であり、第３のスライスＳ３と第４のスライスＳ４との間の第２の境界のオフセットは１つの正方形である。
【0075】
ここで、画素アレイ９００がタイルにまたはスライスおよびタイルに分割される第４の例について図９ａ～図９ｄを参照する。この場合、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界Ｂは、第１の境界Ｂが湾曲するように、第１の境界Ｂに沿って変化する傾斜角で傾斜する。画素の第１のサブセットは数字「１」で示される正方形で構成され、画素の第２のサブセットは数字「２」で示される正方形で構成される。画素の第１のサブセットは第１の処理回路における第１のバッファにおいてバッファリングされた画素データを有し、画素の第２のサブセットは第１の処理回路における第１のバッファにおいてバッファリングされた画素データを有する。それぞれの正方形は、単一の画素または複数の画素を含む画素のブロックに対応することが可能である。
【0076】
図８ａ～図８ｄと比較すると、図９ａ～図９ｄにおける画素アレイ９００の画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界Ｂはまた、変化する傾斜角で傾斜しているが、画素アレイ９００の２つの水平部分において一定の傾斜角ではなく、むしろ湾曲している。しかしながら、第４の例は、図９ｂ～図９ｄの最初の２つのスライスＳ１、Ｓ２における湾曲した第１の境界Ｂの平均傾斜角が、図８ｂ～図８ｄの最初の２つのスライスＳ１、Ｓ２における一定の傾斜角に近く、図９ｂ～図９ｄの最後の２つのスライスＳ３、Ｓ４における湾曲した第１の境界Ｂが、図８ｂ～図８ｄの最後の２つのスライスＳ３、Ｓ４における一定の傾斜角に近くなるように設計されているため、先行技術の方法に基づくタイルへの、および本開示による方法に基づくスライスおよびタイルへの分割は、それぞれ、図８ａ～図８ｄのように図９ａ～図９ｄのそれぞれで同じである。それぞれのスライスにおけるそれぞれのタイルの、タイルの第１のサブセットおよびタイルの第２のサブセットの各々における場所は、それぞれ、図８ｂ、図８ｃ、および図８ｄのように図９ｂ、図９ｃ、および図９ｄでも同じである。同様に、図９ａに対して先行技術の方法を使用して２つの処理回路間で転送させなければならない画素の画素データの総量は、図８ａに対するのと同じであり、図９ｂ、図９ｃ、および図９ｄに対して本開示による方法２００を使用することは、それぞれ、図８ｂ、図８ｃ、および図８ｄに対するのと同じである。
【0077】
ここで、画素アレイ１０００がタイルにまたはスライスおよびタイルに分割される第５の例について図１０ａ～図１０ｄを参照する。この場合、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界Ｂは、第１の境界Ｂが湾曲するように、第１の境界Ｂに沿って変化する傾斜角で傾斜する。画素の第１のサブセットは数字「１」で示される正方形で構成され、画素の第２のサブセットは数字「２」で示される正方形で構成される。画素の第１のサブセットは第１の処理回路における第１のバッファにおいてバッファリングされた画素データを有し、画素の第２のサブセットは第１の処理回路における第１のバッファにおいてバッファリングされた画素データを有する。それぞれの正方形は、単一の画素または複数の画素を含む画素のブロックに対応することが可能である。
【0078】
図１０ａにおいて、画素アレイ１０００は、先行技術の方法に従って、１６個のタイル、つまり、それぞれの列に４つのタイルがある４つのタイルの列に分割されている。左から最初の２つの列における８つのタイルの画素は、第１の処理回路における第１の符号器によって符号化され、左から最後の２つの列における８つのタイルは第２の処理回路における第２の符号器によって符号化される。図１０ａに見られるように、先行技術の方法に従って、画素アレイ１０００をタイルに分割した後、６つの正方形に対応する画素の画素データは、最初の２つの列の８つのタイルを第１の符号器によって符号化するときに第２の処理回路から第１の回路に転送させなければならず、ゼロの正方形に対応する画素の画素データは、最後の２つの列の８つのタイルを第２の符号器によって符号化するときに第１の処理回路から第２の回路に転送させなければならない。それ故に、６つの正方形に対応する画素の画素データ全体は、この例において先行技術の方法を使用して２つの処理回路の間で転送させなければならない。
【0079】
本開示による方法２００が図１０ｂに示されるようにこの第３の例として実行されるとき、画素アレイ１０００は最初、２つまたはそれ以上のスライスに分割され、それぞれのスライスは次いで、２つまたはそれ以上のタイルに分割され、それぞれのスライスの２つまたはそれ以上のタイルはタイルの第１のサブセットおよびタイルの第２のサブセットで構成され、タイルの第１のサブセットおよびタイルの第２のサブセットは分離しており、タイルの第１のサブセットは第１の符号器によって符号化され、タイルの第２のサブセットは第２の符号器によって符号化される。それぞれのスライスが２つまたはそれ以上のタイルに分割されるとき、タイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界は、２つまたはそれ以上のスライスの２つの隣接するスライス間のオフセットで設定され、オフセットは傾斜角に基づく。図１０ｂに対して使用される方法のスライスおよびタイルへの分割は、それぞれのスライスにおける対応するタイル（同じタイルの列におけるタイル）が同じサイズの、すなわち同じ幅のものでなければならないことをさらに必要とする。傾斜角は、第１の境界Ｂが湾曲するように第１の境界Ｂに沿って変化する。図１０ｂに見られるように、画素アレイ１０００は第１のスライス～第４のスライスＳ１、Ｓ２、Ｓ３、およびＳ４に分割されている。第１のスライスＳ１は５つのタイルＴ１～Ｔ５に分割されており、第１のタイルＴ１～第３のタイルＴ３は第１のスライスＳ１のタイルの第１のサブセットに属し、第４のタイルＴ４および第５のタイルＴ５は第１のスライスＳ１のタイルの第２のサブセットに属する。同様に、第２のスライスＳ２は５つのタイルＴ１～Ｔ５に分割されており、第１のタイルＴ１および第２のタイルＴ２は第２のスライスＳ２のタイルの第１のサブセットに属し、第３のタイルＴ３～第５のタイルＴ５は第２のスライスＳ２のタイルの第２のサブセットに属する。第３のスライスＳ３は５つのタイルＴ１～Ｔ５に分割されており、第１のタイルＴ１および第２のタイルＴ２は第３のスライスＳ３のタイルの第１のサブセットに属し、第３のタイルＴ３～第５のタイルＴ５は第３のスライスＳ３のタイルの第２のサブセットに属する。最後に、第４のスライスＳ４は５つのタイルＴ１～Ｔ５に分割されており、第１のタイルＴ１～第３のタイルＴ３は第４のスライスＳ４のタイルの第１のサブセットに属し、第４のタイルＴ４および第５のタイルＴ５は第４のスライスＳ４のタイルの第２のサブセットに属する。スライスのそれぞれのタイルの第１のサブセットおよびタイルの第２のサブセットは分離しており、すなわち、それぞれのタイルはタイルの第１のサブセットおよびタイルの第２のサブセットのうちの１つに属しているだけである。第１のスライスＳ１のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界、および第２のスライスＳ２のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界は、第１のスライスＳ１および第２のスライスＳ２の水平部分における第１の境界Ｂの局所傾斜角に基づいて互いに対してオフセットされる。第２のスライスＳ２のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界、および第３のスライスＳ３のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界は、第２のスライスＳ２および第３のスライスＳ３における第１の境界Ｂの局所傾斜角に基づいて互いに対してオフセットされる。第３のスライスＳ３のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界、および第４のスライスＳ４のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界は、第３のスライスＳ３および第４のスライスＳ４における第１の境界Ｂの局所傾斜角に基づいて互いに対してオフセットされる。それぞれ２つの隣接するスライスにおける局所傾斜角は、その隣接するスライスの対において湾曲した第１の境界Ｂの部分の傾斜角の平均として決定可能である。それぞれ２つの隣接するスライス間の対応するオフセットは、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素数、それに加えて、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素数が、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界Ｂが画素アレイに対する変化する傾斜角で傾斜するときのオフセットを使用しないこととの関連で低減するように選択される。それ故に、第１の符号器に転送される必要がある第２のバッファに格納された画素データ量、および第２の符号器に転送される必要がある第１のバッファに格納された画素データ量は、オフセットを使用しないこととの関連で低減する。
【0080】
図１０ｂに見られるように、本開示による方法に従って画素アレイ１０００をスライスおよびタイルに分割した後、ゼロの正方形に対応する画素の画素データは、第１のスライスＳ１のタイルの第１のサブセット、すなわち、第１のタイルＴ１～第３のタイルＴ３を符号化するときに第２の処理回路から第１の回路に転送させなければならず、ゼロの正方形に対応する画素の画素データは、第１のスライスＳ１のタイルの第２のサブセット、すなわち、第４のタイルＴ４および第５のタイルＴ５を符号化するときに第１の処理回路から第２の回路に転送させなければならない。さらに、ゼロの正方形に対応する画素の画素データは、第２のスライスＳ２のタイルの第１のサブセット、すなわち、第１のタイルＴ１および第２のタイルＴ２を符号化するときに第２の処理回路から第１の回路に転送させなければならず、ゼロの正方形に対応する画素の画素データは、第２のスライスＳ２のタイルの第２のサブセット、すなわち、第３のタイルＴ３～第５のタイルＴ５を符号化するときに第１の処理回路から第２の回路に転送させなければならない。さらに、ゼロの正方形に対応する画素の画素データは、第３のスライスＳ３のタイルの第１のサブセット、すなわち、第１のタイルＴ１～第２のタイルＴ２を符号化するときに第２の処理回路から第１の回路に転送させなければならず、ゼロの正方形に対応する画素の画素データは、第３のスライスＳ３のタイルの第２のサブセット、すなわち、第３のタイルＴ３～第５のタイルＴ５を符号化するときに第１の処理回路から第２の回路に転送させなければならない。最後に、ゼロの正方形に対応する画素の画素データは、第４のスライスＳ４のタイルの第１のサブセット、すなわち、第１のタイルＴ１～第３のタイルＴ３を符号化するときに第２の処理回路から第１の回路に転送させなければならず、ゼロの正方形に対応する画素の画素データは、第４のスライスＳ４のタイルの第２のサブセット、すなわち、第４のタイルＴ４および第５のタイルＴ５を符号化するときに第１の処理回路から第２の回路に転送させなければならない。それ故に、画素の画素データ全体では、この例において本開示の方法２００を使用して２つの処理回路の間で転送させなければならないものはない。
【0081】
図１０ｂにおけるオフセットは、第１のスライスＳ１と第２のスライスＳ２との間の１つの正方形、第２のスライスＳ２と第３のスライスＳ３との間のゼロの正方形、および、第３のスライスＳ３と第４のスライスＳ４との間の１つの正方形である。傾斜角が隣接するスライスのいずれかにおいて小さくなっていく場合、オフセットはそれらの隣接するスライス間で小さくなっていき、その逆もまた同様である。
【0082】
ここで、本開示による画素アレイ１０００のスライスおよびタイルへの分割が第３の例として示されている図１０ｃを参照する。図１０ｂに関して説明される分割とは対照的に、図１０ｃに対して使用される方法のスライスおよびタイルへの分割について、それぞれのスライスにおける対応するタイルで、異なるスライスにおけるタイルのサイズに対する制限はない。それ故に、タイルのスライスにおけるサイズおよび位置は独立して設定可能である。その結果として、図１０ｃに見られるように、画素アレイ１０００は第１のスライス～第４のスライスＳ１、Ｓ２、Ｓ３、Ｓ４に分割されている。第１のスライスＳ１は４つのタイルに分割されており、この場合、左から最初の２つのタイルは第１のスライスＳ１のタイルの第１のサブセットに属し、最後の２つのタイルは第１のスライスＳ１のタイルの第２のサブセットに属する。第２のスライスＳ２は５つのタイルに分割されており、最初の２つのタイルは第２のスライスＳ２のタイルの第１のサブセットに属し、最後の３つのタイルは第２のスライスＳ２のタイルの第２のサブセットに属する。第３のスライスＳ３は５つのタイルに分割されており、左から最初の２つのタイルは第３のスライスＳ３のタイルの第１のサブセットに属し、最後の３つのタイルは第３のスライスＳ３のタイルの第２のサブセットに属する。最後に、第４のスライスＳ４は４つのタイルに分割されており、左から最初の２つのタイルは第４のスライスＳ４のタイルの第１のサブセットに属し、最後の２つのタイルは第４のスライスＳ４のタイルの第２のサブセットに属する。スライスのそれぞれのタイルの第１のサブセットおよびタイルの第２のサブセットは分離しており、すなわち、それぞれのタイルはタイルの第１のサブセットおよびタイルの第２のサブセットのうちの１つに属しているだけである。第１のスライスＳ１のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界、および第２のスライスＳ２のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界は、第１のスライスＳ１および第２のスライスＳ２の水平部分における第１の境界Ｂの局所傾斜角に基づいて互いに対してオフセットされる。第２のスライスＳ２のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界、および第３のスライスＳ３のタイルの第１のサブセットとタイルの第２のサブセットとの間の境界は、第２のスライスＳ２および第３のスライスＳ３における第１の境界Ｂの局所傾斜角に基づいて互いに対してオフセットされる。第３のスライスＳ３のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界、および第４のスライスＳ４のタイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界は、第３のスライスＳ３および第４のスライスＳ４における第１の境界Ｂの局所傾斜角に基づいて互いに対してオフセットされる。それぞれ２つの隣接するスライスにおける局所傾斜角は、その隣接するスライスの対において湾曲した第１の境界Ｂの部分の傾斜角の平均として決定可能である。それぞれ２つの隣接するスライス間の対応するオフセットは、画素データが第２のバッファに格納されているそれぞれのスライスのタイルの第１のサブセットに符号化される画素数、それに加えて、画素データが第１のバッファに格納されているそれぞれのスライスのタイルの第２のサブセットに符号化される画素数が、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界Ｂが画素アレイに対する変化する傾斜角で傾斜するときのオフセットを使用しないこととの関連で低減するように選択される。それ故に、第１の符号器に転送される必要がある第２のバッファに格納された画素データ量、および第２の符号器に転送される必要がある第１のバッファに格納された画素データ量は、オフセットを使用しないこととの関連で低減する。
【0083】
図１０ｃに見られるように、タイルのサイズが異なるスライスにおいて独立して設定可能である場合の、本開示による方法に従って画素アレイ１０００をスライスおよびタイルに分割した後、ゼロの正方形に対応する画素の画素データは、第１のスライスＳ１のタイルの第１のサブセット、すなわち、第１のタイルおよび第２のタイルを符号化するときに第２の処理回路から第１の回路に転送させなければならず、ゼロの正方形に対応する画素の画素データは、第１のスライスＳ１のタイルの第２のサブセット、すなわち、第３のタイルおよび第４のタイルを符号化するときに第１の処理回路から第２の回路に転送させなければならない。さらに、ゼロの正方形に対応する画素の画素データは、第２のスライスＳ２のタイルの第１のサブセット、すなわち、第１のタイルおよび第２のタイルを符号化するときに第２の処理回路から第１の回路に転送させなければならず、ゼロの正方形に対応する画素の画素データは、第２のスライスＳ２のタイルの第２のサブセット、すなわち、第３のタイル～第５のタイルを符号化するときに第１の処理回路から第２の回路に転送させなければならない。さらに、ゼロの正方形に対応する画素の画素データは、第３のスライスＳ３のタイルの第１のサブセット、すなわち、第１のタイルおよび第２のタイルを符号化するときに第２の処理回路から第１の回路に転送させなければならず、ゼロの正方形に対応する画素の画素データは、第３のスライスＳ３のタイルの第２のサブセット、すなわち、第３のタイル～第５のタイルを符号化するときに第１の処理回路から第２の回路に転送させなければならない。最後に、ゼロの正方形に対応する画素の画素データは、第４のスライスＳ４のタイルの第１のサブセット、すなわち、第１のタイルおよび第２のタイルを符号化するときに第２の処理回路から第１の回路に転送させなければならず、ゼロの正方形に対応する画素の画素データは、第４のスライスＳ４のタイルの第２のサブセット、すなわち、第３のタイルおよび第４のタイルを符号化するときに第１の処理回路から第２の回路に転送させなければならない。それ故に、画素データ全体では、この例において本開示の方法２００を使用して２つの処理回路の間で転送させなければならないものはない。
【0084】
図１０ｃにおけるオフセットは、第１のスライスＳ１と第２のスライスＳ２との間の１つの正方形、第２のスライスＳ２と第３のスライスＳ３との間のゼロの正方形、および、第３のスライスＳ３と第４のスライスＳ４との間の１つの正方形である。傾斜角が隣接するスライスのいずれかにおいて小さくなっていく場合、オフセットはそれらの隣接するスライス間で小さくなっていき、その逆もまた同様である。
【0085】
さらに別の方法として、図１０ｄは、画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界Ｂにおけるタイルを除く、それぞれのスライスにおける対応するタイル（同じタイルの列におけるタイル）は同じサイズ、すなわち同じ幅のものでなければならないことが必要とされる場合の画素アレイ１０００のスライスおよびタイルへの分割を示す。見られるように、スライスにおける大部分の対応するタイルは同じサイズのものである。しかしながら、第２のスライスＳ２および第３のスライスＳ３における画素の第１のサブセットと画素の第２のサブセットとの間の第１の境界Ｂにおけるタイルの幅は、タイルの第１のサブセットとタイルの第２のサブセットとの間の第２の境界がそれらの各々の隣接するスライスに対するオフセットで配置されるように適応されかつ配置されていることで、先行技術と比較して２つの処理回路間で転送させなければならない画素の画素データ量全体を低減するようにする。具体的には、第１のスライスＳ１と第２のスライスＳ２との間の第２の境界のオフセットは１つの正方形であり、第２のスライスＳ２と第３のスライスＳ３との間の第２の境界のオフセットはゼロの正方形であり、第３のスライスＳ３と第４のスライスＳ４との間の第２の境界のオフセットは１つの正方形である。
【0086】
本発明が上述される実施形態に限定されないことを、当業者は理解している。それどころか、添付の特許請求の範囲内の多くの修正および変形が可能である。そのような修正および変形は、図面、本開示、および添付の特許請求項を検討することで、特許請求された発明を実践する際に当業者によって理解かつ達成可能である。
【0087】
例えば、いくつかの画素／画素ブロックにおいて等しいサイズ、すなわち、等しい高さを有するスライスに関する例全てについて説明されている。しかしながら、異なるサイズのスライスが使用されてよい。例えば、第１の境界に沿った変化する傾斜角について、異なるサイズのスライスへの分割は、画素アレイの異なっている水平部分において有益であり得る。
【符号の説明】
【0088】
１００ システム
１１０ 第１の画像処理回路
１１２ 第１の符号器
１１４ 第１のバッファ
１１６ 第１のプロセッサ
１２０ 第２の画像処理回路
１２２ 第２の符号器
１２４ 第２のバッファ
１２６ 第２のプロセッサ
１３０ 回路
１３２ プロセッサ
１４０ メモリ
１５１ 第１の分割機能
１５２ 第２の分割機能
１５３ 第１の転送機能
１５４ 第２の転送機能
１５５ 第１の命令機能
１５６ 第２の命令機能
３００ 画像処理デバイス
４１０ 第１の画像センサ
４２０ 第２の画像センサ
４３０ 第３の画像センサ
４４０ 第４の画像センサ
５００ 画像フレーム
５１０ 第１の画像部分
５２０ 第２の画像部分
５３０ 第３の画像部分
５４０ 第４の画像部分
６００、７００、８００、９００、１０００ 画素アレイ
１１０ 第１の画像処理回路
１１２ 第１の符号器
１１４ 第１のバッファ
１１６ 第１のプロセッサ
１２０ 第２の画像処理回路
１２２ 第２の符号器
１２４ 第２のバッファ
１２６ 第２のプロセッサ
１３０ 回路
１３２ プロセッサ
１４０ メモリ
１５１ 第１の分割機能
１５２ 第２の分割機能
１５３ 第１の転送機能
１５４ 第２の転送機能
１５５ 第１の命令機能
１５６ 第２の命令機能
３００ 画像処理デバイス
４１０ 第１の画像センサ
４２０ 第２の画像センサ
４３０ 第３の画像センサ
４４０ 第４の画像センサ
５００ 画像フレーム
５１０ 第１の画像部分
５２０ 第２の画像部分
５３０ 第３の画像部分
５４０ 第４の画像部分
６００、７００、８００、９００、１０００ 画素アレイ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7a】
【図7b】
【図8a】
【図8b】
【図8c】
【図8d】
【図9a】
【図9b】
【図9c】
【図9d】
【図10a】
【図10b】
【図10c】
【図10d】
【外国語明細書】