知財求人 - 知財ポータルサイト「IP Force」
特許7125446歪み画像フレームをエンコードするための方法、デバイス、およびコンピュータプログラム製品
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-16
(45)【発行日】2022-08-24
(54)【発明の名称】歪み画像フレームをエンコードするための方法、デバイス、およびコンピュータプログラム製品
(51)【国際特許分類】
H04N 19/119 20140101AFI20220817BHJP
H04N 19/136 20140101ALI20220817BHJP
H04N 19/167 20140101ALI20220817BHJP
H04N 19/176 20140101ALI20220817BHJP
H04N 19/597 20140101ALI20220817BHJP
【ＦＩ】
H04N19/119
H04N19/136
H04N19/167
H04N19/176
H04N19/597
【請求項の数】
14
【外国語出願】
(21)【出願番号】P 2020081613
(22)【出願日】2020-05-02
(65)【公開番号】P2020205582
(43)【公開日】2020-12-24
【審査請求日】2022-03-17
(31)【優先権主張番号】19174349.1
(32)【優先日】2019-05-14
(33)【優先権主張国・地域又は機関】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】502208205
【氏名又は名称】アクシス アーベー
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】エドパルム， ヴィクトル
(72)【発明者】
【氏名】ユアン， ソン
【審査官】坂東 大五郎
(56)【参考文献】
【文献】欧州特許出願公開第３３０１９２０（ＥＰ，Ａ１）
【文献】特開２０１５－５０６６１（ＪＰ，Ａ）
【文献】特開２０１５－１１５９０１（ＪＰ，Ａ）
【文献】特開２００５－１０１７１９（ＪＰ，Ａ）
【文献】国際公開第２０１７／２００７２１（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
シーンを描写する、少なくとも１つの画像センサ（２１２）によって生成される歪み画像フレーム（１４０）をブロックベースビデオエンコーディングアルゴリズムを使用してエンコードするための方法（３００）において、前記歪み画像フレーム（１４０）内の各ピクセルは前記シーン内の視野（ＦＯＶ）に対応する、方法（３００）であって、前記歪み画像フレーム（１４０）に対応する最大ピクセルブロックサイズのマップ（１５０）を決定する（３０４）ことを含み、最大ピクセルブロックサイズの前記マップ（１５０）は、前記歪み画像フレーム（１４０）内のピクセルごとの対応する前記ＦＯＶの範囲の分布に対応する空間分解能分布に基づいて決定され、それにより、第１の空間分解能を有する前記歪み画像フレーム（１４０）の第１の部分（１４２）について、前記第１の部分（１４２）に対応する前記最大ピクセルブロックサイズは第１の値（１５０２）に設定され、前記第１の空間分解能より低い第２の空間分解能を有する前記歪み画像フレーム（１４０）の第２の部分（１４４）について、前記第２の部分（１４４）に対応する前記最大ピクセルブロックサイズは、前記第１の値（１５０２）より小さい第２の値（１５０４）に設定され；
前記ブロックベースビデオエンコーディングアルゴリズムを使用して前記歪み画像フレーム（１４０）をエンコードする（３０６）ことを含み、最大ピクセルブロックサイズの前記マップ（１５０）は、前記ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最大ブロックサイズを規定するために使用される、方法（３００）。
【請求項2】
前記ブロックベースビデオエンコーディングアルゴリズムはｈ．２６５またはＡＶ１であり、最大ピクセルブロックサイズの前記マップ（１５０）は、前記ブロックベースビデオエンコーディングアルゴリズムのコーディングユニットの最大サイズを規定するために使用される、請求項１に記載の方法（３００）。
【請求項3】
前記歪み画像フレーム（１４０）に対応する最小ピクセルブロックサイズのマップ（１６０）を決定する（３０８）ことをさらに含み、最小ピクセルブロックサイズの前記マップ（１６０）は、異なる最小ピクセルブロックサイズを有するエリア（１６２，１６４）を備え、最小ピクセルブロックサイズの前記マップ（１６０）は、前記空間分解能分布に基づいて決定され、それにより、前記第１の空間分解能を有する前記歪み画像フレーム（１４０）の前記第１の部分（１４２）について、前記第１の部分（１４２）に対応する前記最小ピクセルブロックサイズは前記第１の値（１５０２）より小さい第３の値（１６０２）に設定され、前記第２の空間分解能を有する前記歪み画像フレーム（１４０）の前記第２の部分（１４４）について、前記第２の部分（１４４）に対応する前記最小ピクセルブロックサイズは、前記第２の値（１５０４）および前記第３の値（１６０２）より小さい第４の値（１６０４）に設定され；前記歪み画像フレーム（１４０）をエンコードする（３０６）ステップにおいて、最小ピクセルブロックサイズの前記マップ（１６０）は、前記ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最小ブロックサイズを規定するために使用される、請求項１または２に記載の方法（３００）。
【請求項4】
前記ブロックベースビデオエンコーディングアルゴリズムはｈ．２６５であり、最小ピクセルブロックサイズの前記マップ（１６０）は、前記ブロックベースビデオエンコーディングアルゴリズムの予測ユニット（ＰＵ）、および／または、変換ユニット（ＴＵ）の最小サイズを規定するために使用される、請求項３に記載の方法（３００）。
【請求項5】
前記歪み画像フレーム（１４０）は、広角レンズを通して１つの画像センサ（２１２）によって取り込む（３１２）ことによって生成される、請求項１～４のいずれか一項に記載の方法（３００）。
【請求項6】
広角レンズはフィッシュアイレンズである、請求項５に記載の方法（３００）。
【請求項7】
前記歪み画像フレーム（１４０）は、光学ドームを通して１つの画像センサ（２１２）によって取り込む（３１２）ことによって生成される、請求項１～４のいずれか一項に記載の方法（３００）。
【請求項8】
それぞれの歪み画像フレーム（１４０）は、１つまたは複数のセンサ（２１２）によって取り込まれる複数の１次画像フレームの射影アルゴリズムに基づくスティッチング（３１６）によって生成される、請求項１～４のいずれか一項に記載の方法（３００）。
【請求項9】
前記歪み画像フレーム（１４０）の前記第１の部分（１４２）に対応する最大ピクセルブロックサイズの前記マップ（１５０）の第１のエリア（１５２）および前記歪み画像フレーム（１４０）の前記第２の部分（１４４）に対応する最大ピクセルブロックサイズの前記マップ（１５０）の第２のエリア（１５４）は、最大ピクセルブロックサイズの前記マップ（１５０）の参照位置（１５００）から半径方向に延在する楕円パターンを形成し；前記参照位置（１５００）と前記第１のエリア（１５２）との間の半径方向距離は、前記参照位置（１５００）と前記第２のエリア（１５４）との間の半径方向距離より小さい、請求項５～８のいずれか一項に記載の方法（３００）。
【請求項10】
デバイス上の回路によって実行されると、前記回路に請求項１～９のいずれか一項による方法（３００）を実行させる命令を有する、非一時的コンピュータ可読媒体。
【請求項11】
シーンを描写する、少なくとも１つの画像センサ（２１２）によって生成される歪み画像フレーム（１４０）をブロックベースビデオエンコーディングアルゴリズムを使用してエンコードするためのエンコーダー（２００）において、前記歪み画像フレーム内の各ピクセルは前記シーン内の視野（ＦＯＶ）に対応する、エンコーダー（２００）であって、前記エンコーダーが、
前記歪み画像フレーム（１４０）に対応する最大ピクセルブロックサイズのマップ（１５０）を決定するように構成され、ここで、最大ピクセルブロックサイズの前記マップ（１５０）は、前記歪み画像フレーム（１４０）内のピクセルごとの対応する前記ＦＯＶの範囲の分布に対応する空間分解能分布に基づいて決定され、それにより、第１の空間分解能を有する前記歪み画像フレーム（１４０）の第１の部分（１４２）について、前記第１の部分（１４２）に対応する前記最大ピクセルブロックサイズは第１の値（１５０２）に設定され、前記第１の空間分解能より低い第２の空間分解能を有する前記歪み画像フレーム（１４０）の第２の部分（１４４）について、前記第２の部分（１４４）に対応する前記最大ピクセルブロックサイズは、第１の値（１５０２）より小さい第２の値（１５０４）に設定され；
前記ブロックベースビデオエンコーディングアルゴリズムを使用して、前記歪み画像フレーム（１４０）をエンコードするように構成され、ここで、最大ピクセルブロックサイズの前記マップ（１５０）は、前記ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最大ブロックサイズを規定するために、前記ブロックベースビデオエンコーディングアルゴリズムによって使用される、エンコーダー（２００）。
【請求項12】
請求項１１によるエンコーダー（２００）を備えるカメラ（２１０，４１０）。
【請求項13】
広角レンズをさらに備え、前記広角レンズを通して、画像は、カメラ（２１０，４１０）の１つの画像センサ（２１２）によって取り込まれる、請求項１２に記載のカメラ（２１０，４１０）。
【請求項14】
複数の画像センサ（２１２）をさらに備え、前記エンコーダー（２００）は、前記複数の画像センサ（２１２）によって取り込まれる複数の１次画像からの画像フレームをスティッチングするように更に構成される、請求項１２または１３に記載のカメラ（２１０，４１０）。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、少なくとも１つの画像センサによって生成される歪み画像フレームをブロックベースビデオエンコーディングアルゴリズムを使用してエンコードすることに関する。
【背景技術】
【0002】
カメラアプリケーションのための重要な分野はロケーションのモニタリングである。通常、異なるカメラ構成が、モニターされるロケーションに応じて使用される。例えば、駐車場は、駐車場の俯瞰（ａｅｒｉａｌ ｏｖｅｒｖｉｅｗ）を取得するため、（例えば、パノラマスティッチング（ｐａｎｏｒａｍｉｃ ｓｔｉｔｃｈｉｎｇ）によってまたは広角レンズを使用して）広角ビデオを生成することが可能な１つまたは複数のカメラを使用してモニターされ得る。広角ビデオにおいて、対象物のサイズは、フレームにわたって変動し、それは、ビデオフレームにわたる空間分解能が不均一であるという結果になる。したがって、モニターされるシーンを通して移動する乗り物のサイズは、モニターされるシーン内の現在位置に依存するため、変化することになる。モニターされるロケーションのビデオは、通常、広範囲の異なる画像処理アルゴリズムを使用して処理される。例えば、ビデオは、エンコードされて、エンコードされたビデオに関連する帯域幅要件およびファイルサイズを低減する。
【0003】
しかしながら、ビデオエンコーディングについての課題は、ビデオフレーム内の不均一な空間分解能のせいで、エンコードされたビデオ内で移動対象物の適切な視覚品質を提供することである。
【0004】
上記を考慮して、当技術分野における上記で特定された欠点および不利益の１つまたは複数を単一でまたは組み合わせて軽減する、緩和する、またはなくすことが本発明の概念の目的である。
【発明の概要】
【0005】
第１の態様によれば、少なくとも１つの画像センサによって生成される歪み画像フレームをブロックベースビデオエンコーディングアルゴリズムを使用してエンコードするための方法が提供される。方法は、歪み画像フレームについて空間分解能分布を決定すること；歪み画像フレームに対応する最大ピクセルブロックサイズのマップを決定することを含み、最大ピクセルブロックサイズのマップは、空間分解能分布に基づいて決定され、それにより、第１の空間分解能を有する歪み画像フレームの第１の部分について、第１の部分に対応する最大ピクセルブロックサイズは第１の値に設定され、第１の空間分解能より低い第２の空間分解能を有する歪み画像フレームの第２の部分について、第２の部分に対応する最大ピクセルブロックサイズは、第１の値より小さい第２の値に設定され；ブロックベースビデオエンコーディングアルゴリズムを使用して歪み画像フレームをエンコードすることを含み、最大ピクセルブロックサイズのマップは、ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最大ブロックサイズを規定するために使用される。
【0006】
本出願の文脈において、「歪み画像フレーム（ｄｉｓｔｏｒｔｅｄ ｉｍａｇｅ ｆｒａｍｅ）」は、歪んだ見え方を有する画像フレームとして解釈されるべきである。歪み画像フレームにおいて、シーン内のまっすぐな線は、通常、或る程度湾曲する。対照的に、完全に直線的な画像フレームは、描写されるシーン内でまっすぐな線に対応する完全にまっすぐな線を有する。本出願の文脈において、２つのタイプの歪み発生源：物理的歪み発生源およびデジタル歪み発生源が論じられる。物理的歪み発生源の非制限的な例は、広角レンズであり、フィッシュアイレンズ（例えば、ｆシータ（ｆθ）レンズ）、光学ドーム、および不完全に直線的なレンズを含む。レンズの不完全性は、製造上の低精度（ｍａｎｕｆａｃｔｕｒｉｎｇ ｉｍｐｒｅｃｉｓｉｏｎｓ）によって引き起こされる場合がある。デジタル歪み発生源の非制限的な例は、例えば、複数の画像からパノラマ画像を生成するための画像スティッチングアルゴリズムである。歪みパターンは、不規則的または規則的（放射状歪みなど）であり得る。取り込まれる画像の歪みパターンは、歪み発生源のうちの１つまたは組み合わせによる結果であることができる。
【0007】
本出願の文脈において、「空間分解能（ｓｐａｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ）」は、画像フレームについての空間分解能として理解されるべきである。例えば、広角レンズを通して取得される、または、複数の画像フレームからスティッチングされる歪み画像フレームにおいて、画像の異なる部分は異なる空間分解能を有する。換言すれば、画像フレームの同じサイズの部分は、カメラの視野（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）の異なるサイズの角度をカバーする。空間分解能は、画像フレームについてピクセルレベルで指定することができる、または、ピクセルサブグループレベルで、例えば、マクロブロックレベルで決定され得る。空間分解能は、ＦＯＶ角度についてのピクセル数としてまたはピクセルについてのＦＯＶ角度の量として表現することができる。アプリケーションに応じてこれらの表現の間で交換する方法に当業者は情通している。例えば、本発明の概念による方法の実装態様において、これらの表現のうちの１つの表現が使用するのを好まれる場合がある。空間分解能分布は、例えば、ピクセルまたはピクセルサブグループ、例えば、マクロブロックについての空間分解能分布を示すテーブルによって示すことができる。
【0008】
本出願の文脈において、「ブロックベースビデオエンコーディングアルゴリズム（ｂｌｏｃｋ－ｂａｓｅｄ ｖｉｄｅｏ ｅｎｃｏｄｉｎｇ ａｌｇｏｒｉｔｈｍ）」は、ビデオをエンコードするためのアルゴリズムとして解釈されるべきであり、そのアルゴリズムにおいて画像フレーム内の近傍のピクセルのセットは、エンコーディングブロックとして処理される。エンコーディングブロックのサイズは、ビデオストリームの個々のフレームのピクセルの対応する部分についてビデオストリーム内の個々のフレーム間で変動する場合がある。フレーム内の異なるピクセルブロックのサイズは変動する場合がある。概して、大きいサイズのエンコーディングブロックは、エンコーディングに関連する低い計算コストをもたらし、それは、ブロックベースビデオエンコーディングアルゴリズムが、できる限り大きいサイズのエンコーディングブロックを使用するように通常プログラムされる理由である。一方、大きいサイズのエンコーディングブロックは、エンコードされたビデオの視覚品質の低下にもつながる。したがって、ブロックベースビデオエンコーディングアルゴリズムは、エンコーディングブロックのサイズとエンコードされたビデオの視覚品質をバランスさせるようにプログラムされる。
【0009】
本出願の文脈において、「エンコーディングブロック（ｅｎｃｏｄｉｎｇ ｂｌｏｃｋ）」は、ブロックベースビデオエンコーディングアルゴリズムの基本処理ユニットとして解釈されるべきである。例えば、ブロックベースビデオエンコーディングアルゴリズムがｈ．２６５またはＡＶ１である場合、エンコーディングブロックはコーディングユニット（ＣＵ：ｃｏｄｉｎｇ ｕｎｉｔ）であることができる。
【0010】
本発明の概念によって、ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最大ブロックサイズは、歪み画像フレームについての空間分解能分布に基づき、それにより、エンコードされたビデオの改善された視覚品質が可能になる。第１および第２の部分の空間分解能が異なるため、ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最大ブロックサイズを空間分解能に基づかせて、エンコードされたビデオのより均一の、したがって改善された視覚品質が可能になる。特に、より低い空間分解能を有する歪み画像内のエリアについてより小さい最大ピクセルブロックサイズを設定することによって、歪み画像フレームのこれらのエリアの詳細を、エンコードされた画像フレームにおいてよりよく保存することができる。
【0011】
ブロックベースビデオエンコーディングアルゴリズムはｈ．２６５またはＡＶ１であることができ、最大ピクセルブロックサイズのマップは、ブロックベースビデオエンコーディングアルゴリズムのコーディングユニットの最大サイズを規定するために使用することができる。
【0012】
ブロックベースビデオエンコーディングアルゴリズムがｈ．２６５であることに関連する利点は、ブロックベースビデオエンコーディングアルゴリズムのコーディングユニットの最大サイズが、ブロックベースビデオエンコーディングアルゴリズムのコーディングツリーユニット、ＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）のサイズを設定することによって設定することができることである。
【0013】
ブロックベースビデオエンコーディングアルゴリズムがＡＶ１であることに関連する利点は、ブロックベースビデオエンコーディングアルゴリズムのコーディングユニットの最大サイズが、ブロックベースビデオエンコーディングアルゴリズムのスーパーブロックのサイズを設定することによって設定することができることである。
【0014】
そのため、本実施形態は、有利には、標準的なエンコーダー／デコーダーによって使用され得る。
【0015】
方法は、歪み画像フレームに対応する最小ピクセルブロックサイズのマップを決定することをさらに含むことができ、最小ピクセルブロックサイズのマップは、異なる最小ピクセルブロックサイズを有するエリアを含み、最小ピクセルブロックサイズのマップは、空間分解能分布に基づいて決定され、それにより、第１の空間分解能を有する歪み画像フレームの第１の部分について、第１の部分に対応する最小ピクセルブロックサイズは第１の値より小さい第３の値に設定され、第２の空間分解能を有する歪み画像フレームの第２の部分について、第２の部分に対応する最小ピクセルブロックサイズは、第２の値および第３の値より小さい第４の値に設定され；歪み画像フレームをエンコードするステップにおいて、最小ピクセルブロックサイズのマップは、ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最小ブロックサイズを規定するために使用される。
【0016】
本実施形態による、ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最小ブロックサイズを規定するために最小ピクセルブロックサイズのマップを使用することに関連する利点は、ビデオエンコーディングに関連する計算コスト、ファイルサイズ、および／または帯域幅を、エンコードされたビデオの均一の、したがって改善された視覚品質を依然として可能にしながら、低減することができることである。特に、（第２の部分と比較して高い空間分解能を有する）第１の部分の最小ブロックサイズを第２の部分の最小ブロックサイズより小さくなることを可能にしないことによって、エンコーダーは、有利には、第２の部分と比較して第１の部分についてより高い圧縮比を使用することを選択し得る。
【0017】
ブロックベースビデオエンコーディングアルゴリズムはｈ．２６５であることができ、最小ピクセルブロックサイズのマップは、ブロックベースビデオエンコーディングアルゴリズムの予測ユニット、ＰＵ、および／または、変換ユニット、ＴＵの最小サイズを規定するために使用することができる。
【0018】
有利には、本実施形態は、標準的なｈ．２６５エンコーダー／デコーダーを使用して最小ブロックサイズの低複雑性実装態様を可能にする。
【0019】
歪み画像フレームは、広角レンズを通して１つの画像センサによって取り込むことによって生成することができ、空間分解能分布は広角レンズのレンズ多項式に基づいて決定することができる。
【0020】
本出願の文脈において、「レンズ多項式（ｌｅｎｓ ｐｏｌｙｎｏｍｉａｌ）」は、レンズ固有の多項式として解釈されるべきであり、レンズ固有の多項式は、多項式がレンズまたは光学ドームについてのレンズ屈折を示すことを記述する。レンズ多項式は、例えば、オフアクシス変調伝達関数（ＭＴＦ：ｍｏｄｕｌａｔｉｏｎ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）測定法を使用する測定をレンズまたは光学ドームに対して実施することによって取得することができる。レンズまたは光学ドーム製造業者は、通常、製造業者の品揃えにおける異なるタイプのレンズまたは光学ドームのための、レンズ多項式または歪みを示すテーブルを提供し得る。
【0021】
広角レンズを通して１つの画像センサによって歪み画像フレームを取り込むことに関連する利点は、１つの画像センサを使用するシーンの広角パノラマビューが、可能にされ、また、エンコードされたビデオの均一の、したがって改善された視覚品質を依然として可能にできることである。その結果、改善された視覚品質を有する広角パノラマビューは、別個のカメラによって取り込まれる画像フレームを共にスティッチングする必要性なしで達成することができる。
【0022】
空間分解能分布が広角レンズのレンズ多項式に基づいて決定されることに関連する利点は、空間分解能分布の容易でかつ複雑さが少ない決定を可能にできることである。
【0023】
広角レンズはフィッシュアイレンズであることができる。
【0024】
広角レンズがフィッシュアイレンズであることに関連する利点は、１つの画像センサを使用するシーンの広角パノラマまたは半球画像フレームが、可能にされ、また、エンコードされたビデオの均一の、したがって改善された視覚品質を依然として可能にできることである。その結果、改善された視覚品質を有する広角パノラマまたは半球ビューは、別個のカメラによって取り込まれる画像フレームを共にスティッチングする必要性なしで達成することができる。
【0025】
歪み画像フレームは、光学ドームを通して１つの画像センサによって取り込むことによって生成することができ、空間分解能分布は光学ドームのレンズ多項式に基づいて決定することができる。
【0026】
歪み画像フレームを、光学ドームを通して１つの画像センサによって取り込むことによって生成することに関連する利点は、１つの画像センサを使用するシーンの広角パノラマまたは半球画像フレームが、可能にされ、また、エンコードされたビデオの均一の、したがって改善された視覚品質を依然として可能にできることである。その結果、改善された視覚品質を有する広角パノラマまたは半球ビューは、別個のカメラによって取り込まれる画像フレームを共にスティッチングする必要性なしで達成することができる。
【0027】
空間分解能分布が光学ドームのレンズ多項式に基づいて決定されることに関連する利点は、空間分解能分布の容易でかつ複雑さが少ない決定を可能にできることである。
【0028】
最大ピクセルブロックサイズのマップの第１および第２のエリアは、動き検出感度マップの参照位置から半径方向に延在する楕円パターンを形成することができ；参照位置と第１のエリアとの間の半径方向距離は、参照位置と第２のエリアとの間の半径方向距離より小さいとすることができる。
【0029】
最大ピクセルブロックサイズのマップの第１および第２のエリアが、動き検出感度マップの参照位置から半径方向に延在する楕円パターンを形成することに関連する利点は、最大ピクセルブロックサイズのマップの容易でかつ複雑さが少ない決定を可能にできることである。
【0030】
それぞれの歪み画像フレームは、１つまたは複数の画像センサによって取り込まれる複数の１次画像フレームの射影アルゴリズムに基づくスティッチングによって生成することができる。
【0031】
本出願の文脈において、「射影アルゴリズム（ｐｒｏｊｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ）」は、どれだけの数の１次画像フレームが、スティッチングされた画像フレームを形成するためにスティッチングされる／結合されるかを記述するアルゴリズムとして解釈されるべきである。射影アルゴリズムを、異なる目的で、例えば、１次画像フレーム間のスムーズな移行を提供するために、または、結果として得られる画像フレームの歪みを最小にするために設計することができる。
【0032】
１つまたは複数の画像センサによって取り込まれる複数の１次画像フレームの射影アルゴリズムに基づくスティッチングによってそれぞれの歪み画像フレームを生成する利点は、多数のピクセルを有するスティッチングされた画像フレームを可能にできることである。
【0033】
１つまたは複数の画像センサによって取り込まれる複数の１次画像フレームの射影アルゴリズムに基づくスティッチングによってそれぞれの歪み画像フレームを生成するさらなる利点は、複雑な光学コンポーネント、例えば、フィッシュアイレンズまたは光学ドームなしでのパノラマ画像フレームを可能にできることである。
【0034】
空間分解能分布は、射影アルゴリズムに基づいて決定することができる。
【0035】
関連する利点は、スティッチングされた画像フレームまたはパノラマ画像フレームの視覚品質が改善されるように、エンコーディングブロックのための最小および／または最大ブロックサイズを規定することができることである。
【0036】
さらなる関連する利点は、空間分解能分布を、例えば、射影アルゴリズムの逆を使用することによって決定することが、容易でかつ複雑さが少ない方法であることができることである。
【0037】
第２の態様によれば、コンピュータプログラム製品が提供される。コンピュータプログラム製品はコンピュータ可読媒体を備え、コンピュータ可読媒体は、処理能力を有するデバイスによって実行されると、本方法を実施するように適合された、コンピュータ可読記憶媒体上に記憶されたコンピュータコード命令を有する。
【0038】
コンピュータ可読媒体は非一時的コンピュータ可読媒体であることができる。
【0039】
方法の上記で述べた特徴は、適用可能であるとき、この第２の態様にも適用される。不要な反復を避けるため、上記に対して参照が行われる。
【0040】
第３の態様によれば、少なくとも１つの画像センサによって生成される歪み画像フレームをブロックベースビデオエンコーディングアルゴリズムを使用してエンコードするためのエンコーダーが提供される。エンコーダーは、歪み画像フレームについて空間分解能分布を決定するように適合された空間分解能分布コンポーネントと；歪み画像フレームに対応する最大ピクセルブロックサイズのマップを決定するように適合された最大ピクセルブロックサイズマップコンポーネントとを備え、最大ピクセルブロックサイズのマップは、空間分解能分布に基づいて決定され、それにより、第１の空間分解能を有する歪み画像フレームの第１の部分について、第１の部分に対応する最大ピクセルブロックサイズは第１の値に設定され、第１の空間分解能より低い第２の空間分解能を有する歪み画像フレームの第２の部分について、第２の部分に対応する最大ピクセルブロックサイズは、第１の値より小さい第２の値に設定され；ブロックベースビデオエンコーディングアルゴリズムを使用して歪み画像フレームをエンコードするように適合されたビデオエンコーディングコンポーネントを備え、最大ピクセルブロックサイズのマップは、ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最大ブロックサイズを規定するために、ブロックベースビデオエンコーディングアルゴリズムによって使用される。
【0041】
方法およびコンピュータプログラム製品の上記で述べた特徴は、適用可能であるとき、この第３の態様にも適用される。不要な反復を避けるため、上記に対して参照が行われる。
【0042】
エンコーダーは、歪み画像フレームに対応する最小ピクセルブロックサイズのマップを決定するように適合された最小ピクセルブロックサイズマップコンポーネントをさらに備え、最小ピクセルブロックサイズのマップは、異なる最小ピクセルブロックサイズを有するエリアを含み、最小ピクセルブロックサイズのマップは、空間分解能分布に基づいて決定され、それにより、第１の空間分解能を有する歪み画像フレームの第１の部分について、第１の部分に対応する最小ピクセルブロックサイズは第１の値より小さい第３の値に設定され、第２の空間分解能を有する歪み画像フレームの第２の部分について、第２の部分に対応する最小ピクセルブロックサイズは、第２の値および第３の値より小さい第４の値に設定され；最小ピクセルブロックサイズのマップを、ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最小ブロックサイズを規定するために、ブロックベースビデオエンコーディングアルゴリズムによって使用することができる。
【0043】
第４の態様によれば、カメラが提供される。カメラは、第３の態様によるエンコーダーを備える。
【0044】
方法、コンピュータプログラム製品、およびエンコーダーの上記で述べた特徴は、適用可能であるとき、この第４の態様にも適用される。不要な反復を避けるため、上記に対して参照が行われる。
【0045】
カメラは、広角レンズをさらに備えることができ、広角レンズを通して、画像は、カメラの１つの画像センサによって取り込まれる。
【0046】
カメラは、複数の画像センサをさらに備えることができ、エンコーダーは、複数の画像センサによって取り込まれる複数の１次画像からの画像フレームをスティッチングするように適合されたスティッチングコンポーネントを更に備える。
【0047】
本開示の適用可能性のさらなる範囲は、以下で示す詳細な説明から明らかになるであろう。しかしながら、詳細な説明および特定の例が、本発明の概念の好ましい変更を示しながら、例証としてのみ与えられることが理解されるべきであり、なぜならば、発明の概念の範囲内の種々の変更および修正が、この詳細な説明から当業者に明らかになることになるからである。
【0048】
したがって、そのような方法およびシステムが変動する場合があるため、本発明の概念が、述べる方法の特定のステップまたは述べるシステムのコンポーネント部品に限定されないことが理解される。本明細書で使用される用語が、特定の実施形態を述べるためのものに過ぎず、制限的であることを意図されないことも理解される。本明細書および添付特許請求項で使用するとき、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、および「前記（ｓａｉｄ）」が、別途文脈が明確に指示しない限り、要素の１つまたは複数が存在することを意味することを意図されることが留意されなげればならない。そのため、例えば、「或るユニット（ａ ｕｎｉｔ）」または「そのユニット（ｔｈｅ ｕｎｉｔ）」に対する言及は、幾つかのデバイスまたは同様なものを含むことができる。さらに、言い回し「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」、および同様の言い回しは、他の要素またはステップを排除しない。
【0049】
本発明の概念の上記のまた他の態様は、発明の概念の変形を示す添付図面を参照して、ここでより詳細に述べられる。図は、特定の変形に本発明を制限するものと考えられるべきではなく；代わりに、図は、発明の概念を説明し理解するために使用される。
【0050】
図に示すように、層および領域のサイズは、例証のために誇張され、したがって、本発明の実施形態の一般的な構造を示すために提供される。同様の参照数字は、全体を通して同様の要素を指す。
【図面の簡単な説明】
【0051】
【図1A】モニタリングカメラによって上からモニターされるシーンの側面図である。
【図1D】最大ピクセルブロックサイズのマップを示す図である。
【図1E】最小ピクセルブロックサイズのマップを示す図である。
【図2A】少なくとも１つの画像センサによって生成される歪み画像フレームをブロックベースビデオエンコーディングアルゴリズムを使用してエンコードするためのエンコーダーを示す図である。
【図2C】複数の画像センサを備えるカメラを示す図である。
【図3】少なくとも１つの画像センサによって生成される歪み画像フレームをブロックベースビデオエンコーディングアルゴリズムを使用してエンコードするための方法のブロックスキームである。
【発明を実施するための形態】
【0052】
本発明の概念が、ここで、発明の概念の現在のところ好ましい変形がそこに示される添付図面を参照して、以降でより完全に述べられることになる。しかしながら、この発明の概念は、多くの異なる形態で実装することができ、また、本明細書で述べる変形に限定されるものと解釈されるべきでない；むしろ、これらの変形は、徹底性および完全性(ｔｈｏｒｏｕｇｈｎｅｓｓ ａｎｄ ｃｏｍｐｌｅｔｅｎｅｓｓ)のために提供され、本発明の概念の範囲を当業者に完全に伝える。
【0053】
図１Ａは、カメラ１１０によって上からモニターされるシーンの側面図を示す。シーンは、第１のボックス１２２および同様のサイズを有する第２のボックス１２４を含む。カメラ１１０は、シーンの歪み画像フレームを生成するために配置された少なくとも１つの画像センサを備える。図１Ａのカメラ１１０は、図２Ｂに関して述べられるカメラ２１０または図２Ｃに関して述べられるカメラ４１０であることができる。図１Ａに示すシーンの歪み画像フレーム１４０の例は図１Ｃに関して述べられることになる。カメラ４１０は広視野１１２を有する。広視野１１２は１８０°までであることができる。広視野１１２の関連する立体角は２π ｓｒまでであることができる。
【0054】
図１Ｂは、図１Ａにおいてモニターされるシーンの上面図の直線的画像フレーム１３０を示す。図１Ｂに見られるように、ボックス１２２、１２４のそれぞれは、直線的画像フレーム１３０において上から見られると、同様のサイズを有する。そのため、図１Ｂの直線的画像フレーム１３０の空間分解能は、直線的画像フレーム１３０にわたって実質的に一定である。
【0055】
図１Ｃは、図１Ｂの上面図の歪み画像フレーム１４０を示す。歪み画像フレーム１４０は、広角レンズを通して１つの画像センサによって取り込むことによって生成することができる。歪み画像フレーム１４０は、光学ドームを通して１つの画像センサによって取り込むことによって生成することができる。歪み画像フレーム１４０は、図２Ｃに関して述べるように、複数の１次画像フレームを、射影アルゴリズムに基づいてスティッチングすることによって生成することができる。図１Ｃに見られるように、ボックス１２２、１２４の見かけのサイズは、歪み画像フレーム１４０内の各ボックス１２２、１２４の位置に応じて変動する。そのため、歪み画像フレーム１４０内の空間分解能は歪み画像フレーム１４０にわたって変動する。空間分解能分布は、歪み画像フレーム１４０および直線的画像フレーム１３０に基づいて決定することができる。空間分解能分布は、カメラ１１０の広角レンズに基づいて決定することができる。歪み画像フレーム１４０は、広角レンズを通して１つの画像センサによって取り込むことによって生成することができ、空間分解能分布は、広角レンズのレンズ多項式に基づいて決定することができる。歪み画像フレーム１４０が複数の１次画像フレームの射影アルゴリズムに基づくスティッチングによって生成される場合、空間分解能分布は、射影アルゴリズムに基づくことができる。例えば、空間分解能分布は、射影アルゴリズムの逆に基づくことができる。
【0056】
図１Ｃにおいて、第１のボックス１２２は、歪み画像フレーム１４０の第１の部分１４２内にある。歪み画像フレーム１４０の第１の部分１４２は第１の空間分解能に関連する。第２のボックス１２４は、歪み画像フレーム１４０の第２の部分１４４内にある。歪み画像フレーム１４０の第２の部分１４４は第２の空間分解能に関連する。歪み画像フレーム１４０は、歪み画像フレーム１４０を生成するときに使用される撮像光学部品および／または射影アルゴリズムのせいで、モニターされるシーンに関連する情報がない部分１４８を含むことができる。第１の空間分解能および第２の空間分解能は、同じサイズの対象物（例えば、ボックス１２２、１２４）が、図１Ｃに例示するように、歪み画像フレーム１４０の第２の部分１４４内でよりも歪み画像フレーム１４０の第１の部分１４２内で大きく見えるように関連する。換言すれば、ピクセルについての視野角によって空間分解能を表現すると、第１の部分１４２の空間分解能は第２の部分１４４の空間分解能より高い。
【0057】
図１Ｃに示す歪み画像フレーム１４０が、ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのために同じブロックサイズを使用してエンコードされる場合、第２の部分１４４内の対象物（例えば、第２のボックス１２４）は、第１の部分１４２内の対象物に比べて少ないエンコーディングブロックを使用してエンコードされることになり、なぜならば、第２の部分１４４内の対象物が第１の部分１４２内の対象物より小さいものとして現れるからである。そのため、第２の部分１４４に対応するエンコーディングブロックのための最大ブロックサイズを減少させることは、第２の部分１４４内の対象物（例えば、第２のボックス１２４）をエンコードするためにエンコーディングブロックの数を増加させることができる。それにより、エンコードされた歪み画像フレーム内の第２の部分１４４内の対象物の視覚品質は、上記で論じたように増加することになる。
【0058】
従来技術において、ブロックベースビデオエンコーディングアルゴリズムは、大抵、歪み画像フレームのコンテンツに基づいてエンコーディングブロックのためのピクセルブロックサイズを選択するように指示される。ブロックベースビデオエンコーディングアルゴリズムは、通常、低い空間分解能を有する部分内の（例えば、歪み画像フレーム１４０の第２の部分１４４内の）コンテンツが、高い空間分解能を有する部分内の（例えば、歪み画像フレーム１４０の第１の部分１４２内の）コンテンツより重要でないと判定する。そのため、従来技術のエンコーダーは、通常、高い空間分解能を有する部分（例えば、第１の部分１４２）についてよりも、低い空間分解能を有する部分（例えば、第２の部分１４４）について、エンコーディングブロックのための大きいピクセルブロックサイズを選択する。したがって、ブロックベースビデオエンコーディングアルゴリズムは、低い空間分解能を有する歪み画像の部分の視覚品質が低下するように歪み画像フレームをエンコードする。
【0059】
そのため、歪み画像フレーム１４０にわたる変動する空間分解能分布を考慮するため、最大ピクセルブロックサイズのマップ１５０が、空間分解能分布に基づいて決定され、それにより、第１の空間分解能を有する歪み画像フレーム１４０の第１の部分１４２について、最大ピクセルブロックサイズは第１の値１５０２に設定され、第１の空間分解能より低い第２の空間分解能を有する歪み画像フレーム１４０の第２の部分１４４について、第２の部分１４４に対応する最大ピクセルブロックサイズは、第１の値１５０２より小さい第２の値１５０４に設定される。最大ピクセルブロックサイズのマップ１５０の例は図１Ｄに示される。歪み画像フレーム１４０は、ブロックベースビデオエンコーディングアルゴリズムを使用してエンコードされ、最大ピクセルブロックサイズのマップ１５０は、ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最大ブロックサイズを規定するために使用される。最大ピクセルブロックサイズのマップ１５０は、ブロックベースビデオエンコーディングアルゴリズムのためのコーディングユニットの最大サイズを規定するために使用することができる。例えば、ブロックベースビデオエンコーディングアルゴリズムがｈ．２６５である場合、コーディングツリーユニット、ＣＴＵ、サイズがコーディングユニットの最大サイズを設定することができる。ブロックベースビデオエンコーディングアルゴリズムがＡＶ１である場合、スーパーブロックのサイズがコーディングユニットの最大サイズを設定することができる。
【0060】
ブロックベースビデオエンコーディングアルゴリズムは、最大ピクセルブロックサイズより小さいピクセルブロックサイズをエンコーディングブロックのために使用することができる。ブロックベースビデオエンコーディングアルゴリズムは、通常、エンコードされたビデオの視覚品質にとってそれが有益であると判定する場合、最大ピクセルブロックサイズより小さいピクセルブロックサイズをエンコーディングブロックのために使用する。そのため、歪み画像フレーム１４０の第１の部分１４２内の対象物は、多数のエンコーディングブロックを使用してエンコードされ、それにより、高ビットレートを有するエンコードされたビデオをもたらすことができる。ビットレートを低減するため、歪み画像フレーム１４０の第１の部分１４２をエンコードすることに関連するエンコーディングブロックのための最小ピクセルブロックサイズを設定することができる。そのため、第１の部分１４２内の対象物の視覚品質は、それにより、エンコードされたビデオのビットレートを低減するため低下することになる。ブロックベースビデオエンコーディングアルゴリズムがｈ．２６５である場合、エンコーディングブロックのための最小ピクセルブロックサイズは、ブロックベースビデオエンコーディングアルゴリズムの予測ユニット、ＰＵ、および／または、変換ユニット、ＴＵの最小サイズを規定することによって設定することができる。
【0061】
このため、歪み画像フレーム１４０に対応する最小ピクセルブロックサイズのマップ１６０を決定することができる。最小ピクセルブロックサイズのマップ１６０の例は図１Ｅに示される。最小ピクセルブロックサイズのマップ１６０は、異なる最小ピクセルブロックサイズを有するエリア１６２、１６４を含むことができ、最小ピクセルブロックサイズのマップ１６０は、空間分解能分布に基づいて決定され、それにより、第１の空間分解能を有する歪み画像フレーム１４０の第１の部分１４２について、第１の部分１４２に対応する最小ピクセルブロックサイズは第１の値１５０２より小さい第３の値１６０２に設定され、第２の空間分解能を有する歪み画像フレーム１４０の第２の部分１４４について、第２の部分１４４に対応する最小ピクセルブロックサイズは、第２の値１５０４および第３の値１６０２より小さい第４の値１６０４に設定される。歪み画像フレームは、ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最小ブロックサイズを規定するために最小ピクセルブロックサイズのマップ１６０を使用してさらにエンコードすることができる。ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最小ブロックサイズを規定するために最小ピクセルブロックサイズのマップを使用することは、ビデオエンコーディングに関連する計算コスト、ファイルサイズ、および／または帯域幅を低減し、また、エンコードされたビデオの均一の、したがって改善された視覚品質を依然として可能にすることができる。特に、（第２の部分１４４と比較して高い空間分解能を有する）第１の部分１４２の最小ブロックサイズを第２の部分１４４の最小ブロックサイズより小さくなることを可能にしないことによって、ブロックベースビデオエンコーディングアルゴリズムは、有利には、第２の部分１４４と比較して第１の部分１４２についてより高い圧縮比を使用することを選択することができる。
【0062】
図１Ｃに例示するように、歪み画像フレーム１４０内の第１の部分１４２および第２の部分１４４は、歪み画像フレーム１４０の参照位置から半径方向に延在する楕円パターンを形成することができる。参照位置は、図１Ｃに例示するように、歪み画像フレーム１４０の中央位置であることができ、参照位置から第１の部分１４２までの半径方向距離は、参照位置から第２の部分１４４までの半径方向距離より小さい。そのため、歪み画像フレーム１４０の第１の部分１４２に対応する最大ピクセルブロックサイズのマップ１５０の第１のエリア１５２および歪み画像フレーム１４０の第２の部分１４４に対応する最大ピクセルブロックサイズのマップ１５０の第２のエリア１５４は、最大ピクセルブロックサイズのマップ１５０の参照位置１５００から半径方向に延在する楕円パターンを形成することができる。参照位置１５００と第１のエリア１５２との間の半径方向距離は、参照位置１５００と第２のエリア１５４との間の半径方向距離より小さいとすることができる。
【0063】
さらに、歪み画像フレーム１４０の第１の部分１４２に対応する最小ピクセルブロックサイズのマップ１６０の第１のエリア１６２および歪み画像フレーム１４０の第２の部分１６４に対応する最小ピクセルブロックサイズのマップ１６０の第２のエリア１６４は、最小ピクセルブロックサイズのマップ１６０の参照位置１６００から半径方向に延在する楕円パターンを形成することができる。参照位置１６００と第１のエリア１６２との間の半径方向距離は、参照位置１６００と第２のエリア１６４との間の半径方向距離より小さいとすることができる。最小ピクセルブロックサイズのマップ１６０の参照位置１６００は最大ピクセルブロックサイズのマップ１５０の参照位置１５００に対応することができる。
【0064】
歪み画像フレーム１４０の空間分解能分布が歪み画像フレーム１４０にわたって連続して変動することができること、および、対応する最大ピクセルブロックサイズのマップ１５０が相応して変動することができることが理解される。そのため、図１Ａ～図１Ｅに関する説明は、第１の部分１４２および第２の部分に関連するが、多数の部分に同様に十分に関連することができる。歪み画像フレーム１４０内のさらなる部分および／または歪み画像フレーム１４０にわたる連続して変動する空間分解能分布を考慮するため上記説明を適応させる方法を当業者は認識する。
【0065】
図２Ａはエンコーダー２００を示す。エンコーダー２００は、少なくとも１つの画像センサによって生成される歪み画像フレームをブロックベースビデオエンコーディングアルゴリズムを使用してエンコードするために構成される。エンコーダー２００はハードウェアおよび／またはソフトウェア実装式であることができる。
【0066】
エンコーダー２００は、歪み画像フレームについて空間分解能分布を決定するように適合された空間分解能コンポーネント２０２を備える。空間分解能は、歪み画像フレーム１４０を取り込むときに使用される撮像光学部品のレンズ多項式に基づいて決定することができる。撮像光学部品は、広角レンズ、例えば、フィッシュアイレンズまたは光学ドームであることができる。
【0067】
エンコーダー２００は、歪み画像フレームに対応する最大ピクセルブロックサイズのマップを決定するように適合された最大ピクセルブロックサイズマップコンポーネント２０４をさらに備え、最大ピクセルブロックサイズのマップは、空間分解能分布に基づいて決定され、それにより、第１の空間分解能を有する歪み画像フレームの第１の部分について、第１の部分に対応する最大ピクセルブロックサイズは第１の値に設定され、第１の空間分解能より低い第２の空間分解能を有する歪み画像フレームの第２の部分について、第２の部分に対応する最大ピクセルブロックサイズは、第１の値より小さい第２の値に設定される。
【0068】
エンコーダー２００は、ブロックベースビデオエンコーディングアルゴリズムを使用して、歪み画像フレームをエンコードするように適合されたビデオエンコーディングコンポーネント２０６をさらに備え、最大ピクセルブロックサイズのマップは、ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最大ブロックサイズを規定するために、ブロックベースビデオエンコーディングアルゴリズムによって使用される。最大ピクセルブロックサイズのマップは、ブロックベースビデオエンコーディングアルゴリズムのコーディングユニットの最大サイズを規定するために使用することができる。ブロックベースビデオエンコーディングアルゴリズムがｈ．２６５である場合、コーディングツリーユニット、ＣＴＵ、サイズが、コーディングユニットの最大サイズを規定することができる。ブロックベースビデオエンコーディングアルゴリズムがＡＶ１である場合、スーパーブロックのサイズが、コーディングユニットの最大サイズを規定することができる。
【0069】
図２Ａに例示するように、エンコーダー２００は、歪み画像フレームに対応する最小ピクセルブロックサイズのマップを決定するように適合された最小ピクセルブロックサイズマップコンポーネント２０８をさらに備えることができ、最小ピクセルブロックサイズのマップは、異なる最小ピクセルブロックサイズを有するエリアを含み、最小ピクセルブロックサイズのマップは、空間分解能分布に基づいて決定され、それにより、第１の空間分解能を有する歪み画像フレームの第１の部分について、第１の部分に対応する最小ピクセルブロックサイズは第１の値より小さい第３の値に設定され、第２の空間分解能を有する歪み画像フレームの第２の部分について、第２の部分に対応する最小ピクセルブロックサイズは、第２の値および第３の値より小さい第４の値に設定され、最小ピクセルブロックサイズのマップは、ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最小ブロックサイズを規定するためにブロックベースビデオエンコーディングアルゴリズムによって使用することができる。
【0070】
ブロックベースビデオエンコーディングアルゴリズムがｈ．２６５である場合、コーディングユニットの最小サイズは、ブロックベースビデオエンコーディングアルゴリズムの予測ユニット、ＰＵ、および／または、変換ユニット、ＴＵの最小サイズによって規定することができる。
【0071】
エンコーダー２００は、複数の１次画像からの画像フレームをスティッチングし、それにより、歪み画像フレームを生成するように適合されたスティッチングコンポーネント４１２を更に備えることができる。他の実施形態において、スティッチングコンポーネントはエンコーダー２００と別個であり、歪み画像フレームは、エンコーダー２００で受信される前に、共にスティッチングされる複数の取り込まれた画像を含む。
【0072】
エンコーダー２００を、図２Ｂに例示するように、カメラ２１０に含むことができる。カメラ２１０は、少なくとも１つの画像センサ２１２をさらに備える。少なくとも１つの画像センサ２１２およびエンコーダー２００はデータバス２１４を介して通信することができる。カメラ２１０は、撮像光学部品２１６をさらに備えることができ、撮像光学部品２１６を通して、画像が、カメラ２１０の少なくとも１つの画像センサ２１２によって取り込まれる。撮像光学部品２１６は広角レンズであることができる。撮像光学部品はフィッシュアイレンズであることができる。広角レンズは光学ドームであることができる。
【0073】
図２Ｃに例示するように、カメラ４１０は複数の画像センサ２１２を備えることができる。カメラ４１０は、複数の画像センサ２１２によって取り込まれる複数の１次画像からの画像フレームをスティッチングするように適合されたスティッチングコンポーネント４１２（エンコーダー２００に含まれるため、図２Ｃに示さず）を備えることができる。複数の画像センサ２１２のそれぞれは、図２Ｃに例示するように、撮像光学部品２１６に連結することができる。撮像光学部品２１６は、図２Ｂに関して述べた撮像光学部品と同様であることができる。図２Ｃの撮像光学部品２１６は、１次画像内の歪みを低減するように適合された伝統的なカメラ対物レンズであることができる、すなわち、カメラ対物レンズは、実質的に直線的な画像を１次画像として生成するように適合されることができる。複数の画像センサ２１２およびエンコーダー２００はデータバス２１４を介して通信することができる。
【0074】
カメラ２１０、４１０は、エンコーダーの設定、最大ピクセルブロックサイズのマップ、最小ピクセルブロックサイズのマップ、歪み画像フレーム、および／またはエンコードされたビデオを記憶するように構成される非一時的コンピュータ可読記憶媒体２２０を備えることができる。少なくとも１つの画像センサ２１２、エンコーダー２２０、および非一時的コンピュータ可読記憶媒体２２０はデータバス２１４を介して通信することができる。
【0075】
エンコーダー２２０を、カメラ２１０、４１０からの歪み画像フレームを受信するように構成される外部コンピュータおよび／またはサーバーに含むことができることが理解される。
【0076】
図３は、少なくとも１つの画像センサによって生成される歪み画像フレーム１４０をブロックベースビデオエンコーディングアルゴリズムを使用してエンコードするための方法３００のブロックスキームである。
【0077】
方法３００は、歪み画像フレーム１４０について空間分解能分布を決定する３０２ことを含む。
【0078】
歪み画像フレーム１４０は、広角レンズを通して１つの画像センサ２１２によって取り込む３１２ことによって生成することができ、空間分解能分布は、広角レンズのレンズ多項式に基づいて決定することができる。
【0079】
広角レンズはフィッシュアイレンズであることができる。
【0080】
歪み画像フレーム１４０は、光学ドームを通して１つの画像センサ２１２によって取り込む３１２ことによって生成することができ、空間分解能分布は、光学ドームのレンズ多項式に基づいて決定することができる。
【0081】
それぞれの歪み画像フレーム１４０は、１つまたは複数の画像センサ２１２によって取り込まれる複数の１次画像フレームの射影アルゴリズムに基づくスティッチングによって生成することができる。
【0082】
空間分解能分布は射影アルゴリズムに基づいて決定することができる。
【0083】
方法は、歪み画像フレーム１４０に対応する最大ピクセルブロックサイズのマップを決定する３０４ことをさらに含む。最大ピクセルブロックサイズのマップ１５０は、空間分解能分布に基づいて決定され、それにより、第１の空間分解能を有する歪み画像フレーム１４０の第１の部分１４２について、第１の部分１４２に対応する最大ピクセルブロックサイズは第１の値１５０２に設定され、第１の空間分解能より低い第２の空間分解能を有する歪み画像フレーム１４０の第２の部分１４４について、第２の部分１４４に対応する最大ピクセルブロックサイズは、第１の値１５０２より小さい第２の値１５０４に設定される。
【0084】
最大ピクセルブロックサイズのマップ１５０は、異なる最大ピクセルブロックサイズを有するエリアを含むことができる。
【0085】
第１の部分１４２は歪み画像フレーム１４０の中央部分であることができる。
【0086】
第２の部分１４４は歪み画像フレーム１４０の外側部分であることができる。
【0087】
方法３００は、ブロックベースビデオエンコーディングアルゴリズムを使用して、歪み画像フレームをエンコードする３０６ことをさらに含み、最大ピクセルブロックサイズのマップ１５０は、ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最大ブロックサイズを規定するために使用される。
【0088】
ブロックベースビデオエンコーディングアルゴリズムはｈ．２６５またはＡＶ１であることができ、最大ピクセルブロックサイズのマップ１５０は、ブロックベースビデオエンコーディングアルゴリズムのコーディングユニットの最大サイズを規定するために使用することができる。
【0089】
方法３００は、歪み画像フレーム１４０に対応する最小ピクセルブロックサイズのマップ１６０を決定する３０８ことをさらに含むことができ、最小ピクセルブロックサイズのマップ１６０は、異なる最小ピクセルブロックサイズを有するエリア１６２、１６４を含み、最小ピクセルブロックサイズのマップ１６０は、空間分解能分布に基づいて決定され、それにより、第１の空間分解能を有する歪み画像フレーム１４０の第１の部分１４２について、第１の部分１４２に対応する最小ピクセルブロックサイズは第１の値１５０２より小さい第３の値１６０２に設定され、第２の空間分解能を有する歪み画像フレーム１４０の第２の部分１４４について、第２の部分１４４に対応する最小ピクセルブロックサイズは、第２の値１５０４および第３の値１６０２より小さい第４の値１６０４に設定され；歪み画像フレーム１４０をエンコードする３０６ステップにおいて、最小ピクセルブロックサイズのマップ１６０は、ブロックベースビデオエンコーディングアルゴリズムのエンコーディングブロックのための最小ブロックサイズを規定するために使用される。
【0090】
ブロックベースビデオエンコーディングアルゴリズムはｈ．２６５であることができ、最小ピクセルブロックサイズのマップ１６０は、ブロックベースビデオエンコーディングアルゴリズムの予測ユニット、ＰＵ、および／または、変換ユニット、ＴＵの最小サイズを規定するために使用することができる。
【0091】
歪み画像フレーム１４０の第１の部分１４２に対応する最大ピクセルブロックサイズのマップ１５０の第１のエリア１５２および歪み画像フレーム１４０の第２の部分１４４に対応する最大ピクセルブロックサイズのマップ１５０の第２のエリア１５４は、最大ピクセルブロックサイズのマップ１５０の参照位置１５００から半径方向に延在する楕円パターンを形成することができ、参照位置１５００と第１のエリア１５２との間の半径方向距離は、参照位置１５００と第２のエリア１５４との間の半径方向距離より小さいとすることができる。
【0092】
方法３００は、上記で述べられ、図３において逐次的方法で示された、しかしながら、方法３００のステップは、ここで述べる以外の順序で実施することができる。例えば、最小ピクセルブロックサイズのマップ１６０は、最大ピクセルブロックサイズのマップ１５０に先立ってまたはそれと同時に決定することができる。
【0093】
本発明の概念が、上記で述べる好ましい変形に決して限定されないことを当業者は認識する。逆に、多くの修正および変形が、添付特許請求項の範囲内で可能である。
【0094】
例えば、図１Ｃに関して論じる歪み画像フレーム１４０は、代替的に、１つまたは複数の画像センサによって取り込まれる複数の１次画像フレームの射影アルゴリズムに基づくスティッチングによって生成することができる。空間分解能分布は、スティッチングされた画像について、射影アルゴリズムに基づくことができる。
【0095】
さらなる例として、図１Ｄおよび図１Ｅにおいて、第３の値１６０２は、第２の値１５０４より小さいとして示される、しかしながら、第２の値１５０４が第３の値１６０２より小さいとすることができることが理解される。
【0096】
さらに、開示した変形に対する変形が、図面、開示、および添付特許請求項の検討から、特許請求される発明を実施するときに当業者によって理解され実施され得る。
【図1A】
【図1B】
【図1C】
【図1D】
【図1E】
【図2A】
【図2B】
【図2C】
【図3】