特許 6836633 符号化された画像を形成するための撮像デバイス、方法、及びコンピュータプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6836633

(24)【登録日】2021年2月9日

(45)【発行日】2021年3月3日

(54)【発明の名称】符号化された画像を形成するための撮像デバイス、方法、及びコンピュータプログラム製品

(51)【国際特許分類】

   H04N 19/597 20140101AFI20210222BHJP

   H04N 19/436 20140101ALI20210222BHJP

   H04N 13/243 20180101ALI20210222BHJP

   H04N 13/161 20180101ALI20210222BHJP

【ＦＩ】

   H04N19/597

   H04N19/436

   H04N13/243

   H04N13/161

【請求項の数】15

【外国語出願】

【全頁数】15

(21)【出願番号】特願2019-150101(P2019-150101)

(22)【出願日】2019年8月20日

(65)【公開番号】特開2020-53963(P2020-53963A)

(43)【公開日】2020年4月2日

【審査請求日】2020年9月8日

(31)【優先権主張番号】18190932.6

(32)【優先日】2018年8月27日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林特許業務法人

(72)【発明者】

【氏名】アルデ， ビョルン

(72)【発明者】

【氏名】ルンドベリ， ステファン

(72)【発明者】

【氏名】サンドストレーム， ステファン

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 特開２０１２−１０３７４１（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１５０９４３（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１８／００４１７６４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｈ０４Ｎ １３／００−１３／３９８

(57)【特許請求の範囲】

【請求項1】

第１の画像センサ及び第２の画像センサと、
第１のエンコーダ及び第２のエンコーダと、
画像データ結合ユニットと
を備えた、デジタルビデオカメラ又はデジタルスチルカメラである、撮像デバイスであって、
前記第１の画像センサは第１の画像フレームを撮像するように構成され、前記第２の画像センサは第２の画像フレームを撮像するように構成され、
前記第１のエンコーダは、前記第１の画像フレームの画像データを第１の符号化されたデータに符号化するよう構成されており、
前記第２のエンコーダは、前記第２の画像フレームの画像データを第２の符号化されたデータに符号化するよう構成されており、
前記画像データ結合ユニットは、前記第１のエンコーダから前記第１の符号化されたデータを、及び前記第２のエンコーダから前記第２の符号化されたデータを受信して、符号化された画像を形成するよう構成されており、前記符号化された画像は、前記第１の符号化されたデータを、第１のタイル又は第１のスライスとして含み、前記第２の符号化されたデータを、第２のタイル又は第２のスライスとして含む、
撮像デバイス。

【請求項2】

前記第１の符号化されたデータ及び前記第２の符号化されたデータのそれぞれは、前記第１の画像センサ及び前記第２の画像センサが前記第１の画像フレーム及び前記第２の画像フレームを撮像した瞬間を示すメタデータを含み、
前記画像データ結合ユニットは、前記第１の画像フレームを撮像する前記瞬間と前記第２の画像フレームを撮像する前記瞬間とが等しいことを、前記第１の符号化されたデータ及び前記第２の符号化されたデータの前記メタデータのそれぞれが示す場合にのみ、前記符号化された画像を形成するよう構成されている、
請求項１に記載の撮像デバイス。

【請求項3】

前記第１の画像フレーム及び前記第２の画像フレームが撮像される瞬間を同期するよう構成された１つ又はそれ以上の第１のコントローラをさらに含む、
請求項１又は２に記載の撮像デバイス。

【請求項4】

前記１つ又はそれ以上の第１のコントローラは、前記第１の画像センサ及び前記第２の画像センサのフォーカス設定と、
前記第１の画像センサ及び前記第２の画像センサの赤外線（ｉｎｆｒａｒｅｄ又はＩＲ）カットフィルタ設定と、
前記第１の画像センサ及び前記第２の画像センサの露光設定と、
のリストからの少なくとも１つを同期するよう構成されている、
請求項３に記載の撮像デバイス。

【請求項5】

前記第１のエンコーダ及び前記第２のエンコーダのホワイトバランス設定と、
前記第１のエンコーダ及び前記第２のエンコーダのトーンマッピング設定と、
のリストからの少なくとも１つを同期するよう構成されている１つ又はそれ以上の第２のコントローラをさらに含む、
請求項１〜４のいずれか一項に記載の撮像デバイス。

【請求項6】

前記第１の画像フレーム及び前記第２の画像フレームの画像データの内容を分析し、前記画像データのそれぞれを符号化するためのビットレート割当量を判定するよう構成されているアナライザユニットをさらに含み、
前記第１のエンコーダ及び前記第２のエンコーダは、前記第１の画像フレーム及び前記第２の画像フレームの画像データを、前記判定したビットレート割当量にしたがって符号化するよう構成されている、
請求項１〜５のいずれか一項に記載の撮像デバイス。

【請求項7】

前記アナライザユニットは、前記第１のエンコーダと同じチップ内に実装されている、請求項６に記載の撮像デバイス。

【請求項8】

第３の画像フレームを撮像するように構成された第３の画像センサをさらに含み、
前記第１のエンコーダ又は前記第２のエンコーダは、前記第３の画像フレームの画像データを第３の符号化されたデータに符号化するよう構成されており、
前記画像データ結合ユニットは、前記第３の画像フレームの前記画像データを第３の符号化されたデータに符号化するように構成された前記第１又は第２のエンコーダから、前記第３の符号化されたデータを受信するように構成されており、前記符号化された画像は、前記第３の符号化されたデータを、第３のタイル又は第３のスライスとしてさらに含む、
請求項１〜７のいずれか一項に記載の撮像デバイス。

【請求項9】

第３の画像センサ及び第４の画像センサをさらに含み、
前記第３の画像センサは第３の画像フレームを撮像するように構成され、前記第４の画像センサは第４の画像フレームを撮像するように構成され、
前記第１のエンコーダ又は前記第２のエンコーダは、前記第３の画像フレームの画像データを第３の符号化されたデータに符号化するよう構成されており、
前記第１のエンコーダ又は前記第２のエンコーダは、前記第４の画像フレームの画像データを第４の符号化されたデータに符号化するよう構成されており、
前記画像データ結合ユニットは、前記第３の画像フレームの前記画像データを第３の符号化されたデータに符号化するように構成された前記第１又は第２のエンコーダから、前記第３の符号化されたデータを受信するように、且つ前記第４の画像フレームの前記画像データを第４の符号化されたデータに符号化するように構成された前記第１又は第２のエンコーダから、前記第４の符号化されたデータを受信するように構成されており、前記符号化された画像は、前記第３の符号化されたデータを、第３のタイル又は第３のスライスとしてさらに含み、前記第４の符号化されたデータを、第４のタイル又は第４のスライスとしてさらに含む、
請求項１〜７のいずれか一項に記載の撮像デバイス。

【請求項10】

前記符号化された画像は、クワッドビューの形態を有し、
前記符号化された画像データのそれぞれは、前記クワッドビュー内にビューのそれぞれを形成する、
請求項９に記載の撮像デバイス。

【請求項11】

前記第１の符号化されたデータ、前記第２の符号化されたデータ、前記第３の符号化されたデータ、及び前記第４の符号化されたデータは、前記符号化された画像内にて水平方向又は垂直方向にシーケンス状に互いに隣り合って配置されている、
請求項９に記載の撮像デバイス。

【請求項12】

前記画像データ結合ユニットはさらに、前記符号化された画像をビットストリームとして出力するよう構成されている、
請求項１〜１１のいずれか一項に記載の撮像デバイス。

【請求項13】

前記画像データ結合ユニットは、前記第１のエンコーダ内に実装されている、
請求項１〜１２のいずれか一項に記載の撮像デバイス。

【請求項14】

第１の画像センサ及び第２の画像センサと、
第１のエンコーダ及び第２のエンコーダと、
画像データ結合ユニットと
を備えた、デジタルビデオカメラ又はデジタルスチルカメラである撮像デバイスによって実行される、符号化された画像を形成するための方法であって、前記方法が、
第１の画像センサにより、第１の画像フレームを撮像することと、
第２の画像センサにより、第２の画像フレームを撮像することと、
第１のエンコーダにより、前記第１の画像フレームの画像データを第１の符号化されたデータに符号化することと、
第２のエンコーダにより、前記第２の画像フレームの画像データを第２の符号化されたデータに符号化することと、
前記画像データ結合ユニットにより、前記第１の符号化されたデータを受信することと、
前記画像データ結合ユニットにより、前記第２の符号化されたデータを受信することと、
前記画像データ結合ユニットにより、前記符号化された画像を形成することと、を含み、
前記符号化された画像は、前記第１の符号化されたデータを、第１のタイル又は第１のスライスとして含み、前記第２の符号化されたデータを、第２のタイル又は第２のスライスとして含む、方法。

【請求項15】

処理機能を有するデバイスにより実行されると、請求項１４に記載の方法を実施するよう構成されている命令を保存しているコンピュータ可読記憶媒体を含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を符号化することの分野に関する。本発明は特に、符号化された単一の画像を出力するための多数の画像センサ及び多数のエンコーダを採用する方法及びデバイスに関する。

【背景技術】

【0002】

近年、ネットワークカメラ監視システムなどの監視カメラの数が増えている。多くの監視システムは、シーンの画像を撮像するための複数の画像センサを使用して、シーンの広いエリアをカバーし、及び／又は、シーンをさらに詳細に撮像する。通常、そのような監視システムは、複数の画像ストリームを生成する。これは、オペレータのディスプレイ又はビデオ分析ユニットなどに転送され、シーンの映像がさらに分析されたり、編集されたりする。しかし、このソリューションでは、シーンの特定の部分（例えば、画像センサの視野の縁に対応する部分）に対する、画像データに行われる自動分析の品質が低下したり、又は複雑となったりする場合がある。別の不都合な点としては、画像ストリーム内のフレームを編集又は精査する際に、異なる画像ストリーム間の同期が必要となることである。

【0003】

したがって、このコンテキストにおける改善の必要がある。

【発明の概要】

【0004】

上記を鑑み、本発明の目的はしたがって、上記の問題を克服するか、又は少なくとも軽減することである。特に、本発明の目的は、Ｈ．２６５エンコーディングなどにおけるタイル／スライスのコンセプトを活用して、複数の画像センサが撮像した複数の画像データから、符号化された単一の画像を生成するデバイス及び方法を提供することである。

【0005】

本発明の第１の態様によると、
第１の画像センサ及び第２の画像センサと、
第１のエンコーダ及び第２のエンコーダと、
ストリームマルチプレクサと、を含み、
第１のエンコーダは、第１の画像センサが撮像した第１の画像データを符号化するよう構成されており、第２のエンコーダは、第２の画像センサが撮像した第２の画像データを符号化するよう構成されており、
ストリームマルチプレクサは、第１のエンコーダが符号化したデータ及び第２のエンコーダが符号化したデータを受信して、符号化された画像を形成するよう構成されており、符号化された画像は、符号化された第１のデータを、第１のタイル又は第１のスライスとして含み、符号化された第２のデータを、第２のタイル又は第２のスライスとして含む、撮像デバイスが提供される。

【0006】

タイル及びスライスは、独立して復号化／符号化できる矩形領域の格子に写真を分割することを可能にする。本コンセプトが、下記の発明に関するコンセプトに係るデバイスにより好適に採用され得ることを、発明者は認識した。この発明に関するコンセプトは、少なくとも２つの画像センサを有する。この少なくとも２つの画像センサは、別々のエンコーダにそれぞれ接続されている。これら別々のエンコーダは、それら画像センサのそれぞれからの画像を符号化し、したがって、第１の符号化されたデータ及び第２の符号化されたデータを提供する。第１の符号化されたデータ及び第２の符号化されたデータは、ストリームマルチプレクサ、すなわち、少なくとも２つの別々に符号化されたデータから、符号化された単一の画像を形成するよう構成されているユニットにより受信される。符号化された画像は、符号化された第１のデータを、第１のタイル又は第１のスライスとして含み、符号化された第２のデータを、第２のタイル又は第２のスライスとして含む。

【0007】

上記の実施形態から、いくつかの利点が実現され得る。単一のビットストリーム（例えば、画像センサのフレームレートに基づく時間間隔毎の単一の画像／フレーム）のみの分析が必要とされるために分析が簡略され、別々のストリームの内容を同期して、例えば、その進路内での、シーン内で動く、異なる画像センサが撮像したオブジェクトに追従したり、又は第１の画像センサが撮像したシーンの部分と第２の画像センサが撮像したシーンの部分との間の移行部に位置するシーンの内容を分析したりすることに関連する問題を排除する。さらに、符号化された単一の画像は、複数の画像センサが撮像した画像データを編集すること（例えば、クロッピング、回転、など）を、別々に編集して共に配置する必要のある複数の画像を使用して同じ編集を行うことと比較して、簡略にする。さらに、複数の画像センサが撮像したビデオの同期精査が簡略になる。なぜなら、画像センサのそれぞれからの画像データが、単一のビットストリームに結合されるためである。これは、複数の画像センサが撮像したシーンが連続していなくとも、すなわち、第１の画像センサの視野が、第２の画像センサの視野に近くなくとも、好適である。

【0008】

いくつかの実施形態によると、第１の符号化されたデータ及び第２の符号化されたデータのそれぞれは、第１のセンサが第１の画像データを撮像した瞬間及び第２のセンサが第２の画像データを撮像した瞬間を示すメタデータを含む。ストリームマルチプレクサは、第１の画像データを撮像するための瞬間と第２の画像データを撮像するための瞬間とが等しいことを、第１の符号化されたデータ及び第２の符号化されたデータのメタデータのそれぞれが示す場合にのみ、符号化された画像を形成するよう構成されている。好適には、２つの画像センサの１つが何らかの理由により画像の撮像に失敗すると、ストリームマルチプレクサはもう一方の画像センサからの符号化された画像データを破棄し、ストリームマルチプレクサにより形成された符号化された画像における、２つの画像センサからの画像データの同期を維持してよい。

【0009】

本開示では、「瞬間を示すメタデータ」という用語は一般に、ストリームマルチプレクサが、第１のエンコーダ及び第２のエンコーダのそれぞれからの符号化された画像データ間の時間的同期／比較に使用できる、タイムスタンプや実行数などのいずれのタイプのデータを指す。

【0010】

いくつかの実施形態によると、撮像デバイスは、第１の画像データ及び第２の画像データが撮像される瞬間を同期するよう構成されている１つ又はそれ以上の第１のコントローラをさらに含む。いくつかの実施形態では、撮像デバイスは、第１のセンサ及び第２のセンサと通信するコントローラを１つ含む。他の実施形態では、撮像デバイスは、それぞれが、画像センサのそれぞれと通信して、互いにも通信するコントローラを２つ含む。好適には、２つの画像センサにより画像を撮像するための時間的同期が実現されてよい。

【0011】

いくつかの実施形態によると、１つ又はそれ以上の第１のコントローラは、第１の画像センサ及び第２の画像センサのフォーカス設定と、第１の画像センサ及び第２の画像センサの赤外線（ｉｎｆｒａｒｅｄ又はＩＲ）カットフィルタ設定と、第１の画像センサ及び第２の画像センサの露光設定と、のリストからの少なくとも１つを同期するよう構成されている。その結果、第１の画像センサ及び第２の画像センサからの画像データは、（すなわち、第１の画像センサ及び第２の画像センサにおける同様の設定を使用して）より等しく撮像され得る。これは、符号化された画像に行われる自動分析及び／又は手動分析と、同様に、符号化された画像が復号化された際の外観と、をさらに改善し得る。

【0012】

いくつかの実施形態によると、撮像デバイスは、第１のエンコーダ及び第２のエンコーダのホワイトバランス設定と、第１のエンコーダ及び第２のエンコーダのトーンマッピング設定と、のリストからの少なくとも１つを同期するよう構成されている１つ又はそれ以上の第２のコントローラをさらに含む。いくつかの実施形態では、撮像デバイスは、第１のエンコーダ及び第２のエンコーダと通信する第２のコントローラを１つ含む。他の実施形態では、撮像デバイスは、それぞれが、エンコーダのそれぞれと通信して、互いにも通信するそのようなコントローラを２つ含む。好適には、第１の画像センサ及び第２の画像センサからの画像データは、（すなわち、第１の画像エンコーダ及び第２の画像エンコーダにおける同様の設定を使用して）より等しく符号化され得る。これは、符号化された画像に行われる自動分析及び／又は手動分析と、同様に、符号化された画像が復号化された際の外観と、をさらに改善し得る。

【0013】

いくつかの実施形態によると、撮像デバイスは、第１の画像データ及び第２の画像データの内容を分析し、画像データのそれぞれを符号化するためのビットレート割当量を判定するよう構成されているアナライザユニットをさらに含む。第１のエンコーダ及び第２のエンコーダは、第１の画像データ及び第２の画像データを、判定したビットレート割当量にしたがって符号化するよう構成されている。他の実施形態によると、アナライザユニットは、第１の画像センサ及び第２の画像センサにより以前に撮像された画像データの内容を分析し、第１の画像データ及び第２の画像データを符号化するためのビットレート割当量を判定するよう構成されている。好適には、第１の画像データ／第２の画像データの１つ、すなわち、さらなる詳細及び／又はより重要な内容を含む１つが、他と比較してより高いビットレート割当量を使用して符号化されてよく、符号化された画像に行われる自動分析又は手動分析をさらに改善する。ＨＥＶＣ／ＡＶＣエンコーディングなどにおけるスライス／タイルは、上述するように、別々に符号化できるため、そのような、第１のエンコーダ及び第２のエンコーダ間のビットレートの分割が実現できる。

【0014】

いくつかの実施形態によると、アナライザユニットは、第１のエンコーダと同じチップ内に実装されている。好適には、これは、撮像デバイスの製造プロセスの簡略化を促進する。アナライザユニットを、第１のエンコーダと同じチップ上に実装することは、データへのアクセスを容易にし得る。

【0015】

いくつかの実施形態によると、撮像デバイスは、第３の画像センサをさらに含む。第１のエンコーダ又は第２のエンコーダは、第３の画像センサが撮像した第３の画像データを符号化するよう構成されている。符号化された画像は、符号化された第３のデータを、第３のタイル又は第３のスライスとしてさらに含む。したがって、エンコーダの少なくとも１つが、２つの画像センサに接続されている。本実施形態は、シーンの広いエリアを撮像すること、及び／又は、シーン内のさらなる詳細を撮像することを促進する。

【0016】

いくつかの実施形態によると、撮像デバイスは、第３の画像センサ及び第４の画像センサをさらに含む。第１のエンコーダ又は第２のエンコーダは、第３の画像センサが撮像した第３の画像データを符号化するよう構成されている。第１のエンコーダ又は第２のエンコーダは、第４の画像センサが撮像した第４の画像データを符号化するよう構成されている。符号化された画像は、符号化された第３のデータを、第３のタイル又は第３のスライスとしてさらに含み、符号化された第４のデータを、第４のタイル又は第４のスライスとしてさらに含む。したがって、エンコーダの少なくとも１つが、複数の画像センサに接続されている。本実施形態では、符号化された画像は、クワッドビューの形態を有してよい。符号化された画像データのそれぞれは、クワッドビュー内にビューのそれぞれを形成する。クワッドビューは、監視の用途に使用される、下記の発明に関するコンセプトを使用する共通ビューであり、クワッドビューの画像フレームの同期精査を簡略にする。他の実施形態では、符号化された第１のデータ、第２のデータ、第３のデータ、及び第４のデータは、符号化された画像内にて水平方向又は垂直方向にシーケンス状に互いに隣り合って配置されている。好適には、これは、単一の画像センサが、シーン全体を撮像した場合に見えるようなものと同様に、符号化された画像が、連続して撮像されたシーンを表すことを可能にする。いくつかの小型の画像センサを使用することは、撮像された画像の品質を同程度に実現する単一の大型の画像センサの使用に比較して、コスト効率が良好となり得る。これはまた、パノラマ画像の実現にも便利である。

【0017】

いくつかの実施形態によると、ストリームマルチプレクサはさらに、符号化された画像をビットストリームとして出力するよう構成されている。

【0018】

いくつかの実施形態によると、ストリームマルチプレクサは、第１のエンコーダ内に実装されている。その結果、第１のエンコーダはマスタエンコーダとして機能し、他のエンコーダ（単一又は複数）により（例えば、符号化されたスライス又はタイルの形態に）符号化されたデータを受信し、受信した、符号化されたデータを、符号化された第１の画像データと繋ぎ合わせ、符号化された画像を形成する。好適には、これは、第１のエンコーダ（マスタエンコーダ）の、第１のタイプのハードウェア（例えば、第１のタイプのチップ）上の実装、又は、第１のタイプのソフトウェアを使用しての実装を可能とし得る。残りのエンコーダ（単一又は複数）（スレーブエンコーダ（単一又は複数））は、第２のタイプのハードウェア（例えば、第２のタイプのチップ）上に実装、又は、同じ第２のソフトウェアを使用して実装できる。好適には、これは、撮像デバイスの製造プロセスの簡略化を促進し得る。別の実施形態では、２つの同一のチップ／ソフトウェアが使用される。ストリームマルチプレクサはここでは、スレーブチップ上において無効となっている。好適には、異なるコンポーネントが少ないことで、製品が安価となる。

【0019】

本発明の第２の態様によると、
− 第１の画像センサにより、第１の画像データを撮像することと、
− 第２の画像センサにより、第２の画像データを撮像することと、
− 第１のエンコーダにより、第１の画像データを符号化することと、
− 第２のエンコーダにより、第２の画像データを符号化することと、
− ストリームマルチプレクサにより、符号化された第１の画像データを受信することと、
− ストリームマルチプレクサにより、符号化された第２の画像データを受信することと、
− ストリームマルチプレクサにより、符号化された画像を形成することと、を含み、符号化された画像は、符号化された第１のデータを、第１のタイル又は第１のスライスとして含み、符号化された第２のデータを、第２のタイル又は第２のスライスとして含む、符号化された画像を形成するための方法により、上記の目的が実現される。

【0020】

本発明の第３の態様によると、処理機能を有するデバイスにより実行されると、第２の態様の方法を実施するよう構成されているコンピュータコード命令を保存しているコンピュータ可読媒体を含むコンピュータプログラム製品により、上記の目的が実現される。

【0021】

第２の態様及び第３の態様は一般に、第１の態様と同じ特徴及び利点を有してよい。本発明は更に、特に明白に言及していない限り、すべての可能な特徴の組み合わせに関連することに留意されたい。

【0022】

本発明の、上記及び更なる目的、特徴、並びに利点は、添付図面を参照しての、本発明の好適な実施形態の、以下に記載する例示的且つ非限定の詳細説明を通して良好に理解される。ここでは、同様のコンポーネントには同じ参照番号が用いられる。

【図面の簡単な説明】

【0023】

【図1】図１は、第１の実施形態に係る撮像デバイスを示す。

【図2】図２は、第２の実施形態に係る撮像デバイスを示す。

【図3】図３は、第３の実施形態に係る撮像デバイスを示す。

【図4】図４は、第４の実施形態に係る撮像デバイスを示す。

【図5】図５は、一実施形態に係る符号化された画像の表示を示す。

【図6】図６は、別の実施形態に係る符号化された画像の表示を示す。

【図7】図７は、ある実施形態に係る、符号化された画像を形成するための方法を示す。

【発明を実施するための形態】

【0024】

本発明を、添付図面を参照して以下に更に詳細に説明する。ここでは、本発明の実施形態を示す。以下に開示するシステム及びデバイスは、作動中のものとして説明される。

【0025】

アドバンスドビデオコーディング（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ又はＡＶＣ、これはＨ．２６４とも呼ぶ）及び高効率ビデオコーディング（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ又はＨＥＶＣ、これはＨ．２６５とも呼ぶ）などの、符号化することの新たな方法では、タイル（ＨＥＶＣエンコーディングによってのみサポートされている）及びスライスのコンセプトが導入されている。タイル及びスライスは、独立して復号化／符号化できる矩形領域の格子に画像を分割することを可能にする。独立してコード化できるようにするため、１つを超えるスライス又はタイルからのピクセルを使用するいずれの予測はあってはならず、予測からの結果は、同じスライス又はタイル内でのみ使用されなければならない。本コンセプトは、並列処理の目的に使用されてよい。本コンセプトはまた、複数の画像センサ及び複数のエンコーダを含む撮像デバイスにおける、符号化された単一の画像、すなわち、複数のエンコーダが符号化した画像データを、１つの符号化された画像に繋ぎ合わせることを実現するために、ここに記すように使用されてよい。

【0026】

図１は、第１の実施形態に係る本コンセプトを実装する撮像デバイス１００を示す。撮像デバイス１００は、２つの画像センサ１０２ａ〜画像センサ１０２ｂを含む。画像センサ１０２ａ〜画像センサ１０２ｂのそれぞれは、シーンの画像データを撮像する。好適には、画像センサ１０２ａ〜画像センサ１０２ｂのそれぞれは、図１に示すように、シーンの異なる部分を少なくとも部分的に撮像する。例えば、画像センサ１０２ａ〜画像センサ１０２ｂは、撮像デバイス１００からの同じ方向にてシーンを撮像してよい。可視光又は赤外線（ｉｎｆｒａｒｅｄ ｌｉｇｈｔ又はＩＲ）を採用する画像センサ、熱センサ、飛行時間（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ又はＴｏＦ）センサなどのいずれの種類の画像センサを、下記の目的に使用してよいことに留意されたい。撮像デバイスの画像センサ１０２は、シーンの画像データを連続して撮像するよう構成されてよいし（例えば、デジタルビデオカメラ）、又はシーンの単一の瞬間を撮像するよう構成されてもよい（例えば、デジタルスチルカメラ）。

【0027】

図１の実施形態では、第１の画像センサ１０２ａは、第１のエンコーダ１０６ａに接続されており、第２の画像センサ１０２ｂは、第２のエンコーダ１０６ｂに接続されている。第１のエンコーダ１０６ａは、第１の画像センサ１０２ａが撮像して、第１のエンコーダ１０６ａが受信した第１の画像データ１０４ａを符号化するよう構成されている。第２のエンコーダ１０６ｂは、第２の画像センサ１０２ｂが撮像して、第２のエンコーダ１０６ｂが受信した第２の画像データ１０４ｂを符号化するよう構成されている。撮像デバイス１００は、第１のエンコーダ１０６ａが符号化したデータ１０８ａ及び第２のエンコーダ１０６ｂが符号化したデータ１０８ｂを受信するよう構成されているストリームマルチプレクサ１１０をさらに含む。ストリームマルチプレクサ１１０はさらに、符号化された画像１１２を形成するよう構成されている。符号化された画像は、符号化された第１のデータ１０８ａを、第１のタイル又は第１のスライスとして含み、符号化された第２のデータ１０８ｂを、第２のタイル又は第２のスライスとして含む。換言すると、ストリームマルチプレクサ１１０は、スライス又はタイルとして符号化された第１の画像データ１０４ａを含む、第１のエンコーダ１０６ａから受信したビットストリーム１０８ａと、スライス又はタイルとして符号化された第２の画像データ１０４ｂを含む、第２のエンコーダ１０６ｂから受信したビットストリーム１０８ｂと、を、符号化された画像を含む単一のビットストリーム１１２に集約する（又は、例えば、連結する）よう構成されている。

【0028】

いくつかの実施形態によると、第１の符号化されたデータ１０８ａ及び第２の符号化されたデータ１０８ｂは、第１のセンサが第１の画像データを撮像した瞬間及び第２のセンサが第２の画像データを撮像した瞬間を示すメタデータを含む。このメタデータは、例えば、ビットストリーム１０８ａ〜ビットストリーム１０８ｂのヘッダ内に含まれてよい。これにより、第１のエンコーダ１０４ａ及び第２のエンコーダ１０４ｂから受信したビットストリーム（符号化された画像データ）１０８ａ〜ビットストリーム（符号化された画像データ）１０８ｂのそれぞれが、画像センサ１０２ａ〜画像センサ１０２ｂが同じ時点にて撮像した画像データを表すか否かを、ストリームマルチプレクサ１１０は迅速に検出できる。いくつかの実施形態では、ストリームマルチプレクサ１１０は、第１の画像データ１０４ａを撮像する瞬間と第２の画像データ１０４ｂを撮像する瞬間とが等しいことを、第１の符号化されたデータ及び第２の符号化されたデータのメタデータ１０８ａ〜メタデータ１０８ｂのそれぞれが示す場合にのみ、符号化された画像１１２を形成するよう構成されている。他の実施形態では、ストリームマルチプレクサは、符号化された画像の受信されていない部分（スライス又はタイル）が、例えば、符号化された画像内の黒いエリアにより表される、符号化された画像１１２を依然として形成するよう構成されてよい。符号化された画像データを同期することは一般に、特に効率がよくなるわけではない。その代わりに、第１の画像又は第２の画像が失われた場合に、写真のグループ内にスライスを混ぜ合わせないために他方を破棄するよう、エンコーディングの前に同期を行うことが望ましい。失った第１の画像又は第２の画像の代わりに黒いエリアが挿入されている場合に、次の画像のための参照フレームが黒くなるようエンコーダに返答することで、同様の問題を解消できる。

【0029】

いくつかの実施形態によると、ストリームマルチプレクサ１１０は、第１のエンコーダ１０６ａ内に実装されている。本実施形態では、第１のエンコーダ１０６ａは、マスタエンコーダと呼ばれてよい。第２のエンコーダ１０６ｂは、スレーブエンコーダと呼ばれてよい。本実施形態を図２に示す。図２の実施形態では、第１のエンコーダ１０６ａ（図１にてストリームマルチプレクサ１１０としても機能する）は、第２のエンコーダ１０６ｂが符号化したデータ１０８ｂを受信するよう構成されている。第１のエンコーダ１０６ａはさらに、符号化された画像１１２を形成するよう構成されている。符号化された画像１１２は、符号化された第１のデータ（図２に図示せず）を、第１のタイル又は第１のスライスとして含み、符号化された第２のデータ１０８ｂを、第２のタイル又は第２のスライスとして含む。

【0030】

図１〜図２の実施形態では、撮像デバイス１００は、２つの画像センサ１０２ａ〜画像センサ１０２ｂを含む。しかし、いずれの数の画像センサ及びエンコーダが採用されてよいことに留意されたい。例えば、撮像デバイス１００は、撮像した画像データを第３のエンコーダ又は第１のエンコーダ１０６ａ及び第２のエンコーダ１０６ｂの１つに送信してよい第３の画像センサ１０２ｃを含んでよい。換言すると、撮像デバイス１００のエンコーダ１０６の少なくとも１つは、複数の画像センサに接続されてよい。図３は、そのような実施形態の１つを示す。ここでは、第２のエンコーダ１０６ｂは、第３の画像センサ１０２ｃが撮像した第３の画像データ１０４ｃを、ストリームマルチプレクサ１１０に送信される第３のスライス又はタイルに符号化するよう構成されている。いくつかの実施形態によると、第２の画像センサ１０２ｂ及び第３の画像センサ１０２ｃからの画像データ１０４ｂ〜画像データ１０４ｃは、第２のエンコーダ１０６ｂによるエンコーディングの前に連結されてよいことに留意されたい。その結果、第２の画像センサ１０２ｂ及び第３の画像センサ１０２ｃからの画像データ１０４ｂ〜画像データ１０４ｃは、いくつかの実施形態では、単一のスライス又はタイルに符号化されてよい。

【0031】

任意に、撮像デバイス１００は、画像センサ１０２と通信して、画像センサ１０２間の撮像設定を同期するよう構成されている、１つ又はそれ以上の第１のコントローラ３０２を含んでよい。例えば、１つ又はそれ以上の第１のコントローラ３０２は、第１画像データ１０４及び第２の画像データ１０４（且つ、例えば、第３の画像データ１０４）が撮像される瞬間を同期するよう構成されてよい。いくつかの実施形態では、撮像デバイス１００は、撮像デバイス１００のすべての画像センサ１０２と通信して、画像センサ１０２のそれぞれが画像データ１０４を撮像している瞬間を同期する単一の第１のコントローラ３０２を含む。他の実施形態では（図３に図示せず）、撮像デバイスは、画像センサ１０２のそれぞれに対する別々の第１のコントローラ３０２を含む。複数の第１のコントローラ３０２のそれぞれは、センサ１０２ａ〜センサ１０２ｃのそれぞれと通信して、互いにも通信して、画像センサ１０２を同期する。

【0032】

代替又は追加的に、１つ又はそれ以上の第１のコントローラ３０２は、画像センサ１０２のフォーカス設定と、画像センサ１０２の赤外線（ｉｎｆｒａｒｅｄ又はＩＲ）カットフィルタ設定と、画像センサ１０２の露光設定と、のリストからの少なくとも１つを同期するよう構成されている。

【0033】

任意に、撮像デバイスは、第１のエンコーダ１０６ａ及び第２のエンコーダ１０６ｂと通信して、エンコーダ１０６ａ〜エンコーダ１０６ｂ間のエンコーディング設定を同期するよう構成されている、１つ又はそれ以上の第２のコントローラ３０４をさらに含んでよい。いくつかの実施形態では、撮像デバイス１００は、撮像デバイス１００のすべてのエンコーダ１０６と通信して、エンコーダ１０６間の設定を同期する単一の第２のコントローラ３０４を含む。他の実施形態では（図３に図示せず）、撮像デバイスは、画像センサ１０２のそれぞれに対する別々の第２のコントローラ３０４を含む。複数の第２のコントローラ３０４のそれぞれは、画像センサ１０２ａ〜画像センサ１０２ｂのそれぞれと通信して、互いにも通信して、画像処理パラメータを同期する。例えば、１つ又はそれ以上の第２のコントローラ３０４は、画像センサ１０２のそれぞれに対する画像プロセッサ（図示せず）のホワイトバランス設定と、画像プロセッサのトーンマッピング設定と、のリストからの少なくとも１つを同期するよう構成されてよい。トーンマッピングとは、撮像した画像データの輝度レベルがいくらか落とされ、ビット深度を減らすことを意味する（例えば、画像センサが、ワイドダイナミックレンジ画像センサの場合）。最も暗い部分及び最も明るい部分の双方が考慮されることにより、スケールの両端がさらに鮮明となる。トーンマッピングには、２つのタイプがある。グローバルトーンマッピングでは、すべてのピクセルが同様に扱われる。つまり、画像内の随所の同じレベルが除去されることを意味する。ローカルトーンマッピングでは、画像／画像データ内でローカルに決定が下され、どのレベルを除去するか判定される。

【0034】

任意に、撮像デバイスは、第１の画像データ１０４及び第２の画像データ１０４（且つ、第３の画像データ１０４）の内容を分析し、画像データ１０４ａ〜画像データ１０４ｃのそれぞれを符号化するためのビットレート割当量を判定するよう構成されたアナライザユニット３０６をさらに含んでよい。このビットレート割当量は、受信した画像データ１０４を、この判定したビットレート割当量にしたがって符号化するよう構成されているエンコーダ１０６に送信される。そのような分析の実施形態は、ＥＰ３０２１５８３Ａ１（軸ＡＢ及びＳＥ）に記載されている。

【0035】

いくつかの実施形態によると、アナライザユニット３０６は、例えば、撮像デバイス１００からの短期出力ビットレート及び長期出力ビットレートに注目する履歴データに基づいて、ビットレート割当量を判定／制御し、エンコーダのそれぞれに対するビットレート割当量を判定するよう構成されている。そのようなビットレート制御方法の例は、出願人のＥＰ出願１７１６７７２４．８及び１７１６７７３２．１に見ることができる。いくつかの実施形態では、アナライザユニット３０６は、第１のエンコーダ１０６ａと同じチップ内に実装されている。

【0036】

図１〜図３の実施形態では、画像センサ１０２は、撮像デバイスからの同じ方向にてシーンの画像データを撮像するものとして描かれている。しかし、この設計は単に例示の目的であり、撮像デバイス１００の他の設計も等しく可能である。代替的設計の１つを図４に示す。これは、上から見た撮像デバイス１００を示す。本実施形態での撮像デバイス１００は、円形（球状又はディスク形状）設計を有し、４つの画像センサ１０２ａ〜画像センサ１０２ｄは、周囲のシーンを最大で９０度の角度にてそれぞれが撮像するよう配置されている。そのような撮像デバイスはしたがって、撮像デバイス１００周囲のエリア／シーンの３６０度パノラマビューを提供し得る。その結果、撮像デバイス１００は、第３の画像センサ１０２ｃと、第４の画像センサ１０２ｄと、を含んでよい。本実施形態では、第１のエンコーダ又は第２のエンコーダ（図４に図示せず）は、第３の画像センサ１０２ｃが撮像した第３の画像データを符号化するよう構成されてよい。さらに、第１のエンコーダ又は第２のエンコーダ（図４に図示せず）は、第４の画像センサ１０２ｄが撮像した第４の画像データを符号化するよう構成されてよい。本実施形態では、図１〜図３を参照して上述したものと同様に、符号化された画像は、符号化された第３のデータを、第３のタイル又は第３のスライスとしてさらに含み、符号化された第４のデータを、第４のタイル又は第４のスライスとしてさらに含む。もちろん、図１〜図３に示すような撮像デバイスもまた、第４の画像センサ（及び、用途により、第５の画像センサ、第６の画像センサ、など）を含んでよい。さらに、画像センサのいずれの他の適切な配置が、本開示の範囲内にて等しく適用可能である。

【0037】

図５〜図６は、異なる画像センサ１０２のそれぞれから生じた４つのタイル又はスライスを含む、符号化された画像の異なる形態を示す。図５では、符号化された第１のデータ１０４、第２のデータ１０４、第３のデータ１０４、及び第４のデータ１０４は、点線で示すように、符号化された画像１１２内にて水平方向にシーケンス状に互いに隣り合って配置されている。他の実施形態では（図示せず）、符号化された第１のデータ１０４、第２のデータ１０４、第３のデータ１０４、及び第４のデータ１０４は、符号化された画像１１２内にて垂直方向にシーケンス状に互いに隣り合って配置されている。復号化されると（例えば、ディスプレイ５０２に表示されると）、符号化された画像１１２の復号化されたバージョンがしたがって、単一の画像センサが、シーン全体を撮像した場合に見えるようなものと同様に、連続して撮像したシーンを示し得る。このように画像を符号化することは、例えば図５に示すように（ディスプレイ５０２内の一点鎖線矩形５０４）、復号化された画像のクロッピング／ズーミングを自然に見える様相にて可能にする。さらに、復号化された画像が、撮像したシーンの３６０度パノラマビューを表す場合、表示するようなシーンの「回転」がエンコーダ側にて、符号化された画像１１２内のタイル／スライスの順序を変えることにより、実現されてよい。

【0038】

図６の実施形態では、符号化された画像１１２は、クワッドビューの形態を有する。符号化された画像データのそれぞれは、クワッドビュー内のビューのそれぞれを形成する。

【0039】

図５及び図６に示す実施形態は、可能であれば、例えばＨ．２６５にてチルトが可能であるが、Ｈ．２６４にてスライスは可能ではないことに留意されたい。しかし、スライスを使用する同様の実施形態、例えば、図５の垂直タイルの代わりに、水平スライスを用いるものもまた可能であることを、当業者は理解するであろう。

【0040】

図７は、上述するような、符号化された画像を形成するための方法を、例示の目的で示す。この方法は、
− 第１の画像センサにより、第１の画像データを撮像することＳ７０２と、
− 第２の画像センサにより、第２の画像データを撮像することＳ７０４と、
− 第１のエンコーダにより、第１の画像データを符号化することＳ７０６と、
− 第２のエンコーダにより、第２の画像データを符号化することＳ７０８と、
− ストリームマルチプレクサにより、符号化された第１の画像データを受信することＳ７１０と、
− ストリームマルチプレクサにより、符号化された第２の画像データを受信することＳ７１２と、
− ストリームマルチプレクサにより、符号化された画像を形成することＳ７１４と、を含む。符号化された画像は、符号化された第１のデータを、第１のタイル又は第１のスライスとして含み、符号化された第２のデータを、第２のタイル又は第２のスライスとして含む。

【0041】

図７は、方法のステップを、連続するステップのシーケンスとして示すが、ステップは、ここに示す順序にて厳密に行われる必要はなく、２つ又はそれ以上ステップが同時に行われてよいことに留意されたい。例えば、第１の画像及び第２の画像は、同時に撮像されてよく、同時に符号化されてよい。第１の画像データ及び第２の画像データは、同時に、又は、いずれの所望する順序にてストリームマルチプレクサに転送されてよい。

【0042】

ここに開示する発明に関するコンセプトは、第１の画像センサ及び第２の画像センサ（且つ、第３の画像センサ、第４の画像センサ、など）が、画像データを連続して撮像するビデオエンコーディングと、画像エンコーディングと、の双方に使用できる。符号化されたビデオストリームにおけるＩフレームは基本的に静止画像であり、その結果、本開示は、画像エンコーディングにも好適に使用されることに留意されたい。

【0043】

上記に開示するデバイス及び方法は、ソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせとして実装されてよい。ハードウェアの実装では、上記説明に引用される、機能ユニット（例えば、第１の画像センサ及び第２の画像センサ、第１のエンコーダ及び第２のエンコーダ、第１のコントローラ、第２のコントローラ、アナライザユニット、ストリームマルチプレクサ、など）間のタスクの分割は、物理ユニットへの分割に必ずしも対応しない。反対に、１つの物理コンポーネントは、多数の機能を有してよく、１つのタスクは、いくつかの物理コンポーネントにより協力して実行されてよい。特定のコンポーネント又はすべてのコンポーネント（例えば、第１の画像センサ及び第２の画像センサ、第１のエンコーダ及び第２のエンコーダ、第１のコントローラ、第２のコントローラ、アナライザユニット、ストリームマルチプレクサ、など）は、デジタル信号プロセッサ又はマイクロプロセッサにより実行されるソフトウェアとして実装されてよく、又は、ハードウェアとして、若しくは特定用途向け集積回路として実装されてよい。そのようなソフトウェア（コンピュータプログラム製品）は、コンピュータ記憶媒体（又は、非一時的媒体）及び通信媒体（又は、一時的媒体）を含んでよい、コンピュータ可読媒体上に配布されてよい。当業者に知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報の保存のためのいずれの方法又は技術にて実装される揮発性及び不揮発性の双方の、リムーバブル及び非リムーバブルの双方の媒体を含む。

【0044】

さらに、開示する実施形態に対するバリエーションが、特許権を主張する本発明の実施において、本図面、本開示、及び添付の本特許請求の範囲の検討により、当業者により理解され、達成され得る。例えば、ここに記載する画像センサは、複数のエンコーダに接続されてよい。エンコーダのそれぞれは、画像センサが撮像した画像データの別々の部分を受信する。そのような実施形態もまた、ＥＰ２８１４２５３Ｂ１（軸ＡＢ、ＳＥ）に記載する方法と組み合わせることができる。

【0045】

さらに、本図面及び本明細書にて、本発明の好適な実施形態及び実施例が開示されている。具体的な用語が採用されているものの、これらは総称的かつ説明においてのみ使用されており、限定を目的とするものではない。本発明の範囲は、以下の特許請求の範囲により明らかとなっている。特許請求の範囲では、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、他の要素又はステップを排除しない。不定冠詞「ａ」又は「ａｎ」は、複数を排除しない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】