特許 7425012 パンチルトズームカメラを制御すること

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-22

(45)【発行日】2024-01-30

(54)【発明の名称】パンチルトズームカメラを制御すること

(51)【国際特許分類】

   H04N 21/234 20110101AFI20240123BHJP

   H04N 21/239 20110101ALI20240123BHJP

   H04N 19/31 20140101ALI20240123BHJP

   H04N 19/85 20140101ALI20240123BHJP

   H04N 7/18 20060101ALI20240123BHJP

【ＦＩ】

H04N21/234

H04N21/239

H04N19/31

H04N19/85

H04N7/18 E

【請求項の数】 10

【外国語出願】

(21)【出願番号】P 2021067431

(22)【出願日】2021-04-13

(65)【公開番号】P2021182737

(43)【公開日】2021-11-25

【審査請求日】2023-04-19

(31)【優先権主張番号】20171067

(32)【優先日】2020-04-23

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ケスキカンガス， アクセル

(72)【発明者】

【氏名】ユアン， ソン

(72)【発明者】

【氏名】レーン， ヨーン

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２００９－２８４４５２（ＪＰ，Ａ）

【文献】特開平０８－２９４１２０（ＪＰ，Ａ）

【文献】特表２０２０－５０８６１５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００４／０２２３０５８（ＵＳ，Ａ１）

【文献】特開２０１９－０７５７８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｎ １９／００－１９／９８

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

パンチルトズーム（ＰＴＺ）カメラを制御するための方法であって、
主画像およびより小さいピクチャインピクチャオーバーレイを含むビデオストリームを、前記ＰＴＺカメラによって提供すること、ここで、前記主画像および前記オーバーレイは同じビューを示し、前記オーバーレイは、前記主画像と比較して高いフレームレートと低い解像度の両方を有し、ならびに
前記主画像と前記オーバーレイとのうちの少なくとも一方の評価に応答して、移動制御命令を前記ＰＴＺカメラによって受信すること
を含み、
前記ビデオストリームを提供することが、
前記ＰＴＺカメラによって取り込まれる画像データを受信すること、
前記受信された画像データを、主画像の画像データとして使用すること、
所望のサイズおよび解像度を有するオーバーレイピクチャを作成するために、前記受信された画像データをスケールダウンすること、
前記主画像上に前記オーバーレイピクチャを位置決めすること、ならびに
前記ビデオストリームを作成するために、前記主画像および前記オーバーレイピクチャを一連のイントラフレームおよびインターフレームピクチャとしてエンコードすること
を含む、方法。

【請求項2】

前記オーバーレイは、移動イベントがユーザーによって前記ＰＴＺカメラのためにトリガーされることに応答して表示される、請求項１に記載の方法。

【請求項3】

前記主画像内の前記オーバーレイのサイズおよび位置はユーザーによって構成可能である、請求項１に記載の方法。

【請求項4】

前記オーバーレイは、前記ビデオストリームをエンコードする前に、ビデオ後処理コンポーネントによって前記主画像に付加される、請求項１に記載の方法。

【請求項5】

前記主画像および前記オーバーレイをエンコードすることは、
ピクチャ群長に達するまで、イントラフレームとそれに続く一連のインターフレームとして、前記主画像を第１のフレームレートでエンコードすること、および、
ピクチャ群長に達するまで、前記主画像についての直近のイントラフレームまたはインターフレームを参照する、一連のインターフレームとして、前記オーバーレイを第２のより速いフレームレートでエンコードすること
を含む、請求項１に記載の方法。

【請求項6】

前記イントラフレームは、非表示画像としてエンコードされる、請求項５に記載の方法。

【請求項7】

前記オーバーレイについてのフレームレートは、前記主画像のフレームレートの１０倍である、請求項１に記載の方法。

【請求項8】

前記ビデオストリームは、以下のビデオエンコーディング形式：高効率画像ファイル形式、高度ビデオコーディング、Ｈ．２６４、Ｈ．２６５、Ｈ．２６６、ＶＰ９、ＶＰ１０、およびＡＶ１のうちの１つでエンコードされる、請求項１に記載の方法。

【請求項9】

パンチルトズーム（ＰＴＺ）カメラを制御するためのシステムであって、
メモリと、
プロセッサとを備え、
メモリは、前記プロセッサによって実行されると、前記プロセッサに方法を実施させる命令を含み、前記方法は、
主画像およびより小さいピクチャインピクチャオーバーレイを含むビデオストリームを、前記ＰＴＺカメラによって提供すること、ここで、前記主画像および前記オーバーレイは同じビューを示し、前記オーバーレイは、前記主画像と比較して高いフレームレートと低い解像度の両方を有し、ならびに
前記主画像と前記オーバーレイとのうちの少なくとも一方の評価に応答して、移動制御命令を前記ＰＴＺカメラによって受信すること
を含み、
前記ビデオストリームを提供することが、
前記ＰＴＺカメラによって取り込まれる画像データを受信すること、
前記受信された画像データを、主画像の画像データとして使用すること、
所望のサイズおよび解像度を有するオーバーレイピクチャを作成するために、前記受信された画像データをスケールダウンすること、
前記主画像上に前記オーバーレイピクチャを位置決めすること、ならびに
前記ビデオストリームを作成するために、前記主画像および前記オーバーレイピクチャを一連のイントラフレームおよびインターフレームピクチャとしてエンコードすること
を含む、システム。

【請求項10】

パンチルトズーム（ＰＴＺ）カメラを制御するためのプログラム命令を具現化する非一時的コンピュータ可読記憶媒体であって、前記プログラム命令は、方法を実施するようにプロセッサによって実行可能であり、前記方法は、
主画像およびより小さいピクチャインピクチャオーバーレイを含むビデオストリームを、前記ＰＴＺカメラによって提供すること、ここで、前記主画像および前記オーバーレイは同じビューを示し、前記オーバーレイは、前記主画像と比較して高いフレームレートと低い解像度の両方を有し、ならびに
前記主画像と前記オーバーレイとのうちの少なくとも一方の評価に応答して、移動制御命令を前記ＰＴＺカメラによって受信すること
を含み、
前記ビデオストリームを提供することが、
前記ＰＴＺカメラによって取り込まれる画像データを受信すること、
前記受信された画像データを、主画像の画像データとして使用すること、
所望のサイズおよび解像度を有するオーバーレイピクチャを作成するために、前記受信された画像データをスケールダウンすること、
前記主画像上に前記オーバーレイピクチャを位置決めすること、ならびに
前記ビデオストリームを作成するために、前記主画像および前記オーバーレイピクチャを一連のイントラフレームおよびインターフレームピクチャとしてエンコードすること
を含む、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラに関し、より具体的には、帯域幅制限環境においてパンチルトズーム（ＰＴＺ）カメラを制御することに関する。

【背景技術】

【0002】

ＰＴＺカメラは、ユーザーによる遠隔での指向性およびズーム制御が可能であるネットワークカメラであり、したがって、ワイドエリアカバレッジと綿密な詳細の両方を提供することができる。ＰＴＺカメラは、監視、ビデオ会議、ライブプロダクション（ｌｉｖｅ ｐｒｏｄｕｃｔｉｏｎ）、講義キャプチャ（ｌｅｃｔｕｒｅ ｃａｐｔｕｒｅ）、および遠隔学習（ｄｉｓｔａｎｃｅ ｌｅａｒｎｉｎｇ）等の用途で一般に使用される。たいていの場合、ＰＴＺカメラは、イントラネットまたはインターネット等のコンピュータネットワークに対する有線接続を有するが、一時的なカメラ設置が使用され、ＰＴＺカメラがネットワークに無線で接続される状況も存在する。そのような状況の幾つかの例は、スポーツイベントおよび種々のタイプのミュージックまたはフードフェスティバルおよび同様なものを含む場合がある。

【0003】

無線セットアップを使用するとき、カメラからの信号は、ファイバー等の有線接続に最終的にたどり着く前に、無線送信機と無線受信機との間で、何回も、中継される（ｂｏｕｎｃｅ）場合がある。この反復される中継は、ジッターと遅延の両方を、カメラが送信するビデオストリームに導入させる。結果として、カメラを遠隔で制御するユーザーは、品質の低下を有するピクチャと、ユーザーが始動する動作をカメラが実施するときの遅延の両方を体験する場合があり、それらのいずれも、ユーザーが、より大きい画像内で特定の特徴にズームインしようとするかまたはカメラが記録したビデオ内で移動する人または物体を追跡しようとする状況において理想的でない。これらの問題が無線ネットワークにおいてより一般的である場合があるが、同様の問題が、有線ネットワークで発生する場合もあることが留意されるべきである。

【0004】

カメラによって必要とされる帯域幅を低減することによって、これらの問題を軽減する試みが行われてきた。帯域幅低減は、２つの主要な方法で：高解像度ビデオを維持しかつフレームレートを下げることによって、または、解像度を下げかつ高フレームレートを維持することによって、達成することができる。第１の手法において、ユーザーは、明瞭な概要画像を見ることができるが、カメラを制御することがより難しいことを見出すことになり、そのことは、ビデオ内で人々または物体をユーザーが追跡するときに問題となる可能性がある。第２の手法において、ユーザーは、カメラが、応答性が高いものとして体験するが、より低い解像度は、画像内で人々または物体をユーザーが識別することをより難しくする場合がある。そのため、各手法はそれ自身の欠点を伴う、そして、高解像度画像を保持しながら、帯域幅制限環境において、相互作用的ＰＴＺカメラ制御を達成するよりよい方法を見出すことが望ましいことになる。

【発明の概要】

【0005】

第１の態様によれば、本発明は、パンチルトズーム（ＰＴＺ）カメラを制御するための、コンピュータシステム内の方法に関し、方法は、
・主画像およびより小さいピクチャインピクチャオーバーレイを含むビデオストリームを、ＰＴＺカメラによって提供することであって、主画像およびオーバーレイは同じビューを示し、オーバーレイは、主画像と比較して高いフレームレートと低い解像度の両方を有する、提供すること、および、
・主画像とオーバーレイとのうちの少なくとも一方の評価に応答して、移動制御命令を、ＰＴＺカメラによって受信すること
を含む。

【0006】

これは、カメラユーザーに、同じビューを示す２つの代替の画像を提供し、目の前の特定の状況のためにどの画像を使用するかに関する決定をユーザーが行うことを可能にする。例えば、ユーザーは、関心の人または物体を識別するためにより大きくより高い解像度の画像を見ることができる。人または物体が移動し始める場合、カメラユーザーは、より高いフレームレートを有するオーバーレイ画像に自分の注意を向けることができ、人または物体を追跡するときに、カメラの移動を制御するのを支援するためにこの画像を使用することができる。人または物体が、その後停止すると、関心の人または物体のより高解像度ビューのためにユーザーは、主画像に自分の注意を戻すことができる。これは、ユーザーによるカメラの制御を容易にし、ユーザー体験を改善する。ユーザー相互作用性が改善されるのと同時に、カメラによるかなりの帯域幅使用も節約される。例えば、１つの実装態様において、オーバーレイは、６０ＦＰＳ、３６０ｐビデオストリームであるとすることができ、主画像は、６ＦＰＳ、４ｋビデオストリームであるとすることができる。６０ＦＰＳ、４ｋビデオストリームについて必要とされることになる帯域幅を有するこれらの２つのビデオストリームについて必要とされる帯域幅を比較すると、ビットレートのかなりの低減を達成することができることが明らかである。

【0007】

１つの実施形態によれば、オーバーレイは、移動イベントが、ユーザーによってＰＴＺカメラのためにトリガーされることに応答して表示される。すなわち、カメラが移動していないとき、オーバーレイが表示されるのではなく、パン／チルト／ズーム操作を開始する命令をカメラユーザーからカメラが受信するとすぐに、オーバーレイが表示される。これは、カメラが静止している期間中に、帯域幅をさらに節約し、これらの期間中に、主画像の完全に遮るものがないビューをユーザーに可能にする。

【0008】

１つの実施形態によれば、主画像内のオーバーレイのサイズおよび位置はユーザーによって構成可能である。これは、ユーザーが、オーバーレイを、特に関心があるとユーザーが考える場合がある主画像の或るエリアをオーバーレイがブロックしないように構成することを可能にする。さらに、カメラを制御するときに、一部のユーザーは、より大きいオーバーレイを有することが役立つことを見出す場合がある。なぜならば、カメラが人または物体を追跡しているときに、ユーザーは、主画像に関心がないとすることができるからである。そのため、構成可能なサイズおよび位置を有するオーバーレイを有することは、ユーザーのためにさらなる柔軟性を提供する。

【0009】

１つの実施形態によれば、オーバーレイは、ビデオストリームをエンコードする前に、ビデオ後処理（ＶＰＰ：ｖｉｄｅｏ ｐｏｓｔ ｐｒｏｃｅｓｓｉｎｇ）コンポーネントによって主画像に付加される。ビデオをエンコードする前にオーバーレイを付加することによって、エンコーダーは、個々のフレームが主画像およびオーバーレイをそれぞれ既に含むビデオストリームを提示される。エンコーダーは、それにより、ビデオストリームの従来のエンコーディングを進めることができ、オーバーレイの考えられる存在を考慮するために修正される必要はない。しかしながら、エンコーディングプロセスをさらに支援することができるさらなる情報をエンコーダーが提供される可能性がある実施形態が存在することが留意されるべきである。そのような実施形態は、本文書の詳細な説明の節において、以下でさらに詳細に論じられるであろう。

【0010】

１つの実施形態によれば、ビデオストリームを提供することは、ＰＴＺカメラによって取り込まれる画像データを受信すること、受信された画像データを、主画像の画像データとして使用すること、所望のサイズおよび解像度を有するオーバーレイピクチャを作成するために、受信された画像データをスケールダウンすること、主画像上に第１のオーバーレイピクチャを位置決めすること、および、ビデオストリームを作成するために、主画像およびオーバーレイピクチャを一連のイントラフレームおよびインターフレームピクチャとしてエンコードすることを含むことができる。これらの操作の多くは、画像エンコーディングの分野内の「従来の（ｃｏｎｖｅｎｔｉｏｎａｌ）」操作であり、それにより、本発明を既存のシステムに実装することをより容易にする。

【0011】

１つの実施形態によれば、主画像およびオーバーレイをエンコードすることは、ピクチャ群長に達するまで、イントラフレームとそれに続く一連のインターフレームとして、主画像を第１のフレームレートでエンコードすること、および、ピクチャ群長に達するまで、主画像についての直近のイントラフレームまたはインターフレームを参照する、一連のインターフレームとして、オーバーレイを第２のより速いフレームレートでエンコードすることを含むことができる。イントラフレームおよびインターフレームエンコーディングは、当業者が精通するよく知られている技法である。主画像についての直近のイントラフレームまたはインターフレームを参照するインターフレームとして、より速いフレームレートを有するオーバーレイをエンコードすることによって、かなりの帯域幅を節約することができる。なぜならば、現在フレームと先行フレームとの間の「差（ｄｉｆｆｅｒｅｎｃｅ）」のみがエンコードされるからである。

【0012】

１つの実施形態によれば、第１のイントラフレームは、非表示画像としてエンコードされる。詳細な説明において以下で述べるように、第１のイントラフレームの画像データは、カメラによって取り込まれるオリジナルの（すなわち、オーバーレイなしの）画像データである。このデータを、エンコード済みビデオストリーム内に非表示画像として、また、オーバーレイ画像を、同じ表示時間を有するＰフレームとして含むことによって、本発明において上述したように、オーバーレイ画像を有するビデオを最初に見ることができる。後に、オーバーレイＰフレームを間引く（ｐｒｕｎｅ）ことができ、イントラフレーム上の非表示フラグが反転されて、記録済みビデオを観察するときにオーバーレイ画像を取り除くことができる。これは、ビデオを処理するために、カスタムデコーダーまたはカスタムビデオプレーヤを必要とする。そのため、このタイプのエンコーディングを使用すると、「従来の」クライアントにおいてデコードすることができるが、オーバーレイを取り除くためにかつオリジナル画像を示すだけのためにカスタムクライアントがデコードすることもできるビデオストリームを作成することが可能である。これは、例えば、科学捜査のために、ライブで行うことができると共に、プレイバック中に後の時点で行うことができる。

【0013】

１つの実施形態によれば、オーバーレイについてのフレームレートは、主画像のフレームレートの約１０倍である。これは、カメラを移動させるときのスムーズなビュー、また同時に、主画像の十分に頻繁な更新を可能にする。例えば、オーバーレイは６０ＦＰＳのレートで更新することができ、主画像は６ＦＰＳのレートで更新することができる。このセットアップによって、オペレータが主画像を見る場合、１秒の１／６以内で、シーン内で起こる変化に気づくことになる。カメラオペレータがオーバーレイ画像を見る場合、対応する時間は、１秒の１／６０に過ぎないことになる。これらのタイプの「反応時間（ｒｅａｃｔｉｏｎ ｔｉｍｅ）」は、ほとんどの実用的な用途において十分過ぎるほどである。

【0014】

１つの実施形態によれば、ビデオは、以下のビデオエンコーディング形式：高効率画像ファイル形式（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）、高度ビデオコーディング（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、Ｈ．２６４、Ｈ．２６５、Ｈ．２６６、ＶＰ９、ＶＰ１０、およびＡＶ１のうちの１つでエンコードされる。すなわち、エンコード済みビデオストリームは、エンコーダーによって使用されるビデオコーディング形式をサポートする標準的なビデオストリームデコーディングによってデコードすることができる。なぜならば、本明細書で述べる方法が、そのようなビデオコーディング形式の標準に従い、そのことが本発明の多用途性を増加させるからである。

【0015】

第２の態様によれば、本発明は、パンチルトズーム（ＰＴＺ）カメラを制御するためのシステムに関する。メモリは、プロセッサによって実行されると、プロセッサに方法を実施させる命令を含み、方法は、
・主画像およびより小さいピクチャインピクチャオーバーレイを含むビデオストリームを、ＰＴＺカメラによって提供することであって、主画像およびオーバーレイは同じビューを示し、オーバーレイは、主画像と比較して高いフレームレートと低い解像度の両方を有する、提供すること、および、
・主画像とオーバーレイとのうちの少なくとも一方の評価に応答して、移動制御命令を、ＰＴＺカメラによって受信すること
を含む。

【0016】

システムの利点は、方法の利点に対応し、同様に変動する場合がある。

【0017】

第３の態様によれば、パンチルトズーム（ＰＴＺ）カメラを制御するためのコンピュータプログラムに関する。コンピュータプログラムは、
・主画像およびより小さいピクチャインピクチャオーバーレイを含むビデオストリームを、ＰＴＺカメラによって提供するステップであって、主画像およびオーバーレイは同じビューを示し、オーバーレイは、主画像と比較して高いフレームレートと低い解像度の両方を有する、提供するステップ、および、
・主画像とオーバーレイとのうちの少なくとも一方の評価に応答して、移動制御命令を、ＰＴＺカメラによって受信するステップ
に対応する命令を含む。

【0018】

コンピュータプログラムは、方法の利点に対応する利点を含み、同様に変動する場合がある。

【0019】

本発明の１つまたは複数の実施形態の詳細は、添付図面および以下の説明において述べられる。本発明の他の特徴および利点は、説明および図面から、また、特許請求の範囲から明らかになる。

【図面の簡単な説明】

【0020】

【図1】１つの実施形態によるＰＴＺカメラを制御するためのシステムを示す概略ダイアグラムである。

【図2】１つの実施形態による、主画像および画像オーバーレイを示す、クライナトデバイス上のディスプレイの概略ビューである。

【図3】１つの実施形態による、画像を取り込み処理するときに使用されるＰＴＺカメラの選択されたコンポーネントを示すブロックダイアグラムである。

【図4】１つの実施形態による、画像フレームのストリームのエンコーディングを示す表である。

【0021】

種々の図面内の同様の参照符号が同様の要素を示す。

【発明を実施するための形態】

【0022】

上述したように、本発明の種々の実施形態に関する１つの目標は、カメラによって取り込まれるシーンの高解像度画像を保持しながら、帯域幅制限（無線、有線、またはその組み合わせ）環境において相互作用的ＰＴＺカメラ制御を達成するための改良型技法を提供することである。本明細書で述べる種々の実施形態によれば、これは、主画像およびより小さいピクチャインピクチャオーバーレイ（以降で、「オーバーレイ（ｏｖｅｒｌａｙ）」と呼ぶ）を有するビデオストリームを、カメラによって提供することによって達成される。主画像およびオーバーレイは（主画像の一部分がオーバーレイによって覆われることを除いて）同じ画像を示すが、異なる解像度およびフレームレートを有する。特に、オーバーレイは、主画像と比較して高いフレームレートおよび低い解像度を有する。これは、オーバーレイが、主画像と比較して頻繁に更新されることを可能にし、したがって、カメラオペレータにカメラのよりよい制御を提供する。なぜならば、オペレータが、カメラが移動中である間にオーバーレイを参照し、カメラが移動しなくなると高解像度主画像を参照することができるからである。さらに、高解像度主画像を頻度少なく更新することによって、単一高解像度カメラビューが頻繁に更新される従来の方法と比較して、かなりの帯域幅節約を達成することができる。本発明の種々の実施形態は、ここで、例としてまた図面を参照して述べられる。

【0023】

システム概要
図１は、本発明の１つの実施形態によるシステム１００の概略ダイアグラムを示す。図１に見ることができるように、人１０４および木１０６を有するシーン１０２は、ビデオカメラ１０８によって取り込まれる。シーン１０２のこの描写が、例証のための過度に単純化したビューに過ぎないことが留意されるべきである。シーン１０２は、より一般的な意味で、そのサイズおよび形状が、シーンを記録するカメラの視野によって規定される任意の３次元物理空間として記述することができる。しばしば、例えば、ミュージックフェスティバルまたは同様なものにおけるシーン１０２は、多数の個人および物体を含む。

【0024】

図３でより詳細に示すカメラ１０８は、シーン１０２を取り込み、シーン１０２を画像センサ１１２上に投影するレンズ１１０を有する。画像センサ１１２は、共にビデオストリームを形成する一連の画像を取り込む。画像センサは、以下でさらに詳細に述べることになる画像処理およびエンコーディングユニット１１４に結合される。画像処理およびエンコーディングユニット１１４は、好ましくは、カメラ１０８の内部に位置するが、カメラの外部にあることもできる。画像処理およびエンコーディングユニット１１４は、画像センサ１１２から信号を取得し、ネットワークを通じたユーザーへの送信に適する形式に、ビデオストリームを最終的にエンコードする前に、オーバーレイをスケーリングすること、オーバーレイを付加すること等のような種々のタイプの画像処理操作を実施する。図１において、エンコード済みビデオは、無線リンク１１６を通じて無線で、有線ネットワーク１１８に、そして最終的に、ネットワーク１１８に接続されるクライアント１２０に送信される。

【0025】

クライアント１２０は、カメラからの画像ビデオストリームをユーザーが観察することができるディスプレイスクリーンを有する。典型的には、クライアント１２０はまた、例えば、ユーザーがクライアント１２０においてＰＴＺ制御コマンドを発行することによって、カメラ１０８を制御するために使用される。例えば、ユーザーは、シーン１０２の特定の詳細にズームインするように、または、人１０４を、人が木１０６から離れ始める場合に追跡するように、カメラに指令することができる。

【0026】

クライアントディスプレイおよびユーザー体験
図２は、ユーザーが、自分のクライアント１２０のディスプレイ上で見ることができるものの１つの発明による概略ビューを示す。図２に見ることができるように、ディスプレイは、主画像２０２およびオーバーレイ２０４を含む。上記で述べたように、主画像２０２およびオーバーレイ２０４は、カメラ１０８によって取り込まれる同じビデオストリームを示すが、異なるサイズ、解像度、およびフレームレートを有する。例えば、１つの実施形態において、主画像２０２は６ＦＰＳの４ｋビデオストリームであるとすることができ、オーバーレイ２０４は６０ＦＰＳの３６０ｐビデオストリームであるとすることができる。オーバーレイ２０４は、より高いフレームレートを有するため、より低いフレームレートで更新される主画像２０２と比較して、より迅速に更新され、したがって、カメラ１０８用の制御コマンドをユーザーが発行すると、より「応答性が高い（ｒｅｓｐｏｎｓｉｖｅ）」ものとして、ユーザーに見える。しかしながら、主画像２０２の解像度が高いため、ユーザーは、オーバーレイ２０４と比較して、主画像２０２においてより詳細を区別するできることになる。幾つかのシステムにおいて、オーバーレイは、「オンスクリーンディスプレイ」（ＯＳＤ：Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）とも呼ばれる。別の代替の表現は、「ピクチャインピクチャ」（ＰＩＰ：Ｐｉｃｔｕｒｅ－ｉｎ－Ｐｉｃｔｕｒｅ）であり、それは、典型的には、オーバーレイがビデオコンテンツを表示するときにのみに使用される。

【0027】

オーバーレイ２０４が主画像２０２の一部を覆うため、オーバーレイ２０４および主画像２０２が、正確に同一であるのではなく、むしろ、オーバーレイ２０４がそこに存在しなかった場合に主画像２０２がどのように見えたことになるかをオーバーレイ２０４が示すことが留意されるべきである。しかしながら、本明細書の説明のために、主画像２０２およびオーバーレイ２０４は、同一であるとして言及されるであろう。

【0028】

幾つかの実施形態において、カメラ１０８用の制御コマンドをユーザーが発行するまで、オーバーレイ２０４が示されないことがさらに留意されるべきである。それにより、ユーザーは、主画像２０２の遮るものがないビューを有することになる。上記で述べたフレームレートを仮定すると、主画像２０２は６ＦＰＳで更新し、これはまた、上述したように、ユーザーの関心の的が主画像にある場合に、カメラ１０８が制御されることを必要とされることになるシーン内で起こるイベントを発見し、それに対して行動を起こすことになる前に１秒の１／６の、および、ユーザーの関心の的がオーバーレイにある場合に１／６０秒の最大「遅延（ｄｅｌａｙ）」が存在することになることを意味する。そのような遅延は、概して、ほとんどの実用的な状況において許容可能であると見なされる。

【0029】

幾つかの実施形態において、主画像２０２上のオーバーレイ２０４の位置およびサイズは、ユーザーによって構成可能であるとすることができる。そのため、オーバーレイ２０４は、主画像２０２の右下角にあるものとして図２示されるが、本質的に、主画像２０２上のどこにでも配置することができる。これは、例えば、特に関心がある場合がありかつオーバーレイ２０４によってブロックされるべきでない詳細が主画像２０２の右下角（または何らかの他の部分）に存在する場合に有用であるとすることができる。そのような状況において、ユーザーは、オーバーレイ２０４の位置を主画像２０２の異なる部分に変更したい場合がある。さらに、幾つかの状況において、ユーザーは、異なるサイズのオーバーレイ２０４を好む場合がある。例えば、主画像２０２の右下角の大部分がユーザーにとってほとんど関心がない場合、ユーザーは、「標準（ｓｔａｎｄａｒｄ）」サイズより大きいサイズを有するオーバーレイ２０４を表示することを選択することができる。幾つかの実装態様において、オーバーレイは、従来の長方形形状と比較して異なる形状を有することもできる。例えば、まるでユーザーが凹または凸レンズあるいは或る種類の「魚眼（ｆｉｓｈｅｙｅ）」レンズまたは同様なものを通して見ていたかのように見えるようにするために、例えば、画像がその中に投影される楕円形または円形オーバーレイが存在する場合がある。オーバーレイのサイズおよび形状についての唯一の必要条件または「外側限界（ｏｕｔｅｒ ｌｉｍｉｔ）」は、オーバーレイが主画像より小さいことである。オーバーレイはマクロブロックに基づくとすることができる。そのため、多くの変形を当業者が想定することができる。

【0030】

カメラコンポーネントおよびビデオエンコーディング
上記で述べたように、カメラ１０８は、レンズ１１０、画像センサ１１２、ならびに画像センサ１１２から未処理データを受信する画像処理およびエンコーディングユニット１１４を含む。図３は、画像処理およびエンコーディングユニット１１４の主要なコンポーネントのより詳細なダイアグラムを示す。図３に見ることができるように、画像処理およびエンコーディングユニット１１４は、画像後処理（ＩＰＰ：Ｉｍａｇｅ Ｐｏｓｔ Ｐｒｏｃｅｓｓｉｎｇ）コンポーネント３０２、ビデオ後処理（ＶＰＰ）コンポーネント３０４、およびコーディングおよびデコーディング（ＣＤＣ）コンポーネント３０６を含む。

【0031】

ＩＰＰ３０２は、典型的には、数ギガバイトのオーダーである、画像センサ１１２からのセンサデータを受信し、人間によって認識可能でありかつ典型的にはおおよそ１００メガバイト等のサイズを有する未処理形式の画像を生成する。画像はＶＰＰ３０４に送信され、ＶＰＰ３０４は、画像のダウンスケーリングを実施し、ダウンスケール済み画像をオーバーレイとして画像に付加し、両者をマージする。すなわち、ＶＰＰ３０４は、オーバーレイ２０４を有する主画像２０２が作成される場所であり、オーバーレイ２０４を有する主画像２０２は、その後、エンコードされ、クライアント１２０に送信され、ディスプレイ２００上に示される。ＶＰＰ３０４から出て来る「最終画像（ｆｉｎａｌ ｉｍａｇｅ）」は、ほんの数メガバイトのサイズを有する。オーバーレイ２０４のために使用される画像を形成するための画像のダウンスケーリングは、当業者によく知られているように、最近傍、補間、バイリニア、およびバイキュービックアルゴリズム等の任意の知られている画像スケーリングアルゴリズムを使用して実施することができる。主画像２０２上でのオーバーレイ２０４としてのダウンスケール済み画像の配置は、幾つかのよく知られている技法の中の任意の技法、例えば、１つの技法を挙げるだけである場合、オーバーレイ用の場所を決定し、その場所で主画像のピクセルデータをオーバーレイのピクセルデータと交換すること、を使用して行うこともできる。

【0032】

ＶＰＰ３０４内の処理の結果生じる「最終画像」は、その後、クライアント１２０への送信に適する形式にエンコードするために、ＣＤＣ３０６に送信される。ＣＤＣ３０６の操作は、以下で詳細に述べられる。しかしながら、その説明を容易にするために、ビデオエンコーディングおよび関連する概念の簡潔な概要が最初に提示される。

【0033】

幾つかの従来のビデオエンコーディング形式が存在する。本発明の種々の実施形態と共に働く幾つかの一般的なビデオエンコーディング形式は、高効率画像ファイル形式、高度ビデオコーディング、Ｈ．２６４、Ｈ．２６５、Ｈ．２６６、ＶＰ９、ＶＰ１０、およびＡＶ１を含む。これらのビデオエンコーディング形式は、「Ｉフレーム（Ｉ－ｆｒａｍｅ）」とも呼ばれるイントラフレーム、および、「Ｐフレーム（Ｐ－ｆｒａｍｅ）」または「Ｂフレーム（Ｂ－ｆｒａｍｅ）」とも呼ばれるインターフレームによって実装される時間的ビデオ圧縮を規定する。Ｉフレームは、エンコードされる画像フレーム内の情報のみを使用してエンコードされる画像フレームとして記述することができる。さらに、Ｉフレームは、エンコードされる画像フレームについて取り込まれる全ての画像データから計算される。したがって、Ｉフレームは、時として、フルフレームとも呼ばれる。

【0034】

予測フレームまたは差分フレームとも呼ばれるインターフレームは、先行して（および任意選択で、後続して）エンコードされる画像フレームからの情報ならびに目下エンコードされているフレームの情報に基づく。すなわち、インターフレームは、先行する（および任意選択で、後続の）画像フレーム内の時間的に冗長性のある情報を利用するものとして記述することができる。このタイプのコーデック（圧縮標準）を実装するエンコーダーは、典型的には、Ｉフレームとそれに続く所定の数のインターフレーム、その後、新しいＩフレームとそれに続く同じの数のインターフレームを生成する。Ｉフレームとそれに続く幾つかのインターフレームのこのシーケンスの長さは、しばしば、ピクチャ群（ＧＯＰ：Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）長と呼ばれる。Ｈ．２６５等の幾つかの圧縮標準の場合、ＧＯＰ長は、エンコード中に調整することができる。

【0035】

１つの実施形態によれば、ＶＰＰ３０４への入力は、オーバーレイ画像のストリームが、オーバーレイについて必要されるフレームレートで提供され、高解像度画像が、低いフレームレートで稀にしか提供されないように制御される。ＶＰＰ３０４による処理後に、ＶＰＰ３０４からの画像出力（すなわち、結合した主画像およびオーバーレイ）は、ＣＤＣ３０６によってエンコードされる。このエンコーディングは、幾つかの異なる方法で行うことができる。例証のために、少数の異なる実施形態が、ここで提示されるが、これらが、例に過ぎないこと、および、添付特許請求項の範囲内に入る異なるエンコーディング法も利用可能であることが認識されるべきである。

【0036】

第１の実施形態において、ＣＤＣ３０６は、ＶＰＰ３０４から、結合した主画像およびオーバーレイを示す一連の画像を受信し、任意の一定の画像ストリームが、従来のエンコーディング標準（例えば、上述した高効率画像ファイル形式、高度ビデオコーディング、Ｈ．２６４、Ｈ．２６５、Ｈ．２６６、ＶＰ９、ＶＰ１０、およびＡＶ１）のうちの１つに従ってエンコードされるのと同様に、これらの画像の「従来の」エンコーディングを実施する。これらのタイプのエンコーダーは市販されており、それらの操作は、当業者によく知られており、したがって、本明細書ではさらに詳細に述べられない。

【0037】

第２の実施形態において、ＶＰＰ３０４からの画像ストリームは、上述したように、Ｉフレームとそれに続く幾つかのＰフレームとしてＣＤＣ３０６によってエンコードされる。フレームレートはオーバーレイフレームレートであり、オーバーレイがこのレートで更新されるため、Ｐフレームは、オーバーレイエリアを除いて、ＣＤＣ３０６によって、空きブロック（「スキップブロック（ｓｋｉｐ ｂｌｏｃｋ）」）、すなわち、先行するＩまたはＰフレーム内の同一位置のブロックの正確なコピーであるべきであるブロックとしてエンコードすることができる。先行するＰまたはＩフレームを再び参照する空きブロックを使用することによって、かなりの帯域幅を節約することが可能である。主画像を再び（すなわち、より遅いフレームレートで）更新する時間になると、主画像についての新しいＰフレームまたはＩフレームが生成され、やはり、より速いオーバーレイフレームレートに対応する幾つかのＰフレームを伴う等である。ＣＤＣ３０６は、ＶＰＰ３０４によって指令されて、主画像に対応するＰフレームの所定の部分をスキップブロックとしてコード化することができる。

【0038】

第３の実施形態は、「階層的Ｐフレームエンコーディング（ｈｉｅｒａｒｃｈｉｃａｌ Ｐ－ｆｒａｍｅ ｅｎｃｏｄｉｎｇ）」と呼ぶコーディング技法を使用する。図４は、１つの実施形態による、ＣＤＣ３０６についてのそのような階層的Ｐフレームエンコーディングスキームの例を示す。図４において、オーバーレイ画像が高解像度画像のフレームレートの３倍であるフレームレートを有することが仮定される。ＣＤＣ３０６は、次の通りに画像をエンコードする：時刻Ｔ０にて、オーバーレイを有する主画像がＩフレームとしてエンコードされる。それぞれ時刻Ｔ１およびＴ２にて、時刻Ｔ０のＩフレームに対して、オーバーレイ画像のみがＰフレームとしてエンコードされる。主画像は、それぞれ時刻Ｔ１およびＴ２にて、更新される必要がないため、同じ主画像が提供され、それは「０デルタ（０－ｄｅｌｔａ）」として表に示される。時刻Ｔ３にて、主画像およびオーバーレイは、時刻Ｔ０にてエンコードされたＩフレームを参照して、Ｐフレームとしてエンコードされる。それぞれ時刻Ｔ４およびＴ５にて、時刻Ｔ１およびＴ２に関して述べたことと同様に、オーバーレイのみがエンコードされ、その差は、エンコーディングが、時刻Ｔ０にて生成されるＩフレームではなく、時刻Ｔ３にて生成されるＰフレームに関して行われることである。時刻Ｔ６にて、新しいＰフレームが、時刻Ｔ３で起こったことと同様に、主画像およびオーバーレイについて生成される。エンコーディングプロセスは、こうして、ＧＯＰ長に達するまで継続する。その時点で、Ｉフレームとそれに続く幾つかのＰフレームの新しいシーケンスが、当業者が理解するように開始することができる。

【0039】

この「階層的Ｐフレームエンコーディング」は、当業者によく知られている概念である。そのようなエンコーディングスキームの結果生じる１つの有意の利益は、システムがフレーム落ち（ｆｒａｍｅ ｄｒｏｐ）に対して優れた耐性を持つようになることである。典型的には、Ｐフレームが落ちる場合、ビデオをエンコードすることができるために、次のＩフレームまでを待つことが必要であることになり、それは、ビデオを観ているユーザーにとって「フリーズ（ｆｒｅｅｚｅ）」として現れることになる。ここで、対照的に、次のＰフレームまで待つことが必要であるだけであることになり、「フリーズ」は、ユーザーにとってずっと短いかまたはさらに気にならないことになる。階層的Ｐフレームエンコーディングの別の有意の利益は、それが、ビデオストリームを受信するクライアントにおいて間引きを可能にすることである（クライアントがその能力を有すると仮定する）。すなわち、エンコード済みビデオストリームは、オーバーレイが有る状態でまたはない状態でクライアントにおいて観察することができる。さらに、この技法は、記憶空間を節約するために、ストレージにビデオを保存する前に、クライアントにおいてオーバーレイを廃棄することを可能にする。

【0040】

結論付けコメント
上記実施形態が、例示的なビデオコーディング形式のセットに関して述べられたが、本明細書で述べる、オーバーレイを有する主画像のエンコーディングをサポートする任意のビデオコーディング形式が、特許請求される種々の実施形態によってカバーされることが留意されるべきである。

【0041】

さらに、上記説明は、ＩフレームおよびＰフレームを使用することに的を絞るが、ＧＯＰにおいて前方と後方の両方を参照することができるＢフレームが、本発明に従って、Ｐフレームに対する代替物として使用することができることが留意されるべきである。Ｂフレームは、Ｐフレームと比較して、帯域幅節約の増加をもたらすこともできる。しかしながら、Ｐフレームと比較してＢフレームを使用することに関する欠点は、メモリ要件の増加である。なぜならば、Ｂフレームをエンコードすることができる前に、将来のフレームを待つことが必要であるからである。

【0042】

本明細書で開示するシステム（例えば、エンコーダー）および方法は、ソフトウェア、ファームウェア、ハードウェア、またはその組み合わせとして実装することができる。ハードウェア実装態様において、上記説明で参照される機能ユニットまたはコンポーネント間のタスクの分割は、必ずしも物理的ユニットへの分割に対応するするわけではなく；逆に、１つの物理的コンポーネントが複数の機能を有することができ、１つのタスクを、幾つかの物理的コンポーネントによって協調して実施することができる。

【0043】

或るコンポーネントまたは全てのコンポーネントは、デジタル信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装することができる、あるいは、ハードウェアとしてまたは特定用途向け集積回路として実装することができる。そのようなソフトウェアは、コンピュータ記憶媒体（すなわち非一時的媒体）および通信媒体（すなわち一時的媒体）を備えることができる、コンピュータ可読媒体上に配信することができる。当業者によく知られているように、用語、コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータ等の情報を記憶するための任意の方法または技術において実装される揮発性および不揮発性で取り外し可能および取り外し不能の媒体を共に含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または、他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、または、他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクソトレージ、または、他の磁気記憶デバイス、または、所望の情報を記憶するために使用することができかつコンピュータがアクセスすることができる任意の他の媒体を含むが、それに限定されない。

【0044】

図のフローチャートおよびブロックダイアグラムは、本発明の種々の実施形態による、システム、方法、およびコンピュータプログラム製品の考えられる実装態様のアーキテクチャ、機能、および操作を示す。この点に関して、フローチャートおよびブロックダイアグラム内の各ブロックは、指定された論理機能（複数可）を実装するための１つまたは複数の実行可能命令を含む、モジュール、セグメント、または命令の所定の部分を示すことができる。幾つかの代替の実装態様において、ブロックにおいて述べる機能は、図で述べる順序から外れて起こる場合がある。例えば、関係する機能に応じて、連続して示す２つのブロックは、実際には、実質的に同時に実行することができる、または、ブロックを、時として逆順で実行することができる。ブロックダイアグラムおよび／またはフローチャート例証の各ブロックならびにブロックダイアグラムおよび／またはフローチャート例証内のブロックの組み合わせが、指定された機能または動作を実施するかあるいは専用ハードウェアおよびコンピュータ命令の組み合わせを実施する、専用ハードウェアベースシステムによって実装することができることも留意されるであろう。

【0045】

当業者が、上述した実施形態を多くの方法で修正し、上記実施形態で示す本発明の利点を依然として使用することができることが認識されるであろう。したがって、本発明は、示す実施形態に限定されるのではなく、添付特許請求の範囲によって規定されるだけであるべきである。さらに、当業者が理解するように、示す実施形態を組み合わすことができる。

【図1】

【図2】

【図3】

【図4】