特許 6708622 方法、およびコンピュータ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6708622

(24)【登録日】2020年5月25日

(45)【発行日】2020年6月10日

(54)【発明の名称】方法、およびコンピュータ装置

(51)【国際特許分類】

   H04N 21/6373 20110101AFI20200601BHJP

   H04N 19/115 20140101ALI20200601BHJP

   H04N 19/167 20140101ALI20200601BHJP

   H04N 19/172 20140101ALI20200601BHJP

   H04N 19/162 20140101ALI20200601BHJP

   G06F 3/0481 20130101ALI20200601BHJP

   G06F 3/01 20060101ALI20200601BHJP

   H04N 21/4728 20110101ALI20200601BHJP

【ＦＩ】

   H04N21/6373

   H04N19/115

   H04N19/167

   H04N19/172

   H04N19/162

   G06F3/0481

   G06F3/01 510

   H04N21/4728

【請求項の数】20

【全頁数】29

(21)【出願番号】特願2017-254813(P2017-254813)

(22)【出願日】2017年12月28日

(65)【公開番号】特開2018-110397(P2018-110397A)

(43)【公開日】2018年7月12日

【審査請求日】2018年9月27日

(31)【優先権主張番号】15/395,856

(32)【優先日】2016年12月30日

(33)【優先権主張国】US

(31)【優先権主張番号】17154582.5

(32)【優先日】2017年2月3日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林特許業務法人

(72)【発明者】

【氏名】ソン ユアン

【審査官】 長谷川 素直

(56)【参考文献】

【文献】 特表２０１４−５０８３１１（ＪＰ，Ａ）

【文献】 特開２０１０−２１９７８６（ＪＰ，Ａ）

【文献】 特開２００９−２５３６９６（ＪＰ，Ａ）

【文献】 特開２００２−２１８４４１（ＪＰ，Ａ）

【文献】 特開平１０−３０４３３５（ＪＰ，Ａ）

【文献】 特開２０１６−１６５１０５（ＪＰ，Ａ）

【文献】 特開２００３−１５３２６３（ＪＰ，Ａ）

【文献】 特表２００６−５２８８７０（ＪＰ，Ａ）

【文献】 特開２００４−０５６３３５（ＪＰ，Ａ）

【文献】 特開２０１０−１３６０３２（ＪＰ，Ａ）

【文献】 特開２０１３−１５７８０２（ＪＰ，Ａ）

【文献】 特開平０９−００９２５３（ＪＰ，Ａ）

【文献】 特表２００３−５１９９８２（ＪＰ，Ａ）

【文献】 特開２０１４−０９０２３０（ＪＰ，Ａ）

【文献】 特開平０９−０５１５１９（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０５７６１８（ＷＯ，Ａ１）

【文献】 特表２０１３−５１８３１６（ＪＰ，Ａ）

【文献】 特開２０１０−０１１４９９（ＪＰ，Ａ）

【文献】 特開２００１−０４５４９４（ＪＰ，Ａ）

【文献】 特開平０９−２００７５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

Ｈ０４Ｎ １９／００−１９／９８

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

１以上のコンピュータ装置によって実行される方法であって、
カメラからビデオストリームを受信することと、
前記ビデオストリームをディスプレイ上に表示することと、
アイトラッキングセンサを介して、前記ディスプレイを見ているユーザの注視エリアを特定する情報を取得することと、
前記注視エリアの外側の複数の領域に対して複数の異なるビットレート低減係数を定義することであって、
各ビットレート低減係数は、対応する領域に対するビットレートが、ビットレートが低減されないときの前記対応する領域に対するビットレートと比較して、低減される程度を示すものであり、
前記複数の異なるビットレート低減係数は、前記注視エリアの縁部から前記ディスプレイの縁部に向かって勾配を定義するものである、
複数の異なるビットレート低減係数を定義することと、
前記複数の異なるビットレート低減係数に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるようにカメラに命令することと、を含む方法。

【請求項2】

前記取得された情報に基づいて予測される注視軌跡を計算することと、
前記予測された注視軌跡に沿って前記ビデオストリームのビットレートを増加させることと、をさらに含む請求項１に記載の方法。

【請求項3】

前記注視エリアが前記ディスプレイの外側にあると判定することと、
前記注視エリアが前記ディスプレイの外側にあると判定したことに応答して、前記ビデオストリーム全体のビットレートを減少させることと、をさらに含む請求項１に記載の方法。

【請求項4】

前記注視エリアの外側の前記ビデオストリーム内の移動物体を検出することと、
前記注視エリアを前記移動物体に関連付けることと、をさらに含む請求項２に記載の方法。

【請求項5】

前記複数の異なるビットレート低減係数を定義することは、
前記注視エリアの縁部から、前記注視エリアの縁部からの特定の距離までの第１の領域に対する第１のビットレート低減係数を定義することと、
前記特定の距離から前記ディスプレイの縁部までの第２の領域に対する第２のビットレート低減係数を定義することと、を含み、
前記第１のビットレート低減係数は、前記第１の領域に対するビットレートが、ビットレートが低減されないときの前記第１の領域に対するビットレートと比較して、低減される程度を示し、
前記第２のビットレート低減係数は、前記第２の領域に対するビットレートが、ビットレートが低減されないときの前記第２の領域に対するビットレートと比較して、低減される程度を示し、
前記第２のビットレート低減係数は、前記第１のビットレート低減係数よりも高い、請求項１に記載の方法。

【請求項6】

前記複数の異なるビットレート低減係数は、前記注視エリアの縁部から前記ディスプレイの前記縁部に向かって線形に増加する、請求項１に記載の方法。

【請求項7】

前記複数の異なるビットレート低減係数に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令することは、
前記注視エリアの外側の前記ビデオストリームのエリアに関連付けられたセンサ用のサンプリングレートを低減させるように前記カメラに命令することを含む請求項１に記載の方法。

【請求項8】

前記複数の異なるビットレート低減係数に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令することは、
前記ビデオストリームを符号化する前に、前記注視エリアの外側の前記ビデオストリームのエリアの解像度を低下させるように前記カメラに命令することを含む請求項１に記載の方法。

【請求項9】

前記複数の異なるビットレート低減係数に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令することは、
前記ビデオストリームを符号化する前に、前記注視エリアの外側の前記ビデオストリームのエリアに対してノイズ低減プロセスを増加させるように前記カメラに命令すること、または
前記注視エリアの外側の前記ビデオストリームのエリアに関連付けられた符号化処理ユニットに対して圧縮パラメータ値を増加させるように前記カメラに命令することを含む請求項１に記載の方法。

【請求項10】

前記ビデオストリームは複数のビデオストリームを含み、前記ディスプレイは複数のディスプレイを含む請求項１に記載の方法。

【請求項11】

命令を格納するメモリと、
前記命令を実行して、
カメラからビデオストリームを受信し、
前記ビデオストリームをディスプレイ上に表示し、
アイトラッキングセンサを介して、前記ディスプレイを見ているユーザの注視エリアを特定する情報を取得し、
前記注視エリアの外側の複数の領域に対して複数の異なるビットレート低減係数を定義し、
各ビットレート低減係数は、対応する領域に対するビットレートが、ビットレートが低減されないときの前記対応する領域に対するビットレートと比較して、低減される程度を示すものであり、
前記複数の異なるビットレート低減係数は、前記注視エリアの縁部から前記ディスプレイの縁部に向かって勾配を定義するものであり、
前記複数の異なるビットレート低減係数に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令するように構成されるプロセッサとを含む
コンピュータ装置。

【請求項12】

前記プロセッサは、
取得された注視情報に基づいて予測された注視軌跡を計算し、
前記予測された注視軌跡に沿って前記ビデオストリームのビットレートを増加させるように前記命令を実行するように、さらに構成される請求項１１に記載のコンピュータ装置。

【請求項13】

前記複数の異なるビットレート低減係数を定義するとき、前記プロセッサは、
前記注視エリアの縁部から、前記注視エリアの縁部からの特定の距離までの第１の領域に対して第１のビットレート低減係数を定義し、前記第１のビットレート低減係数は、前記第１の領域に対するビットレートが、ビットレートが低減されないときの前記第１の領域に対するビットレートと比較して、低減する程度を示し、
前記特定の距離から前記ディスプレイの縁部に向かう第２の領域に対して第２のビットレート低減係数を定義し、前記第２のビットレート低減係数は、前記第２の領域のビットレートが、ビットレートが低減されないときの前記第２の領域に対するビットレートと比較して、低減される程度を示し、前記第２のビットレート低減係数は、前記第１のビットレート低減係数よりも高くなるように、さらに構成される請求項１１に記載のコンピュータ装置。

【請求項14】

前記複数の異なるビットレート低減係数は、前記注視エリアの縁部から前記ディスプレイの前記縁部に向かって線形に増加する、請求項１１に記載のコンピュータ装置。

【請求項15】

前記複数の異なるビットレート低減係数に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令するとき、前記プロセッサは、
前記注視エリアの外側の前記ビデオストリームのエリアに関連付けられたセンサ用のサンプリングレートを低減させるように前記カメラに命令するように、または、
前記ビデオストリームを符号化する前に、前記注視エリアの外側の前記ビデオストリームのエリアに対して解像度を低下させるように前記カメラに命令するように、さらに構成される請求項１１に記載のコンピュータ装置。

【請求項16】

前記複数の異なるビットレート低減係数に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令するとき、前記プロセッサは、
前記ビデオストリームを符号化する前に前記注視エリアの外側の前記ビデオストリームのエリアに対してノイズ低減プロセスを増加させるように前記カメラに命令するように、さらに構成される請求項１１に記載のコンピュータ装置。

【請求項17】

前記複数の異なるビットレート低減係数に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令するとき、前記プロセッサは、
前記注視エリアの外側の前記ビデオストリームのエリアに関連付けられた符号化処理ユニットの圧縮パラメータ値を増加させるように前記カメラに命令するように、さらに構成される請求項１１に記載のコンピュータ装置。

【請求項18】

ビデオストリームを生成するように構成されたカメラと、
前記カメラから前記ビデオストリームを受信し、
前記ビデオストリームをディスプレイ上に表示し、
アイトラッキングセンサを介して、前記ディスプレイを見ているユーザの注視エリアを特定する情報を取得し、
前記注視エリアの外側の複数の領域に対して複数の異なるビットレート低減係数を定義し、
各ビットレート低減係数は、対応する領域に対するビットレートが、ビットレートが低減されないときの前記対応する領域に対するビットレートと比較して、低減される程度を示すものであり、
前記複数の異なるビットレート低減係数は、前記注視エリアの縁部から前記ディスプレイの縁部まで勾配を定義するものであり、
前記複数の異なるビットレート低減係数に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令を送信するように構成されたコンピュータ装置とを含み、
前記カメラは、受信された前記命令に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように、さらに構成されているシステム。

【請求項19】

前記複数の異なるビットレート低減係数のうちの特定のものは、
前記カメラの製造元およびモデル、
特定のカメラの履歴データ、
ユーザによって選択された手動設定、または
前記ビデオストリームにおけるシーンのコンテンツ、
のうちの少なくとも１つに基づいて選択される、請求項１に記載の方法。

【請求項20】

前記複数の異なるビットレート低減係数のうちの特定のものは、
前記カメラの製造元およびモデル、
特定のカメラの履歴データ、
ユーザによって選択された手動設定、または
前記ビデオストリームにおけるシーンのコンテンツ、
のうちの少なくとも１つに基づいて選択される、請求項１１に記載のコンピュータ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、方法、およびコンピュータ装置に関する。

【背景技術】

【0002】

関心エリアの画像またはビデオを取り込むために、監視装置（例えば、カメラ）を設置することができる。ユーザまたはユーザのグループは、カメラから遠隔に位置するディスプレイ上でカメラからの画像またはビデオを監視することができる。カメラによって取り込まれたデータは処理され、ネットワーク接続を介してディスプレイに送られ得る。例えば、ネットワークを介して送信されなければならないデータの量を減らすために、画像またはビデオを圧縮することができる。システムは、ネットワークを介して大量のデータを送信する多数のカメラを含んでもよい。大量のデータはネットワークのリソースに負荷を掛ける可能性がある。

【発明の概要】

【課題を解決するための手段】

【0003】

一態様によれば、コンピュータ装置によって実行される方法は、カメラからビデオストリームを受信することと、ビデオストリームをディスプレイ上に表示することと、アイトラッキングセンサを介して、ディスプレイを見ているユーザの注視エリアを特定する情報を取得することと、注視エリアからディスプレイの縁部に向かって勾配を生成することと、生成された勾配に基づいて注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令することと、を含むことができる。この方法は、ネットワークリソースを節約し、カメラおよび監視ステーションの監視システムのためのプロセッサおよびメモリの負荷を低減させるという技術的効果をもたらすことができる。

【0004】

また、本方法は、取得された情報に基づいて予測される注視軌跡を計算することと、予測された注視軌跡に沿ってビデオストリームのビットレートを増加させることと、を含んでもよい。予測された注視軌跡に沿ってビデオストリームのビットレートを増加させることは、ビデオストリーム全体のビットレートを増加させる必要なしに、注視エリアの一部となるビデオストリームの部分により多くの情報を提供するという利点を提供することができる。

【0005】

また、本方法は、注視エリアがディスプレイの外側にあると判定することと、注視エリアがディスプレイの外側にあると判定したことに応答して、ビデオストリーム全体のビットレートを減少させることと、をさらに含んでもよい。ビデオストリーム全体のビットレートを減少させることは、ネットワークリソースをさらに節約し、カメラおよび監視ステーションの監視システムのためのプロセッサおよびメモリの負荷を低減させるという利点を提供することができる。

【0006】

また、本方法は、注視エリアの外側のビデオストリーム内の移動物体を検出することと、注視エリアを移動物体に相関させることと、を含んでもよい。注視エリアを移動物体に相関させることは、注視エリアが移動する可能性のあるエリアを予測する利点を提供することができる。

【0007】

また、注視エリアからディスプレイの縁部まで勾配を生成することは、注視エリアの縁部から注視エリアの縁部からの特定の距離までの第１の領域に対する第１のビットレート低減係数を定義することと、特定の距離からディスプレイの縁部までの第２の領域に対する第２のビットレート低減係数を定義することと、を含んでもよく、第１のビットレート低減係数は、第１の領域に対するビットレートが低減される程度を示し、第２のビットレート低減係数は、第２の領域に対するビットレートが低減される程度を示し、第２のビットレート低減係数は、第１のビットレート低減係数よりも高い。第１のビットレート低減係数および第２のビットレート低減係数を定義することは、ネットワークリソースをさらに節約し、カメラおよび監視ステーションの監視システムのためのプロセッサおよびメモリの負荷を低減させるという利点を提供することができる。

【0008】

また、注視エリアからディスプレイの縁部まで勾配を生成することは、注視エリアの縁部からディスプレイの縁部に向かって線形に減少するビットレート低減係数を定義することを含み、ディスプレイの特定の位置におけるビットレート低減係数は、特定の位置におけるビットレートが低減される程度を示すことができる。線形に減少するビットレート低減係数を定義することは、ネットワークリソースをさらに節約し、カメラおよび監視ステーションの監視システムのためのプロセッサおよびメモリの負荷を低減させるという利点を提供することができる。

【0009】

また、生成された勾配に基づいて注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令することは、注視エリアの外側のビデオストリームのエリアに関連付けられたセンサ用のサンプリングレートを低減させるようにカメラに命令することをさらに含んでもよい。注視エリアの外側のビデオストリームのエリアに関連付けられたセンサ用のサンプリングレートを低減させることは、ネットワークリソースを節約し、センサのためのプロセッサおよびメモリの負荷を低減させるという利点を提供することができる。

【0010】

また、生成された勾配に基づいて注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令することは、ビデオストリームを符号化する前に、注視エリアの外側のビデオストリームのエリアの解像度を低下させるようにカメラに命令することをさらに含んでもよい。ビデオストリームを符号化する前に、注視エリアの外側のビデオストリームのエリアの解像度を低下させることは、ネットワークリソースを節約し、画像プロセッサに対する処理およびメモリの負荷を低減させるという利点を提供することができる。

【0011】

また、生成された勾配に基づいて注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令することは、ビデオストリームを符号化する前に、注視エリアの外側のビデオストリームのエリアに対してノイズ低減プロセスを増加させるようにカメラに命令することをさらに含んでもよい。ビデオストリームを符号化する前に、注視エリアの外側のビデオストリームのエリアに対してノイズ低減プロセスを増加させることは、ネットワークリソースを節約し、画像プロセッサに対する処理およびメモリの負荷を低減させるという利点を提供することができる。

【0012】

また、生成された勾配に基づいて注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令することは、注視エリアの外側のビデオストリームのエリアに関連付けられた符号化処理ユニットに対して圧縮パラメータ値を増加させるようにカメラに命令することをさらに含んでもよい。注視エリアの外側のビデオストリームのエリアに関連付けられた符号化処理ユニットに対して圧縮パラメータ値を増加させるようにカメラに命令することは、ネットワークリソースを節約し、符号化処理ユニットに対する処理およびメモリの負荷を低減させるという利点を提供することができる。

【0013】

また、ビデオストリームは複数のビデオストリームを含み、ディスプレイは複数のディスプレイを含んでもよい。複数のディスプレイに対して複数のビデオストリームの注視エリアを決定することは、ネットワークリソースを節約し、複数のビデオストリームおよび複数のディスプレイを含むシステムのためのプロセッサおよびメモリの負荷を低減させるという利点を提供することができる。

【0014】

別の一態様によれば、コンピュータ装置は、命令を格納（記憶）するメモリと、命令を実行して、カメラからビデオストリームを受信し、ビデオストリームをディスプレイ上に表示し、アイトラッキングセンサを介して、ディスプレイを見ているユーザの注視エリアを特定する情報を取得し、注視エリアからディスプレイの縁部に向かって勾配を生成し、生成された勾配に基づいて注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令するように構成されるプロセッサとを含んでもよい。このコンピュータ装置は、ネットワークリソースを節約し、カメラおよび監視ステーションの監視システムのためのプロセッサおよびメモリの負荷を低減させるという技術的効果を提供することができる。

【0015】

また、プロセッサは、取得された注視情報（gaze information）に基づいて予測された注視軌跡を計算し、予測された注視軌跡に沿ってビデオストリームのビットレートを増加させるように命令を実行するように、さらに構成されてもよい。予測された注視軌跡に沿ってビデオストリームのビットレートを増加させることは、ビデオストリーム全体のビットレートを増加させる必要なしに、注視エリアの一部となるビデオストリームの部分により多くの情報を提供するという利点を提供することができる。

【0016】

また、注視エリアからディスプレイの縁部まで勾配を生成するとき、プロセッサは、注視エリアの縁部から、注視エリアの縁部からの特定の距離までの第１の領域に対して第１のビットレート低減係数を定義し、第１のビットレート低減係数は、第１の領域に対するビットレートが低減する程度を示し、特定の距離からディスプレイの縁部に向かう第２の領域に対して第２のビットレート低減係数を定義し、第２のビットレート低減係数は、第２の領域のビットレートが低減される程度を示し、第２のビットレート低減係数は、第１のビットレート低減係数よりも高くなるように、さらに構成されてもよい。第１のビットレート低減係数および第２のビットレート低減係数を定義することは、ネットワークリソースをさらに節約し、カメラおよび監視ステーションの監視システムのためのプロセッサおよびメモリの負荷を低減させるという利点を提供することができる。

【0017】

また、注視エリアからディスプレイの縁部まで勾配を生成するとき、プロセッサは、注視エリアの縁部からディスプレイの縁部に向かって線形に減少するビットレート低減係数を定義し、ディスプレイの特定の位置におけるビットレート低減係数は、特定の位置におけるビットレートが低減される程度を示すように、さらに構成されてもよい。線形に減少するビットレート低減係数を定義することは、ネットワークリソースをさらに節約し、カメラおよび監視ステーションの監視システムのためのプロセッサおよびメモリの負荷を低減させるという利点を提供することができる。

【0018】

また、生成された勾配に基づいて注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令するとき、プロセッサは、注視エリアの外側のビデオストリームのエリアに関連付けられたセンサ用のサンプリングレートを低減させるようにカメラに命令するように、さらに構成されてもよい。注視エリアの外側のビデオストリームのエリアに関連付けられたセンサ用のサンプリングレートを低減させることは、ネットワークリソースを節約し、センサ用のプロセッサおよびメモリの負荷を低減させるという利点を提供することができる。

【0019】

また、生成された勾配に基づいて注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令するとき、プロセッサは、ビデオストリームを符号化する前に注視エリアの外側のビデオストリームのエリアに対して解像度を低下させるようにカメラに命令するように、さらに構成されてもよい。ビデオストリームを符号化する前に注視エリアの外側のビデオストリームのエリアに対して解像度を低下させることは、ネットワークリソースを節約し、画像プロセッサに対する処理およびメモリの負荷を低減させるという利点を提供することができる。

【0020】

また、生成された勾配に基づいて注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令するとき、プロセッサは、ビデオストリームを符号化する前に注視エリアの外側のビデオストリームのエリアに対してノイズ低減プロセスを増加させるようにカメラに命令するように、さらに構成されてもよい。ビデオストリームを符号化する前に注視エリアの外側のビデオストリームのエリアに対してノイズ低減プロセスを増加させることは、ネットワークリソースを節約し、画像プロセッサに対する処理およびメモリの負荷を低減させるという利点を提供することができる。

【0021】

また、生成された勾配に基づいて注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令するとき、プロセッサは、注視エリアの外側のビデオストリームのエリアに関連付けられた符号化処理ユニットの圧縮パラメータ値を増加させるようにカメラに命令するように、さらに構成されてもよい。注視エリアの外側のビデオストリームのエリアに関連付けられた符号化処理ユニットの圧縮パラメータ値を増加させるようにカメラに命令することは、ネットワークリソースを節約し、符号化処理ユニットに対する処理およびメモリの負荷を低減させるという利点を提供することができる。

【0022】

さらに別の一態様によれば、システムは、ビデオストリームを生成するように構成されたカメラと、カメラからビデオストリームを受信し、ビデオストリームをディスプレイ上に表示し、アイトラッキングセンサを介して、ディスプレイを見ているユーザの注視エリアを特定する情報を取得し、注視エリアからディスプレイの縁部まで勾配を生成し、生成された勾配に基づいて注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令を送信するように構成されたコンピュータ装置とを含んでもよく、カメラは、受信された命令に基づいて注視エリアの外側のビデオストリームのビットレートを減少させるように、さらに構成されている。このシステムは、ネットワークリソースを節約し、カメラおよび監視ステーションの監視システムに対するプロセッサおよびメモリの負荷を低減させるという技術的効果を提供することができる。

【図面の簡単な説明】

【0023】

【図1】本明細書に記載の一実装に係るアイトラッキングを含む例示的な環境を示すブロック図である。

【図2】本明細書に記載の一実装に係るカメラの例示的なコンポーネントを示すブロック図である。

【図3】本明細書に記載の一実装に係るコンピューティングモジュールの例示的なコンポーネントを示すブロック図である。

【図4】オペレータが、本明細書に記載の一実装に係るアイトラッカーを有するディスプレイを見る環境を示す。

【図5A】本明細書に記載の１以上の実装に係るオペレータの観点からの表示を示す。

【図5B】本明細書に記載の１以上の実装に係るオペレータの観点からの表示を示す。

【図6】図１のコンポーネントのうちのいくつかの機能的コンポーネントの図である。

【図7】図６のカメラデータベースの例示的なコンポーネントの図である。

【図8】本明細書に記載の一実装に係る注視エリアに基づいてビットレートを制御するプロセスのフローチャートである。

【図9A】本明細書に記載の１以上の実装に係る例示的なビットレート低減シナリオの図である。

【図9B】本明細書に記載の１以上の実装に係る例示的なビットレート低減シナリオの図である。

【図9C】本明細書に記載の１以上の実装に係る例示的なビットレート低減シナリオの図である。

【0024】

以下の詳細な説明は、添付図面を参照する。異なる図面における同じ参照番号は、同一または類似の要素を特定する。

【0025】

本明細書で説明される実装は、注視制御された（gaze controlled）ビットレートに関する。監視カメラは、関心エリアのビデオをディスプレイにストリーミングする。ビデオストリームは、高い帯域幅要件を有する可能性があり、かなりのネットワーク帯域幅を消費する可能性がある。さらに、ビデオストリームを処理するには、プロセッサリソースおよびメモリリソースが必要となる可能性がある。本明細書で「オペレータ」または「ユーザ」と呼ばれるディスプレイを見ている人は、任意の所与の時間にディスプレイの一部分を見ることしかできない。さらに、オペレータは、複数のカメラから複数のディスプレイを見ることを任されている可能性があり、一度に１つのディスプレイに注視（gaze）を向けることしかできない。アイトラッカーを使用して、オペレータの注視エリア（gaze area）を特定し、したがってオペレータが見ていないディスプレイの一部、またはディスプレイグループ内の１以上のディスプレイを特定することができる。したがって、オペレータが見ていないビデオストリームの部分のビデオストリームのビットレートを低減させることは、ネットワークリソースを節約し、カメラおよび監視ステーションの監視システムのためのプロセッサおよびメモリの負荷を低減させるという技術的効果をもたらすことができる。

【0026】

ビデオ管理システムは、ディスプレイを含むクライアント装置を管理することができる。ディスプレイは、カメラからビデオストリームを受信し、ビデオストリームをディスプレイに表示することができる。ビデオ管理システムは、アイトラッキングセンサを介して、ディスプレイを見ているユーザに対して注視エリアを特定する情報を取得し、注視エリアからディスプレイの縁部まで勾配を生成し、生成された勾配に基づいて注視エリアの外側のビデオストリームのビットレートを低減させるようにカメラに命令することができる。いくつかの実装では、ビデオストリームは複数のビデオストリームを含んでもよく、ディスプレイは複数のディスプレイを含んでもよい。

【0027】

勾配は、１以上のビットレート低減係数によって定義され得る。ビデオストリームのある領域に対するビットレート低減係数は、適用されるビット低減なしの領域に対するビットレートと比較して、その領域のビットレートが低減される程度を示すことができる。一例として、勾配を生成することは、注視エリアの縁部から、注視エリアの縁部からのある設定距離までの第１の領域に対して第１のビットレート低減係数を定義することと、設定距離からディスプレイの縁部までの第２の領域に対する、第１のビットレート低減係数よりも高い第２のビットレート低減係数を定義することと、を含んでもよい。別の一例として、勾配を生成することは、注視エリアの縁部からディスプレイの縁部まで線形に減少するビットレート低減係数を定義することを含んでもよい。さらに別の一例として、勾配を生成することは、注視エリアがディスプレイの外側にあると判定することと、注視エリアがディスプレイの外側にあると判定することに応答して、ビデオストリーム全体に対するビットレートを減少させることと、を含んでもよい。さらに別の一例として、勾配を生成することは、注視エリアにおけるビデオストリームのビットレートを増加させるようにカメラに命令することを含んでもよい。

【0028】

実際のビットレートを予測することできない可能性があるため、ビットレート低減係数を使用して、実際のビットレート値ではなくビットレート低減を定義することができる。実際のビットレートは、ビデオストリームの特性に基づいて特定のビデオストリームに対して達成可能な圧縮量に依存する可能性がある。したがって、実際には、高いビットレート低減係数を有する第１の領域が、ビットレート低減の無いまたは低いビットレート低減係数を有する第２の領域よりも高いビットレートをもたらすことが、特定の状況において発生する可能性がある。これは、第１の領域内の画像データが（例えば、イントラフレーム圧縮のために）より多く圧縮可能かもしれないためである。

【0029】

ビデオ管理システムは、ビデオストリームのある領域に対するビットレートに他の調整を行うことができる。一例として、予測される注視軌跡（gaze trajectory）は、注視エリアの動きに基づいて計算することができ、予測された注視軌跡に沿ってビットレートを増加させることができる。別の一例として、動く物体は、ビデオストリーム内で検出することができ、注視エリアは、動く物体に相関することができる。注視エリアが移動物体に向かって移動し始めると、移動物体に関連付けられたビットレート低減係数は減少する可能性がある。

【0030】

ビットレートは、センサアレイによるビデオデータの取り込み点からネットワーク接続を介してディスプレイに符号化されたビデオストリームを送信するまでの処理経路に沿った多くの点のいずれかで低減させることができる。一例として、注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令することは、注視エリアの外側のビデオストリームのエリアに関連付けられたセンサ用のサンプリングレートを低減させるようカメラに命令することを含んでもよい。別の一例として、注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令することは、ビデオストリームを符号化する前に注視エリアの外側のビデオストリームのエリアの解像度を低下させるようにカメラに命令することを含んでもよい。さらに別の一例として、注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令することは、ビデオストリームを符号化する前に注視エリアの外側のビデオストリームのエリアに対してノイズ低減プロセスを増加するようにカメラに命令することを含んでもよい。さらに別の一例として、注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令することは、注視エリアの外側のビデオストリームのエリアに関連する符号化処理ユニットに対して圧縮パラメータ値を増加させるようにカメラに命令することを含む。

【0031】

図１は、一実施形態における例示的な環境１００を示すブロック図である。環境１００は、例えば、エリアを守るため、または公共安全を提供するための監視システムであり得る。図１に示すように、環境１００は、カメラ１１０−１〜１１０−Ｍ、ネットワーク１２０、監視ステーション１２５−１〜１２５−Ｎ、ディスプレイ１３０−１〜１３０−Ｎ、アイトラッカー１４０−１〜１４０−Ｎ、および／またはビデオ管理システム（ＶＭＳ）１５０を含んでもよい。

【0032】

カメラ１１０−１〜１１０−Ｍ（個別に「カメラ１１０」、またはまとめて「カメラ１１０」）は、監視エリア１０６の画像および／またはビデオを取り込む。監視エリア１０６は、１以上のカメラ１１０によって監視することができる。例えば、２つのカメラが物体１０２−１を含むエリア１０６−１を監視することができる。物体１０２は、任意の物体（例えば、ドア、人、動物、車両、車両上のナンバープレートなど）を含んでもよい。

【0033】

カメラ１１０は、可視光、赤外光、および／または他の非可視電磁放射線（例えば、紫外光、遠赤外光、テラヘルツ放射線、マイクロ波放射線など）を使用して画像データを取り込むことができる。カメラ１１０は、レーダ撮像のための熱カメラおよび／またはレーダ装置を含んでもよい。取り込まれた画像データは、連続画像シーケンス（例えば、ビデオ）、限定された画像シーケンス、静止画像、および／またはそれらの組み合わせを含んでもよい。カメラ１１０は、画像を取り込みデジタル化するためのデジタルカメラおよび／または画像を取り込んでアナログ形式で画像データを格納するためのアナログカメラを含んでもよい。

【0034】

カメラ１１０は、１以上の２次元アレイ（例えば、画像データまたはビデオデータ）に配列されたデータを生成するセンサを含んでもよい。本明細書で使用される場合、「ビデオデータ」および「ビデオ」は、より一般的にそれぞれ「画像データ」および「画像」と呼ぶことができる。したがって、「画像データ」または「画像」は、特に明記しない限り、「ビデオデータ」および「ビデオ」を含むことを意味する。同様に、「ビデオデータ」または「ビデオ」は、特に明記しない限り、静止画像を含み得る。さらに、いくつかの実装では、「ビデオデータ」は音声データを含み得る。

【0035】

ＶＭＳ１５０のクライアントであり、ディスプレイ１３０−１〜１３０−Ｎに接続されたコンピュータ装置が、監視ステーション１２５−１〜１２５−Ｎに含まれ得る（それぞれ個別に「ディスプレイ１３０」および「監視ステーション１２５」）。一実施形態では、監視ステーション１２５−１〜１２５−Ｎはまた、アイトラッカー１４０−１〜１４０−Ｎ（個別に「アイトラッカー１４０」）に結合される。監視ステーション１２５およびディスプレイ１３０は、オペレータ（図１には図示せず）がカメラ１１０からの画像を見ることを可能にする。アイトラッカー１４０は、ディスプレイ１３０を見ているオペレータの注視を追跡する。監視ステーション１２５、ディスプレイ１３０、およびアイトラッカー１４０の各々は、オペレータが環境１００内に示される監視システムとインタラクトするための「クライアント」とすることができる。

【0036】

ディスプレイ１３０は、１以上のカメラ１１０からのビデオストリームを受信して表示する。１つのディスプレイ１３０は、単一のカメラ１１０または複数のカメラ１１０からの画像を（例えば、ディスプレイ１３０上の複数のフレームまたはウィンドウ内に）示すことができる。単一のディスプレイ１３０はまた、単一のカメラからの異なるフレームの画像を表示することもできる。すなわち、単一のカメラは、例えば、広角レンズまたは魚眼レンズを含んでもよく、複数のエリア１０６の画像を提供することができる。異なるエリア１０６からの画像は、異なるウィンドウおよび／またはフレームで別々にディスプレイ１３０上に分離して表示させることができる。ディスプレイ１３０は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ、陰極線管（ＣＲＴ）ディスプレイ、プラズマディスプレイ、レーザビデオディスプレイ、電気泳動ディスプレイ、量子ドットディスプレイ、ビデオプロジェクタ、および／または任意の他のタイプのディスプレイ装置を含んでもよい。

【0037】

アイトラッカー１４０は、ＶＭＳ１５０（または環境１００内の任意の他の装置）がオペレータの目がどこに集中しているかを判定することを可能にするセンサ（例えば、カメラ）を含む。例えば、一組の近赤外光ビームは、オペレータの目に向けられ、オペレータの角膜で反射を引き起こすことができる。反射は、アイトラッカー１４０に含まれるカメラによって追跡され、オペレータの注視エリアを決定することができる。注視エリアは、注視点および中心窩の焦点（focus）のエリアを含んでもよい。例えば、オペレータは、監視ステーション１２５のディスプレイ１３０の前に座ることができる。アイトラッカー１４０は、ディスプレイ１３０のどの部分にオペレータが焦点を合わせているかを決定する。各ディスプレイ１３０は、単一のアイトラッカー１４０に関連付けることができる。あるいはまた、アイトラッカー１４０は、複数のディスプレイ１３０に対応することができる。この場合、アイトラッカー１４０は、オペレータがどのディスプレイに、および／またはそのディスプレイ１３０のどの部分に焦点を合わせているかを判定することができる。

【0038】

アイトラッカー１４０はまた、ユーザの存在、注意のレベル、焦点、眠気、意識、および／または他の状態を判定することもできる。アイトラッカー１４０はまた、ユーザの身元を判定することもできる。アイトラッカー１４０からの情報は、経時的なオペレータの行動内に洞察を得るために、またはオペレータの現在の状態を判定するために使用することができる。いくつかの実装では、ディスプレイ１３０およびアイトラッカー１４０は、オペレータが着用するバーチャルリアリティ（ＶＲ）ヘッドセット内に実装することができる。オペレータは、ＶＲヘッドセットへの入力として１以上のカメラ１１０を使用してエリア１０６の仮想検査を実行することができる。

【0039】

ネットワーク１２０は、１以上の回線交換ネットワークおよび／またはパケット交換ネットワークを含んでもよい。例えば、ネットワーク１２０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ＰＳＴＮ（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ）、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワーク、無線ネットワーク、および／またはこれらのまたは他のタイプのネットワークの組み合わせを含んでもよい。

【0040】

ＶＭＳ１５０は、カメラ１１０、ディスプレイ１３０、および／またはアイトラッカー１４０の動作を統合する１以上のコンピュータ装置（例えば、サーバ装置など）を含んでもよい。ＶＭＳ１５０は、カメラ１１０からの画像データを受信して格納することができる。ＶＭＳ１５０はまた、ＶＭＳ１５０に格納された画像データまたはカメラ１１０からストリーミングされた画像データを見るための、監視ステーション１２５のオペレータのためのユーザインターフェースを、提供することもできる。ＶＭＳ１５０は、カメラ１１０に、オペレータの注視エリアの外側にある領域のビットレートを低減させるように命令することによってシステムリソースを節約するためのルールエンジンを含んでもよい。

【0041】

いくつかの実施形態では、環境１００は、別個のＶＭＳ１５０を含まない。代わりに、ＶＭＳ１５０によって提供されるサービスは、監視ステーション１２５（例えば、ディスプレイ１３０に関連付けられたコンピュータ装置）および／またはカメラ１１０自体によって、または環境１００内の装置間に分散された方法で提供される。例えば、カメラ１１０は、オペレータの注視エリアの外側にある領域に対してビットレートを低減させるようにカメラ１１０に命令することによって、システムリソースを節約するルールエンジンを含んでもよい。同様に、ＶＭＳ１５０は、カメラ１１０によって実行されるものとして説明された動作を実行することができる。

【0042】

図１には、環境１００の例示的なコンポーネントが示されているが、他の実装では、環境１００は、図１に示されているよりも少ないコンポーネント、異なるコンポーネント、異なる配置のコンポーネント、または追加のコンポーネントを含んでもよい。追加的または代替的に、任意の１つの装置（または装置の任意のグループ）が、１以上の他の装置によって実行されるものとして説明された機能を実行することができる。

【0043】

図２は、一実施形態におけるカメラ１１０の例示的なコンポーネントを示すブロック図である。図２に示すように、カメラ１１０は、光学チェーン２１０、センサアレイ２２０、バス２２５、画像プロセッサ２３０、コントローラ２４０、メモリ２４５、ビデオエンコーダ２５０、および／または通信インターフェース２６０を含んでもよい。一実施形態では、カメラ１１０は、カメラ１１０をパン、チルト、回転、および／またはズームするための１以上のモータコントローラ２７０（例えば、３つ）および１以上のモータ２７２（例えば、３つ）を含んでもよい。

【0044】

光学チェーン２１０は、入射放射線（例えば、光、可視光、赤外線波、ミリ波など）をセンサアレイ２２０に導き、入射放射線に基づいて画像を取り込むエンクロージャを含む。光学チェーン２１０は、入射放射線を監視エリアからセンサアレイ２２０上に収集して集束させる１以上のレンズ２１２を含む。

【0045】

センサアレイ２２０は、センサアレイ２２０上に入射するまたは降り注ぐ放射線（例えば、光）を検知、検出、および測定するためのセンサのアレイを含んでもよい。放射線は、可視光波長範囲、赤外線波長範囲、または他の波長範囲とすることができる。

【0046】

センサアレイ２２０は、例えば、電荷結合素子（ＣＣＤ）アレイおよび／またはアクティブピクセルアレイ（例えば、相補型金属酸化物半導体（ＣＭＯＳ）センサアレイ）を含んでもよい。センサアレイ２２０はまた、（例えば、カメラ１１０が熱カメラまたは検出器を含む場合）マイクロボロメータを含むこともできる。

【0047】

センサアレイ２２０は、センサアレイ２２０に入射する放射線（例えば、光）を示す（例えば、特性または特徴を記述する）データを出力する。例えば、センサアレイ２２０から出力されるデータは、センサアレイ２２０内の１以上のピクセルに入射する情報（例えば、光の強度（例えば、照度）、色など）を含んでもよい。センサアレイ２２０に入射する光は、光学チェーン２１０内のレンズの結果として光が集束させられ得る「画像」であり得る。いくつかの実装では、コントローラ２４０は、センサアレイ２２０のうちの特定のセンサまたはセンサのセットのサンプリングレートをオフにする、および／または低減させることによって、センサアレイ２２０の特定の領域に関連付けられたビットレートを低減させることができる。

【0048】

センサアレイ２２０は、センサアレイ２２０上に降り注ぐ画像を検出するので、「画像センサ」と考えることができる。この用語が本明細書で使用されるとき、「画像」は、センサアレイ２２０に入射する放射線を示す（例えば、光の特性または特徴を記述する）データを含む。したがって、「画像」という用語はまた、「画像センサデータ」または画像を記述する任意のデータまたはデータセットを意味するために使用することもできる。さらに、「ピクセル」は、放射線の測定（例えば、センサアレイ２２０に入射する光を示す測定）が行われるセンサアレイ２２０の任意の領域またはエリアを意味することができる。ピクセルは、センサアレイ２２０内の１以上（または１未満）のセンサに対応することができる。別の実施形態では、センサアレイ２２０は、走査ハードウェア（例えば、回転ミラー）を使用して画像を形成することができるリニアアレイ、または画像センサデータを生成するために画像プロセッサ２３０および／またはコントローラ２４０に依存する可能性のある非アレイセンサであってもよい。

【0049】

バス２２５は、カメラ１１０内のコンポーネントが互いに通信することを可能にする通信経路を含む。コントローラ２４０および／または画像プロセッサ２３０は、センサアレイ２２０によって取り込まれた画像データ上で信号処理動作を実行する。センサアレイ２２０によって取り込まれた画像上で画像処理（例えば、画像プロセッサ２３０は、ノイズ低減、フィルタリング、スケーリングなど）を行うことができる。コントローラ２４０は、カメラ１１０の動作を制御することができ、カメラ１１０の他のコンポーネント（例えば、センサアレイ２２０、画像プロセッサ２３０、ビデオエンコーダ２５０、通信インターフェース２６０、および／またはモータコントローラ２７０）に命令を提供することができる。

【0050】

コントローラ２４０および／または画像プロセッサ２３０は、命令を解釈して実行する任意のタイプのシングルコアまたはマルチコアプロセッサ、マイクロプロセッサ、ラッチベースのプロセッサ、および／または処理ロジック（またはプロセッサ、マイクロプロセッサ、および／または処理ロジックのファミリ）を含んでもよい。コントローラ２４０および／または画像プロセッサ２３０は、ハードウェアアクセラレータ（例えば、グラフィックス処理ユニット（ＧＰＵ）、汎用グラフィックス処理ユニット（ＧＰＧＰＵ）、セル（Ｃｅｌｌ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、および／または別のタイプの集積回路または処理ロジック）を含むか、またはそれに結合することができる。

【0051】

コントローラ２４０はまた、カメラ１１０の所望の焦点および位置（例えば、チルト、パン、回転、ズームなど）を決定して制御することもできる。そうするために、コントローラ２４０は、１以上のモータコントローラ２７０にコマンドを送信して、カメラ１１０をチルト、パン、回転、および／またはズームするための１以上のモータ２７２、または光学式ズームレンズ２１２を駆動する。

【0052】

メモリ２４５は、情報および／または命令を格納する任意のタイプの揮発性および／または不揮発性の記憶装置を含んでもよい。メモリ２４５は、ランダムアクセスメモリ（ＲＡＭ）または任意のタイプの動的記憶装置、リードオンリメモリ（ＲＯＭ）デバイス、または任意のタイプの静的記憶装置、磁気または光記録メモリデバイスおよびその対応するドライブ、またはリムーバブルメモリデバイスを含んでもよい。メモリ２４５は、カメラ１１０による使用のための情報および命令（例えば、アプリケーションおよび／またはオペレーティングシステム）およびデータ（例えば、アプリケーションデータ）を格納することができる。メモリ２４５は、１以上のビットレート低減係数および／または特定のセンサアレイ取り込み、画像処理、および／または１以上のビットレート低減係数が適用される符号化プロセスおよび／またはパラメータを特定する情報を格納することができる。

【0053】

メモリ２４５は、コントローラ２４０、画像プロセッサ２３０、ビデオエンコーダ２５０、および／または通信インターフェース２６０による実行のための命令を格納することができる。ソフトウェア命令は、別のコンピュータ可読媒体または別の装置からメモリ２４５に読み込むことができる。ソフトウェア命令は、コントローラ２４０、画像プロセッサ２３０、ビデオエンコーダ２５０、および／または通信インターフェース２６０に、本明細書に記載のプロセスを実行させることができる。例えば、カメラ１１０は、メモリ２４５内に格納されたソフトウェア命令を実行する、コントローラ２４０、画像プロセッサ２３０、および／またはビデオエンコーダ２５０に応答して、画像処理（例えば、符号化、ノイズ低減化、トランスコード、オブジェクトの検出など）に関連する動作を実行することができる。あるいはまた、本明細書で説明するプロセスを実装するために、配線接続された回路（例えば、ロジック）をソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて使用してもよい。

【0054】

ビデオエンコーダ２５０は、１以上のビデオコーデック（例えば、Ｈ．２６２／ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２コーデック、Ｈ．２６３／ＭＰＥＧ−２Ｐａｒｔ２コーデック、Ｈ．２６４／ＭＰＥＧ−４コーデック、Ｈ．２６５／ＭＰＥＧ−ＨＨＶＥＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）コーデック、および／または別のタイプのコーデック）に基づいてビデオデータを圧縮することができる。

【0055】

通信インターフェース２６０は、入力および／または出力ポート、入力および／または出力システム、および／または他の装置へのデータの送信を促進する他の入力および出力コンポーネントを含む回路および論理回路を含む。例えば、通信インターフェース２６０は、有線通信のためのネットワークインターフェースカード（例えば、イーサネット（登録商標）カード）、または無線通信のための無線ネットワークインターフェース（例えば、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＷｉＦｉ、Bluetooth（登録商標）など）カードを含んでもよい。

【0056】

図２は、カメラ１１０の例示的なコンポーネントを示しているが、他の実施形態では、カメラ１１０は、図２に示されているものよりも少ないコンポーネント、異なるコンポーネント、異なる配置のコンポーネント、または追加のコンポーネントを含んでもよい。追加的または代替的に、カメラ１１０の１以上のコンポーネントは、カメラ１１０の１以上の他のコンポーネントによって実行されるように説明された機能を実行することができる。例えば、コントローラ２４０は、画像プロセッサ２３０によって実行されるように説明された機能を実行することができ、その逆も可能である。代替的または追加的に、カメラ１１０は、図３に関して以下に説明されるようなコンピューティングモジュールを含んでもよい。

【0057】

図３は、一実施形態におけるコンピューティングモジュール３００の例示的なコンポーネントを示すブロック図である。装置（例えば、ＶＭＳ１５０、アイトラッカー１４０、監視ステーション１２５、および／またはディスプレイ１３０）は、１以上のコンピューティングモジュール３００を含んでもよい。図３に示されるように、コンピューティングモジュール３００は、バス３１０、プロセッサ３２０、メモリ３３０、および／または通信インターフェース３６０を含んでもよい。いくつかの実施形態では、コンピューティングモジュール３００はまた、入力装置３４０および／または出力装置３５０をも含み得る。

【0058】

バス３１０は、コンピューティングモジュール３００のコンポーネントまたは他の装置の間の通信を可能にする経路を含む。プロセッサ３２０は、命令を解釈して実行する任意のタイプのシングルコアプロセッサ、マルチコアプロセッサ、マイクロプロセッサ、ラッチベースのプロセッサ、および／または処理ロジック（またはプロセッサ、マイクロプロセッサ、および／または処理ロジックのファミリ）を含んでもよい。プロセッサ３２０は、特定用途向け集積回路（ＡＳＩＣ）、ＦＰＧＡ、および／または別のタイプの集積回路または処理ロジックを含んでもよい。プロセッサ３２０は、ハードウェアアクセラレータ（例えば、ＧＰＵ、ＧＰＧＰＵ、Ｃｅｌｌ、ＦＰＧＡ、ＡＳＩＣ、および／または別のタイプの集積回路または処理ロジック）を含むか、またはそれに結合することができる。

【0059】

メモリ３３０は、プロセッサ３２０によって実行される情報および／または命令を格納することができる任意のタイプの動的記憶装置、および／またはプロセッサ３２０によって使用される情報を格納することができる任意のタイプの不揮発性記憶装置を含んでもよい。例えば、メモリ３３０は、ＲＡＭまたは他のタイプの動的記憶装置、ＲＯＭ装置または他のタイプの静的記憶装置、磁気および／または光記録メモリ装置およびその対応するドライブ（例えば、ハードディスクドライブ、光学式ドライブなど）および／または取り外し可能な形態のメモリ（例えば、フラッシュメモリ）を含んでもよい。

【0060】

メモリ３３０は、プロセッサ３２０によって実行される命令を格納することができる。ソフトウェア命令は、別のコンピュータ可読媒体または別の装置からメモリ３３０に読み込むことができる。ソフトウェア命令は、プロセッサ３２０に本明細書に記載のプロセスを実行させることができる。あるいはまた、配線接続された回路（例えば、ロジック）をソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて使用して、本明細書に記載のプロセスを実行することができる。

【0061】

オペレーティングシステムは、コンピューティングモジュール３００のハードウェアおよびソフトウェアリソースを管理するためのソフトウェア命令を含んでもよい。例えば、オペレーティングシステムは、Ｌｉｎｕｘ（登録商標）、Ｗｉｎｄｏｗｓ、ＯＳ Ｘ、Ａｎｄｒｏｉｄ、組み込みオペレーティングシステムなどを含んでもよい。特定のコンピューティングモジュール３００が内部に見つかった装置に応じて、アプリケーションおよびアプリケーションデータは、ネットワークサービスを提供するか、またはアプリケーションを含んでもよい。

【0062】

通信インターフェース３６０は、コンピューティングモジュール３００が他のコンポーネント、装置、および／またはシステムと通信することを可能にする送信機および／または受信機（例えば、トランシーバ）を含んでもよい。通信インターフェース３６０は、無線通信（例えば、高周波、赤外線、および／または視覚光学など）、有線通信（例えば、導線、ツイストペアケーブル、同軸ケーブル、伝送ライン、光ファイバケーブル、および／または導波路など）、またはそれらの組み合わせを介して通信することができる。通信インターフェース３６０は、ベースバンド信号を高周波（ＲＦ）信号に変換するトランシーバ、またはその逆のトランシーバを含んでもよく、アンテナアセンブリを含んでもよい。

【0063】

通信インターフェース３６０は、入力および／または出力ポート、入力および／または出力システム、および／または他の装置へのデータの送信を促進する他の入力および出力コンポーネントを含む論理コンポーネントを含んでもよい。例えば、通信インターフェース３６０は、有線通信のためのネットワークインターフェースカード（例えば、イーサネットカード）および／または無線通信のための無線ネットワークインターフェース（例えば、ＷｉＦｉ）カードを含んでもよい。通信インターフェース４６０はまた、ケーブル、Bluetooth（商標）無線インターフェース、ＲＦＩＤ（radio−frequency identification）インターフェース、ＮＦＣ（near-field communication）無線インターフェース、および／または１つの形態から別の形態にデータを変換する他のタイプのインターフェースを介した通信のためのユニバーサルシリアルバス（ＵＳＢ）ポートを含んでもよい。

【0064】

いくつかの実装では、コンピューティングモジュール３００はまた、入力装置３４０および出力装置３５０も含んでもよい。入力装置３４０は、ユーザがコンピューティングモジュール３００に情報を入力することを可能にすることができる。入力装置３４０は、例えば、キーボード、マウス、ペン、マイクロフォン、リモートコントロール、オーディオ取り込み装置、画像および／またはビデオ取り込み装置、タッチスクリーンディスプレイ、および／または別のタイプの入力装置を含んでもよい。

【0065】

出力装置３５０は、情報をユーザへ出力することができる。出力装置３５０は、ディスプレイ、プリンタ、スピーカ、および／または別のタイプの出力装置を含んでもよい。入力装置３４０および出力装置３５０は、ユーザがコンピューティングモジュール３００によって実行されるアプリケーションとインタラクトすることを可能にすることができる。「ヘッドレス」装置（例えば、配備されたリモートカメラ）の場合、入力および出力は、主として入力装置３４０および出力装置３５０ではなく通信インターフェース３６０を介して行われる。

【0066】

以下で詳細に説明するように、コンピューティングモジュール３００は、注視エリアに基づいてビットレート調整に関する特定の動作を実行することができる。コンピューティングモジュール３００は、コンピュータ可読媒体（例えば、メモリ３３０）に含まれるソフトウェア命令を実行するプロセッサ３２０に応答して、これらの動作を実行することができる。コンピュータ可読媒体は、非一時的メモリデバイスとして定義され得る。メモリデバイスは、単一の物理メモリデバイス内に実装されてもよいし、複数の物理メモリデバイスにわたって分散されてもよい。ソフトウェア命令は、別のコンピュータ可読媒体または別の装置からメモリ３３０に読み込まれてもよい。メモリ３３０に含まれるソフトウェア命令は、プロセッサ３２０に本明細書に記載のプロセスを実行させることができる。あるいはまた、本明細書に記載のプロセスを実施するためにソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、配線接続された回路を使用することができる。したがって、本明細書に記載の実装は、ハードウェア回路およびソフトウェアの特定の組み合わせに限定されない。

【0067】

コンピューティングモジュール３００は、データの受信、送信、および／または処理を支援する他のコンポーネント（図示せず）を含んでもよい。さらに、コンピューティングモジュール３００内のコンポーネントの他の構成も可能である。他の実装では、コンピューティングモジュール３００は、図３で示されたものよりも少ないコンポーネント、異なるコンポーネント、追加のコンポーネント、または異なる配置のコンポーネントを含んでもよい。追加的または代替的に、コンピューティングモジュール３００の１以上のコンポーネントは、コンピューティングモジュール３００の１以上の他のコンポーネントによって実行されるものとして説明された１以上のタスクを実行することができる。

【0068】

図４は、一実施形態においてアイトラッカー１４０を有するディスプレイ１３０を見ているオペレータ４０２の例示的な環境４００を示す。ディスプレイ１３０は、オペレータ４０２に情報を表示するための任意のタイプのディスプレイを含んでもよい。オペレータ４０２は、ディスプレイ１３０を見て、監視ステーション１２５上で動作しているアプリケーションを介してＶＭＳ１５０とインタラクトすることができる。例えば、オペレータ４０２は、エリア１０６のビデオを見ることができる。

【0069】

アイトラッカー１４０は、監視ステーション１２５がオペレータ４０２の目がどこに集中しているかを判定することを可能にするセンサ（例えば、カメラ）を含む。図４では、例えば、オペレータ４０２はディスプレイ１３０の前に座っており、アイトラッカー１４０内のセンサがオペレータ４０２の目を検出する。例えば、アイトラッカー１４０は、ディスプレイ１３０上の位置（例えば、１以上のピクセルに関連付けられたピクセル値）として表すことができる注視点４１０を決定することができる。オペレータとディスプレイ１３０の相対的な位置に基づいて、オペレータ４０２の中心窩視野に対応する中心窩視野エリア４２０（または「エリア４２０」）を見積もることができる。中心窩視野は、目の詳細な視覚知覚に対応し、およそ１〜２球面度に対応する。したがって、ディスプレイ１３０上のエリア４２０は計算され、完全な視力を有するオペレータ４０２の視野の一部に対応すると理解することができる。

【0070】

別の一実施形態では、中心窩視野エリア４２０は、特定のオペレータ４０２に対して設定手順中に実験的に決定することができる。中心窩視野エリア４２０は、オペレータ４０２の周辺視野に対応する、中心窩視野エリア４２０の外側の周辺視野エリア４３０とは対照的である。注視点４１０は、エリア４２０のほぼ中央にあり、注視点４１０からオペレータ４０２の目までの視線に対応する。一実施形態では、注視点４１０を特定する情報は、ＶＭＳ１５０に伝達することができる。

【0071】

図５Ａは、オペレータ４０２の視点からのディスプレイ１３０を示している。図５Ａに示されるように、ディスプレイ１３０は、注視点４１０、中心窩視野エリア４２０、および周辺視野エリア４３０を含む。ディスプレイ１３０はまた、ビデオフレーム５２０を含み、ビデオフレーム５２０内においてビデオストリームがオペレータ４０２に提示される。この例では、フレーム５２０は、エリア１０６のカメラ１１０からのビデオストリームを示し、これは、ドアと、移動しているように見える個人とをたまたま含んでいる。オペレータ４０２の中心窩視野エリア４２０は、個人を包含し、注視点４１０は個人の顔面上に直接存在する。他方、フレーム５２０に表示されるドアは、オペレータ４０２の周辺視野エリア４３０に現れる。

【0072】

いくつかの実装では、オペレータの注視エリアは、中心窩視野エリア４２０に対応するものとして指定することができる。他の実装では、オペレータの注視エリアは、注視点４１０および中心窩視野エリア４２０に基づいて異なるエリアに対応するものとして指定することができる。一例として、オペレータの注視エリアは、注視点４１０の大きさと中心窩視野エリア４２０との間のどこかの大きさで指定することができる。別の一例として、オペレータの注視エリアは、中心窩視野エリア４２０よりも大きく、かつ中心に位置するエリアとして指定することができる。

【0073】

指定された注視エリアに基づいて、異なる動作がトリガされ、その結果、アイトラッカー１４０によって生成された情報は、ビデオ管理システムに対するユーザ入力として解釈されることができる。例えば、アイトラッカー１４０−１は、オペレータ４０２がカメラ１１０−１からのビデオストリームを示すフレーム５２０−１を見ていると判断した場合、ステーション１２５−１、ＶＭＳ１５０、および／またはカメラ１１０−１は、オペレータの注視エリアの外側にあるフレーム５２０のエリアに関連付けられたビデオストリームのエリアに対するビットレートを低減させることができる。

【0074】

図５Ｂはまた、オペレータ４０２の視点からのディスプレイ１３０を示している。しかしながら、図５Ａとは対照的に、図５Ｂのディスプレイ１３０は、多数のフレーム５２０−１〜５２０−Ｎ（個別に「フレーム５２０」、または複数の「フレーム５２０」）を示している。各フレーム５２０−１〜５２０−Ｎは、異なるビデオストリームを提示することができるので、オペレータ４０２は複数のエリアを監視することができる。異なるストリームは、異なるカメラ１１０−１〜１１０−Ｍによって生成され得る。他の実施形態では、各フレーム５２０−１〜５２０−Ｎは、オペレータの前に配置された異なるディスプレイ１３０（例えば、壁面上、オペレータの前で円弧状、等）に表示することができる。代替的または追加的に、各フレーム５２０−１〜５２０−Ｎは、共通のカメラ１１０−ｘによって生成された異なるストリームを表示することができる。例えば、カメラ１１０−ｘは、「魚眼」レンズを使用し、拡張された角度エリアからビデオを取り込むことができる。ビデオは、魚眼レンズによって導入された歪みを低減して、フレーム５２０−１から５２０−Ｎに別々に提示することができる異なるエリアに対応する別々のビデオストリームに、拡張された角度エリアを分離するように処理することができる。図５Ａと同様に、図５Ｂのディスプレイ１３０は、注視点４１０、中心窩視野エリア４２０、および周辺視野エリア４３０を含む。

【0075】

この例では、フレーム５２０−１は、エリア１０６−１のカメラ１１０−１からのビデオストリームを示すことができ、ビデオフレーム５２０−２は、エリア１０６−２のカメラ１１０−２からのビデオストリームを示すことができる。図５Ｂ内のオペレータ４０２の中心窩視野エリア４２０は、フレーム５２０−１の大部分を包含し、注視点４１０は個人の顔に近い。フレーム５２０に表示されるドアはまた、中心窩視野エリア４２０にある。他方、他のフレーム５２０−２〜５２０−Ｎは、オペレータ４０２の周辺視野エリア４３０にある。注視点４１０および／または中心窩視野エリア４２０の位置は、他のフレーム５２０とは異なる可能性のある後続の処理のために特定のフレーム５２０−ｘを選択および／または指定するために使用することができる。例えば、図５Ｂに示すように、注視点４１０を使用して、そのフレーム５２０−１がオペレータにとって関心のあるフレームであることを示すために使用することができる。したがって、ビデオ監視システムは、フレーム５２０−１におけるビデオストリームの提示を改善するために、フレーム５２０−１により多くのリソース（例えば、帯域幅および／または処理リソース）を割り当てることができ、オペレータの焦点（例えば、周辺視覚内）ではないフレームに対応する他のストリームに割り当てられたリソースを低減させることができる。

【0076】

図６は、カメラ１１０、ディスプレイ１３０、およびＶＭＳ１５０の機能的コンポーネントの図である。カメラ１１０の機能的コンポーネントは、例えば、メモリ２４５に格納された命令を実行するコントローラ２４０を介して実装することができる。あるいはまた、カメラ１１０に含まれる一部または全部の機能的コンポーネントは、配線接続された回路を介して実装することができる。ディスプレイ１３０および／またはＶＭＳ１５０の機能的コンポーネントは、例えば、メモリ３３０に格納された命令を実行するプロセッサ３２０を介して実装することができる。あるいはまた、ディスプレイ１３０および／またはＶＭＳ１５０に含まれる一部または全部の機能的コンポーネントは、配線接続された回路を介して実装することができる。

【0077】

図６に示されるように、カメラ１１０は、センサアレイマネージャ６１０、画像プロセッサ６２０、エンコーダ６３０、およびクライアントインターフェース６４０を含んでもよく、監視ステーション１２５は、デコーダ６５０およびディスプレイインターフェース６６０を含んでもよく、ＶＭＳ１５０は、アイトラッカーインターフェース６７０、リソースマネージャ６８０、カメラデータベース（ＤＢ）６８５、およびカメラインターフェース６９０を含んでもよい。

【0078】

カメラ１１０からのビデオストリームは、ディスプレイ１３０への以下の処理経路に従うことができる。センサアレイマネージャ６１０は、センサアレイ２２０にビデオストリームの画像のセットを取り込むように命令する。画像プロセッサ６２０は、取り込まれた画像に画像処理（例えば、ノイズ低減動作および／またはスケーリング動作）を実行することができる。次に、エンコーダ６３０は、コーデック（例えば、ＭＰＥＧ−４など）を使用して画像を圧縮することができる。次に、クライアントインターフェース６４０は、符号化された画像をコンテナ（例えば、ＭＰＥＧ−４Ｐａｒｔ１４（ＭＰ４）など）にカプセル化し、ネットワーク１２０を介してデータユニットを介して監視ステーション１２５にコンテナ化された符号化された画像を送信してディスプレイ１３０に表示することができる。デコーダ６５０は、コンテナから符号化された画像を取り出すことができ、画像を復号し、復号された画像をディスプレイインターフェース６６０に提供することができる。ディスプレイインターフェース６６０は、復号された画像をバッファ内に格納することができ、ディスプレイ１３０上にビデオストリームとしてバッファからの復号された画像をストリーミングすることができる。

【0079】

リソースマネージャ６８０は、環境１００に関連付けられたリソースを管理することができる。例えば、リソースマネージャ６８０は、ネットワーク１２０を介してカメラ１１０から監視ステーション１２５および関連付けられたディスプレイ１３０へのデータの送信に関連付けられたネットワークリソース、および／またはカメラ１１０、監視ステーション１２５、および／またはディスプレイ１３０に関連付けられたプロセッサおよびメモリリソースを管理することができる。リソースマネージャ６８０は、オペレータの注視エリアの外側にあるビデオストリームの領域に対して、カメラ１１０からディスプレイ１３０へのビデオストリームに関連付けられたビットレートを低減させるようにカメラ１１０に命令することができる。アイトラッカーインターフェース６７０は、アイトラッカー１４０と通信するように構成されてもよい。例えば、アイトラッカーインターフェース６７０は、アイトラッカー１４０に関連付けられた特定のＡＰＩ（Application Programming Interface）を使用してアイトラッカー１４０から特定のビデオストリームに関連付けられた注視エリアを特定する情報を取得することができる。

【0080】

リソースマネージャ６８０は、アイトラッカーインターフェース６７０を介してアイトラッカー１４０から注視エリア情報を収集することができ、カメラＤＢ６８５内に格納された情報に基づいて１以上のビットレート低減係数を決定することができ、１以上のビットレート低減係数をビデオストリームの１以上の領域に適用するように１以上のカメラ１１０に命令することができる。カメラＤＢ６８５は、特定のカメラ１１０に関する情報を格納することができる。カメラＤＢ６８５内に格納可能な例示的な情報については、図７を参照して後述する。カメラインターフェース６９０は、カメラ１１０と通信するように構成されてもよく、リソースマネージャ６８０からカメラ１１０に関連付けられた特定のＡＰＩを介して命令を送信してもよい。

【0081】

センサアレイマネージャ６１０は、１以上のセンサアレイパラメータを格納、管理、および／または適用することができる。例えば、センサアレイマネージャ６１０は、センサアレイ２２０内の特定のセンサをオンにするべきかオフにするべきか、特定のセンサ用のサンプリングレート、特定のセンサ用の感度係数、および／または他のタイプのセンサパラメータを支配するパラメータを格納することができる。さらに、センサアレイマネージャ６１０は、センサアレイ２２０によって取り込まれた画像のタイプを判定するために、センサアレイ２２０のための１以上の設定を格納することができる。例えば、第１の設定は、通常の画像に対応することができ、第２の設定は、広角またはパノラマ画像に対応することができ、第３の設定は、低い照明設定に対応することができるなどである。センサアレイマネージャ６１０は、ＶＭＳ１５０によって決定された注視エリア情報に基づいて、センサアレイ２２０の領域におけるビットレートを調整するために、ＶＭＳ１５０からの命令を受信して、格納されたパラメータのうちの１以上を調整することができる。

【0082】

画像プロセッサ６２０は、１以上の画像処理パラメータを格納、管理、および／または適用することができる。例えば、画像プロセッサ６２０は、ノイズ低減プロセス（例えば、ローパスフィルタ）に関連するパラメータ、スケーリング処理に関連するパラメータ、および／またはビデオストリームの領域に関連付けられたビットレートを変化させるのに使用することができる他のタイプの画像処理パラメータを格納することができる。画像プロセッサ６２０は、ＶＭＳ１５０によって決定された注視エリア情報に基づいてビデオストリームの領域におけるビットレートを調整するために、格納されたパラメータのうちの１以上を調整するためのＶＭＳ１５０からの命令を受信することができる。

【0083】

エンコーダ６３０は、イントラフレーム符号化パラメータおよびインターフレーム符号化パラメータを含む１以上の符号化パラメータを格納、管理、および／または適用することができる。例えば、エンコーダ６３０は、ビデオストリームの特定の領域および／または物体に対する量子化パラメータ（ＱＰ）を格納し、離散コサイン変換（ＤＣＴ）のための係数のセット、予測誤差パラメータのＭＡＤ（Mean Absolute Difference）、および／または他の符号化パラメータを格納することができる。エンコーダ６３０は、ＶＭＳ１５０によって決定された注視エリア情報に基づいてビデオストリームの領域におけるビットレートを調整するために、格納された符号化パラメータの１以上を調整するために、ＶＭＳ１５０からの命令を受信することができる。

【0084】

クライアントインターフェース６４０は、１以上の画像送信パラメータを格納、管理、および／または適用することができる。例えば、クライアントインターフェース６４０は、サービスの質（ＱｏＳ）パラメータを格納することができる。クライアントインターフェース６４０は、ＶＭＳ１５０によって決定された注視エリア情報に基づいてビデオストリームの領域におけるビットレートを調整するために、格納された符号化パラメータのうちの１以上を調整するためのＶＭＳ１５０からの命令を受信することができる。

【0085】

図６は、カメラ１１０、ディスプレイ１３０、およびＶＭＳ１５０の例示的な機能的コンポーネントを示しているが、他の実装では、カメラ１１０、ディスプレイ１３０、またはＶＭＳ１５０は、図６に示されたものよりも少ない機能的コンポーネント、異なる機能的コンポーネント、異なる配置の機能的コンポーネント、または追加の機能的コンポーネントを含んでもよい。また、カメラ１１０、ディスプレイ１３０、およびＶＭＳ１５０のコンポーネント（またはコンポーネントの任意のグループ）のうちの任意の１つは、カメラ１１０、ディスプレイ１３０、およびＶＭＳ１５０の１以上の他の機能的コンポーネントによって実行されるものとして説明された機能を実行することができる。

【0086】

図７は、図６のカメラデータベースの例示的なコンポーネントの図である。図７に示すように、カメラＤＢ６８５は、１以上のカメラレコード７０１を格納することができる。各カメラレコード７０１は、特定のカメラ１１０に関する情報を格納することができる。カメラレコード７０１は、カメラ識別子（ＩＤ）フィールド７１０、注視エリアフィールド７２０、勾配フィールド７３０、およびビットレート低減フィールド７４０を含んでもよい。

【0087】

カメラＩＤフィールド７１０は、特定のカメラ１１０に関連付けられた１以上のＩＤを格納することができる。例えば、カメラＩＤは、特定のカメラ１１０に対するメディアアクセスコントロール（ＭＡＣ）アドレス、特定のカメラ１１０に対するインターネットプロトコル（ＩＰ）アドレス、ＶＭＳ１５０によって特定のカメラ１１０に割り当てられた名前、および／または別のタイプのＩＤを格納することができる。さらに、カメラＩＤフィールド７１０は、特定のカメラ１１０に対する製造・モデル情報および／または特定のカメラ１１０にインストールされたソフトウェアバージョンを格納することができる。また、カメラＩＤフィールド７１０は、ＶＭＳ１５０が特定のカメラ１１０との安全な接続を確立することを可能にする、特定のカメラ１１０に対する認証情報を含んでもよい。

【0088】

注視エリアフィールド７２０は、特定のカメラ１１０に対して現在または最近特定された注視エリアを特定する情報を含んでもよい。例えば、注視エリアフィールド７２０は、注視点４１０、中心窩視野エリア４２０、および／または別の指定された注視エリアを特定することができる。さらに、注視エリアフィールド７２０は、特定のカメラ１１０に関連付けられたビデオストリームに対する注視エリアに関連付けられた履歴情報を含んでもよい。履歴注視エリア情報（historical gaze area information）は、例えば、特定のカメラ１１０に関連付けられたビデオストリームに対する注視軌跡を予測するために使用されることができる。

【0089】

勾配フィールド７３０は、特定のカメラ１１０に関連付けられたビットレート低減係数勾配を特定する情報を格納することができる。例えば、勾配フィールド７３０は、可能な勾配のセットを格納してもよく、可能な勾配のセットから選択されたまたはアクティブな勾配を特定する指標を格納してもよい。勾配は、１以上のビットレート低減係数（例えば、注視エリアの縁部から、注視エリアの縁部からある設定距離までの第１の領域に対する第１のビットレート低減係数、および設定距離からディスプレイの縁部までの第２の領域に対する、第１のビットレート低減係数よりも高い第２のビットレート低減係数）によって定義することができる。別の一例として、勾配は、注視エリアの縁部からディスプレイの縁部まで線形に減少するビットレート低減係数を定義することができる。さらに別の一例として、勾配は、非線形に減少するビットレート低減係数（例えば、指数関数的に減少するビットレート低減係数、対数的に減少するビットレート低減係数など）を定義することができる。

【0090】

さらに、勾配フィールド７３０は、ビットレートを調整するための追加の命令および／または仕様を含んでもよい。さらなる例として、勾配フィールド７３０は、注視エリアがディスプレイの外側にある場合、ビデオストリーム全体に対してビットレートを減少させるべきであることを特定することができる。別の一例として、勾配を生成することは、注視エリアにおけるビデオストリームのビットレートを増加させるようにカメラに命令することを含んでもよい。さらに別の一例として、注視軌跡は、注視エリアが領域内に移動していることを示す場合に、勾配フィールド７３０は、ビットレートが低減された領域におけるビットレートを増加するように特定することができる。

【0091】

ビットレート低減フィールド７４０は、特定の状況において適用されるべき１以上のビットレート低減係数を特定することができる。さらに、ビットレート低減フィールド７４０は、特定のカメラ１１０に関連付けられたビデオストリームに現在適用されている１以上のビットレート低減係数を特定することができる。例えば、ビットレート低減フィールド７４０は、１以上のセンサアレイマネージャ６１０パラメータ、１以上の画像プロセッサ６２０パラメータ、１以上のエンコーダパラメータ、および／または１以上のクライアントインターフェース６４０パラメータを特定することができる。エンコーダパラメータは、ビットレートに影響を与えるように調整することができる異なる標準符号化プロファイルを含んでもよい。例えば、Ｈ．２６４ビデオ符号化規格を使用する場合、選択可能な符号化プロファイルには、Baseline，Extended，Main，High，High １０、High ４：２：２、およびHigh ４：４：４ Predictiveが含まれる。追加的または代替的に、より低いレベルの符号化パラメータを調整して、ビットレートをさらに調整してもよい。例えば、ＭＰＥＧ符号化規格に対して、量子化スケーリング行列を選択して、符号化されたイントラフレームに対するビットレートを低減させるために量子化を増加させてもよい。さらに、変化閾値レベルを調整して、符号化されたインターフレームに対する圧縮率を変更してもよい。例えば、Ｐフレームおよび／またはＢフレームを符号化するときに、動きのための閾値を上げてもよく、こうして符号化されたビデオストリームに対してビットレートを下げるより少ない変化が符号化される。

【0092】

図８は、本明細書に記載される一実装に係る注視エリアに基づいてビットレートを制御するプロセスのフローチャートである。１つの実装では、図８のプロセスは、ＶＭＳ１５０によって実行することができる。他の実装では、図８のプロセスの一部または全部は、ＶＭＳ１５０とは別個の、および／またはＶＭＳ１５０を含む別の装置または装置のグループ（例えば、カメラ１１０および／または監視ステーション１２５）によって実行され得る。

【0093】

図８のプロセスは、カメラからビデオストリームを受信すること（ブロック８１０）と、ビデオストリームをディスプレイ上に表示すること（ブロック８２０）と、を含んでもよい。例えば、オペレータは、監視ステーション１２５および／またはディスプレイ１３０に関連付けられたコンピュータ装置にログインすることができ、１以上のカメラ１１０を構成するためにＶＭＳ１５０にログインすることができる。ＶＭＳ１５０は、監視エリア１０６のビデオストリームをディスプレイ１３０に提供するようにカメラ１１０を構成してもよく、ディスプレイ１３０は、カメラ１１０からビデオストリームデータを受信し続け、ビデオストリームデータを表示し続けることができる。

【0094】

注視エリアを特定する情報は、ディスプレイを見ているユーザおよび／またはオペレータに対して取得することができる（ブロック８３０）。例えば、アイトラッカー１４０は、注視点４１０および／または中心窩視野エリア４２０を決定するためにユーザの目を監視し、決定された注視点４１０および／または中心窩視野エリア４２０に基づいて注視エリアを決定することができる。決定された注視エリアを特定する情報は、ＶＭＳ１５０のリソースマネージャ６８０に提供することができる。あるいはまた、アイトラッカー１４０からの生データをＶＭＳ１５０に提供することができ、ＶＭＳ１５０は生データに基づいて注視エリアを決定することができる。

【0095】

勾配は、注視エリアからディスプレイの縁部に向かって生成することができる（ブロック８４０）。例えば、リソースマネージャ６８０は、カメラ１１０に関連付けられたビデオストリームに対して勾配を生成することができる。勾配フィールド７３０からの特定の勾配は、１以上のパラメータに基づいて選択することができる。一例として、低いネットワーク負荷の時間の間に、より控えめな勾配（例えば、注視エリアの縁部からディスプレイの縁部に向かって線形に減少するビットレート低減係数）を選択することができ、高いネットワーク負荷の時間の間に、（例えば、注視エリアの外側のすべての領域に対してビットレート低減係数を適用する）より厳しい勾配を選択することができる。別の一例として、特定のカメラ１１０には重要度が割り当てられ、より高い重要度に関連付けられた第１のカメラ１１０には、より低い重要度に関連付けられた第２のカメラ１１０よりも控えめな勾配を割り当てることができる。さらに別の一例として、異なるユーザおよび／または監視ステーション１２５に重要度が割り当てられ、勾配が割り当てられた重要度に基づいて選択されてもよい。

【0096】

生成された勾配に基づいて、注視エリアの外側のビデオストリームのビットレートを減少させるようにカメラに命令することができる（ブロック８５０）。例えば、ＶＭＳ１５０は、特定のカメラ１１０に対してビットレート低減フィールド７４０から、１以上のビットレート低減係数（例えば、センサアレイビットレート低減係数、画像処理ビットレート低減係数、符号化ビットレート低減係数、および／または画像送信ビットレート低減係数）を選択することができる。一例として、ＶＭＳ１５０は、ビデオストリームの領域に関連付けられたセンサアレイ２２０内のセンサのサブセットのサンプリングレートを調整するように、ビデオストリームの領域をダウンサンプリングする（例えば、解像度を低下させる）ように、ビデオストリームの領域におけるノイズ低減プロセスを増加させるように、符号化圧縮パラメータを増加させるように、および／またはビデオストリームの領域においてビットレートを低減させることができる別のパラメータを調整するように選択することができる。

【0097】

特定のビットレート低減係数は、１以上のパラメータに基づいて選択することができる。一例として、ビットレート低減係数は、ビデオストリームに関連付けられた特定のカメラ１１０の製造元およびモデルに基づいて選択することができる。別の一例として、ビットレート低減係数は、予測されたビットレートの低減に基づいて（例えば、特定のカメラ１１０の履歴データに基づいて）選択することができ、最も高い予測されたビットレート低減に関連付けられたビットレート低減係数が選択されてもよい。さらに別の一例として、ビットレート低減係数は、ユーザによって選択された手動設定に基づいて選択されてもよい。別の一例では、ビットレートの低減は、シーンのコンテンツおよび／または検出された物体と関連付けてもよい。

【0098】

図９Ａ〜図９Ｃは、本明細書に記載された１以上の実装に係る例示的なビットレート低減シナリオの図である。図９Ａは、ディスプレイ１３０上の第１の例示的なビットレート低減シナリオ９０１を示している。図９Ａに示されるように、中心窩視野エリア４２０として指定された注視エリアは、ディスプレイ１３０の右下隅にある。勾配は、第１のビット低減エリア９１０および第２のビット低減エリア９２０によって設定することができる。第１のビット低減エリア９１０は、中心窩視野エリア４２０の縁部から設定距離まで延びるものとして定義することができる。設定距離は、例えば、動きを検出する可能性が高い周辺視野エリアに基づいて決定することができる。別の一例として、設定距離は、中心窩視野エリア４２０の縁部からディスプレイ１３０の縁部に向かう距離のパーセンテージ（例えば、縁部までの距離の３０％、縁部までの距離の５０％など）に対応することができる。第２のビット低減エリア９２０は、設定距離からディスプレイ１３０の縁部に向かってより遠くに延びるものとして定義することができる。

【0099】

第１のビット低減エリア９１０は、第１のビットレート低減係数に関連付けることができ、第２のビット低減エリア９２０は、第１のビットレート低減係数よりも高い第２のビットレート低減係数に関連付けることができる。したがって、第２のビット低減エリア９２０は、低ビットレートで低品質ビデオストリームを提供することができ、第１のビット低減エリア９１０は、より高い品質およびビットレートでビデオストリームを提供することができ、中心窩視野エリア４２０は、ビットレートが公称ビデオ圧縮レートから低減されていない高品質ビデオストリームを提供することができる。いくつかの実装では、（例えば、圧縮値を下げることによって、ノイズ低減を低減させることによって、センサのサブセットのサンプリングレートを増加することなどによって）中心窩視野エリア４２０内のビットレートを増加させることができる。

【0100】

図９Ｂは、ディスプレイ１３０上の第２の例示的なビットレート低減シナリオ９０２を示す。図９Ａに示されるように、中心窩視野エリア４２０として指定される注視エリアは、再び、ディスプレイ１３０の右下隅に存在する。中心窩視野エリア４２０からディスプレイ１３０の縁部に向かってビットレート低減係数を線形に増加させることを含む勾配を設定することができる。領域９３０、９３２、９３４、９３６、９３８、９４０、および９４２は、ビットレート低減係数を増加させること、に関連しており、したがってビットレートおよびビデオ品質を減少させることに関連付けることができる。

【0101】

図９Ｃは、ディスプレイ１３０上の第３の例示的なビットレート低減シナリオ９０３を示す。シナリオ９０３では、高いビットレート低減係数を使用して、中心窩視野エリア４２０の外側のエリア９５０に対するビットレートが低減される。ビットレートが低減された後、注視エリアは、軌跡９６０が前の注視エリア９７０から現在の注視エリア９８０に確立されるときに変化し始める。軌跡９６０は、領域９９０に対応する注視エリアの将来の軌跡を予測するために使用することができる。これに応答して、領域９９０内のビットレートの低減は、注視エリアに関連付けられた高いビットレートまで低減されたビットレートを戻して増加させることによって取り除くことができる。したがって、ユーザの注視は、領域９９０に降り注ぐと予想され、ビットレートは、ユーザの注視が領域９９０に到達する前に領域９９０内で増加させることができる。これにより、オペレータの注視が領域９９０に当たるときと、ユーザが領域９９０内で高品質ビデオストリームを見ることができるときとの間の遅延時間または待ち時間を防ぐことができる。軌跡は、注視エリア９７０の以前の軌道を記憶する追跡アルゴリズムを使用して予測することができ、注視エリア９７０の動きの将来の変化を予測するために統計技術を使用することができる。一実施形態では、ビデオストリーム内の認識された物体間の相関は、注視エリア９７０の予測される動きの決定に影響する可能性がある。例えば、関心のある物体は、ユーザの注意を引き付けることが期待できるので、関心のある物体の外観および／または関心のある物体の軌跡は、注視エリア９７０の予測される軌跡の計算に影響を及ぼす可能性がある。

【0102】

この出願は、本特許出願と同日に出願された以下の特許出願を参照として本明細書に援用する。２０１６年１２月３０日に出願された「注視ヒートマップ（Gaze Heat Map）」と題された米国特許出願第１５／３９５，８９３号（代理人整理番号Ｐ１６００８５／ＵＳ（００９０−００１８）、２０１６年１２月３０日に出願された「ビデオ管理システムにおける注視に基づく警報マスキング（Alarm Masking Based on Gaze IN Video Management System）」と題された米国特許出願第１５／３９５，４０３号（代理人整理番号Ｐ１６０１９１（００９０−００２３））、および２０１６年１２月３０日に出願された「注視に基づくブロックレベルフレームレート制御（Block Level Frame Rate Control Based on Gaze）」と題された米国特許出願第５／３９５，７９０号（代理人整理番号Ｐ１６０１９３（００９０−００２４））。

【0103】

以上、様々な好ましい実施形態について、添付図面を参照して説明してきた。しかしながら、特許請求の範囲に記載された本発明のより広い範囲から逸脱することなく、様々な修正および変更を行うことができ、追加の実施形態が実施可能であることは明らかであろう。したがって、本明細書および図面は、限定的ではなく例示的な意味で考慮されるべきである。

【0104】

例えば、図８に関して一連のブロックを説明してきたが、ブロックの順序は、他の実装で変更することができる。また、依存していないブロックおよび／または信号フローは、並行して実行することができる。

【0105】

上述したようなシステムおよび／または方法は、図に示す実装において、ソフトウェア、ファームウェア、およびハードウェアの多くの異なる形態で実施することができることは明らかであろう。これらのシステムおよび方法を実施するために使用される実際のソフトウェアコードまたは特殊化された制御ハードウェアは、本実施形態を限定するものではない。したがって、システムおよび方法の動作および挙動は、特定のソフトウェアコードを参照することなく説明された。すなわち、ソフトウェアおよび制御ハードウェアは、本明細書の記載に基づいてシステムおよび方法を実施するように設計可能であることが理解される。

【0106】

さらに、上述の特定の部分は、１以上の機能を実行するコンポーネントとして実装されてもよい。本明細書で使用されるコンポーネントは、ハードウェア（例えば、プロセッサ、ＡＳＩＣ、またはＦＰＧＡ）またはハードウェアとソフトウェアの組み合わせ（例えば、ソフトウェアを実行するプロセッサ）を含んでもよい。本明細書で使用される「例示的」という用語は、「例示のための一例として」を意味する。

【0107】

本明細書中で使用される場合、用語「含む（comprises）」および「含む（comprising）」は、記載された構成、整数、工程、またはコンポーネントの存在を特定するものと解釈されるが、１以上の他の構成、整数、工程、コンポーネント、またはそれらのグループの存在または追加を除外しない。

【0108】

本明細書で使用される用語「ロジック」は、１以上のメモリデバイス内に格納された命令を実行するように構成された１以上のプロセッサの組み合わせを指すことができる、ハードウェア回路を指すことができる、および／またはそれらの組み合わせを指すことができる。さらに、ロジックは、単一のデバイス内に含まれることができる、または複数の（場合によっては遠隔の）デバイスに分散させることができる。

【0109】

本発明を説明および定義する目的で、本明細書では、「実質的に」という用語は、定量的な比較、値、測定値、または他の表現に起因する可能性のある不確実性の固有の程度を表すために利用される。「実質的に」という用語はまた、本明細書では、定量的表現が、問題の主題の基本機能に変化をもたらすことなく、記載された基準から変動する程度を表すためにも利用される。

【0110】

本出願で使用されている要素、動作、または命令は、本実施形態にとって重大であるまたは必須であるとは、そのように明示的に記載されていない限り、解釈されるべきではない。また、本明細書で使用する場合、冠詞「a」は、１以上の項目を含むことを意図している。さらに、「に基づいて」というフレーズは、特に断りのない限り、「少なくとも部分的に基づいて」を意味することを意図している。

【符号の説明】

【0111】

１１０ カメラ
１３０ ディスプレイ
６２０ 画像プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】