(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024053543
(43)【公開日】2024-04-15
(54)【発明の名称】カメラ情報のハンドオーバ
(51)【国際特許分類】
H04N 19/107 20140101AFI20240408BHJP
H04N 19/174 20140101ALI20240408BHJP
H04N 19/139 20140101ALI20240408BHJP
H04N 23/45 20230101ALI20240408BHJP
H04N 23/60 20230101ALI20240408BHJP
【ＦＩ】
H04N19/107
H04N19/174
H04N19/139
H04N23/45
H04N23/60
H04N23/60 500
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023166624
(22)【出願日】2023-09-28
(31)【優先権主張番号】22199361
(32)【優先日】2022-10-03
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】502208205
【氏名又は名称】アクシス アーベー
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】ケスキカンガス， アクセル
(72)【発明者】
【氏名】ユアン， ソン
(72)【発明者】
【氏名】エドパルム， ヴィクトル
【テーマコード（参考）】
5C122
5C159
【Ｆターム（参考）】
5C122EA69
5C122FA18
5C122FH08
5C122FH09
5C122FH23
5C122HA40
5C122HB01
5C159MA04
5C159MA05
5C159NN41
5C159PP05
5C159PP06
5C159PP28
5C159PP29
5C159RC11
5C159RC17
5C159SS11
5C159TA18
5C159TB06
5C159TC13
5C159TC32
5C159TC34
5C159UA02
5C159UA05
5C159UA11
(57)【要約】 （修正有）
【課題】カメラ、非一時的コンピュータ可読記憶媒体および物体が第２のカメラの視野に現れる前に１つまたは複数のアクションを実施するようにカメラシステムにおける第２のカメラをトリガする方法を提供する。
【解決手段】位置及び視野が既知である第２のカメラ及び位置が既知である少なくとも第１のデバイスを含むカメラシステムにおいて、方法は、第２のカメラ内で、物体が視野に接近していることを示す情報を受信することを含む。受信した情報は、物体の位置及び移動方向を示す第１のデバイスからの情報に基づく方法はまた、受信した情報に応答して、物体が第２のカメラの視野に現れる前に以下のアクション、即ち、イントラフレームを生成するか又はイントラリフレッシュ手順を開始することと、画像処理パラメータを調整することと、露光時間を調整することの１つ以上を実施するように第２のカメラをトリガすることと、を含む。
【選択図】図２
【解決手段】位置及び視野が既知である第２のカメラ及び位置が既知である少なくとも第１のデバイスを含むカメラシステムにおいて、方法は、第２のカメラ内で、物体が視野に接近していることを示す情報を受信することを含む。受信した情報は、物体の位置及び移動方向を示す第１のデバイスからの情報に基づく方法はまた、受信した情報に応答して、物体が第２のカメラの視野に現れる前に以下のアクション、即ち、イントラフレームを生成するか又はイントラリフレッシュ手順を開始することと、画像処理パラメータを調整することと、露光時間を調整することの１つ以上を実施するように第２のカメラをトリガすることと、を含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
物体が第２のカメラの視野に現れる前に１つまたは複数のアクションを実施するように前記第２のカメラをトリガするための方法であって、前記第２のカメラは、前記第２のカメラおよび少なくとも第１のデバイスを含むカメラシステム内に配置され、前記第２のカメラについて位置および視野が既知であり、前記第１のデバイスについて位置が既知であり、前記方法は、
前記第２のカメラ内で、前記物体が前記第２のカメラの前記視野に接近していることを示す情報を受信することであって、受信した前記情報は、前記物体の位置および移動方向を示す前記第１のデバイスからの情報に基づく、受信することと、
前記受信した情報に応答して、前記物体が前記第２のカメラの前記視野に現れる前に以下のアクション、即ち、
イントラフレームを生成すること、またはイントラリフレッシュ手順を開始すること、および
１つまたは複数の画像処理パラメータを調整すること
の１つ以上を実施するように前記第２のカメラをトリガすることと、
を含む、方法。
前記第２のカメラ内で、前記物体が前記第２のカメラの前記視野に接近していることを示す情報を受信することであって、受信した前記情報は、前記物体の位置および移動方向を示す前記第１のデバイスからの情報に基づく、受信することと、
前記受信した情報に応答して、前記物体が前記第２のカメラの前記視野に現れる前に以下のアクション、即ち、
イントラフレームを生成すること、またはイントラリフレッシュ手順を開始すること、および
１つまたは複数の画像処理パラメータを調整すること
の１つ以上を実施するように前記第２のカメラをトリガすることと、
を含む、方法。
【請求項2】
前記受信した情報は、前記物体が前記第２のカメラの前記視野に現れると推定される時間をさらに示す、請求項１に記載の方法。
【請求項3】
前記受信した情報は、前記物体が最初に現れると推定される前記第２のカメラの前記視野のサブエリアをさらに示す、請求項１または２に記載の方法。
【請求項4】
イントラフレームを生成すること、またはイントラリフレッシュ手順を開始することは、前記物体が最初に現れると推定される前記第２のカメラの前記視野の前記サブエリアに対応しない前記第２のカメラの画像フレームのサブエリアの第１のイントラリフレッシュと、次いで、前記物体が最初に現れると推定される前記第２のカメラの前記視野の前記サブエリアに対応する前記第２のカメラの画像フレームのサブエリアのイントラリフレッシュとを含む、請求項３に記載の方法。
【請求項5】
１つまたは複数の画像処理パラメータを調整することは、前記物体が最初に現れると推定される前記第２のカメラの前記視野の前記サブエリアに対応する前記第２のカメラの画像フレームのサブエリア内で局所的に実施される、請求項３または４に記載の方法。
【請求項6】
１つまたは複数の画像処理パラメータを調整することは、前記物体が最初に現れると推定される前記第２のカメラの前記視野の前記サブエリアに対応する前記第２のカメラの画像フレームのサブエリア内の低光ノイズフィルタリングを低減することを含む、請求項３～５のいずれか一項に記載の方法。
【請求項7】
１つまたは複数の画像処理パラメータを調整することは、
パラメータ最適化のための開始値として前記１つまたは複数の画像処理パラメータをそれぞれの中間値に設定すること、
背景セグメンテーションのための閾値を低減すること、および
背景と前景との間の分割を除去し、続いて前記物体が前記第２のカメラの前記視野に現れるとき、前記画像フレームのどの部分が前記背景に属し、どの部分が前記背景に属するかを識別すること
の１つ以上を含む、請求項１～６のいずれか一項に記載の方法。
パラメータ最適化のための開始値として前記１つまたは複数の画像処理パラメータをそれぞれの中間値に設定すること、
背景セグメンテーションのための閾値を低減すること、および
背景と前景との間の分割を除去し、続いて前記物体が前記第２のカメラの前記視野に現れるとき、前記画像フレームのどの部分が前記背景に属し、どの部分が前記背景に属するかを識別すること
の１つ以上を含む、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記受信した情報は、前記物体の速度をさらに示す、請求項１に記載の方法。
【請求項9】
１つまたは複数の画像処理パラメータを調整することは、前記物体の前記速度に基づいて、前記速度が高いほど時間的ノイズフィルタレベルが高くなるように、前記時間的ノイズフィルタレベルを設定することを含む、請求項８に記載の方法。
【請求項10】
前記受信した情報に応答して、前記物体が前記第２のカメラの前記視野に現れる前に以下のアクション、即ち、
露光時間を調整すること
をさらに実施するように前記第２のカメラをトリガすることをさらに含む、請求項１に記載の方法。
露光時間を調整すること
をさらに実施するように前記第２のカメラをトリガすることをさらに含む、請求項１に記載の方法。
【請求項11】
前記受信した情報は、前記物体が最初に現れると推定される前記第２のカメラの前記視野のサブエリアをさらに示し、露光時間を調整することは、前記物体が最初に現れると推定される前記第２のカメラの前記視野の前記サブエリアに対応する前記第２のカメラの画像フレームのサブエリア内で、前記物体が最初に現れると推定される前記第２のカメラの前記視野の前記サブエリアに対応しない前記第２のカメラの画像フレームのサブエリア内よりも短い露光時間を設定することを含む、請求項１０に記載の方法。
【請求項12】
前記受信した情報は、前記物体の速度をさらに示し、露光時間を調整することは、前記速度が高いほど前記露光時間が短くなるように、前記物体の前記速度に基づく、請求項９に記載の方法。
【請求項13】
前記第１のデバイスは、
第１のカメラ、
レーダ、および
ライダ
のうちの１つである、請求項１～１２のいずれか一項に記載の方法。
第１のカメラ、
レーダ、および
ライダ
のうちの１つである、請求項１～１２のいずれか一項に記載の方法。
【請求項14】
前記第１のデバイスは、第１のカメラであり、前記受信した情報は、前記第１のカメラのカラーバランス補正またはホワイトバランス補正をさらに含み、１つまたは複数の画像処理パラメータを調整することは、前記受信した情報に従ってカラーバランス補正またはホワイトバランス補正を設定することを含む、請求項１～１３のいずれか一項に記載の方法。
【請求項15】
少なくとも受信機、プロセッサ、およびエンコーダを有するカメラ内で実行されると、請求項１～１４のいずれか一項に記載の方法を実施するための命令を記憶している、非一時的コンピュータ可読記憶媒体。
【請求項16】
物体がカメラの視野に現れる前に１つまたは複数のアクションを実施するためのカメラであって、
前記カメラが前記カメラおよび少なくとも別のデバイスを含むカメラシステム内に配置され、前記カメラについて位置および視野が既知であり、前記別のデバイスについて位置が既知であるときに、前記物体が前記カメラの前記視野に接近していることを示す情報を受信するように構成された受信機であって、前記受信した情報は、前記物体の位置および移動方向を示す前記別のデバイスからの情報に基づく受信機と、
エンコーダと、
回路であって、前記受信した情報に応答して、前記物体が第２のカメラの視野に現れる前に以下のアクション、即ち、
イントラフレームを生成すること、またはイントラリフレッシュ手順を開始すること、および
１つまたは複数の画像処理パラメータを調整すること
の１つ以上を実施するように前記カメラをトリガするように構成されたトリガ機能を実行するように構成された回路と、
を備える、カメラ。
前記カメラが前記カメラおよび少なくとも別のデバイスを含むカメラシステム内に配置され、前記カメラについて位置および視野が既知であり、前記別のデバイスについて位置が既知であるときに、前記物体が前記カメラの前記視野に接近していることを示す情報を受信するように構成された受信機であって、前記受信した情報は、前記物体の位置および移動方向を示す前記別のデバイスからの情報に基づく受信機と、
エンコーダと、
回路であって、前記受信した情報に応答して、前記物体が第２のカメラの視野に現れる前に以下のアクション、即ち、
イントラフレームを生成すること、またはイントラリフレッシュ手順を開始すること、および
１つまたは複数の画像処理パラメータを調整すること
の１つ以上を実施するように前記カメラをトリガするように構成されたトリガ機能を実行するように構成された回路と、
を備える、カメラ。
【請求項17】
物体が第２のカメラの視野に現れる前に１つまたは複数のアクションを実施するように前記第２のカメラをトリガするための方法であって、前記第２のカメラは、前記第２のカメラおよび少なくとも第１のデバイスを含むカメラシステム内に配置され、前記第２のカメラについて位置および視野が既知であり、前記第１のデバイスについて位置が既知であり、前記方法は、
前記第２のカメラ内で、前記物体が前記第２のカメラの前記視野に接近していることを示す情報を受信することであって、受信した前記情報は、前記物体の位置および移動方向を示す前記第１のデバイスからの情報に基づき、前記受信した情報は、前記物体が最初に現れると推定される前記第２のカメラの前記視野のサブエリアをさらに示す、受信することと、
前記受信した情報に応答して、前記物体が前記第２のカメラの前記視野に現れる前に以下のアクション、即ち、
前記物体が最初に現れると推定される前記第２のカメラの前記視野の前記サブエリアに対応する前記第２のカメラの画像フレームのサブエリア内で、前記物体が最初に現れると推定される前記第２のカメラの前記視野の前記サブエリアに対応しない前記第２のカメラの画像フレームのサブエリア内よりも短い露光時間を設定することを含む、露光時間を調整すること
を実施するように前記第２のカメラをトリガすることと、
を含む、方法。
前記第２のカメラ内で、前記物体が前記第２のカメラの前記視野に接近していることを示す情報を受信することであって、受信した前記情報は、前記物体の位置および移動方向を示す前記第１のデバイスからの情報に基づき、前記受信した情報は、前記物体が最初に現れると推定される前記第２のカメラの前記視野のサブエリアをさらに示す、受信することと、
前記受信した情報に応答して、前記物体が前記第２のカメラの前記視野に現れる前に以下のアクション、即ち、
前記物体が最初に現れると推定される前記第２のカメラの前記視野の前記サブエリアに対応する前記第２のカメラの画像フレームのサブエリア内で、前記物体が最初に現れると推定される前記第２のカメラの前記視野の前記サブエリアに対応しない前記第２のカメラの画像フレームのサブエリア内よりも短い露光時間を設定することを含む、露光時間を調整すること
を実施するように前記第２のカメラをトリガすることと、
を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体がカメラの視野に現れる前にカメラを準備することに関し、具体的には、物体がカメラの視野に現れる前にカメラ内でアクションをトリガすることに関する。
【背景技術】
【0002】
１つまたは複数のカメラを含むカメラシステムでは、物体などの対象となる何かがいつカメラの視野に現れる可能性が高いかを予測することが有用であり得る。例えば、いくつかの建物における監視システムでは、部屋へのドアの開放は、カメラが部屋の一部を覆う場合に人が監視システムのカメラの視野に現れる可能性があることを示すことができる。このような場合、ドアが開いたことが検出されると、カメラからビデオの記録を開始することが知られている。さらに、２つ以上のカメラを備えるいくつかの先行技術のカメラシステムでは、追跡された物体に関する情報がカメラ間でハンドオーバされる。しかし、物体がカメラの視野に現れる前にカメラシステムのカメラを準備する際の改善が依然として必要とされている。
【発明の概要】
【0003】
本発明の目的は、物体がカメラの視野に現れる前にカメラシステムのカメラを準備する機能強化を容易にすることである。
【0004】
第１の態様によれば、物体が第２のカメラの視野に現れる前に１つまたは複数のアクションを実施するように第２のカメラをトリガするための方法が提供される。第２のカメラは、第２のカメラおよび少なくとも第１のデバイスを含むカメラシステムに配置される。第２のカメラについて位置および視野が既知であり、第１のデバイスについて位置が既知である。方法は、第２のカメラ内で、物体が第２のカメラの視野に接近していることを示す情報を受信することであって、受信した情報は、物体の位置および移動方向を示す第１のデバイスからの情報に基づく、受信することと、受信した情報に応答して、物体が第２のカメラの視野に現れる前に以下のアクション、即ち、ａ）イントラフレームを生成すること、またはイントラリフレッシュ手順を開始すること、ｂ）１つまたは複数の画像処理パラメータを調整すること、およびｃ）露光時間を調整することの１つ以上を実施するように第２のカメラをトリガすることと、を含む。
【0005】
「イントラリフレッシュ手順」とは、画像フレームのセットの各画像フレームが複数のサブエリアに分割され、複数のサブエリアの１つまたは複数のサブエリアが第１の画像フレームでイントラ符号化され、サブエリアのセットの異なる１つまたは複数のサブエリアが第２の画像フレームでイントラ符号化され、そして複数のサブエリアのすべてのサブエリアが画像フレームのセットにわたってイントラ符号化されるまで続く手順を意味する。
【0006】
「画像処理パラメータ」とは、画像フレームがカメラに取り込まれた後に画像フレームを処理するためのパラメータを意味する。そのような処理には、限定はしないが、カラーバランシング、ホワイトバランシング、低光ノイズフィルタリング、時間的ノイズフィルタリング、および背景セグメンテーションが挙げられる。
【0007】
「露光時間」とは、カメラで画像フレームを取り込む際にセンサが露光される時間を意味する。この時間は、センサを機械的に覆い、露光時間に対応する時間中に除去されるメカシャッタによって制御されてもよく、または露光時間に対応する時間中にセンサから読み出されたデータのみを使用することによってメカシャッタをエミュレートする電子シャッタによって制御されてもよい。露光時間は、典型的には、画像フレーム内のすべてのエリアで同じである。しかし、各々が別々の露光時間を有する画像フレームのセットを組み合わせて１つの画像フレームを作成してもよい。そのような画像の場合、異なるサブエリアが様々な画像フレームのセットからのデータを含むことができ、したがって異なる露光時間を有すると言うことができる。
【0008】
「物体が第２のカメラの視野に現れる前」とは、物体の任意の部分または一部が第２のカメラの視野に現れる前を意味する。
【0009】
第１のデバイスの位置ならびに第２のカメラの位置および視野は既知であるため、物体の位置および移動方向を示す第１のデバイスからの情報に基づいて、物体が第２のカメラの視野に接近していることを示す情報を第２のカメラで受信することができる。受信した情報を使用して、物体が第２のカメラの視野に現れる前に３つのアクションの１つ以上を実施するように第２のカメラをトリガすることによって、物体が第２のカメラの視野に入る際のシーンの変化への適合の向上が可能になる。
【0010】
物体が第２のカメラの視野に現れる前にイントラフレーム（Ｉフレーム）の生成をトリガすることによって、物体が第２のカメラの視野に現れる前に、ＰまたはＢフレームと比較してＩフレームのビット数の増加が誘導される。これは、物体が第２のカメラの視野に現れるときにＩフレームが符号化される場合よりも少ないビット数を有するＩフレームをもたらす。さらに、物体が第２のカメラの視野に現れるとき、これは、典型的にはそれらが含まれる符号化画像フレームのビット数を増加させるＩブロックを生成する必要性を増加させる。同様に、物体の移動はまた、一般に、符号化された画像フレームのビット数を増加させる。したがって、Ｉフレームの生成および第２のカメラの視野に現れる物体に起因する、また物体の移動に起因する画像フレームのビット数の増加は、複数の画像フレームにわたって広がることが可能であり、したがって画像フレームの最大サイズが縮小される。
【0011】
物体が視野に現れる前に画像処理パラメータおよび／または露光時間の調整をトリガすることによって、物体が第２のカメラの視野に現れる前に画像処理パラメータおよび／または露光の調整が可能になる。例えば、物体が移動しているという事実に対して調整が可能になる。さらに、例えばコントラスト、ノイズレベル、演色性、分解能などを調整することによって、処理を最適化する調整が可能になる。
【0012】
受信した情報は、物体が第２のカメラの視野に現れると推定される時間をさらに示すことができる。物体が第２のカメラの視野に現れると推定される時間を知ることによって、物体が第２のカメラの視野に現れる前に３つのアクションのうちの１つを実施するより良いタイミングを、物体が第２のカメラの視野に現れた後に検出された結果としてアクションのうちの１つのトリガが実行されるかどうかに関して達成することができる。
【0013】
受信した情報は、物体が最初に現れると予想される第２のカメラの視野のサブエリアをさらに示すことができる。サブエリアを知ることによって、１つまたは複数のアクションがサブエリアに対して実施され得る。
【0014】
次にイントラフレームを生成すること、またはイントラリフレッシュ手順を開始することは、物体が最初に現れると推定される第２のカメラの視野のサブエリアに対応しない第２のカメラの画像フレームのサブエリアの第１のイントラリフレッシュと、次いで、物体が最初に現れると推定される第２のカメラの視野のサブエリアに対応する第２のカメラの画像フレームのサブエリアのイントラリフレッシュとを含んでもよい。物体が最初に現れると推定される第２のカメラの視野のサブエリアに対応しない第２のカメラの画像フレームのサブエリアのイントラリフレッシュは、物体が第２のカメラの視野に最初に現れると推定される前に終了することができるように一度に開始される。次に、物体が最初に現れると推定される第２のカメラの視野のサブエリアに対応する第２のカメラの画像フレームのサブエリアのイントラリフレッシュが実施されて開始し、また任意選択で、物体がそのサブエリアに現れる直前に、物体がそのサブエリアに現れる時間に、またはその後短時間で終了する。物体がそのサブエリアに現れる直前に開始および終了した場合、物体が現れた時点でのそのサブエリアの符号化は、典型的には、そのサブエリアの少なくとも一部におけるＩブロックの符号化を必要とする。
【0015】
物体が第２のカメラの視野に現れる前に物体が最初に現れると推定される第２のカメラの視野のサブエリアに対応しない第２のカメラの画像フレームのサブエリアのイントラリフレッシュ、すなわちイントラ符号化をトリガすることによって、物体が第２のカメラの視野に現れる前に、通常のＰまたはＢフレームと比較してイントラリフレッシュによるビット数の増加が誘導される。これは、物体が第２のカメラの視野に現れるときに完全なＩフレームが符号化される場合よりも少ないビット数を有するフレームをもたらす。さらに、物体が第２のカメラの視野に現れるとき、これは、典型的にはそれらが含まれる符号化画像フレームのビット数を増加させるＩブロックを生成する必要性を増加させる。同様に、物体の移動はまた、一般に、符号化された画像フレームのビット数を増加させる。したがって、Ｉブロックの生成および第２のカメラの視野に現れる物体に起因する、また物体の移動に起因する画像フレームのビット数の増加は、複数の画像フレームにわたって広がることが可能であり、したがって画像フレームの最大サイズが縮小される。加えて、物体が最初に現れる第２のカメラの視野のサブエリアに対応するサブエリアは、物体が現れるときにＩブロックで更新されなければならないので、そのサブエリアのイントラリフレッシュ、すなわちイントラ符号化は、物体が現れた後まで延期され得る。このようにして、他のサブエリアがイントラ符号化される画像フレームのサイズは、完全なＩフレームに対して縮小することができる。
【0016】
追加的または代替的に、１つまたは複数の画像処理パラメータを調整すること、および／または露光時間を調整することは、物体が最初に現れると推定される第２のカメラの視野のサブエリアに対応する第２のカメラの画像フレームのサブエリア内で局所的に実施されてもよい。画像フレームのサブエリア内で局所的に１つまたは複数の画像処理を調整することおよび／または露光時間を調整することによって、物体に対してサブエリアにおける画像の向上が可能になる。例えば、サブエリアにおける１つまたは複数の画像処理パラメータ、および／または露光は、物体が移動しているという事実に対して、またはサイズ、色、物体タイプなどに関して受信したメタデータに対して調整することができる。
【0017】
追加的または代替的に、１つまたは複数の画像処理パラメータを調整することは、物体が最初に現れると推定される第２のカメラの視野のサブエリアに対応する第２のカメラの画像フレームのサブエリアにおける低光ノイズフィルタリングを低減することを含んでもよい。サブエリアにおける低光ノイズフィルタリングを低減することによって、サブエリアが低光のためにノイズが多い場合、物体がサブエリア内で見えないというリスクを低減することができる。
【0018】
追加的または代替的に、露光時間を調整することは、物体が最初に現れると推定される第２のカメラの視野のサブエリアに対応する第２のカメラの画像フレームのサブエリア内で、物体が最初に現れると推定される第２のカメラの視野のサブエリアに対応しない第２のカメラの画像フレームのサブエリア内よりも短い露光時間を設定することを含んでもよい。
【0019】
１つまたは複数の画像処理パラメータを調整することは、パラメータ最適化のための開始値として１つまたは複数の画像処理パラメータをそれぞれの中間値に設定すること、および背景セグメンテーションのための閾値を低減することの１つまたは複数を含んでもよい。１つまたは複数の画像処理パラメータをそれぞれの中間値に設定することによって、画像処理パラメータの値のより高速な最適化が可能になる。物体が第２のカメラの視野に現れる前に背景セグメンテーションにおいて前景として分類されるものに対する閾値を低減することによって、前景物体としての物体のより高速な検出が可能になる。物体が第２のカメラの視野に現れる前に閾値を低減することと背景マージを実施することの両方が、物体が前景として分類され、したがって検出またはマスキングに対して見落とされない可能性を高める。
【0020】
受信した情報は、物体の速度をさらに示すことができる。そして、露光時間を調整することは、速度が高いほど露光時間が短くなるように、物体の速度に基づいてもよい。追加的または代替的に、１つまたは複数の画像処理パラメータを調整することは、物体の速度に基づいて、速度が高いほど時間的ノイズフィルタレベルが高くなるように、時間的ノイズフィルタレベルを設定することを含んでもよい。
【0021】
第２のカメラは、アクションの２つ以上を実施するようにさらにトリガされてもよい。
【0022】
受信した情報は、物体のクラスをさらに示すことができる。
【0023】
第１のデバイスは、限定はしないが、第１のカメラ、レーダ、ライダ、サーマルカメラ、およびソナーセンサのうちの１つであってもよい。
【0024】
第１のデバイスが第１のカメラである場合、受信した情報は、第１のカメラのカラーバランス補正またはホワイトバランス補正をさらに含んでもよい。次に、１つまたは複数の画像処理パラメータを調整することは、受信した情報に従ってカラーバランス補正またはホワイトバランス補正を設定することを含む。
【0025】
第２の態様によれば、少なくとも受信機、プロセッサ、およびエンコーダを有するデバイスで実行されると、第１の態様による方法を実施するための命令を記憶している、非一時的コンピュータ可読記憶媒体が提供される。
【0026】
第３の態様によれば、物体がカメラの視野に現れる前に１つまたは複数のアクションを実施するように構成されたカメラが提供される。カメラは、カメラがカメラおよび少なくとも別のデバイスを含むカメラシステムに配置され、カメラについて位置および視野が既知であり、前記別のデバイスについて位置が既知であるときに、物体がカメラの視野に接近していることを示す情報を受信するように構成された受信機であって、受信した情報は、物体の位置および移動方向を示す別のデバイスからの情報に基づく受信機を備える。カメラは、エンコーダと、回路であって、受信した情報に応答して、物体が第２のカメラの視野に現れる前に以下のアクション、即ち、ａ）イントラフレームを生成すること、またはイントラリフレッシュ手順を開始すること、ｂ）１つまたは複数の画像処理パラメータを調整すること、およびｃ）露光時間を調整することの１つ以上を実施するようにカメラをトリガするように構成されたトリガ機能を実行するように構成された回路と、をさらに備える。
【0027】
第１の態様による方法の上述の任意選択の追加の特徴は、適用可能な場合、第３の態様によるカメラにも適用される。過度の繰り返しを回避するために、上記が参照される。
【0028】
本発明のさらなる適用範囲は、以下に与えられる詳細な説明から明らかになるであろう。しかし、本発明の範囲内の様々な変更および修正がこの詳細な説明から当業者に明らかになるので、詳細な説明および具体的な例は、本発明の好ましい実施形態を示しているが、単なる例示として与えられていることを理解されたい。
【0029】
したがって、本発明は、記載されたデバイスの特定の構成部品または記載された方法の動作に限定されず、そのようなデバイスおよび方法は変化し得ることを理解されたい。本明細書で使用される専門用語は、特定の実施形態のみを説明するためのものであり、限定することを意図するものではないことも理解されたい。本明細書および添付の特許請求の範囲で使用される場合、冠詞「ａ」、「ａｎ」、「ｔｈｅ」、および「ｓａｉｄ」は、文脈が明らかにそうでないことを指示しない限り、１つまたは複数の要素があることを意味することを意図していることに留意されたい。したがって、例えば、「ユニット（ａ ｕｎｉｔ）」または「ユニット（ｔｈｅ ｕｎｉｔ）」への言及は、いくつかのデバイスなどを含み得る。さらに、「備える」、「含む」、「含有する」という用語、および同様の言い回しは、他の要素またはステップを排除するものではない。
【0030】
次に、本発明の上記および他の態様は、添付の図を参照してより詳細に説明される。図は限定的であると見なされるべきではなく、説明および理解のために使用される。
【図面の簡単な説明】
【0031】
【図1】物体がカメラの視野に現れる前に１つまたは複数のアクションを実施するように構成されたカメラの実施形態に関する概略図である。
【図2】物体が第２のカメラの視野に現れる前に１つまたは複数のアクションを実施するように第２のカメラをトリガするための方法の実施形態に関するフローチャートである。
【図3】サブエリアへの画像フレームの分割の一例を示す図である。
【発明を実施するための形態】
【0032】
次に、本発明の現時点で好ましい実施形態が示されている添付の図面を参照して、本発明を以下に説明する。しかし、本発明は、多くの異なる形態で具現化されてもよく、本明細書に記載の実施形態に限定されると解釈されるべきではない。
【0033】
図１は、物体がカメラの視野に現れる前に１つまたは複数のアクションを実施するように構成されたカメラ１００（以下では第２のカメラ）の実施形態の概略ブロック図を示す。第２のカメラ１００は、第２のカメラ１００および少なくとも別のデバイスを含むカメラシステムに配置されてもよい防犯カメラまたは監視カメラなどの任意のタイプのカメラであってもよく、第２のカメラ１００について位置および視野が既知であり、前記別のデバイスについて位置が既知である。前記別のデバイスは、例えば別のカメラであってもよい。第２のカメラ１００は、例えばビデオの形態で一連の画像フレームを取り込み、各画像フレームは、第２のカメラ１００の視野によって定義されるシーンを描写する。
【0034】
第２のカメラ１００は、受信機１１０と、エンコーダ１２０と、回路１３０とを備える。カメラはまた、典型的には、画像センサ（図示せず）と、画像プロセッサ（図示せず）とを備える。
【0035】
受信機１１０は、第２のカメラ１００が第２のカメラ１００および少なくとも別のデバイスを含むカメラシステムに配置され、第２のカメラ１００について位置および視野が既知であり、前記別のデバイスについて位置が既知である場合、物体が第２のカメラ１００の視野に接近していることを示す情報を受信するように構成される。受信した情報は、物体の位置および移動方向を示す前記別のデバイスからの情報に基づく。
【0036】
エンコーダ１２０は、第２のカメラ１００の画像センサによって取り込まれた画像データをビデオストリームに符号化するように構成される。エンコーダ１２０によって出力されるビデオストリームは、符号化ビデオストリームと呼ばれることがある。典型的には、ビデオエンコーダ１２０は、イントラフレームとしてビデオストリームの画像フレームの一部を符号化し、インターフレームとしてビデオストリームの画像フレームの一部を符号化するように構成される。イントラフレームは、他のビデオフレームからの情報を復号化する必要がない符号化ビデオフレームである。したがって、イントラフレームは、対応するように設定されたビデオデータの画像フレームからの情報に基づいて符号化される。典型的には、画像フレーム内の類似性は、画像フレームをイントラフレームに符号化するために使用される。ビデオ符号化では、イントラフレームは、Ｉフレームと呼ばれることが多い。２つのイントラフレームの間のビデオストリームの画像フレームは、インターフレームとして符号化される。インターフレームは、対応するように設定されたビデオデータの画像フレーム以外の符号化対象の少なくとも１つの他の画像フレームからの情報に基づいて符号化される。インターフレームは、典型的には、イントラフレームよりも少ないデータを含む。ビデオ符号化では、インターフレームは、ＰフレームまたはＢフレームと呼ばれることが多い。Ｐフレームは、データ参照のための前のフレームを指す。したがって、Ｐフレームを復号化するためには、前のフレームのコンテンツを知らなければならない。Ｂフレームは、データ参照のための前のフレームと先のフレームの両方を指すことができる。したがって、Ｂフレームを復号化するためには、前のフレームと先のフレームの両方のコンテンツを知らなければならない。
【0037】
回路１３０は、第２のカメラ１００の機能を実行するように構成される。回路１３０は、中央処理装置（ＣＰＵ）、マイクロコントローラ、またはマイクロプロセッサなどのプロセッサ１３２を含むことができる。プロセッサ１３２は、プログラムコードを実行するように構成される。プログラムコードは、例えば第２のカメラ１００の機能を実行するように構成されてもよい。
【0038】
第２のカメラ１００は、メモリ１４０をさらに備えてもよい。メモリ１４０は、バッファー、フラッシュメモリ、ハードドライブ、リムーバブルメディア、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、または別の適切なデバイスのうちの１つ以上とすることができる。典型的な配置では、メモリ１４０は、長期データ記憶用の不揮発性メモリと、回路１３０用のシステムメモリとして機能する揮発性メモリとを含むことができる。メモリ１４０は、データバスを介して回路１３０とデータを交換することが可能である。メモリ１４０と回路１３０との間には、付随する制御線およびアドレスバスも存在してもよい。
【0039】
第２のカメラ１００の機能は、第２のカメラ１００の非一時的コンピュータ可読媒体（例えば、メモリ１４０）に記憶され、（例えば、プロセッサ１３２を使用して）回路１３０によって実行される実行可能論理ルーチン（例えば、コード行、ソフトウェアプログラムなど）の形態で具現化されてもよい。さらに、第２のカメラ１００の機能は、スタンドアロンのソフトウェアアプリケーションであってもよく、または第２のカメラ１００に関連する追加のタスクを実行するソフトウェアアプリケーションの一部を形成してもよい。記載された機能は、処理ユニット、例えば、回路１３０のプロセッサ１３２が実行するように構成される方法と考えることができる。また、記載された機能はソフトウェアで実装されてもよいが、そのような機能性は、専用のハードウェアもしくはファームウェア、またはハードウェア、ファームウェア、および／もしくはソフトウェアの何らかの組み合わせを介して実行されてもよい。
【0040】
第２のカメラ１００の回路１３０は、トリガ機能１４１を実行するように構成される。トリガ機能１４１は、物体が第２のカメラ１００の視野に接近していることを示す受信機１１０における受信した情報に応答して、物体が第２のカメラ１００の視野に現れる前に以下のアクションａ）イントラフレームを生成すること、またはイントラリフレッシュ手順を開始すること、ｂ）１つまたは複数の画像処理パラメータを調整すること、およびｃ）露光時間を調整することの１つまたは複数を実施するように第２のカメラ１００をトリガするように構成される。
【0041】
第２のカメラ１００は、第２のカメラ１００および少なくとも第１のデバイスを含むカメラシステムに配置されるように構成される。具体的には、第２のカメラ１００および第１のデバイスを含むカメラシステムは、第１のデバイスの位置、ならびに第２のカメラ１００の位置および視野が既知であり、かつ物体の位置および移動方向を示す情報を第１のデバイスから提供することができるように配置および構成されるべきである。次いで、物体が第２のカメラ１００の視野に接近しており、第２のカメラ１００で受信されることを示す情報は、中央サーバを使用した集中型ソリューション、または第１のデバイスおよび第２のカメラ１００を使用した分散型ソリューションのいずれかで準備されてもよい。集中型ソリューションでは、中央サーバのみが、第１のデバイスの位置、ならびに第２のカメラ１００の位置および視野を知る必要がある。物体の位置および移動方向を示す情報を第１のデバイスから受信した後、中央サーバは、物体が第２のカメラ１００の視野に接近していることを示す情報を準備し、この情報を第２のカメラ１００に提供することができる。分散型ソリューションでは、第１のデバイスは、物体の位置および移動方向を示す情報を第２のカメラ１００に直接送信してもよく、次に第２のカメラ１００は、それ自体の位置および視野を認識することで、物体が第２のカメラ１００の視野に接近しているかどうかを決定し、接近している場合、３つのアクションのうちの１つ以上をトリガしてもよい。後者の場合、物体が第２のカメラ１００の視野に接近していることを示す情報は、第１のデバイスから受信した物体の位置および移動方向を示す情報となる。
【0042】
物体が第２のカメラ１００の視野に接近していることを示すことに加えて、受信した情報は、物体が第２のカメラ１００の視野に現れると推定される時間および／または物体の速度をさらに示すことができる。物体が第２のカメラ１００の視野に現れると推定される時間を知ることによって、物体が第２のカメラ１００の視野に現れる前に３つのアクションのうちの１つを実施するより良いタイミングを達成することができる。第１のデバイスは、物体の速度ならびに第２のカメラの位置および視野に基づいて、物体が第２のカメラ１００の視野に現れると推定される時間を計算し得る。
【0043】
さらに、第２のカメラ１００の視野は、サブエリアのセットに論理的に分割されてもよく、各サブエリアは、第２のカメラ１００の各画像フレームのそれぞれのサブエリアに対応する。次いで、第２のカメラにおける受信した情報は、物体が最初に現れると予想される第２のカメラ１００の視野のサブエリアをさらに示すことができる。サブエリアを知ることによって、１つまたは複数のアクションがサブエリアに対して実施され得る。
【0044】
物体の位置および移動方向を決定するためには、典型的には、第１のデバイスが経時的に少なくとも２次元表現を提供することを必要とする。したがって、第１のデバイスは、限定はしないが、第１のカメラ、レーダ、ライダ、サーマルカメラ、およびソナーセンサのうちの１つであってもよい。そのようなシナリオにおいて、集中型ソリューションでは、第１のデバイスは、一連の画像フレームにわたって物体を検出することによって、その位置および視野に対する相対的な位置および相対的な移動方向を決定することができる。次いで、集中型サーバは、第１のデバイスと第２のカメラ１００の両方の絶対的または相対的な位置および視野を知ることで、物体が第２のカメラ１００の視野に接近しているかどうかを決定し、接近している場合、そのような情報を第２のカメラ１００に提供することができる。分散型ソリューションでは、共通の座標系に対する第１のデバイスおよび第２のデバイスの位置および視野の知識は、それぞれのデバイスに指定され得る。あるいは、各デバイスは、他のデバイスの相対位置を有してもよい。次に、物体の位置および移動方向は、一連の画像フレームにわたって物体を検出することによって第１のデバイス内で決定することができ、物体の位置および移動方向を示す情報は、第２のカメラ１００に提供することができる。次いで、第２のカメラ１００は、それ自体の位置および視野を認識することで、物体が第２のカメラ１００の視野に接近しているかどうかを決定し、接近している場合、３つのアクションのうちの１つ以上をトリガしてもよい。後者の場合、物体が第２のカメラ１００の視野に接近していることを示す情報は、第１のデバイスから受信した物体の位置および移動方向を示す情報となる。第１のデバイスの一連の画像フレームにわたる物体の検出から、人（物体）の推定速度および／または人（物体）が第２のカメラ１００の視野に入るであろう推定時間を決定することができる。さらに、位置および移動方向から、物体が現れる第２のカメラ１００の視野のサブエリアを決定することができる。
【0045】
いくつかのシナリオでは、第１のデバイスは、物体が特定の点または線を通過したことのみを示す１つまたは複数のセンサを含むことができる。例えば、第１のデバイスが、人がドアを通過したこと、または廊下もしくは他の限られた空間に通じる線を通過したことを感知することができるセンサを含み、第２のカメラ１００が廊下もしくは他の限られた空間の他端に位置および視野を有する場合、人がドアもしくは線を通過したという第１のデバイスからの情報は、第１のデバイスの位置ならびに第２のカメラ１００の位置および視野の知識に基づいて、人（物体）が第２のカメラ１００の視野に接近しているという情報を構成する。第１のデバイスが廊下または他の限られた空間に沿った既知の位置に１つまたは複数のさらなるセンサを含む場合、人（物体）の推定速度および／または人（物体）が第２のカメラ１００の視野に入る時間のより良い推定を決定することができる。そのようなシナリオでは、第２のカメラ１００の視野は、１つのサブエリアが第１のデバイスの１つまたは複数のセンサに最も近いサブエリアに分割され得る。そのような場合、物体が現れる第２のカメラ１００の視野のサブエリアは、サブエリアが第１のデバイスの１つまたは複数のセンサに近いために決定され得る。
【0046】
一般に、物体がその視野に接近していることを示す情報を第２のカメラ１００が受信することができるように第１のデバイスの位置ならびに第２のデバイスの位置および視野が決定され、次いでそれらが中央にあるものかまたは分散されているかが知られる限り、第１のデバイスの位置ならびに第２のデバイスの位置および視野がどのように決定されるかは必須ではなく、情報は、物体の位置および移動方向を示す第１のデバイスからの情報に基づく。例えば、第１のデバイスの位置ならびに第２のデバイスの位置および視野は、カメラシステムのセットアップ時に、例えば地図に基づくｇｐｓ位置決めおよび／または取り付けの位置を使用して決定することができる。あるいは、第１のデバイスの位置ならびに第２のデバイスの位置および視野は、第１のデバイスおよび第２のカメラにおける物体の検出および移動の情報を受信し、かつ第１のデバイスの位置ならびに第２のデバイスの位置および視野、ならびに／または第１のデバイスによる特定の位置および移動方向を有する物体が第２のカメラ１００の視野に接近しているかどうかを経時的に決定する自己学習システムを使用して決定されてもよい。
【0047】
受信した情報に応答してトリガされ得るアクションの１つは、イントラフレームの生成またはイントラリフレッシュ手順の開始である。受信した情報が、物体が第２のカメラ１００の視野に接近していることを示す場合、物体が第２のカメラ１００の視野に現れる前にＩフレームの生成がトリガされる。そのようなＩフレームが生成された後、背景の品質が向上され、これは、物体が第２のカメラ１００の視野に現れるとき、物体ではなく背景のみを含むエリアに対してＩブロックの必要性が少なくなることを意味する。物体が第２のカメラ１００の視野に入る前にＩフレームを生成する利点は、そのようなＩフレームが、典型的には、ＰフレームまたはＢフレームと比較してビット数が多いことである。次いで、物体が第２のカメラ１００の視野に現れると、物体に対してＩブロックを生成する必要がある。そのようなＩブロックは、符号化画像フレームのビット数を増加させる。同様に、物体の移動はまた、一般に、視野における物体の移動中に各符号化フレームのビット数を増加させる。したがって、物体が第２のカメラ１００の視野に現れる前に背景を更新するためにＩフレームの生成をトリガすることによって、これに起因するビット数の増加は、物体が現れるときのＩブロックの生成および物体の移動に起因するビット数の増加を含む符号化フレームとは異なる符号化フレーム内にある。
【0048】
受信した情報が、物体が第２のカメラ１００の視野に現れると推定される時間を示す場合、Ｉフレームまたはイントラリフレッシュの生成は、その時間に対して、すなわち、物体が第２のカメラ１００の視野に、好ましくは直前に現れると推定される前にタイミングを合わせることができる。
【0049】
受信した情報が、物体が最初に現れると予想される第２のカメラ１００の視野のサブエリアをさらに示す場合、Ｉブロックの生成は、これに適合したイントラリフレッシュ手順によって適合させることができる。
【0050】
一般に、イントラリフレッシュ手順は、画像フレームのセットの各画像フレームが複数のサブエリアに分割され、複数のサブエリアの１つまたは複数のサブエリアが第１の画像フレームでイントラ符号化され、サブエリアのセットの異なる１つまたは複数のサブエリアが第２の画像フレームでイントラ符号化され、そして複数のサブエリアのすべてのサブエリアが画像フレームのセットにわたってイントラ符号化されるまで続く手順である。画像フレームの各サブエリアは、第２のカメラ１００の視野のサブエリアのそれぞれに対応する。一例として、４つのサブエリア３１０、３２０、３３０、３４０への画像フレーム３００の分割が図３に示されており、第１のサブエリア３１０は画像フレーム３００の左上部分であり、第２のサブエリア３２０は右上部分であり、第３のサブエリア３３０は左下部分であり、第４のサブエリア３４０は右下部分である。当然ながら、より多くのサブエリアへの分割、および水平または垂直ストライプなどの他のパターンなど、他の分割も可能である。
【0051】
次に、イントラフレームを生成すること、またはイントラリフレッシュ手順を開始することは、物体が最初に現れると推定される第２のカメラ１００の視野のサブエリアに対応しない第２のカメラ１００の画像フレームのサブエリアの第１のイントラリフレッシュ、すなわちイントラ符号化を含むことができる。これは、物体が１つの画像フレームに最初に現れると予想される第２のカメラ１００の視野のサブエリアに対応するサブエリア以外のすべてのサブエリアをイントラ符号化することによって実施されてもよい。あるいは、これは、例えば第２のカメラ１００の視野のサブエリアに対応するサブエリア以外のサブエリアの各サブエリアが、物体が第２のカメラ１００の視野に入ると予想される前にすべて現れる別々の画像フレーム内でイントラ符号化されるように、いくつかの画像フレームにわたって広げられてもよい。物体が第２のカメラ１００の視野に現れたとき、物体が最初に現れると推定される第２のカメラ１００の視野のサブエリアに対応する第２のカメラ１００の画像フレームのサブエリアに対してイントラ符号化が実施される。図３に関連して、物体がサブエリア３１０に最初に現れると予想される場合、物体が画像フレーム３００に現れる前にサブエリア３２０、３３０、３４０に対してイントラ符号化が最初に実施され、次いで、物体が画像フレーム３００に現れるとまたはその後、サブエリア３１０に対してイントラ符号化が実施される。サブエリア３２０、３３０、３４０に対するイントラ符号化は、単一の画像フレームまたは別々の画像フレームで行われ得る。代替の実施形態では、サブエリア３２０、３３０、３４０のイントラ符号化は、単一または別々の画像フレームで実施され、物体がサブエリア３１０内に現れると推定される前にサブエリア３１０のイントラ符号化を実施することができるように、一度に完了するように一度に開始される。物体がサブエリア３１０に現れると、少なくともサブエリア３１０のブロックのサブセットがＩブロックに符号化される。
【0052】
物体が第２のカメラ１００の視野に現れる前に物体が最初に現れると推定される第２のカメラ１００の視野のサブエリアに対応しない第２のカメラ１００の画像フレームのサブエリアにおけるイントラリフレッシュをトリガすることによって、背景が最新であることが保証され、物体が最初に現れないサブエリア内で背景の品質が向上される。このようにして、物体が第２のカメラ１００の視野に現れるとき、物体が最初に現れない視野のサブエリアにおけるＩブロックの必要性が少なくなる。物体が第２のカメラ１００の視野に現れると、イントラリフレッシュが、物体が現れる第２のカメラ１００の画像フレームのサブエリア内でトリガされる。これは、典型的には、符号化画像フレームのビット数を増加させる。同様に、画像フレームに対する物体の移動はまた、一般に、符号化されたその画像フレームのビット数を増加させる。したがって、物体が現れるサブエリア以外のサブエリアのイントラリフレッシュによる必要ビット数の増加は、物体が最初に現れるサブエリアに対応するサブエリアのイントラリフレッシュによるビット数の増加を含む符号化画像フレームおよび物体の移動によるビット数の増加を含む符号化画像フレームとは異なる符号化画像フレームになる。さらに、画像フレームのサブエリアは、物体が視野の対応するサブエリアに現れるときにＩブロックで更新されなければならないので、そのサブエリアのイントラリフレッシュは、物体が現れた後まで延期され得る。しかし、いくつかの実施形態では、そのサブエリアのイントラリフレッシュは、物体が現れる前に、好ましくは物体が現れる前に可能な限り近くで完了する。
【0053】
受信した情報が、物体が第２のカメラ１００の視野に現れると推定される時間をさらに示す場合、サブエリアのイントラ符号化は、例えば、物体が現れるサブエリアに対応する画像フレームのサブエリアが、物体が第２のカメラ１００の視野に現れるときに、または現れた後に可能な限り早くイントラ符号化されるように、その時間に対してタイミングを合わせることができる。上述したように、現れる物体とは、物体の任意の部分が第２のカメラ１００の視野に現れることを意味する。
【0054】
トリガされ得るアクションのもう１つは、１つまたは複数の画像処理パラメータを調整することである。ここで、画像処理パラメータとは、カメラに取り込まれた画像フレームを処理するためのパラメータである。そのような処理の例は、カラーバランシング、ホワイトバランシング、低光ノイズフィルタリング、時間的ノイズフィルタリング、および背景セグメンテーションである。
【0055】
受信した情報がまた、物体が第２のカメラ１００の視野に現れると推定される時間を示す場合、１つまたは複数の画像処理パラメータの調整をトリガするより良いタイミング。
【0056】
例えば、物体が第２のカメラ１００の視野に接近していることを示す情報を受信することは、パラメータ最適化のための開始値としてのそれぞれの中間値への１つまたは複数の画像処理パラメータの調整をトリガし得る。１つまたは複数の画像処理パラメータをそれぞれの中間値に設定することによって、画像処理パラメータの値のより高速な最適化が可能になる。このような最適化は、典型的には、物体が第２のカメラ１００の視野に現れるときに画像フレームが変更されるために必要とされる。さらに、最適化が典型的には、パラメータ値の段階的な変化を使用して反復的に行われ、新しいローカル最大／最小値を識別するので、中間値の選択は有利である。加えて、物体が第２のカメラ１００の視野に現れるとき、画像フレームが変化し、新しい最適値が前の値とはかなり異なり得るので、最適化中の反復探索の歩幅は拡張され得る（すなわち、より長くなるように変更される）。
【0057】
適合させることができる１つの処理パラメータは、背景セグメンテーションにおいて前景として分類されるものに対する閾値である。物体が第２のカメラ１００の視野に接近していることを示す情報が受信されると、これは、物体が第２のカメラ１００の視野に現れる前に背景セグメンテーションにおいて前景として分類されるものに対する閾値の低減をトリガし得る。背景セグメンテーションにおいて前景として分類されるものに対する閾値のこのような低減は、前景物体としての物体のより高速な検出を可能にする。
【0058】
別の例として、背景マージが、物体が第２のカメラ１００の視野に接近していることを示す情報が受信されたときにトリガされ得る。背景マージでは、背景と前景との間の分割が除去される。次いで、画像フレームのどの部分が背景に属し、どの部分が背景に属するかの識別が、物体が第２のカメラ１００の視野に現れたときに再び実施される。
【0059】
受信した情報が、物体が最初に現れると予想される第２のカメラ１００の視野のサブエリアを示す場合、１つまたは複数の画像処理パラメータを調整することが、物体が最初に現れると推定される第２のカメラ１００の視野のサブエリアに対応する第２のカメラ１００の画像フレームのサブエリア内で局所的に実施されてもよい。画像フレームのサブエリア内で１つまたは複数の画像処理を調整することによって、物体に対してサブエリアにおける画像の向上が可能になる。例えば、１つまたは複数の画像処理パラメータは、物体が移動しているという事実に対して調整することができる。
【0060】
別の例として、物体が第２のカメラ１００の視野に接近していることを示す情報の受信は、低光ノイズフィルタリングの低減をトリガし得る。低光ノイズフィルタリングを低減することによって、画像フレームが低光のためにノイズが多い場合、物体が画像フレーム内で見えないというリスクを低減することができる。受信した情報が、物体が視野のどのサブエリアに最初に現れると予想されるかをさらに示す場合、低光ノイズフィルタリングは、物体が最初に現れると推定される第２のカメラ１００の視野のサブエリアに対応する第２のカメラ１００の画像フレームのサブエリア内で低減され得る。サブエリアにおける低光ノイズフィルタリングを低減することによって、サブエリアが低光のためにノイズが多い場合、物体がサブエリア内で見えないというリスクを低減することができる。
【0061】
受信した情報が物体の速度を示す場合、１つまたは複数の画像処理パラメータを調整することは、物体の速度に基づいて時間的ノイズフィルタレベルを設定することを含んでもよい。例えば、時間的ノイズフィルタレベルは、速度が高いほど時間的ノイズフィルタレベルが高くなるように設定されてもよい。
【0062】
第１のデバイスが第１のカメラである場合、受信した情報は、第１のカメラのカラーバランス補正またはホワイトバランス補正をさらに含んでもよい。次いで、１つまたは複数の画像処理パラメータを調整することは、第１のカメラのカラーバランス補正またはホワイトバランス補正に従って、第２のカメラ１００にカラーバランス補正またはホワイトバランス補正を設定することを含んでもよい。
【0063】
トリガされ得るアクションの最後は、露光時間を調整することである。ここで、露光時間とは、カメラで画像フレームを取り込む際にセンサが露光される時間である。この時間は、センサを機械的に覆い、露光時間に対応する時間中に除去されるメカシャッタによって制御されてもよく、または露光時間に対応する時間中にセンサから読み出されたデータのみを使用することによってメカシャッタをエミュレートする電子シャッタによって制御されてもよい。露光時間は、典型的には、画像フレーム内のすべてのエリアで同じである。しかし、各々が別々の露光時間を有する画像フレームのセット、例えば３つの画像フレームを組み合わせて１つの画像フレームを作成してもよい。そのような画像の場合、異なるサブエリアが様々な画像フレームのセットからの画像データを含むことができ、したがって異なる露光時間を有すると言うことができる。例えば、画像フレームの低光エリアは、より長い露光時間で取り込まれた画像フレームからの画像データを含むことができ、画像フレームのハイライトエリアは、より短い露光時間で取り込まれた画像フレームからの画像データを含むことができる。
【0064】
物体が第２のカメラ１００の視野に現れる前に露光時間の調整をトリガすることによって、第２のカメラ１００の視野に現れる物体への露光の調整が可能になる。例えば、物体が移動しているという事実に対して調整が可能になる。
【0065】
受信した情報が、物体が最初に現れると予想される第２のカメラ１００の視野のサブエリアを示す場合に、物体が第２のカメラ１００の視野に現れると推定される時間を知ることによって、露光時間を調整するより良いタイミングを達成することができる。
【0066】
例えば、露光時間を調整することは、物体が最初に現れると推定される第２のカメラ１００の視野のサブエリアに対応する第２のカメラ１００の画像フレームのサブエリア内で局所的に実施されてもよい。画像フレームのサブエリア内で局所的に１つまたは複数の画像処理を調整することおよび／または露光時間を調整することによって、物体に対してサブエリアにおける画像の向上が可能になる。例えば、サブエリアにおける１つまたは複数の画像処理パラメータ、および／または露光は、物体が移動しているという事実に対して調整することができる。
【0067】
別の例として、露光時間を調整することは、物体が最初に現れると推定される第２のカメラ１００の視野のサブエリアに対応する第２のカメラ１００の画像フレームのサブエリア内で、物体が最初に現れると推定される第２のカメラ１００の視野のサブエリアに対応しない第２のカメラ１００の画像フレームのサブエリアよりも短い露光時間を設定することを含んでもよい。これにより、物体が現れるときに第２のカメラの第１の画像フレームに既にある動きぼけの問題が回避されるか、少なくとも低減される。
【0068】
受信した情報がまた、物体が第２のカメラ１００の視野に現れると推定される時間を示す場合、露光時間の調整をトリガするより良いタイミング。
【0069】
受信した情報が物体の速度を示す場合、露光時間は、速度が高いほど露光時間が短くなるように、物体の速度に基づいてもよい。これにより、物体が現れるときに第２のカメラの第１の画像フレームに既にある動きぼけの問題が回避されるか、少なくとも低減される。
【0070】
図２は、物体が第２のカメラの視野に現れる前に１つまたは複数のアクションを実施するように第２のカメラをトリガするための方法２００の実施形態に関するフローチャートを示す。第２のカメラは、第２のカメラおよび少なくとも第１のデバイスを含むカメラシステムに配置される。第２のカメラについて位置および視野が既知であり、第１のデバイスについて位置が既知である。方法２００は、第２のカメラ内で、物体が第２のカメラの視野に接近していることを示す情報を受信することであって、受信した情報は、物体の位置および移動方向を示す第１のデバイスからの情報に基づくことＳ２１０を含む。方法２００は、受信した情報に応答して、物体が第２のカメラの視野に現れる前に以下のアクション、即ち、ａ）イントラフレームを生成すること、またはイントラリフレッシュ手順を開始すること、ｂ）１つまたは複数の画像処理パラメータを調整すること、およびｃ）露光時間を調整することの１つ以上を実施するように第２のカメラをトリガすることＳ２２０をさらに含む。
【0071】
【0072】
当業者であれば、本発明が上述の実施形態に限定されないことを理解する。それどころか、多くの修正および変形が添付の特許請求の範囲内で可能である。そのような修正および変形は、図面、開示、および添付の特許請求の範囲の研究から、特許請求される発明を実践する当業者によって理解および実施され得る。
【図1】
【図2】
【図3】
【外国語明細書】