特許 7521772 監視カメラ、画像符号化方法、移動先予測枠表示方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】監視カメラ、画像符号化方法、移動先予測枠表示方法およびプログラム

(51)【国際特許分類】

   H04N 19/115 20140101AFI20240717BHJP

   H04N 19/167 20140101ALI20240717BHJP

   H04N 19/174 20140101ALI20240717BHJP

   H04N 19/85 20140101ALI20240717BHJP

【ＦＩ】

H04N19/115

H04N19/167

H04N19/174

H04N19/85

【請求項の数】 10

(21)【出願番号】P 2020046845

(22)【出願日】2020-03-17

(65)【公開番号】P2021150739

(43)【公開日】2021-09-27

【審査請求日】2023-03-14

(73)【特許権者】

【識別番号】320008672

【氏名又は名称】ｉ－ＰＲＯ株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】古賀 雅士

(72)【発明者】

【氏名】池田 淳

(72)【発明者】

【氏名】▲樋▼口 学

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０１６／０１３２９８（ＷＯ，Ａ１）

【文献】特許第６５７３２９７（ＪＰ，Ｂ１）

【文献】特開２０１９－０９２１５４（ＪＰ，Ａ）

【文献】特開２００６－０１４１２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

人工知能を搭載する監視カメラであって、
撮像エリアを第１の所定時間ごとに撮像する撮像部と、
前記人工知能を用いて、前記撮像エリアが撮像された撮像画像中の移動物体を前記第１の所定時間より長い第２の所定時間ごとに検出する検出部と、
過去に撮像された撮像画像に基づいて検出された前記移動物体の検出位置および検出時刻を関連付けて記憶する記憶部と、
前記移動物体の最新の検出位置および過去の検出位置に基づいて、前記移動物体の最新の検出位置を検出するタイミングから前記第２の所定時間の経過後である次の検出タイミングにおいて前記撮像部により撮像される撮像画像中の前記移動物体の移動先の位置を予測し、前記移動物体の移動先の位置の予測結果を示す予測枠に基づく符号化指示を生成するプロセッサと、
前記符号化指示に基づいて、少なくとも前記第２の所定時間ごとに前記移動物体が検出された撮像画像を符号化するエンコーダと、を備え、
前記エンコーダは、前記予測枠内の画像の符号量を所定値より大きく、かつ前記予測枠外の画像の符号量を前記所定値より小さくして符号化する、
監視カメラ。

【請求項2】

前記プロセッサは、前記予測枠の位置を、前記撮像画像を取得した時点の前記移動物体の検出位置として前記記憶部に蓄積する、
請求項１に記載の監視カメラ。

【請求項3】

前記プロセッサは、前記移動物体の最新の検出位置および過去の検出位置と前記移動物体の移動速度とに基づいて、前記予測枠の大きさを変更する、
請求項１に記載の監視カメラ。

【請求項4】

前記プロセッサは、前記移動速度に基づいて前記予測枠の大きさを前記移動速度に比例して拡大するよう変更する、
請求項３に記載の監視カメラ。

【請求項5】

前記プロセッサは、前記移動物体の最新の検出位置および過去の検出位置と前記移動物体の移動方向とに基づいて、前記予測枠の大きさを変更する、
請求項１に記載の監視カメラ。

【請求項6】

前記プロセッサは、前記移動方向に基づいて前記移動物体が前記監視カメラから遠のく方向に移動していると判定した場合に、前記予測枠の大きさを縮小するよう変更する、
請求項５に記載の監視カメラ。

【請求項7】

前記プロセッサは、前記移動方向に基づいて前記移動物体が前記監視カメラから近づく方向に移動していると判定した場合に、前記予測枠の大きさを拡大するよう変更する、
請求項５に記載の監視カメラ。

【請求項8】

前記プロセッサは、前記予測枠内の画像の符号量を、前記予測枠内の端部から中心に向かって徐々に大きくなるよう符号化する旨の前記符号化指示を前記エンコーダに送る、
請求項１に記載の監視カメラ。

【請求項9】

人工知能を搭載する監視カメラにより実行される画像符号化方法であって、
撮像エリアを第１の所定時間ごとに撮像するステップと、
前記人工知能を用いて、前記撮像エリアが撮像された撮像画像中の移動物体を前記第１の所定時間より長い第２の所定時間ごとに検出するステップと、
過去に撮像された撮像画像に基づいて検出された前記移動物体の検出位置および検出時刻を関連付けて記憶するステップと、
前記移動物体の最新の検出位置および過去の検出位置に基づいて、前記移動物体の最新の検出位置を検出するタイミングから前記第２の所定時間の経過後である次の検出タイミングにおいて撮像される撮像画像中の前記移動物体の移動先の位置を予測し、前記移動物体の移動先の位置の予測結果を示す予測枠に基づく符号化指示を生成するステップと、
前記符号化指示に基づいて、少なくとも前記第２の所定時間ごとに前記移動物体が検出された撮像画像を符号化するステップと、を有し、
前記符号化の際には、前記予測枠内の画像の符号量を所定値より大きく、かつ前記予測枠外の画像の符号量を前記所定値より小さくして符号化する、
画像符号化方法。

【請求項10】

コンピュータである、人工知能を搭載する監視カメラに、
撮像エリアを第１の所定時間ごとに撮像するステップと、
前記人工知能を用いて、前記撮像エリアが撮像された撮像画像中の移動物体を前記第１の所定時間より長い第２の所定時間ごとに検出するステップと、
過去に撮像された撮像画像に基づいて検出された前記移動物体の検出位置および検出時刻を関連付けて記憶するステップと、
前記移動物体の最新の検出位置および過去の検出位置に基づいて、前記移動物体の最新の検出位置を検出するタイミングから前記第２の所定時間の経過後である次の検出タイミングにおいて撮像される撮像画像中の前記移動物体の移動先の位置を予測し、前記移動物体の移動先の位置の予測結果を示す予測枠に基づく符号化指示を生成するステップと、
前記符号化指示に基づいて、少なくとも前記第２の所定時間ごとに前記移動物体が検出された撮像画像を符号化するステップと、を実行させ、
前記符号化の際には、前記予測枠内の画像の符号量を所定値より大きく、かつ前記予測枠外の画像の符号量を前記所定値より小さくして符号化する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、監視カメラ、画像符号化方法、移動先予測枠表示方法およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、撮影方向を変更可能であって、監視領域に侵入した物体を追尾撮影する監視装置が開示されている。監視装置は、物体の位置を検出し、物体の位置の検出結果に基づいて、予め定めた指定時間後における物体の予測位置を算出し、撮影方向を制御して予測位置に向ける。また、監視装置は、物体の位置の検出結果から求めた物体の移動速度に応じて、指定時間を異ならせる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－６８１８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、撮影された移動物体（例えば車両、人物等）の画像を用いて移動物体の追尾を行うことの開示はあるが、追尾に用いた移動物体の画像を効率的に符号化（例えばデータ圧縮）することは考慮されていない。例えば、監視カメラが撮影する４Ｋ等の高精細な画像データはデータサイズが大きく、監視カメラから外部装置（例えばレコーダ）に配信する際には画像データの効率的なデータ圧縮が望まれる。一方で、監視者は監視中に撮影された画像中の移動物体を注目しがちで、移動がない背景部分は高圧縮されても監視業務への影響は少ないと考えられる。このため、撮影された画像中において、移動物体は低圧縮、背景部分は高圧縮されることで、画像データの効率的かつ高精度なデータ圧縮が可能と期待されている。従って、移動物体が撮影された画像データに上述したデータ圧縮を行うという観点において、従来の技術に対して改善の余地があったと言える。

【0005】

本開示は、上述した従来の事情に鑑みて案出され、画角内の撮像エリアを移動するターゲットを捉えた撮像画像を効率的かつ高精度に符号化する監視カメラ、画像符号化方法およびプログラムを提供することを目的とする。

【0006】

本開示は、上述した従来の事情に鑑みて案出され、画角内の撮像エリアを移動するターゲットの移動先の位置を示す移動先予測枠を撮像画像中に的確に表示する監視カメラ、移動先予測枠表示方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示は、人工知能を搭載する監視カメラであって、撮像エリアを第１の所定時間ごとに撮像する撮像部と、前記人工知能を用いて、前記撮像エリアが撮像された撮像画像中の移動物体を前記第１の所定時間より長い第２の所定時間ごとに検出する検出部と、過去に撮像された撮像画像に基づいて検出された前記移動物体の検出位置および検出時刻を関連付けて記憶する記憶部と、前記移動物体の最新の検出位置および過去の検出位置に基づいて、前記移動物体の最新の検出位置を検出するタイミングから前記第２の所定時間の経過後である次の検出タイミングにおいて前記撮像部により撮像される撮像画像中の前記移動物体の移動先の位置を予測し、前記移動物体の移動先の位置の予測結果を示す予測枠に基づく符号化指示を生成するプロセッサと、前記符号化指示に基づいて、少なくとも前記第２の所定時間ごとに前記移動物体が検出された撮像画像を符号化するエンコーダと、を備え、前記エンコーダは、前記予測枠内の画像の符号量を所定値より大きく、かつ前記予測枠外の画像の符号量を前記所定値より小さくして符号化する、監視カメラを提供する。

【0008】

また、本開示は、人工知能を搭載する監視カメラにより実行される画像符号化方法であって、撮像エリアを第１の所定時間ごとに撮像するステップと、前記人工知能を用いて、前記撮像エリアが撮像された撮像画像中の移動物体を前記第１の所定時間より長い第２の所定時間ごとに検出するステップと、過去に撮像された撮像画像に基づいて検出された前記移動物体の検出位置および検出時刻を関連付けて記憶するステップと、前記移動物体の最新の検出位置および過去の検出位置に基づいて、前記移動物体の最新の検出位置を検出するタイミングから前記第２の所定時間の経過後である次の検出タイミングにおいて撮像される撮像画像中の前記移動物体の移動先の位置を予測し、前記移動物体の移動先の位置の予測結果を示す予測枠に基づく符号化指示を生成するステップと、前記符号化指示に基づいて、少なくとも前記第２の所定時間ごとに前記移動物体が検出された撮像画像を符号化するステップと、を有し、前記符号化の際には、前記予測枠内の画像の符号量を所定値より大きく、かつ前記予測枠外の画像の符号量を前記所定値より小さくして符号化する、画像符号化方法を提供する。

【0009】

また、本開示は、コンピュータである、人工知能を搭載する監視カメラに、撮像エリアを第１の所定時間ごとに撮像するステップと、前記人工知能を用いて、前記撮像エリアが撮像された撮像画像中の移動物体を前記第１の所定時間より長い第２の所定時間ごとに検出するステップと、過去に撮像された撮像画像に基づいて検出された前記移動物体の検出位置および検出時刻を関連付けて記憶するステップと、前記移動物体の最新の検出位置および過去の検出位置に基づいて、前記移動物体の最新の検出位置を検出するタイミングから前記第２の所定時間の経過後である次の検出タイミングにおいて撮像される撮像画像中の前記移動物体の移動先の位置を予測し、前記移動物体の移動先の位置の予測結果を示す予測枠に基づく符号化指示を生成するステップと、前記符号化指示に基づいて、少なくとも前記第２の所定時間ごとに前記移動物体が検出された撮像画像を符号化するステップと、を実行させ、前記符号化の際には、前記予測枠内の画像の符号量を所定値より大きく、かつ前記予測枠外の画像の符号量を前記所定値より小さくして符号化する、プログラムを提供する。

【0013】

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【0014】

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施の形態ならびに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

【発明の効果】

【0015】

本開示によれば、画角内の撮像エリアを移動するターゲットを捉えた撮像画像を効率的かつ高精度に符号化できる。

【0016】

本開示によれば、画角内の撮像エリアを移動するターゲットの移動先の位置を示す移動先予測枠を撮像画像中に的確に表示できる。

【図面の簡単な説明】

【0017】

【図1】実施の形態１に係る監視カメラシステムのシステム構成例を示す図

【図2】実施の形態１に係る監視カメラのハードウェア構成例を示すブロック図

【図3】実施の形態１において、イメージセンサ、ＡＩ検出、エンコーダの各出力タイミングと、３フレームごとに取得される撮像画像のフレーム中の人物の移動先予測枠との関係例を示す図

【図4】実施の形態１に係る監視カメラの動作手順例を時系列に示すフローチャート

【図5】移動先予測枠内のエリアごとに異なる符号量の割り当て例を示す図

【図6】実施の形態２において、３フレームごとに取得される撮像画像のフレーム中の人物の移動先予測枠の一例を時系列に示す図

【図7】実施の形態２に係る監視カメラの動作手順例を時系列に示すフローチャート

【図8】実施の形態３において、３フレームごとに取得される撮像画像のフレーム中の人物の移動先予測枠の一例を時系列に示す図

【図9】実施の形態３に係る監視カメラの動作手順例を時系列に示すフローチャート

【図10】撮像エリア内を人物が移動する場合に、ＡＩによる人物の検出結果と人物の実際の位置とがずれる現象の一例を示す図

【発明を実施するための形態】

【0018】

（本開示に至る技術的な経緯）
先ず、本開示に至る技術的な経緯を、図１０を参照して説明する。図１０は、撮像エリア内を人物ＰＳｚが移動する場合に、ＡＩによる人物ＰＳｚの検出結果と人物ＰＳｚの実際の位置とがずれる現象の一例を示す図である。図１０において、人物ＰＳｚは、紙面の奥側から手前側に向かう方向ＤＲ１に沿って移動しているとする。

【0019】

昨今、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｔｓ）を用いて撮像画像中の対象物（例えば人物ＰＳｚ）を検出する技術が知られている。図１０の説明において、撮像画像の更新周期（言い換えると、フレームレート）は３３ｍｓ（ミリ秒）とし、人工知能（以下、「ＡＩ」と略記する）により撮像画像中の人物ＰＳｚを検出するために要する時間は１００ｍｓとする。つまり、ＡＩによる人物ＰＳｚの検出には、３フレームの取得に要する時間とほぼ同等の時間がかかる。

【0020】

例えば図１０に示すように、時刻（ｔ－１）にイメージセンサから取得された撮像画像が入力された場合、ＡＩによる人物ＰＳｚの検出結果は、時刻（ｔ－１）から３フレーム後の時刻ｔに得られる。同様に、時刻ｔにイメージセンサから取得された撮像画像が入力された場合、ＡＩによる人物ＰＳｚの検出結果は、時刻ｔから３フレーム後の時刻（ｔ＋１）に得られる。なお上述したように、イメージセンサから撮像画像は３３ｍｓごとに取得されるが、ＡＩによる人物ＰＳｚの検出結果は１００ｍｓごとに取得される。このため、例えば時刻（ｔ－１）から時刻ｔまでの２フレームの撮像画像はＡＩによる検出の対象とはならない。

【0021】

従って、図１０に示されるように、人物ＰＳｚが方向ＤＲ１に沿って移動している場合、人物ＰＳｚは時刻（ｔ－１）の位置と時刻ｔの位置とが異なっていると考えられるため、人物ＰＳｚの検出結果（つまり検出された位置）と人物ＰＳｚの実際の位置とがずれてしまうという課題があった。具体的には、図１０を参照すると、人物ＰＳｚが方向ＤＲ１に移動しているために、時刻ｔで得られる人物ＰＳｚの検出結果（つまり、人物ＰＳｚの時刻（ｔ－１）での画像のＡＩによる検出結果が示す人物ＰＳｚの位置）と時刻ｔの人物ＰＳｚの実際の位置（つまり、人物ＰＳｚの時刻ｔでの位置）とにずれがあった。

【0022】

上述したように、監視カメラが撮影する４Ｋ等の高精細な画像データはデータサイズが大きいため、監視カメラから外部装置（例えばレコーダ）に配信する際には画像データの効率的なデータ圧縮が望まれる。従って、撮影された画像中において、移動物体（例えば人物ＰＳｚ）の位置は低圧縮（つまり符号化処理時の符号量を大きく割り当て）し、移動物体がいない背景部分は高圧縮（つまり符号化処理時の符号量を小さく割り当て）することで、画像データの効率的かつ高精度なデータ圧縮が可能と考えられる。

【0023】

しかし、図１０を参照して説明したように、人物ＰＳｚが移動しているとＡＩによる人物ＰＳｚの検出結果と人物ＰＳｚの実際の位置とがずれてしまうという課題があるため、ＡＩによる検出結果を用いて符号割り当てを変えると、誤った場所を人物として低圧縮化、もしくは誤った場所を背景として高圧縮化してしまい、効率的かつ高精度なデータ圧縮が困難であると考えられる。

【0024】

そこで、以下の各実施の形態では、画角内の撮像エリアを移動するターゲットを捉えた撮像画像を効率的かつ高精度に符号化する監視カメラ、画像符号化方法およびプログラムの例を説明する。また、以下の各実施の形態では、画角内の撮像エリアを移動するターゲットの移動先の位置を示す移動先予測枠を撮像画像中に的確に表示する監視カメラ、移動先予測枠表示方法およびプログラムの例を説明する。

【0025】

以下、適宜図面を参照しながら、本開示に係る監視カメラ、画像符号化方法、移動先予測枠およびプログラムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明あるいは実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0026】

（実施の形態１）
図１は、実施の形態１に係る監視カメラシステム１００のシステム構成例を示す図である。監視カメラシステム１００は、監視カメラ１と、１台以上のレコーダＲＣ１と、１台以上の監視用コンピュータＰＣ１と、を含む構成である。レコーダＲＣ１にはモニタＭＮ１が接続される。同様に、監視用コンピュータＰＣ１にはディスプレイＤＰ１が接続される。監視カメラ１とレコーダＲＣ１と監視用コンピュータＰＣ１とは、ネットワークＮＷ１を介して互いにデータを送受信可能に接続される。

【0027】

ネットワークＮＷ１は、例えばＷｉ－Ｆｉ（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）およびＷｉＧｉｇ（Ｗｉｒｅｌｅｓｓ Ｇｉｇａｂｉｔ）のいずれかに準じた無線ネットワークであるが、これらに限定されなくてよい。なお、ネットワークＮＷ１は、ＵＳＢ（Ｕｎｉｖｅｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル、あるいは有線ＬＡＮ等の有線ネットワークでもよい。以下の説明において、監視カメラ１により撮像された画像（以下、「撮像画像」と称する）には、撮像画像データだけでなく、その撮像画像を撮像した監視カメラ１のカメラＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と撮像日時の情報とが含まれる。

【0028】

監視カメラ１は、例えば、道路の路側に設置されたポール（図示略）、駐車場、店舗等の建物内の自動ドア付近の天井等の各所に設置されている。監視カメラ１は、所定幅の画角内の撮像エリア（言い換えると、監視エリア）に進入する移動物体等の被写体を撮像する。また、監視カメラ１は、人工知能（ＡＩ）を搭載しており、搭載された人工知能を用いて、撮像画像からオブジェクト（例えば移動物体）を検出する。移動物体は、監視カメラ１による監視対象物であり、例えば人物、人物の顔、車両、オートバイ等の二輪車、自転車、三輪車、キックスケーターである。なお、移動物体はこれらの例示したものに限定されないし、オブジェクトは移動物体に限定されない。

【0029】

監視カメラ１には、ＡＩの学習モデルが学習モデルメモリ１５Ｂに記憶されている（図２参照）。この学習モデルは、監視カメラ１に搭載されているＡＩの機能を特徴付けるパラメータ群である。すなわち、学習モデルは、監視カメラ１に搭載されているＡＩの検出対象であるオブジェクトを決定するパラメータ群である。学習モデルは、例えば、監視カメラ１に構築されたＡＩ構造（例えばニューラルネットワークＮ１）を決定するパラメータ群であってもよい。ニューラルネットワークＮ１を決定するパラメータ群には、例えば、ニューラルネットワークＮ１のユニット間の接続関係を示す情報または重み係数等が含まれる。学習モデルは、監視用コンピュータＰＣ１等の外部装置から監視カメラ１に送られ、監視カメラ１に予め記憶される。

【0030】

監視カメラ１は、検出対象となるオブジェクトごとに対応するニューラルネットワークＮ１を構築して、対応するオブジェクトを検出可能である。例えば、監視カメラ１は、人物（具体的には、人物の全身）を検出するためのニューラルネットワーク、人物の顔を検出するためのニューラルネットワーク、車両を検出するためのニューラルネットワークを構築し、対応するオブジェクトの検出を実行可能である。図１に示すニューラルネットワークＮ１は、上述した３つの例示した個々のニューラルネットワークを総称したものである。

【0031】

レコーダＲＣ１は、監視カメラ１により生成されたエリア動画データ（後述参照）を、ネットワークＮＷ１を介して受信するとそのエリア動画データを蓄積日時および監視カメラ１のＩＤと関連付けて蓄積する。なお、エリア動画データには、動画データの他に、生成元である監視カメラ１のＩＤおよび生成日時の情報が含まれている。なお、図１では図示が省略されているが、複数台のレコーダＲＣ１がネットワークＮＷ１に接続されて構わない。

【0032】

モニタＭＮ１は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）あるいは有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）を用いて構成された表示デバイスである。モニタＭＮ１は、例えばレコーダＲＣ１に蓄積されたエリア動画データがユーザ（例えば監視カメラシステム１００の運営者）の操作により再生指示された場合に、レコーダＲＣ１から送られたエリア動画データを表示（再生）する。

【0033】

監視用コンピュータＰＣ１は、例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、あるいは高性能なスペックを有するサーバコンピュータマシン等の情報処理装置である。監視用コンピュータＰＣ１は、監視カメラ１が撮像する撮像エリア（言い換えると、監視エリア）のエリア動画データを、ネットワークＮＷ１を介して監視カメラ１から受信してディスプレイＤＰ１に表示する。監視用コンピュータＰＣ１は、例えばユーザ（上述参照）の操作を受け付け、ユーザの操作に応じて、監視カメラ１ごとのエリア動画データをディスプレイＤＰ１に表示（再生）する。

【0034】

ディスプレイＤＰ１は、例えばＬＣＤあるいは有機ＥＬを用いて構成された表示デバイスである。ディスプレイＤＰ１は、例えば監視用コンピュータＰＣ１により受信されたエリア動画データがユーザ（上述参照）の操作により再生指示された場合に、監視用コンピュータＰＣ１から送られたエリア動画データを表示（再生）する。なお、ディスプレイＤＰ１は、監視用コンピュータＰＣ１に含まれてもよい。

【0035】

図２は、実施の形態１に係る監視カメラ１のハードウェア構成例を示すブロック図である。図２には、監視カメラ１の他に、監視カメラ１に挿抜される外部記憶媒体Ｍ１も示してある。外部記憶媒体Ｍ１は、例えばＳＤカード等の記憶媒体である。

【0036】

監視カメラ１は、レンズ１１と、イメージセンサ１２と、メモリ１３と、プロセッサ１４と、ＡＩ処理部１５と、通信ＩＦ回路１７と、外部記憶媒体ＩＦ１９と、ＩＲ照明部２０と、を含む構成である。プロセッサ１４は、エンコーダ１４Ａおよびデコーダ１４Ｂを有する。

【0037】

撮像部の一例としてのレンズ１１は、例えばフォーカスレンズおよびズームレンズを含み、被写体により反射された光である入射光ＩＣＬ１を入射してイメージセンサ１２の受光面（言い換えると、撮像面）に被写体の光学像を結像する。レンズ１１には、監視カメラ１の設置場所または撮影用途等に応じて、様々な焦点距離または撮影範囲のレンズを用いることができる。

【0038】

撮像部の一例としてのイメージセンサ１２は、受光面（言い換えると、撮像面）に受けた光を電気信号に変換するための光電変換を行う。イメージセンサ１２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いて構成される。イメージセンサ１２は、受光面（言い換えると、撮像面）に受けた光に応じた電気信号（アナログ信号）を第１の所定時間（例えば１／３０（秒））ごとにプロセッサ１４に送る。つまり、監視カメラ１のフレームレートは、例えば３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）となる。なお、この値は一例であって、フレームレートは３０ｆｐｓに限定されない。このアナログ信号は、撮像部の一例としてのプロセッサ１４により、デジタル形式の撮像画像のデータに変換される。これにより、プロセッサ１４によって撮像画像のデータが生成される。なお、このアナログ信号からデジタル形式への撮像画像のデータ変換はイメージセンサ１２により実行されてもよい。このように、プロセッサ１４は、デジタル形式の撮像画像のデータを第１の所定時間（例えば１／３０（秒））ごとに取得できる。

【0039】

メモリ１３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを用いて構成され、監視カメラ１の動作の実行に必要なプログラム、更には、動作中に生成されたデータもしくは情報を一時的に保持する。ＲＡＭは、例えば、監視カメラ１の動作時に使用されるワークメモリである。ＲＯＭは、例えば、監視カメラ１を制御するための本開示に係るプログラムを予め記憶して保持する。言い換えると、プロセッサ１４は、ＲＯＭに記憶されているプログラムを実行することで、コンピュータである監視カメラ１に、本開示に係る画像符号化方法、対象物予測枠表示方法に関する各種の処理を実行可能である。

【0040】

また、記憶部の一例としてのメモリ１３は、過去にイメージセンサ１２により撮像された撮像画像に基づいてＡＩ処理部１５により検出された移動物体（例えば人物）の検出位置および検出時刻を関連付けて記憶（蓄積）する。例えば、メモリ１３は、移動物体の種別（例えば人物）とＡＩ処理部１５による検出対象となった撮像画像中の検出位置および検出時刻とを関連付けて記憶する。

【0041】

プロセッサ１４は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）もしくはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成される。プロセッサ１４は、監視カメラ１の全体的な動作を司るコントローラとして機能し、監視カメラ１の各部の動作を統括するための制御処理、監視カメラ１の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ１４は、メモリ１３に記憶されたプログラムおよびデータに従って動作する。プロセッサ１４は、動作時にメモリ１３を使用し、プロセッサ１４が生成または取得したデータもしくは情報をメモリ１３に一時的に保存する。プロセッサ１４は、エンコーダ１４Ａおよびデコーダ１４Ｂを有する。

【0042】

また、撮像部の一例としてのプロセッサ１４は、イメージセンサ１２から出力された電気信号に既定の信号処理を施すことで、デジタル形式の撮像画像のデータを生成してＡＩ処理部１５に送る。上述したように、プロセッサ１４は、デジタル形式の撮像画像のデータを第１の所定時間（例えば１／３０（秒））ごとに取得できるので、取得された撮像画像のデータをＡＩ処理部１５に送る。

【0043】

また、プロセッサ１４は、タイマ（図示略）を有し、タイマの出力に基づいて現在時刻を把握可能であり、夜間（言い換えると、日没付近～明け方付近）にはＩＲ光の照射を指示する制御信号をＩＲ照明部２０に送る。

【0044】

また、プロセッサ１４は、ＡＩ処理部１５の処理結果（例えば、同一画角の撮像画像中の移動物体の最新（現在）の検出位置と過去の検出位置）に基づいて、撮像画像中の移動物体（例えば人物）の移動ベクトルを算出する。プロセッサ１４は、この移動ベクトルを用いて、最新（現在）に撮像された撮像画像を対象としてＡＩ処理部１５が１００ｍｓ後に検出するであろう移動物体（例えば人物）の位置（言い換えると、移動先）を予測する。プロセッサ１４は、この予測結果を、移動物体（例えば人物）の移動先予測枠（予測枠の一例）として求める。この移動先予測枠の算出の処理例については、図３を参照して詳細を説明する。

【0045】

また、プロセッサ１４は、移動先予測枠の算出結果に基づいて、エンコーダ１４Ａで行われる撮像画像の符号化処理に関する符号化指示を生成する。この符号化指示には、ＡＩ処理部１５の処理結果に基づいて算出される移動物体（例えば人物）の移動ベクトルに基づく移動先予測枠ＷＫ１，ＷＫ２の位置と、その移動先予測枠ＷＫ１，ＷＫ２内の画像の符号量を所定値（例えば初期値あるいは通常使用値）より大きくしかつ移動先予測枠ＷＫ１，ＷＫ２外の画像の符号量を所定値（上述参照）より小さくする旨の命令とが含まれる。プロセッサ１４は、エンコーダ１４Ａにより符号化処理された複数枚の撮像画像のフレームに基づいて、撮像エリアのエリア動画データを生成する。プロセッサ１４は、このエリア動画データを、通信ＩＦ回路１７を介してネットワークＮＷ１に送信する。このエリア動画データは、ネットワークＮＷ１を介して監視用コンピュータＰＣ１あるいはレコーダＲＣ１に送られる。

【0046】

エンコーダ１４Ａは、プロセッサ１４からの符号化指示に基づいて、撮像画像を符号化（データ圧縮）する。具体的には、エンコーダ１６は、１枚の撮像画像に対し、撮像画像中で移動先予測枠ＷＫ１，ＷＫ２内の画像部分の符号量を所定値（例えば初期値あるいは通常使用値）より大きくして符号化し、かつ同じ撮像画像中で移動先予測枠ＷＫ１，ＷＫ２外の画像部分の符号量を所定値（上述参照）より小さくして符号化する。これにより、撮像画像中で、ユーザが注目しがちな移動物体の部分は低圧縮（つまり符号量が大きく割り当てられて符号化）され、かつ変化が少ない背景部分は高圧縮（つまり符号量が小さく割り当てられて符号化）されるので、効率的かつ高精度なデータ圧縮が可能となる。なお、エンコーダ１４Ａは、プロセッサ１４とは異なる構成であってもよい。

【0047】

デコーダ１４Ｂは、ネットワークＮＷ１を介して通信ＩＦ回路１７が受信したデータを受け取ると、そのデータをデコードしてプロセッサ１４に渡す。なお、デコーダ１４Ｂは、プロセッサ１４とは異なる構成であってもよい。

【0048】

検出部の一例としてのＡＩ処理部１５は、人工知能を用いて、プロセッサ１４から送られた撮像画像のデータの中から、検出対象となるオブジェクト（例えば人物等の移動物体）を検出する。ＡＩ処理部１５は、例えばＣＰＵ、ＤＳＰ、ＧＰＵあるいはＦＰＧＡ等のプロセッサと、フラッシュメモリ等のメモリとを用いて構成される。ＡＩ処理部１５は、ＡＩ演算処理部１５Ａと、学習モデルメモリ１５Ｂとを有する。

【0049】

ＡＩ演算処理部１５Ａは、学習モデルメモリ１５Ｂに記憶された学習モデルに基づいたＡＩ（人工知能）を形成する。例えば、ＡＩ演算処理部１５Ａは、学習モデルに基づいたニューラルネットワークＮ１（図１参照）を形成する。ＡＩ演算処理部１５Ａは、プロセッサ１４により生成された撮像画像のデータを入力し、学習モデルに基づいたニューラルネットワークＮ１によって、入力された撮像画像のデータの中から、検出対象となるオブジェクト（例えば人物等の移動物体）を検出する。

【0050】

学習モデルメモリ１５Ｂは、例えばＲＡＭ、ＲＯＭ、フラッシュメモリ等のメモリによって構成される。学習モデルメモリ１５Ｂは、予め学習処理によって生成されたオブジェクトごとの検出処理用の学習モデルを格納している。ＡＩ演算処理部１５Ａは、学習モデルメモリ１５Ｂからオブジェクトごとの学習モデルを実行して対応するニューラルネットワークＮ１を形成することで、撮像画像に映るオブジェクト（例えば人物等の移動物体）を検出できる。

【0051】

通信部の一例としての通信ＩＦ回路１７は、ネットワークＮＷ１を介して接続された監視用コンピュータＰＣ１あるいはレコーダＲＣ１との間でデータ通信（送受信）を行う。通信ＩＦ回路１７は、例えばエンコーダ１６により符号化処理がなされた撮像画像のデータを、ネットワークＮＷ１を介してレコーダＲＣ１あるいは監視用コンピュータＰＣ１に送る。また、通信ＩＦ回路１７は、監視用コンピュータＰＣ１から送られたデータあるいは情報を、ネットワークＮＷ１を介して受信する。

【0052】

外部記憶媒体ＩＦ１９には、ＳＤカード等の外部記憶媒体Ｍ１が挿抜される。

【0053】

ＩＲ照明部２０は、プロセッサ１４からの制御信号（例えばＩＲ光の照射開始の指示）に基づいて、例えば夜間等に撮像エリアに向けて近赤外の波長帯域を有するＩＲ光ＲＤ１の照射を開始する。ＩＲ照明部２０は、プロセッサ１４からの制御信号（例えばＩＲ光ＲＤ１の照射終了の指示）に基づいて、例えば明け方等に撮像エリアへのＩＲ光ＲＤ１の照射を終了する。また、ＩＲ照明部２０は、プロセッサ１４からの制御信号（例えばＩＲ光ＲＤ１の強度の調整の指示）に基づいて、現在照射しているＩＲ光ＲＤ１の強度を強めたりもしくは弱めたりして照射する。

【0054】

図３は、実施の形態１において、イメージセンサ１２、ＡＩ検出、エンコーダ１４Ａの各出力タイミングと、３フレームごとに取得される撮像画像のフレーム中の人物の移動先予測枠との関係例を示す図である。図３の説明では、移動物体の一例として人物の全身を挙げて説明するが、人物の全身に限定されないことは言うまでもない。また、図３では移動態様を歩行として説明するが、移動態様は歩行に限定されないことは言うまでもない。

【0055】

図３において、横軸は時間を示しており、イメージセンサ１２からは、監視カメラ１のフレームレートに対応して１／３０（秒）ごとに１枚の撮像画像のデータがプロセッサ１４に出力される。一方、ＡＩ処理部１５からは、ＡＩの性能にもよるが、例えば１００ｍｓ（言い換えると、３フレーム分の処理時間）ごとに撮像画像中の移動物体（例えば人物）の検出結果が得られる。ＡＩによる移動物体の検出には数フレーム分の処理時間がかかると考えられ、図３の例ではＡＩによる検出に３フレーム分の時間を要している。また、エンコーダ１４Ａからは、イメージセンサ１２の出力と同期して１／３０（秒）ごとに符号化処理が行われる。

【0056】

図３の最下段には、ＡＩの検出出力が得られる１００ｍｓごとの撮像画像（つまり、イメージセンサ１２から取得された撮像画像）のフレームが４枚分図示されており、ｔ＝１の１００ｍｓ後がｔ＝２となり、同様に、ｔ＝２の１００ｍｓ後がｔ＝３となり、ｔ＝３の１００ｍｓ後がｔ＝４となっている。以下、ｔ＝１の撮像画像をフレームＩＭＧ１、ｔ＝２の撮像画像をフレームＩＭＧ４、ｔ＝３の撮像画像をフレームＩＭＧ７、ｔ＝４の撮像画像をフレームＩＭＧ１０と称する。

【0057】

ｔ＝１のフレームＩＭＧ１では、移動物体としての人物ＰＳ１が静止している。ｔ＝１以降に人物ＰＳ１は移動を開始し、ｔ＝２のフレームＩＭＧ４では人物ＰＳ１はｔ＝１の位置から少し移動し、ｔ＝３のフレームＩＭＧ７では人物ＰＳ１はｔ＝２の位置からさらに移動し、ｔ＝４のフレームＩＭＧ１０では人物ＰＳ１はｔ＝３の位置からさらに移動している。

【0058】

実施の形態１に係る監視カメラ１は、イメージセンサ１２から撮像画像のデータを１／３０（秒）ごとにプロセッサ１４で取得するとともに、この取得された３フレーム分の撮像画像のうち１枚の撮像画像中の移動物体の有無をＡＩ処理部１５で判別する。

【0059】

［ｔ＝１について］
具体的には、ＡＩ処理部１５は、イメージセンサ１２から得られたｔ＝１のフレームＩＭＧ１を入力してフレームＩＭＧ１中の移動物体（例えば人物ＰＳ１）を検出する。ＡＩ処理部１５によるフレームＩＭＧ１中の人物ＰＳ１の検出結果はｔ＝２で得られる（フレームＩＭＧ４参照）。つまり、図３のｔ＝２のフレームＩＭＧ４では、便宜的にｔ＝２で撮像された人物ＰＳ１（黒塗りつぶし）とともに、ｔ＝１のフレームＩＭＧ１に基づくＡＩ検出出力に相当する人物ＡＩ１（ドットハッチ）とが示されている。但し、ｔ＝２で実際にイメージセンサ１２から取得される撮像画像のフレームＩＭＧ４には、人物ＡＩ１は映っていない。

【0060】

監視カメラ１は、ｔ＝１のフレームＩＭＧ１をエンコーダ１４Ａで符号化処理する。なお、監視カメラ１は、ｔ＝１からｔ＝２に至るまでの２フレームについても同様にイメージセンサ１２から取得してエンコーダ１４Ａで符号化処理する。なお、ｔ＝１からｔ＝２，ｔ＝２からｔ＝３，ｔ＝３からｔ＝４に至るまでのそれぞれの期間中の２フレームについては、ＡＩ処理部１５による人物の検出処理は実行されなくてもよいし、図３では図示を省略しているが同様に実行されてもよい。

【0061】

［ｔ＝２について］
また、ＡＩ処理部１５は、イメージセンサ１２から得られたｔ＝２のフレームＩＭＧ４を入力してフレームＩＭＧ４中の移動物体（例えば人物ＰＳ１）を検出する。ＡＩ処理部１５によるフレームＩＭＧ４中の人物ＰＳ１の検出結果はｔ＝３で得られる（フレームＩＭＧ７参照）。つまり、図３のｔ＝３のフレームＩＭＧ７では、便宜的にｔ＝３で撮像された人物ＰＳ１（黒塗りつぶし）とともに、ｔ＝１，２の各フレームＩＭＧ１，ＩＭＧ４に基づくＡＩ検出出力に相当する人物ＡＩ１，ＡＩ２（ドットハッチ）とが示されている。但し、ｔ＝３で実際にイメージセンサ１２から取得される撮像画像のフレームＩＭＧ７には、人物ＡＩ１，ＡＩ２は映っていない。

【0062】

監視カメラ１は、ｔ＝２のフレームＩＭＧ４をエンコーダ１４Ａで符号化処理する。なお、監視カメラ１は、ｔ＝２からｔ＝３に至るまでの２フレームについても同様にイメージセンサ１２から取得してエンコーダ１４Ａで符号化処理する。また、監視カメラ１は、ｔ＝２で得られた、ｔ＝１のフレームＩＭＧ１に基づくＡＩ検出出力である人物ＰＳ１の検出位置（つまり、人物ＡＩ１の位置を示すフレームＩＭＧ１の座標）および検出時刻（つまり、ｔ＝１）と移動物体の個別ＩＤとを関連付けてメモリ１３に蓄積する。個別ＩＤは、複数のフレーム間で撮影されている物体が同一物であることを示すものであり、物体の位置情報や色などの特徴量から判断される。

【0063】

［ｔ＝３について］
また、ＡＩ処理部１５は、イメージセンサ１２から得られたｔ＝３のフレームＩＭＧ７を入力してフレームＩＭＧ７中の移動物体（例えば人物ＰＳ１）を検出する。ＡＩ処理部１５によるフレームＩＭＧ７中の人物ＰＳ１の検出結果はｔ＝４で得られる（フレームＩＭＧ１０参照）。つまり、図３のｔ＝４のフレームＩＭＧ１０では、便宜的にｔ＝４で撮像された人物ＰＳ１（黒塗りつぶし）とともに、ｔ＝２，３の各フレームＩＭＧ４，ＩＭＧ７に基づくＡＩ検出出力に相当する人物ＡＩ２，ＡＩ３（ドットハッチ）とが示されている。但し、ｔ＝４で実際にイメージセンサ１２から取得される撮像画像のフレームＩＭＧ１０には、人物ＡＩ２，ＡＩ３は映っていない。

【0064】

さらに、プロセッサ１４は、最新（つまり現在であるｔ＝３）の時点でＡＩ処理部１５により検出された移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ２の位置）とメモリ１３に蓄積された過去（例えば直近の過去であるｔ＝２）の同じ移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ１の位置）とに基づいて、その移動物体（例えば人物ＰＳ１）の移動ベクトルを算出する。プロセッサ１４は、この移動ベクトルの算出結果とフレームＩＭＧ４中の移動物体（例えば人物ＰＳ１）の検出位置（座標）とを用いて、最新（つまり現在であるｔ＝３）のフレームＩＭＧ７において、移動物体（例えば人物ＰＳ１）の位置（言い換えると、ｔ＝２からの移動先）を予測する。プロセッサ１４は、この予測結果である位置を、移動物体（例えば人物ＰＳ１）の移動先予測枠ＷＫ１として求める。プロセッサ１４は、移動先予測枠ＷＫ１の算出結果に基づいて、フレームＩＭＧ７の移動先予測枠ＷＫ１内の画像部分の符号量を所定値より大きくしかつ移動先予測枠ＷＫ１外の画像部分の符号量を所定値より小さくして符号化処理する旨の符号化指示を生成する。エンコーダ１４Ａは、この符号化指示に従って、フレームＩＭＧ７を符号化処理する。

【0065】

監視カメラ１は、ｔ＝３のフレームＩＭＧ７をエンコーダ１４Ａで符号化処理する。なお、監視カメラ１は、ｔ＝３からｔ＝４に至るまでの２フレームについても同様にイメージセンサ１２から取得してエンコーダ１４Ａで符号化処理する。また、監視カメラ１は、ｔ＝３で得られた、ｔ＝２のフレームＩＭＧ４に基づくＡＩ検出出力である人物ＰＳ１の検出位置（つまり、人物ＡＩ２の位置を示すフレームＩＭＧ４の座標）および検出時刻（つまり、ｔ＝２）と移動物体の個別ＩＤ（上述参照）とを関連付けてメモリ１３に蓄積する。

【0066】

［ｔ＝４について］
また、ＡＩ処理部１５は、イメージセンサ１２から得られたｔ＝４のフレームＩＭＧ１０を入力してフレームＩＭＧ１０中の移動物体（例えば人物ＰＳ１）を検出する。ＡＩ処理部１５によるフレームＩＭＧ１０中の人物ＰＳ１の検出結果はｔ＝４の次の１００ｍｓの時点で得られる。

【0067】

さらに、プロセッサ１４は、最新（つまり現在であるｔ＝４）の時点でＡＩ処理部１５により検出された移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ３の位置）とメモリ１３に蓄積された過去（例えば直近の過去であるｔ＝３）の同じ移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ２の位置）とに基づいて、その移動物体（例えば人物ＰＳ１）の移動ベクトルを算出する。プロセッサ１４は、この移動ベクトルの算出結果とフレームＩＭＧ７中の移動物体（例えば人物ＰＳ１）の検出位置（座標）とを用いて、最新（つまり現在であるｔ＝４）のフレームＩＭＧ１０において、移動物体（例えば人物ＰＳ１）の位置（言い換えると、ｔ＝３からの移動先）を予測する。プロセッサ１４は、この予測結果である位置を、移動物体（例えば人物ＰＳ１）の移動先予測枠ＷＫ２として求める。プロセッサ１４は、移動先予測枠ＷＫ２の算出結果に基づいて、フレームＩＭＧ１０の移動先予測枠ＷＫ２内の画像部分の符号量を所定値より大きくしかつ移動先予測枠ＷＫ２外の画像部分の符号量を所定値より小さくして符号化処理する旨の符号化指示を生成する。エンコーダ１４Ａは、この符号化指示に従って、フレームＩＭＧ１０を符号化処理する。

【0068】

監視カメラ１は、ｔ＝４のフレームＩＭＧ１０をエンコーダ１４Ａで符号化処理する。また、監視カメラ１は、ｔ＝４で得られた、ｔ＝３のフレームＩＭＧ７に基づくＡＩ検出出力である人物ＰＳ１の検出位置（つまり、人物ＡＩ３の位置を示すフレームＩＭＧ７の座標）および検出時刻（つまり、ｔ＝３）と移動物体の種別（例えば人物）とを関連付けてメモリ１３に蓄積する。

【0069】

次に、実施の形態１に係る監視カメラ１の動作手順について、図４を参照して説明する。図４は、実施の形態１に係る監視カメラの動作手順例を時系列に示すフローチャートである。図４の説明において、必要に応じて図３を参照し、説明を分かり易くするために、図３のｔ＝２のタイミング以降の処理を説明する。

【0070】

図４において、ＡＩ処理部１５は、イメージセンサ１２から得られた時点（例えばｔ＝２のフレームＩＭＧ４）を入力してフレームＩＭＧ４中の移動物体（例えば人物ＰＳ１）を検出する（Ｓｔ１、ｔ＝２）。ＡＩ処理部１５は、ＡＩによる検出の対象物である移動物体（例えば人物ＰＳ１）の検出結果（具体的には、人物ＰＳ１のフレームＩＭＧ４中の位置を示す座標）を、ｔ＝２から１００ｍｓ後のｔ＝３の時点で取得する（Ｓｔ２、ｔ＝３）。つまり、ＡＩ処理部１５は、ステップＳｔ２の時点（ｔ＝３）に、現在（ｔ＝３）から見ると時刻（ｔ－１）に相当するｔ＝２の移動物体（例えば人物ＰＳ１）の検出結果（具体的には、人物ＰＳ１のフレームＩＭＧ４中の位置を示す座標）を得る。

【0071】

プロセッサ１４は、メモリ１３に蓄積されている過去の（例えば直近の過去である、現在（ｔ＝３）から見ると時刻（ｔ－２）に相当するｔ＝１）の同じ移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ１の位置）を読み出して取得する（Ｓｔ３、ｔ＝３）。プロセッサ１４は、ステップＳｔ２で検出された最新（つまり現在であるｔ＝３）の時点でＡＩ処理部１５により検出された移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ２の位置）と、ステップＳｔ３で取得された過去の同じ移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ１の位置）とを用いて、移動物体（例えば人物ＰＳ１）のフレーム間の移動方向を示す移動ベクトルを算出する（Ｓｔ４、ｔ＝３）。

【0072】

プロセッサ１４は、ステップＳｔ４で算出された移動ベクトルとステップＳｔ２で検出されたフレームＩＭＧ４中の移動物体（例えば人物ＰＳ１）の検出位置（座標）とを用いて、最新（つまり現在であるｔ＝３）のフレームＩＭＧ７において、移動物体（例えば人物ＰＳ１）の位置（言い換えると、ｔ＝２からの移動先）を予測する（Ｓｔ５、ｔ＝３）。

【0073】

プロセッサ１４は、この予測結果である位置の座標を、移動物体（例えば人物ＰＳ１）の移動先予測枠ＷＫ１として求める。プロセッサ１４は、移動先予測枠ＷＫ１の算出結果に基づいて、フレームＩＭＧ７の移動先予測枠ＷＫ１内の画像部分の符号量を所定値より大きくしかつ移動先予測枠ＷＫ１外の画像部分の符号量を所定値より小さくして符号化処理する旨の符号化指示を生成する（Ｓｔ６）。つまり、プロセッサ１４は、移動先予測枠ＷＫ１内の画像部分の符号量を所定値より大きくしかつ移動先予測枠ＷＫ１外の画像部分の符号量を所定値より小さくするように、エンコーダ１４Ａの符号化処理時のパラメータを変更する。エンコーダ１４Ａは、この符号化指示に従って、フレームＩＭＧ７を符号化処理する。

【0074】

また、監視カメラ１は、ｔ＝３で得られた、ｔ＝２のフレームＩＭＧ４に基づくＡＩ検出出力である人物ＰＳ１の検出位置（つまり、人物ＡＩ２の位置を示すフレームＩＭＧ４の座標）および検出時刻（つまり、ｔ＝２）と移動物体の個別ＩＤとを関連付けてメモリ１３に蓄積する（Ｓｔ７）。ステップＳｔ７の後、監視カメラ１の処理はステップＳｔ１に戻り、１００ｍｓ間隔でステップＳｔ１～ステップＳｔ７までの処理が同様に繰り返される。

【0075】

図５は、移動先予測枠ＷＫ１内のエリアごとに異なる符号量の割り当て例を示す図である。図５には、移動先予測枠ＷＫ１と、分布曲線ＰＴＹ１とが対応付けて示されている。分布曲線ＰＴＹ１は、移動先予測枠ＷＫ１内のエリアＡＲ１，ＡＲ２，ＡＲ３ごとにエンコーダ１４Ａに割り当てられる符号化処理時の符号量（パラメータの一例）の大小の特性例を示す。

【0076】

移動先予測枠ＷＫ１内において、移動物体（例えば人物ＰＳ１）が検出される確率は端部（エッジ）から中心に向かって高くなると考えられる。言い換えると、移動先予測枠ＷＫ１内において、移動物体（例えば人物ＰＳ１）が検出される確率は中心から端部（エッジ）に向かって低くなると考えられる。このため、実施の形態１に係る監視カメラ１は、図４のステップＳｔ５において、移動先予測枠ＷＫ１内の画像の符号化処理時の符号量を、エリアＡＲ３，ＡＲ２，ＡＲ１の順に大きくするように設定してもよい。これにより、監視カメラ１は、同じ移動先予測枠ＷＫ１内であっても、移動物体が実際に検知される確率が高いと考えられるエリアごとに符号量の重み付け（傾斜）を付けた符号量を設定することで、ユーザが注目しがちな移動物体の画質を劣化させないよう、かつ、符号化したデータのデータ量が大きくなりすぎないよう効率的に符号化処理できる。なお、図５に示す移動先予測枠内のエリアごとに符号量の重み付け（傾斜）を付けた符号量の設定は、後述する実施の形態２，３においても同様に適用可能であってよい。

【0077】

以上により、実施の形態１に係る監視カメラ１は、人工知能を搭載し、撮像エリアを第１の所定時間（例えば１／３０（秒））ごとに撮像し、人工知能を用いて、撮像エリアが撮像された撮像画像中の移動物体を第１の所定時間より長い第２の所定時間（例えば１００ミリ秒）ごとに検出する。監視カメラ１は、過去に撮像された撮像画像に基づいて検出された移動物体の検出位置および検出時刻を関連付けてメモリ１３に記憶する。監視カメラ１は、移動物体の最新（例えばｔ＝３）の検出位置（例えば人物ＡＩ２の位置）および過去の検出位置（例えば人物ＡＩ１の位置）に基づいて、最新（例えばｔ＝３）の撮像画像中の移動物体の移動先の位置を予測し、移動物体の移動先の位置の予測結果を示す移動先予測枠に基づく符号化指示を生成する。監視カメラ１は、符号化指示に基づいて、最新（例えばｔ＝３）の撮像画像を符号化する。

【0078】

これにより、監視カメラ１は、監視カメラ１の画角内の撮像エリアを移動するターゲット（例えば人物ＰＳ１等の移動物体）を捉えた撮像画像を効率的かつ高精度に符号化できる。つまり、監視カメラ１は、撮像画像中において、ユーザに注目され易い移動先予測枠内の移動物体（例えば人物ＰＳ１）を低圧縮（つまり符号化処理時の符号量を大きく割り当て）でき、さらに、移動先予測枠外の背景部分を高圧縮（つまり符号化処理時の符号量を小さく割り当て）することで、撮像画像のデータを効率的かつ高精度に圧縮できる。

【0079】

また、監視カメラ１は、予測結果である移動先予測枠の位置（例えば人物ＡＩ２の位置を示す座標）を、その映像を取得した時（例えばｔ＝２）のの移動物体の検出位置としてメモリ１３に蓄積する。これにより、監視カメラ１は、ＡＩ処理部１５の検出対象物である移動物体（例えば人物ＰＳ１）の移動ベクトルを、複数フレームの取得時刻と各時刻における同一ＩＤの移動物体の検出位置を用いて高精度に算出できる。

【0080】

また、監視カメラ１は、予測結果である移動先予測枠に基づいて、最新（例えばｔ＝３）の撮像画像中の移動先予測枠（例えば移動先予測枠ＷＫ１）内の画像の符号量を所定値より大きく、かつ移動先予測枠（例えば移動先予測枠ＷＫ１）外の画像の符号量を所定値より小さくして符号化する旨の符号化指示をエンコーダ１４Ａに送る。これにより、監視カメラ１は、移動先予測枠（例えば移動先予測枠ＷＫ１）内の画像（つまり移動物体の画像）を高解像度となるように圧縮でき、移動先予測枠（例えば移動先予測枠ＷＫ１）外の画像を低解像度となるように圧縮できるので、効率的かつ高精度な画像符号化を行える。

【0081】

また、監視カメラ１は、移動先予測枠（例えば移動先予測枠ＷＫ１）内の画像の符号量を、移動先予測枠内の端部から中心に向かって徐々に大きくなるよう符号化する旨の符号化指示をエンコーダ１４Ａに送る。これにより、監視カメラ１は、同じ移動先予測枠ＷＫ１内であっても、移動物体が実際に検知される確率が高いと考えられるエリアごとに符号量の重み付け（傾斜）を付ける符号量を設定することで、ユーザが注目しがちな移動物体の画質を劣化させないよう、かつ、符号化したデータのデータ量が大きくなりすぎないよう効率的に符号化処理できる。

【0082】

また、実施の形態１に係る監視カメラ１は、人工知能を搭載し、撮像エリアを第１の所定時間（例えば１／３０（秒））ごとに撮像し、人工知能を用いて、撮像エリアが撮像された撮像画像中の移動物体を第１の所定時間より長い第２の所定時間（例えば１００ミリ秒）ごとに検出する。監視カメラ１は、過去に撮像された撮像画像に基づいて検出された移動物体の検出位置および検出時刻を関連付けてメモリ１３に記憶する。監視カメラ１は、移動物体の最新（例えばｔ＝３）の検出位置（例えば人物ＡＩ２の位置）および過去の検出位置（例えば人物ＡＩの位置）に基づいて、最新（例えばｔ＝３）の撮像画像中の移動物体の移動先の位置を予測し、移動物体の移動先の位置の予測結果を示す移動先予測枠を最新（例えばｔ＝３）の撮像画像にプロセッサ１４において重畳する。監視カメラ１は、移動先予測枠が重畳された最新の撮像画像を外部装置（例えば監視用コンピュータＰＣ１）に表示させる。

【0083】

これにより、監視カメラ１は、監視カメラ１の画角内の撮像エリアを移動するターゲット（例えば人物ＰＳ１等の移動物体）の移動先の位置を示す移動先予測枠を撮像画像中に的確に表示できる。従って、この撮像画像を閲覧したユーザは、撮像画像中において、移動物体（例えば人物ＰＳ１）の移動先を視覚的かつ直感的に把握できるので、監視業務の効率化を図ることができる。

【0084】

（実施の形態２）
実施の形態２では、監視カメラは、移動物体の最新の検出位置および過去の検出位置だけでなく移動物体の移動速度も加味して、最新の撮像画像中の移動物体が存在すると予測される移動先予測枠の大きさを変更する。

【0085】

ここでいう移動速度とは、撮像画像中の物体の移動速度（単位時間あたりに物体が何ピクセル移動したか）を表す。人物等の移動物体の移動速度が変化した場合、例えば、人物が加速をし続けた場合、その人物を囲うはずの移動先予測枠より人物が先を行くことになる。つまり、実施の形態１の方法では移動先予測枠の位置が移動物体の実際に検出される位置と合わない可能性がある。さらに、移動速度が大きいほど、実際の物体の位置と移動先予測枠の位置のずれが大きくなる。この課題を解決するため、実施の形態２では、監視カメラは、移動先予測枠を移動速度に合わせて拡大する。一方、人物等の移動物体の移動速度が遅い場合、実際の物体の位置と移動先予測枠のずれはそれほど大きくならず、移動先予測枠の大きさは変える必然性が乏しいと考えられる（図６参照）。この場合には、監視カメラは、実施の形態１と同様な移動先予測枠の大きさ（サイズ）をそのまま採用するよう決定する。

【0086】

実施の形態２に係る監視カメラシステム１００および監視カメラ１の内部構成は、実施の形態１に係る監視カメラシステム１００および監視カメラ１の内部構成と同一である。このため、実施の形態２において、実施の形態１と重複する構成には同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

【0087】

図６は、実施の形態２において、３フレームごとに取得される撮像画像のフレームＩＭＧ１，ＩＭＧ４，ＩＭＧ７，ＩＭＧ７Ａ，ＩＭＧ１０，ＩＭＧ１０Ａ中の人物ＰＳ１の移動先予測枠の一例を時系列に示す図である。図６では、図３と同様に、ＡＩの検出出力が得られる１００ｍｓごとの撮像画像（つまり、イメージセンサ１２から取得された撮像画像）のフレームＩＭＧ１，ＩＭＧ４，ＩＭＧ７，ＩＭＧ７Ａ，ＩＭＧ１０，ＩＭＧ１０Ａが図示されている。つまり、ｔ＝１の１００ｍｓ後がｔ＝２となり、同様に、ｔ＝２の１００ｍｓ後がｔ＝３となり、ｔ＝３の１００ｍｓ後がｔ＝４となっている。なお、図６の説明において、図３に示される要素と同一の要素については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。また、図６では移動物体の一例として人物ＰＳ１を挙げ、移動態様を歩行として説明するが、移動態様は歩行に限定されないことは言うまでもない。

【0088】

［ｔ＝３について：早歩き（移動速度が速い）パターン］
ＡＩ処理部１５は、イメージセンサ１２から得られたｔ＝３のフレームＩＭＧ７を入力してフレームＩＭＧ７中の移動物体（例えば人物ＰＳ１）を検出する。ＡＩ処理部１５によるフレームＩＭＧ７中の人物ＰＳ１の検出結果はｔ＝４で得られる（フレームＩＭＧ１０参照）。つまり、図６のｔ＝４のフレームＩＭＧ１０では、便宜的にｔ＝４で撮像された人物ＰＳ１（黒塗りつぶし）とともに、ｔ＝２，３の各フレームＩＭＧ４，ＩＭＧ７に基づくＡＩ検出出力に相当する人物ＡＩ２，ＡＩ３（ドットハッチ）とが示されている。但し、ｔ＝４で実際にイメージセンサ１２から取得される撮像画像のフレームＩＭＧ１０には、人物ＡＩ２，ＡＩ３は映っていない。

【0089】

さらに、プロセッサ１４は、最新（つまり現在であるｔ＝３）の時点でＡＩ処理部１５により検出された移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ２の位置）とメモリ１３に蓄積された過去（例えば直近の過去であるｔ＝２）の同じ移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ１の位置）とに基づいて、その移動物体（例えば人物ＰＳ１）の移動ベクトルおよび移動速度を算出する。プロセッサ１４は、この移動ベクトルおよび移動速度の算出結果を用いて、最新（つまり現在であるｔ＝３）にイメージセンサ１２から取得されたフレームＩＭＧ７において、移動物体（例えば人物ＰＳ１）の位置（言い換えると、ｔ＝２からの移動先）を、移動速度を加味して予測する。プロセッサ１４は、この予測結果である位置を、移動物体（例えば人物ＰＳ１）の移動先予測枠ＷＫ３として求める。例えば、プロセッサ１４は、移動速度が大きい場合（例えば所定値より大きい移動速度で早歩きしている）には、通常歩行時の移動先予測枠（例えば図３の移動先予測枠ＷＫ１）よりも速度に比例した分だけ拡大した移動先予測枠ＷＫ３の位置を算出する。プロセッサ１４は、移動先予測枠ＷＫ３の算出結果に基づいて、フレームＩＭＧ７の移動先予測枠ＷＫ３内の画像部分の符号量を所定値より大きくしかつ移動先予測枠ＷＫ３外の画像部分の符号量を所定値より小さくして符号化処理する旨の符号化指示を生成する。エンコーダ１４Ａは、この符号化指示に従って、フレームＩＭＧ７を符号化処理する。

【0090】

［ｔ＝４について：早歩き（移動速度が速い）パターン］
ＡＩ処理部１５は、イメージセンサ１２から得られたｔ＝４のフレームＩＭＧ１０を入力してフレームＩＭＧ１０中の移動物体（例えば人物ＰＳ１）を検出する。ＡＩ処理部１５によるフレームＩＭＧ１０中の人物ＰＳ１の検出結果はｔ＝４の次の１００ｍｓ後に得られる。

【0091】

さらに、プロセッサ１４は、最新（つまり現在であるｔ＝４）の時点でＡＩ処理部１５により検出された移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ３の位置）とメモリ１３に蓄積された過去（例えば直近の過去であるｔ＝３）の同じ移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ２の位置）とに基づいて、その移動物体（例えば人物ＰＳ１）の移動ベクトルおよび移動速度を算出する。プロセッサ１４は、この移動ベクトルおよび移動速度の算出結果を用いて、最新（つまり現在であるｔ＝４）にイメージセンサ１２から取得されたフレームＩＭＧ１０において、移動物体（例えば人物ＰＳ１）の位置（言い換えると、ｔ＝３からの移動先）を、移動速度を加味して予測する。プロセッサ１４は、この予測結果である位置を、移動物体（例えば人物ＰＳ１）の移動先予測枠ＷＫ４として求める。例えば、プロセッサ１４は、移動速度がｔ＝３よりもさらに大きい場合（例えば所定の速度以上で早歩きしている）には、ｔ＝３の移動先予測枠ＷＫ３よりも拡大した移動先予測枠ＷＫ４の位置を算出する。プロセッサ１４は、移動先予測枠ＷＫ４の算出結果に基づいて、フレームＩＭＧ１０の移動先予測枠ＷＫ４内の画像部分の符号量を所定値より大きくしかつ移動先予測枠ＷＫ４外の画像部分の符号量を所定値より小さくして符号化処理する旨の符号化指示を生成する。エンコーダ１４Ａは、この符号化指示に従って、フレームＩＭＧ１０を符号化処理する。

【0092】

［ｔ＝３について：ゆっくり歩行（移動速度が遅い）パターン］
ＡＩ処理部１５は、イメージセンサ１２から得られたｔ＝３のフレームＩＭＧ７Ａを入力してフレームＩＭＧ７Ａ中の移動物体（例えば人物ＰＳ１）を検出する。ＡＩ処理部１５によるフレームＩＭＧ７Ａ中の人物ＰＳ１の検出結果はｔ＝４で得られる（フレームＩＭＧ１０Ａ参照）。つまり、図６のｔ＝４のフレームＩＭＧ１０Ａでは、便宜的にｔ＝４で撮像された人物ＰＳ１（黒塗りつぶし）とともに、ｔ＝２，３の各フレームＩＭＧ４，ＩＭＧ７Ａに基づくＡＩ検出出力に相当する人物ＡＩ２，ＡＩ３（ドットハッチ）とが示されている。但し、ｔ＝４で実際にイメージセンサ１２から取得される撮像画像のフレームＩＭＧ１０Ａには、人物ＡＩ２，ＡＩ３は映っていない。

【0093】

さらに、プロセッサ１４は、最新（つまり現在であるｔ＝３）の時点でＡＩ処理部１５により検出された移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ２の位置）とメモリ１３に蓄積された過去（例えば直近の過去であるｔ＝２）の同じ移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ１の位置）とに基づいて、その移動物体（例えば人物ＰＳ１）の移動ベクトルおよび移動速度を算出する。プロセッサ１４は、この移動ベクトルおよび移動速度の算出結果を用いて、最新（つまり現在であるｔ＝３）にイメージセンサ１２から取得されたフレームＩＭＧ７Ａにおいて、移動物体（例えば人物ＰＳ１）の位置（言い換えると、ｔ＝２からの移動先）を、移動速度を加味して予測する。プロセッサ１４は、この予測結果である位置を、移動物体（例えば人物ＰＳ１）の移動先予測枠ＷＫ５として求める。例えば、プロセッサ１４は、移動速度が遅い場合には、実施の形態１に係る移動先予測枠ＷＫ１と同様の大きさを有する移動先予測枠ＷＫ５の位置を算出する。プロセッサ１４は、移動先予測枠ＷＫ５の算出結果に基づいて、フレームＩＭＧ７Ａの移動先予測枠ＷＫ５内の画像部分の符号量を所定値より大きくしかつ移動先予測枠ＷＫ５外の画像部分の符号量を所定値より小さくして符号化処理する旨の符号化指示を生成する。エンコーダ１４Ａは、この符号化指示に従って、フレームＩＭＧ７Ａを符号化処理する。

【0094】

［ｔ＝４について：ゆっくり歩行（移動速度が遅い）パターン］
ＡＩ処理部１５は、イメージセンサ１２から得られたｔ＝４のフレームＩＭＧ１０Ａを入力してフレームＩＭＧ１０Ａ中の移動物体（例えば人物ＰＳ１）を検出する。ＡＩ処理部１５によるフレームＩＭＧ１０Ａ中の人物ＰＳ１の検出結果はｔ＝４で得られる（フレームＩＭＧ１０Ａ参照）。

【0095】

さらに、プロセッサ１４は、最新（つまり現在であるｔ＝４）の時点でＡＩ処理部１５により検出された移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ３の位置）とメモリ１３に蓄積された過去（例えば直近の過去であるｔ＝３）の同じ移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ２の位置）とに基づいて、その移動物体（例えば人物ＰＳ１）の移動ベクトルおよび移動速度を算出する。プロセッサ１４は、この移動ベクトルおよび移動速度の算出結果を用いて、最新（つまり現在であるｔ＝４）にイメージセンサ１２から取得されたフレームＩＭＧ１０Ａにおいて、移動物体（例えば人物ＰＳ１）の位置（言い換えると、ｔ＝３からの移動先）を、移動速度を加味して予測する。プロセッサ１４は、この予測結果である位置を、移動物体（例えば人物ＰＳ１）の移動先予測枠ＷＫ６として求める。例えば、プロセッサ１４は、移動速度が遅い場合には、実施の形態１に係る移動先予測枠ＷＫ２と同様の大きさを有する移動先予測枠ＷＫ６の位置を算出する。プロセッサ１４は、移動先予測枠ＷＫ６の算出結果に基づいて、フレームＩＭＧ１０Ａの移動先予測枠ＷＫ６内の画像部分の符号量を所定値より大きくしかつ移動先予測枠ＷＫ６外の画像部分の符号量を所定値より小さくして符号化処理する旨の符号化指示を生成する。エンコーダ１４Ａは、この符号化指示に従って、フレームＩＭＧ１０Ａを符号化処理する。

【0096】

次に、実施の形態２に係る監視カメラ１の動作手順について、図７を参照して説明する。図７は、実施の形態２に係る監視カメラ１の動作手順例を時系列に示すフローチャートである。図７の説明において、必要に応じて図６を参照し、説明を分かり易くするために、図６のｔ＝２のタイミング以降の処理を説明する。また、図７の説明において、図４と重複する処理と同一の処理については同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

【0097】

図７において、プロセッサ１４は、ステップＳｔ４で算出された移動ベクトルおよび移動速度とステップＳｔ２で検出されたフレームＩＭＧ４中の移動物体（例えば人物ＰＳ１）の検出位置（座標）とを用いて、最新（つまり現在であるｔ＝３）にイメージセンサ１２から取得されたフレームＩＭＧ７において、移動物体（例えば人物ＰＳ１）の位置（言い換えると、ｔ＝２からの移動先）を、移動速度を加味して予測する（Ｓｔ１１、ｔ＝３）。

【0098】

例えば、プロセッサ１４は、移動速度が大きい場合（例えば所定の速度以上で早歩きしている）には、通常歩行時の移動先予測枠（例えば図３の移動先予測枠ＷＫ１）よりも速度に比例した分だけ拡大した移動先予測枠ＷＫ３の位置を算出する。一方、例えば、プロセッサ１４は、移動速度が遅い場合には、実施の形態１に係る移動先予測枠（例えば移動先予測枠ＷＫ１）と同様の大きさを有する移動先予測枠（例えば移動先予測枠ＷＫ５）の位置を算出する（Ｓｔ１１、ｔ＝３）。プロセッサ１４は、この予測結果である位置の座標を、移動物体（例えば人物ＰＳ１）の移動先予測枠（例えば移動先予測枠ＷＫ３あるいは移動先予測枠ＷＫ５）として求める。ステップＳｔ１１以降の処理は図４と同一であるため、説明を省略する。

【0099】

以上により、実施の形態２に係る監視カメラ１は、移動物体（例えば人物ＰＳ１）の最新の検出位置および過去の検出位置と移動物体の移動速度とに基づいて、移動先予測枠の大きさを変更する。これにより、監視カメラ１は、移動物体（例えば人物ＰＳ１）が早歩きで移動している等のように、移動物体（例えば人物ＰＳ１）の移動速度も加味して移動先予測枠をより適切に決定できるので、予測位置が実際の位置とずれることを防ぎ、より効率的かつ高精度に画像符号化を実行できる。

【0100】

また、監視カメラ１は、移動物体（例えば人物ＰＳ１）の移動速度に比例して移動先予測枠（例えば移動先予測枠ＷＫ３，ＷＫ４）の大きさを拡大するよう変更する。これにより、監視カメラ１は、徐々に移動速度が増加する傾向にある移動物体（例えば人物ＰＳ１）の移動パターンに合わせて適応的に移動先予測枠（例えば移動先予測枠ＷＫ３，ＷＫ４）を決定できるので、より効率的かつ高精度に画像符号化を実行できる。

【0101】

なお、実施の形態２において、監視カメラ１（具体的にはプロセッサ１４）は、移動物体（例えば人物ＰＳ１）の移動速度が早歩きのように所定値以上である場合にその移動速度に応じて、移動先予測枠の拡大率を異なるように変更してもよい。例えば、監視カメラ１は、人物ＰＳ１が時速４ｋｍ／ｈで早歩きしている場合には、移動先予測枠の拡大率を１．３倍にして移動先予測枠の位置を算出してよい。また、監視カメラ１は、人物ＰＳ１が時速３ｋｍ／ｈで早歩きしている場合には、移動先予測枠の拡大率を１．１倍にして移動先予測枠の位置を算出してよい。これにより、監視カメラ１は、例えば同じ早歩きでも人物ＰＳ１の身長あるいは歩幅、歩き方の相違にも対応して人物ＰＳ１の移動パターンに適応的に移動先予測枠を算出できて、より効率的かつ高精度な符号化処理を行える。

【0102】

（実施の形態３）
実施の形態３では、監視カメラは、移動物体の最新の検出位置および過去の検出位置だけでなく移動物体の移動方向も加味して、最新の撮像画像中の移動物体が存在すると予測される移動先予測枠の大きさを変更する。

【0103】

ここでいう移動方向とは、例えば人物等の移動物体が監視カメラから遠のく方向と、監視カメラに近づく方向とが考えられる。つまり、人物等の移動物体が監視カメラから遠のくと、撮像画像中の移動物体は徐々に小さくなるように撮像される。一方、人物等の移動物体が監視カメラに近づくと、撮像画像中の移動物体は徐々に大きくなるように撮像される（図８参照）。

【0104】

実施の形態３に係る監視カメラシステム１００および監視カメラ１の内部構成は、実施の形態１に係る監視カメラシステム１００および監視カメラ１の内部構成と同一である。このため、実施の形態３において、実施の形態１と重複する構成には同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

【0105】

図８は、実施の形態３において、３フレームごとに取得される撮像画像のフレームＩＭＧ１，ＩＭＧ４Ｂ，ＩＭＧ４Ｃ，ＩＭＧ７Ｂ，ＩＭＧ７Ｃ，ＩＭＧ１０Ｂ，ＩＭＧ１０Ｃ中の人物ＰＳ１の移動先予測枠の一例を時系列に示す図である。図８では、図３と同様に、ＡＩの検出出力が得られる１００ｍｓごとの撮像画像（つまり、イメージセンサ１２から取得された撮像画像）のフレームＩＭＧ１，ＩＭＧ４Ｂ，ＩＭＧ４Ｃ，ＩＭＧ７Ｂ，ＩＭＧ７Ｃ，ＩＭＧ１０Ｂ，ＩＭＧ１０Ｃが図示されている。つまり、ｔ＝１の１００ｍｓ後がｔ＝２となり、同様に、ｔ＝２の１００ｍｓ後がｔ＝３となり、ｔ＝３の１００ｍｓ後がｔ＝４となっている。なお、図８の説明において、図３に示される要素と同一の要素については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。また、図８では移動物体の一例として人物ＰＳ１を挙げ、移動態様を歩行として説明するが、移動態様は歩行に限定されないことは言うまでもない。

【0106】

［ｔ＝２について：奥行き移動パターン］
ＡＩ処理部１５は、イメージセンサ１２から得られたｔ＝２のフレームＩＭＧ４Ｂを入力してフレームＩＭＧ４Ｂ中の移動物体（例えば人物ＰＳ１）を検出する。ＡＩ処理部１５によるフレームＩＭＧ４Ｂ中の人物ＰＳ１の検出結果はｔ＝３で得られる（フレームＩＭＧ７Ｂ参照）。つまり、図８のｔ＝３のフレームＩＭＧ７Ｂでは、便宜的にｔ＝３で撮像された人物ＰＳ１（黒塗りつぶし）とともに、ｔ＝１，２のフレームＩＭＧ１，ＩＭＧ４Ｂに基づくＡＩ検出出力に相当する人物ＡＩ１，ＡＩ２（ドットハッチ）とが示されている。但し、ｔ＝３で実際にイメージセンサ１２から取得される撮像画像のフレームＩＭＧ７Ｂには、人物ＡＩ１，ＡＩ２は映っていない。

【0107】

監視カメラ１は、ｔ＝２のフレームＩＭＧ４Ｂをエンコーダ１４Ａで符号化処理する。なお、監視カメラ１は、ｔ＝２からｔ＝３に至るまでの２フレームについても同様にイメージセンサ１２から取得してエンコーダ１４Ａで符号化処理する。

【0108】

［ｔ＝３について：奥行き移動パターン］
ＡＩ処理部１５は、イメージセンサ１２から得られたｔ＝３のフレームＩＭＧ７Ｂを入力してフレームＩＭＧ７Ｂ中の移動物体（例えば人物ＰＳ１）を検出する。ＡＩ処理部１５によるフレームＩＭＧ７Ｂ中の人物ＰＳ１の検出結果はｔ＝４で得られる（フレームＩＭＧ１０Ｂ参照）。つまり、図８のｔ＝４のフレームＩＭＧ１０Ｂでは、便宜的にｔ＝４で撮像された人物ＰＳ１（黒塗りつぶし）とともに、ｔ＝２，３の各フレームＩＭＧ４Ｂ，ＩＭＧ７Ｂに基づくＡＩ検出出力に相当する人物ＡＩ２，ＡＩ３（ドットハッチ）とが示されている。但し、ｔ＝４で実際にイメージセンサ１２から取得される撮像画像のフレームＩＭＧ１０Ｂには、人物ＡＩ２，ＡＩ３は映っていない。

【0109】

さらに、プロセッサ１４は、最新（つまり現在であるｔ＝３）の時点でＡＩ処理部１５により検出された移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ２の位置）とメモリ１３に蓄積された過去（例えば直近の過去であるｔ＝２）の同じ移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ１の位置）とに基づいて、その移動物体（例えば人物ＰＳ１）の移動ベクトルおよび移動方向を算出する。プロセッサ１４は、この移動ベクトルおよび移動方向の算出結果を用いて、最新（つまり現在であるｔ＝３）にイメージセンサ１２から取得されたフレームＩＭＧ７Ｂにおいて、移動物体（例えば人物ＰＳ１）の位置（言い換えると、ｔ＝２からの移動先）を、移動方向を加味して予測する。プロセッサ１４は、この予測結果である位置を、移動物体（例えば人物ＰＳ１）の移動先予測枠ＷＫ７として求める。例えば、プロセッサ１４は、人物ＰＳ１が徐々に小さくなる傾向を示す場合（言い換えると、人物ＰＳ１が監視カメラ１から遠のく方向に移動している）には、通常歩行時の移動先予測枠（例えば図３の移動先予測枠ＷＫ１）よりも移動物体のサイズに合わせて縮小した移動先予測枠ＷＫ７の位置を算出する。プロセッサ１４は、移動先予測枠ＷＫ７の算出結果に基づいて、フレームＩＭＧ７Ｂの移動先予測枠ＷＫ７内の画像部分の符号量を所定値より大きくしかつ移動先予測枠ＷＫ７外の画像部分の符号量を所定値より小さくして符号化処理する旨の符号化指示を生成する。エンコーダ１４Ａは、この符号化指示に従って、フレームＩＭＧ７Ｂを符号化処理する。

【0110】

［ｔ＝４について：奥行き移動パターン］
ＡＩ処理部１５は、イメージセンサ１２から得られたｔ＝４のフレームＩＭＧ１０Ｂを入力してフレームＩＭＧ１０Ｂ中の移動物体（例えば人物ＰＳ１）を検出する。ＡＩ処理部１５によるフレームＩＭＧ１０Ｂ中の人物ＰＳ１の検出結果はｔ＝４の次の１００ｍｓ後に得られる。

【0111】

さらに、プロセッサ１４は、最新（つまり現在であるｔ＝４）の時点でＡＩ処理部１５により検出された移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ３の位置）とメモリ１３に蓄積された過去（例えば直近の過去であるｔ＝３）の同じ移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ２の位置）とに基づいて、その移動物体（例えば人物ＰＳ１）の移動ベクトルおよび移動方向を算出する。プロセッサ１４は、この移動ベクトルおよび移動方向の算出結果を用いて、最新（つまり現在であるｔ＝４）にイメージセンサ１２から取得されたフレームＩＭＧ１０Ｂにおいて、移動物体（例えば人物ＰＳ１）の位置（言い換えると、ｔ＝３からの移動先）を、移動方向を加味して予測する。プロセッサ１４は、この予測結果である位置を、移動物体（例えば人物ＰＳ１）の移動先予測枠ＷＫ８として求める。例えば、プロセッサ１４は、人物ＰＳ１がさらに徐々に小さくなる傾向を示す場合（言い換えると、人物ＰＳ１が監視カメラ１からより遠のく方向に移動している）には、ｔ＝３の移動先予測枠ＷＫ７よりもさらに縮小した移動先予測枠ＷＫ８の位置を算出する。プロセッサ１４は、移動先予測枠ＷＫ８の算出結果に基づいて、フレームＩＭＧ１０Ｂの移動先予測枠ＷＫ８内の画像部分の符号量を所定値より大きくしかつ移動先予測枠ＷＫ８外の画像部分の符号量を所定値より小さくして符号化処理する旨の符号化指示を生成する。エンコーダ１４Ａは、この符号化指示に従って、フレームＩＭＧ１０Ｂを符号化処理する。

【0112】

［ｔ＝２について：手前移動パターン］
ＡＩ処理部１５は、イメージセンサ１２から得られたｔ＝２のフレームＩＭＧ４Ｃを入力してフレームＩＭＧ４Ｃ中の移動物体（例えば人物ＰＳ１）を検出する。ＡＩ処理部１５によるフレームＩＭＧ４Ｃ中の人物ＰＳ１の検出結果はｔ＝３で得られる（フレームＩＭＧ７Ｃ参照）。つまり、図８のｔ＝３のフレームＩＭＧ７Ｃでは、便宜的にｔ＝３で撮像された人物ＰＳ１（黒塗りつぶし）とともに、ｔ＝１，２のフレームＩＭＧ１，ＩＭＧ４Ｃに基づくＡＩ検出出力に相当する人物ＡＩ１，ＡＩ２（ドットハッチ）とが示されている。但し、ｔ＝３で実際にイメージセンサ１２から取得される撮像画像のフレームＩＭＧ７Ｃには、人物ＡＩ１，ＡＩ２は映っていない。

【0113】

監視カメラ１は、ｔ＝２のフレームＩＭＧ４Ｃをエンコーダ１４Ａで符号化処理する。なお、監視カメラ１は、ｔ＝２からｔ＝３に至るまでの２フレームについても同様にイメージセンサ１２から取得してエンコーダ１４Ａで符号化処理する。

【0114】

［ｔ＝３について：手前移動パターン］
ＡＩ処理部１５は、イメージセンサ１２から得られたｔ＝３のフレームＩＭＧ７Ｃを入力してフレームＩＭＧ７Ｃ中の移動物体（例えば人物ＰＳ１）を検出する。ＡＩ処理部１５によるフレームＩＭＧ７Ｃ中の人物ＰＳ１の検出結果はｔ＝４で得られる（フレームＩＭＧ１０Ｃ参照）。つまり、図８のｔ＝４のフレームＩＭＧ１０Ｃでは、便宜的にｔ＝４で撮像された人物ＰＳ１（黒塗りつぶし）とともに、ｔ＝２，３の各フレームＩＭＧ４Ｃ，ＩＭＧ７Ｃに基づくＡＩ検出出力に相当する人物ＡＩ２，ＡＩ３（ドットハッチ）とが示されている。但し、ｔ＝４で実際にイメージセンサ１２から取得される撮像画像のフレームＩＭＧ１０Ｃには、人物ＡＩ２，ＡＩ３は映っていない。

【0115】

さらに、プロセッサ１４は、最新（つまり現在であるｔ＝３）の時点でＡＩ処理部１５により検出された移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ２の位置）とメモリ１３に蓄積された過去（例えば直近の過去であるｔ＝２）の同じ移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ１の位置）とに基づいて、その移動物体（例えば人物ＰＳ１）の移動ベクトルおよび移動方向を算出する。プロセッサ１４は、この移動ベクトルおよび移動方向の算出結果を用いて、最新（つまり現在であるｔ＝３）にイメージセンサ１２から取得されたフレームＩＭＧ７Ｃにおいて、移動物体（例えば人物ＰＳ１）の位置（言い換えると、ｔ＝２からの移動先）を、移動方向を加味して予測する。プロセッサ１４は、この予測結果である位置を、移動物体（例えば人物ＰＳ１）の移動先予測枠ＷＫ９として求める。例えば、プロセッサ１４は、人物ＰＳ１が徐々に大きくなる傾向を示す場合（言い換えると、人物ＰＳ１が監視カメラ１に近づく方向に移動している）には、通常歩行時の移動先予測枠（例えば図３の移動先予測枠ＷＫ１）よりも移動物体のサイズに合わせて拡大した移動先予測枠ＷＫ９の位置を算出する。プロセッサ１４は、移動先予測枠ＷＫ９の算出結果に基づいて、フレームＩＭＧ７Ｃの移動先予測枠ＷＫ９内の画像部分の符号量を所定値より大きくしかつ移動先予測枠ＷＫ９外の画像部分の符号量を所定値より小さくして符号化処理する旨の符号化指示を生成する。エンコーダ１４Ａは、この符号化指示に従って、フレームＩＭＧ７Ｃを符号化処理する。

【0116】

［ｔ＝４について：手前移動パターン］
ＡＩ処理部１５は、イメージセンサ１２から得られたｔ＝４のフレームＩＭＧ１０Ｃを入力してフレームＩＭＧ１０Ｃ中の移動物体（例えば人物ＰＳ１）を検出する。ＡＩ処理部１５によるフレームＩＭＧ１０Ｃ中の人物ＰＳ１の検出結果はｔ＝４の次の１００ｍｓ後に得られる。

【0117】

さらに、プロセッサ１４は、最新（つまり現在であるｔ＝４）の時点でＡＩ処理部１５により検出された移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ３の位置）とメモリ１３に蓄積された過去（例えば直近の過去であるｔ＝３）の同じ移動物体（例えば人物ＰＳ１）の検出位置（つまり人物ＡＩ２の位置）とに基づいて、その移動物体（例えば人物ＰＳ１）の移動ベクトルおよび移動方向を算出する。プロセッサ１４は、この移動ベクトルおよび移動方向の算出結果を用いて、最新（つまり現在であるｔ＝４）にイメージセンサ１２から取得されたフレームＩＭＧ１０Ｃにおいて、移動物体（例えば人物ＰＳ１）の位置（言い換えると、ｔ＝３からの移動先）を、移動方向を加味して予測する。プロセッサ１４は、この予測結果である位置を、移動物体（例えば人物ＰＳ１）の移動先予測枠ＷＫ１０として求める。例えば、プロセッサ１４は、人物ＰＳ１がさらに徐々に大きくなる傾向を示す場合（言い換えると、人物ＰＳ１が監視カメラ１により近づく方向に移動している）には、ｔ＝３の移動先予測枠ＷＫ９よりもさらに拡大した移動先予測枠ＷＫ１０の位置を算出する。プロセッサ１４は、移動先予測枠ＷＫ１０の算出結果に基づいて、フレームＩＭＧ１０Ｃの移動先予測枠ＷＫ１０内の画像部分の符号量を所定値より大きくしかつ移動先予測枠ＷＫ１０外の画像部分の符号量を所定値より小さくして符号化処理する旨の符号化指示を生成する。エンコーダ１４Ａは、この符号化指示に従って、フレームＩＭＧ１０Ｃを符号化処理する。

【0118】

次に、実施の形態３に係る監視カメラ１の動作手順について、図９を参照して説明する。図９は、実施の形態３に係る監視カメラ１の動作手順例を時系列に示すフローチャートである。図９の説明において、必要に応じて図８を参照し、説明を分かり易くするために、図８のｔ＝２のタイミング以降の処理を説明する。また、図９の説明において、図４と重複する処理と同一の処理については同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

【0119】

図９において、プロセッサ１４は、ステップＳｔ４で算出された移動ベクトルおよび移動方向とステップＳｔ２で検出されたフレームＩＭＧ４Ｂ，ＩＭＧ４Ｃ中の移動物体（例えば人物ＰＳ１）の検出位置（座標）とを用いて、最新（つまり現在であるｔ＝３）にイメージセンサ１２から取得されたフレームＩＭＧ７Ｂ、ＩＭＧ７Ｃにおいて、移動物体（例えば人物ＰＳ１）の位置（言い換えると、ｔ＝２からの移動先）を、移動方向を加味して予測する（Ｓｔ２１、ｔ＝３）。

【0120】

例えば、プロセッサ１４は、移動方向がｔ＝１よりも奥行き方向を示す場合には、通常歩行時（例えば監視カメラ１との距離がほぼ一定に保たれる時）の移動先予測枠（例えば図３の移動先予測枠ＷＫ１）よりも移動物体のサイズに合わせて縮小した移動先予測枠（例えば移動先予測枠ＷＫ７）の位置を算出する。一方、例えば、プロセッサ１４は、移動方向がｔ＝１よりも手前方向を示す場合には、通常歩行時（例えば監視カメラ１との距離がほぼ一定に保たれる時）の移動先予測枠（例えば図３の移動先予測枠ＷＫ１）よりも移動物体のサイズに合わせて拡大した移動先予測枠（例えば移動先予測枠ＷＫ８）の位置を算出する（Ｓｔ２１）。プロセッサ１４は、この予測結果である位置の座標を、移動物体（例えば人物ＰＳ１）の移動先予測枠（例えば移動先予測枠ＷＫ７あるいは移動先予測枠ＷＫ８）として求める。ステップＳｔ２１以降の処理は図４と同一であるため、説明を省略する。

【0121】

以上により、実施の形態３に係る監視カメラ１は、移動物体の最新の検出位置および過去の検出位置と移動物体の移動方向とに基づいて、移動先予測枠の大きさを変更する。これにより、監視カメラ１は、移動物体（例えば人物ＰＳ１）の移動方向に合わせて移動先予測枠を適応的に決定できるので、より効率的かつ高精度に画像符号化を実行できる。

【0122】

また、監視カメラ１は、移動物体の移動方向に基づいて移動物体が監視カメラ１から遠のく方向に移動していると判定した場合に、移動先予測枠の大きさを徐々に縮小するよう変更する。移動物体が監視カメラ１から遠のく方向に移動していると、監視カメラ１により撮像される撮像画像中の移動物体は徐々に小さくなっていく。監視カメラ１は、この原理を利用して、監視カメラ１から遠ざかる移動物体の移動先予測枠をより適切に決定できるので、必要以上に大きな移動先予測枠を設ける必要がなくなり、より効率的かつ高精度に画像符号化を実行できる。

【0123】

また、監視カメラ１は、移動物体の移動方向に基づいて移動物体が監視カメラ１から近づく方向に移動していると判定した場合に、移動先予測枠の大きさを徐々に拡大するよう変更する。移動物体が監視カメラ１に近づく方向に移動していると、監視カメラ１により撮像される撮像画像中の移動物体は徐々に大きくなっていく。監視カメラ１は、この原理を利用して、監視カメラ１に近づく移動物体の移動先予測枠をより適切に決定できるので、移動先予測枠の大きさが実際の物体より小さくなる可能性を低減でき、より効率的かつ高精度に画像符号化を実行できる。

【0124】

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

【0125】

なお、実施の形態１，２，３はそれぞれ独立した内容でもよいし、実施の形態１，２，３を適宜組み合わせて構成してもよい。

【産業上の利用可能性】

【0126】

本開示は、画角内の撮像エリアを移動するターゲットを捉えた撮像画像を効率的かつ高精度に符号化する監視カメラ、画像符号化方法およびプログラムとして有用である。

【符号の説明】

【0127】

１ 監視カメラ
１１ レンズ
１２ イメージセンサ
１３ メモリ
１４ プロセッサ
１４Ａ エンコーダ
１４Ｂ デコーダ
１５ ＡＩ処理部
１５Ａ ＡＩ演算処理部
１５Ｂ 学習モデルメモリ
１７ 通信ＩＦ回路
１９ 外部記憶媒体ＩＦ
２０ ＩＲ照明部
１００ 監視カメラシステム
Ｍ１ 外部記憶媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】