知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-07
(45)【発行日】2025-02-18
(54)【発明の名称】画像処理装置、画像処理システム及び画像処理方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20250210BHJP
【ＦＩ】
H04N7/18 D
H04N7/18 G
【請求項の数】
9
(21)【出願番号】P 2023565705
(86)(22)【出願日】2021-12-07
(86)【国際出願番号】 JP2021044804
(87)【国際公開番号】W WO2023105598
(87)【国際公開日】2023-06-15
【審査請求日】2024-04-01
(73)【特許権者】
【識別番号】000001122
【氏名又は名称】株式会社国際電気
(74)【代理人】
【識別番号】110000062
【氏名又は名称】弁理士法人第一国際特許事務所
(72)【発明者】
【氏名】長谷川 圭吾
(72)【発明者】
【氏名】笹尾 海斗
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開２０１２－２４４４７９（ＪＰ，Ａ）
【文献】特開２００６－３３７９３（ＪＰ，Ａ）
【文献】国際公開第２０１４／０１４０３１（ＷＯ，Ａ１）
【文献】特開２０１８－１１７１８１（ＪＰ，Ａ）
【文献】特開２０２１－７７０９１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
画像処理装置であって、第１の画像を取得するための映像取得部と、
前記第１の画像に対して所定の物体検知処理を実行し、前記第１の画像における対象物体を特定し、前記対象物体の画像上の位置を示す第１の物体検知結果を生成する物体検知処理部と、
前記第１の物体検知結果に基づいて、前記対象物体を含む対象領域画像を取得し、前記対象領域画像を所定の大きさに変換するためのリサイズ処理を実行することでリサイズ済み画像を生成し、前記リサイズ済み画像に対して所定の物体検知処理を実行し、前記対象物体の画像上の位置を示す第２の物体検知結果を生成する追跡処理部と、
前記第１の物体検知結果と、前記第２の物体検知結果とを統合することで、最終の物体検知結果を生成する統合処理部とを含み、
前記追跡処理部は、
前記第１の物体検知結果に基づいて、前記対象物体を含む前記対象領域画像を撮影するための撮影条件を判定し、判定した前記撮影条件を前記映像取得部に送信し、
前記映像取得部は、
前記撮影条件を受信し、受信した前記撮影条件に基づいて撮影を行うことで前記対象領域画像を取得し、取得した前記対象領域画像を前記追跡処理部に送信する、
ことを特徴とする画像処理装置。
【請求項2】
前記追跡処理部は、前記第１の物体検知結果に基づいて、前記対象領域画像を前記第１の画像から抽出する、ことを特徴とする、請求項１に記載の画像処理装置。
【請求項3】
前記第１の画像は、第１の画素数基準を満たす画像であり、前記リサイズ済み画像は、第２の画素数基準を下回る画像である、
ことを特徴とする、請求項２に記載の画像処理装置。
【請求項4】
画像処理装置であって、
第１の画像を取得するための映像取得部と、
前記第１の画像に対して所定の物体検知処理を実行し、前記第１の画像における対象物体を特定し、前記対象物体の画像上の位置を示す第１の物体検知結果を生成する物体検知処理部と、
前記第１の物体検知結果に基づいて、前記対象物体を含む対象領域画像を取得し、前記対象領域画像を所定の大きさに変換するためのリサイズ処理を実行することでリサイズ済み画像を生成し、前記リサイズ済み画像に対して所定の物体検知処理を実行し、前記対象物体の画像上の位置を示す第２の物体検知結果を生成する追跡処理部と、
前記第１の物体検知結果と、前記第２の物体検知結果とを統合することで、最終の物体検知結果を生成する統合処理部とを含み、
前記統合処理部は、
前記第１の物体検知結果と、前記第２の物体検知結果とを重ね合わせ、
前記第１の物体検知結果に示す前記対象物体及び前記第２の物体検知結果に示す前記対象物体の重複度に基づいて、前記第１の物体検知結果と、前記第２の物体検知結果とを統合し、前記最終の物体検知結果を生成する、
ことを特徴とする画像処理装置。
【請求項5】
前記追跡処理部は、
前記第１の物体検知結果に基づいて、前記対象領域画像を前記第１の画像から抽出する、
ことを特徴とする、請求項４に記載の画像処理装置。
【請求項6】
前記第１の画像は、第１の画素数基準を満たす画像であり、
前記リサイズ済み画像は、第２の画素数基準を下回る画像である、
ことを特徴とする、請求項５に記載の画像処理装置。
【請求項7】
画像を取得する映像取得部装置を搭載した移動体と、画像処理装置とが通信ネットワークを介して接続されている画像処理システムにおいて、前記画像処理装置は、
前記映像取得部装置から受信した第１の画像に対して所定の物体検知処理を実行し、前記第１の画像における対象物体を特定し、前記対象物体の画像上の位置を示す第１の物体検知結果を生成する物体検知処理部と、
前記第１の物体検知結果に基づいて、前記対象物体を追跡するための追尾命令を作成し、作成した前記追尾命令を前記移動体に送信する移動体指示部とを含み、
前記移動体は、
前記追尾命令に基づいて、前記対象物体を含む対象領域画像を取得し、前記対象領域画像を所定の大きさに変換するためのリサイズ処理を実行することでリサイズ済み画像を生成し、前記リサイズ済み画像に対して所定の物体検知処理を実行し、前記対象物体の画像上の位置を示す第２の物体検知結果を生成する追跡処理部と、
前記第２の物体検知結果に基づいて、前記対象物体を追尾するように前記移動体を制御する移動体制御部と、
前記対象物体を追尾しながら前記対象物体を示す第２の画像を取得し、前記画像処理装置に送信する映像取得部と、
を含み、
前記追跡処理部は、
前記第１の物体検知結果に基づいて、前記対象物体を含む前記対象領域画像を撮影するための撮影条件を判定し、判定した前記撮影条件を前記映像取得部に送信し、
前記映像取得部は、 前記撮影条件を受信し、受信した前記撮影条件に基づいて撮影を行うことで前記対象領域画像を取得し、取得した前記対象領域画像を前記追跡処理部に送信する、ことを特徴とする画像処理システム。
【請求項8】
前記第１の画像は、第１の画素数基準を満たす画像であり、
前記リサイズ済み画像は、
第２の画素数基準を下回る画像である、
ことを特徴とする、請求項７に記載の画像処理システム。
【請求項9】
画像処理方法であって、第１の画像を取得する工程と、
前記第１の画像に対して所定の物体検知処理を実行し、前記第１の画像における対象物体を特定し、前記対象物体の画像上の位置を示す第１の物体検知結果を生成する工程と、
前記第１の物体検知結果に基づいて、前記対象物体を含む対象領域画像を前記第１の画像から抽出する工程と、
前記第１の物体検知結果に基づいて、前記対象物体を含む前記対象領域画像を撮影するための撮影条件を判定する工程と、
前記撮影条件に基づいて撮影を行うことで前記対象領域画像を取得する工程と、
前記対象領域画像を所定の大きさに変換するためのリサイズ処理を実行することで、前記第１の画像より解像度が低く、所定の画素数基準を下回るリサイズ済み画像を生成する工程と、
前記リサイズ済み画像に対して所定の物体検知処理を実行し、前記対象物体の画像上の位置を示す第２の物体検知結果を生成する工程と、
前記第１の物体検知結果と、前記第２の物体検知結果とを重ね合わせ、前記第１の物体検知結果に示す前記対象物体及び前記第２の物体検知結果に示す前記対象物体の重複度に基づいて、前記第１の物体検知結果と、前記第２の物体検知結果とを統合し、最終の物体検知結果を生成する工程と、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理システム及び画像処理方法に関する。
【背景技術】
【0002】
従来から、店舗、路上、駐車場等の様々な場所において、防犯対策の一環として、不審物や不審者を撮像可能な監視カメラを用いる監視システムが提供されている。
【0003】
広範囲の監視を目的とする監視システムにおいてカメラによる監視を行う場合、ＰＴＺ（Ｐａｎ－Ｔｉｌｔ－Ｚｏｏｍ）の機能を備えるカメラを用いて監視範囲を巡回的に監視し、侵入者や侵入車両などの監視対象を検知した際には、発見した対象を追尾する方法が知られている。
【0004】
また、広い監視範囲を同時に捉えて監視するシステムにおいては、侵入を検知した場合には、侵入が検知された領域を拡大し、対象を追尾する方法が存在する。特に近年では、カメラの高解像度化が進んでいるため、広画角や高解像度の映像が取得可能なカメラを用いて広範囲を一度に撮像し、侵入を検知した時に当該領域を拡大する方法はより有効となってきている。
侵入を検知した領域を拡大する方法は、画像処理によって特定の領域を電子的に拡大表示するデジタルズームや、レンズなどを用いて光学的に拡大表示する光学ズームなどがある。
また、近年では、画像解析技術を用いて侵入した人物や車などを判別することが可能となっている。このため、侵入を一度検知すると、検知した人物や車を拡大表示して自動で追尾することも可能となっている。
侵入を検知した領域を拡大する方法は、画像処理によって特定の領域を電子的に拡大表示するデジタルズームや、レンズなどを用いて光学的に拡大表示する光学ズームなどがある。
また、近年では、画像解析技術を用いて侵入した人物や車などを判別することが可能となっている。このため、侵入を一度検知すると、検知した人物や車を拡大表示して自動で追尾することも可能となっている。
【0005】
監視システムの一例として、例えば、特開２０１９－１２４９８６号公報（特許文献１）が存在する。
特許文献１には、「障害検知システムは、道路上など監視エリアを単一又は複数の画角で撮影する撮影手段（１０１）と、前記撮影手段から取り込まれた映像から監視エリアに発生した物体の領域と画素値を抽出する物体抽出手段（２０１）と、を有する。障害検知システムは、さらに、画角と映像内の位置ごとに設定された判定基準に基づいて、前記物体抽出手段（２０１）によって取得された物体の領域と画素値をブロックに分割して局所特徴量から、物体の種別を識別する物体認識手段（２０２）と、前記物体認識手段（２０２）によって取得された物体の種別の情報から映像内に発生した障害物の有無を検知する障害検知手段（２０４）と、を有する。」技術が開示されている。
特許文献１には、「障害検知システムは、道路上など監視エリアを単一又は複数の画角で撮影する撮影手段（１０１）と、前記撮影手段から取り込まれた映像から監視エリアに発生した物体の領域と画素値を抽出する物体抽出手段（２０１）と、を有する。障害検知システムは、さらに、画角と映像内の位置ごとに設定された判定基準に基づいて、前記物体抽出手段（２０１）によって取得された物体の領域と画素値をブロックに分割して局所特徴量から、物体の種別を識別する物体認識手段（２０２）と、前記物体認識手段（２０２）によって取得された物体の種別の情報から映像内に発生した障害物の有無を検知する障害検知手段（２０４）と、を有する。」技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１９－１２４９８６号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献１には、所定の監視エリア内に発生した障害物を検知する手段が記載されている。
しかしながら、サイズが大きい高解像度の画像の中から特定の対象物やイベントを特許文献１等のような従来の手段によって検知及び追跡しようとする場合、処理にかかる計算量が大きくなる。このため、リアルタイム処理が求められる場合においては、高性能の計算機等を用いる必要があり、装置の大型化や消費電力増大などが課題となっている。処理速度を向上するために画像サイズを縮小してから検知処理を行うことが考えられるが、この場合、検知対象のサイズ（画素数）が小さくなってしまうため、見逃しの原因となる。
しかしながら、サイズが大きい高解像度の画像の中から特定の対象物やイベントを特許文献１等のような従来の手段によって検知及び追跡しようとする場合、処理にかかる計算量が大きくなる。このため、リアルタイム処理が求められる場合においては、高性能の計算機等を用いる必要があり、装置の大型化や消費電力増大などが課題となっている。処理速度を向上するために画像サイズを縮小してから検知処理を行うことが考えられるが、この場合、検知対象のサイズ（画素数）が小さくなってしまうため、見逃しの原因となる。
【0008】
更に、１つの特定の検知対象に対して拡大表示・追跡処理を行った際には、それ以外の領域の監視を行うことができないため、特許文献１等のような従来の手段では、複数の検知対象を同時に監視することができない。
【0009】
そこで、本開示は、画像処理の負荷を抑えつつ、広域監視における対象物体の高速且つ高精度の追跡処理が可能な画像処理手段を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記の課題を解決するために、代表的な本発明の一つは、第１の画像を取得するための映像取得部と、前記第１の画像に対して所定の物体検知処理を実行し、前記第１の画像における対象物体を特定し、前記対象物体の画像上の位置を示す第１の物体検知結果を生成する物体検知処理部と、前記第１の物体検知結果に基づいて、前記対象物体を含む対象領域画像を取得し、前記対象領域画像を所定の大きさに変換するためのリサイズ処理を実行することでリサイズ済み画像を生成し、前記リサイズ済み画像に対して所定の物体検知処理を実行し、前記対象物体の画像上の位置を示す第２の物体検知結果を生成する追跡処理部と、前記第１の物体検知結果と、前記第２の物体検知結果とを統合することで、最終の物体検知結果を生成する統合処理部とを含む。
【発明の効果】
【0011】
本開示によれば、画像処理の負荷を抑えつつ、広域監視における対象物体の高速且つ高精度の追跡処理が可能な画像処理手段を提供することができる。
上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
以下、図面を参照して、本発明の実施例について説明する。なお、この実施例により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
なお、以下では、実施例１や実施例２等の実施例を特定して本開示の態様を説明する場合や、実施例を特定せずに本開示の態様を説明する場合がある。実施例を特定して説明する本開示の態様は、その実施例に限定されず、他の実施例にも適用されてもよい。また、実施例を特定せずに説明する本開示の態様は、実施例１や実施例２等、いずれの実施例にも適用可能である。
なお、以下では、実施例１や実施例２等の実施例を特定して本開示の態様を説明する場合や、実施例を特定せずに本開示の態様を説明する場合がある。実施例を特定して説明する本開示の態様は、その実施例に限定されず、他の実施例にも適用されてもよい。また、実施例を特定せずに説明する本開示の態様は、実施例１や実施例２等、いずれの実施例にも適用可能である。
【0014】
上述したように、サイズが大きい高解像度の画像の中から特定の対象物やイベントを従来の手段によって検知及び追跡しようとする場合、検知処理にかかる計算量が大きくなる。このため、リアルタイム処理が求められる場合においては、高性能の計算機等を用いる必要があり、装置の大型化や消費電力増大などが課題となっている。
【0015】
そこで、本開示では、物体検知処理のみを高解像度の画像に対して実行し、その後の追跡処理を解像度がより低い画像に対して実行することで、総合的な処理負荷を抑えつつ、広域監視における対象物体の高速且つ高精度の追跡処理が可能となる。
これにより、検知の対象が高速に移動している状況等のリアルタイム検知・追跡が求められる場合であっても、高精度の検知結果をリアルタイムで提供することができる。
更に、処理負荷を抑えることにより、本開示の実施例における画像処理をドローン等の、電力が限られているデバイス上でも実装することができる。
これにより、検知の対象が高速に移動している状況等のリアルタイム検知・追跡が求められる場合であっても、高精度の検知結果をリアルタイムで提供することができる。
更に、処理負荷を抑えることにより、本開示の実施例における画像処理をドローン等の、電力が限られているデバイス上でも実装することができる。
【0016】
まず、図１を参照して、本開示の実施例を実施するためのコンピュータシステム１００について説明する。本明細書で開示される様々な実施例の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム１００の主要コンポーネントは、プロセッサ１０２、メモリ１０４、端末インターフェース１１２、ストレージインタフェース１１３、Ｉ／Ｏ（入出力）デバイスインタフェース１１４、及びネットワークインターフェース１１５を含む。これらのコンポーネントは、メモリバス１０６、Ｉ／Ｏバス１０８、バスインターフェースユニット１０９、及びＩ／Ｏバスインターフェースユニット１１０を介して、相互的に接続されてもよい。
【0017】
コンピュータシステム１００は、プロセッサ１０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）１０２Ａ及び１０２Ｂを含んでもよい。ある実施例では、コンピュータシステム１００は複数のプロセッサを備えてもよく、また別の実施例では、コンピュータシステム１００は単一のＣＰＵシステムであってもよい。各プロセッサ１０２は、メモリ１０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。また、プロセッサ１０２はＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣなどの高速演算処理が可能なプロセッサを備えても良い。
【0018】
ある実施例では、メモリ１０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ１０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ１０４は、画像処理アプリケーション１５０を格納してもよい。ある実施例では、画像処理アプリケーション１５０は、後述する機能をプロセッサ１０２上で実行する命令又は記述を含んでもよい。
【0019】
ある実施例では、画像処理アプリケーション１５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施例では、画像処理アプリケーション１５０は、命令又は記述以外のデータを含んでもよい。ある実施例では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット１０９、プロセッサ１０２、またはコンピュータシステム１００の他のハードウェアと直接通信するように提供されてもよい。
【0020】
コンピュータシステム１００は、プロセッサ１０２、メモリ１０４、表示システム１２４、及びＩ／Ｏバスインターフェースユニット１１０間の通信を行うバスインターフェースユニット１０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット１１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス１０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット１１０は、Ｉ／Ｏバス１０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット１１２，１１３，１１４、及び１１５と通信してもよい。
【0021】
表示システム１２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置１２６に提供することができる。また、コンピュータシステム１００は、データを収集し、プロセッサ１０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。
【0022】
例えば、コンピュータシステム１００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム１２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置１２６に接続されてもよい。
【0023】
Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット１１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス１１６の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス１１６及びコンピュータシステム１００に対して入力データや指示を入力し、コンピュータシステム１００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス１１６を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。
【0024】
ストレージインタフェース１１３は、１つ又は複数のディスクドライブや直接アクセスストレージ装置１１７（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施例では、ストレージ装置１１７は、任意の二次記憶装置として実装されてもよい。メモリ１０４の内容は、ストレージ装置１１７に記憶され、必要に応じてストレージ装置１１７から読み出されてもよい。Ｉ／Ｏデバイスインタフェース１１４は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース１１５は、コンピュータシステム１００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク１３０であってもよい。
【0025】
ある実施例では、コンピュータシステム１００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施例では、コンピュータシステム１００は、デスクトップコンピュータ、携帯型コンピューター、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。
【実施例1】
【0026】
次に、図２を参照して、本開示の実施例１における画像処理システムの構成について説明する。
【0027】
図２は、本開示の実施例１における画像処理システム２００の構成の一例を示す図である。本開示の実施例１における画像処理システム２００は、広域監視における対象物体の高速追跡処理を行うためのシステムであり、図２に示すように、映像取得装置２０１と画像処理装置２１０とから主に構成される。映像取得装置２０１と画像処理装置２１０とは、例えばインターネット等の通信ネットワーク２０６を介して互いに通信可能に接続されている。
【0028】
映像取得装置２０１は、所定の環境を撮影し、当該環境を示す映像データを取得するように構成された機能部である。映像取得装置２０１は、例えば、通常の固定画角のカメラであってもよいが、パン、チルト、ズーム等の調整機能を有するカメラでもよく、３６０度回転可能な旋回カメラであってもよい。映像取得装置２０１は、例えば所定の環境を撮影可能な位置に事前に設置されてもよく、後述するように、例えばドローン等の移動体に搭載されてもよい。
映像取得装置２０１によって取得される映像データは、複数の連続する画像フレームから構成される画像シーケンスである。また、この映像データは、高解像度の映像であってもよい。ここで、「高解像度」の画像とは、第１の画素数基準を満たす画像を意味する。この第１の画素数基準は、特定の画素数下限を指定する閾値であり、例えば１９２０画素×１０８０画素（ＦＨＤ）以上の画素数、４Ｋ（４０９６画素×２１６０画素又は３８４０画素×２１６０画素）以上の画素数、８Ｋ（７６８０画素×４３２０画素）以上の画素数等であってもよい。
なお、映像取得装置２０１の設置箇所及び数は、本開示では特に限定されず、監視の目的等に応じて適宜に定められてもよい。また、ここでは、映像取得装置２０１が通信ネットワーク２０６を介して画像処理装置２１０に接続されている装置である場合を一例として示しているが、本開示はこれに限定されず、映像取得装置２０１は画像処理装置２１０内に画像処理部として実装されてもよい。
映像取得装置２０１によって取得される映像データは、複数の連続する画像フレームから構成される画像シーケンスである。また、この映像データは、高解像度の映像であってもよい。ここで、「高解像度」の画像とは、第１の画素数基準を満たす画像を意味する。この第１の画素数基準は、特定の画素数下限を指定する閾値であり、例えば１９２０画素×１０８０画素（ＦＨＤ）以上の画素数、４Ｋ（４０９６画素×２１６０画素又は３８４０画素×２１６０画素）以上の画素数、８Ｋ（７６８０画素×４３２０画素）以上の画素数等であってもよい。
なお、映像取得装置２０１の設置箇所及び数は、本開示では特に限定されず、監視の目的等に応じて適宜に定められてもよい。また、ここでは、映像取得装置２０１が通信ネットワーク２０６を介して画像処理装置２１０に接続されている装置である場合を一例として示しているが、本開示はこれに限定されず、映像取得装置２０１は画像処理装置２１０内に画像処理部として実装されてもよい。
【0029】
画像処理装置２１０は、映像取得装置２０１によって取得された映像データを通信ネットワークを介して受信した後、本開示の実施例における画像処理手段を実行する装置である。図２に示すように、画像処理装置２１０は、物体検知処理部２０２と、追跡処理部２０３と、統合処理部２０４と、表示制御部２０５とを含む。
【0030】
物体検知処理部２０２は、映像取得装置２０１によって取得された映像データにおける特定の画像フレーム（以下、「第１の画像」という）に対して所定の物体検知処理を実行することで、当該第１の画像における対象物体を特定し、対象物体の画像上の位置を少なくとも示す第１の物体検知結果を生成する機能部である。
この第１の画像は、高解像度の映像データからの画像フレームである場合、言うまでもなく、映像データと同様に高解像度の画像である。一般に、画像の解像度が高いほど、物体検知処理が低速となるが、本開示では、映像データを１～３ＦＰＳ程度で処理可能な物体検知処理であってもよい。
なお、物体検知処理部２０２による処理の詳細については後述するため、ここではその説明を省略する。
この第１の画像は、高解像度の映像データからの画像フレームである場合、言うまでもなく、映像データと同様に高解像度の画像である。一般に、画像の解像度が高いほど、物体検知処理が低速となるが、本開示では、映像データを１～３ＦＰＳ程度で処理可能な物体検知処理であってもよい。
なお、物体検知処理部２０２による処理の詳細については後述するため、ここではその説明を省略する。
【0031】
ここでの対象物体とは、画像において検知したい物体を意味する。この対象物体は、例えば物体検知処理の設定時に、画像処理システム２００の管理者に適宜に設定されてもよい。例として、ここでの対象物体は、所定の特徴を有する人物（赤い帽子をかぶっている女性、銃を保持している男性）、動物、自動車、建物等、任意の物体であってもよい。
【0032】
追跡処理部２０３は、物体検知処理部２０２によって生成された第１の物体検知結果に基づいて、検知した対象物体を含む対象領域画像を取得し、当該対象領域画像を所定の大きさに変換するためのリサイズ処理を実行することでリサイズ済み画像を生成する。その後、追跡処理部２０３は、リサイズ済み画像に対して所定の物体検知処理を実行し、対象物体の画像上の位置を少なくとも示す第２の物体検知結果を生成する機能部である。
ここでのリサイズ済み画像は、第２の画素数基準を下回る画像である。この第２の画素数基準は、特定の画素数上限を指定する閾値であり、例えば１９２０画素×１０８０画素（ＦＨＤ）以下の画素数、６４０画素×４８０画素以下の画素数、３２０画素×２４０画素以下の画素数、第１の画像の５０％以下の画素数等であってもよい。
このように、リサイズ済み画像は、第１の画像に比較して、解像度が低い画像となる。このため、物体検知処理部２０２によって第１の画像に対して行われた物体検知処理に比べて、追跡処理部２０３によってリサイズ済み画像に対して行われる物体検知処理は、処理負荷が低く、高速（例えば１０ＦＰＳ以上）となる。
なお、追跡処理部２０３による処理の詳細については後述するため、ここではその説明を省略する。
ここでのリサイズ済み画像は、第２の画素数基準を下回る画像である。この第２の画素数基準は、特定の画素数上限を指定する閾値であり、例えば１９２０画素×１０８０画素（ＦＨＤ）以下の画素数、６４０画素×４８０画素以下の画素数、３２０画素×２４０画素以下の画素数、第１の画像の５０％以下の画素数等であってもよい。
このように、リサイズ済み画像は、第１の画像に比較して、解像度が低い画像となる。このため、物体検知処理部２０２によって第１の画像に対して行われた物体検知処理に比べて、追跡処理部２０３によってリサイズ済み画像に対して行われる物体検知処理は、処理負荷が低く、高速（例えば１０ＦＰＳ以上）となる。
なお、追跡処理部２０３による処理の詳細については後述するため、ここではその説明を省略する。
【0033】
ここでの対象領域画像は、物体検知処理部２０２によって検知された対象物体を中心に取得された画像である。本開示における１つの態様では、追跡処理部２０３は、第１の物体検知結果に基づいて、対象領域画像を第１の画像から切り出すことで抽出してもよい。
本開示におけるもう１つの態様では、追跡処理部２０３は、第１の物体検知結果に基づいて、対象物体を含む対象領域画像を撮影するための撮影条件（例えば、対象物体を鮮明且つ画像の中央付近に撮影するためのパン、チルト及びズームの設定等））を判定し、判定した撮影条件を映像取得装置２０１に送信する。その後、映像取得装置２０１は、これらの撮影条件に従って撮影を行うことで取得した画像を、対象領域画像として追跡処理部に送信する。これにより、第１の画像に対する加工を行うことなく、対象領域画像を取得することができる。
本開示におけるもう１つの態様では、追跡処理部２０３は、第１の物体検知結果に基づいて、対象物体を含む対象領域画像を撮影するための撮影条件（例えば、対象物体を鮮明且つ画像の中央付近に撮影するためのパン、チルト及びズームの設定等））を判定し、判定した撮影条件を映像取得装置２０１に送信する。その後、映像取得装置２０１は、これらの撮影条件に従って撮影を行うことで取得した画像を、対象領域画像として追跡処理部に送信する。これにより、第１の画像に対する加工を行うことなく、対象領域画像を取得することができる。
【0034】
統合処理部２０４は、物体検知処理部２０２からの第１の物体検知結果と、追跡処理部２０３からの第２の物体検知結果とを統合することで、最終の物体検知結果を生成する機能部である。ここでの最終の物体検知結果は、第１の物体検知結果と第２の物体検知結果とを統合した情報であるため、第１の物体検知結果と第２の物体検知結果に比べて対象物体の位置を正確に示す結果である。
例えば、ここで、統合処理部２０４は、第１の物体検知結果と、第２の物体検知結果とを用いていわゆるＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ）処理を実行することで、対象物体の推定の位置を示す最終の物体検知結果を生成してもよい。
なお、統合処理部２０４による処理の詳細については後述するため、ここではその説明を省略する。
例えば、ここで、統合処理部２０４は、第１の物体検知結果と、第２の物体検知結果とを用いていわゆるＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ）処理を実行することで、対象物体の推定の位置を示す最終の物体検知結果を生成してもよい。
なお、統合処理部２０４による処理の詳細については後述するため、ここではその説明を省略する。
【0035】
表示制御部２０５は、統合処理部２０４によって生成される最終の物体検知結果を表示するための機能部である。
なお、表示制御部２０５による処理の詳細については後述するため、ここではその説明を省略する。
なお、表示制御部２０５による処理の詳細については後述するため、ここではその説明を省略する。
【0036】
上述した画像処理装置２１０に含まれる各種機能部は、例えば図１に示すコンピュータシステム１００のメモリに保存される画像処理アプリケーション１５０のソフトウェアモジュールとして実装されてもよい。
一方、画像処理装置２１０に含まれる各種機能部は、異なる計算機上に実装されてもよい。この場合、物体検知処理部２０２は、例えば４ＫやＦＨＤなどのサイズが大きな画像の中から対象物体の検知を行うための画像解析部であるため、物体検知処理部２０２は追跡処理部よりも高性能な計算機で実装されることが望ましい。一例として、物体検知処理部２０２をクラウド等の高性能な計算機で実装し、追跡処理部をドローン等の移動体に実装する構成等が考えられる。
一方、画像処理装置２１０に含まれる各種機能部は、異なる計算機上に実装されてもよい。この場合、物体検知処理部２０２は、例えば４ＫやＦＨＤなどのサイズが大きな画像の中から対象物体の検知を行うための画像解析部であるため、物体検知処理部２０２は追跡処理部よりも高性能な計算機で実装されることが望ましい。一例として、物体検知処理部２０２をクラウド等の高性能な計算機で実装し、追跡処理部をドローン等の移動体に実装する構成等が考えられる。
【0037】
以上説明した画像処理システム２００によれば、物体検知処理のみを高解像度の画像（第１の画像）に対して実行し、その後の追跡処理を解像度がより低い画像（リサイズ済み画像）に対して実行することで、画像処理の負荷を抑えつつ、広域監視における対象物体の高速且つ高精度の追跡処理が可能となる。
【0038】
次に、図３を参照して、本開示の実施例１における物体検知処理について説明する。
【0039】
図３は、本開示の実施例１における物体検知処理３００の流れを示すフローチャートである。図３に示す物体検知処理３００は、高解像度の画像における対象物体を判定するための処理であり、例えば図２に示す物体検知処理部２０２によって実行される。
【0040】
まず、ステップＳ３１１では、物体検知処理部２０２は、映像取得装置２０１によって取得された映像データの中から、特定の画像フレーム（以下、「第１の画像」という）を取得する。ここで、物体検知処理部２０２は、映像取得装置２０１からリアルタイムで送信される映像データにおける一番目のフレームを第１の画像として取得してもよい。
【0041】
次に、ステップ３１２では、物体検知処理部２０２は、ステップＳ３１１で取得した第１の画像に対して、所定の物体検知処理を実行する。ここでの物体検知処理は、例えばＶｉｏｌａ－Ｊｏｎｅｓ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｆｒａｍｅｗｏｒｋ ｂａｓｅｄ ｏｎ Ｈａａｒ ｆｅａｔｕｒｅｓ、ＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ）、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ-ｂａｓｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｃａｓｃａｄｅ Ｒ－ＣＮＮ、 ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＲｅｆｉｎｅＤｅｔ（Ｓｉｎｇｌｅ－Ｓｈｏｔ Ｒｅｆｉｎｅｍｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）、Ｒｅｔｉｎａ－Ｎｅｔ、Ｄｅｆｏｒｍａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ等、任意の既存の物体検知処理手段を含んでもよい。
なお、上述したように、ここで実行される物体検知処理は、高解像度の画像に対して行われるため、映像取得装置２０１のフレームレートに対して低速に行われることとなるが、広範囲を映しているため、対象物体を見逃してしまうことはない。
なお、上述したように、ここで実行される物体検知処理は、高解像度の画像に対して行われるため、映像取得装置２０１のフレームレートに対して低速に行われることとなるが、広範囲を映しているため、対象物体を見逃してしまうことはない。
【0042】
物体検知処理を実行することで、物体検知処理部２０２は、第１の画像について、検知された各対象物体の画像上の位置（画像上の座標）及び対象物体のクラスを示す第１の物体検知結果を生成することができる。
【0043】
次に、ステップＳ３１３では、物体検知処理部２０２は、ステップＳ３１２で生成した第１の物体検知結果を上述した追跡処理部２０３及び統合処理部２０４に送信する。その後、図４に示す追跡処理４００が開始される。
なお、第１の画像に対する処理が終了した後、本処理はステップＳ３１１へ戻り、映像データにおける次の画像フレーム（つまり、第１の画像フレームの次の画像フレーム）に対する処理が開始される。このように、映像データにおける各フレームが順次処理され、各フレームに対する物体検知結果が生成される。
なお、第１の画像に対する処理が終了した後、本処理はステップＳ３１１へ戻り、映像データにおける次の画像フレーム（つまり、第１の画像フレームの次の画像フレーム）に対する処理が開始される。このように、映像データにおける各フレームが順次処理され、各フレームに対する物体検知結果が生成される。
【0044】
次に、図４を参照して、本開示の実施例１における追跡処理について説明する。
【0045】
【0046】
まず、ステップＳ４２１では、追跡処理部２０３は、物体検知処理部から第１の物体検知結果を受信すると、追跡処理を開始する。
なお、第１の物体検知結果では、複数の対象物体が特定された場合、追跡処理部２０３は、特定された対象物体毎に追跡処理を開始する。ただし、ここでは、説明の便宜上、１つの対象物体に対する追跡処理を説明する。
なお、第１の物体検知結果では、複数の対象物体が特定された場合、追跡処理部２０３は、特定された対象物体毎に追跡処理を開始する。ただし、ここでは、説明の便宜上、１つの対象物体に対する追跡処理を説明する。
【0047】
次に、ステップＳ４２２では、追跡処理部２０３は、第１の物体検知結果に基づいて、対象物体が特定された画像フレーム（以下、「第１の画像」という。）を取得する。
【0048】
次に、ステップＳ４２３では、追跡処理部２０３は、第１の物体検知結果に基づいて、対象物体を含む対象領域を判定し、当該対象領域の画像を取得する。ここで、対象領域とは、対象物体を少なくとも示す画像上の領域を意味する。また、この対象領域は、対象物体の大きさよりも大きく設定されることが望ましい。例えば、この対象領域は対象物体の縦横それぞれ３倍以上としてもよい。
【0049】
本開示における１つの態様では、追跡処理部２０３は、第１の物体検知結果に示される対象物体の画像上の座標に基づいて、対象領域画像を第１の画像から切り出すことで抽出してもよい。
また、本開示におけるもう１つの態様では、追跡処理部２０３は、第１の物体検知結果に基づいて、対象物体を含む対象領域画像を撮影するための撮影条件（例えば、対象物体を鮮明且つ画像の中央付近に撮影するためのパン、チルト及びズームの設定等））を判定し、判定した撮影条件を映像取得装置２０１に送信する。その後、映像取得装置２０１は、これらの撮影条件に従って撮影を行うことで取得した画像を、対象領域画像として追跡処理部に送信する。これにより、第１の画像に対する加工を行うことなく、対象領域画像を取得することができる。
また、本開示におけるもう１つの態様では、追跡処理部２０３は、第１の物体検知結果に基づいて、対象物体を含む対象領域画像を撮影するための撮影条件（例えば、対象物体を鮮明且つ画像の中央付近に撮影するためのパン、チルト及びズームの設定等））を判定し、判定した撮影条件を映像取得装置２０１に送信する。その後、映像取得装置２０１は、これらの撮影条件に従って撮影を行うことで取得した画像を、対象領域画像として追跡処理部に送信する。これにより、第１の画像に対する加工を行うことなく、対象領域画像を取得することができる。
【0050】
対象領域画像を取得した後、追跡処理部２０３は、取得した対象領域画像を所定の大きさに変換するためのリサイズ処理を行い、リサイズ済み画像を生成する。ここで、追跡処理部２０３は、対象領域画像を拡大又は縮小することでリサイズ処理を行ってもよい。また、リサイズ済み画像の大きさは特に限定されず、物体検知処理の精度及び速度を考慮して適宜に設定されてもよい。一例として、追跡処理部２０３は、対象領域画像をＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ; ６４０画素×４８０画素）やＱＶＧＡ（Ｑｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ；３２０画素×２４０）などにリサイズしてもよい。
本開示で説明するように、対象領域画像を解像度がより低いリサイズ済み画像に変換することで、追跡処理の負荷を抑えると共に、処理時間を短縮させることができる。
本開示で説明するように、対象領域画像を解像度がより低いリサイズ済み画像に変換することで、追跡処理の負荷を抑えると共に、処理時間を短縮させることができる。
【0051】
次に、ステップＳ４２４では、追跡処理部２０３は、ステップＳ４２３で生成したリサイズ済み画像に対して、所定の物体検知処理を実行する。ここでの物体検知処理は、例えば上述した物体検知処理３００において用いられる物体検知処理と同様であってもよく、異なる物体検知処理であってもよい。
例えば、ここで、追跡処理部２０３は、ＫＬＴ（Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ）トラッカー等によるフレーム間（第１の画像の前のフレーム及び次のフレーム）の特徴点の対応付けによる物体追跡を行ってもよい。新規特徴点は物体領域内から抽出するものとし、その特徴点が消失する又は静止する等の追跡終了の条件を満たすまで追跡を行う。このような物体追跡の処理を行うことにより、画面内を移動する各特徴点の軌跡を求めることができる。各特徴点の軌跡をその位置や移動方向、特徴点が得られた物体領域等の情報に基づいてクラスタリングすることにより、映像内を移動する物体の動きを表す複数のクラスタを求めることができる。
上述したように、このリサイズ済み画像は、第１の画像に比較して、解像度が低い画像である。このため、物体検知処理３００において第１の画像に対して行われた物体検知処理に比べて、追跡処理４００においてリサイズ済み画像に対して行われる物体検知処理は、処理負荷が低く、高速となる。
例えば、ここで、追跡処理部２０３は、ＫＬＴ（Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ）トラッカー等によるフレーム間（第１の画像の前のフレーム及び次のフレーム）の特徴点の対応付けによる物体追跡を行ってもよい。新規特徴点は物体領域内から抽出するものとし、その特徴点が消失する又は静止する等の追跡終了の条件を満たすまで追跡を行う。このような物体追跡の処理を行うことにより、画面内を移動する各特徴点の軌跡を求めることができる。各特徴点の軌跡をその位置や移動方向、特徴点が得られた物体領域等の情報に基づいてクラスタリングすることにより、映像内を移動する物体の動きを表す複数のクラスタを求めることができる。
上述したように、このリサイズ済み画像は、第１の画像に比較して、解像度が低い画像である。このため、物体検知処理３００において第１の画像に対して行われた物体検知処理に比べて、追跡処理４００においてリサイズ済み画像に対して行われる物体検知処理は、処理負荷が低く、高速となる。
【0052】
このように、リサイズ済み画像に対して物体検知処理を実行することで、追跡処理部２０３は、検知された各対象物体の画像上の位置（画像上の座標）及び対象物体のクラスを示す第２の物体検知結果を生成することができる。
【0053】
次に、ステップＳ４２５では、追跡処理部２０３は、物体検知処理によって対象物体が検知されたか否かを判定する。対象物体が検知された場合、本処理はステップＳ４２６へ進む。一方、対象物体が検知されなかった場合、本処理はステップＳ４２７へ進む。
【0054】
次に、ステップＳ４２６では、追跡処理部２０３は、ステップＳ４２４で生成した第２の物体検知結果を上述した統合処理部２０４に送信する。その後、図５に示す統合処理５００が開始されると共に、本処理はステップＳ４２２へ戻り、映像データにおける次の画像フレームに対する処理が開始される。
【0055】
次に、ステップＳ４２７では、追跡処理部２０３は、対象物体が検知されなかったフレームの数が所定の数Ｔ以上か否かを判定する。対象物体が検知されなかったフレームの数が所定の数「Ｔ」以上の場合、追跡処理部２０３は、対象物体を見失ったとして、本処理は終了する。一方、対象物体が検知されなかったフレームの数が所定の数「Ｔ」未満の場合、本処理はステップＳ４２２へ戻り、映像データにおける次の画像フレームに対する処理が開始される。
【0056】
次に、図５を参照して、本開示の実施例１における統合処理について説明する。
【0057】
図５は、本開示の実施例１における統合処理５００の流れを示すフローチャートである。図５に示す統合処理５００は、物体検知処理３００によって生成される第１の物体検知結果と、追跡処理４００によって生成される第２の物体検知結果とを統合するための処理であり、例えば図２に示す統合処理部２０４によって実行される。
【0058】
上述したように、物体検知処理３００及び追跡処理４００によれば、対象物体の位置を示す２つの物体検知結果が得られる。ただし、対象物体の画像上の位置は、第１の物体検知結果と第２の物体検知結果とでずれてしまうことがある。そこで、図５に示す統合処理５００により、第１の物体検知結果と第２の物体検知結果とを１つに統合することで、対象物体の画像上の位置をより確実に示す最終の物体検知結果を得ることができる。
【0059】
まず、ステップＳ５３１では、統合処理部２０４は、第１の物体検知結果を物体検知処理部２０２から受信する。
【0060】
次に、ステップＳ５３２では、統合処理部２０４は、第２の物体検知結果を追跡処理部２０３から受信する。
【0061】
次に、ステップＳ５３３では、統合処理部２０４は、第１の物体検知結果と第２の物体検知結果とを整合し重ね合わせ、画像内の対象物体の位置が重複しているか否かを判定する。
第１の物体検知結果及び第２の物体検知結果における対象物体の領域が互いに重複する場合、統合処理部２０４は、例えばＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ）を用いて、検知した対象物体の領域の重複度やＩｏＵの所定の閾値を基準に、対象物体の位置を決定し、第１の物体検知結果と第２の物体検知結果とを統合することで、最終の物体検知結果を生成する。
一方、第１の物体検知結果及び第２の物体検知結果における対象物体の領域が互いに重複しない場合、統合処理部２０４は、第１の物体検知結果と第２の物体検知結果の両方を最終の物体検知結果として採用してもよい。
第１の物体検知結果及び第２の物体検知結果における対象物体の領域が互いに重複する場合、統合処理部２０４は、例えばＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ）を用いて、検知した対象物体の領域の重複度やＩｏＵの所定の閾値を基準に、対象物体の位置を決定し、第１の物体検知結果と第２の物体検知結果とを統合することで、最終の物体検知結果を生成する。
一方、第１の物体検知結果及び第２の物体検知結果における対象物体の領域が互いに重複しない場合、統合処理部２０４は、第１の物体検知結果と第２の物体検知結果の両方を最終の物体検知結果として採用してもよい。
【0062】
次に、ステップＳ５３４では、統合処理部２０４は、ステップＳ５３３で生成した最終の物体検知結果として、映像データにおける画像フレーム番号、対象物体の位置、対象物体のクラス、及び対象物体の検知ＩＤを所定の記憶領域に保存する。
【0063】
次に、ステップＳ５３５では、統合処理部２０４は、ステップＳ５３３で生成した最終の物体検知結果について、新規の検知があると判定した場合（つまり、ステップＳ５３３で生成した最終の物体検知結果の対象物体の位置、対象物体のクラス、又は対象物体の検知ＩＤが以前保存した最終の物体検知結果と異なる場合）、本処理はステップＳ５３６に進み、新規に追跡処理を開始する。新規の検知がないと判定した場合、本処理は終了する。
【0064】
次に、図６を参照して、本開示の実施例１における表示制御処理について説明する。
【0065】
図６は、本開示の実施例１における表示制御処理６００の流れを示すフローチャートである。図６に示す表示制御処理６００は、統合処理部２０４によって生成される最終の物体検知結果を表示するための処理であり、例えば図２に示す表示制御部２０５によって実行される。
【0066】
まず、ステップＳ６３７では、表示制御部２０５は、上述した統合処理５００において記憶領域に保存された最終の物体検知結果の内、最新の最終の物体検知結果を取得する。
【0067】
次に、ステップＳ６３８では、表示制御部２０５は、ステップＳ６３７で取得した最終の物体検知結果を表示するための表示画面を生成する。
なお、表示画面の一例を図７に示すため、ここではその説明を省略する。
なお、表示画面の一例を図７に示すため、ここではその説明を省略する。
【0068】
次に、ステップＳ６３９では、表示制御部２０５は、ステップＳ６３８で生成した表示画面を所定の表示装置（コンピューターのディスプレイ、スマートフォンやタブレット端末の画面等）に出力する。
【0069】
次に、図７を参照して、本開示の実施例１における表示画面について説明する。
【0070】
図７は、本開示の実施例１における表示画面７００の一例を示す図である。上述したように、表示画面７００は、本開示の実施例１における画像処理装置によって生成される最終の物体検知結果を表示するための画面である。
より具体的には、図７に示すように、表示制御部２０５は、統合処理部２０４によって生成された最終の物体検知結果に基づいて、対象物体が検知された位置に矩形を重畳した画像７０１と、対象物体が検知されている付近の領域を拡大表示すると共に対象物体の位置に矩形を重畳した画像７０２、７０３、７０４とを生成し、表示画面７００においてタイル表示で表示する。
より具体的には、図７に示すように、表示制御部２０５は、統合処理部２０４によって生成された最終の物体検知結果に基づいて、対象物体が検知された位置に矩形を重畳した画像７０１と、対象物体が検知されている付近の領域を拡大表示すると共に対象物体の位置に矩形を重畳した画像７０２、７０３、７０４とを生成し、表示画面７００においてタイル表示で表示する。
【0071】
更に、検知される対象物体が多い場合、表示制御部２０５は、画像７０１～７０４に示す対象物体以外の対象物体について、縮小したサムネイル画像７０５を表示画面７００の端に表示してもよい。ユーザは、サムネイル画像７０５を選択することで、選択したサムネイル画像７０５を画像７０１～７０４のいずれかと置き換えることができる。
【0072】
以上、本開示の実施例１における画像処理手段によれば、物体検知処理のみを高解像度の画像（第１の画像）に対して実行し、その後の追跡処理を解像度がより低い画像（リサイズ済み画像）に対して実行することで、画像処理の負荷を抑えつつ、広域監視における対象物体の高速且つ高精度の追跡処理が可能となる。
【実施例2】
【0073】
次に、図８～９を参照して、本開示の実施例２における画像処理システムについて説明する。
【0074】
上述した実施例１では、本開示の映像取得装置２０１を特定の場所に設置されている監視カメラ等とした場合を一例として説明したが、本開示はこれに限定されず、映像取得装置２０１は、ドローン等の移動体に搭載される構成も可能である。したがって、本開示の実施例２では、映像取得装置２０１がドローンに搭載され、画像処理の一部がドローン側で実行される画像処理システム８００について説明する。ただし、本開示はドローンに限定されず、映像取得装置２０１は、例えばロボットや、人間が運転する自動車等に搭載されてもよい。
【0075】
図８は、本開示の実施例２における画像処理システム８００の構成の一例を示す図である。図８に示す画像処理システム８００の構成は、実施例１における画像処理システム２００の構成と実質的に同様であるため、説明の便宜上、共通している部分について説明を省略し、実施例２の実施例１に対する相違点を中心に説明する。
【0076】
本開示の実施例２における画像処理システム８００は、広域監視における対象物体の高速追跡処理を行うためのシステムであり、図８に示すように、ドローン８０５と画像処理装置８１０とから主に構成される。ドローン８０５と画像処理装置８１０とは、例えばインターネット等の通信ネットワーク２０６を介して互いに無線通信により接続されている。
なお、ここでの画像処理装置８１０は、例えば地上の計算機やサーバ装置等で実装されてもよい。
なお、ここでの画像処理装置８１０は、例えば地上の計算機やサーバ装置等で実装されてもよい。
【0077】
ドローン８０５は、回転翼等を用いて飛行する無人航空機である。本開示の実施例２におけるドローン８０５は特に限定されず、高解像度の映像を取得可能なカメラ（映像取得部８２０）、本開示の実施例における画像処理を実行可能な計算機能（追跡処理部２０３）及び画像処理装置８１０と通信を行うための無線通信機能（図示せず）を備えていれば、任意のドローンであってもよい。
【0078】
図８に示すように、ドローン８０５は、追跡処理部２０３と、移動体制御部８１５と、映像取得部８２０とを含む。
追跡処理部２０３は、実施例１における追跡処理部２０３と実質的に同様であるため、ここではその説明を省略する。
移動体制御部８１５は、ドローン８０５の移動や機能を制御するための機能部であり、例えばドローン８０５に搭載されているマイコンやＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）として実装されてもよい。移動体制御部８１５は、例えば画像処理装置８１０の移動体管理部８０３から受信した指示に基づいてドローン８０５の移動を制御してもよい。
映像取得部８２０は、高解像度の映像を取得可能なカメラであり、実施例１における映像取得装置２０１と実質的に同様であるため、ここではその説明を省略する。
追跡処理部２０３は、実施例１における追跡処理部２０３と実質的に同様であるため、ここではその説明を省略する。
移動体制御部８１５は、ドローン８０５の移動や機能を制御するための機能部であり、例えばドローン８０５に搭載されているマイコンやＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）として実装されてもよい。移動体制御部８１５は、例えば画像処理装置８１０の移動体管理部８０３から受信した指示に基づいてドローン８０５の移動を制御してもよい。
映像取得部８２０は、高解像度の映像を取得可能なカメラであり、実施例１における映像取得装置２０１と実質的に同様であるため、ここではその説明を省略する。
【0079】
実施例２における画像処理装置８１０は、追跡処理部２０３がドローン８０５に搭載され、移動体管理部８０３を有する点において、実施例１における画像処理装置２１０と相違する。
移動体管理部８０３は、ドローン８０５の移動を制御する指示を生成し、ドローン８０５に送信するための機能部である。移動体管理部８０３は、例えば物体検知処理部２０２の物体検知結果に基づいて、検知された対象物体を追尾するための追尾命令を生成し、ドローン８０５に送信してもよい。
移動体管理部８０３は、ドローン８０５の移動を制御する指示を生成し、ドローン８０５に送信するための機能部である。移動体管理部８０３は、例えば物体検知処理部２０２の物体検知結果に基づいて、検知された対象物体を追尾するための追尾命令を生成し、ドローン８０５に送信してもよい。
【0080】
次に、図９を参照して、本開示の実施例２における画像処理システム８００の動作の流れについて説明する。
【0081】
図９は、本開示の実施例２における画像処理システム８００の動作の流れ９００を示すフローチャートである。
【0082】
まず、ステップＳ９０５では、ドローン８０５における映像取得部８２０は、高解像度の映像データから特定の画像フレーム（以下、「第１の画像」とする）を取得し、取得した第１の画像を高速大容量無線通信によって画像処理装置８１０に送信する。
【0083】
次に、ステップＳ９１０では、画像処理装置８１０の物体検知処理部２０２は、ドローン８０５から受信した第１の画像に対して、上述した物体検知処理（例えば、図３に示す物体検知処理３００）を実行することで、当該第１の画像における対象物体を特定すると共に、対象物体の画像上の位置を少なくとも示す第１の物体検知結果を生成する。その後、物体検知処理部２０２は、生成した第１の物体検知結果を移動体管理部８０３に送信する。
【0084】
次に、ステップＳ９１５では、画像処理装置８１０の移動体管理部８０３は、物体検知処理部２０２から受信した第１の物体検知結果に基づいて、検知された対象物体を追尾するための追尾命令を作成する。ここでの追尾命令とは、ドローン８０５に、検知された特定の対象物体を追尾させることを要求する情報である。
その後、移動体管理部８０３は、作成した追尾命令をドローン８０５に送信する。
その後、移動体管理部８０３は、作成した追尾命令をドローン８０５に送信する。
【0085】
次に、ステップＳ９２０では、移動体制御部８１５は、画像処理装置８１０の移動体管理部８０３から受信した追尾命令に基づいて、対象物体が鮮明且つ画像の中央付近に撮影できるように、ドローン８０５の移動や映像取得部８２０の撮影条件（パン、チルト及びズーム等）を制御してもよい。
【0086】
次に、ステップＳ９２５では、追跡処理部２０３は、上述した追跡処理（例えば、図４に示す追跡処理４００）を実行する。より具体的には、追跡処理部２０３は、追尾命令に特定される対象物体について、対象領域画像を取得する。ここで、追跡処理部２０３は、対象領域画像をステップＳ９０５で取得された第１の画像から切り出してもよく、映像取得部８２０によって取得された新たな画像から対象領域画像を切り出してもよい。
その後、追跡処理部２０３は、当該対象領域画像を所定の大きさに変換するためのリサイズ処理を実行することでリサイズ済み画像を生成した後、リサイズ済み画像に対して所定の物体検知処理を実行し、対象物体の画像上の位置を少なくとも示す第２の物体検知結果を生成する。
なお、ここでのリサイズ済み画像は、第１の画像に比較して、解像度が低い画像であるため、画像処理装置８１０の物体検知処理部２０２によって第１の画像に対して行われた物体検知処理に比べて、ドローン８０５の追跡処理部２０３によって対象物体画像に対して行われる物体検知処理は、処理負荷が低く、高速となる。これにより、ドローン８０５で行われる処理の計算量を抑えると共に、ドローン８０５の消費電力を抑えることができる。
その後、追跡処理部２０３は、当該対象領域画像を所定の大きさに変換するためのリサイズ処理を実行することでリサイズ済み画像を生成した後、リサイズ済み画像に対して所定の物体検知処理を実行し、対象物体の画像上の位置を少なくとも示す第２の物体検知結果を生成する。
なお、ここでのリサイズ済み画像は、第１の画像に比較して、解像度が低い画像であるため、画像処理装置８１０の物体検知処理部２０２によって第１の画像に対して行われた物体検知処理に比べて、ドローン８０５の追跡処理部２０３によって対象物体画像に対して行われる物体検知処理は、処理負荷が低く、高速となる。これにより、ドローン８０５で行われる処理の計算量を抑えると共に、ドローン８０５の消費電力を抑えることができる。
【0087】
次に、ステップＳ９３０では、移動体制御部８１５は、ステップＳ９２５で生成された第２の物体検知結果に基づいて、対象物体を追尾するようにドローン８０５を制御する。これにより、ドローン８０５は、対象物体を追尾しながら対象物体を撮影し、これにより取得された映像データ（例えば、第２の画像）を画像処理装置８１０に送信する。
その後、画像処理装置８１０は、上述した統合処理や表示処理を実行すると共に、新たに取得された第２の画像に対してステップＳ９１０以降の処理を実行する。
その後、画像処理装置８１０は、上述した統合処理や表示処理を実行すると共に、新たに取得された第２の画像に対してステップＳ９１０以降の処理を実行する。
【0088】
以上説明した本開示の実施例２における画像処理システムによれば、高解像度の画像に対する物体検知処理が地上の画像処理装置側で行われ、ドローン側では、追跡処理は、解像度がより低い画像に対して行われるため、処理負荷及びドローンの消費電力を抑えつつ、広域監視における対象物体の高速追跡処理が可能となる。
【0089】
このように、本開示の実施例における画像処理手段によれば、物体検知処理のみを高解像度の画像に対して実行し、その後の追跡処理を解像度がより低い画像に対して実行することで、物体検知処理及び追跡処理を両方とも高解像度に対して実行する場合に比べて、追跡処理の精度を維持しつつ、処理負荷を抑えると共に、処理速度を向上させることができる。
これにより、検知の対象が高速に移動している状況等のリアルタイム検知・追跡が求められる場合であっても、高精度の検知結果をリアルタイムで提供することができる。
更に、処理負荷を抑えることにより、本開示の実施例における画像処理をドローン等の、電力が限られているデバイス上でも実装することができる。
これにより、検知の対象が高速に移動している状況等のリアルタイム検知・追跡が求められる場合であっても、高精度の検知結果をリアルタイムで提供することができる。
更に、処理負荷を抑えることにより、本開示の実施例における画像処理をドローン等の、電力が限られているデバイス上でも実装することができる。
【0090】
以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
また、本発明における映像取得部、物体検知処理部、追跡処理部、統合処理部などの機能部は上述した機能以外の機能を兼ね備えてもよいことは言うまでもない。
また、本発明における映像取得部、物体検知処理部、追跡処理部、統合処理部などの機能部は上述した機能以外の機能を兼ね備えてもよいことは言うまでもない。
【符号の説明】
【0091】
２００・８００：画像処理システム、２０１：映像取得装置、２０２：物体検知処理部、２０３：追跡処理部、２０４：統合処理部、２０５：表示制御部、２０６：通信ネットワーク、２１０・８１０：画像処理装置、８０３：移動体管理部、８０５：ドローン、８１５：移動体制御部、８２０：画像取得部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】