特開2024-173641 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特開2024-173641画像処理装置、画像処理方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024173641

(43)【公開日】2024-12-12

(54)【発明の名称】画像処理装置、画像処理方法

(51)【国際特許分類】

H04N 23/611 20230101AFI20241205BHJP

H04N 23/60 20230101ALI20241205BHJP

H04N 7/18 20060101ALI20241205BHJP

G06T 7/70 20170101ALI20241205BHJP

【ＦＩ】

H04N23/611

H04N23/60 300

H04N7/18 G

G06T7/70 A

【審査請求】有

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2024008828

(22)【出願日】2024-01-24

(31)【優先権主張番号】P 2023089116

(32)【優先日】2023-05-30

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】松岡明日華

(72)【発明者】

【氏名】岩田拓也

【テーマコード（参考）】

5C054

5C122

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054CG03

5C054CG05

5C054FC12

5C054HA19

5C122DA03

5C122EA65

5C122EA66

5C122FA01

5C122FA06

5C122FH02

5C122FH11

5C122FH12

5C122FH24

5C122GC52

5C122GC75

5C122GD04

5C122HA13

5C122HA35

5C122HA46

5C122HA86

5C122HA88

5C122HB01

5C122HB05

5L096AA02

5L096FA35

5L096FA64

5L096FA67

5L096FA69

5L096HA05

(57)【要約】

【課題】追尾対象の被写体が撮像画像から検出されなくなっても、該追尾対象の被写体の追尾を継続可能にするための技術を提供すること。
【解決手段】フレームから被写体を検出する。そして、第１フレームから追尾対象の被写体の識別情報と同じ識別情報の被写体が検出されなかった場合、該第１フレームから検出された被写体の識別情報の中に、該追尾対象の被写体が検出されなかったタイミング以前の第２フレームから検出された被写体の識別情報とは異なる新規の識別情報が含まれていれば、該追尾対象の被写体の識別情報を該新規の識別情報に更新する。
【選択図】図２

【特許請求の範囲】

【請求項1】

フレームから被写体を検出する検出手段と、
第１フレームから追尾対象の被写体の識別情報と同じ識別情報の被写体が検出されなかった場合、該第１フレームから検出された被写体の識別情報の中に、該追尾対象の被写体が検出されなかったタイミング以前の第２フレームから検出された被写体の識別情報とは異なる新規の識別情報が含まれていれば、該追尾対象の被写体の識別情報を該新規の識別情報に更新する更新手段と
を備えることを特徴とする画像処理装置。

【請求項2】

前記更新手段はさらに、前記新規の識別情報に対応する被写体の位置が範囲内に位置しているか否かに基づいて、前記追尾対象の被写体の識別情報を前記新規の識別情報に更新するか否かを判断することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記更新手段は、前記タイミングの前の前記追尾対象の被写体のサイズに応じて前記範囲のサイズを変更することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記更新手段は、前記タイミングの前の前記追尾対象の被写体の移動速度に応じて前記範囲のサイズを変更することを特徴とする請求項２に記載の画像処理装置。

【請求項5】

前記更新手段は、前記タイミングの前の前記追尾対象の移動方向に基づいて前記範囲の形状を変更することを特徴とする請求項２に記載の画像処理装置。

【請求項6】

前記更新手段は、前記タイミングからの経過時間に応じて前記範囲のサイズを変更することを特徴とする請求項２に記載の画像処理装置。

【請求項7】

さらに、
撮像手段を備え、
前記検出手段は、前記撮像手段により撮像されたフレームから被写体を検出することを特徴とする請求項１に記載の画像処理装置。

【請求項8】

さらに、
前記撮像手段により撮像されたフレームから検出された被写体のうち、追尾対象の被写体の識別情報と同じ識別情報の被写体を追尾して撮像するよう前記撮像手段を制御する手段を備えることを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記検出手段は、前記画像処理装置と通信が可能な外部の撮像手段から受信したフレームから被写体を検出することを特徴とする請求項１に記載の画像処理装置。

【請求項10】

さらに、
追尾対象の被写体の識別情報と同じ識別情報の被写体を追尾して撮像するよう前記撮像手段を制御するための制御コマンドを生成し、該制御コマンドを前記撮像手段に対して送信する手段を備えることを特徴とする請求項９に記載の画像処理装置。

【請求項11】

さらに、
前記追尾対象の被写体が検出されなくなったタイミングの以降に、新たな識別情報を付与した被写体の、検出された被写体の特徴量が、前記追尾対象の被写体が検出されなくなる前に、前記追尾対象の被写体の特徴量と近い場合に、
前記追尾対象の被写体が検出されなくなったタイミングの以降に新たな識別情報を付与した被写体を、追尾対象として選択する手段を備えることを特徴とする請求項１に記載の画像処理装置。

【請求項12】

前記特徴量は、前記被写体の向き、体形、姿勢、大きさ、縦横比のうち、すくなくとも一つを含むことを特徴とする請求項１１に記載の画像処理装置。

【請求項13】

前記特徴量は、前記被写体の色、ヒストグラムのうちすくなくとも１つを含むことを特徴とする請求項１１に記載の画像処理装置。

【請求項14】

画像処理装置が行う画像処理方法であって、
前記画像処理装置の検出手段が、フレームから被写体を検出する検出工程と、
前記画像処理装置の更新手段が、第１フレームから追尾対象の被写体の識別情報と同じ識別情報の被写体が検出されなかった場合、該第１フレームから検出された被写体の識別情報の中に、該追尾対象の被写体が検出されなかったタイミング以前の第２フレームから検出された被写体の識別情報とは異なる新規の識別情報が含まれていれば、該追尾対象の被写体の識別情報を該新規の識別情報に更新する更新工程と
を備えることを特徴とする画像処理方法。

【請求項15】

コンピュータを、請求項１ないし１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の追尾技術に関する。

【背景技術】

【0002】

一般に、ＰＴＺカメラとよばれるパン・チルト・ズームを調節することが可能なカメラが、ユーザからの要求に応じて、撮像画像から検出した追尾対象を自動で追尾する自動追尾技術がある。自動追尾技術では、追尾対象がカメラの画角内で所望の位置にくるようにパン・チルト・ズームを自動的に制御する。特許文献１には、画面上に表示された追尾目標の座標を元に、追尾目標を画面中心に表示するために必要なＰＴＺカメラの制御パラメータを計算する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平９－１８１９６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

自動追尾技術には、追尾対象が他の物体と交錯することにより追尾対象を見失ってしまう、ロストと呼ばれる課題がある。ロストが発生すると、自動追尾が正常に継続できなくなる。本発明では、追尾対象の被写体が撮像画像から検出されなくなっても、該追尾対象の被写体の追尾を継続可能にするための技術を提供する。

【課題を解決するための手段】

【0005】

本発明の一様態は、フレームから被写体を検出する検出手段と、第１フレームから追尾対象の被写体の識別情報と同じ識別情報の被写体が検出されなかった場合、該第１フレームから検出された被写体の識別情報の中に、該追尾対象の被写体が検出されなかったタイミング以前の第２フレームから検出された被写体の識別情報とは異なる新規の識別情報が含まれていれば、該追尾対象の被写体の識別情報を該新規の識別情報に更新する更新手段とを備えることを特徴とする。

【発明の効果】

【0006】

本発明によれば、追尾対象の被写体が撮像画像から検出されなくなっても、該追尾対象の被写体の追尾を継続可能にすることができる。

【図面の簡単な説明】

【0007】

【図1】システムの構成例を示す図。

【図2】カメラ１００およびコントローラ２００のそれぞれのハードウェア構成例を示すブロック図。

【図3】（ａ）はカメラ１００の動作を示すフローチャート、（ｂ）はコントローラ２００の動作を示すフローチャート。

【図4】推論結果の一例を示す図。

【図5】撮像画像および推論結果の表示例を示す図。

【図6】（ａ）はカメラ１００の動作を示すフローチャート、（ｂ）はコントローラ２００の動作を示すフローチャート。

【発明を実施するための形態】

【0008】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0009】

［第１の実施形態］
まず、ユーザにより指定された追尾対象の被写体を追尾して撮像するシステムの構成例について、図１を用いて説明する。図１に示す如く、本実施形態に係るシステムは、被写体を追尾して撮像する機能を有するカメラ１００と、該カメラ１００の制御及び該カメラ１００からの情報を処理する機能を有するコントローラ２００と、を有する。そして、カメラ１００およびコントローラ２００はＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）４００に接続されており、ＬＡＮ４００を介して互いにデータ通信が可能なように構成されている。ＬＡＮ４００は有線であっても良いし無線であっても良い。また、カメラ１００とコントローラ２００との間のネットワークは特定のネットワークに限らない。

【0010】

先ず、カメラ１００について説明する。カメラ１００は、撮像部１１１と、該撮像部１１１の撮像方向（パン方向、チルト方向）及びズームを制御する駆動部１０９と、を有する画像処理装置である。

【0011】

撮像部１１１は、動画像を撮像する場合には、各フレームの画像を撮像画像として出力し、定期的若しくは不定期的に静止画像を撮像する場合には、該静止画像（フレーム）を撮像画像として出力する。撮像部１１１は、撮像画像や各種の情報を、ＬＡＮ４００を介してコントローラ２００に対して送信する。駆動部１０９は、追尾対象の被写体として設定されている被写体を追尾して撮像するよう、該撮像部１１１の撮像方向（パン方向やチルト方向）やズームを制御する。

【0012】

次に、コントローラ２００について説明する。コントローラ２００は、カメラ１００から送信された各種の情報を処理したり、ユーザ操作に応じて選択された追尾対象の被写体をカメラ１００に通知したりする。

【0013】

次に、カメラ１００およびコントローラ２００のそれぞれのハードウェア構成例について、図２のブロック図を用いて説明する。図２に示した構成は、後述する各種の処理を実行可能な構成の一例に過ぎず、適宜変更／変形が可能である。

【0014】

先ず、カメラ１００のハードウェア構成例について説明する。ＣＰＵ１０１は、ＲＡＭ１０２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１０１は、カメラ１００全体の動作制御を行うと共に、カメラ１００が行う処理として説明する各種の処理を実行もしくは制御する。

【0015】

ＲＡＭ１０２は、ＤＲＡＭなどの高速な記憶装置の一例である。ＲＡＭ１０２は、記憶装置１０３からロードされたコンピュータプログラムやデータを格納するためのエリア、画像処理部１０６から出力された撮像画像を格納するためのエリア、を有する。さらにＲＡＭ１０２は、ＣＰＵ１０１、推論部１１０、画像処理部１０６が各種の処理を実行する際に用いるワークエリア、を有する。このようにＲＡＭ１０２は、各種のエリアを適宜提供することができる。

【0016】

記憶装置１０３は、ＲＯＭ、フラッシュメモリ、ＨＤＤ、などの揮発性の記憶装置や不揮発性の記憶装置を含む。記憶装置１０３には、ＯＳ（オペレーティングシステム）、カメラ１００が行う処理として説明する各種の処理をＣＰＵ１０１、推論部１１０、画像処理部１０６などに実行もしくは制御させるためのコンピュータプログラムやデータ、などが格納されている。

【0017】

推論部１１０は、ＲＡＭ１０２に格納されている撮像画像から被写体を検出し、該被写体の位置や有無等を推論する。推論部１１０は、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等の画像処理や推論処理に特化した演算装置である。学習処理に利用するのは一般的にはＧＰＵが有効であるが、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）といった再構成可能な論理回路で同等の機能を実現してもよい。また、推論部１１０の処理をＣＰＵ１０１が担ってもよい。なお、推論部１１０は本実施形態では使用するが、後述する第２の実施形態では使用しないため、第２の実施形態では、カメラ１００は推論部１１０を有していなくても良い。

【0018】

上記の駆動部１０９は、駆動Ｉ／Ｆ１０８に接続されている。駆動部１０９は、カメラ１００の撮像方向やズームを変更するための回動機構を有し、メカ駆動系及び駆動源のモータ等を有する。駆動部１０９は、ＣＰＵ１０１から駆動Ｉ／Ｆ１０８を介して受け取る指示に基づいてパン・チルト動作といった回動や、光学的に画角を変更するためのズーム動作を行う。

【0019】

画像センサ１０７は、光学系、ＣＣＤやＣＭＯＳなどの撮像センサ、を有し、該光学系を介して入光した光は該撮像センサで受光し、該撮像センサは受光した光に応じた画像を出力する。

【0020】

画像処理部１０６は、画像センサ１０７から出力された画像を規定の画像フォーマットの画像に変換し、該変換した画像を撮像画像として出力する。なお、画像処理部１０６は、画像センサ１０７から出力された画像を用いて色補正、露出制御、シャープネス補正などの画質調整、画像中の所定領域を切り出すクロップ処理、などを行うようにしてもよい。

【0021】

カメラ１００は、ネットワークＩ／Ｆ１０５を介してＬＡＮ４００に接続されており、カメラ１００は、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信媒体を介してコントローラ２００などの外部装置との間の通信を担う。なお、通信は、不図示のシリアル通信Ｉ／Ｆなど別のＩ／Ｆを介して行っても構わない。

【0022】

ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、推論部１１０、駆動Ｉ／Ｆ１０８、画像処理部１０６、ネットワークＩ／Ｆ１０５、はいずれも、システムバス１１１に接続されている。

【0023】

次に、コントローラ２００について説明する。コントローラ２００は、ＰＣ（パーソナルコンピュータ）、タブレット端末装置、スマートフォン、などのコンピュータ装置である。

【0024】

ＣＰＵ２０１は、ＲＡＭ２０２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ２０１は、コントローラ２００全体の動作制御を行うと共に、コントローラ２００が行う処理として説明する各種の処理を実行もしくは制御する。

【0025】

ＲＡＭ２０２は、記憶装置２０３からロードされたコンピュータプログラムやデータを格納するためのエリア、ＣＰＵ２０１や推論部２１０が各種の処理を実行する際に用いるワークエリア、を有する。さらにＲＡＭ２０２は、ネットワークＩ／Ｆ２０４を介してカメラ１００から受信した各種の情報を格納するためのエリアを有する。このようにＲＡＭ２０２は、各種のエリアを適宜提供することができる。

【0026】

記憶装置２０３は、ＲＯＭ、フラッシュメモリ、ＨＤＤ、などの揮発性の記憶装置や不揮発性の記憶装置を含む。記憶装置２０３には、ＯＳ（オペレーティングシステム）、コントローラ２００が行う処理として説明する各種の処理をＣＰＵ２０１、推論部２１０などに実行もしくは制御させるためのコンピュータプログラムやデータ、などが格納されている。

【0027】

推論部２１０は、上記の推論部１１０と同様の機能を有する。なお、推論部２１０は本実施形態では使用せず、後述する第２の実施形態では使用するので、本実施形態では、コントローラ２００は、推論部２１０を有していなくても良い。

【0028】

ユーザ入力Ｉ／Ｆ２０６は、キーボード、マウス、タッチパネル画面、ジョイスティック、ボタン、ダイヤルなどのユーザインターフェースであり、ユーザが操作することで各種の情報や指示をコントローラ２００に対して入力することができる。

【0029】

表示部２０５は、液晶画面やタッチパネル画面を有し、ＣＰＵ２０１や推論部２１０による処理結果を画像や文字などでもって表示することができる。なお、表示部２０５は、コントローラ２００が有する装置であることに限らず、有線もしくは無線でコントローラ２００と接続されている外部装置であっても良い。また、表示部２０５は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。

【0030】

コントローラ２００は、ネットワークＩ／Ｆ２０４を介してＬＡＮ４００に接続されており、コントローラ２００は、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信媒体を介してカメラ１００などの外部装置との間の通信を担う。なお、通信は、不図示のシリアル通信Ｉ／Ｆなど別のＩ／Ｆを介して行っても構わない。

【0031】

ＣＰＵ２０１、ＲＡＭ２０２、記憶装置２０３、推論部２１０、ユーザ入力Ｉ／Ｆ２０６、表示部２０５、ネットワークＩ／Ｆ２０４，はいずれも、システムバス２０７に接続されている。

【0032】

次に、カメラ１００の動作について、図３（ａ）のフローチャートに従って説明する。図３（ａ）のフローチャートに従った処理は、１フレーム分の撮像画像についての処理であり、実際には、カメラ１００は、図３（ａ）のフローチャートに従った処理を、各フレームの撮像画像について行う。

【0033】

ステップＳ１０１では、画像処理部１０６はＣＰＵ１０１からの指示に従って上記の如く撮像画像を生成し、該生成した撮像画像をＲＡＭ１０２に格納する。また、ＣＰＵ１０１は、該撮像画像を推論部１１０に入力し、該推論部１１０は、ＣＰＵ１０１からの指示に従って、該撮像画像に対する推論結果を生成し、該生成した推論結果をＲＡＭ１０２に格納する。

【0034】

推論部１１０は、ディープラーニング等の機械学習手法を用いて作成された学習済みモデルを記憶装置１０３から読み出す。そして推論部１１０は、撮像画像を該学習済みモデルに入力して該学習済みモデルの演算（推論）を行うことで、撮像画像における被写体の位置を該被写体の推論結果として取得する。撮像画像に複数の被写体が含まれている場合には、推論部１１０は、それぞれの被写体について推論結果を取得する。なお、推論の処理速度向上のため、画像処理部１０６は撮像画像を縮小してＲＡＭ１０２に格納し、学習済みモデルには該縮小した撮像画像を入力するようにしても良い。

【0035】

そしてＣＰＵ１０１は、被写体の推論結果に対して、該被写体に固有の識別情報であるＩＤを付与する。撮像画像に複数の被写体が含まれている場合には、ＣＰＵ１０１は、それぞれの被写体の推論結果に対し、該被写体に固有のＩＤを付与する。

【0036】

ここで、図４（ａ）～（ｅ）を参照して、推論結果について説明する。図４では被写体を人物としている。図４（ａ）は、撮像画像７００に２人の人物（人物７０１および人物７０２）が存在する場合の推論結果を示す図である。図４（ａ）の撮像画像７００を推論部１１０に入力すると、推論部１１０からは、人物７０１の位置（人物７０１の推論結果）として「該人物７０１の全身を含む矩形７１０の左上頂点の画像座標および右下頂点の画像座標」が出力され、人物７０２の位置（人物７０２の推論結果）として「該人物７０２の全身を含む矩形７１１の左上頂点の画像座標および右下頂点の画像座標」が出力される。

【0037】

また、ＣＰＵ１０１は、人物７０１の推論結果に、該人物７０１に固有の識別情報であるＩＤ７２０として「１」を付与し、人物７０２の推論結果に、該人物７０２に固有の識別情報であるＩＤ７２１として「２」を付与する。

【0038】

なお、推論部１１０が出力する人物の位置は、該人物の全身を含む矩形の左上頂点の画像座標および右下頂点の画像座標に限らない。たとえば図４（ｂ）に示す如く、人物７０１の位置として、人物７０１の頭部を含む矩形７３０の左上頂点の画像座標および右下頂点の画像座標、人物７０２の位置として、人物７０２の頭部を含む矩形７３１の左上頂点の画像座標および右下頂点の画像座標、を出力するようにしても良い。また、人物の位置として、人物の他の部位を含む矩形の左上頂点の画像座標および右下頂点の画像座標を出力するようにしても良い。また、矩形の左上頂点の画像座標および右下頂点の画像座標の代わりに、矩形の中心の画像座標と該矩形の幅および高さを出力するようにしても良い。

【0039】

なお、人物の検出ではなく頭部や顔等、異なる物体を検出するためには、使用する学習済みモデルを、所望の出力に対応する学習データを元に学習されている学習済みモデルに変更すればよい。

【0040】

また、被写体の検出を機械学習手法を用いて作成された学習済みモデルを用いて行うケースについて説明したが、被写体を検出する方法は特定の方法に限らない。たとえば、撮像画像中の局所的な特徴点を照合して検出するＳＩＦＴ法といった方法や、テンプレート画像との類似度を求めて検出するテンプレートマッチング法といった方法を用いてもよい。

【0041】

また、推論結果に対するＩＤの付与は、ＣＰＵ１０１がフレームごとに、現在の推論結果に対して実施する。このとき、ＣＰＵ１０１は、過去のフレームの推論結果と現在のフレームの推論結果とを照合することで、被写体が移動した場合であっても同じ被写体に対しては同じＩＤが割り当てられるようにＩＤを付与する。具体的には、検出される矩形の位置や大きさを過去のフレームと現在のフレームで比較し、最も近い被写体に同じＩＤを付与する方法を用いてもよい。

【0042】

ここで、推論結果に対するＩＤの付与について図４（ｃ）～（ｅ）を参照して説明する。図４（ｃ）～（ｅ）には、以下の説明に必要な情報、つまり、前フレームから検出された人物７０１の全身を含む矩形７１０、該矩形７１０の中心７４０、現フレームから検出された人物７０１の全身を含む矩形７１０ａ、該矩形７１０ａの中心７４０ａ、中心７４０を中心とする半径Ｌ１の円７５０、を示しており、その他の情報については記載を省略している。

【0043】

Ｌ１は予めパラメータとして記憶装置１０３に格納されている。ＣＰＵ１０１は、現フレームにおいて、前フレームにおける被写体Ａの矩形Ａの中心位置から距離Ｌ１以内に被写体Ｂの矩形Ｂの中心があり、矩形Ａの面積（画素数）と矩形Ｂの面積（画素数）との比（面積比）が規定範囲Ｘ内（たとえば０．９～１．１）であれば、被写体Ｂは被写体Ａと同じ被写体であると判断し、被写体Ｂの推論結果には、被写体Ａの推論結果に付与したＩＤと同じＩＤを付与する。規定範囲Ｘは予めパラメータとして記憶装置１０３に格納されている。

【0044】

図４（ｃ）の例では、前フレームにおける矩形７１０の中心７４０から距離Ｌ１以内（つまり円７５０内）に矩形７１０ａの中心７４０ａがあり、矩形７１０の面積（画素数）と矩形７１０ａの面積（画素数）との比（面積比）が規定範囲Ｘ内である。然るに、ＣＰＵ１０１は、矩形７１０に対応する人物の推論結果に付与されたＩＤと同じＩＤを、矩形７１０ａに対応する人物の推論結果に付与する。

【0045】

図４（ｄ）の例では、前フレームにおける矩形７１０の中心７４０から距離Ｌ１以内（つまり円７５０内）に矩形７１０ａの中心７４０ａはない。然るに、ＣＰＵ１０１は、矩形７１０に対応する人物の推論結果に付与されたＩＤとは異なる新規のＩＤを、矩形７１０ａに対応する人物の推論結果に付与する。

【0046】

図４（ｅ）の例では、前フレームにおける矩形７１０の中心７４０から距離Ｌ１以内（つまり円７５０内）に矩形７１０ａの中心７４０ａがあるが、矩形７１０の面積（画素数）と矩形７１０ａの面積（画素数）との比（面積比）が規定範囲Ｘ内ではない。然るに、ＣＰＵ１０１は、矩形７１０に対応する人物の推論結果に付与されたＩＤとは異なる新規のＩＤを、矩形７１０ａに対応する人物の推論結果に付与する。また、前フレームと現在のフレームで矩形の縦横比の変化が閾値Ｙ内のオブジェクトに対して同じＩＤを付与してもよい。

【0047】

また、過去の数フレームの同じＩＤに対応する矩形の位置の推移から現在のフレームの矩形の位置をカルマンフィルタ等により予測し、予測した矩形の位置に最も近い矩形に対応する人物の推論結果に該ＩＤと同じＩＤを付与する方法を用いてもよい。

【0048】

また、現在のフレームで検出されたオブジェクトに対して矩形内の画像の特徴量Ａを取得し、該特徴量Ａを過去のフレームで検出された各オブジェクトに対応する各矩形内の画像の特徴量Ｂと比較し、特徴量Ａに最も近い特徴量Ｂの矩形の人物の推論結果に付与されているＩＤと同じＩＤを人物Ａの推論結果に付与する方法を用いても良い。

【0049】

以下、特徴量として画像の特徴ベクトルを使用する場合について述べる。まず、異なる角度から見た特定人物の画像に対して類似した特徴ベクトルを出力し、異なる人物の画像にはそれらと異なる特徴ベクトルを出力するように学習された機械学習モデルを用意する。具体的には、あらかじめ様々な被写体を様々な角度から撮影した画像を学習用画像として用意し、同じ被写体を撮影した画像については、同じＩＤでラベリングし、機械学習モデルの入力とする。出力は画像から出力される特徴ベクトルである。各学習用画像から出力された特徴ベクトルをマッピングした特徴ベクトル空間をＤｅｅｐＭｅｔｒｉｃＬｅａｒｎｉｎｇ（深層距離学習）により学習する。深層距離学習において、２つの特徴量間の距離がデータの類似度を反映しており、意味の近い入力画像同士から出力された特徴量同士の距離は近く、意味の遠い入力画像同士から出力された特徴ベクトル同士の距離は遠くなるよう学習を行う。距離を算出する深層距離学習に用いる損失関数には、トリプレットロス、Ｃｏｎｔｒａｓｔｉｖｅｌｏｓｓ、クラス分類誤差、などがある。このように学習された機械学習モデルに同じ被写体を別の角度から撮影した撮影画像を入力すると、推論結果として出力される特徴ベクトルは近いものになる。なお、損失関数は、入力画像の意味合いの近さに応じて損失が小さくなるように定義された関数であればどのようなものを使ってもよい。なお、深層距離学習を使う例を説明したが、それに限定されることはなく、特徴ベクトルのデータ群を、同じ被写体を撮影した画像の特徴ベクトル群と、異なる被写体を撮影した特徴ベクトル群と、に分離できる学習方法を使えばどのような方法を用いても実施できる。

【0050】

また、ＩＤ付与に用いる特徴量はこの限りではなく、現在のフレームの矩形内の画像の色情報を取得し、これを過去のフレームの各矩形内の色情報と比較し、最も近い人物に同じＩＤを付与するといった方法でもよい。具体的には、色情報は、矩形の中の特定の割合の位置の画素値や、特定の領域の画素値の平均を算出することで得られる。または、矩形の中全体の平均をとっても良いし、例えば、上半身は同じユニフォームを着ているような場合は、矩形の下方の領域の画素値の平均を取るなどしてもよく、被写体の肌や服の差が顕著に表れる領域の色を取得できるようにすればよい。また、色情報として、矩形の全体や、特定の領域のヒストグラムを得て、過去のフレームの各矩形内のヒストグラムと、ピアソンの相関関数やカイ二乗検定などいった方法で比較し、最も類似度が高い人物に同じＩＤを付与してもよい。

【0051】

また、同じＩＤを付与するための特徴量の差（上記の例では特徴量Ａと特徴量Ｂとの差）には閾値を設けても良い。この場合、ＣＰＵ１０１は、特徴量Ａと、該特徴量Ａに最も近い特徴量Ｂと、の差が閾値以下であれば、該特徴量Ｂの矩形の人物の推論結果に付与されているＩＤと同じＩＤを人物Ａの推論結果に付与する。

【0052】

また、異なる角度から見た特定人物の画像に対して類似した特徴量を出力し、異なる人物の画像にはそれらと異なる特徴量を出力するように学習された機械学習モデルによって、特徴量を取得するようにしてもよい。また、これらの方法を組み合わせてＩＤを付与してもよい。

【0053】

ステップＳ１０２では、ＣＰＵ１０１は、ＲＡＭ１０２に格納された撮像画像および推論結果（該推論結果のＩＤを含む）を送信情報として読み出し、該読み出した送信情報をネットワークＩ／Ｆ１０５を介してコントローラ２００に対して送信する。

【0054】

ステップＳ１０３では、ＣＰＵ１０１は、ネットワークＩ／Ｆ１０５を介して「追尾対象の被写体のＩＤ（追尾被写体ＩＤ）」をコントローラ２００から受信したか否かを判断する。この判断の結果、追尾被写体ＩＤをコントローラ２００から受信した場合には、処理はステップＳ１０５に進み、追尾被写体ＩＤをコントローラ２００から受信していない場合には、処理はステップＳ１０４に進む。

【0055】

ステップＳ１０４では、ＣＰＵ１０１は、ＲＡＭ１０２に決定済みの追尾被写体ＩＤが格納されているか否か（追尾被写体ＩＤは決定済みか否か）を判断する。この判断の結果、ＲＡＭ１０２に決定済みの追尾被写体ＩＤが格納されている（追尾被写体ＩＤは決定済み）場合には、処理はステップＳ１０６に進む。一方、ＲＡＭ１０２に決定済みの追尾被写体ＩＤが格納されていない（追尾被写体ＩＤは決定済みでない）場合には、処理はステップＳ１０１に進む。

【0056】

たとえば、ＣＰＵ１０１は、ＲＡＭ１０２に格納されている追尾被写体ＩＤに初期値（たとえばＮＵＬＬ）が設定されている場合には、ＲＡＭ１０２に決定済みの追尾被写体ＩＤが格納されていない（追尾被写体ＩＤは決定済みでない）と判断しても良い。この場合、ＣＰＵ１０１は、ＲＡＭ１０２に格納されている追尾被写体ＩＤに初期値以外の値が設定されている場合には、ＲＡＭ１０２に決定済みの追尾被写体ＩＤが格納されている（追尾被写体ＩＤは決定済み）と判断する。

【0057】

ステップＳ１０５では、ＣＰＵ１０１は、ネットワークＩ／Ｆ１０５を介してコントローラ２００から受信した追尾被写体ＩＤをＲＡＭ１０２に格納する。ステップＳ１０６では、ＣＰＵ１０１は、ステップＳ１０１でＲＡＭ１０２に格納した推論結果（現フレームの撮像画像から検出された被写体の推論結果）のうち、追尾被写体ＩＤと同じＩＤが付与されている推論結果が存在するか否かを判断する。つまりＣＰＵ１０１は、追尾被写体ＩＤと同じＩＤに対応する被写体が現フレームの撮像画像から検出されているか否かを判断する。

【0058】

この判断の結果、現フレームの撮像画像から検出された被写体の推論結果の中に、追尾被写体ＩＤと同じＩＤが付与されている推論結果が存在する（追尾被写体ＩＤと同じＩＤに対応する被写体が検出されている）場合には、処理はステップＳ１０９に進む。

【0059】

一方、現フレームの撮像画像から検出された被写体の推論結果の中に、追尾被写体ＩＤと同じＩＤが付与されている推論結果は存在しない（追尾被写体ＩＤと同じＩＤに対応する被写体は検出されていない）場合、ＣＰＵ１０１は追尾対象の被写体のロストが発生したと判断し、現在の時刻ＴをＲＡＭ１０２に格納し、そして処理はステップＳ１０７に進む。現在の時刻はＣＰＵ１０１が有するタイマ機能により取得する。なお、ＣＰＵ１０１は、現在の時刻に加えて若しくは代えて、現フレームのフレーム番号やタイムスタンプなど、追尾対象の被写体のロストが発生したタイミングを規定する情報を格納するようにしても良い。

【0060】

このときの撮像画像中の被写体の様子の例を図４（ａ）、（ｆ）を用いて説明する。ここでは追尾被写体ＩＤ＝１（つまり追尾対象の被写体は人物７０１）であるケースについて説明する。

【0061】

図４（ａ）の状態の後、例えば人物７０１および人物７０２が移動し、人物７０２が人物７０１の手前（カメラ１００側）を通って交錯した場合、図４（ｆ）に示す如く、撮像画像７００において人物７０１は人物７０２によって遮蔽されて見えなくなる（人物７０１のロストが発生した状態）。この結果、図４（ｆ）の撮像画像７００から得られるＩＤの中には追尾被写体ＩＤは存在しない。この場合、処理はステップＳ１０６からステップＳ１０７に進む。

【0062】

ステップＳ１０７では、ＣＰＵ１０１は、ＲＡＭ１０２に格納されている「フレームごとの、該フレームから検出された被写体の推論結果」のうち、現在のフレームから検出された被写体の推論結果のＩＤと、時刻Ｔ以前（上記のタイミング以前）のフレームから検出された被写体の推論結果のＩＤと、を取得する。そしてＣＰＵ１０１は、現在のフレームから検出された被写体の推論結果のＩＤの中に、時刻Ｔ以前のフレームから検出された被写体の推論結果のＩＤのいずれとも異なる新規のＩＤが含まれているか否かを判断する。

【0063】

この判断の結果、現在のフレームから検出された被写体の推論結果のＩＤの中に、時刻Ｔ以前のフレームから検出された被写体の推論結果のＩＤのいずれとも異なる新規のＩＤが含まれている場合には、処理はステップＳ１０８に進む。一方、現在のフレームから検出された被写体の推論結果のＩＤの中に、時刻Ｔ以前のフレームから検出された被写体の推論結果のＩＤのいずれとも異なる新規のＩＤは含まれていない場合には、処理はステップＳ１０１に進む。

【0064】

このときの撮像画像中の被写体の様子の例を図４（ａ）、（ｆ）、（ｇ）を用いて説明する。例えば、図４（ｆ）の撮像画像７００を現在のフレーム、図４（ａ）の撮像画像７００を時刻Ｔ以前のフレームとする。このとき、図４（ｆ）の撮像画像７００について取得した推論結果のＩＤはＩＤ＝２のみであり、図４（ａ）の撮像画像７００について取得した推論結果のＩＤはＩＤ＝１，２であるから、新規のＩＤは存在しない。この場合は、処理はステップＳ１０７からステップＳ１０１に進む。

【0065】

一方、図４（ｆ）の状態から人物７０１および人物７０２がさらに移動して交錯が終了すると、図４（ｇ）に示す如く、再び人物７０１が現れる。図４（ｇ）の撮像画像７００を入力した推論部１１０からは、人物７０１の推論結果と、人物７０２の推論結果と、が出力される。ここで、交錯後の人物の推論結果には、交錯前の人物の推論結果のＩＤと同じＩＤは付与されず、新規のＩＤが付与される場合があり、これにより追尾対象の被写体のロストが発生する。図４（ｇ）の例では、撮像画像７００に対する推論の結果、交錯後の人物７０１の推論結果には、交錯前の人物７０１の推論結果のＩＤ（ＩＤ＝１）と同じＩＤは付与されず、新規のＩＤ７２２としてＩＤ＝３が付与されている。

【0066】

図４（ｇ）の撮像画像７００について取得した推論結果のＩＤはＩＤ＝２，３であり、図４（ａ）の撮像画像７００について取得した推論結果のＩＤはＩＤ＝１，２であるから、ＩＤ＝３が新規のＩＤとなる。この場合、処理はステップＳ１０７からステップＳ１０８に進む。

【0067】

新規のＩＤが付与される例として、ロストする直前の被写体の位置と再出現した被写体の位置が離れている場合や、交錯後に被写体の向きや姿勢などが変化することで、被写体の矩形のロスト前後での大きさの変化が大きい場合、がある。また、新規のＩＤが付与される例として、交錯後に被写体の向きや外光の当たり方が変化し、色情報などの特徴量の変化がロスト前後で大きい場合などもある。

【0068】

なお、ステップＳ１０７における判断の方法は特定の判断方法に限らない。たとえば、ＣＰＵ１０１は、ロストが発生したフレームで検出された被写体の推論結果のＩＤをＲＡＭ１０２に格納しておく。そしてＣＰＵ１０１は、現在のフレームで検出された被写体の推論結果のＩＤの中に、ＲＡＭ１０２に格納されているＩＤのいずれとも異なる新規のＩＤが含まれているか否かを判断するようにしても良い。たとえば、ＣＰＵ１０１は、図４（ｆ）の撮像画像７００（ロストが発生したフレーム）で検出された被写体の推論結果のＩＤをＲＡＭ１０２に格納しておき、図４（ｇ）の撮像画像７００（現在のフレーム）で検出された被写体の推論結果のＩＤの中に、ＲＡＭ１０２に格納されているＩＤのいずれとも異なる新規のＩＤが含まれているか否かを判断するようにしても良い。

【0069】

そしてこのような判断の結果、現在のフレームで検出された被写体の推論結果のＩＤの中に、ＲＡＭ１０２に格納されているＩＤのいずれとも異なる新規のＩＤが含まれている場合には、処理はステップＳ１０８に進む。

【0070】

一方、現在のフレームで検出された被写体の推論結果のＩＤの中に、ＲＡＭ１０２に格納されているＩＤのいずれとも異なる新規のＩＤが含まれていない場合には、処理はステップＳ１０１に進む。

【0071】

ステップＳ１０８では、ＣＰＵ１０１は、ＲＡＭ１０２に格納されている追尾被写体ＩＤを、新規のＩＤに更新する。図４（ｇ）の撮像画像７００については新規のＩＤ＝３が存在するので、この場合は、ＣＰＵ１０１は、追尾被写体ＩＤを「３」に更新する。

【0072】

交錯によるロストが起きた場合、ロストが発生した時刻以降に新規で現れたＩＤは、ロスト前の追尾被写体ＩＤである可能性が高いため、追尾被写体ＩＤを新規のＩＤに更新することで、撮像画像上に存在する被写体の追尾を再開することができる。

【0073】

なお、ＣＰＵ１０１は、ステップＳ１０８の処理の前に、新規のＩＤに対応する被写体の位置に基づいて、追尾被写体ＩＤを新規のＩＤに更新するか否かを判断するようにしても良い。以下に図４を用いて一例を説明する。

【0074】

図４（ｈ）に示す如く、ＣＰＵ１０１は、ロストした被写体の位置（図４（ｆ）の位置７６０）を中心とした半径Ｌ２の円７７０を設定する。ロストした被写体の位置の求め方は特定の求め方に限らない。たとえば、ロスト直前のフレームにおける追尾対象の被写体の位置に、ロスト直前のフレームにおける追尾対象の被写体の移動ベクトルを加算した位置を、ロストした被写体の位置としてとして求めても良い。また、ロストした被写体を隠蔽した被写体の位置を、ロストした被写体の位置として求めても良い。Ｌ２は予めパラメータとして記憶装置１０３に格納されている。そしてＣＰＵ１０１は、新規のＩＤに対応する被写体の位置が円７７０内の位置であれば、追尾被写体ＩＤを新規のＩＤに更新する、と判断し、ステップＳ１０８の処理を行う。

【0075】

たとえば、図４（ｈ）に示す如く、交錯後に人物７０１が再出現した際に、別の人物７０３が画角外から入ってくる場合、人物７０１の推論結果に対してだけでなく、人物７０３の推論結果に対しても、新規のＩＤが付与される。図４（ｈ）では、人物７０３の推論結果には、新規のＩＤ７２３としてＩＤ＝４が付与されている。この場合、ＣＰＵ１０１は、人物７０１の位置７６１と位置７６０との間の距離Ｄ１、人物７０３の位置７６２と位置７６０との間の距離Ｄ２、を求める。その結果、人物７０１の位置７６１は円７７０の内側に存在しており（Ｄ１＜Ｌ２）、人物７０３の位置７６２は円７７０の外側に位置している（Ｄ２＞Ｌ２）。よってＣＰＵ１０１は、追尾被写体ＩＤを、人物７０３の推論結果に付与された新規のＩＤ＝４ではなく、人物７０１の推論結果に付与された新規のＩＤ＝３に更新する。このように、追尾被写体ＩＤを、ロストしたときの被写体の位置から離れた距離で出現した被写体のＩＤには更新しないので、適切な追尾を行うことができる。

【0076】

なお、ロストしたときの被写体の位置から半径Ｌ２の円内の範囲（閾値範囲）に現れた被写体のＩＤで追尾被写体ＩＤを更新するとしたが、閾値範囲はこの限りではない。たとえば、閾値範囲の形状は円に限らず、矩形であってもよいし、非対称の形状であってもよい。

【0077】

また、Ｌ２の値は一定ではなくロストが発生するたびに動的に変化させても良い。例えば、追尾対象の被写体がロストする前の推論結果の矩形のサイズを元に決めてもよい。矩形のサイズがより大きいほど、それに応じてＬ２の値もより大きくすることで、ロスト発生時も適切な追尾被写体ＩＤの更新が行われるようにしてもよい。

【0078】

また、例えば、追尾対象の被写体がロストする前の追尾対象の被写体の矩形の移動距離から該矩形の移動速度を算出し、その速度に応じてＬ２の値を決めてもよい。具体的には、速度が速いほど、Ｌ２をより大きくすることで、ロスト発生時も適切な追尾被写体ＩＤの更新が行われるようにしてもよい。

【0079】

また、例えば、追尾対象の被写体がロストする前の推論結果の矩形の移動方向を算出し、閾値範囲の形状を変えてもよい。具体的には、追尾被写体がロスト発生前に撮像画像中で右に移動していたとすると、ロスト発生位置に対して右側を、左側に対して大きくした形状の閾値範囲を設定してもよい。

【0080】

このようにすることで、誤った追尾被写体ＩＤの更新を抑制しつつ、適切な追尾被写体ＩＤの更新が行われる。また、例えば、ロスト発生時からの経過時間に応じてＬ２の値を決めてもよい。ロスト発生時からの経過時間が長いほど、Ｌ２の値を大きくすることで、大きな物体と交錯してロストが発生した際も適切な追尾被写体ＩＤの更新が行われるようにしてもよい。このように、追尾被写体がロストした場合においても、新規のＩＤで追尾被写体ＩＤを更新することで、追尾被写体に対して適切な追尾を継続することができる。

【0081】

また、ステップＳ１０８にて新規に現れたＩＤについて、特徴量がロスト発生前の追尾被写体の特徴量と近い場合は、新規に現れたＩＤを新たな追尾被写体ＩＤとして追尾被写体ＩＤの更新を行ってもよい。

【0082】

特徴量として特徴ベクトルを用いる場合は、ステップＳ１０１で全被写体の特徴ベクトルをＲＡＭ１０２に保存しておく。特徴ベクトルの算出は、ステップＳ１０１で述べた方法を用いて行う。ステップＳ１０６にて追尾被写体ＩＤが検出されている場合は、追尾被写体ＩＤが振られた被写体の特徴ベクトルをＲＡＭ１０２に保存しておく。ステップＳ１０８にて新規に現れたＩＤについて、当該ＩＤが振られた被写体の特徴ベクトルと、ＲＡＭ１０２から読み込んだ追尾被写体の特徴ベクトルと、の差が閾値以内であれば、新規に表れたＩＤにより追尾被写体ＩＤを更新する。

【0083】

また、特徴量として顔や身体の向きを用いてもよい。ステップＳ１０８にて新規に現れたＩＤが振られたオブジェクトについて、顔や体の向きが、ロスト発生前の追尾被写体の顔や体の向きと近い場合は、新規に現れたＩＤを新たな追尾被写体ＩＤとして追尾被写体ＩＤの更新を行ってもよい。人物の顔や身体の画像と、当該画像の顔や体の向きを顔や体の向き（全方位を４分割し、正面、右向き、左向き、後ろ向きのいずれか）を教師データとして学習した学習済モデルを用意する。顔や体の向きは、前述のもの以外に、全方位を８分割し、右斜め後ろ向き、などより細かい向きを与えてもよい。また、顔や体の向きを、正面を０°として０°－３５９°のように与えても良い。より細かい向きを与えるほど、推論結果も細かい向きが結果として得られる。この学習済モデルに人物の顔や身体が写った画像を入力すると、推論結果として、被写体の向きを取得することができる。具体的には、ステップＳ１０１であらかじめ全被写体の身体や顔の向きを取得しておき、ステップＳ１０６にて追尾被写体ＩＤが検出されている場合は、追尾被写体ＩＤが振られた被写体の向きをＲＡＭ１０２に保存しておく。ステップＳ１０８にて新規に現れたＩＤについて、当該ＩＤが振られた被写体の向きと、ＲＡＭ１０２から読み込んだ追尾被写体の向きが同じであれば、新規に表れたＩＤにより追尾被写体ＩＤを更新する。また、被写体の画像から鼻、口、目、耳、腕などの身体の部位の位置を出力する学習済モデルを用意し、推論の結果得られた、部位の数や位置関係から顔や身体の向きを決定してもよい。例えば、認識された被写体の矩形の中で目と耳がひとつしか認識されず、鼻が左側にある場合は、被写体の向きは左横向きであると決定できる。決め方はこの限りではない。

【0084】

このような処理により、交錯時は、被写体は一方向に移動してすれ違う場合が多いため、顔や身体の向きにより、ロストが発生した際も適切な追尾被写体ＩＤの更新が行われる。前述のように、顔や身体の向きを、より細かい向きや角度を出力するような学習済モデルを用いる場合は、ロストした追尾被写体の向きと新規に現れたＩＤの被写体の向きが閾値以内であれば、新規に表れたＩＤにより追尾被写体ＩＤを更新してもよい。例えば、向きを全方位を８分割で出力する場合、ロストした追尾被写体の向きが、右斜め前向きであった場合、新規に現れたＩＤが振られた被写体の向きが、右向き、右斜め前向き、下向きのいずれかであった場合は、新規に表れたＩＤにより追尾被写体ＩＤを更新するとしてもよい。例えば、向きを全方位を０°－３５９°で出力する場合、ロストした追尾被写体の向きが、３５°であった場合、新規に現れたＩＤが振られた被写体の向きが、２５°から４５°、すなわち被写体の向き±１０°の範囲内である場合は、新規に表れたＩＤにより追尾被写体ＩＤを更新するとしてもよい。このようにＩＤを更新する条件に幅を持たせることで、ロスト後の追尾被写体のわずかな向きの変更にもロバストになる。

【0085】

また、特徴量として、顔や体の向き以外にも、被写体の姿勢や体形といった属性を用いてもよい。被写体の姿勢や体形といった属性を学習した学習済モデルを用意し、ロスト発生前の追尾被写体の属性と、ステップＳ１０８にて新規に現れたＩＤが振られたオブジェクトの属性が近い場合は、新規に現れたＩＤを新たな追尾被写体ＩＤとして追尾被写体ＩＤの更新を行ってもよい。具体的には、姿勢であれば、撮影画像と胴体部分の傾き角度を教師データとして学習させ、撮影画像から胴体の傾き角度を出力するような学習済モデルを用意する。体形であれば、撮影画像と豊満具合を数値化した数値を教師データとして学習させ、撮影画像から豊満具合を出力するような学習済モデルを用意する。このような学習済モデルを用いると、ロスト前後で姿勢が近いオブジェクト、体形が近いオブジェクトが分かる。このような処理を行うと、追尾対象被写体のロスト発生前後の特徴を加味し、ロストが発生した際も適切な追尾被写体ＩＤの更新が行われる。

【0086】

また、特徴量として、検出された矩形のサイズや縦横比を用いてもよい。ステップＳ１０１で認識された被写体の矩形の面積や、縦横比がロスト発生前の追尾被写体と、ステップＳ１０８にて新規に現れたＩＤが振られたオブジェクトの矩形の面積や、縦横比が近い場合は、新規に現れたＩＤを新たな追尾被写体ＩＤとして追尾被写体ＩＤの更新を行ってもよい。このような処理を行うと、追尾対象被写体のロスト発生前後の大きさに関する特徴を加味し、ロストが発生した際も適切な追尾被写体ＩＤの更新が行われる。

【0087】

また、特徴量として、被写体の色を用いてもよい。ステップＳ１０８にて新規に現れたＩＤについて、身体の色が、ロスト発生前の追尾被写体の身体の色と近い場合は、新規に現れたＩＤを新たな追尾被写体ＩＤとして追尾被写体ＩＤの更新を行ってもよい。身体の色は推論部１１０が出力した矩形の中の特定の割合の位置の画素値や、特定の領域の画素値の平均を算出することで得られる。具体的には、ステップＳ１０１であらかじめ全被写体の身体の色を取得しておき、ステップＳ１０６にて追尾被写体ＩＤが検出されている場合は、追尾被写体ＩＤが振られた被写体の色をＲＡＭ１０２に保存しておく。ステップＳ１０８にて新規に現れたＩＤについて、当該ＩＤが振られた被写体の色と、ＲＡＭ１０２から読み込んだ追尾被写体の色と、の差が閾値以内であれば、新規に表れたＩＤにより追尾被写体ＩＤを更新する。身体の色の取得は、推論部１１０が出力した矩形の中全体の平均をとっても良いし、例えば、上半身は同じユニフォームを着ているような場合は矩形の下方の領域の画素値の平均を取るなどしてもよく、被写体の肌や服の差が顕著に表れる領域の色を取得できるようにすればよい。また、身体の色の情報として矩形の全体や、特定の領域のヒストグラムを得てもよい。その場合は、新規に現れたＩＤの被写体のヒストグラムと、ロスト発生前の追尾被写体のヒストグラムをピアソンの相関関数やカイ二乗検定などいった方法で比較し、類似度が高い場合はＩＤの更新を行う。このような処理により、追尾対象被写体の身体や服の色の特徴を加味し、ロストが発生した際も適切な追尾被写体ＩＤの更新が行われる。また、これらの特徴量を組み合わせてＩＤの更新を行ってもよい。

【0088】

ステップＳ１０９では、ＣＰＵ１０１は、ステップＳ１０１でＲＡＭ１０２に格納した「追尾被写体ＩＤの推論結果（追尾対象の被写体の位置）」が、前回のステップＳ１０１でＲＡＭ１０２に格納した「追尾被写体ＩＤの推論結果（追尾対象の被写体の位置）」と一致しているか否かを判断する。２つの位置が一致している、との判断は、２つの位置が同一の位置である、との判断に限らず、２つの位置の差が閾値以内である、との判断を含んでも良い。

【0089】

このような判断の結果、一致していると判断した場合には、現在のフレームについての図３（ａ）のフローチャートに従った処理は終了し、一致していると判断しなかった場合には、処理はステップＳ１１０に進む。

【0090】

ステップＳ１１０では、ＣＰＵ１０１は、ステップＳ１０１でＲＡＭ１０２に格納した追尾対象の被写体の位置と、前回のステップＳ１０１でＲＡＭ１０２に格納した追尾対象の被写体の位置と、の差分を求める。そしてＣＰＵ１０１は、該求めた差分を用いて、撮像部１１１が追尾対象の被写体を追尾して撮像できるようなパン方向およびチルト方向の角速度（ベクトル）を求める。例えば、ＣＰＵ１０１は、水平方向の差分が大きいほど、パン方向の角速度がより大きくなるように算出すればよく、垂直方向の差分が大きいほど、チルト方向の角速度がより大きくなるように算出すればよい。

【0091】

ステップＳ１１１では、ＣＰＵ１０１は、ステップＳ１１０で求めたベクトルを用いて、追尾対象の被写体への方向へ所望の速度でパン・チルトするための駆動パラメータを求める。具体的には、ＣＰＵ１０１は、駆動部１０９に含まれるパン方向／チルト方向のそれぞれのモータ（不図示）を制御するための駆動パラメータを求める。

【0092】

ステップＳ１１２では、ＣＰＵ１０１は、ステップＳ１１１で求めた駆動パラメータに基づいて、駆動Ｉ／Ｆ１０８を介して駆動部１０９を駆動制御し、駆動部１０９は該駆動制御により回動する。これにより、撮像部１１１の撮像方向の変更、即ちパン・チルト動作を行うことができる。

【0093】

なお、ＣＰＵ１０１は、撮像部１１１の画角範囲内にできるだけ大きく追尾対象の被写体が含まれるように、撮像部１１１のズーム位置を制御するためのパラメータを求め、該パラメータに基づいて駆動部１０９を駆動制御するようにしても良い。

【0094】

次に、コントローラ２００の動作について、図３（ｂ）のフローチャートに従って説明する。ステップＳ２０１では、ＣＰＵ２０１は、カメラ１００から送信された送信情報を、ネットワークＩ／Ｆ２０４を介して受信し、該受信した送信情報を、ＲＡＭ２０２に格納する。

【0095】

ステップＳ２０２では、ＣＰＵ２０１は、ステップＳ２０１でＲＡＭ２０２に格納した送信情報に含まれている撮像画像と推論結果とを表示部２０５に表示させる。表示部２０５における撮像画像および推論結果の表示例を図５（ａ）に示す。以降、表示部２０５に表示される表示画面の表示制御や、該表示画面に対するユーザ操作に応じて行われる処理はいずれもＣＰＵ２０１が行うものとする。

【0096】

図５（ａ）に示す如く、表示部２０５の表示画面に表示される選択画面８００には、送信情報に含まれる撮像画像９００が表示される。そして該撮像画像９００上には、送信情報に含まれる人物７０１に対応する推論結果に基づいて矩形９１０が描画されると共に、送信情報に含まれる人物７０２に対応する推論結果に基づいて矩形９１１が描画される。また、撮像画像９００上には、人物７０１に対応する推論結果のＩＤ９２０である「１」と、人物７０２に対応する推論結果のＩＤ９２１である「２」と、が描画される。

【0097】

また、選択画面８００の下部には、検出中ＩＤとして、上記のＩＤ９２０の値およびＩＤ９２１の値が表示されている。コントローラ２００のユーザは、表示部２０５に表示された選択画面８００を見ることで、カメラ１００による撮像画像や該撮像画像に対する推論の結果を確認することができる。

【0098】

次に、ステップＳ２０３では、ＣＰＵ２０１は、ユーザがユーザ入力Ｉ／Ｆ２０６を操作して選択した追尾対象の被写体のＩＤを追尾被写体ＩＤとして取得し、該取得した追尾被写体ＩＤをＲＡＭ２０２に格納する。追尾被写体ＩＤを取得するための構成については特定の構成に限らない。以下に、追尾被写体ＩＤを取得するための構成の一例について説明する。

【0099】

ユーザは、図５（ａ）の選択画面８００に表示された矩形９１０および矩形９１１のうち、追尾対象の被写体として選択したい被写体の矩形を、ユーザ入力Ｉ／Ｆ２０６を操作して指定する。たとえば、ユーザは、ジョイスティックを左右に倒したり、左右ボタン押下したり、タッチパネル画面上で所望の矩形をタッチしたりすることで、所望の矩形を選択することができる。矩形の選択方法は特定の指定方法に限らない。

【0100】

ユーザがユーザ入力Ｉ／Ｆ２０６を操作して矩形９１０を選択すると、表示部２０５の表示画面８００には図５（ｂ）の選択画面８００が表示される。図５（ｂ）の選択画面８００では、矩形９１０が選択されたことをユーザに視認させるべく、矩形９１０と矩形９１１とを互いに異なる表示形態でもって表示させる。このとき、矩形９１０が選択されているので、選択画面８００の下部には、選択中ＩＤとして、矩形９１０に対応する人物７０１のＩＤ９２０である「１」が表示されている。

【0101】

そして、ユーザがユーザ入力Ｉ／Ｆ２０６を操作して、人物７０１を追尾対象の被写体として決定するための操作を行うと、表示部２０５の表示画面８００には図５（ｃ）の選択画面８００が表示される。図５（ｃ）の選択画面８００では、矩形９１０が決定されたことをユーザに視認させるべく、矩形９１０と矩形９１１とを互いに異なる表示形態でもって表示させる。

【0102】

たとえば、ユーザは、ジョイスティックを押し込んだり、決定ボタンを押下したり、タッチパネル画面上で所望の矩形を２度タッチしたりすることで、所望の矩形を決定することができる。矩形の決定方法は特定の指定方法に限らない。

【0103】

なお、図５に示した画面は、ユーザに追尾対象の被写体の選択状態を視認させるための画面の一例に過ぎず、また、画面に対する操作についても上記の操作は一例に過ぎない。たとえば、矩形ではなくＩＤ９１０やＩＤ９２１を選択しても良いし、追尾被写体ＩＤをユーザがユーザ入力Ｉ／Ｆ２０６を操作して直接入力するようにしても良い。

【0104】

次に、ステップＳ２０４では、ＣＰＵ２０１は、ステップＳ２０３でＲＡＭ２０２に格納された追尾被写体ＩＤを、ネットワークＩ／Ｆ２０４を介してカメラ１００に対して送信する。

【0105】

このように、本実施形態によれば、撮像画像から追尾被写体ＩＤと同じＩＤの被写体が検出されなくても、該撮像画像から検出した被写体のＩＤに、ロスト前の撮像画像から検出された被写体のＩＤとは異なる新規のＩＤが含まれていた場合は、該新規のＩＤを追尾被写体ＩＤとして更新する。これにより、ロストが発生した後も、追尾対象の被写体を追尾して撮像することができる。

【0106】

［第２の実施形態］
以下では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。本実施形態では、カメラ１００は撮像画像をコントローラ２００に送信し、コントローラ２００は、カメラ１００に追尾対象の被写体の追尾を行わせるための制御コマンドを生成し、該生成した制御コマンドをカメラ１００に送信する。そしてカメラ１００は該制御コマンドに従って追尾対象の被写体の追尾を行って該追尾対象の被写体の撮像を行う。

【0107】

本実施形態では、駆動部１０９は、コントローラ２００から送信された制御コマンドに従って動作する。また、推論部２１０は、カメラ１００から送信された撮像画像を用いて推論部１１０と同様の動作を行って、該撮像画像に含まれる被写体の推論結果を取得する。

【0108】

次に、画像処理装置として動作するカメラ１００の動作について、図６（ａ）のフローチャートに従って説明する。ステップＳ３０１では、上記のステップＳ１０１と同様、画像処理部１０６はＣＰＵ１０１からの指示に従って撮像画像を生成し、該生成した撮像画像をＲＡＭ１０２に格納する。そして、ＣＰＵ１０１は、ＲＡＭ１０２に格納された撮像画像を、ネットワークＩ／Ｆ１０５を介してコントローラ２００に対して送信する。

【0109】

ステップＳ３０２では、ＣＰＵ１０１は、コントローラ２００から送信された制御コマンドをネットワークＩ／Ｆ１０５を介して受信し、該受信した制御コマンドをＲＡＭ１０２に格納する。

【0110】

ステップＳ３０３では、ＣＰＵ１０１は、ステップＳ３０２でＲＡＭ１０２に格納した制御コマンドから、パン方向およびチルト方向それぞれに対する操作方向と制御量を示す値を読み出す。

【0111】

ステップＳ３０４では、ＣＰＵ１０１は、ステップＳ３０３で読み出した値を元に、所望の方向へ所望の速度でパン・チルトするための駆動パラメータを求める。ＣＰＵ１０１は、制御コマンドに含まれる操作方向と制御量を元に予め記憶装置１０３に格納されている変換テーブルを参照して駆動パラメータに変換しても良い。

【0112】

ステップＳ３０５では、ＣＰＵ１０１は、ステップＳ３０４で求めた駆動パラメータに基づいて、駆動Ｉ／Ｆ１０８を介して駆動部１０９を駆動制御し、駆動部１０９は該駆動制御により回動する。これにより、撮像部１１１の撮像方向の変更、即ちパン・チルト動作を行うことができる。

【0113】

次に、コントローラ２００の動作について、図６（ｂ）のフローチャートに従って説明する。図６（ｂ）のフローチャートに従った処理は、１フレーム分の撮像画像についての処理であり、実際には、コントローラ２００は、図６（ｂ）のフローチャートに従った処理を、各フレームの撮像画像について行う。

【0114】

ステップＳ４０１では、ＣＰＵ２０１は、カメラ１００から送信された撮像画像を、ネットワークＩ／Ｆ２０４を受信し、該受信した撮像画像をＲＡＭ２０２に格納する。

【0115】

ステップＳ４０２では、ＣＰＵ２０１は、ステップＳ４０１でＲＡＭ２０２に格納した撮像画像を推論部２１０に入力する。推論部２１０は、ＣＰＵ２０１からの指示に従って上記の推論部１１０と同様の処理を行うことで、該撮像画像に含まれている被写体の推論結果を生成し、該生成した推論結果をＲＡＭ２０２に格納する。さらにＣＰＵ２０１は、第１の実施形態と同様、被写体の推論結果に対して、該被写体に固有のＩＤを付与する。

【0116】

ステップＳ４０３では、ＣＰＵ２０１は、ステップＳ４０１でＲＡＭ２０２に格納した撮像画像と、ステップＳ４０２でＲＡＭ２０２に格納した推論結果（該推論結果のＩＤを含む）と、を表示部２０５に表示させる。表示内容については第１の実施形態と同様である。

【0117】

ステップＳ４０４では、ＣＰＵ２０１は、ユーザによる追尾対象の被写体の選択操作を受け付ける。ユーザによる追尾対象の被写体の選択操作については第１の実施形態と同様である。

【0118】

ステップＳ４０５では、ＣＰＵ２０１は、ＲＡＭ２０２に格納されている追尾被写体ＩＤを変更するようなユーザ操作が行われたか否かを判断する。たとえば、ＣＰＵ２０１は、ユーザによる選択操作によって追尾対象の被写体を初めて選択する操作、もしくは従前の追尾対象の被写体とは異なる追尾対象の被写体を選択する操作、が行われたか否かを判断する。

【0119】

この判断の結果、ＲＡＭ２０２に格納されている追尾被写体ＩＤを変更するようなユーザ操作が行われた場合には、処理はステップＳ４０７に進む。一方、ＲＡＭ２０２に格納されている追尾被写体ＩＤを変更するようなユーザ操作が行われなかった場合には、処理はステップＳ４０６に進む。

【0120】

ステップＳ４０６では、ＣＰＵ２０１は、ＲＡＭ２０２に決定済みの追尾被写体ＩＤが格納されているか否か（追尾被写体ＩＤは決定済みか否か）を、上記のステップＳ１０４と同様の方法で判断する。この判断の結果、ＲＡＭ２０２に決定済みの追尾被写体ＩＤが格納されている（追尾被写体ＩＤは決定済み）場合には、処理はステップＳ４０８に進む。一方、ＲＡＭ２０２に決定済みの追尾被写体ＩＤが格納されていない（追尾被写体ＩＤは決定済みでない）場合には、処理はステップＳ４０１に進む。ステップＳ４０７では、ＣＰＵ２０１は、ユーザ操作に応じて追尾対象の被写体として選択された被写体のＩＤを追尾被写体ＩＤとしてＲＡＭ２０２に格納する。

【0121】

ステップＳ４０８では、ＣＰＵ２０１は、上記のステップＳ１０６と同様にして、追尾被写体ＩＤと同じＩＤに対応する被写体が現在のフレームの撮像画像から検出されているか否かを判断する。

【0122】

この判断の結果、追尾被写体ＩＤと同じＩＤに対応する被写体が検出されている場合には、処理はステップＳ４１１に進む。一方、追尾被写体ＩＤと同じＩＤに対応する被写体は検出されていない場合、第１の実施形態と同様、ＣＰＵ２０１は追尾対象の被写体のロストが発生したと判断し、現在の時刻ＴをＲＡＭ２０２に格納し、そして処理はステップＳ４０９に進む。

【0123】

ステップＳ４０９ではＣＰＵ２０１はステップＳ１０７と同様に、現在のフレームから検出された被写体の推論結果のＩＤの中に、時刻Ｔ以前のフレームから検出された被写体の推論結果のＩＤのいずれとも異なる新規のＩＤが含まれているか否かを判断する。

【0124】

この判断の結果、現在のフレームから検出された被写体の推論結果のＩＤの中に新規のＩＤが含まれている場合には、処理はステップＳ４１０に進む。一方、現在のフレームから検出された被写体の推論結果のＩＤの中に新規のＩＤは含まれていない場合には、処理はステップＳ４０１に進む。

【0125】

ステップＳ４１０では、ＣＰＵ２０１は、ＲＡＭ２０２に格納されている追尾被写体ＩＤを、新規のＩＤに更新する。ステップＳ４１１では、ＣＰＵ２０１は、上記のステップＳ１０９と同様、ステップＳ４０２でＲＡＭ２０２に格納した「追尾被写体ＩＤの推論結果（追尾対象の被写体の位置）」が、前回のステップＳ４０２でＲＡＭ２０２に格納した「追尾被写体ＩＤの推論結果（追尾対象の被写体の位置）」と一致しているか否かを判断する。

【0126】

このような判断の結果、一致していると判断した場合には、現在のフレームについての図６（ａ）のフローチャートに従った処理は終了し、一致していると判断しなかった場合には、処理はステップＳ４１２に進む。

【0127】

ステップＳ４１２では、ＣＰＵ２０１は、上記のステップＳ１１０と同様、ステップＳ４０２でＲＡＭ２０２に格納した追尾対象の被写体の位置と、前回のステップＳ４０２でＲＡＭ２０２に格納した追尾対象の被写体の位置と、の差分を求める。そしてＣＰＵ２０１は、該求めた差分を用いて、撮像部１１１が追尾対象の被写体を追尾して撮像できるようなパン方向およびチルト方向の角速度（ベクトル）を求める。

【0128】

ステップＳ４１３では、ＣＰＵ２０１は、ステップＳ４１２で求めたベクトルのデータを、カメラ１００を制御する方法として予め取り決めているプロトコルに則って制御コマンドに変換し、該変換した制御コマンドをＲＡＭ２０２に格納する。

【0129】

ステップＳ４１４では、ＣＰＵ２０１は、ステップＳ４１３でＲＡＭ２０２に格納した制御コマンドを、ネットワークＩ／Ｆ２０４を介してカメラ１００に対して送信する。

【0130】

このように、本実施形態では、カメラ１００に追尾対象の被写体の追尾を行わせるための制御コマンドを生成し、該生成した制御コマンドをカメラ１００に送信する機能をコントローラ２００に設けた場合も、第１の実施形態と同様の効果が得られる
上記の各実施形態で使用した数値、処理タイミング、処理順、処理の主体、データ（情報）の取得方法／送信先／送信元／格納場所などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。

【0131】

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

【0132】

（その他の実施形態）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0133】

本明細書の発明は、以下の画像処理装置、画像処理方法、コンピュータプログラムを含む。
（項目１）
フレームから被写体を検出する検出手段と、
第１フレームから追尾対象の被写体の識別情報と同じ識別情報の被写体が検出されなかった場合、該第１フレームから検出された被写体の識別情報の中に、該追尾対象の被写体が検出されなかったタイミング以前の第２フレームから検出された被写体の識別情報とは異なる新規の識別情報が含まれていれば、該追尾対象の被写体の識別情報を該新規の識別情報に更新する更新手段と
を備えることを特徴とする画像処理装置。
（項目２）
前記更新手段はさらに、前記新規の識別情報に対応する被写体の位置が範囲内に位置しているか否かに基づいて、前記追尾対象の被写体の識別情報を前記新規の識別情報に更新するか否かを判断することを特徴とする項目１に記載の画像処理装置。
（項目３）
前記更新手段は、前記タイミングの前の前記追尾対象の被写体のサイズに応じて前記範囲のサイズを変更することを特徴とする項目２に記載の画像処理装置。
（項目４）
前記更新手段は、前記タイミングの前の前記追尾対象の被写体の移動速度に応じて前記範囲のサイズを変更することを特徴とする項目２に記載の画像処理装置。
（項目５）
前記更新手段は、前記タイミングの前の前記追尾対象の移動方向に基づいて前記範囲の形状を変更することを特徴とする項目２に記載の画像処理装置。
（項目６）
前記更新手段は、前記タイミングからの経過時間に応じて前記範囲のサイズを変更することを特徴とする項目２に記載の画像処理装置。
（項目７）
さらに、
撮像手段を備え、
前記検出手段は、前記撮像手段により撮像されたフレームから被写体を検出することを特徴とする項目１ないし６のいずれか１項目に記載の画像処理装置。
（項目８）
さらに、
前記撮像手段により撮像されたフレームから検出された被写体のうち、追尾対象の被写体の識別情報と同じ識別情報の被写体を追尾して撮像するよう前記撮像手段を制御する手段を備えることを特徴とする項目７に記載の画像処理装置。
（項目９）
前記検出手段は、前記画像処理装置と通信が可能な外部の撮像手段から受信したフレームから被写体を検出することを特徴とする項目１ないし６のいずれか１項目に記載の画像処理装置。
（項目１０）
さらに、
追尾対象の被写体の識別情報と同じ識別情報の被写体を追尾して撮像するよう前記撮像手段を制御するための制御コマンドを生成し、該制御コマンドを前記撮像手段に対して送信する手段を備えることを特徴とする項目９に記載の画像処理装置。
（項目１１）
さらに、
前記追尾対象の被写体が検出されなくなったタイミングの以降に、新たな識別情報を付与した被写体の、検出された被写体の特徴量が、前記追尾対象の被写体が検出されなくなる前に、前記追尾対象の被写体の特徴量と近い場合に、
前記追尾対象の被写体が検出されなくなったタイミングの以降に新たな識別情報を付与した被写体を、追尾対象として選択する手段を備えることを特徴とする項目１に記載の画像処理装置。
（項目１２）
前記特徴量は、前記被写体の向き、体形、姿勢、大きさ、縦横比のうち、すくなくとも一つを含むことを特徴とする項目１１に記載の画像処理装置。
（項目１３）
前記特徴量は、前記被写体の色、ヒストグラムのうちすくなくとも１つを含むことを特徴とする項目１１に記載の画像処理装置。
（項目１４）
画像処理装置が行う画像処理方法であって、
前記画像処理装置の検出手段が、フレームから被写体を検出する検出工程と、
前記画像処理装置の更新手段が、第１フレームから追尾対象の被写体の識別情報と同じ識別情報の被写体が検出されなかった場合、該第１フレームから検出された被写体の識別情報の中に、該追尾対象の被写体が検出されなかったタイミング以前の第２フレームから検出された被写体の識別情報とは異なる新規の識別情報が含まれていれば、該追尾対象の被写体の識別情報を該新規の識別情報に更新する更新工程と
を備えることを特徴とする画像処理方法。
（項目１５）
コンピュータを、項目１ないし１３のいずれか１項目に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

【0134】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0135】

１００：カメラ１０１：ＣＰＵ１０２：ＲＡＭ１０３：記憶装置１０５：ネットワークＩ／Ｆ１０６：画像処理部１０７：画像センサ１０８：駆動Ｉ／Ｆ１０９：駆動部１１０：推論部１１１：システムバス２００：コントローラ２０１：ＣＰＵ２０２：ＲＡＭ２０３：記憶装置２０４：ネットワークＩ／Ｆ２０５：表示部２０６：ユーザ入力Ｉ／Ｆ２０７：システムバス２１０：推論部

【図1】