特許 7219915 追尾型照明装置および照明追尾システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-01

(45)【発行日】2023-02-09

(54)【発明の名称】追尾型照明装置および照明追尾システム

(51)【国際特許分類】

   H05B 47/125 20200101AFI20230202BHJP

   G06T 7/00 20170101ALI20230202BHJP

   F21S 2/00 20160101ALI20230202BHJP

【ＦＩ】

H05B47/125

G06T7/00 660B

F21S2/00 365

【請求項の数】 9

(21)【出願番号】P 2019031663

(22)【出願日】2019-02-25

(65)【公開番号】P2020136213

(43)【公開日】2020-08-31

【審査請求日】2022-02-08

(73)【特許権者】

【識別番号】598137984

【氏名又は名称】株式会社ファンテックス

(73)【特許権者】

【識別番号】304027349

【氏名又は名称】国立大学法人豊橋技術科学大学

(74)【代理人】

【識別番号】100149320

【弁理士】

【氏名又は名称】井川 浩文

(74)【代理人】

【識別番号】100113664

【弁理士】

【氏名又は名称】森岡 正往

(74)【代理人】

【識別番号】110001324

【氏名又は名称】特許業務法人ＳＡＮＳＵＩ国際特許事務所

(72)【発明者】

【氏名】金澤 靖

(72)【発明者】

【氏名】原田 祐真

(72)【発明者】

【氏名】清須 俊男

【審査官】安食 泰秀

(56)【参考文献】

【文献】特開平１０－０１２００５（ＪＰ，Ａ）

【文献】特開２０１８－０２２３６０（ＪＰ，Ａ）

【文献】特開２００９－１８２６２４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２７２６６１（ＵＳ，Ａ１）

【文献】特開２０１７－１６７４３８（ＪＰ，Ａ）

【文献】特開平０８－２３７５３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０５Ｂ ４７／００

Ｇ０６Ｔ ７／００

Ｆ２１Ｓ ２／００

(57)【特許請求の範囲】

【請求項1】

画像取得手段と、この画像取得手段によって取得される画像から追尾すべき対象物を判別する処理手段と、この処理手段により判別された追尾対象物に向かって照射方向を変更させつつ照明するための照明手段とを備える追尾型照明装置において、
前記処理手段は、前記画像取得手段から入力される特定フレームについて、対象矩形を検出する対象矩形検出部と、この対象矩形に対する畳み込みニューラルネットワーク構造の出力値に基づいて対象矩形ごとの矩形尤度を算出する尤度算出部と、前記対象矩形の位置と矩形尤度との集合から尤度マップを作成する尤度マップ作成部と、この尤度マップのうち最も尤度の高い対象矩形を追尾対象物の対象矩形と判定する判定部とを備え、
前記照明手段は、前記判定部によって判定された追尾対象物の対象矩形が照明領域の中央に位置するように照射方向を適宜変更するものであることを特徴とする追尾型照明装置。

【請求項2】

さらに、追尾対象物の移動推定部を備え、該移動推定部は、前記判定部により判定された追尾対象物の対象矩形に対しパーティクルフィルタにより追跡推定を行うものである請求項１に記載の追尾型照明装置。

【請求項3】

前記画像取得手段は、前記追尾対象物の対象矩形が取得画像の中央に位置するように画像取得方向を変更させる駆動部を備えており、
前記判定部は、前記尤度マップ作成部によって作成された尤度マップまたは最新尤度マップにおける全領域中の尤度の総和に対し、追尾対象物の対象矩形の尤度の総和の割合が所定値以下であることを基準にロスト判定を行うものであり、
前記移動推定部は、前記判定部がロスト判定した場合に、画像の中央に位置する対象矩形をもって追尾対象物の対象矩形とみなして移動推定を行うものである請求項２に記載の追尾型照明装置。

【請求項4】

前記尤度マップ作成部は、過去４フレームにおける尤度マップと前記特定フレームにおける尤度マップの平均値によって更新されたものを最新尤度マップとして作成するものである請求項１～３のいずれかに記載の追尾型照明装置。

【請求項5】

請求項１～４のいずれかに記載の追尾型照明装置を使用する室内会場における照明追尾システムであって、
前記追尾対象物が、外見上の特徴を有する人物であり、
前記処理手段は、前記人物が共通して有する外見上の特徴および該人物の移動軌跡に関する教師データを記憶する記憶部を備え、
前記判定部は、前記尤度マップ作成部によって作成された尤度マップまたは最新尤度マップにおける追尾対象物の対象矩形の尤度の総和が所定値以下である場合に、前記人物に関する教師データとの比較によって追尾対象物の対象矩形を特定するものであることを特徴とする室内会場における照明追尾システム。

【請求項6】

請求項２または３に記載の追尾型照明装置を使用する室内会場における照明追尾システムであって、
前記画像取得手段は、前記照明手段と一体的に設置され、かつ取得画像の中央が照明手段によって照射される照射範囲の中央に合致させたものであり、
前記照明手段は、自動追尾状態と手動追尾状態との切り換えを可能とするものであり、
前記移動推定部は、手動追尾状態から自動追尾状態に切り換えた直後に入力される入力画像のうち、中央に位置する対象矩形をもって追尾対象物の対象矩形とみなして判定するものであることを特徴とする室内会場における照明追尾システム。

【請求項7】

前記照明手段は、所定の駆動部を備え、前記判定部により追尾対象物がロスト状態であると判断された場合、前記駆動部の駆動を停止するものである請求項６に記載の室内会場における照明追尾システム。

【請求項8】

前記画像取得手段は、前記照明手段と一体的に向きを変更するものであり、前記判定部により判定された追尾対象物の対象矩形が前記画像取得手段による取得画像の中央に位置する状態となるように前記駆動部を制御するものである請求項７に記載の室内会場における照明追尾システム。

【請求項9】

前記画像取得手段および前記照明手段は、室内会場の天井および壁面のうち、任意の２箇所に設置されている請求項５～８のいずれかに記載の室内会場における照明追尾システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、追尾型照明装置および照明追尾システムに関し、特に、室内における披露宴会場などで特定人物等を追尾しつつ照明するための装置と、室内における会場内で特定人物に対する照明を追尾させるためのシステムに関するものである。

【背景技術】

【0002】

移動する人物等の追尾対象物を追尾する技術は、監視システムや自動車の安全技術など、コンピュータビジョンにおいて重要な課題の一つであり、例えば、非剛体をＭｅａｎ Ｓｈｉｆｔによって追跡する手法（非特許文献１参照）、人物の頭部モデルの尤度を用いてパーティクルフィルタで追跡する手法（非特許文献２および３参照）、または色相やＨｏＧによる外観モデルを用いてパーティクルフィルタで追跡する手法（非特許文献４参照）があった。

【先行技術文献】

【非特許文献】

【0003】

【文献】Visvanathan Ramesh:“Real-Time Tracking of Non-Rigid Objects using Mean Shift”, Proceedings IEEE Conference on Computer Vision and Pattern Recognition 2000, (2000)

【文献】鈴木達也：“環境モデルの導入による人物追跡の安定化”，電子情報通信学会論文誌，Vol.J88-D-II, No.8, pp.1592-1600, (2005)

【文献】小林貴訓：“パーティクルフィルタとカスケード型識別器の統合による人物三次元追跡”，電子情報通信学会論文誌，Vol.J90-D-IIm, No.8, pp.1-10,(2007)

【文献】Sangeun Lee: “Human Tracking using Particle Filter with Reliable Appearance Model”, SICE Annual Conference 2013, pp.1418-1424,(2013)

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献１に開示される技術は、テンプレートとの距離の算出にピクセル値を用いることから、急激な照明変化に弱く、またオクルージョンに対しても弱いものとなっていた。また、非特許文献２および３に開示される技術は、オクルージョンの影響を小さくすることができるものの、全体として特徴を有する人物を追跡できるものではなく、しかも仮説の評価にピクセル値を用いていることから、急激に照明が変化する環境下ではロストする可能性があった。さらに、非特許文献４に開示される技術は、オクルージョンの影響を小さくすることができる点で非特許文献２および３と同様であるが、特徴を有する人物を追跡するためには、特徴量をその都度構築し直す必要があり、特徴量によっては、急激に照明が変化する環境下ではロストする可能性を有していた。

【0005】

本発明は、上記諸点に鑑みてなされたものであって、その目的とするところは、オクルージョンの影響を小さくしつつ照明変化に対応可能な追尾型照明装置および照明追尾システムを提供することである。

【課題を解決するための手段】

【0006】

そこで、追尾型照明装置に係る本発明は、画像取得手段と、この画像取得手段によって取得される画像から追尾すべき対象物を判別する処理手段と、この処理手段により判別された追尾対象物に向かって照射方向を変更させつつ照明するための照明手段とを備える追尾型照明装置において、前記処理手段は、前記画像取得手段から入力される特定フレームについて、対象矩形を検出する対象矩形検出部と、この対象矩形に対する畳み込みニューラルネットワーク構造の出力値に基づいて対象矩形ごとの矩形尤度を算出する尤度算出部と、前記対象矩形の位置と矩形尤度との集合から尤度マップを作成する尤度マップ作成部と、この尤度マップのうち最も尤度の高い対象矩形を追尾対象物の対象矩形と判定する判定部とを備え、前記照明手段は、前記判定部によって判定された追尾対象物の対象矩形が照明領域の中央に位置するように照射方向を適宜変更するものであることを特徴とするものである。

【0007】

上記構成によれば、対象矩形検出部によって対象矩形を検出し、尤度算出部が対象矩形に対する尤度を算出し、尤度マップ作成部によって尤度マップが作成されることにより、当該尤度マップのうち最も尤度の高い対象矩形を追尾対象物と判定することが可能となる。

【0008】

上記構成の追尾型照明装置に係る本発明においては、さらに、追尾対象物の移動推定部を備え、該移動推定部は、前記判定部により判定された追尾対象物の対象矩形に対しパーティクルフィルタにより追跡推定を行うものとすることができる。

【0009】

上記構成の場合には、追尾対象物の対象矩形に対し、パーティクルの尤度に応じた推定が可能となり、オクルージョンの影響を小さくすることができる。

【0010】

また、上記各構成の追尾型照明装置に係る発明において、前記画像取得手段は、前記追尾対象物の対象矩形が取得画像の中央に位置するように画像取得方向を変更させる駆動部を備えており、前記判定部は、前記尤度マップ作成部によって作成された尤度マップまたは最新尤度マップにおける全領域中の尤度の総和に対し、追尾対象物の対象矩形の尤度の総和の割合が所定値以下であることを基準にロスト判定を行うものであり、前記移動推定部は、前記判定部がロスト判定した場合に、画像の中央に位置する対象矩形をもって追尾対象物の対象矩形とみなして移動推定を行うものとすることができる。

【0011】

上記構成の場合には、判定部がロスト判定を行うことから、ロスト判定された場合、暫定的に画像の中央に位置する対象矩形を追尾対象物として移動推定を継続させることができる。ここで、尤度マップにおける全領域中の尤度の総和に対し、追尾対象物の対象矩形の尤度の総和の割合とは、概ね全領域の誘導総和の１０％に相当する尤度が追尾対象物の対象矩形の総和であることが好適であり、その１／１０を下限値として、それ以下の尤度総和となった場合にロストと判定するものとしてよい。また、画像取得手段が駆動部を備えることにより、取得画像の中央に追尾対象物の対象矩形を配置させることから、ロスト判定された場合に当該取得画像の中央の対象矩形を追尾対象物と推定させることにより、追尾を継続させることが可能となる。その結果として、周囲の照明変化やオクルージョンの影響を小さくさせることが可能となる。

【0012】

さらに、上記各構成の追尾型照明装置に係る発明において、前記尤度マップ作成部は、過去４フレームにおける尤度マップと前記特定フレームにおける尤度マップの平均値によって更新されたものを最新尤度マップとして作成するものとすることができる。

【0013】

上記のような構成によれば、尤度マップは、過去４フレームを参照した平均値によって更新されることから、尤度マップにおける最も尤度の高い対象矩形は、過去のフレームから連続することとなり、最新の尤度マップに表現される尤度の正確性を高めることができる。

【0014】

他方、照明追尾システムに係る本発明は、上記各構成のいずれかに係る追尾型照明装置を使用する室内会場における照明追尾システムであって、前記追尾対象物が、外見上の特徴を有する人物であり、前記処理手段は、前記人物が共通して有する外見上の特徴および該人物の移動軌跡に関する教師データを記憶する記憶部を備え、前記判定部は、前記尤度マップ作成部によって作成された尤度マップまたは最新尤度マップにおける追尾対象物の対象矩形の尤度の総和が所定値以下である場合に、前記人物に関する教師データとの比較によって追尾対象物の対象矩形を特定するものであることを特徴とするものである。

【0015】

上記構成によれば、例えば、結婚披露宴会場において照明を追尾させるような場合には、照明を照射すべき対象物（例えば、新郎・新婦）は、外見上明確に他と区別できる外見上の特徴を有することから、複数の追尾対象物（例えば、新郎・新婦）これを教師データとして記憶させ、当該教師データとの比較によって、追尾対象物の対象矩形の尤度を高くすることができる。さらに、尤度マップにおける対象矩形の尤度総和が低い場合にあっても、外見上の特徴にかかる教師データとの比較により、追尾対象物の判定が可能となる。これは、周囲の照明変化やオクルージョンの影響を小さくさせることが可能とするものである。

【0016】

また、照明追尾システムに係る本発明は、上記各構成のいずれかに係る追尾型照明装置を使用する室内会場における照明追尾システムであって、前記画像取得手段は、前記照明手段と一体的に設置され、かつ取得画像の中央が照明手段によって照射される照射範囲の中央に合致させたものであり、前記照明手段は、自動追尾状態と手動追尾状態との切り換えを可能とするものであり、前記移動推定部は、手動追尾状態から自動追尾状態に切り換えた直後に入力される入力画像のうち、中央に位置する対象矩形をもって追尾対象物の対象矩形とみなして判定するものであることを特徴とするものである。

【0017】

上記構成によれば、照明手段による照射方向が変更されることに伴って、画像取得手段の向きも変更され、しかも、取得画像の中央が照射範囲の中央に一致していることから、手動追尾状態において、照明手段による照射範囲の中心に追尾対象物とすれば、必然的に取得画像の中央に追尾対象物が配置されることとなる。この状態で自動追尾状態に切り換える場合には、複数の対象矩形の中から追尾対象物の対象矩形を判別することなく、中央に位置する対象矩形をもって追尾対象物の対象矩形と判断させることが可能となる。これは、自動追尾状態の開始の際またはロスト状態から早期に復帰させることができる。

【0018】

上記構成の発明において、前記照明手段は、所定の駆動部を備え、前記判定部により追尾対象物がロスト状態であると判断された場合、前記駆動部の駆動を停止するものとすることができる。

【0019】

上記構成の場合には、追尾対象物をロストした際、複数の対象矩形から追尾対象物の対象矩形を判別するために、照明手段による照射方向をむやみに変更させないことができる。ロスト状態の場合には、一時的に手動追尾状態に切り換えることにより、ロスト状態からの復帰を容易とし、また、照射方向が不規則に変動しないことから会場内の雰囲気を乱すことを防ぐこともできる。

【0020】

また、上記構成において、前記画像取得手段は、前記照明手段と一体的に向きを変更するものであり、前記判定部により判定された追尾対象物の対象矩形が前記画像取得手段による取得画像の中央に位置する状態となるように前記駆動部を制御するものとしてよい。

【0021】

上記構成の場合には、照明手段の向きの制御として、照明の照射状態を検知するのではなく、画像取得手段による取得画像に基づくものとするのである。このような制御により、画像取得手段による取得画像の中央には常に追尾対象物の対象矩形を配置させつつ、結果として、照明手段による照射範囲の中心に追尾対象物を配置させることができる。

【0022】

上記各構成の照明追尾システムに係る発明において、前記画像取得手段および前記照明手段は、室内会場の天井および壁面のうち、任意の２箇所に設置されているものとすることができる。

【0023】

上記構成によれば、異なる２点から追尾対象物を追尾しつつ照明を照射させることができるため、二つの画像取得手段および照明手段のうちの一方の画像処理がロスト状態となり照明の追尾が不能な状態となった場合であっても、他方の画像処理が正常に処理されていれば、少なくとも当該他方の画像処理に基づく他方の照明は追尾対象物を継続して追尾させることができる。

【発明の効果】

【0024】

追尾型照明装置に係る本発明によれば、オクルージョンの影響を小さくしつつ追尾対象物の追跡が可能であり、また、照明が変化する場合であっても追跡させることができる。さらに、追尾対象物の対象矩形が取得画像の中央に位置するように画像取得手段の向きが調整される構成の場合には、仮にロスト状態となった場合であっても、取得画像（入力画像）の中央に位置する対象矩形をもって追尾対象物として追尾状態に復帰させることができる。

【0025】

照明追尾システムに係る本発明によれば、上述の追尾型照明装置によって、オクルージョンの影響を小さくしつつ照明変化に対応可能であるうえ、教師データを備える構成の場合には、特定の会場における同種の宴会等において、照明を照射すべき人物等を教師データと比較しつつ追尾させることができ、ロバスト性を向上させるものとなる。手動追尾状態と自動追尾状態との切り換え可能な構成にあっては、手動追尾状態によって準備した後、自動追尾状態による照明追尾を実行させることができるものである。

【図面の簡単な説明】

【0026】

【図1】照明追尾システムに係る本発明の実施形態を示す説明図である。

【図2】追尾型照明装置の概要を示す説明図である。

【図3】対象矩形の概念を示す説明図である。

【図4】畳み込みニューラルネットワーク構造の概略図である。

【図5】尤度マップの概念を示す説明図である。

【発明を実施するための形態】

【0027】

以下、本発明の実施の形態を図面に基づいて説明する。図１は、照明追尾システムの概要を示すものである。照明追尾システムに係る実施形態は、図１（ａ）に示すように、特定の会場Ａの室内において、１箇所または２箇所（図は２箇所）に追尾型照明装置１ａ，１ｂが設置されたものであり、この室内における照明（スポットライト）を特定の対象物（例えば人物）Ｈ１，Ｈ２に照射するものである。

【0028】

個々の照明装置１ａ，１ｂは、それぞれが後述の追尾型照明装置が使用され、対象物Ｈ１，Ｈ２が移動すると、その移動に伴って照射方向を変更するものである。例えば、結婚披露宴会場の場合、新郎Ｈ１および新婦Ｈ２が、二人揃って室内を移動することから、その二人Ｈ１，Ｈ２を追尾するように照明（スポットライト）の照射方向を変更させるのである。

【0029】

ここで、追尾型照明装置１の実施形態としては、図１（ｂ）に示すように、照明手段としてのスポットライト２と、画像取得手段としてのカメラ３が、単一の筐体に一体的に設置されている。また、この追尾型照明装置１には、内蔵または外付けされた処理手段としての処理装置４が設けられ、カメラ３によって撮影される画像データの入力を受け、画像処理することができる。

【0030】

追尾型照明装置１は、水平方向への旋回が可能な旋回軸２１と、上下方向への角度調整が可能な回転軸２２とを備えており、実質的には旋回軸２１が壁面または天井の表面にモータ等の駆動部を介して設置されるものである。回転軸２２に駆動部を設けることにより角度調整を駆動させてもよい。

【0031】

ところで、上記の駆動部（モータ）は、コントローラ５によって制御信号が出力（制御電圧が印加）され、その出力値に応じて駆動するものである。このコントローラ５は、前述の処理装置４によって画像処理された結果に応じて、必要な駆動（照明装置１の方向を変更）させるためのものである。

【0032】

なお、処理装置４にモニタ（表示装置）６を接続することにより、カメラ３によって撮影され、処理装置４に入力された画像、および処理装置４により処理された状態が表示できるようになっており、このモニタ６を目視で確認することにより、追尾状態が正常であるか否かを操作者において判断できるものとしている。

【0033】

図２に示すように、処理装置４には、対象矩形検出部４１、尤度算出部４２、尤度マップ作成部４３、および判定部４４が設けられ、対象矩形検出部４１は、カメラ３から入力される画像（特定のフレーム）について、対象矩形を検出するものである。対象矩形とは、全体画像（矩形）の中における所定幅と所定長によって追尾対象（例えば人物）を包囲し得る矩形の領域であり、追尾対象となり得る対象物（例えば人物）について個々に対象矩形で包囲し、追尾対象か否かを判断するために特定するものである。なお、処理装置４には記憶部４０が設けられ、入力データのほか、各種算出結果および出力データを一時的に記憶させることができるものとしている。

【0034】

尤度算出部４２は、個々の対象矩形に対して畳み込みニューラルネットワークにより識別した結果（畳み込みニューラルネットワーク構造の出力値）から尤度を算出するものであり、具体的には、当該出力値を尤度として、対象矩形の尤度（矩形尤度）とするものである。また、尤度マップ作成部４３は、対象矩形の位置と対象矩形の尤度との集合から尤度マップを作成するものである。尤度マップは、個々の対象矩形における尤度の高低をマップ状に表示（全体画像中に尤度の高低を表示）したものである。この尤度マップの作成により、複数の対象矩形の中から追尾対象とすべき対象矩形を特定することが可能となるのである。そこで、判定部４４は、尤度マップのうち最も尤度の高い対象矩形を追尾対象物の対象矩形と判定するものとしている。

【0035】

具体的には、図３に示すように、追尾対象物が人物である場合、特定フレーム（図３（ａ））における人物と判断できる領域に幅ｗ×高さｈの矩形（対象矩形）を設定する（図３（ｂ））。この対象矩形に対して、畳み込みニューラルネットワークによって追尾対象となり得るかを識別させるのである（図３（ｃ））。このときの畳み込みニューラルネットワーク構造は、図４に示すとおりであり、表１に示すようなネットワークとした。

【0036】

【表1】

【0037】

さらに具体的には、人物矩形検出には、ｎ番目のフレームの画像Ｉｎを入力として、人物を包囲する人物矩形（幅ｗ、高さｈ、中心座標（ｘ，ｙ））の集合を出力とするＦ（Ｉ）を用い、当該ｎ番目のフレームの人物矩形の集合Ｒｎを取得する。この集合Ｒ_ｎは下式のように関数Ｆとして示すことができる。なお、関数Ｆとしては、ＩｍａｇｅＮｅｔ（http://www.image-net.org）により訓練済みのＹｏｌｏ（Joseph Redmon:“YOLO9000: Better, Faster, Stronger,” arXiv:1612.08242,(2016)）を使用することができる。

【0038】

【数1】

【0039】

また、追尾対象の識別においては、Ｒ_ｎの各要素ｒｉによってＩｎから画像Ｉ_ｉ’を切り出し、Ｉ_ｉ’を識別器Ｇによって識別する。なお、Ｇとしては、前述の畳み込みニューラルネットワークを用いることができる。

【0040】

この識別の結果、Ｉ_ｉ’が追尾対象である場合には、下式のように、Ｒｎ’に矩形ｒｉを追加し、Ｌｎに尤度ｌｉを追加する。

【0041】

【数2】

【0042】

尤度マップは、入力画像Ｉｎと同じサイズのｈ×ｗ行列であり、（ｉ，ｊ）成分は入力画像Ｉｎ中の（ｉ，ｊ）座標において、どの程度の追尾対象が存在するかを表すものとする。ここで作成される尤度マップを最終的な尤度マップとして使用してもよいが、ｎ番目のフレームで作成した尤度マップを仮のマップとし、過去４フレームにおける尤度マップとともに平均したものを最終的な尤度マップとして使用してもよい。その状態を図示すれば、図５のように表すことができる。

【0043】

ここで、照明（スポットライト）２の向きは、前述のように追尾対象物（人物）を追尾するように照射させるものであるため、コントローラの信号によって駆動させている。このとき、スポットライト２とカメラ３が単一の筐体に設置されていることにより、カメラ３によって取得される画像を基準に、所望画像が得られるように駆動させれば、必然的にスポットライト２の照射方向は変更される。すなわち、スポットライト２によって照射される範囲（通常は円形）の中央と、カメラ３によって取得される画像の中央を一致させることにより、取得画像の中央において常に追尾対象物の対象矩形が位置されるように、カメラ３の向きを修正することとすれば、スポットライト２によって照射される光の範囲の中央に追尾対象物が存在することとなるのである。

【0044】

本発明の実施形態は上記のとおりであるが、上記の各実施形態は本発明の例示であって、本発明がこれらの実施形態に限定されるものではない。従って、上記実施形態の要素を変更し、または他の要素を追加することができるものである。

【0045】

例えば、照明追尾システムにあっては、照明装置を操作する際に、手動追尾モードと、自動追尾モードとの切り換えを可能とすることができる。手動追尾モードとは、操作者が手動によりスポットライトを所定方向に向けて照射する状態（手動追尾状態）での操作モードであり、自動追尾モードとは、前述のように取得画像に基づいて追尾対象物の対象矩形を判別してスポットライトを追尾させる状態（自動追尾状態）での操作モードである。このようなモード切替を可能にすることにより、自動追尾状態において追尾対象物をロストした場合、操作者が手動追尾状態にて追尾を継続させることができる。

【0046】

このモード切替においては、手動追尾状態で、操作者がスポットライトの中央に追尾対象物を存在させた状態とし、このとき、カメラによる取得画像の中央にも同時に追尾対象物が撮影されるものとすれば、手動追尾状態により、予め追尾対象物を特定した後に自動追尾処理を開始させるという使用方法もあり得る。

【0047】

また、予め処理装置に記憶部を備え、当該記憶部に教師データを記憶させておき、判定手段における最終的な判定に際して、またはロスト状態もしくはロストに近い状態に際して、教師データとの比較によって、追尾対象物を判別させてもよい。

【0048】

その際、判定部４４において、尤度マップ作成部４３によって作成された尤度マップ（過去４フレームを平均した最新の尤度マップ）における全領域中の尤度の総和に対し、追尾対象物の対象矩形の尤度の総和の割合が所定値以下であることを基準にロスト判定を行うように設定することができる。この場合の尤度マップにおける全領域中の尤度の総和に対し、追尾対象物の対象矩形の尤度の総和の割合とは、概ね全領域の誘導総和の１０％に相当する尤度が追尾対象物の対象矩形の総和であることが好適であり、その１／１０を下限値として、それ以下の尤度総和となった場合にロストと判定することができる。

【0049】

さらに、追尾対象物の対象矩形の推定として、対象矩形の座標位置を示すパーティクルを用いて尤度分布を推定してもよい。パーティクルで示される座標位置の密度が最も濃い部分が、最も尤度の高い部分を推定しているものとして、パーティクルの重心を追尾対象とすることができる。

【実施例】

【0050】

＜実験例＞
画像処理において、取得画像から追尾対象物を識別できるか否かについて、処理動作の実験を行った。実験には、３つの動画を使用し、それぞれ人物が一人の動画（Ａ）、人物二人がすれ違う動画（Ｂ）、および人物三人のうち二人が入り乱れ急激な照明変化がある動画（Ｃ）とした。また、処理方法は、前述のように対象矩形を設定し、畳み込みニューラルネットワークにより識別して尤度を出力させ、尤度マップを作成したうえで判定させたものである。

【0051】

実験の結果をＭｅａｎ Ｓｈｉｆｔとの比較を含めて下表に示す。

【0052】

【表2】

【0053】

【表3】

【0054】

上記の結果から、Ｍｅａｎ Ｓｈｉｆｔに比べて、追尾精度は向上していることが分かる（表２）。一方で、処理速度はＭｅａｎ Ｓｈｉｆｔの約２０倍の遅延であった（表３）。ところが、高速で処理し、かつ正確な追尾が可能となる場合、例えば、室内会場における使用のように、追尾対象物が僅かに移動した程度でスポットライトが移動することとなる。これは、照射された光のちらつきになるため、スポットライトは、少し遅く（追尾対象物に遅れながら）移動することが自然な追尾を実現できるという効果をえることができるものである。

【符号の説明】

【0055】

１，１ａ，１ｂ 追尾型照明装置
２ スポットライト（照明手段）
３ カメラ（画像取得手段）
４ 処理装置（処理手段）
５ コントローラ
６ モニタ
４０ 記憶部
４１ 対象矩形検出部
４２ 尤度算出部
４３ 尤度マップ作成部
４４ 判定部

【図1】

【図2】

【図3】

【図4】

【図5】