特許 6011569 撮像装置、被写体追尾方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6011569

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月19日

(54)【発明の名称】撮像装置、被写体追尾方法及びプログラム

(51)【国際特許分類】

   H04B 10/116 20130101AFI20161006BHJP

   H04N 5/232 20060101ALI20161006BHJP

【ＦＩ】

   H04B9/00 116

   H04N5/232 C

   H04N5/232 Z

【請求項の数】11

【全頁数】13

(21)【出願番号】特願2014-50702(P2014-50702)

(22)【出願日】2014年3月13日

(65)【公開番号】特開2015-177262(P2015-177262A)

(43)【公開日】2015年10月5日

【審査請求日】2015年3月26日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100140176

【弁理士】

【氏名又は名称】砂川 克

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100124394

【弁理士】

【氏名又は名称】佐藤 立志

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(74)【代理人】

【識別番号】100111073

【弁理士】

【氏名又は名称】堀内 美保子

(72)【発明者】

【氏名】石原 正規

【審査官】 吉川 康男

(56)【参考文献】

【文献】 特開２００５−０８６５９１（ＪＰ，Ａ）

【文献】 特開２０１３−０８１１４５（ＪＰ，Ａ）

【文献】 特開２０１１−１６６３１８（ＪＰ，Ａ）

【文献】 特開２００５−１３６６６５（ＪＰ，Ａ）

【文献】 特開２００７−０４３６１１（ＪＰ，Ａ）

【文献】 特開２０１０−０５０７２０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｂ １０／１１６

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

画像を撮影する画像撮影手段と、
上記画像撮影手段で撮影した上記画像に含まれる、時系列に変化する光変化領域を検出する光変化領域検出手段と、
上記光変化領域検出手段で検出した上記光変化領域の上記画像中の位置を検出する位置検出手段と、
上記位置検出手段で検出した上記位置に基づく所定の範囲内で画像処理上の特徴量が大きい局所領域を検索する局所領域検索手段と、
上記局所領域検索手段で検索した上記局所領域の動きを追尾する追尾手段と、を備え、
上記局所領域検索手段は、上記位置検出手段で検出した上記位置に基づく所定の範囲内で、上記時系列に変化する光が影響しない、上記特徴量が大きい局所領域を検索することを特徴とする撮像装置。

【請求項2】

上記光変化領域検出手段で検出した上記光変化領域から、光変調された情報を取得する情報取得手段と、
上記情報取得手段で取得した情報を復調する復調手段と、
上記復調手段で復調した情報が予め設定された情報か否かを判定する判定手段とをさらに備え、
上記追尾手段は、上記判定手段が、上記復調手段で復調した情報が予め設定された情報であると判定した場合に、上記局所領域検索手段で検索した上記局所領域の動きを追尾する
ことを特徴とする請求項１記載の撮像装置。

【請求項3】

上記局所領域検索手段で検索する上記局所領域の検索範囲を設定する検索範囲設定手段をさらに備えたことを特徴とする請求項１または２記載の撮像装置。

【請求項4】

上記検索範囲設定手段は、上記光変化領域検出手段で検出した上記光変化領域の大きさに基づいて、上記局所領域の検索範囲を設定することを特徴とする請求項３記載の撮像装置。

【請求項5】

上記画像撮影手段は、焦点距離を可変するズームレンズを含み、
上記検索範囲設定手段は、上記画像撮影手段による画像撮影時の上記ズームレンズの焦点距離に基づいて、上記局所領域の検索範囲を設定することを特徴とする請求項３記載の撮像装置。

【請求項6】

上記局所領域検索手段は、上記位置検出手段で検出した上記位置の周辺画像を２次元微分演算し、２次元微分演算された画像から上記位置の周辺内での演算値の総和最大を検索することにより上記局所領域を検索することを特徴とする請求項１乃至５いずれか記載の撮像装置。

【請求項7】

上記位置検出手段で検出した上記位置に基づく所定の範囲内で顔を検索する顔検索手段と、
上記顔検索手段で検索した上記顔の位置に応じて自動露出、自動合焦、及び自動ホワイトバランスのうち少なくとも１つを上記画像撮影手段で実行させる撮影制御手段と
をさらに備えることを特徴とする請求項１乃至６いずれか記載の撮像装置。

【請求項8】

上記時系列に変化する光変化領域は、輝度の変化領域であることを特徴とする請求項１乃至７いずれか記載の撮像装置。

【請求項9】

上記時系列に変化する光変化領域は、色度の変化領域であることを特徴とする請求項１乃至７いずれか記載の撮像装置。

【請求項10】

画像を撮影する撮影部を備えた装置での被写体追尾方法であって、
上記撮影部で撮影した上記画像に含まれる、時系列に変化する光変化領域を検出する光変化領域検出工程と、
上記光変化領域検出工程で検出した上記光変化領域の上記画像中の位置を検出する位置検出工程と、
上記位置検出工程で検出した上記位置に基づく所定の範囲内で画像処理上の特徴量が大きい局所領域を検索する局所領域検索工程と、
上記局所領域検索工程で検索した上記局所領域の動きを追尾する追尾工程と、を有し、
上記局所領域検索工程は、上記位置検出工程で検出した上記位置に基づく所定の範囲内で、上記時系列に変化する光が影響しない、上記特徴量が大きい局所領域を検索することを特徴とする被写体追尾方法。

【請求項11】

画像を撮影する撮影部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、
上記撮影部で撮影した上記画像に含まれる、時系列に変化する光変化領域を検出する光変化領域検出手段、
上記光変化領域検出手段で検出した上記光変化領域の上記画像中の位置を検出する位置検出手段、
上記位置検出手段で検出した上記位置に基づく所定の範囲内で画像処理上の特徴量が大きい局所領域を検索する局所領域検索手段、及び
上記局所領域検索手段で検索した上記局所領域の動きを追尾する追尾手段、として機能させ、
上記局所領域検索手段は、上記位置検出手段で検出した上記位置に基づく所定の範囲内で、上記時系列に変化する光が影響しない、上記特徴量が大きい局所領域を検索することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、可視光通信技術を用いた撮像装置、被写体追尾方法及びプログラムに関する。

【背景技術】

【0002】

可視光通信技術により情報を発信する発光部を含む対象をカメラで監視しながら、発信された情報を認識するようにした技術が種々提案されている。（例えば、特許文献１）

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−２６７０７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献に記載された技術を含めて、可視光通信の発光部を含む被写体をカメラの撮影画像中で追尾する場合、通常は当該発光部を中心位置に捉えながら追尾を継続するようなアルゴリズムでの処理を行なう。

【0005】

この場合、発光部の形状や発光部自体が点滅して輝度が変化することなどにより、被写体を認識して追尾する精度が低下するという不具合があった。

【0006】

この点は、例えばＪＰＥＧ２０００で用いられる、特定の領域の画像の質を向上させるＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ：注目領域）技術でも同様であり、被写体以外の背景領域を被写体と誤認識するなど、被写体追尾の精度が低下する。

【0007】

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、可視光通信の発光部を含む被写体を高い精度で認識して追尾し続けることが可能な撮像装置、被写体追尾方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

本発明の一態様は、画像を撮影する画像撮影手段と、上記画像撮影手段で撮影した上記画像に含まれる、時系列に変化する光変化領域を検出する光変化領域検出手段と、上記光変化領域検出手段で検出した上記光変化領域の上記画像中の位置を検出する位置検出手段と、上記位置検出手段で検出した上記位置に基づく所定の範囲内で画像処理上の特徴量が大きい局所領域を検索する局所領域検索手段と、上記局所領域検索手段で検索した上記局所領域の動きを追尾する追尾手段と、を備え、上記局所領域検索手段は、上記位置検出手段で検出した上記位置に基づく所定の範囲内で、上記時系列に変化する光が影響しない、上記特徴量が大きい局所領域を検索することを特徴とする撮像装置である。

【発明の効果】

【0009】

本発明によれば、可視光通信の発光部を含む被写体を高い精度で認識して追尾し続けることが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係るデジタルカメラの機能回路の構成を示すブロック図。

【図2】同実施形態に係る光タグ追尾動作中のＣＰＵによる処理内容を示すフローチャート。

【図3】同実施形態に係る撮影画像中の光タグを例示する図。

【図4】同実施形態に係る図３の画像を２次元微分演算した結果を示す図。

【発明を実施するための形態】

【0011】

以下本発明を、撮影画像中の光タグの追尾を行なうデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。

【0012】

図１は、本実施形態に係るデジタルカメラ１０の回路構成を示すブロック図である。同図で、カメラ筐体の前面に配設される撮影レンズ部１１により、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳイメージセンサ等で構成される固体撮像素子（ＩＳ）１２の撮像面上に被写体の光像を入射して結像させる。

【0013】

スルー画像表示、あるいはライブビュー画像表示とも称されるモニタ状態では、この固体撮像素子１２での撮像により得た画像信号をＡＧＣ・Ａ／Ｄ変換部１３に送り、相関二乗サンプリングや自動ゲイン調整、Ａ／Ｄ変換処理を実行してデジタル化する。このデジタル値の画像データはシステムバスＳＢを介してバッファメモリ１４に保持される。

【0014】

このバッファメモリ１４に保持された画像データに対して、画像処理部１５が適宜必要な画像処理を施す。画像処理部１５は、光タグ検出部１５ａ、局所領域検索部１５ｂ、及び復調部１５ｃを備える。

【0015】

これら光タグ検出部１５ａ、局所領域検索部１５ｂ、及び復調部１５ｃは、ハードウェア回路として用いられても良いし、可視光通信モード時に後述するプログラムにより実行する機能として用いられても良い。
光タグ検出部１５ａは、撮影画像中に写っている、可視光通信による明滅を行なう光タグの位を検出する。
局所領域検索部１５ｂは、上記光タグを含む領域中から、後述する特徴量が最大となる局所領域を演算により検索する。
復調部１５ｃは、上記光タグが明滅により発信している情報を復調して、変調されていた情報を取得する。

【0016】

上記画像処理部１５は、固体撮像素子１２に備えられるベイヤー配列のカラーフィルタの構成に応じた画像データに対してマトリックス演算、画素補間処理、ガンマ補正処理等を含むデモザイク処理することで、ＲＡＷ（生）データであるベイヤーデータに現像を施して輝度色差系（ＹＵＶ）の画像データに変換する。

【0017】

画像処理部１５は、その画像データから表示用に画素数及び階調ビットを大幅に減じた画像データを作成して表示部１６へ送り、スルー画像として表示させる。

【0018】

また、上記光学レンズユニット１１と同じくカメラ筐体前面には、マイクロホン１７が配設され、被写体方向の音声が入力される。マイクロホン１７は入力した音声を電気信号化し、音声処理部１８へ出力する。

【0019】

音声処理部１８は、音声単体での録音時、音声付き静止画像撮影時、及び動画像の撮影時にマイクロホン１７から入力する音声信号をデジタルデータ化する。さらに音声処理部１８は、デジタル化した音声データの音圧レベルを検出する一方で、該音声データを所定のデータファイル形式、例えばＡＡＣ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ−４ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）形式でデータ圧縮して音声データファイルを作成し、後述する記録媒体へ送出する。

【0020】

加えて音声処理部１８は、ＰＣＭ音源等の音源回路を備え、音声の再生時に送られてくる音声データファイルの圧縮を解いてアナログ化し、このデジタルカメラ１０の筐体背面側に設けられるスピーカ１９を駆動して、拡声放音させる。

【0021】

以上の回路をＣＰＵ２０が統括制御する。このＣＰＵ２０は、ワークメモリ２１、及びプログラムメモリ２２と直接接続される。ワークメモリ２１は、例えばＤＲＡＭで構成される。プログラムメモリ２２は、例えばフラッシュメモリなどの電気的に書換可能な不揮発性メモリで構成され、後述する連写速度制御を含む動作プログラムやデータ等を固定的に記憶する。

【0022】

ＣＰＵ２０はプログラムメモリ２２から必要なプログラムやデータ等を読出し、ワークメモリ２１に適宜一時的に展開記憶させながら、このデジタルカメラ１０全体の制御動作を実行する。

【0023】

さらに上記ＣＰＵ２０は、操作部２３から直接入力される各種キー操作信号、及び上記表示部１６上に一端に設けられるタッチ入力部２４からの操作信号に対応して制御動作を実行する。

【0024】

操作部２３は、例えば電源キー、シャッタレリーズキー、ズームアップ／ダウンキー、撮影モードキー、再生モードキー、メニューキー、カーソル（「↑」「→」「↓」「←」）キー、セットキー、解除キー、ディスプレイキー等を備える。

【0025】

タッチ入力部２４は、透明導電膜を用いて上記表示部１６上に一体に形成されるものであり、ユーザの手指でタッチ操作された位置の座標情報を操作信号として上記ＣＰＵ２０へ送出する。

【0026】

ＣＰＵ２０は、システムバスＳＢを介して上記ＡＧＣ・Ａ／Ｄ変換部１３、バッファメモリ１４、画像処理部１５、表示部１６、タッチ入力部２４、及び音声処理部１８の他、さらにレンズ駆動部２５、フラッシュ駆動部２６、イメージセンサ（ＩＳ）駆動部２７、及びメモリカードコントローラ２８と接続される。

【0027】

レンズ駆動部２５は、ＣＰＵ２１からの制御信号を受けてレンズ用ＤＣモータ（Ｍ）２９の回転を制御し、上記光学レンズユニット１１を構成する複数のレンズ群中の一部、具体的にはズームレンズ及びフォーカスレンズの位置をそれぞれ個別に光軸方向に沿って移動させる。

【0028】

フラッシュ駆動部２６は、静止画像撮影時にＣＰＵ２１からの制御信号を受けて複数の白色高輝度ＬＥＤで構成されるフラッシュ部３０を撮影タイミングに同期して点灯駆動する。

【0029】

イメージセンサ駆動部２７は、その時点で設定されている撮影条件等に応じて上記固体撮像素子１２の走査駆動を行なう。

【0030】

上記画像処理部１５は、上記操作部２４のシャッタレリーズキー操作に伴う画像撮影時に、ＡＧＣ・Ａ／Ｄ変換部１３から送られてきてバッファメモリ１４に保持される画像データをデモザイク処理し、さらに所定のデータファイル形式、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）であればＤＣＴ（離散コサイン変換）やハフマン符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。作成した画像データファイルはシステムバスＳＢ、メモリカードコントローラ２８を介してメモリカード３１に記録される。

【0031】

また画像処理部１５は、再生モード時にメモリカード３１からメモリカードコントローラ２８を介して読出されてくる画像データをシステムバスＳＢを介して受取り、バッファメモリ１４に保持させた上で、このバッファメモリ１４に保持させた画像データを記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、これをシステムバスＳＢを介して表示部１６に出力して表示させる。

【0032】

メモリカードコントローラ２８は、カードコネクタＣを介してメモリカード３１と接続される。メモリカード３１は、このデジタルカメラ１０に着脱自在に装着され、このデジタルカメラ１０の記録媒体となる画像データ等の記録用メモリである。メモリカード３１の内部には、ブロック単位で電気的に書換え可能な不揮発性メモリであるフラッシュメモリと、その駆動回路とが設けられる。

【0033】

次に上記実施形態の動作について説明する。
なお、以下に示す動作は、可視光通信モード下で表示部１６でモニタ表示される画像中の光タグを追尾する処理を行なう際、ＣＰＵ２０がプログラムメモリ２２に記憶されている動作プログラムやデータを読出してワークメモリ２１に展開して記憶させた上でＣＰＵ２０自身、または画像処理部１５の上記光タグ検出部１５ａ、局所領域検索部１５ｂ、復調部１５ｃに実行させるものである。

【0034】

プログラムメモリ２２に記憶されている動作プログラム等は、このデジタルカメラ１０の製造工場出荷時にプログラムメモリ２２に記憶されていたものに加え、例えばこのデジタルカメラ１０のバージョンアップに際して、デジタルカメラ１０をパーソナルコンピュータと接続することにより外部から新たな動作プログラム、データ等をダウンロードして記憶するものも含む。

【0035】

上記可視光通信モードを含む撮影モードでのモニタ状態において、ＣＰＵ２０はイメージセンサ駆動部２７により固体撮像素子１２を所定のフレームレート、例えば６０［フレーム／秒］で走査駆動させ、得られる画像を順次バッファメモリ１４にバッファさせながら、得られる画像を表示部１６でスルー画像としてリアルタイムに表示させている。

【0036】

図２は、上述した如く可視光通信モードでＣＰＵ２０の制御の下に画像処理部１５で実行される処理内容を示すフローチャートである。その処理当初には、その時点までに得られた時系列の画像データ中で、対象とする可視光通信の明滅レートに基づく明滅を繰返す発光部としての光タグの位置を、画像中の輝度変化により光タグ検出部１５ａで検出する（ステップＳ１０１）。

【0037】

光タグを検出すると、画像処理部１５ではその光タグの検出位置周辺の領域で、光タグの明滅による輝度変化の影響を受けない位置にあり、且つ特徴量の大きい局所領域を局所領域検索部１５ｂにより検索する（ステップＳ１０２）。

【0038】

図３は、画像中で光タグＬＴを含む一定の領域を、特徴量を検索するための範囲ＣＡとして設定した場合を例示している。同図では、光タグＬＴを略中央として、画像全体中の一定の画像サイズ、例えば長手方向（横方向）の画像サイズ（画素数）の１／４を１辺とした正方形の範囲を検索範囲ＣＡとした場合を示している。この検索範囲ＣＡに対して、画像処理上の特徴量、具体的には空間周波数の高い成分が集中している部分を演算により算出する。

【0039】

なお、上記検索範囲ＣＡの大きさは、上記光タグＬＴの一様に明滅する部分のサイズに合わせて調整するものとしても良い。例えば光タグＬＴの画像データ中における縦横各画素数により、大中小、３サイズの検索範囲ＣＡを選択して設定するものとしても良い。

【0040】

図４は、上記図３の特に検索範囲ＣＡを２次元微分演算した結果を示す。２次元微分演算により演算値の総和が最大となる位置ＨＦを検索した結果を示すもので、空間周波数の高周波成分が非常に高い、エッジ部分が集まった領域となっている。

【0041】

上記のように特徴量の大きい局所領域ＨＦを検索した結果、求めた局所領域ＨＦの位置から光タグＬＴを含む被写体の追尾動作を開始させる（ステップＳ１０３）。
この場合、ＣＰＵ２０は上記局所領域ＨＦを追尾するに当たり、画像中の局所領域ＨＦをより高い精度で認識できるよう、レンズ駆動部２５によりレンズ用ＤＣモータ２９を介して撮影レンズ部１１でのフォーカスレンズ位置を制御し、局所領域ＨＦに自動合焦させる他、イメージセンサ駆動部２７により局所領域ＨＦが適正露出となるようイメージセンサ駆動部２７により固体撮像素子１２での電子シャッタの速度を制御させ、合わせて図１では示していない開口絞りがあればＦ値も制御させる。さらにＣＰＵ２０は、ＡＧＣ・Ａ／Ｄ変換部１３での現像処理工程で上記局所領域ＨＦ内が適正なホワイトバランスを保つように自動ホワイトバランス調整を行なう。

【0042】

上記被写体の追尾状態から、被写体の追尾は開始してから一定時間、例えば１［秒］内で継続中であるか否かをＣＰＵ２０が判断する（ステップＳ１０４）。

【0043】

ここで被写体の追尾状態が上記一定時間を経過したと判断した場合、または局所領域ＨＦの検索ができず、被写体を見失ったと判断した場合（ステップＳ１０４のＮｏ）には、再び光タグＬＴの検出からはじめるべく、上記ステップＳ１０１からの処理に戻る。

【0044】

また上記ステップＳ１０４において、被写体の追尾を開始してから一定時間内で、且つ追尾を継続中であると判断した場合（ステップＳ１０４のＹｅｓ）には、ＣＰＵ２０が画像処理部１５を用いた当該被写体の追尾状態を継続設定する（ステップＳ１０５）。

【0045】

加えてＣＰＵ２０は、撮影画像中における検索範囲ＣＡの位置が周辺であるか否かにより必要なフレーミング動作を実行する（ステップＳ１０６）。

【0046】

ここで、例えばレンズ駆動部２５によるレンズ用ＤＣモータ２９を用いた撮影レンズ部１１のズームレンズ位置から、広角側へのさらなるズームダウンが可能である場合、ＣＰＵ２０は一定量だけズームレンズ位置を移動させてズームダウンさせ、撮影画像中の検索範囲ＣＡの位置を画像中央に近づけさせる。

【0047】

また上記図１では説明しなかったが、このデジタルカメラ１０が電動雲台上に載置された監視カメラなどである場合には、被写体の動きに備えて検索範囲ＣＡが常に画像の中央に位置するように上記電動雲台の制御を行なうようにしても良い。

【0048】

上記ステップＳ１０６での必要に応じたフレーミング動作実行後、ＣＰＵ２０は上記ステップＳ１０４からの処理に戻って、被写体を追尾した状態での処理を適宜継続させる。

【0049】

このように、特徴量が高い局所領域ＨＦを光タグＬＴに代えて追尾の指標とすることにより、光タグＬＴの形状や明滅による輝度変化等に影響を受けず、追尾の精度を挙げることができる。

【0050】

以上詳述した如く本実施形態によれば、可視光通信を行なう光タグＬＴを含む被写体を高い精度で認識して追尾し続けることが可能となる。

【0051】

また上記実施形態では、発光部での明滅による影響を受けない場所を局所領域として検索する対象としたので、光タグＬＴによる発光の影響を排除して、安定した追尾状態を継続できる。

【0052】

なお上記実施形態では説明しなかったが、光タグＬＴを認識した時点で、可視光通信により発信されている情報を画像処理部１５の復調部１５ｃにより復調し、復調した結果と、予めデジタルカメラ１０に設定されている情報とが一致した場合に、その光タグＬＴを装着、あるいは所持している被写体が追尾対象であるものと判定して、追尾動作を開始するようにしても良い。こうすることで、追尾対象となる被写体の選択動作を自動化できる。

【0053】

また上記実施形態では、検索範囲ＣＡの設定を一律に行なうのではなく、何らかの要因に基づいて可変設定するものとしたので、各種設定条件に応じ、被写体の追尾精度を向上できる。

【0054】

例えば、光タグＬＴのサイズの大小に合わせて検索範囲ＣＡのサイズも可変することで、常に適切なサイズの検索範囲ＣＡを設定して追尾を継続するため、追尾の精度を高い状態で安定化させることができる。

【0055】

また上記撮影レンズ部１１中のズームレンズの位置に基づき、焦点距離が長い望遠撮影時には、被写体の動きに基づく画像内の移動量が大きく、且つ被写界深度が比較的浅いために被写体の合焦管理がシビアになるので、検索範囲ＣＡの範囲を大きく設定する一方で、焦点距離が短い広角撮影時には、被写体の動きに基づく画像内の移動量が小さく、且つ被写界深度が比較的深いために被写体の合焦管理はそれほど精密さを必要としないので、検索範囲ＣＡの範囲を小さく設定するすることで、追尾の精度を高い状態で安定化させることができる。

【0056】

また上記実施形態では、検索範囲ＣＡから局所領域ＨＦを検索する際に、２次元微分演算を用いることで、比較的演算量を抑えて画像処理部１５での処理負担を軽減し、且つ追尾のレスポンスを上げながら、空間周波数が高い部分の検索が容易となる。

【0057】

また本発明は、上記２次元微分演算に限らず、例えば２次元ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｔａｓｆｏｒｍ：高速フーリエ変換）を用いることでも、同様に特徴量の大きい極小領域を検索できる。

【0058】

なお、一般に光タグＬＴは対象となる人物が胸ポケットの位置等に装着する場合が多く、撮影レンズ部１１の焦点距離にもよるが、光タグＬＴの近傍に被写体となる人物の顔が入る可能性が高い。

【0059】

加えて、顔認識技術は個人を特定、登録できるレベルまで実用化されており、デジタルカメラでは人物の顔に合焦させる撮影方法が一般的であることからも、光タグＬＴを検出した後、その光タグＬＴから最も近い位置にある人物の顔を認識して局所領域ＨＦとして設定し、局所領域ＨＦ内の自動露出、自動合焦、自動ホワイトバランス調整等を行なうことにより、きわめて実用的で商品に反映し易いデジタルカメラを提供できる。

【0060】

なお上記実施形態では、光タグＬＴが可視光通信により明滅するものとして、主としてその輝度成分の変化を検出するものとしたので、現状で普及が見込まれている、単色ＬＥＤ（発光ダイオード）を用いた可視光通信にそのまま適用可能であり、広い応用範囲で実現可能となる。

【0061】

また多色ＬＥＤを用いて色度の変化により情報を伝播するような可視光通信では、例えば原色ＲＧＢの色度成分の変化を検出することにより、同様に適用可能となるもので、さらには色度の変化と輝度の変化（明滅）とを組み合わせることにより、通信可能な情報量を増大できる。

【0062】

なお、撮影画像中の光タグＬＴの検出や検索範囲ＣＡの設定等に関し、タッチ入力部２４でのタッチ操作、あるいは手指２本のピンチアウト操作など、ユーザの操作を伴う手動設定も適宜組み合わせることにより、使い勝手を向上して、円滑な被写体の追尾動作を実現できる。

【0063】

また上記実施形態は、撮影画像中の光タグの追尾を行なうデジタルカメラに適用した場合について説明したが、本発明はこれに限らず、監視カメラや、スマートフォンのアプリケーションプログラム、その他種々の用途に適用可能となる。

【0064】

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

【0065】

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
請求項１記載の発明は、画像を撮影する画像撮影手段と、上記画像撮影手段で撮影した上記画像に含まれる、時系列に変化する光変化領域を検出する光変化領域検出手段と、上記光変化領域検出手段で検出した上記光変化領域の上記画像中の位置を検出する位置検出手段と、上記位置検出手段で検出した上記位置に基づく所定の範囲内で画像処理上の特徴量が大きい局所領域を検索する局所領域検索手段と、上記局所領域検索手段で検索した上記局所領域の動きを追尾する追尾手段とを備えたことを特徴とする。

【0066】

請求項２記載の発明は、上記請求項１記載の発明において、上記局所領域検索手段は、上記位置検出手段で検出した上記位置に基づく所定の範囲内で、上記時系列に変化する光が影響しない、上記特徴量が大きい局所領域を検索することを特徴とする。

【0067】

請求項３記載の発明は、上記請求項１または２記載の発明において、上記光変化領域検出手段で検出した上記光変化領域から、光変調された情報を取得する情報取得手段と、上記情報取得手段で取得した情報を復調する復調手段と、上記復調手段で復調した情報が予め設定された情報か否かを判定する判定手段とをさらに備え、上記追尾手段は、上記判定手段が、上記復調手段で復調した情報が予め設定された情報であると判定した場合に、上記局所領域検索手段で検索した上記局所領域の動きを追尾することを特徴とする。

【0068】

請求項４記載の発明は、上記請求項１乃至３いずれか記載の発明において、上記局所領域検索手段で検索する上記局所領域の検索範囲を設定する検索範囲設定手段をさらに備えたことを特徴とする。

【0069】

請求項５記載の発明は、上記請求項４記載の発明において、上記上記検索範囲設定手段は、上記光変化領域検出手段で検出した上記光変化領域の大きさに基づいて、上記局所領域の検索範囲を設定することを特徴とする。

【0070】

請求項６記載の発明は、上記請求項４記載の発明において、上記画像撮影手段は、焦点距離を可変するズームレンズを含み、上記検索範囲設定手段は、上記画像撮影手段による画像撮影時の上記ズームレンズの焦点距離に基づいて、上記局所領域の検索範囲を設定することを特徴とする。

【0071】

請求項７記載の発明は、上記請求項１乃至６いずれか記載の発明において、上記局所領域検索手段は、上記位置検出手段で検出した上記位置の周辺画像を２次元微分演算し、２次元微分演算された画像から上記位置の周辺内での演算値の総和最大を検索することにより上記局所領域を検索することを特徴とする。

【0072】

請求項８記載の発明は、上記請求項１乃至７いずれか記載の発明において、上記位置検出手段で検出した上記位置に基づく所定の範囲内で顔を検索する顔検索手段と、上記顔検索手段で検索した上記顔の位置に応じて自動露出、自動合焦、及び自動ホワイトバランスのうち少なくとも１つを上記撮影手段で実行させる撮影制御手段とをさらに備えることを特徴とする。

【0073】

請求項９記載の発明は、上記請求項１乃至８いずれか記載の発明において、上記時系列に変化する光変化領域は、輝度の変化領域であることを特徴とする。

【0074】

請求項１０記載の発明は、上記請求項１乃至８いずれか記載の発明において、上記時系列に変化する光変化領域は、色度の変化領域であることを特徴とする。

【0075】

請求項１１記載の発明は、画像を撮影する撮影部を備えた装置での被写体追尾方法であって、上記撮影部で撮影した上記画像に含まれる、時系列に変化する光変化領域を検出する光変化領域検出工程と、上記光変化領域検出工程で検出した上記光変化領域の上記画像中の位置を検出する位置検出工程と、上記位置検出工程で検出した上記位置に基づく所定の範囲内で画像処理上の特徴量が大きい局所領域を検索する局所領域検索工程と、上記局所領域検索工程で検索した上記局所領域の動きを追尾する追尾工程とを有したことを特徴とする。

【0076】

請求項１２記載の発明は、画像を撮影する撮影部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、上記画像撮影手段で撮影した上記画像に含まれる、時系列に変化する光変化領域を検出する光変化領域検出手段、上記光変化領域検出手段で検出した上記光変化領域の上記画像中の位置を検出する位置検出手段、上記位置検出手段で検出した上記位置に基づく所定の範囲内で画像処理上の特徴量が大きい局所領域を検索する局所領域検索手段、及び上記局所領域検索手段で検索した上記局所領域の動きを追尾する追尾手段として機能させることを特徴とする。

【符号の説明】

【0077】

１０…デジタルカメラ、
１１…撮影レンズ部、
１２…固体撮像素子（ＩＳ）、
１３…ＡＧＣ・Ａ／Ｄ変換部、
１４…バッファメモリ、
１５…画像処理部、
１５ａ…光タグ検出部、
１５ｂ…局所領域検索部、
１５ｃ…復調部、
１６…表示部、
１７…マイクロホン、
１８…音声処理部、
１９…スピーカ、
２０…ＣＰＵ、
２１…ワークメモリ、
２２…プログラムメモリ、
２３…操作部、
２４…タッチ入力部、
２５…レンズ駆動部、
２６…フラッシュ駆動部、
２７…イメージセンサ（ＩＳ）駆動部、
２８…メモリカードコントローラ、
２９…レンズ用ＤＣモータ（Ｍ）、
３０…フラッシュ部、
３１…メモリカード、
Ｃ…カードコネクタ、
ＣＡ…検索範囲、
ＨＦ…局所領域、
ＬＴ…光タグ、
ＳＢ…システムバス。

【図1】

【図2】

【図3】

【図4】