IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7182893画像処理装置、撮影装置、画像処理方法、およびプログラム
<>
  • 特許-画像処理装置、撮影装置、画像処理方法、およびプログラム 図1
  • 特許-画像処理装置、撮影装置、画像処理方法、およびプログラム 図2
  • 特許-画像処理装置、撮影装置、画像処理方法、およびプログラム 図3
  • 特許-画像処理装置、撮影装置、画像処理方法、およびプログラム 図4
  • 特許-画像処理装置、撮影装置、画像処理方法、およびプログラム 図5
  • 特許-画像処理装置、撮影装置、画像処理方法、およびプログラム 図6
  • 特許-画像処理装置、撮影装置、画像処理方法、およびプログラム 図7
  • 特許-画像処理装置、撮影装置、画像処理方法、およびプログラム 図8
  • 特許-画像処理装置、撮影装置、画像処理方法、およびプログラム 図9
  • 特許-画像処理装置、撮影装置、画像処理方法、およびプログラム 図10
  • 特許-画像処理装置、撮影装置、画像処理方法、およびプログラム 図11
  • 特許-画像処理装置、撮影装置、画像処理方法、およびプログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-25
(45)【発行日】2022-12-05
(54)【発明の名称】画像処理装置、撮影装置、画像処理方法、およびプログラム
(51)【国際特許分類】
   H04N 5/232 20060101AFI20221128BHJP
【FI】
H04N5/232 190
H04N5/232 960
H04N5/232 990
【請求項の数】 12
(21)【出願番号】P 2018068068
(22)【出願日】2018-03-30
(65)【公開番号】P2019180017
(43)【公開日】2019-10-17
【審査請求日】2021-03-29
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100124442
【弁理士】
【氏名又は名称】黒岩 創吾
(72)【発明者】
【氏名】安達 孝志
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開2017-098746(JP,A)
【文献】特開2017-126910(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/232
(57)【特許請求の範囲】
【請求項1】
撮影手段により撮影された画像に含まれる複数の人を検出する検出手段と、
前記検出手段により検出した前記複数の人のうち少なくとも1人を含む領域を2つ以上決定する決定手段と、
前記決定手段により決定された領域のそれぞれを前記撮手段によって順次撮影するための制御コマンドを出力する制御手段と、
前記制御手段により出力された前記制御コマンドに基づいて撮影された画像から前記領域に存在する人の属性情報を推定する推定手段と、を有し、
前記制御手段は、前記決定手段により決定された領域のうち1つの領域が前記撮影手段の撮影範囲に含まれ、かつ、該1つの領域に存在する人の前記属性情報の推定が可能となる撮影条件に基づいて前記制御コマンドを出力することを特徴とする画像処理装置。
【請求項2】
前記撮影条件は、前記決定手段により決定された領域に含まれる人の顔領域が所定の画素数以上になることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記制御コマンドは、前記撮影手段のパン、チルト、ズームの少なくともいずれか一つを含み、
前記撮影条件は、前記撮影手段のズーム倍率が、前記決定手段により決定された領域に存在する人の前記属性情報を前記推定手段が推定するために最低限必要なズーム倍率以上であることを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記制御手段は、前記撮影手段の撮影範囲の重心と前記領域の重心とが略同一となるよう前記撮影手段を制御する前記制御コマンドを出力することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
【請求項5】
前記属性情報は、人の年齢に関する情報、または、人の性別に関する情報のうち少なくとも1つを含むことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
【請求項6】
前記検出手段が前記複数の人を検出する対象となる画像内の領域である検出領域を設定する設定手段を更に備えることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
【請求項7】
前記制御手段は、前記検出領域が前記撮影手段の撮影範囲に含まれつつ、前記撮影手段のズーム倍率を上げるよう前記制御コマンドを出力し、
前記検出手段は、前記制御手段により制御された前記撮影手段により撮影された画像における前記検出領域に含まれる前記複数の人を検出することを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記検出領域は、ユーザーにより設定された画像内の領域であることを特徴とする請求項6に記載の画像処理装置。
【請求項9】
前記決定手段は、前記検出手段により検出された人の顔領域の画素数に基づいて、前記検出手段により検出した前記複数の人のうち少なくとも1人を含む領域を決定することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
【請求項10】
前記決定手段は、前記推定手段により前記属性情報を推定できなかった複数の人のうち少なくとも1人を含む領域を少なくとも1つ決定することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
【請求項11】
撮影手段により撮影された画像に含まれる複数の人を検出する検出工程と、
前記検出工程により検出した前記複数の人のうち少なくとも1人を含む領域を2つ以上決定する決定工程と、
前記決定工程により決定された領域のそれぞれを前記撮手段によって順次撮影するための制御コマンドを出力する制御工程と、
前記制御工程により出力された前記制御コマンドに基づいて撮影された画像から前記領域に存在する人の属性情報を推定する推定工程と、を有し、
前記制御工程は、前記決定工程において決定された領域のうち1つの領域が前記撮影手段の撮影範囲に含まれ、かつ、該1つの領域に存在する人の前記属性情報の推定が可能となる撮影条件に基づいて前記制御コマンドを出力することを特徴とする画像処理方法。
【請求項12】
撮影手段により撮影された画像に含まれる複数の人を検出する検出手段と、
前記検出手段により検出した前記複数の人のうち少なくとも1人を含む領域を2つ以上決定する決定手段と、
前記決定手段により決定された領域のそれぞれを前記撮手段によって順次撮影するための制御コマンドを出力する制御手段と、
前記制御手段により出力された前記制御コマンドに基づいて撮影された画像から前記領域に存在する人の属性情報を推定する推定手段と、を有し、
前記制御手段は、前記決定手段において決定された領域のうち1つの領域が前記撮影手段の撮影範囲に含まれ、かつ、該1つの領域に存在する人の前記属性情報の推定が可能となる撮影条件に基づいて前記制御コマンドを出力する制御手段として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理技術に関するものである。
【背景技術】
【0002】
近年、撮影装置が撮影した画像に存在する人を解析して人の属性情報(性別や年齢など)を推定する属性推定の技術が注目されている。特許文献1には、画像から人の属性を推定するための技術について記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第4888217号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上述の特許文献1では、撮影装置が撮影した画像から人の検出はできている状況で、画像に映る人のサイズが小さいために属性推定を行えない場合について考慮していない。一方、撮影範囲に含まれる複数の人について属性推定する場合に、属性推定を行えるよう撮影装置の画角を変更すると、撮影装置の画角から外れてしまった人について、ユーザーが撮影装置の画角を制御し直して属性推定する必要があった。
【0005】
本発明は、このような問題に鑑みてなされたものであり、属性推定が行えるように画角を変更しつつ、より広い範囲を対象として複数の人の属性推定を行うことを目的としている。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明の画像処理装置は以下の構成を備える。すなわち、撮影手段により撮影された画像に含まれる複数の人を検出する検出手段と、前記検出手段により検出した前記複数の人のうち少なくとも1人を含む領域を2つ以上決定する決定手段と、前記決定手段により決定された領域のそれぞれを前記撮手段によって順次撮影するための制御コマンドを出力する制御手段と、前記制御手段により出力された前記制御コマンドに基づいて撮影された画像から前記領域に存在する人の属性情報を推定する推定手段とを有し、前記制御手段は、前記決定手段により決定された領域のうち1つの領域が前記撮影手段の撮影範囲に含まれ、かつ、該1つの領域に存在する人の前記属性情報の推定が可能となる撮影条件に基づいて前記制御コマンドを出力することを特徴とする画像処理装置。
【発明の効果】
【0007】
本発明によれば、属性推定が行えるように画角を変更しつつ、より広い範囲を対象として複数の人の属性推定を行うことができる。
【図面の簡単な説明】
【0008】
図1】システム構成を示す模式図である。
図2】撮影装置の外観図である。
図3】撮影装置の機能ブロック図である。
図4】画像処理装置の機能ブロック図である。
図5】画像処理のフローチャートである。
図6】画像処理を説明するための模式図である。
図7】画像処理において使用されるテーブルである。
図8】画像処理から得られる表である。
図9】画像処理のフローチャートである。
図10】画像処理を説明するための模式図である。
図11】画像処理装置の一部の機能を有する撮影装置とクライアント装置の機能ブロック図の一例である。
図12】画像処理装置のハードウェア構成を示す概略図である。
【発明を実施するための形態】
【0009】
本実施形態に係る画像処理装置は、撮影装置によって撮影した連続する画像における複数の推定領域の各々に対して、人の属性情報(性別や年齢)を推定する属性推定を行う画像処理装置である。
【0010】
以下、添付図面を参照しながら本発明の実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
【0011】
(本実施形態)
図1は、本実施形態に係るシステム構成を示す図である。画像処理装置100は、後述する画像処理を実行する装置である。なお、画像処理装置100は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータなどによって実現される。
【0012】
表示装置101は、画像処理装置100に接続され、後述する画像処理により出力されるデータやUI(user interface)などをユーザーが閲覧するための表示装置である。
【0013】
撮影装置102は、画像を撮影する装置であり、パン・チルト・ズーム(Pan-Tilt-Zoom、以下「PTZ」と称す)制御可能に構成されている。また、撮影装置102は、例えば、ネットワークを介して画像の画像データなどを送信できるネットワークカメラなどである。
【0014】
記録装置103は、撮影装置102で撮影された画像の画像データなどを記録することができる装置である。また、画像処理装置100、撮影装置102、および記録装置103は、ネットワーク104を介して通信を行う。ネットワーク104は、例えばEthernet(商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態においては画像処理装置100、撮影装置102、記録装置103間の通信を行うことができるものであればその通信規格、規模、構成を問わない。例えば、ネットワーク104はインターネットや有線LAN(Local AreaNetwork)、無線LAN(Wireless LAN)、WAN(Wide Area Network)等により構成されてもよい。
【0015】
また、図1の構成では、撮影装置102により撮影された画像の画像データ(ライブ映像)や記録装置103にて記録された画像データ(過去に撮影した画像)などが画像処理装置100に送信される。
【0016】
次に、図12を参照して、本実施形態の後述する各機能を実現するための画像処理装置100のハードウェア構成を説明する。RAM(Random Access Memory)1201は、CPU(Central Processing Unit)1200が実行するコンピュータプログラムを一時的に記憶する。また、RAM1201は、通信インターフェース1203を介して外部から取得したデータ(コマンドや画像データ)などを一時的に記憶する。また、RAM1201は、CPU1200が後述の画像処理を実行する際に用いるワークエリアを提供する。また、RAM1201は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。
【0017】
CPU1200は、RAM1201に格納されるコンピュータプログラムを実行する。なおCPU以外にも、DSP(Digital Signal Processor)等のプロセッサやASIC(Application Specific Integrated Circuit)を用いてもよい。
【0018】
HDD(Hard Disk Drive)1202は、オペレーティングシステムのプログラムや画像データを記憶する。
【0019】
後述する図5図9のフローチャートを実行するためのコンピュータプログラムやデータはHDD1202に格納されており、CPU1200による制御に従って、適宜、RAM1201にロードされ、CPU1200によって実行される。HDD以外にもフラッシュメモリ等の他の記憶媒体を用いてもよい。
【0020】
次に、図2および図3を参照して、撮影装置102について説明する。図2は、本実施形態に係る撮影装置102の外観図である。また、図3は、本実施形態に係る撮影装置102の機能ブロック図である。
【0021】
レンズ202の光軸の向く方向が撮影装置102の撮影方向であり、レンズ202を通過した光束は、撮影部205の撮像素子に結像する。なお、レンズ202は、フォーカスレンズ及びズームレンズ等を備える。また、レンズ駆動部210は、フォーカスレンズ及びズームレンズなどの駆動系を含み、レンズ202の焦点距離を変更する。レンズ駆動部210は、パンチルトズーム制御部208により制御される。
【0022】
パン駆動部200は、パン動作を行うメカ駆動系及び駆動源のモータを含み、撮影装置102の撮影方向をパン方向203に変更するように駆動する。また、パン駆動部200は、パンチルトズーム制御部208により制御される。
【0023】
チルト駆動部201は、チルト動作を行うメカ駆動及び駆動源のモータを含み、撮影装置102の撮影方向をチルト方向204に変更するように駆動する。チルト駆動部201は、パンチルトズーム制御部208により制御される。
【0024】
撮影部205は、CCD(charge coupled device)センサやCMOS(complementary metal oxide semiconductor)センサ等の撮像素子を有する。そして、撮影部205は、レンズ202を通って結像された被写体像を光電変換して電気信号を生成する。
【0025】
画像処理部206は、撮影部205において光電変換された電気信号をデジタル信号へ変換する処理や、圧縮符号化処理などを行い、画像データを生成する。
【0026】
パンチルトズーム制御部208は、システム制御部207から伝達された指示に基づいて、パン駆動部200、チルト駆動部201及びレンズ駆動部210の制御を行う。
【0027】
通信部209は、画像処理装置100との通信を行うインターフェースである。例えば、通信部209は、生成された画像データを画像処理装置100に送信する。また、通信部209は、画像処理装置100から送信された撮影装置102のパン・チルト・ズーム動作などを制御する制御コマンドを受信し、システム制御部207へ伝達する。また、通信部209は、有線LANインターフェースや無線LANインターフェースを有する。
【0028】
システム制御部207は、撮影装置102の全体を制御し、例えば、次のような処理を行う。すなわち、システム制御部207は、通信部209から伝達された制御コマンドを解析し、解析した内容に基づく処理を行う。例えば、システム制御部207は、パンチルトズーム制御部208に対してパン・チルト・ズーム動作の指示を行う。
【0029】
なお、パン角度は、パン駆動部200の駆動端の一方を0°としたときの、撮影装置102のパン方向203における撮影方向(光軸)の角度である。また、チルト角度は、チルト駆動部201の駆動端の一方を0°としたときの、撮影装置102のチルト方向204における撮影方向(光軸)の角度である。
【0030】
次に、図4を参照して、本実施形態に係る画像処理装置100について説明する。図4は、本実施形態に係る画像処理装置の機能ブロック図である。なお、図4に示す各機能ブロックは、ソフトウェアモジュールで実現してもよいし、ハードウェアモジュールで実現してもよい。また、ソフトウェアモジュールとハードウェアモジュールを協働させて実現してもよい。なお、以降の説明では画像処理装置100が有する各機能は、画像処理装置100のCPU1200により実行されるものとする。
【0031】
本実施形態に係る画像処理装置100は、通信部400と、検出領域設定部401と、操作受付部402と、検出部403と、推定領域決定部404と、コマンド管理部405と、属性推定部406と、出力制御部407と、記憶部408と、を有する。
【0032】
通信部400は、撮影装置102により撮影された画像の画像データの受信や、撮影装置102のパン・チルト・ズームを制御する制御コマンドなどを送信するための通信を行う。また、通信部400は、例えば、記録装置103に記憶された画像データ、または他の外部装置のストレージデバイスに記憶された画像データなどを各装置からネットワーク104を介して送信してもらい受信する。
【0033】
検出領域設定部401は、通信部400を介して得られた画像において、検出部403が処理を行う対象とする領域である検出領域を設定する。なお、操作受付部402を介して、ユーザーにより設定された画像内の領域を検出領域として設定してもよいし、事前に設定された所定の領域を検出領域としてもよい。なお、ユーザーによる検出領域の指示や、事前に設定された領域がなければ、通信部400を介して得られた画像データが示す画像全体を検出領域としてもよい。
【0034】
操作受付部402は、マウス、キーボードなどの入力装置(不図示)を介して、ユーザーにより行われた操作を受け付ける。本実施形態における操作受付部402は、例えば、出力制御部407により表示装置101に出力された画像に対して、ユーザーが入力装置を介して設定した検出領域の位置の情報を受け付ける。
【0035】
検出部403は、通信部400を介して得られた画像において検出領域に含まれる複数の人の検出を行う。なお、本実施形態に係る検出部403は、学習画像から人体の特徴量(Haar-Like特徴量、HOG特徴量など)が学習されたうえで作成された識別器を保持している。そして、検出部403は、学習の結果である識別器に画像が入力され、該画像から人体の検出を行う。なお、本実施形態における検出部403は、人の体を検出する人体検出を行うとして説明するが、これに限定されない。例えば、検出部403は、人の顔を検出する顔検出や人の頭部を検出する頭部検出であってもよい。なお、以降の説明において、人体は人の全身のことであり、人の顔や胴体を含むものとする。
【0036】
推定領域決定部404は、検出部403における検出の結果に基づいて、検出部403により検出した複数の人のうち少なくとも1人を含む推定領域を複数決定する。推定領域に含まれる人が、属性推定部406により属性情報を推定される対象となる。なお、推定領域の位置に関する情報は記憶部408にて記憶される。
【0037】
コマンド管理部405は、推定領域決定部404において決定された複数の推定領域の各々について、順次撮影されるよう撮影装置102を制御するための制御コマンドを生成する。なおこのとき、1つの推定領域が撮影装置102の撮影範囲に含まれ、かつ、該推定領域に存在する人の属性情報を属性推定部404が推定できる撮影条件になるよう撮影装置102を制御する制御コマンドが生成される。またこのとき、コマンド管理部405により生成される制御コマンドは、例えば、撮影装置102のパン・チルト・ズームの少なくともいずれか1つを制御するための制御コマンドである。なお、本実施形態におけるコマンド管理部405にて生成された制御コマンドは、通信部400および通信部209を介して、撮影装置102におけるシステム制御部207へ送られ、該制御コマンドに基づいて撮影装置102の制御が行われる。
【0038】
属性推定部406は、撮影装置102から得られる撮影画像の各々に対して推定領域に存在する人の属性情報を推定する。本実施形態に係る属性推定部406は、学習画像によって学習した識別器を利用して人の顔領域から属性情報(性別や年齢に関する情報)を推定する。なお、人の顔領域から属性情報を推定する際、画像に含まれる顔領域のサイズ(画素数)が小さいと属性情報を推定できない場合がある。つまり、人の顔領域から属性情報を推定する場合、最低限必要な顔領域の画素数が存在する。また、本実施形態における属性情報を人の性別に関する情報や年齢に関する情報として説明するが、これに限定されない。例えば、人種や服装、髪形などに関する情報であってもよい。
【0039】
出力制御部407は、撮影装置102から得られた画像の画像データや、属性推定部406により得られた属性情報の推定結果を表示装置101に出力する。
【0040】
記憶部408は、検出領域や推定領域の位置に関する情報などを記憶する。
【0041】
以上のように、推定領域に存在する人の属性情報を属性推定部406が推定できる撮影条件を満たしつつ、複数の推定領域の各々について順次撮影されるよう撮像装置102を制御して、該複数の推定領域の各々に存在する人の属性情報を推定する。こうすることにより、より広い範囲を対象として複数の人の属性推定を行うことが可能となる。
【0042】
次に本実施形態における画像処理について図5に示すフローチャートを参照して説明する。図5は、本実施形態に係る画像処理の流れを示すフローチャートである。なお、図5に示すフローチャートの処理は、主に図4に示す各機能ブロックにより実行される。また、図5に示すフローチャートの処理は、HDD1202に格納されたコンピュータプログラムに従って画像処理装置100のCPU1200により実行される。以下、画像処理装置100のCPU1200により実行される処理について説明する。
【0043】
S501にて、通信部400は、撮影装置102により撮影された画像の画像データを受信する。
【0044】
次に、S502にて、検出領域設定部401は、通信部400を介して得られた画像において、検出部403が画像に含まれる複数の人を検出する処理を行う対象とする領域である検出領域を設定する。本実施形態における操作受付部402は、出力制御部407により表示装置101に出力された画像に対して、ユーザーが設定した画像内の領域の位置に関する情報を受け付ける。そして、検出領域設定部401は、操作受付部402が受け付けた情報である画像内の領域の位置を検出領域の位置として設定する。なお本実施形態における検出領域の位置は、該検出領域の重心点におけるパン角度と、チルト角度と、該検出領域の画角となるズーム倍率により定められる。なお、検出領域の位置に関する情報は、記憶部408にて記憶される。
【0045】
次に、S503にて、検出部403は、検出領域設定部401により設定された検出領域に含まれる複数の人体の検出を行う。このとき、検出部403は、検出領域内で検出した複数の人体各々の顔領域の画素数、および、位置情報も検出する。なお、本実施形態における検出部403は人体検出を行うが、検出した人体の画素数から顔領域の画素数を推定することができる。
【0046】
次に、S504にて、検出領域に複数の人体が存在しない場合(S504で’No’)、S501の処理を行う。
【0047】
S504にて、検出領域に複数の人体が存在する場合(S504で’Yes’)、S505の処理を行う。S505にて、推定領域決定部404は、検出部403の結果に基づいて、検出部403により検出した複数の人体のうち少なくとも1人を含む推定領域を複数決定する。以下図6を参照して、推定領域決定部404の処理について更に詳細に説明する。
【0048】
図6は、推定領域決定部404の処理を説明するための図である。図6(a)において、画像600は、撮影装置102により撮影された画像である。検出領域601は、ユーザーにより設定された画像内における領域であり、該領域内には検出部403により検出された複数の人体が存在している。
【0049】
範囲602は、属性推定部406が該範囲に含まれる人の属性情報を推定するために最低限必要な顔領域の画素数を取得できるズーム倍率で撮影した場合の撮影範囲である。この場合、範囲602は、該範囲に含まれる6人各々の属性情報を推定するために最低限必要な顔領域の画素数を取得できるズーム倍率で撮影した撮影範囲であり、該ズーム倍率以下で撮影した撮影範囲になると該6人に対して属性情報を推定できなくなる。なお、範囲602は、検出部403が検出した人の顔領域の画素数に基づいて、推定領域決定部404により決定される。例えば、属性推定部406が人の属性情報を推定するうえで必要な顔領域の画素数が縦40ピクセル以上かつ横30ピクセル以上が条件であるとする。このとき、推定領域決定部404は、検出部403により検出された人の顔領域の画素数が該条件を満たすうえでの最小ズーム倍率で撮影した撮影範囲を範囲602として決定する。
【0050】
そして、推定領域決定部404は、範囲602内において範囲602の面積以下となり、かつ、検出部403により検出した複数の人のうち少なくとも1人を含む領域602aを推定領域として決定する。なおこのとき、推定領域決定部404は、範囲602に対応する推定領域である領域602aに対して、推定領域を特定するための推定領域IDである“1”を付与する。以上のように、推定領域決定部404は、検出部403が検出した人の顔領域の画素数に基づいて範囲602を決定し、該範囲602に基づいて推定領域602aを決定する。
【0051】
次に、推定領域決定部404は、範囲603を決定する。範囲602と同様、範囲603は、属性推定部406が該範囲に含まれる人の属性情報を推定するために最低限必要な顔領域の画素数を取得できるズーム倍率で撮影した場合の撮影範囲である。そして、推定領域決定部404は、範囲603内において範囲603の面積以下となり、かつ、検出部403により検出した複数の人のうち少なくとも1人を含む領域である領域603bを決定する。なおこのとき、推定領域決定部404は、範囲603に対応する推定領域である領域603bに対して、推定領域IDである“2”を付与する。
【0052】
次に、推定領域決定部404は、範囲604を決定する。範囲602と同様、範囲604は、属性推定部406が該範囲に含まれる人の属性情報を推定するために最低限必要な顔領域の画素数を取得できるズーム倍率で撮影した場合の撮影範囲である。そして、推定領域決定部404は、範囲604内において範囲604の面積以下となり、かつ、検出部403により検出した複数の人のうち少なくとも1人を含む領域である領域604cを決定する。なおこのとき、推定領域決定部404は、範囲604に対応する推定領域である領域604cに対して、推定領域IDである“3”を付与する。
【0053】
次に、推定領域決定部404は、範囲605を決定する。範囲602と同様、範囲605は、属性推定部406が該範囲に含まれる人の属性情報を推定するために最低限必要な顔領域の画素数を取得できるズーム倍率で撮影した場合の撮影範囲である。そして、推定領域決定部404は、範囲605内において範囲605の面積以下となり、かつ、検出部403により検出した複数の人のうち少なくとも1人を含む領域である領域605dを決定する。なおこのとき、推定領域決定部404は、範囲605に対応する推定領域である領域605dに対して、推定領域IDである“4”を付与する。
【0054】
また、推定領域決定部404は、推定領域を特定するための推定領域IDと、推定領域の位置と、推定領域内に含まれる人の属性情報を推定するために最低限必要なズーム倍率と、推定領域内に含まれる人数と、を対応付けてテーブル700に格納する。なお、図7に示すテーブル700は、推定領域決定部404によりデータが格納されるデータ構造図の一例である。
【0055】
推定領域IDは、推定領域を特定すると共に、複数の推定領域の各々について順次撮影するために撮影装置を制御していく際、対象とする推定領域の順番を表す。また、推定領域の位置は、該推定領域の重心点におけるパン角度と、チルト角度と、該推定領域の画角となるズーム倍率と、により定められる。図7に示す必要ズーム倍率は、推定領域内に含まれる人の属性情報を推定するために最低限必要なズーム倍率である。例えば、推定領域IDが”1”である領域602aにおける人の属性情報を推定するために最低限必要なズーム倍率は、範囲602が撮影範囲となる場合のズーム倍率(gg)となる。このとき、ズーム倍率(gg)以下で撮影した撮影範囲になると、領域602aにおける人に対して属性推定部406は属性情報を推定できなくなる。なお、図6(e)は、推定領域決定部404により決定された複数の推定領域と、推定領域IDが付与された図である。なお、図6(e)に示される図は、出力制御部407により表示装置101に表示されてもよい。
【0056】
以上のように、本実施形態における推定領域決定部404は、検出部403により検出された人の顔領域の画素数に基づいて、検出部403により検出した複数の人のうち少なくとも1人を含む推定領域を複数決定する。なお、本実施形態における推定領域決定部404は、検出領域601の左下から右方向へ走査するように推定領域を決定したが、これに限定されない。例えば、検出領域601の左上から右方向へ走査するように推定領域を決定してもよい。
【0057】
なお、本実施形態における推定領域決定部404は、検出部403により検出した複数の人のうち少なくとも1人の人を含む推定領域を複数決定する際、人の顔領域が推定領域に含まれるように決定したが、これに限定されない。例えば、人の上半身が推定領域に含まれるように決定してもよい。
【0058】
また、本実施形態における推定領域決定部404は、推定領域の数が少なくなるよう、範囲602、範囲603、範囲604、範囲605のそれぞれに対して一つずつ推定領域を決定するようにしたが、これに限定されない。例えば、推定領域決定部404は、範囲602において、少なくとも1人の人を含む推定領域を2つ決定してもよい。なお、推定領域決定部404が決定する推定領域の数をより少なくすることで、検出部403が検出した複数の人に対して、属性推定部406が属性情報を推定する処理を行う時間をより短くすることができる。
【0059】
次に図5に示すフローチャートの説明に戻る。S506において、コマンド管理部405は、推定領域決定部404において決定された複数の推定領域の各々について、順次撮影されるよう撮影装置102を制御するための制御コマンドを生成する。なおこのとき、1つの推定領域が撮影装置102の撮影範囲に含まれ、かつ、該推定領域に存在する人の属性情報を属性推定部406が推定できる撮影条件になるよう撮影装置102を制御する制御コマンドが生成される。
【0060】
本実施形態におけるコマンド管理部405は、まず、推定領域IDが”1”である推定領域602aが撮影されるよう撮影装置を制御する。このとき、推定領域602aが撮影装置102の撮影範囲に含まれ、かつ、撮影条件として撮影装置102のズーム倍率が必要ズーム倍率以上になるように撮影装置102を制御する制御コマンドが生成される。この場合、撮影条件として撮影装置102のズーム倍率が必要ズーム倍率gg以上になるように撮影装置102を制御する制御コマンドが生成される。
【0061】
なお、本実施形態におけるコマンド管理部405は、撮影装置102が撮影する撮影画像の重心と推定領域の重心とが略同一となるよう制御コマンドを生成してもよい。こうすることにより、撮影された画像の周縁部に歪みがある場合であっても、推定領域においては歪みを減らすことができ、属性情報を推定する精度をさらに向上させることができる。
【0062】
次に、S507において、属性推定部406は、撮影装置102から得られる撮影画像に対して推定領域に存在する人の属性情報を推定する。この場合、推定領域602aに存在する人の属性情報を推定する。
【0063】
なお、S507にて、属性推定部406が一つの推定領域に存在する人の属性情報を推定する際、所定時間(例えば5秒など)が経過するとS508の処理に移行するようにしてもよい。
【0064】
なお、属性推定部406が、撮影装置102から得られる撮影画像における推定領域に存在する人の属性情報を推定する際に、他の推定領域に存在する人が該撮影画像に映る場合がある。例えば、図6(c)において、推定領域604cにおける人を対象に属性情報を推定するために範囲604と位置および大きさが略同一の撮影範囲で撮影したときの撮影画像が得られた場合を想定する。このとき、該撮影画像には、すでに属性情報の推定を行った推定領域602aにおける人が3人含まれている。このとき、属性推定部406は、重複して属性情報を推定しないよう次のような処理を行う。例えば、属性推定部406は、撮影画像604から推定領域604cを切り出し、切り出された推定領域604cの画像に含まれる人を対象として属性情報の推定を行う。または、属性推定部406により属性情報の推定がなされた人の位置情報を記憶部408は記憶しておいてもよい。そして、例えば、該撮影画像における推定領域604cの属性情報を推定する際に、記憶部408に記憶された位置情報から、すでに属性情報の推定がなされた人は処理対象から除外するようにしてもよい。
【0065】
次に、S508において、属性推定部406が属性情報を推定していない推定領域が存在する場合(S508にて’No’)、S506およびS507における処理を繰り返す。本実施形態の場合、推定領域ID”2”、推定領域ID”3”、推定領域ID”4”、の順番でS506およびS507における処理を繰り返す。
【0066】
次に、S508において、属性推定部406が属性情報を推定していない推定領域が存在しない場合(S508にて’Yes’)、処理を終了する。
【0067】
以上のように、本実施形態では、複数の推定領域の各々について順次撮影されるよう撮影装置102を制御して、該複数の推定領域の各々に存在する人の属性情報を推定する。こうすることにより、属性推定が行えるように画角を変更しつつ、より広い範囲を対象として複数の人の属性推定を行うことが可能となる。
【0068】
次に図8を参照し、本実施形態に係る画像処理の結果の出力を示す。図8は、本実施形態に係る画像処理の結果が、出力制御部407により表示装置101に出力された表である。
【0069】
例えば、10:00から11:59の時間において、図5に示すS507にて、属性推定部406が推定領域602aにおける人に対して属性情報を推定した際、1人の人が25歳の男性と推定されると、男性の20~29にカウント数に1プラスされる。同様に、S507にて、属性推定部406が推定領域602aにおける1人の人に対して30歳の女性と推定した場合、女性の30~39のカウント数に1がプラスされる。このように、図5に示すS507における処理において、人の属性情報を推定するたびに、表示装置101に表示されるグラフにリアルタイムでカウントをプラスしてもよい。また、図5に示す本実施形態に係る画像処理が終了したのち、属性情報の推定結果を表示装置101に出力するようにしてもよい。
【0070】
なお、本実施形態では、所定の時間間隔において、属性推定部406が推定した属性情報毎に人の総数をグラフとして出力するが、これに限定されない。例えば、推定領域ID毎に、属性推定部406が推定した結果を集計してもよい。
【0071】
また、所定の時間間隔において、属性推定部406が属性情報を推定した人の総数とともに、例えば、検出部403により検出された人の数も出力するようにしてもよい。これにより、ユーザーは検出部403により検出された人の人数に対して、何人の属性情報の推定がなされたかを把握することができる。なお、推定領域ID毎に、属性情報が推定された人数と検出部403により検出された人数とを表示されるようにしてもよい。
【0072】
なお、本実施形態におけるS502にて、検出領域設定部401が、通信部400を介して得られた画像内に検出領域を設定したのち、該検出領域を対象として撮影装置102の画角を変更するように撮影装置102が制御されてもよい。例えば、図6(a)に示す画像600に対してユーザーが検出領域601を設定したのち、コマンド管理部405は、検出領域601が撮影装置102の撮影範囲に含まれるようにしつつ、撮影装置のズーム倍率を上げて画角を変更するようにしてもよい。こうすることにより、S503における検出部403による検出の精度をさらに向上させることが可能になる。
【0073】
また、本実施形態では、推定領域ID“1”、“2”、“3”、“4”の順番で複数の推定領域を順次撮影するように撮影装置102を制御したが、これに限定されない。例えば、次のような処理を行ってもよい。
【0074】
S503にて、検出部403は検出領域601に含まれる人の検出を行う際、人の顔を検出する顔検出を行い、さらに、人の属性情報を推定しやすいかの指標である検出スコアを人の顔領域ごとに出力する。なお、検出スコアが高いほど人の顔領域に対して属性情報が推定されやすいことを表しており、例えば、顔検出により得られた顔の向きが正面に近いほど検出スコアが高くなるように出力される。
【0075】
S504にて、検出領域に複数の顔領域が存在する場合、検出領域に複数の人体が存在するとみなし、S505の処理へ移行する。S505にて、推定領域決定部404は、検出部403の結果に基づいて、検出部403により検出した複数の人のうち少なくとも1人を含む推定領域を複数決定する。さらに推定領域決定部404は、検出部403により出力された検出スコアを推定領域毎に合算する。
【0076】
そして、推定領域毎に合算された検出スコアが高い順番に従って、複数の推定領域の各々についてS506およびS507の処理を行ってもよい。例えば、合算された検出スコアが推定領域ID“2”、“3”、“1”、“4”の順番で高い場合、該順番に従ってS506およびS507の処理が行われてもよい。このように、検出スコアの高い推定領域を優先して撮影するように撮影装置102を制御することで、正面を向いている人が多い推定領域に対して優先的に属性推定が実行され、効率的に属性情報を推定できるようになる。
【0077】
また、複数の推定領域の各々についてS506およびS507の処理が行われる際、次のような順番で行われてもよい。
【0078】
S503にて、検出部403は検出領域601に含まれる人の検出を行う際、人の顔を検出する顔検出を行い、さらに、検出スコアを人の顔領域ごとに出力する。
【0079】
S504にて、検出領域に複数の顔領域が存在する場合、検出領域に複数の人体が存在するとみなし、S505の処理へ移行する。S505にて、推定領域決定部404は、検出部403の結果に基づいて、検出部403により検出した複数の人のうち少なくとも1人を含む推定領域を複数決定する。さらに推定領域決定部404は、検出部403により出力された検出スコアを推定領域毎に合算する。
【0080】
そして、合算された検出スコアが最も高い推定領域に対して、S506およびS507の処理を行う。このとき、推定領域ID“2”に対応する推定領域603bにて合算された検出スコアが最も高いと想定し、該推定領域に対してS506およびS507の処理が行われたものとする。
【0081】
その後、コマンド管理部405は、検出領域601が撮影装置102の撮影範囲に含まれるようにして、画像を撮影するよう撮影装置102を制御する制御コマンドを生成する。生成された制御コマンドに基づいて撮影装置102が制御されたのち、検出部403は検出領域601に含まれる人の顔検出を再度行い、人の顔領域ごとに検出スコアを出力し直す。
【0082】
そして、推定領域決定部404は、属性推定部406により属性情報が推定されていない推定領域を対象として、検出部403により出力された検出スコアを推定領域毎に再度合算する。この場合、推定領域決定部404は、推定領域ID“1”、“3”、“4”に対応する推定領域を対象として、検出スコアを推定領域毎に合算する。そして、合算された検出スコアが最も高い推定領域に対して、S506およびS507の処理を行う。
【0083】
以上のように、検出領域における人の検出スコアが繰り返し出力されていくなか、検出スコアが出力されるたびに推定領域毎に検出スコアが合算され、合算された検出スコアが最も高い推定領域に対してS506およびS507の処理を行うようにしてもよい。このように、検出スコアの最も高い推定領域を優先して撮影するように撮影装置102を制御することで、正面を向いている人がより多い推定領域に対して優先的に属性推定が実行され、より効率的に属性情報を推定できるようになる。 また、本実施形態では、図5に示すS508にて、属性推定部406が属性情報を推定していない推定領域が存在しない場合(S508にて‘Yes’)、処理を終了するとしたが、これに限定されない。推定領域決定部404により決定された複数の推定領域各々についてS506およびS507における処理を行った後、属性推定部406により属性情報が推定されなかった人が存在する推定領域に対して再度S506およびS507における処理を行ってもよい。例えば、推定領域ID”1”、”2”、”3”、”4”の順番でS506およびS507における処理を行った場合において、6人の人が存在する推定領域ID”2”の推定領域603bにおいて5人に対してのみ属性情報が推定された場合を想定する。このとき、再び推定領域ID”2”に対してS506およびS507における処理を行うようにする。こうすることにより、属性推定部406により属性情報を推定できない人がいた場合であっても、該人に対して属性推定部406により属性情報が再度推定されるようになる。
【0084】
また、複数の推定領域の各々についてS506およびS507における処理を行った後、属性推定部406により属性情報が推定されなかった人を対象として、推定領域決定部404は、少なくとも1つの推定領域を再度決定するようにしてもよい。そして、推定領域決定部404により再度決定された少なくとも1つの推定領域の各々について、S506およびS507の処理を行うようにしてもよい。以下、図9および図10を参照して、推定領域を再度決定する処理について更に詳細に説明する。
【0085】
図9は、推定領域を再度決定する処理を示す一連のフローチャートである。なお、図9に示すフローチャートの処理は、主に図4に示す各機能ブロックにより実行される。また、図9に示すフローチャートの処理は、HDD1202に格納されたコンピュータプログラムに従って画像処理装置100のCPU1200により実行される。以下、画像処理装置100のCPU1200により実行される処理について説明する。なお、図5と同一の機能である処理のステップには同一符号を付すとともに、機能的に変わらない処理のステップについては説明を省略する。S909において、検出部403により検出された人の全てに対して属性情報が推定されている場合(S909にて‘Yes’)、処理を終了する。S909において、検出部403により検出された複数の人すべてに対して属性情報が推定されてない場合(S909にて‘No’)、S910の処理を行う。
【0086】
S910にて、推定領域決定部404は、検出部403における検出の結果に基づいて、検出部403により検出した複数の人のうち属性情報を推定できなかった人を少なくとも1人含む推定領域を少なくとも1つ決定する。なお、推定領域に含まれる人が、属性推定部406により属性情報を推定される対象となる。また、推定領域の位置に関する情報は記憶部408にて記憶される。以下図10を参照して、推定領域決定部404が再度推定領域を決定する処理について更に詳細に説明する。
【0087】
図10は、S910の処理を説明するための図である。図10(a)において、人1000および人1001は、推定領域ID”1”に対応する推定領域である領域602aにおいて属性推定部406により属性情報が推定されなかった人である。人1002は、推定領域ID”2”に対応する推定領域である領域603bにおいて属性推定部406により属性情報が推定されなかった人である。人1003は、推定領域ID”4”に対応する推定領域である領域605dにおいて属性推定部406により属性情報が推定されなかった人である。
【0088】
推定領域決定部404は、検出部403における検出の結果に基づいて、属性推定部406により属性情報が推定されなかった人物1000~1003のうち少なくとも1人を含む推定領域を少なくとも1つ決定する。
【0089】
図10bにおける、範囲1004は、属性推定部406が人1000および人1001に対して属性情報を推定するために最低限必要な顔領域の画素数を取得できるズーム倍率で撮影した場合の撮影範囲である。なお、範囲1004は、検出部403が検出した人の顔領域の画素数に基づいて、推定領域決定部404により決定される。そして、推定領域決定部404は、範囲1004内において範囲1004の面積以下となり、かつ、人1000および人1001の少なくとも一人を含む領域を推定領域として決定する。この場合、範囲1004に対応する推定領域として領域1004bが決定される。なおこのとき、推定領域決定部404は、範囲1004に対応する推定領域である領域1004bに対して、推定領域IDである“5”を付与する。
【0090】
次に、推定領域決定部404は、範囲1005を決定する。範囲1005は、属性推定部406が人1002および人1003の属性情報を推定するために最低限必要な顔領域の画素数を取得できるズーム倍率で撮影した場合の撮影範囲である。そして、推定領域決定部404は、範囲1005内において範囲1005の面積以下となり、かつ、人1002および人1003のうち少なくとも1人を含む領域を推定領域として決定する。この場合、推定領域決定部404は、範囲1005に対応する推定領域として領域1005bが決定される。また、推定領域決定部404は、範囲1005に対応する推定領域である領域1005bに対して、推定領域IDである“6”を付与する。
【0091】
以上のように、推定領域決定部404は、検出部403における検出の結果に基づいて、属性推定部406により属性情報が推定されなかった人のうち少なくとも1人を含む推定領域を少なくとも1つ決定する。なお、推定領域決定部404は、検出領域601の左下から右方向へ走査するように推定領域を決定したが、これに限定されない。例えば、検出領域601の左上から右方向へ操作するように推定領域を決定してもよい。
【0092】
そして、推定領域決定部404により再度決定された複数の推定領域の各々について、S506およびS507の処理を行う。こうすることにより、属性推定部406により属性情報を推定できない人がいた場合であっても、該人に対して属性推定部406により属性情報が再度推定されるようになる。なお、S910にて、推定領域404により再度決定される推定領域は1つであってもよい。
【0093】
これまで、上述した本実施形態に係る画像処理は画像処理装置100が行うとして説明したが、これに限定されない。本実施形態に係る画像処理装置100の1以上の機能を、撮影装置102が有していてもよい。つまり、本実施形態では、画像処理装置100のCPU1200により本実施形態に係る画像処理が実行されたが、後述するクライアント装置および撮影装置102がそれぞれ有するCPUにより実行されてもよい。
【0094】
例えば、図4に示す、検出領域設定部401と、検出部403と、推定領域決定部404と、コマンド管理部405と、属性推定部406と、記憶部408は撮影装置102が有していてもよい。なお、このとき、操作受付部402と、出力制御部407は、図12に示すハードウェア構成により実現されるクライアント装置1100が有する。この場合について、図11を参照して更に詳細に説明する。なお、図2~4と同一の機能を有する構成には同一符号を付すとともに、機能的に変わらないものについては説明を省略する。
【0095】
図11は、画像処理装置100の一部の機能を有する撮影装置102とクライアント装置1100の機能ブロック図の一例である。撮影装置102とクライアント装置1100は、ネットワーク104を介して通信が行われる。
画像処理部206で生成された画像データは、通信部209と通信部1101とを介してクライアント装置1100における出力制御部407に送られる。出力制御部407は、例えば、撮影装置102から送られた画像データを表示装置101に出力する。なおこのとき、表示装置101はクライアント装置1100に接続されているものとする。
【0096】
検出領域設定部401は、生成された画像データにおいて、検出部403が処理を行う対象とする領域である検出領域を設定する。なお、クライアント装置1100における操作受付部402を介して、ユーザーにより設定された画像内の領域を検出領域として設定してもよいし、事前に設定された所定の領域を検出領域としてもよい。なお、ユーザーによる検出領域の指示や、事前に設定された領域がなければ、画像データが示す画像全体を検出領域としてもよい。
【0097】
クライアント装置1100における操作受付部402は、マウス、キーボードなどの入力装置(不図示)を介して、ユーザーにより行われた操作を受け付ける。なお、操作受付部402が受け付けたユーザーによる操作の情報は、通信部1101と通信部209とを介して撮影装置102における検出領域設定部401へと送られる。
【0098】
検出部403は、生成された画像データにおいて検出領域に含まれる人体の検出を行う。推定領域決定部404は、検出部403における検出の結果に基づいて、検出部403により検出した複数の人のうち少なくとも1人を含む推定領域を複数決定する。
【0099】
コマンド管理部405は、推定領域決定部404において決定された複数の推定領域の各々について、順次撮影されるよう撮影装置102を制御するための制御コマンドを生成する。なお、コマンド管理部405にて生成された制御コマンドは、システム制御部207へ送られ、該制御コマンドに基づいて撮影装置102の制御が行われる。
【0100】
属性推定部406は、撮影装置102から得られる撮影画像の各々に対して推定領域に存在する人の属性情報を推定する。記憶部408は、検出領域や推定領域の位置に関する情報などを記憶する。
【0101】
画像処理の出力の結果(例えば、図8に示す表など)は、通信部209および通信部1101を介して、撮影装置102からクライアント装置1100へと送られる。なおこのとき、撮影装置102から送られた画像処理の出力の結果は、例えば、出力制御部407へと送られ、出力制御部407により表示装置101に出力されてもよい。
【0102】
以上のように画像処理装置100の1以上の機能は、撮影装置102が有していてもよい。
【0103】
なお、本発明は、上述の実施形態の1以上の機能を実現するプログラムを1つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。また、画像処理装置100または撮影装置102の各部は、図12に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。
【符号の説明】
【0104】
400 通信部
401 検出領域設定部
402 操作受付部
403 検出部
404 推定領域決定部
405 コマンド管理部
406 属性推定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12