特許 7406878 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-20

(45)【発行日】2023-12-28

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06F 3/0484 20220101AFI20231221BHJP

   G06M 7/00 20060101ALI20231221BHJP

【ＦＩ】

G06F3/0484

G06M7/00 301Q

【請求項の数】 16

(21)【出願番号】P 2019067478

(22)【出願日】2019-03-29

(65)【公開番号】P2020166653

(43)【公開日】2020-10-08

【審査請求日】2022-03-23

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】小野 倫彦

【審査官】田川 泰宏

(56)【参考文献】

【文献】特開２０１７－２０８７３３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／００６６０３４（ＵＳ，Ａ１）

【文献】特開２００７－０３６５８４（ＪＰ，Ａ）

【文献】特開２０１８－０２２３９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１－３／０４８９５

Ｇ０６Ｍ ７／００

(57)【特許請求の範囲】

【請求項1】

撮像手段により撮像された画像の全体の領域または一部の領域である対象領域に含まれる物体を第１検出処理により検出する検出手段と、
前記対象領域に含まれる前記第１検出処理により検出された物体の数を計数する計数手段と、
前記対象領域に含まれる指定領域の指定と、前記計数手段により計数済の物体の数を変更する変更指示とがユーザにより入力された場合、前記計数手段により計数済の物体の数に対して、前記指定領域において前記第１検出処理により検出された物体の数を差し引くことと、前記第１検出処理とは異なる第２検出処理により前記指定領域から検出された物体の数を足すこととの両方を実行することで、前記計数手段により計数済の物体の数を変更する変更手段とを有することを特徴とする情報処理装置。

【請求項2】

前記第１検出処理により検出された物体のうち前記指定領域に含まれる物体を特定する特定手段を更に有し、
前記変更手段は、前記計数手段により計数された物体の数に対して、前記特定手段により前記指定領域に含まれると特定された物体の数を差し引き、前記第１検出処理とは異なる第２検出処理により前記指定領域から検出された物体の数を足すことで、前記計数手段により計数された物体の数を変更することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記変更手段により変更された物体の数を示す情報を表示手段に表示させる出力制御手段を更に有することを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記出力制御手段は、前記計数手段により計数された物体の数を示す情報と、前記変更手段により変更された物体の数を示す情報とを前記表示手段に表示させることを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記出力制御手段は、前記第１検出処理により検出された物体を示す枠を前記画像に重畳した出力画像を前記表示手段に表示させることを特徴とする請求項３または４に記載の情報処理装置。

【請求項6】

前記出力制御手段は、前記指定領域における前記第１検出処理により検出された物体を示す枠を表示しないようにすることを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記出力制御手段は、前記対象領域のうち前記指定領域以外の領域において前記第１検出処理により検出された物体を示す第１枠と、前記指定領域において前記第２検出処理により検出された物体を示す枠であって前記第１枠と表示態様が異なる第２枠とを前記画像に重畳した出力画像を前記表示手段に表示させることを特徴とする請求項５または６に記載の情報処理装置。

【請求項8】

撮像手段により撮像された画像の全体の領域または一部の領域である対象領域に含まれる物体を検出する検出手段と、
前記対象領域に含まれる前記検出手段により検出された物体の数を計数する計数手段と、
前記対象領域に含まれる指定領域の指定と、前記計数手段により計数済の物体の数を変更する変更指示とがユーザにより入力された場合、前記計数手段により計数済の物体の数に対して、前記指定領域において前記検出手段により検出された物体の数を差し引くことと、ユーザにより指定された数を足すこととの両方を実行することで、前記計数手段により計数済の物体の数を変更する変更手段とを有することを特徴とする情報処理装置。

【請求項9】

前記検出手段により検出された物体のうち前記指定領域に含まれる物体を特定する特定手段を更に有し、
前記変更手段は、前記計数手段により計数された物体の数に対して、前記特定手段により前記指定領域に含まれると特定された物体の数を差し引き、ユーザにより指定された数を足すことで、前記計数手段により計数された物体の数を変更することを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記変更手段により変更された物体の数を示す情報を表示手段に表示させる出力制御手段を更に有することを特徴とする請求項８または９に記載の情報処理装置。

【請求項11】

前記出力制御手段は、前記計数手段により計数された物体の数を示す情報と、前記変更手段により変更された物体の数を示す情報とを前記表示手段に表示させることを特徴とする請求項１０に記載の情報処理装置。

【請求項12】

前記出力制御手段は、前記検出手段により検出された物体を示す枠を前記画像に重畳した出力画像を前記表示手段に表示させることを特徴とする請求項１０または１１に記載の情報処理装置。

【請求項13】

前記出力制御手段は、前記指定領域における前記検出手段より検出された物体を示す枠を表示しないようにすることを特徴とする請求項１２に記載の情報処理装置。

【請求項14】

撮像手段により撮像された画像の全体の領域または一部の領域である対象領域に含まれる物体を第１検出処理により検出する検出工程と、
前記対象領域に含まれる前記第１検出処理により検出された物体の数を計数する計数工程と、
前記対象領域に含まれる指定領域の指定と、前記計数工程により計数済の物体の数を変更する変更指示とがユーザにより入力された場合、前記計数工程により計数済の物体の数に対して、前記指定領域において前記第１検出処理により検出された物体の数を差し引くことと、前記第１検出処理とは異なる第２検出処理により前記指定領域から検出された物体の数を足すこととの両方を実行することで、前記計数工程により計数済の物体の数を変更する変更工程とを有することを特徴とする情報処理方法。

【請求項15】

撮像手段により撮像された画像の全体の領域または一部の領域である対象領域に含まれる物体を検出する検出工程と、
前記対象領域に含まれる前記検出工程において検出された物体の数を計数する計数工程と、
前記対象領域に含まれる指定領域の指定と、前記計数工程により計数済の物体の数を変更する変更指示とがユーザにより入力された場合、前記計数工程により計数済の物体の数に対して、前記指定領域において前記検出工程により検出された物体の数を差し引くことと、ユーザにより指定された数を足すこととの両方を実行することで、前記計数工程により計数済の物体の数を変更する変更工程とを有することを特徴とする情報処理方法。

【請求項16】

コンピュータを、請求項１乃至１３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理技術に関する。

【背景技術】

【0002】

従来技術として、撮像装置により撮像された画像に含まれる人物を計数する技術がある。しかしながら、そのような技術において、画像に含まれる人物の映り方によっては、画像から人物を精度よく検出できず、結果的に画像から精度よく人物を計数できない場合がある。

【0003】

そうした課題を鑑み、特許文献１では、人物の検知結果の表示画面において、ユーザ操作に応じて、検知枠の追加、削除等の訂正処理を行い、訂正処理の結果を反映した検知対象の数を保存、出力する旨の技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－２０７９７２

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１では、画像に含まれる特定の物体が計数された結果を修正するために、計数された対象の追加または削除を１つずつしか行えないため、ユーザにとって煩雑な操作を要する場合がある。

【0006】

そこで、本発明は、画像に含まれる特定の物体が計数された結果をより容易に修正できる技術の提供を目的としている。

【課題を解決するための手段】

【0007】

上記課題を解決するために、例えば、本発明に係る情報処理装置は、以下の構成を備える。すなわち、撮像手段により撮像された画像の全体の領域または一部の領域である対象領域に含まれる物体を第１検出処理により検出する検出手段と、前記対象領域に含まれる前記第１検出処理により検出された物体の数を計数する計数手段と、前記対象領域に含まれる指定領域の指定と、前記計数手段により計数済の物体の数を変更する変更指示とがユーザにより入力された場合、前記計数手段により計数済の物体の数に対して、前記指定領域において前記第１検出処理により検出された物体の数を差し引くことと、前記第１検出処理とは異なる第２検出処理により前記指定領域から検出された物体の数を足すこととの両方を実行することで、前記計数手段により計数済の物体の数を変更する変更手段とを有する。

【0008】

また、上記課題を解決するために、例えば、本発明に係る情報処理装置は、以下の構成を備える。すなわち、撮像手段により撮像された画像の全体の領域または一部の領域である対象領域に含まれる物体を検出する検出手段と、前記対象領域に含まれる前記検出手段により検出された物体の数を計数する計数手段と、前記対象領域に含まれる指定領域の指定と、前記計数手段により計数済の物体の数を変更する変更指示とがユーザにより入力された場合、前記計数手段により計数済の物体の数に対して、前記指定領域において前記検出手段により検出された物体の数を差し引くことと、ユーザにより指定された数を足すこととの両方を実行することで、前記計数手段により計数済の物体の数を変更する変更手段とを有する。

【発明の効果】

【0009】

本発明によれば、画像に含まれる特定の物体が計数された結果をより容易に修正することができる。

【図面の簡単な説明】

【0010】

【図1】システム構成の一例を示す図である。

【図2】情報処理装置の機能ブロックを示す図である。

【図3】計数結果を変更する処理の流れを示すフローチャートである。

【図4】計数結果を変更する処理を説明するための図である。

【図5】計数結果を変更する処理を説明するための図である。

【図6】計数結果を変更する処理を説明するための図である。

【図7】計数結果を変更する処理を説明するための図である。

【図8】計数結果を変更する処理を説明するための図である。

【図9】各装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

【0012】

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、情報処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。

【0013】

情報処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

【0014】

なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

【0015】

情報処理装置１００は、例えば、後述する情報処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。

【0016】

撮像装置１１０は、画像を撮像する装置である。撮像装置１１０は、撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する情報である識別情報とを関連付けて、ネットワーク１４０を介し、情報処理装置１００や記録装置１２０等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置１１０は１つとするが、複数であってもよい。

【0017】

記録装置１２０は、撮像装置１１０が撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する識別情報とを関連付けて記録する。そして、情報処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（画像、識別情報など）を情報処理装置１００へ送信する。

【0018】

ディスプレイ１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、情報処理装置１００の情報処理の結果や、撮像装置１１０が撮像した画像などを表示する。ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して情報処理装置１００と接続されている。

【0019】

また、ディスプレイ１３０は、表示手段として機能し、撮像装置１１０が撮像した画像や、後述する情報処理による結果等を表示する。なお、ディスプレイ１３０、情報処理装置１００、および記録装置１２０の少なくともいずれか２つ又は全ては、単一の筐体に設けられてもよい。

【0020】

なお、情報処理装置１００の情報処理の結果や、撮像装置１１０により撮像された画像は、情報処理装置１００にディスプレイケーブルを介して接続されたディスプレイ１３０に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク１４０を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。

【0021】

次に、図２に示す本実施形態に係る情報処理装置１００の機能ブロックを参照して、本実施形態に係る情報処理装置１００の情報処理について説明する。

【0022】

なお、図２に示す各機能は、本実施形態の場合、図９を参照して後述するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９２０とＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９００とを用いて、次のようにして実現されるものとする。図２に示す各機能は、情報処理装置１００のＲＯＭ９２０に格納されたコンピュータプログラムを情報処理装置１００のＣＰＵ９００が実行することにより実現される。

【0023】

通信部２００は、図９を参照して後述するＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）９４０によって実現でき、ネットワーク１４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部２００は、例えば、撮像装置１１０が撮像した画像の画像データを受信したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。なお、制御コマンドは、例えば、撮像装置１１０に対して画像を撮像するよう指示を行うコマンドなどを含む。

【0024】

記憶部２０１は、図９を参照して後述するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１０やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）９３０等によって実現でき、情報処理装置１００による情報処理に関わる情報やデータを記憶する。例えば、記憶部２０１は、画像から検出された特定の物体の位置に関する情報を記憶する。

【0025】

出力制御部２０２は、撮像装置１１０が撮像した画像や、本実施形態に係る情報処理に関する設定を行う設定画面、情報処理の結果を示す情報などを外部装置に出力したり、ディスプレイ１３０に表示させたりする。なお、出力制御部２０２による情報の出力先である外部装置は、例えば、他の情報処理装置（不図示）や記録装置１２０を含む。

【0026】

操作受付部２０３は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。例えば、操作受付部２０３は、画像における領域であって特定の物体を計数する対象となる領域である対象領域を指定する操作を受け付ける。また、操作受付部２０３は、対象領域における特定の物体が計数された結果を変更する際に用いられる領域である指定領域を指定する操作を受け付ける。

【0027】

設定部２０４は、ユーザによる操作に基づき、画像において対象領域を設定する。この場合、操作受付部２０３は、画像において対象領域を指定するユーザの操作を受け付け、設定部２０４は、操作受付部２０３が受け付けた対象領域の位置を示す情報に基づき、画像において対象領域を設定する。なお、対象領域の位置は、画像の左上の端点を原点としたときの対象領域の各頂点のＸ座標およびＹ座標で定まるものとする。操作受付部２０３は、ユーザにより指定された対象領域の各頂点のＸ座標およびＹ座標の情報を受け付け、設定部２０４は、操作受付部２０３が受け付けた各頂点のＸ座標およびＹ座標に基づき、対象領域を設定する。なお、対象領域がユーザにより指定されてない場合、設定部２０４は、画像の全体を示す領域を対象領域として設定してもよい。

【0028】

また、設定部２０４は、ユーザによる操作に基づき、画像における指定領域を設定する。このとき、対象領域の設定方法と同様に、操作受付部２０３は、ユーザにより指定された指定領域の各頂点のＸ座標およびＹ座標の情報を受け付け、設定部２０４は、操作受付部２０３が受け付けた各頂点のＸ座標およびＹ座標に基づき、指定領域を設定する。

【0029】

検出部２０５は、画像における対象領域に含まれる特定の物体を第１検出処理により検出する。本実施形態における検出部２０５は、照合パターン（辞書）を使用して、パターンマッチング等の処理を行うことで、対象領域に含まれる特定の物体の検出を行う。なお、画像から特定の物体として人物を検出する場合において、人物が正面向きである場合の照合パターンと横向きである場合の照合パターンなど複数の照合パターンを用いて画像から人物を検出するようにしてもよい。このように、複数の照合パターンを用いた検出処理を実行することで、検出精度の向上が期待できる。

【0030】

また、本実施形態における検出部２０５は、第１検出処理と異なる第２検出処理により画像から特定の物体を検出する。なお、本実施形態における第２検出処理は、第１検出処理よりも特定の物体を検出する精度が高い処理であるものとする。例えば、照合パターンを用いて画像から特定の物体を検出する場合に、第１検出処理において用いる照合パターンの数よりも第２検出処理において用いる照合パターンの数の方をより多くしてもよい。

【0031】

なお、照合パターンとして、斜め方向からや上方向からなど他の角度から特定の物体を見た場合の照合パターンを用意しておいてもよい。また、特定の物体として人物を検出する場合、必ずしも全身の特徴を示す照合パターン（辞書）を用意しておく必要はなく、上半身、下半身、頭部、顔、足などの人物の一部について照合パターンを用意してもよい。なお、検出部２０５による第１検出処理および第２検出処理は、画像から特定の物体を検出する機能を有していればよく、パターンマッチング処理にのみ限定されるものではない。

【0032】

算出部２０６は、撮像装置１１０により撮像された画像における対象領域において第１検出処理により検出された特定の物体の数を計数する。記憶部２０１は、算出部２０６により計数された特定の物体の数を示す情報と、計数する処理の対象となった画像を識別する識別情報と、当該画像が撮像された時刻を示す情報とを関連付けて記憶する。

【0033】

変更部２０７は、第１検出処理により検出され算出部２０６により計数された対象領域における特定の物体の数をユーザによる操作に基づき変更する。本実施形態における変更部２０７は、次のような処理を実行することで、特定の物体の数を変更する。すなわち変更部２０７は、第１検出処理により検出され算出部２０６により計数された対象領域における特定の物体の数に対して、指定領域において第１検出処理により検出された物体の数を差し引き、第２検出処理により指定領域から検出された物体の数を足す。

【0034】

次に、図３を参照して、本実施形態に係る情報処理装置１００の情報処理についてより詳細に説明する。図３は、本実施形態に係る情報処理装置１００の情報処理の流れを示すフローチャートである。なお、以降の説明において、計数する対象となる特定の物体は人物として説明する。

【0035】

なお、図３に示すフローを実行することで、対象領域において計数された人物の数をより容易に変更することができる。なお、図３に示すフローの処理は、例えば、ユーザによる指示に従って、開始又は終了するものとする。なお、図３に示すフローチャートの処理は、撮像装置１１０のＲＯＭ９２０に格納されたコンピュータプログラムを撮像装置１０１０のＣＰＵ９００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

【0036】

まず、Ｓ３０１にて、検出部２０５は、撮像装置１１０が撮像した画像を取得する。本実施形態において、Ｓ３０１における検出部２０５は、撮像装置１１０が撮像した画像のうち、ユーザにより指定された画像を取得するものとする。なお、ユーザにより指定された画像に限らず、検出部２０５は、通信部２００を介して撮像装置１１０から送信される画像を順次取得するようにしてもよい。なお、図４（ａ）に示す画像４０１は、Ｓ３０１にて検出部２０５が取得する画像の一例である。

【0037】

次に、Ｓ３０２にて、検出部２０５は、対象領域における人物を第１検出処理により検出する。なお、図４（ｂ）に示す画像４０１における対象領域４０２は、設定部２０４により設定された対象領域である。図４（ｂ）に示す例において、検出部２０５は、対象領域４０２を対象として第１検出処理を実行する。本実施形態では、ユーザによる操作に応じて対象領域４０２が設定されるものとするが、ユーザによる対象領域を指定する操作が無ければ、画像の全体を示す領域を対象領域としてもよい。

【0038】

次に、Ｓ３０３にて、算出部２０６は、撮像装置１１０により撮像された画像における対象領域において第１検出処理により検出された人物の数を計数する。

【0039】

次に、Ｓ３０４にて、出力制御部２０２は、検出部２０５の第１検出処理により検出された人物を示す情報、および、算出部２０６により計数された人物の数を示す情報をディスプレイに表示させる。

【0040】

図４（ｃ）に示す図は、対象領域において第１検出処理により検出された人物を示す情報、対象領域４０２において第１検出処理により検出された人物の数を示す情報、および、対象領域４０２を示す情報とを画像４０１に重畳した出力画像の一例である。出力制御部２０２は、図４（ｃ）に示す出力画像をディスプレイ１３０に表示させる。

【0041】

なお、対象領域において第１検出処理に検出された人物を示す情報とは、当該人物の位置を示す楕円形の枠である。図４（ｃ）における枠４０４のように、第１検出処理により検出された人物の位置を示す枠が画像４０１に重畳されている。また、図４（ｃ）における枠４０７のように、本来人物が存在すると検出すべきでない領域に対して第１検出処理により人物を検出してしまい、当該領域に対して人物が検出されたことを示す枠が画像４０１に重畳されてしまうことがある。また、図４（ｃ）における枠４０４、４０５、４０６、４０８のように、４人の人物は正しく検出されているものの、その他７人の人物は正しく検出されていないため当該７人の人物各々に対し枠が重畳されていない。

【0042】

また、図４（ｃ）に示す画像４０１には、対象領域４０２において第１検出処理により検出された人物の数を示す情報であるラベル４０３が重畳されている。また、画像４０１には、対象領域４０２が重畳されて表示されている。

【0043】

次に、Ｓ３０５にて、操作受付部２０３は、計数結果を変更しない指示を示すユーザの操作を受け付けた場合（Ｓ３０５にてＮｏ）、Ｓ３１３へ遷移する。Ｓ３０５にてＮｏであった場合に、Ｓ３１３にて、記憶部２０１は、Ｓ３０３にて算出部２０６により計数された人物の数を示す情報と、計数する処理の対象となった画像を識別する識別情報と、当該画像が撮像された時刻を示す情報とを関連付けて記憶する。

【0044】

ここで、Ｓ３０５の説明に戻る。Ｓ３０５にて、操作受付部２０３は、計数結果を変更する指示を示すユーザの操作を受け付けた場合（Ｓ３０５にてＹｅｓ）、Ｓ３０６へ遷移する。図４（ｃ）に示す例では、正しく対象領域における人物の数を計数できていないため、ユーザは計数結果を変更する指示を行い、Ｓ３０６へ遷移する。

【0045】

次に、Ｓ３０６にて、操作受付部２０３は、対象領域に含まれる領域である指定領域を指定する操作を受け付ける。例えば、操作受付部２０３は、ディスプレイ１３０に表示された画像に対しユーザがマウス等を用いたドラッグの操作を受け付ける。また、Ｓ３０６にて、設定部２０４は、操作受付部２０３が受け付けた指定領域における各頂点の座標に基づき、画像に対し指定領域を設定する。

【0046】

次に、Ｓ３０７にて、変更部２０７は、対象領域から第１検出処理により検出され算出部２０６により計数された人物の数をユーザによる操作に基づき変更する。具体的には、変更部２０７は、対象領域に対して第１検出処理により検出された人物のうち指定領域に含まれる人物を特定する。そして、変更部２０７は、算出部２０６により計数された対象領域における人物の数に対して、第１検出処理により検出された物体のうち指定領域に含まれると特定された人物の数を差し引く。

【0047】

次に、Ｓ３０８にて、出力制御部２０２は、変更部２０７により変更された人物の数を示す情報をディスプレイ１３０に表示させる。次に、Ｓ３０９にて、指定領域の設定が完了された場合はＳ３１０へ遷移し、指定領域の設定が完了されてない場合は、Ｓ３０６へ遷移し、Ｓ３０６～Ｓ３０８の処理を繰り返す。

【0048】

ここで、図５を参照してＳ３０６～Ｓ３０９の処理についてより詳細に説明する。図５（ａ）に示す例は、指定領域をユーザが設定し始めた際の様子を示している。図５（ａ）に示す図は、画像４０１に対しユーザにより指定された指定領域５０１が画像４０１に重畳された出力画像である。

【0049】

図５（ａ）に示す例では、図５（ａ）に示す指定領域５０１を指定する操作を受け付け（Ｓ３０６）、受け付けた操作に基づき、指定領域５０１が設定される。なお図５（ａ）の段階では、指定領域５０１内には第１検出処理により検出された人物は含まれないため、Ｓ３０７にて変更部２０７により人物の数が変更されない。出力制御部２０２は、第１検出処理により検出された人物を示す枠４０４～４０８と、計数の結果を示すラベル４０３と、指定領域５０１と、対象領域４０２とを画像４０１に重畳した出力画像をディスプレイ１３０に表示させる（Ｓ３０８）。

【0050】

図５（ｂ）に示す図は、図５（ａ）と同様に指定領域をユーザが設定中の様子を示している。図５（ｂ）に示す図は、マウスのドラッグの操作等により指定領域５０１が拡張された領域である指定領域５１１が画像４０１に重畳された出力画像である。

【0051】

図５（ｂ）に示す例では、図５（ｂ）に示す指定領域５１１を指定する操作を受け付け（Ｓ３０６）、受け付けた操作に基づき、指定領域５１１が設定される。変更部２０７は、対象領域４０２において第１検出処理により検出された人物の数から、指定領域５１１のうち第１検出処理により検出された人物の数を差し引く（Ｓ３０７）。そして、出力制御部２０２は、指定領域５１１のうち、第１検出処理により検出された人物を示す枠である枠４０４および枠４０５を削除する（Ｓ３０８）。また、出力制御部２０２は、対象領域４０２において第１検出処理により検出された人物の数から、指定領域５１１のうち第１の検出処理により検出された人物の数が差し引かれた人物の数を示すラベル５１２を画像４０１に重畳して表示する（Ｓ３０８）。

【0052】

なお、出力制御部２０２は、指定領域５１２における人物が検出されたことを示す枠を削除するとしたが、次のような処理を実行してもよい。すなわち、出力制御部２０２は、指定領域における人物が第１検出処理により検出されたことを示す枠と、対象領域のうち指定領域以外の領域における人物が第１検出処理により検出されたことを示す枠とで表示態様を異ならせてもよい。

【0053】

図５（ｃ）に示す図は、ユーザの操作によって指定領域の設定が完了した直後の状態を示している。なお、ユーザは、例えば、画像に対し指定領域の位置およびサイズを指定したのち、ディスプレイ１３０に表示された完了を示すボタンをクリックすることで指定領域の設定を完了する。ただし、指定領域を指定するドラッグの操作が終了したら、指定領域の指定が終了したものとして、指定領域の設定を完了させてもよい。

【0054】

図５（ｃ）に示す例では、図５（ｃ）に示す指定領域５２１を指定する操作を受け付け（Ｓ３０６）、受け付けた操作に基づき、指定領域５２１が設定される。そして、変更部２０７は、対象領域４０２において第１検出処理により検出された人物の数から、指定領域５２１のうち第１検出処理により検出された人物の数を差し引く（Ｓ３０７）。出力制御部２０２は、指定領域５２１に含まれる枠４０４～４０７を削除し、対象領域４０２のうち指定領域５２１以外の領域である枠４０８は画像４０１に重畳して表示する（Ｓ３０８）。また、出力制御部２０２は、対象領域４０２において第１検出処理により検出された人物の数から、指定領域５２１において第１検出処理により検出された人物の数が差し引かれた数を示すラベル５２２を画像４０１に重畳する（Ｓ３０８）。

【0055】

Ｓ３０９にて指定領域の設定が完了されたのち、Ｓ３１０にて、変更部２０７は、指定領域内の人数を取得する。本実施形態において、Ｓ３１０では、まず、検出部２０５は、第２検出処理により指定領域に含まれる人物を検出する。変更部２０７は、検出部２０５の第２検出処理により指定領域から検出された人物の数を取得する。

【0056】

次に、Ｓ３１１にて、変更部２０７は、対象領域における第１検出処理により検出された人物の数に対して指定領域内の第１検出処理により検出された人物の数が差し引かれた後の数に、Ｓ３１０で取得した指定領域内の人物の数を足す。本実施形態において、変更部２０７は、対象領域における第１検出処理により検出された人物の数に対して指定領域内の第１検出処理により検出された人物の数が差し引かれた後の数に、第２検出処理により指定領域から検出された人物の数を足す。

【0057】

次に、Ｓ３１２にて、出力制御部２０２は、変更部２０７により変更された人物の数を示す情報をディスプレイ１３０に表示させる。

【0058】

ここで、図６を参照して、Ｓ３１０～Ｓ３１２の処理についてより詳細に説明する。図６は、図５（ｃ）に示す指定領域５２１の設定を完了したのち、対象領域４０２に対して第１検出処理により検出された人物の数が変更部２０７により変更された例を示している。

【0059】

図６に示すように、検出部２０５は、第２検出処理により指定領域５２１に含まれる人物を検出し、変更部２０７は、指定領域５２１から第２検出処理により検出された人物の数を取得する（Ｓ３１０）。図６に示す例では、変更部２０７は、指定領域５２１から第２検出処理により検出された人物の数として１０という情報を取得する。

【0060】

変更部２０７は、対象領域４０２にて第１検出処理で検出した人物の数（５人）に対して指定領域５２１内の第１検出処理で検出した人物の数（４人）を差し引いた数に、第２検出処理により指定領域５２１から検出された人物の数（１０人）を足す（Ｓ３１１）。

【0061】

続いて、図６に示すように、出力制御部２０２は、変更部２０７により変更された人物の数を示す情報であるラベル６０２を画像４０１に重畳している。また、出力制御部２０２は、対象領域４０２のうち指定領域５２１以外の領域において第１検出処理により検出された人物を示す第１枠として枠４０８を画像６０１に重畳している。また更に、出力制御部２０２は、指定領域５２１において第２検出処理により検出された人物を示す枠であって第１枠と表示態様が異なる第２枠として枠６０１を画像４０１に重畳している。第２枠である矩形の枠６０３は、指定領域６０１における１０人の人物の各々に対し重畳されている。なお、第２検出処理の方法については、指定領域を指定したあとユーザに選択させてもよい。以上のように、出力制御部２０２は、ラベル６０２と、対象領域４０２と、指定領域５２１と、枠４０８と、枠６０１とを画像４０１に重畳した出力画像をディスプレイ１３０に表示させる（Ｓ３１２）。

【0062】

Ｓ３０５にてＹｅｓであった場合のＳ３１３にて、記憶部２０１は、変更部２０７により変更された人物の数を示す情報と、人物の数を変更する処理の対象となった画像を識別する識別情報と、当該画像が撮像された時刻を示す情報とを関連付けて記憶する。

【0063】

次に、Ｓ３１４にて、操作受付部２０２は、処理を終了する指示をユーザから受け付けた場合（Ｓ３１４にてＹｅｓ）、図３に示すフローチャートの処理を終了する。一方、Ｓ３１４にて、操作受付部２０２は、処理を終了する指示をユーザから受け付けていない場合（Ｓ３１４にてＮｏ）、Ｓ３０１へ遷移し、検出部２０５は、次の処理対象とする画像を取得する。

【0064】

なお、本実施形態では、検出部２０５による検出する対象を人物としているが、これに限らない。例えば、検出対象は、人物の顔、自動車、動物などの物体であってもよい。また、複数種類の特定の物体が検出されるように、検出部２０５は、複数種類の検出を実行してもよい。すなわち、本実施形態の検出部２０５は、パターンマッチング等の処理を行うことで、人物に限らず種々の所定の物体を画像データから検出することが可能である。

【0065】

なお、本実施形態における検出部２０５は、照合パターンを用いた検出処理（第１検出処理および第２検出処理）を実行したが、画像から人物を検出する方法はこれに限らない。例えば、検出部２０５により実行される検出処理として、サポートベクターマシンや深層学習等の基地の機械学習手法に基づいて学習した回帰器を用いて画像から人物を検出する処理を用いてもよい。

【0066】

この場合、例えば、ある固定サイズＳの小画像を入力とし、その小画像に写っている人物の数を出力とする回帰器を用いる。この手法では予め、頭部など人の位置が既知である大量の小画像を学習データとして、サポートベクターマシンや深層学習等の既知の機械学習手法に基づいて回帰器を学習しておく。このとき、回帰器の精度向上を図るため、学習データは、小画像のサイズと映っている人のサイズとの比率がほぼ一定であることが望ましい。

【0067】

検出部２０５は、画像を複数の領域（以下分割領域）に分割する。そして検出部２０５は、分割領域の各々について、該分割領域内の画像を固定サイズＳにリサイズしたものを小画像とし、該小画像を回帰器に入力することで「該分割領域内の人物の位置」を回帰器からの出力として求める。そして、算出部２０６は、分割領域内の位置の個数を当該分割領域内の人物の数として計数する。

【0068】

第１検出処理および第２検出処理として上述した回帰器を用いて画像から人物を検出する場合、例えば、第２検出処理は、第１検出処理で用いる回帰器よりも処理負荷が高いものの精度がより高い回帰器を用いるようにしてもよい。

【0069】

ここで、図８を参照して従来技術の課題について説明する。図８（ａ）に示す例では、８人の人物が含まれる画像８０１に対して人物の検出を行うことで、画像内の人物の数を計数する。図８（ｂ）は検出の結果および検出された人物の計数の結果を示す図であり、この例では検出された人物を判別するため、検出した人物上には楕円形状の枠を重畳して表示している。図８（ｂ）に示す例において、画像右側の３人は正しく検出されているが、左側に密集した５人に対しては検出漏れ８０３や、人物として検出すべきでない領域に対して人物として検出された誤検出８０４が発生している。その結果、計数の結果を示す情報であるラベル８０２が示すように、本来８人と出力されるべき計数の結果は６人となってしまっている。以上のような正しい計数の結果が得られない場合に、当該計数の結果を後から修正する必要がある。

【0070】

そこで、本実施形態における情報処理装置１００は、画像における対象領域に対し第１検出処理を実行して検出された人物の数を計数する。そして、計数された人物の数に対し、ユーザにより指定された指定領域における第１検出処理により検出された人物の数を差し引き、指定領域において第２の検出処理により検出された人物の数を足す。このようにすることで、画像に含まれる特定の物体が計数された結果をより容易に修正することができる。

【0071】

（実施形態２）
実施形態１では、指定領域における人物の数を再取得するにあたって、指定領域に対して第１検出処理とは異なる第２検出処理が実行されたが、本実施形態においては、指定領域における人物の数をユーザにより指定される実施形態について説明する。すなわち、本実施形態における変更部２０７は、対象領域に対し第１検出処理により検出された人物の数に対し、指定領域における第１検出処理により検出された人物の数を差し引き、指定領域における人物の数としてユーザが指定して数を足す。なお、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

【0072】

以下、図３および図７を参照して、実施形態２について説明する。図３に示すフローにおいて、Ｓ３０１～Ｓ３０９までの処理は、実施形態１の説明と同様であるため説明を省略する。Ｓ３０９にて指定領域の設定が完了されたのち、Ｓ３１０にて、変更部２０７は、指定領域内の人数を取得する。Ｓ３１０にて、本実施形態における操作受付部２０３は、指定領域における人物の数としてユーザが指定して数を示す情報を受け付ける。そして、変更部２０７は、操作受付部２０３が受け付けた指定領域における人物の数を取得する。

【0073】

次に、Ｓ３１１にて、変更部２０７は、対象領域にて第１検出処理により検出された人物の数に対して指定領域内の第１検出処理により検出された人物の数が差し引かれた後の数に、Ｓ３１０で取得した指定領域内の人数を足す。本実施形態において、変更部２０７は、対象領域にて第１検出処理により検出された人物の数に対して指定領域内の第１検出処理により検出された人物の数が差し引かれた後の数に、ユーザにより指定された数を足す。次に、Ｓ３１２にて、出力制御部２０２は、変更部２０７により変更された人物の数を示す情報をディスプレイ１３０に表示させる。

【0074】

ここで、図７を参照して、本実施形態におけるＳ３１０～Ｓ３１２の処理についてより詳細に説明する。図７は、指定領域の設定を完了したのち、対象領域に対して第１検出処理により検出された人物の数が変更部２０７により変更された例を示している。

【0075】

図７に示す例において、操作受付部２０３は、指定領域５２１における人物の数としてユーザが指定した数（１０人）を示す情報を受け、変更部２０７は、操作受付部２０３が受け付けた指定領域における人物の数（１０人）を取得する（Ｓ３１０）。

【0076】

変更部２０７は、対象領域４０２にて第１検出処理で検出した人物の数（５人）に対して指定領域５２１内の第１検出処理で検出した人物の数（４人）を差し引いた数に、ユーザにより指定された指定領域５２１内の人物の数（１０人）を足す（Ｓ３１１）。

【0077】

そして出力制御部２０２は、変更部２０７により変更された人物の数を示す情報であるラベル７０２を画像４０１に重畳して表示する。また、出力制御部２０２は、対象領域４０２のうち指定領域７０１以外の領域において第１検出処理により検出された人物を示す枠４０８を画像４０１に重畳している。また、出力制御部２０２は、指定領域５２１において第１検出処理により検出された人物を示す枠を表示しないようにしている。また、出力制御部２０２は、ユーザが指定した指定領域５２１における人物の数を示すラベル７０１を画像に重畳して表示する。以上のように、出力制御部２０２は、ラベル７０１と、ラベル７０２と、指定領域５２１と、枠４０８と、対象領域４０２とを画像４０１に重畳した出力画像をディスプレイ１３０に表示させる（Ｓ３１２）。

【0078】

以上説明したように本実施形態における情報処理装置１００は、画像における対象領域に対し第１検出処理を実行して検出された人物の数を計数する。そして、計数された人物の数に対し、ユーザにより指定された指定領域における第１検出処理により検出された人物の数を差し引き、指定領域における人物の数としてユーザが指定した数を足す。このようにすることで、画像に含まれる特定の物体が計数された結果をより容易に修正することができる。

【0079】

（その他の実施形態）
次に図９を参照して、各実施形態の各機能を実現するための情報処理装置１００のハードウェア構成を説明する。なお、以降の説明において情報処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現されるものとする。

【0080】

本実施形態における情報処理装置１００は、ＣＰＵ９００と、ＲＡＭ９１０と、ＲＯＭ９２０、ＨＤＤ９３０と、Ｉ／Ｆ９４０と、を有している。

【0081】

ＣＰＵ９００は情報処理装置１００を統括制御する中央処理装置である。ＲＡＭ９１０は、ＣＰＵ９００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ９１０は、ＣＰＵ９００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ９１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

【0082】

ＲＯＭ９２０は、ＣＰＵ９００が情報処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ９３０は、画像データ等を記録する記憶装置である。

【0083】

Ｉ／Ｆ９４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

【0084】

なお、上述した各実施形態の説明では、ＣＰＵ９００が処理を実行する例について説明するが、ＣＰＵ９００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ９２０からプログラムコードを読み出してＲＡＭ９１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

【0085】

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、情報処理装置１００の各部は、図９に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

【0086】

なお、上述した各実施形態に係る情報処理装置１００の１以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る情報処理装置１００の１以上の機能を撮像装置１１０が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。

【0087】

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

【符号の説明】

【0088】

１００ 情報処理装置
１１０ 撮像装置
２００ 通信部
２０１ 記憶部
２０２ 出力制御部
２０３ 操作受付部
２０４ 設定部
２０５ 検出部
２０６ 算出部
２０７ 変更部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】