特許 6235417 撮影システム、撮影装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6235417

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】撮影システム、撮影装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20171113BHJP

   G06T 7/00 20170101ALI20171113BHJP

   G06T 7/60 20170101ALI20171113BHJP

   G03B 17/18 20060101ALI20171113BHJP

   G03B 15/00 20060101ALI20171113BHJP

【ＦＩ】

   H04N5/232 939

   H04N5/232 933

   H04N5/232 220

   H04N5/232 190

   G06T7/00 300F

   G06T7/60 110

   G03B17/18 Z

   G03B15/00 Q

【請求項の数】11

【全頁数】25

(21)【出願番号】特願2014-126684(P2014-126684)

(22)【出願日】2014年6月19日

(65)【公開番号】特開2016-5258(P2016-5258A)

(43)【公開日】2016年1月12日

【審査請求日】2016年2月22日

【前置審査】

(73)【特許権者】

【識別番号】306029774

【氏名又は名称】ビッグローブ株式会社

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】平田 恭二

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２０１０−１８３１８７（ＪＰ，Ａ）

【文献】 特開２０１４−０４２１７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／１８

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

撮影装置と管理装置とがネットワークにより接続された撮影システムであって、
前記管理装置は、
人物毎の人物の特徴を含む特徴情報を記憶する特徴情報記憶手段と、
人物毎の人物が撮影された撮影量を含む撮影量情報を記憶する撮影量記憶手段と、
前記特徴情報と前記撮影量情報とを前記撮影装置に送信する送信手段と、
を備え、
前記撮影装置は、
前記特徴情報と前記撮影量情報とを受信する受信手段と、
被写体を撮像した撮像画像を生成する撮像手段と、
画像を表示する表示手段と、
前記撮像画像から人物を検出する検出手段と、
前記検出手段により検出された人物を前記特徴情報に基づいて照合する照合手段と、
前記撮影量情報に基づいて前記照合手段により照合された人物の撮影量に応じた情報を前記撮像画像における前記照合された人物に付随して前記表示手段に表示させる制御手段と、
を備えることを特徴とする撮影システム。

【請求項2】

前記管理装置は、
画像データを記憶する画像データ記憶手段と、
前記画像データから人物が写っている人物領域を検出する人物検出手段と、
前記人物検出手段により検出された人物領域から人物の特徴を抽出する特徴抽出手段と、を備え、
前記特徴情報は、少なくとも前記特徴抽出手段により抽出された人物の特徴が人物を特定する所定の識別子に対応付けられて、前記特徴情報記憶手段に記憶されることを特徴とする請求項１記載の撮影システム。

【請求項3】

前記管理装置は、前記特徴抽出手段により抽出された人物の特徴と前記特徴情報記憶手段に記憶された特徴情報との比較に基づいて人物を照合する人物照合手段を備え、
前記画像データ記憶手段に前記画像データが記憶され、前記画像データに写る人物が前記人物照合手段により照合されたとき、前記撮影量記憶手段に記憶された前記撮影量情報は、前記照合された人物の撮影量を増加して更新されることを特徴とする請求項２記載の撮影システム。

【請求項4】

前記撮影量情報は、前記撮影量として、人物が過去に撮影された累積撮影量、人物が所定のイベント時に撮影されたイベント撮影量、又は人物が所定の期間に撮影された期間撮影量の内、少なくとも何れか１つを含むことを特徴とする請求項１から３の何れか１項に記載の撮影システム。

【請求項5】

前記制御手段は、人物が過去に撮影された累積撮影量、人物が所定のイベント時に撮影されたイベント撮影量、又は人物が所定の期間に撮影された期間撮影量の内、少なくとも何れか２つの前記撮影量に応じた情報を前記撮像画像における前記照合された人物に付随して前記表示手段に表示させることを特徴とする請求項１から４の何れか１項に記載の撮影システム。

【請求項6】

前記撮影量に応じた情報は、所定の図形、所定の色情報、又は前記撮影量を表す文字データの内、少なくとも何れか１つを含むことを特徴とする請求項１から５の何れか１項に記載の撮影システム。

【請求項7】

前記撮影量に応じた情報は、前記人物検出手段により前記画像データから検出された人物領域の画像を含み、
前記制御手段は、前記撮影量が予め定められた閾値以下である人物の前記人物領域の画像を前記撮像画像より小さい表示サイズで前記撮像画像に重畳して前記表示手段に表示させることを特徴とする請求項２または３に記載の撮影システム。

【請求項8】

前記撮影装置は、
撮影を指示する操作を受け付ける操作手段と、
前記撮像画像及び前記撮影量情報を記憶する記憶手段と、を備え、
前記制御手段は、前記操作手段に前記撮影を指示する操作を受け付けたとき、前記撮像画像を撮影画像として前記記憶手段に記憶させ、前記記憶手段に記憶させる撮像画像における人物に対応する前記撮影量情報の撮影量を更新することを特徴とする請求項１から７の何れか１項に記載の撮影システム。

【請求項9】

前記制御手段は、前記操作手段に前記撮影を指示する操作を受け付けたとき、前記検出手段により前記撮像画像において人物が２人以上検出された場合は、所定の基準値を前記検出された２人以上の人物の人数で除算した値を用いて、前記照合手段により照合された前記２人以上の人物に対応するそれぞれの前記撮影量情報の撮影量を更新することを特徴とする請求項８記載の撮影システム。

【請求項10】

前記検出手段は、既定の画像データの大きさに対する、前記撮像画像から検出した人物領域の大きさの割合を算出し、
前記制御手段は、前記算出された人物領域の大きさの割合を用いて、該人物領域における人物に対応する前記撮影量情報の撮影量を更新することを特徴とする請求項８記載の撮影システム。

【請求項11】

前記検出手段は、前記撮像画像から検出した人物領域における人物の基準位置に対する向きに対応する割合を算出し、
前記制御手段は、前記算出された向きに対応する割合を用いて、該人物領域における人物に対応する前記撮影量情報の撮影量を更新することを特徴とする請求項８記載の撮影システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影システム、撮影装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

幼稚園や小学校等では行事や日常生活において園児や生徒の写真等の撮影が行われている。この際に、特定の園児や生徒のみが多く、又は少なく撮影されてしまうと園児や生徒あるいはそれらの父兄に不公平感を与えてしまう。そのため、先生方が、目視にて撮影した写真を確認し、撮影者が、その後の撮影において先生方の記憶を頼りに、園児や生徒１人１人の撮影枚数を調整するようにしていた。

【0003】

行事や日常生活において撮影された園児や生徒の写真データの処理に関し、例えば特許文献１には、記録された画像データを一括出力用に被写体毎に振り分け、振り分けられた画像データの個数を、被写体毎にカウントして、所定の設定数に達していない場合には警告情報を発生するとともに、画像データの個数及び不足数を表示するという技術が記載されている。特許文献１では、一括出力用に振り分けられた画像データを画像データの個数が最小値である被写体の画像データの個数を出力条件として条件出力用に記録している。

【0004】

また、例えば特許文献２には、アルバム作成用の画像データが保存されている画像データ保存部１Ｂと、この画像データ保存部１Ｂに保存されている複数の画像データを用いてアルバムを作成するアルバム作成部１Ａと、画像データに含まれている顔画像を人物別に抽出する人物抽出部１５と、抽出された顔画像の数を人物別にカウントする登場回数カウント部１７を備えたアルバム作成装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００５−４４１２７号公報

【特許文献2】特開２０１０−５７０７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載された技術によれば、写真の購入者に希望する写真を選択する負担を追わせることなく、かつ、園児等の被写体間で均等な枚数の写真を確保して、購入者の満足感を満たしつつ、廃棄ロスを抑制して、写真のデータを管理する手間とコストを低減する。

【0007】

また、特許文献２に記載されたアルバム作成装置によれば、アルバムを作成するに際して、特定の個人が撮影されている写真画像が極端に多くなったり少なくなったりすることがなく、不公平感を生じさせないことができる。

【0008】

しかし、特許文献１及び特許文献２の何れも、撮影された後の写真データを編集することで、写真の被提供者の不公平感を解消するものである。よって、結局のところ特許文献１及び特許文献２の何れにおいても、写真撮影時には、先生方の記憶を頼りに撮影枚数を調整することになるため撮影を依頼する側の手間とコストを増大させる。また、カメラマンに撮影を依頼する際に、特定の人物の写真等を多く、又は少なく撮影するように依頼することは、カメラマンの手間とコストを増大させる。

【0009】

本発明は、このような実情に鑑みてなされたものであって、複数の人物が平等に撮影されるように促し、撮影時の手間とコストを軽減する撮影システムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記の課題を解決するため、本発明の撮影システムは、撮影装置と管理装置とがネットワークにより接続された撮影システムであって、管理装置は、人物毎の人物の特徴を含む特徴情報を記憶する特徴情報記憶手段と、人物毎の人物が撮影された撮影量を含む撮影量情報を記憶する撮影量記憶手段と、特徴情報と撮影量情報とを撮影装置に送信する送信手段と、を備え、撮影装置は、特徴情報と撮影量情報とを受信する受信手段と、被写体を撮像した撮像画像を生成する撮像手段と、撮像画像を表示する表示手段と、撮像画像から人物を検出する検出手段と、検出手段により検出された人物を特徴情報に基づいて照合する照合手段と、撮影量情報に基づいて照合手段により照合された人物の撮影量に応じた情報を撮像画像における照合された人物に付随して表示手段に表示させる制御手段と、を備えることを特徴とする。

【発明の効果】

【0011】

本発明によれば、複数の人物が平等に撮影されるように促し、撮影時の手間とコストを軽減することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態における撮影システム例の概略図である。

【図2】本発明の実施形態における撮影システムのハードウェア構成図である。

【図3】本発明の第１実施形態における撮影システムの機能ブロック図である。

【図4】本発明の第１実施形態における特徴情報と撮影枚数情報の取得手順を示すフローチャートである。

【図5】本発明の第１実施形態における処理手順を示すフローチャートである。

【図6】本発明の第１実施形態における特徴情報の生成手順を示すフローチャートである。

【図7】本発明の第１実施形態における撮影枚数のカウント手順を示すフローチャートである。

【図8】本発明の実施形態における撮影量に応じた情報の表示例を示す模式図である。

【図9】本発明の実施形態における撮影量に応じた情報の表示例を示す模式図である。

【図10】本発明の実施形態における撮影量に応じた情報の表示例を示す模式図である。

【図11】本発明の実施形態における撮影量に応じた情報の表示例を示す模式図である。

【図12】本発明の実施形態における撮影量に応じた情報の表示例を示す模式図である。

【図13】本発明の第２実施形態における撮影システムの機能ブロック図である。

【図14】本発明の第２実施形態における処理手順を示すフローチャートである。

【図15】本発明の第３実施形態における撮影装置の機能ブロック図である。

【図16】本発明の第４実施形態における撮影システムの機能ブロック図である。

【発明を実施するための形態】

【0013】

本発明の実施形態における撮影システムについて図面を用いて以下説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。本実施形態における撮影システム１は、図１に示すように、例えば、撮影装置５と、管理装置５０とがネットワーク６０を介して接続可能に構成されている。

【0014】

撮影装置５は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を用いて、レンズから入射された光を電気信号に変換し、電気信号から撮像画像を生成するデジタルカメラである。なお、撮影装置５として、デジタルカメラ以外にも、例えば、上記の撮像画像を生成する撮影機能を備えていれば、多機能型携帯端末であるスマートフォンや、ノート型ＰＣ、タブレット型ＰＣ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｅｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の装置でもよい。

【0015】

管理装置５０は、例えば、撮影画像等の各種情報を記憶し、各種情報を処理するパーソナルコンピュータ（以下「ＰＣ」という。）などの情報処理装置や本実施形態におけるネットワーク６０に接続可能な撮影装置５に対してネットワークを経由して各種のサービスを提供するサーバ等である。例えば、管理装置５０がファイルサーバの場合、管理装置５０に内蔵されるハードディスクドライブ（以下「ＨＤＤ」という。）などの記憶装置をクライアントである撮影装置５が共有する。

【0016】

ネットワーク６０は、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の情報通信網であり、有線でも無線でもよいが、本実施形態で後述するように、例えば、運動会等の屋外イベントにおいてデジタルカメラを使用するような場合は、無線による通信環境が望ましい。

【0017】

次に、本実施形態における撮影システム１に係る撮影装置５と管理装置５０のハードウェア構成について図２を参照して説明する。

【0018】

撮影装置５は、例えば、撮像部１１と、制御部１２と、メモリ１３と、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１４と、操作部１６と、表示部１７とを含み、構成されている。

【0019】

撮像部１１は、例えば、上述のようにＣＣＤやＣＭＯＳイメージセンサ等の撮像素子を用いて、不図示のレンズから入射された光を電気信号に変換し、電気信号から撮像画像を生成する。

【0020】

制御部１２は、例えば、ＣＰＵを用いて、所定の制御プログラムに基づいて撮影装置５全体の制御を実行する。

【0021】

メモリ１３は、例えば、撮像画像や撮影量などの各データ、上記所定の制御プログラム及び後述する本実施形態における人物検出処理や人物照合処理、あるいは撮影量に応じた情報の表示制御処理等を実行するための各プログラムなどを記憶する。また、メモリ１３は、後述するシャッターボタンが押下されることで撮影された撮影画像を記憶する。メモリ１３としては、例えばＲＡＭ、ＲＯＭ又はＨＤＤ等を用いて構成されるが、撮影装置５本体から着脱可能な、例えばＳＤカード等の外部メモリでもよい。

【0022】

通信Ｉ／Ｆ１４は、例えば、本実施形態において管理装置５０とネットワーク６０を介して通信を行う際に、管理装置５０との間における撮影画像等の送受信に利用されるインタフェースである。

【0023】

操作部１６は、例えば、電源ボタン、シャッターボタン、撮影装置５における各種設定を行う設定画面を後述する表示部１７に表示させるためのメニューボタン及びモード切替スイッチなどの物理的な操作スイッチで構成されるが、これらに限定されない。例えば、後述する表示部１７に重畳させたタッチパネルを用いて、表示部１７に表示されたアイコン等へのタッチ操作を受け付ける構成でもよい。そして、操作部１６への操作に応じた信号に基づいて、制御部１２が各部を制御し、その操作に対応する処理を実行する。モード切替スイッチを用いて切り替えられるモードとして、本実施形態では、例えば「受信モード」、「撮影モード」、「送信モード」を採用しているが、説明の便宜のために用いているにすぎず、本実施形態における撮影装置５がこれらのモードを備えたものに限定されるというものではない。なお、モード切替スイッチによるモード切り替えに代えて、例えば、上記各モードに切り替えるための表示画面が、メニューボタンを押下して表示部１７に表示させた設定画面に含まれる構成であってもよい。この場合、例えば、上記のタッチパネルを用いた、アイコン化された各モードへのタッチ操作に応じて、各モードへ切り替えることとしてもよい。

【0024】

なお、例えば「受信モード」とは、例えば後述する特徴情報や撮影量等を通信Ｉ／Ｆ１４を介して管理装置５０から受信するためのモードである。また、例えば「撮影モード」とは、撮影画像を生成する撮影機能を実行するためのモードである。例えばモード切替スイッチを用いて「撮影モード」に切り替えられると、撮像部１１にて撮像画像の生成が開始される。すなわち、「撮影モード」に切り替えられると、制御部１２は、入射される光を基に撮像部１１にて撮像画像を順次生成し、表示部１７へ撮像画像を用いた表示画像を順次表示するために撮像画像の送信を開始する。この撮像画像を用いた表示画像の表示は、本撮影を指示する操作を受け付ける操作部１６としてのシャッターボタンが押下されることで、本撮影の指示が行われると、本撮影として決定された撮像画像（以下「撮影画像」という。）が表示部１７に一定時間、表示される間、一旦停止し、本撮影が終了すると再度、順次表示を開始するようにしてもよい。この場合、本撮影終了時に、一定時間、表示部１７に撮影画像が表示されることで、ユーザは、撮影画像を確認することができ、適切に撮影できたか否かを確認することができる。さらに、例えば「送信モード」とは、撮影画像や撮影量等を通信Ｉ／Ｆ１４を介して管理装置５０に送信するためのモードである。

【0025】

なお、本実施形態における説明において、説明の便宜上、「撮影モード」に切り替えられて、撮像部１１にて生成される画像を「撮像画像」とし、撮像部１１から送信された「撮像画像」を用いて表示部１７に表示される画像を「表示画像」とする。また、制御部１２は、シャッターボタンが押下されることで、本撮影の指示が行われた場合、押下のタイミングに応じた「撮像画像」を本撮影として決定された画像として、メモリ１３に記憶する。この本撮影として決定された画像を「撮影画像」とする。なお、撮像部１１は、撮影可能な画像を表示部１７にてモニタリングするために、撮像画像を撮像される光景に合わせて変化する動画として生成するのが好ましい。ただし、撮像部１１は、撮像画像を、表示画像用と撮影画像用とに別々に生成してもよく、表示画像用と撮影画像用とに同じ撮像画像を生成してもよい。

【0026】

表示部１７は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等の表示デバイスを用いて、「撮像画像」、「撮影画像」、「設定画面」等の表示データを基にした表示画像を表示する。

【0027】

管理装置５０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５３と、ＨＤＤ５４と、表示部５５と、入力部５６と、通信Ｉ／Ｆ５７を含み、構成されているが、これに限定しない。

【0028】

ＣＰＵ５１は、管理装置５０に搭載される上記各部を制御する。ＲＡＭ５２は、例えば、ＣＰＵ５１の作業用領域として利用されるとともに、各種データの一時記憶領域として利用されるものであればよい。また、ＲＯＭ５３は、例えば、ＣＰＵ５１が実行するＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等の制御プログラムのほか、制御に必要な各種データ等が格納されるものであればよい。

【0029】

ＨＤＤ５４は、例えば、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションプログラム、画像データなどを記憶する大容量記憶装置である。なお、ＨＤＤ５４は、管理装置５０に内蔵されていても、外付けであってもよい。また、大容量記憶装置として、ＨＤＤ５４ではなく、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等でもよく、ＨＤＤ５４だけでなく、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、又はブルーレイなどの記憶メディアに画像データ等を書き込み、あるいは、該記憶メディアから画像データを読み込むメディアドライブを備えてもよい。

【0030】

表示部５５は画面表示を行う表示デバイスである。表示部５５としては、管理装置５０と一体型でも外付けでも構わなく、例えば、液晶ディスプレイや有機ＥＬディスプレイ等の各種の表示デバイスで構成される。なお、表示部５５は本実施形態における必須の構成ではなく、例えば、ＨＤＤ５４に記憶された各種画像データや人物毎の撮影量を視覚的に表した画面を閲覧し、管理装置５０における各種設定画面を表示部５５に表示し、表示された設定画面を見ながら設定行為を行うような場合に利用することができればよい。

【0031】

入力部５６は各種入力を行うキーボードやマウス等の入力デバイスである。なお、入力部５６についても本実施形態における必須の構成ではなく、例えば、上述した設定行為を行うような場合に利用することができればよい。また、いわゆるタッチパネルなどのタッチ入力デバイスを上記表示部５５に重畳して備える構成であってもよい。

【0032】

通信Ｉ／Ｆ５７は、例えば、本実施形態において撮影装置５とネットワーク６０を介して通信を行う際に、撮影装置５との間における画像データ等の送受信に利用されるインタフェースである。

【0033】

［第１実施形態］
本発明の第１実施形態における撮影システム１について図３から図６を参照して説明する。なお、本実施形態の説明においては、園児の写真を撮影する担任の先生を例に記載するが、これに限らず、被写体は児童や生徒、学生、部員、子供、社員等でもよい。また、撮影者はクラスメイトや写真屋から派遣されたカメラマンでも、担任の先生でも、園児や生徒の保護者等でもよい。本実施形態では、撮影対象とする人物全員の特徴を予め抽出するパターンを説明する。

【0034】

まず、本実施形態における撮影システム１に係る管理装置５０及び撮影装置５の機能ブロックの概略について図３を参照して説明する。

【0035】

まず、本実施形態における管理装置５０は、制御手段１０１と、特徴画像記憶手段１０２と、撮影画像記憶手段１０３と、特徴情報記憶手段１０４と、撮影枚数記憶手段１０５と、人物検出手段１０６と、特徴抽出手段１０７と、入力手段１０８と、表示手段１０９と、通信手段１１０を備える。

【0036】

制御手段１０１は、管理装置５０の上記各手段を全体的に制御する手段であり、制御手段１０１の機能は、例えば上述したＣＰＵ５１によりその機能が実現される。

【0037】

特徴画像記憶手段１０２は、特徴画像として、例えば担任の先生が、園児が写っていると認識している撮影画像データを記憶する手段である。入園書類に添付した証明写真や過去に開催された入園式や運動会、遠足等において撮影された少なくとも園児等が１人以上鮮明に写っている撮影画像が特徴画像として好ましい。特徴画像記憶手段１０２は、後述する人物の特徴を抽出するために参照される撮影画像データの記憶装置として機能する。

【0038】

具体的には、例えば、制御手段１０１による制御に応じて、特徴画像記憶手段１０２は、担任の先生によりデジタルカメラ等の外部メモリから入力された、集合写真等の園児全員が写っている撮影画像を記憶する。なお、特徴画像記憶手段１０２に記憶する撮影画像は、１枚に複数人が写っている撮影画像でも１枚に１人が写っている撮影画像でもよい。さらに、記憶される撮影画像は複数枚あってもよい。

【0039】

撮影画像記憶手段１０３は、人物が撮影された撮影画像を含み、例えば、運動会、遠足等のイベントにおいて、カメラマンや担任の先生等が撮影に用いたデジタルカメラ等から管理装置５０へ取り込まれた撮影画像を記憶する。上述した特徴画像記憶手段１０２との違いは、撮影画像記憶手段１０３は、例えば担任の先生が、撮影した撮影画像にどの園児がどのくらい写っているかカウントしたい撮影画像を記憶するという点である。なお、特徴画像記憶手段１０２及び撮影画像記憶手段１０３をともに、便宜的に画像データを記憶する画像データ記憶手段とし、これは例えば上述したＨＤＤ５４によりその機能が実現される。

【0040】

特徴情報記憶手段１０４は、後述する特徴抽出手段１０７にて特徴画像から抽出した人物の特徴を、その人物を特定する所定の識別子に対応させて、特徴情報として記憶する。特徴情報は、人物の照合においてその人物と合致するか比較の基となるデータである。なお、特徴情報記憶手段１０４は、例えば上述したＨＤＤ５４によりその機能が実現される。

【0041】

撮影枚数記憶手段１０５は、人物毎に、各人物がどの程度撮影されたかを示す撮影枚数等の撮影量を撮影量情報として記憶する撮影量記憶手段である。なお、撮影枚数記憶手段１０５についても、例えば上述したＨＤＤ５４によりその機能が実現される。また、本実施形態では、撮影量情報を撮影された写真の枚数を用いた撮影枚数情報として記憶しているが、撮影装置５としてビデオカメラを使用した場合は、撮影量は、撮影枚数ではなく、例えば撮影時間や撮影コマ数となる。ただし、撮影量は、撮影枚数や撮影時間、撮影コマ数でなくてもよく、これらに限定はしない。

【0042】

人物検出手段１０６は、上述した特徴画像記憶手段１０２に記憶された特徴画像から人物が写っている人物領域を検出する。なお、本実施形態では人物領域を、人物の顔が写っている領域（以下「顔エリア」という。）として説明する。人物は顔で照合されることが一般的だからであるが、本発明における人物領域が顔エリアに限定されるという趣旨ではない。顔エリアの検出については、既存の顔認証等の技術を用いて行えばよく、例えば顔エリアを検出するアプリケーションプログラムがＣＰＵ５１により実行されることで実現される。

【0043】

特徴抽出手段１０７は、人物検出手段１０６により検出された特徴画像の人物領域から人物の特徴を抽出する。例えば、人物の特徴としては、特徴画像の顔エリアに写っている人物の各パーツ（目、鼻、口）の配置状態や形状がある。ただし、一例であって、例えば人物領域として人物の全身を捉えた場合は、人物の特徴を人物の背格好としてもよい。人物の特徴を抽出するのも既存の顔認証等の技術で行えばよく、例えば人物の特徴を抽出するアプリケーションプログラムがＣＰＵ５１により実行されることで実現される。

【0044】

入力手段１０８は、担任の先生等のユーザにより、特徴情報の作成指示や、後述する撮影枚数のカウント指示を受け付ける、例えば上述した入力部５６によりその機能が実現される。

【0045】

表示手段１０９は、特徴画像及び撮影画像等の各種画像データや人物毎の撮影量を視覚的に表した画面、あるいは各種設定画面を表示する。例えば、上述した表示部５５によりその機能が実現される。

【0046】

通信手段１１０は、例えば、上述した特徴情報や撮影枚数情報とを撮影装置５に送信する送信手段、又は、上述した撮影画像と撮影枚数情報とを撮影装置５から受信する受信手段として機能する。通信手段１１０は、例えば上述した通信Ｉ／Ｆ５７によりその機能が実現される。なお、通信手段１１０は、外部メモリに特徴情報と撮影枚数情報、撮影画像等の各種データを記憶させて、管理装置５０と撮影装置５とで各種データをやり取りするのであれば、通信手段１１０は必ずしも必要ないことは言うまでもない。

【0047】

ここで、上述した特徴情報は、例えば、特徴抽出手段１０７により抽出された人物の特徴とその人物を一意に特定する所定の人物識別子とを対応付けしたデータである。所定の人物識別子とは、例えば本実施形態で言えば、園児の名前や出席番号等が相当するが、これらに限定はしない。また、上述した撮影枚数情報は、例えば、所定の人物識別子とその人物が撮影された画像の枚数（撮影枚数）であるカウント数とを対応付けたデータである。

【0048】

次に、本実施形態における撮影装置５は、制御手段２０１と、撮影画像記憶手段２０２と、特徴情報記憶手段２０３と、撮影枚数記憶手段２０４と、撮像手段２０５と、検出手段２０６と、照合手段２０７と、表示手段２０８と、通信手段２０９と、操作手段２１０とを備える。

【0049】

制御手段２０１は、撮影装置５の上記各手段を全体的に制御する手段であり、制御手段２０１の機能は、例えば上述した制御部１２により実現される。

【0050】

撮影画像記憶手段２０２は、撮影装置５により撮影された撮影画像を記憶する手段であり、例えば上述したメモリ１３によりその機能が実現される。

【0051】

特徴情報記憶手段２０３は、管理装置５０から受信した特徴情報を記憶する手段であり、撮影画像記憶手段２０２と同様に、例えば上述したメモリ１３によりその機能が実現される。

【0052】

撮影枚数記憶手段２０４は、管理装置５０から受信した撮影枚数情報を記憶する手段であり、撮影画像記憶手段２０２と同様に、例えば上述したメモリ１３によりその機能が実現される。なお、撮影装置５にて撮影画像を撮影した場合は、撮影枚数記憶手段２０４に記憶した撮影枚数情報を撮影装置５において更新してもよいし、ＳＤカード等の外部メモリに記憶された特徴情報を読み込んでもよい。

【0053】

撮像手段２０５は、人物等の被写体を撮像した撮像画像を、レンズから入射された光を用いて生成する手段であり、例えば上述した撮像部１１によりその機能が実現される。

【0054】

検出手段２０６は、撮像画像から人物が写っている領域である人物領域を検出する手段であり、例えば上述したメモリ１３に格納された人物検出処理プログラムが制御部１２により実行されることで、その機能が実現される。ここでは、検出手段２０６は、撮像画像から人物の顔が写っている領域である顔エリアを検出するとして説明する。なお、顔エリアの検出は既存の顔認証技術等を用いて実現されるものであってもよい。

【0055】

照合手段２０７は、検出手段２０６により検出された人物領域に写る人物の特徴と特徴情報記憶手段２０３に記憶された特徴情報とを照合することで人物の照合を行う手段である。例えば、上述したメモリ１３に格納された人物照合処理プログラムが制御部１２により実行されることで、その機能が実現される。ここでは、顔エリアに写る人物の特徴を用いて照合するとして説明する。なお、人物照合は既存の顔認証技術等を用いて実現されるものであってもよい。

【0056】

表示手段２０８は、撮像画像や撮影画像等を用いた表示画像を表示する手段であり、例えば、上述した表示部１７を用いることでその機能が実現される。表示画像の一例としては、撮像画像に、撮影量に対応する色のついた枠等の情報を重畳した画像である。

【0057】

通信手段２０９は、管理装置５０から特徴情報と撮影枚数情報とを受信する受信手段、又は、管理装置５０へ撮影画像と撮影枚数情報とを送信する送信手段として機能し、例えば上述した通信Ｉ／Ｆ１４によりその機能が実現される。なお、外部メモリに特徴情報と撮影枚数情報、撮影画像等の各種データを記憶させて、管理装置５０と撮影装置５とで各種データをやり取りするのであれば、通信手段２０９は必ずしも必要ないことは言うまでもない。

【0058】

操作手段２１０は、撮影装置５に対する撮影者からの操作を受け付け、操作に対応する信号を制御手段２０１などの各部に送信する手段であり、例えば、上述した操作部１６を用いることでその機能が実現される。

【0059】

そして、照合手段２０７により照合された人物の撮影枚数情報に応じた色のついた枠等の情報を、撮像画像にて照合された人物の顔エリアに付随し、表示画像として、表示手段２０８に表示させる表示制御処理が制御手段２０１により行われる。

【0060】

次に、本実施形態における情報取得処理手順について、図４を参照して説明する。まず、撮影装置５は、通信手段２０９を介して管理装置５０からの受信により特徴情報を取得し、特徴情報記憶手段２０３に記憶する（ステップＳ１）。

【0061】

撮影装置５は、通信手段２０９を介して管理装置５０からの受信により撮影枚数情報を取得し、撮影枚数記憶手段２０４に記憶する（ステップＳ２）。

【0062】

なお、具体例として、撮影装置５は、運動会等のイベントの前に、撮影者である例えば担任の先生の操作により、操作手段２１０のモード切替スイッチが「受信モード」に設定されるとする。撮影装置５は、通信手段２０９を用いてネットワーク６０を介して管理装置５０に接続し、管理装置５０における特徴情報記憶手段１０４と撮影枚数記憶手段１０５とにそれぞれ記憶された特徴情報と撮影枚数情報とを受信する。ただし、撮影装置５は、上述のように管理装置５０からの受信により特徴情報と撮影枚数情報とをそれぞれ取得せずに、ＳＤカード等の外部メモリを用いて特徴情報と撮影枚数情報とを管理装置５０から取得してもよい。

【0063】

次に、本実施形態における表示制御処理手順について図５を参照して説明する。まず、運動会等のイベントの際に、撮影装置５は、撮影者である例えば担任の先生の操作により、操作手段２１０のモード切替スイッチが「撮影モード」に設定されると、撮像手段２０５により、レンズから入射された光を用いて撮像画像を生成する（ステップＳ１１）。

【0064】

次に、検出手段２０６は、撮像手段２０５で生成した撮像画像から顔エリアを検出する（ステップＳ１２）。

【0065】

その後、照合手段２０７が、検出手段２０６で検出した顔エリアに写っている人物の顔の特徴を抽出し（ステップＳ１３）、抽出した人物の顔の特徴と、特徴情報記憶手段２０３に記憶された特徴情報とを比較し、同一人物と照合される特徴情報があるか判断する（ステップＳ１４）。

【0066】

そして、照合手段２０７により、同一人物と照合された特徴情報があると判断された場合（ステップＳ１４、ＹＥＳ）、制御手段２０１は、撮影枚数記憶手段２０４に記憶された撮影枚数情報から、照合された特徴情報の人物識別子に対応するカウント数を読み込む。そして、制御手段２０１は、読み込んだカウント数に対応する色の枠の画像を、検出手段２０６で検出された顔エリアの大きさに合わせて、その撮像画像の顔エリアに付随し、表示画像として、表示手段２０８に表示する（ステップＳ１５）。つまり、ここでの色の枠の画像が、撮影量に応じた情報の例である。色の枠の画像など、撮影量に応じた情報についてのバリエーションについては後述する。他方、同一人物と照合された特徴情報がないと判断された場合（ステップＳ１４、ＮＯ）や、カウント数が一定の閾値に満たない人物、又は、一定の閾値を超える人物については、色の枠の画像等は撮像画像に重畳せずに、撮像画像を表示画像として表示手段２０８に表示することとしてもよい。この場合は、色の枠の画像等は表示手段２０８に表示されない。また、ステップＳ１２からステップＳ１５のカウント数に対応する色の枠の画像を、撮像画像の顔エリアに付随するまでは、色の枠の画像が付随していない撮像画像を表示画像として表示手段２０８に表示しておいてもよい。ここで、ステップＳ１２からステップＳ１５の処理は、撮影手段２０５で異なる撮像画像が生成する度に行うようにしても、既定の時間間隔（例：１秒毎）や撮像画像の既定の生成数毎（例：３０画像毎）に行うようにしても、被写体にピントが合った撮像画像が生成された時点で行うようにしてもよい。

【0067】

なお、色の枠の画像等は、例えば、予めメモリ１３に記憶されているものを使用しても、不図示の作像手段を用いて、撮影者による表示部１７に重畳させたタッチパネルからの入力に応じて入力された新たな色の枠の画像等を作像したものを使用してもよい。なお、上記「顔エリアに付随して」における「付随」には、顔エリアの近傍に表示させることや、顔エリアに重畳して表示させること等、顔エリアにおける人物の撮影枚数であることが撮影者に認識される態様で色の枠の画像を表示させる概念が含まれる。

【0068】

そして、撮影者の撮影装置５に対する操作により、本撮影の指示として、操作手段２１０のシャッターボタンが押下された場合（ステップＳ１６、ＹＥＳ）、制御手段２０１は、押下されたタイミングに応じた撮像画像を撮影画像として、撮影画像記憶手段２０２に記憶される。その撮影画像として記憶された撮像画像に対して、照合手段２０７により、同一人物と照合された特徴情報があると判断されていた場合は、撮影枚数記憶手段２０４に記憶されている撮影枚数情報に対して、照合された特徴情報の人物識別子に対応するカウント数を１増加させて更新して、記憶する（ステップＳ１７）。ここで、カウント数はイベント前のカウント数に今回のイベントでのカウント数を合算して１つのカウント数として記憶しても、イベント前のカウント数と今回のイベントでのカウント数とに分けて記憶しても、全カウント数と今回のイベントでのカウント数とに分けて記憶してもよい。全カウント数は、イベント前のカウント数と今回のイベントでのカウント数の合計である。ここで、今回のカウント数ではなく、日毎、月毎などの期間毎のカウント数を記憶してもよい。また、カウントした撮影画像には、カウント済みである旨の情報を撮影画像ファイルのプロパティ情報などの設定領域に書き込みしてもよい。また、撮影手段２０５で生成された撮像画像は、既定の時間（例：３０秒間）、一時記憶手段（不図示）に記憶しておき、シャッターボタンが押下されると、その押下時点から既定の時間前（例：３０秒前）までに一時記憶手段に記憶された複数の撮像画像を撮影画像記憶手段２０２に記憶するようにしてもよい。ステップＳ１７の後、又は、操作手段２１０のシャッターボタンが押下されずに、撮像手段２０５で異なる撮像画像が生成された場合（ステップＳ１６、ＮＯ）は、ステップＳ１２に戻る。

【0069】

次に、本実施形態の撮影装置５における情報送信処理手順について説明する。運動会等のイベントの後、撮影装置５は、例えば、撮影者である担任の先生による操作により操作手段２１０のモード切替スイッチが「送信モード」に設定されるとする。撮影装置５は、通信手段２０９を用いて、ネットワーク６０を介して、管理装置５０に接続し、撮影枚数記憶手段２０４に記憶された撮影枚数情報と撮影画像記憶手段２０２に記憶された撮影画像とを、管理装置５０に送信する。そして、撮影装置５は、それぞれ撮影枚数記憶手段１０５に記憶された撮影枚数情報を更新し、撮影画像記憶手段１０３に撮影画像を記憶する。更新には、例えば、撮影装置５から送られた撮影枚数情報で、撮影枚数記憶手段１０５に記憶されている撮影枚数情報を上書きすることが含まれてよい。また、更新には、例えば、撮影装置５から送られた撮影枚数情報の今回のイベント撮影枚数を、撮影枚数記憶手段１０５に記憶されている撮影枚数情報の累積撮影枚数に加算すること等が含まれてよい。この際に、特徴情報記憶手段２０３に記憶された特徴情報を削除することとしてもよい。特徴情報の削除は、撮影装置５に特徴情報が記憶されたままであることにより、撮影者が外注のカメラマン等であった場合、幼稚園等の関係者以外の第三者への特徴情報の流出を防止するといった、個人情報保護のためである。なお、「送信モード」でなく、「撮影モード」の際に、通信手段２０９により、ネットワーク６０を介して、管理装置５０に接続し、撮影装置５の撮影枚数記憶手段２０４に記憶された撮影枚数情報を、管理装置５０に送信して、撮影枚数記憶手段１０５に記憶された撮影枚数情報を更新してもよい。その際に、撮影枚数記憶手段１０５に記憶された更新された撮影枚数情報を、管理装置５０から受信して、撮影枚数記憶手段２０４に記憶された撮影枚数情報を更新しても良い。この場合、複数の撮影装置５がある場合に、他の撮影装置５で更新した撮影枚数情報を入手できるので、更新された撮影量に応じた情報を表示できる。

【0070】

管理装置５０における特徴情報の生成処理手順について図６を参照して説明する。まず、例えば担任の先生により、過去に撮影された園児等が写っている撮影画像データである特徴画像を特徴画像記憶手段１０２に記憶する（ステップＳ２１）。

【0071】

次に、担任の先生により入力手段１０８に特徴情報の作成指示が入力されると制御手段１０１は、人物検出手段１０６に検出開始を命令する（ステップＳ２２）。

【0072】

人物検出手段１０６は、特徴画像記憶手段１０２に記憶されている特徴画像から人物の顔エリアを検出する（ステップＳ２３）。

【0073】

特徴抽出手段１０７は、人物検出手段１０６にて検出された顔エリアに写っている人物の顔の特徴を抽出する（ステップ２４）。

【0074】

そして、制御手段１０１は、特徴抽出手段１０７にて抽出された人物の顔の特徴と所定の人物識別子とを対応付けて、特徴情報として特徴情報記憶手段１０４に記憶する（ステップＳ２５）。

【0075】

なお、園児の名前又は出席番号等の園児を一意に特定する所定の人物識別子を対応付ける際に、その人物識別子の入力を促すメッセージとその人物識別子の入力欄とを、撮影画像における人物検出手段１０６で検出された顔エリアの画像とともに、表示手段１０９に表示させ、担任の先生により入力手段１０８を介して園児の名前又は出席番号等の人物識別子を入力される構成としてもよい。これによれば、担任の先生が認識しやすい人物識別子を入力できるので、人物識別子入力の自由度が向上する。なお、上記において、入力を促すメッセージは、例えば「この画像の園児の名前又は出席番号を入力して下さい」などのメッセージをいう。また、撮影画像における人物検出手段１０６で検出された顔エリアの画像とは、例えば、園児の顔が写っている画像をいう。

【0076】

また、予め園児の名前又は出席番号等の人物識別子の一覧リストを記憶しておき、上記のメッセージや、園児の顔が写っている画像とともに、その一覧リストを表示手段１０９に表示させ、担任の先生により入力手段１０８を介して当該一覧リストから、表示手段１０９に表示された園児の顔が写っている画像に対応する人物識別子を選択する構成としてもよい。これによれば、リストから人物識別子を選択するだけでよいため、人物識別子の入力が簡単になるというメリットがある。上記において、入力を促すメッセージは、例えば「この画像の園児の名前を選択して下さい」などのメッセージをいう。

【0077】

また、１つの画像から複数の人物が検出された場合、全ての検出された領域から人物の特徴を抽出し、抽出した全ての特徴に各々の人物識別子を対応付けて特徴情報としての記憶が終了するまで行ってもよい。さらに、この特徴情報を記憶する作業を特徴画像記憶手段１０２に記憶されている全ての画像について行ってもよい。

【0078】

また、制御手段１０１は、人物検出手段１０６にて、特徴画像において検出された顔エリアの画像を、撮影枚数情報に含めて、撮影枚数記憶手段１０５に記憶しておいてもよい。

【0079】

次に、管理装置５０における撮影枚数情報のカウント処理手順について図７を参照して説明する。なお、本処理が、撮影画像記憶手段１０３に記憶された全ての撮影画像に対応する撮影枚数情報が既にカウントされて、管理装置５０の撮影枚数記憶手段１０５に記憶されている場合に不要であることは言うまでもない。つまり、本処理手順は、本発明の撮影装置５以外のカメラ等で撮影される等した撮影画像を管理装置５０に送信し、撮影枚数記憶手段１０３に記憶された撮影画像の中に、撮影されている園児の撮影枚数のカウントが済んでいない撮影画像があるときの枚数カウント処理を説明するものである。例えば、新年度が始まった当初は、撮影枚数情報の各人物識別子の枚数のカウント数は「０」である。

【0080】

まず、管理装置５０に、カウントされていない撮影画像があるとき（ステップＳ３１、ＹＥＳ）、例えば、担任の先生により、入力手段１０８に対して枚数カウント指示が入力されると、制御手段１０１は、人物検出手段１０６に検出開始を命令する（ステップＳ３２）。また、制御手段１０１は、入力手段１０８に対する枚数カウント指示ではなく、既定の時間にカウントを開始するような指示、又は、既定の動作が実行されたらカウントを開始するような指示であってもよい。既定の時間とは、例えば正午などであり、既定の動作とは、例えば管理装置５０へ撮影画像が転送されて撮影画像記憶手段１０３に撮影画像が記憶される動作などである。

【0081】

その後、人物検出手段１０６が、撮影画像記憶手段１０３に記憶されたカウントされていない撮影画像から顔エリアを検出する（ステップＳ３３）。

【0082】

特徴抽出手段１０７は、人物検出手段１０６により検出された顔エリアに写っている人物の顔の特徴を抽出し（ステップＳ３４）、不図示の人物照合手段により、抽出された人物の顔の特徴と特徴情報記憶手段１０４に記憶された特徴情報との比較に基づいて人物を照合する（ステップＳ３５）。

【0083】

人物照合手段により、特徴情報記憶手段１０４に同一人物と照合された特徴情報が記憶された場合、つまり、特徴が抽出された人物が記憶された特徴情報に係る人物と同一人物と照合された場合（ステップＳ３５、ＹＥＳ）、照合された人物の撮影枚数情報として撮影枚数記憶手段１０５に記憶する。例えば本実施形態では、その照合された特徴情報に対応付けてある人物識別子のカウント数を１つ増加させて、撮影枚数記憶手段１０５に記憶された撮影枚数情報を更新する（ステップＳ３６）。

【0084】

なお、ステップＳ３１において、カウントされていない撮影画像がないときは、撮影画像記憶手段１０３に記憶された全ての撮影画像が、既に撮影枚数情報に反映されて撮影枚数記憶手段１０５に記憶されており、その撮影枚数情報を使用すればよいため、処理を終了する。また、ステップＳ３５において、抽出された特徴と記憶された特徴情報との照合の結果、その抽出された特徴に係る人物が特徴情報に係る人物と同一人物と照合されなかったときは（ステップＳ３５、ＮＯ）、別の撮影画像から顔エリアを検出する（ステップＳ３３）。

【0085】

なお、１つの撮影画像から複数の人物が検出された場合、全ての検出された人物領域から人物の特徴を抽出し、抽出した全ての人物の特徴を照合し、各々の人物の特徴に対応する人物識別子のカウント数を増加させる作業を行えばよい。

【0086】

また、このカウント作業を撮影画像記憶手段１０３に記憶されて、まだこのカウント作業を行っていない全ての撮影画像について行えばよい。この場合、撮影画像記憶手段１０３にて、カウントした撮影画像は、カウント済みである旨の情報を撮影画像ファイルのプロパティ情報などの設定領域に書き込み、そのカウント済みである旨の情報の有無に応じてカウント済か未カウントか判断する。

【0087】

なお、撮影枚数記憶手段１０５は、人物が過去に撮影された累積撮影枚数を累積撮影量として記憶しても良い。また、撮影枚数記憶手段１０５は、人物が所定のイベント時に撮影されたイベント撮影量をイベント毎に記憶してもよい。具体的には、例えば、累積撮影量として年度トータルの撮影量であっても、イベント撮影量として遠足や運動会等のイベント毎の撮影量であってもよい。さらに、累積撮影量とイベント撮影量とを分けて記憶してもよい。ここで、イベント撮影量ではなく、他に、日毎、月毎などの期間毎の期間撮影量を記憶してもよい。

【0088】

次に、撮影量に応じた情報の具体例について図８から図１２を参照して説明する。概略的には、撮影量に応じた情報は、所定の図形、所定の色情報、又は文字データの内、少なくとも１つを用いる。なお、記号は図形に含まれるものとしてよく、数字データは文字データに含まれるものとしてよい。また、これらの組合せであってもよい。撮影量に応じた情報が、図形や色情報であれば、ユーザはその情報が表示されている人物の撮影量を直感的に認識することができる。

【0089】

また、撮影量に応じた情報として、撮影量を表す文字データであったり、あるいは、この文字データと上記図形や色情報との組合せであれば、撮影者はこれが表示されている人物の撮影量を直接認識することができる。

【0090】

表示手段２０８に表示させる撮影量は、累積撮影量と、イベント撮影量とを交互に、又は、操作手段により切り替え可能に、表示手段２０８に表示させても、累積撮影量と、イベント撮影量との両方を表示手段２０８に表示してもよい。また、イベント撮影量の代わりに、期間撮影量を用いてもよい。

【0091】

例えば、図８（ａ）に示すように、撮影量に応じた情報Ａは本図に写っている人物識別子がＹと照合された男子（以下、「男子Ｙ」という。）の過去の撮影枚数情報のカウント数（ここでは「撮影枚数」という。）である撮影枚数１０枚を表す文字データ「１０」であり、これと、撮影量に応じた情報Ｂとして、男子Ｙを囲む四角形状の実線で示す囲み枠が男子Ｙの撮像画像に重畳して、表示画像として表示手段２０８に表示されている。この囲み枠も予め１０枚に対応する図形として撮影装置５本体に記憶されている。これにより、撮影者は、例えばデジタルカメラ背面に搭載された液晶ディスプレイ等の表示手段２０８を見るだけで、男子Ｙの撮影枚数を瞬時に判断することができる。なお、囲み枠は四角形状に限らず、円状でもよい。

【0092】

同様に、図８（ｂ）に示すように、撮影量に応じた情報Ｃは本図に写っている人物識別子がＸと照合された女子（以下、「女子Ｘ」という。）の過去の撮影枚数２枚を表す文字データ「２」であり、これと、撮影量に応じた情報Ｄとして、女子Ｘを囲む四角形状の破線枠が女子Ｘの撮像画像に重畳して、表示画像として表示手段２０８に表示されている。この破線枠も予め２枚に対応する図形として撮影装置５本体に記憶されている。これにより、撮影者は、例えばデジタルカメラ背面に搭載された液晶ディスプレイ等の表示手段２０８に表示される表示画像を見るだけで、女子Ｘの撮影枚数を瞬時に判断することができる。なお、実線や破線に代えて色情報で見分けるようにしてもよく、また、実線や破線に色情報を加えてもよい。

【0093】

図９（ａ）は、撮影枚数１０枚に対応する図形として上記撮影量に応じた情報Ｂの囲み枠に代えて、撮影量に応じた情報Ｅの黒塗りの四角記号を、撮像画像の男子Ｙに近接して重畳した表示画像の例である。これによれば、撮影量に応じた情報Ｂの囲み枠に比べて表示画面がすっきりとして見やすくなるというメリットがある。同様に、図９（ｂ）は、撮影枚数２枚に対応する図形として、上記撮影量に応じた情報Ｄの囲み枠に代えて、撮影量に応じた情報Ｆの黒塗りの円記号を撮像画像の女子Ｘに近接して重畳した表示画像の例である。

【0094】

図１０（ａ）は、累積撮影量に応じた情報として、男子Ｙの過去の累積撮影枚数１０枚を表す文字データ「１０」の累積撮影量に応じた情報Ａと、累積撮影量に応じた情報Ｂとして、累積撮影枚数１０枚に対応する図形である囲み枠を男子Ｙの撮像画像に重畳した表示画像の例である。さらに、これらの累積撮影量に応じた情報とともに、イベント撮影量に応じた情報として、男子Ｙの本イベントにおける撮影枚数１枚を表す文字データ「１」のイベント撮影量に応じた情報ａと、イベント撮影量に応じた情報ｂとして、本イベントにおける撮影枚数１枚に対応する図形である破線で示す囲み枠を、累積撮影量に応じた情報Ｂの囲み枠より小さくして、男子Ｙの撮像画像に重畳した表示画像の例である。これによれば、撮影者は、男子Ｙの累積撮影量の撮影枚数は多いが、本イベントのイベント撮影量の撮影枚数は男子Ｙがあまり撮影されていないことを表示手段２０８に表示される表示画像を見るだけで、確認することができる。

【0095】

同様に、図１０（ｂ）は、累積撮影量に応じた情報として、女子Ｘの過去の累積撮影枚数２枚を表す文字データ「２」の累積撮影量に応じた情報Ｃと、累積撮影量に応じた情報Ｄとして、累積撮影枚数２枚に対応する図形である囲み枠を女子Ｘの撮像画像に重畳した表示画像の例である。さらに、これらの累積撮影量に応じた情報とともに、イベント撮影量に応じた情報として、女子Ｘの本イベントにおける撮影枚数０枚を表す文字データ「０」のイベント撮影量に応じた情報ｃと、イベント撮影量に応じた情報ｄとして、本イベントにおける撮影枚数０枚に対応する図形である破線で示す囲み枠を、累積撮影量に応じた情報Ｄの囲み枠より小さくして、女子Ｘの撮像画像に重畳した表示画像の例である。これによれば、撮影者は、女子Ｘの累積撮影量の撮影枚数が２枚撮影されているが、本イベントでは全く撮影されていないことを確認することができる。

【0096】

さらに、図１１に示すように、男子Ｙと女子Ｘの２人が撮像画像に写っている場合に、撮影量に応じた情報Ａである撮影枚数１０枚を示す「１０」の文字データと、撮影量に応じた情報Ｂである男子Ｙの囲み枠と、上撮影量に応じた情報Ｃである撮影枚数２枚を示す「２」の文字データと、撮影量に応じた情報Ｄである女子Ｘの囲み枠とを併せて、撮像画像に重畳した表示画像の例である。これにより、撮影者は男子Ｙと女子Ｘの撮影枚数を比較確認することができる。なお、大人数が撮像画像に写っていると検出された場合は、予め決められた撮影枚数以下の人物識別子に対応する顔エリアのみに、撮影量に対応する情報を重畳し、表示してもよい。より具体的には、例えば、大人数が写っている場合を、顔エリアが５人以上検出された場合等と予め既定しておき、５人以上検出された場合、撮影枚数が３枚以下の人物識別子に対応する顔エリアのみに、撮影量に応じた情報を重畳して、表示してもよい。

【0097】

また、図１２に示すように、撮影量に応じた情報として、撮影量が予め定められた閾値以下である人物識別子の人物検出手段１０６により検出された特徴画像における人物領域の画像を用いてもよい。この場合、制御手段２０１は、撮影量に応じた情報として、撮影枚数記憶手段に記憶されている撮影枚数情報に含まれる人物領域の画像から、撮影量が予め定められた閾値以下である人物の人物領域の画像を抽出し、撮像画像に対して小さい表示サイズで、該撮像画像に重畳して、表示画像として表示手段２０８に表示させてもよい。例えば、図１２では、女子Ｘの撮影枚数２枚が、閾値としての３枚以下であるため、女子Ｘの特徴画像における人物領域の画像を撮影量に応じた情報Ｇとして、男子Ｙが写っている撮像画像の左片隅に重畳させた表示画像の例である。なお、撮影量が予め定められた閾値以下である人物の人物領域の画像が既定数以上ある場合は、その中から既定の条件として、例えば、ランダムに抽出する条件や、順番に抽出する条件等を用いてさらに抽出してもよい。また、撮影量が予め定められた閾値以下である人物の人物領域の画像がない、または撮影量の増加で全ての人物の撮影量が閾値より上になった場合は、人物領域の画像は表示されなくなる。これにより、撮影者は撮影枚数が少ない女子Ｘを表示手段２０８に表示される表示画像を見るだけで、認識することができる。

【0098】

なお、上述のような、撮影枚数情報のカウント数、すなわち撮影枚数に対応する色、図形、及び記号は、予め撮影装置５内のメモリ１３に記憶されており、撮影枚数の所定の数値範囲と、色、図形、及び記号とが対応して記憶されている。色は、例えば、１色の場合は、撮影枚数の数値範囲が１０枚未満に対応する色を赤とし、色の場合は、撮影枚数の数値範囲が１０枚未満に対応する色を赤とし、撮影枚数の数値範囲が１０枚以上に対応する色を緑としてもよい。また、３色以上の場合は、例えば、撮影枚数の数値範囲が１０枚未満に対応する色を赤、撮影枚数の数値範囲が１０枚以上３０枚未満に対応する色を緑、撮影枚数の数値範囲が３０枚以上に対応する色を青としてもよい。

【0099】

また、記号の種類で表示する場合、例えば、撮影枚数の数値範囲が１０枚未満に対応する記号を○とし、撮影枚数の数値範囲が１０枚以上に対応する記号を■としてもよい。なお、数値範囲の設定はあまり細かく分けると、例えば多数の人物が表示されている場合において様々な記号や数字が表示画面上の多数の人物に重畳して表示され、却って表示画面が見づらくなる可能性がある。このことから、上述のように３色程度で見分けるようにすることが望ましいが、本発明として、表示の見やすさが担保できれば、数値範囲の細分化を排除する必要もない。

【0100】

なお、情報送信処理手順の後などで、管理装置５０において、例えば担任の先生が、撮影枚数のカウント数の表示指示を入力手段１０８を介して行った場合に、制御手段１０１は、撮影枚数記憶手段１０５に記憶された撮影枚数情報におけるカウント数を、対応する人物識別子毎に表示手段１０９に、数字やグラフ等を用いて、表示するカウント数表示処理を実行してもよい。又は、カウント数の表示指示のタイミングに代えて、撮影装置５から管理装置５０へ撮影画像が転送され撮影画像記憶手段１０３に記憶される際に上記のカウント数表示処理を行ってもよい。また、その際に表示手段１０９に表示させるカウント数は、累積撮影枚数に応じたものを表示しても、イベント撮影枚数に応じたものを表示しても、累積撮影枚数とイベント撮影枚数それぞれに応じたものを分けて表示しても、何れでもよい。また、累積撮影枚数に応じたカウント数と、イベント撮影枚数に応じたカウント数を交互に又は切り替えて表示手段１０９に表示させてもよい。これにより、担任の先生は、園児等の撮影枚数の状況を把握することができる。

【0101】

［第２実施形態］
次に、本発明の第２実施形態における撮影システムについて図１３を参照して説明する。第２実施形態における撮影システムは、撮影装置２００と管理装置１１０からなる構成としている。なお、第１実施形態と同様の構成については説明を省略する。第２実施形態は、管理装置１１０が、第１実施形態のような特徴画像記憶手段１０２、人物検出手段１０６、及び特徴抽出手段１０７を備えていない点が第１実施形態と異なる。つまり、本実施形態は、管理装置１１０において予め特徴情報が生成されず、撮影装置２００において撮像された撮像画像から人物領域を検出し、検出された人物領域から抽出した特徴が、まだ記憶されていない場合に、予め決められた設定により人物識別子を対応付けた特徴情報を、生成することを可能としたものである。

【0102】

本実施形態の表示制御処理手順について図１４を参照して説明する。本実施形態については、図５を用いて説明した第１実施形態の表示制御処理手順とは異なる処理を含む、「特徴情報に基づいて同一人物を照合」できない場合（ステップＳ１４、ＮＯ）以降の処理をメインとして説明する。なお、本図において、ステップＳ１１からステップＳ１３までの処理については、第１実施形態と同様であるため説明を省略する。

【0103】

ステップＳ１４において「特徴情報に基づいて同一人物を照合」できない場合（ステップＳ１４、ＮＯ）、照合手段２０７により、撮像画像の顔エリアから抽出された新たな人物の特徴を新たな特徴情報として特徴情報記憶手段２０３に記憶する（ステップＳ４１）。この新たな特徴情報を記憶する際、既に記憶されている人物の人物識別子とは異なる、一意に人物を特定できる人物識別子を新規に生成し、抽出された人物の特徴に対応付けて、特徴情報記憶手段２０３に記憶する（ステップＳ４２）。このとき、新規に生成した人物識別子に対応するカウント数を「０」にして、撮影枚数記憶手段２０４に記憶された撮影枚数情報を更新する。これは、新規に生成された特徴情報で照合される人物はまだ撮影されていないため、初期状態としてカウント数を「０」とするものである。なお、人物識別子の生成は、例えば、タッチパネル３１を用いて撮影者が入力することにより行っても、予めメモリ１３等に記憶された所定の人物識別子から撮影者が選択することにより行ってもよい。また、人物識別子は、撮影装置２００がメモリ１３等に記憶された人物識別子から自動的に振り分けても、既定のルールに基づいて、日時や撮影装置を識別する識別子等を用いて、生成してもよい。

【0104】

そして、制御手段２０１は、図５のフローチャート同様に、撮影枚数情報のカウント数に応じた色の枠の画像を、新たに抽出された人物の検出された人物領域である、例えば顔エリアに重畳して、表示手段２０８に表示させ（ステップＳ１５）、ステップＳ１６の処理を実行する。なお、ここではカウント数は、「０」とする。

【0105】

その後、操作手段２１０のシャッターボタン（以下、単に「シャッターボタン」という。）が押下された場合（ステップＳ１６、ＹＥＳ）、つまり撮影時に、図５のフローチャート同様に、シャッターボタンが押下のタイミングに合わせて、決定した撮影画像が撮影画像として、撮影画像記憶手段２０２に記憶し、新たに生成した人物識別子に対応するカウント数を「０」から「１」にして、撮影枚数記憶手段２０４に記憶された撮影枚数情報を更新する（ステップＳ１７）。なお、特徴情報は、撮影時に特徴情報記憶手段２０３に記憶するようにしてもよく、人物識別子については、撮影時に新たに生成し、その際、新たに生成された人物識別子に対応するカウント数を「１」としてもよい。ステップＳ１７の後、又は、シャッターボタンが押下されずに、撮像画像が変更された場合（ステップＳ１６、ＮＯ）は、ステップＳ１２に戻る。

【0106】

なお、例えば、第１実施形態のステップＳ１４において、同一人物と照合された特徴情報がある場合（ステップＳ１４、ＹＥＳ）であっても、その特徴情報に、今回新たに抽出した人物の特徴を追加して記憶してもよい。これにより、特徴情報が洗練されるため、人物の照合精度が高まるというメリットがある。

【0107】

さらに、撮影装置２００の特徴情報記憶手段２０３に新たに記憶された特徴情報は、撮影枚数記憶手段２０４に記憶された撮影枚数情報と撮影画像記憶手段２０２に記憶された撮影画像とともに、例えばモード切替スイッチを用いて「送信モード」に切り替えられた情報送信処理手順のときに、通信手段２０９を介して管理装置１１０に送信され、管理装置１１０における特徴情報記憶手段１０４に記憶してもよい。なお、通信手段２０９によらず、ＳＤカード等の外部メモリを介して管理装置１１０の上記各記憶手段に特徴情報や撮影枚数情報、撮影画像を記憶させてもよい。また、本実施形態においては、例えば、担任の先生により、管理装置１１０にて、新たに記憶する人物識別子と園児とを対応させる対応表を別途作成して記憶しておくことが望ましい。

【0108】

［第３実施形態］
次に、本発明の第３実施形態における撮影装置２１５について図１５を参照して説明する。なお、上述した第１実施形態及び第２実施形態と同様の構成については説明を省略する。本実施形態は、つまり、本発明を管理装置の機能を撮影装置に備え、撮影装置２１５単体で実現させる構成である。具体的には、昨今、情報処理機能を備えたデジタルカメラや、あるいは高機能な撮影手段や情報処理機能を備えたスマートフォン等の多機能型形態端末において適用される構成である。なお、本実施形態において、例えば、撮影装置２１５で特徴情報を生成し、生成した特徴情報を特徴情報記憶手段２０３に記憶してもよい。また、撮影装置２１５で生成せずとも、ＳＤカード等の外部メモリに記憶された特徴情報を特徴情報記憶手段２０３に読み込んでもよい。

【0109】

本発明の第３実施形態における撮影装置２１５の処理手順については、管理装置の処理手順を撮影装置２１５で処理し、情報取得処理手順と情報送信処理手順が省略されることを除けば、第１実施形態、又は、第２実施形態の処理手順と同様である。

【0110】

本実施形態によれば、上述した第１実施形態や第２実施形態において、撮影装置と管理装置とで重複する手段を、撮影装置２１５では１つにしたため、第１実施形態や第２実施形態における撮影システムより、構成が簡素化され、コスト削減を図ることができる。また、本実施形態によれば、第１実施形態や第２実施形態のように、通信手段を備える必要がないため、それだけ装置コストを削減することができ、また、通信環境も不要となる。よって、本実施形態によれば、通信環境が十分に整備されていないような状況においても、撮影装置２１５自ら撮像画像における人物の撮影枚数に応じた情報を撮影者に提供することができる。なお、本実施形態においては、撮影装置２１５における各記憶手段の記憶容量節約の観点から、累積よりイベント毎に撮影枚数をカウントすることが望ましい。

【0111】

［第４実施形態］
次に、本発明の第４実施形態における撮影システムについて図１６を参照して説明する。なお、上述した第１実施形態、第２実施形態、及び第３実施形態と同様の構成については説明を省略する。第４実施形態は、上述した各実施形態とは、撮影装置２２０に撮影画像記憶手段、特徴情報記憶手段、撮影枚数記憶手段を備えていない点が相違する。つまり、本実施形態の表示制御処理手順においては、撮影装置２２０は、通信手段２０９を用いネットワーク６０を介して、管理装置１２０に接続し、管理装置１２０の撮影画像記憶手段１０２、特徴情報記憶手段１０４、撮影枚数記憶手段１０５にアクセスして、撮影画像の記憶や特徴情報との照合、撮影枚数情報の読込、更新等の処理を行う。情報取得処理手順と情報送信処理手順は省略される。

【0112】

本実施形態は、例えば、複数の撮影装置としての通信機能を備えたデジタルカメラと管理装置としてのＰＣとがネットワークを介して接続され、運動会等により、複数の撮影者が園児等を撮影する場合に有用である。つまり、複数のデジタルカメラがＰＣに記憶された撮影枚数情報等の各種情報を更新後にすぐに共有することができる。また、本実施形態では、撮影装置が各種記憶手段を備える必要がないため、撮影装置の機能を削減して、低コスト化を図ることができるとともに、撮影装置の負荷を軽減することができる。

【0113】

［変形例１］
本発明の上述した各実施形態に適用される変形例１について説明する。上述した各実施形態においては、照合された特徴情報の人物識別子に対応する撮影枚数情報のカウント数を１つ増加させるようにした。一方、本変形例においては、例えば、検出手段、又は、人物検出手段１０６にて、１つの撮像画像に２人以上の人物が検出された場合に、撮影装置の制御手段、又は、管理装置の制御手段は、所定の基準値に対して検出された人数を用いて計算によりカウント数を算出する。例えば基準値「１」を検出された人数で除算した数値を照合された２人以上の人物それぞれのカウント数に加算する。例えば、２人で写っている場合と、５人で写っている場合とは、ともに同じサイズの撮影画像である限り、写っている人物の大きさとしては、多人数の方が少人数に比較して小さくなり、この例では、２人で写っている場合は「０．５」、５人で写っている場合は「０．２」がカウント数となる。このような場合、同じカウント数では、人物間において不平等感が生まれてしまう。そこで、本変形例のように、大きく写っている人物と、小さく写っている人物とで、カウントの価値あるいは重みを変えることで、人物間の不平等感をなくすことができる。

【0114】

［変形例２］
本発明の上述した各実施形態に適用される変形例２について説明する。本変形例では、例えば上述した第１実施形態に係る撮影装置５における検出手段２０６、又は、管理装置５０における人物検出手段１０６にて、既定の領域の大きさに対する人物領域の大きさの割合を算出し、制御手段２０１、又は、制御手段１０１は、その割合に基づいた数値分、その人物のカウント数を増加させる。ここで、撮影枚数記憶手段２０５、又は、撮影枚数記憶手段１０５に、算出された人物領域の割合を撮影枚数情報に含めて記憶してもよい。

【0115】

本変形例は、撮像画像の大きさ（面積）又は予め既定した人物領域の大きさ（面積）に対する、人物が写っている領域として検出した顔エリア等の人物領域の大きさ（面積）のパーセンテージに基づいて、例えば基準値としての「１」にそのパーセンテージを乗算した値を算出し、その数値分カウント数を増加するというものである。例えば、撮像画像の面積に対して、人物領域の面積が８０％以上なら、基準値「１」に１００％を乗算して「１」を算出し、その人物のカウント数に「１」を増加させる。また、撮像画像の面積に対して、人物領域の面積が８０％未満５０％以上なら、基準値「１」に５０％を乗算して「０．５」を算出し、その人物のカウント数に「０．５」を増加させる。このように、撮像画像の面積に対して、人物領域の面積の割合が少なくなるにつれ、パーセンテージを下げる。また、予め既定した人物領域の面積を１００％とし、既定の人物領域の面積に対する検出した人物領域の比率が少なくなるにつれ、パーセンテージを下げるようにしてもよい。例えば、既定の人物領域の面積に対して、検出した人物領域の面積が８０％なら、基準値「１」に８０％を乗算して「０．８」を算出し、その人物のカウント数に「０．８」を増加させる。また、既定の人物領域の面積に対して、検出した人物領域の面積が５０％なら、基準値「１」に５０％を乗算して「０．５」を算出し、その人物のカウント数に「０．５」を増加させる。本変形例２も上述した変形例１と同様の効果を得ることができる。

【0116】

［変形例３］
本発明の上述した各実施形態に適用される変形例３について説明する。本変形例では、例えば、第１実施形態に係る検出手段２０６、又は、人物検出手段１０６にて、人物領域における人物の基準位置に対する向きに対応する割合を算出し、制御手段２０１、又は、制御手段１０１は、その割合に基づいた数値分、その人物のカウント数を増加させる。ここで、撮影枚数記憶手段１０５に、上記算出された向きに対応する割合を該人物領域における人物の撮影量に乗じて記憶してもよい。例えば、人物領域が顔エリアの場合、人物が正面を向いた顔の状態を人物の基準位置とする。

【0117】

例えば、顔エリアの特徴を抽出する際に、予め既定した顔の向きに対応するパーセンテージに基づいて、例えば、基準値としての「１」にパーセンテージを乗算した値でカウント数を増加する。例えば、基準位置として顔が正面を向いている場合は１００％とし、基準値「１」に１００％を乗算した値「１」を算出し、カウント数に「１」を増加させる。顔の向きに応じてパーセンテージを変更し、横顔になるに従いパーセンテージを下げる。例えば、真横を向いた顔の場合を０％とする。この場合、基準値「１」に０％を乗算した値として「０」が算出されるので、カウント数は増加しない。なお、パーセンテージについては１００％に限定せず、１００％以上に設定してもよい。

【0118】

本変形例により、正面を向いていない人物の撮影枚数が少なくなるので、少ない撮影枚数の人物を優先して撮影していくように撮影者に促すことが可能となる。

【0119】

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した本実施形態の撮影システムにおける各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

【0120】

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

【0121】

また、上述した各実施形態に係る各撮影装置においては、撮像手段により撮像された撮像画像はシャッターボタンが押下されたときに、撮影画像記憶手段２０２に撮影画像として記憶する撮影装置を主として記載したが、これに限定されない。例えば、撮像手段により撮像された撮像画像の複数を一時的にメモリ１３等に記憶しておき、シャッターボタンが押下されたとき、それより一定時間前からメモリ１３等に一時的に記憶された複数の撮像画像を撮影画像として撮影画像記憶手段２０２に記憶する撮影装置にも本発明を適用することができる。これは、具体的には、例えば、赤目防止機能やまばたき防止機能が搭載された撮影装置にも本発明を適用することができるということを担保するものである。

【0122】

なお、上述した各実施形態においては、特徴情報として、例えば検出された顔エリアから特徴抽出手段１０７により抽出された人物の特徴と所定の識別子を組み合わせたデータを用いたがこれに限定されるものではない。例えば、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）タグや、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグ等のＩＣタグ、ＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コード等のバーコード、あるいは名札や服装等を特徴情報として使用して人物の照合を行ってもよい。

【符号の説明】

【0123】

１ 撮影システム
５、２００、２１５、２２０ 撮影装置
６０ ネットワーク
５０、１１０、１２０ 管理装置
１０１、２０１ 制御手段
１０２ 特徴画像記憶手段
１０３、２０２ 撮影画像記憶手段
１０４、２０３ 特徴情報記憶手段
１０５、２０４ 撮影枚数記憶手段
１０６ 人物検出手段
１０７ 特徴抽出手段
１０８ 入力手段
１０９、２０８ 表示手段
１１０、２０９ 通信手段
２０５ 撮像手段
２０６ 検出手段
２０７ 照合手段
２１０ 操作手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】