ホーム > 特許ランキング > 株式会社エクサウィザーズ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-24
(45)【発行日】2022-09-01
(54)【発明の名称】情報処理方法及び情報処理システム
(51)【国際特許分類】
H04N 5/232 20060101AFI20220825BHJP
【ＦＩ】
H04N5/232 290
H04N5/232 300
【請求項の数】
10
(21)【出願番号】P 2021136495
(22)【出願日】2021-08-24
(62)【分割の表示】P 2020198404の分割
【原出願日】2020-11-30
(65)【公開番号】P2022086997
(43)【公開日】2022-06-09
【審査請求日】2021-08-24
【早期審査対象出願】
(73)【特許権者】
【識別番号】517255566
【氏名又は名称】株式会社エクサウィザーズ
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】アブドゥルガニ アブドゥルラーマン
(72)【発明者】
【氏名】玉城 大資
【審査官】吉川 康男
(56)【参考文献】
【文献】特開２０２０－１１５２９４（ＪＰ，Ａ）
【文献】特開２０１９－０５７８１５（ＪＰ，Ａ）
【文献】特開２０１１－０７７８１１（ＪＰ，Ａ）
【文献】特開２０１８－１９６０１０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２３２
(57)【特許請求の範囲】
【請求項1】
複数の撮影装置が、それぞれ、撮影部が撮影した画像から人を検出し、
人の検出結果に基づいて、前記撮影部が撮影した画像から人の顔を検出し、
顔の検出結果に基づいて、顔の表情又は向きを検出し、
前記撮影部が撮影した画像に写された人毎に、当該人が写され且つ検出した顔の表情又は向きに関する第１の条件を満たす画像の数をカウントし、
前記撮影部が撮影した複数の画像から、各人の画像数が同程度となるように画像を選別してサーバ装置へ送信し、
前記サーバ装置が、
複数の前記撮影装置により撮影された複数の画像を受信し、
受信した画像に写された人毎に、当該人が写され且つ第２の条件を満たす画像の数をカウントし、
複数の前記撮影装置により撮影された複数の画像から、各人の画像数が同程度となるように画像を選別する、
情報処理方法。
【請求項2】
前記撮影装置が、人の検出結果に基づいて、前記撮影部が撮影した画像から人のプライバシーに関する不適切な画像を除去する、請求項１に記載の情報処理方法。
【請求項3】
前記撮影装置が、前記撮影部が撮影した画像を圧縮した圧縮画像を生成し、
人の検出を、前記圧縮画像に基づいて行い、
前記第１の条件を満たすか否かの判定を、前記撮影部が撮影した非圧縮の画像に基づいて行い、
前記非圧縮の画像を前記サーバ装置へ送信する、
請求項１又は請求項２に記載の情報処理方法。
【請求項4】
前記撮影装置が、画像に対して行った検出及び判定の結果に関する情報を、当該画像と共に前記サーバ装置へ送信する、請求項１から請求項３までのいずれか１つに記載の情報処理方法。
【請求項5】
前記サーバ装置が、前記撮影装置から受信した画像に含まれる人の行動を判定し、前記第２の条件には、判定した行動に関する条件を含む、
請求項１から請求項４までのいずれか１つに記載の情報処理方法。
【請求項6】
前記サーバ装置が、前記撮影装置による検出又は判定の結果に関する情報を取得し、
取得した情報に基づいて画像の採点を行い、
前記第２の条件には、採点結果に関する条件を含む、
請求項１から請求項５までのいずれか１つに記載の情報処理方法。
【請求項7】
前記サーバ装置が、画像に含まれる人を識別する識別情報を当該画像に付す、請求項１から請求項６までのいずれか１つに記載の情報処理方法。
【請求項8】
前記サーバ装置が、選別した画像から人が写された画像領域を抽出し、
抽出した画像領域の解像度を高めた画像を生成する、
請求項１から請求項７までのいずれか１つに記載の情報処理方法。
【請求項9】
前記サーバ装置は、選別した画像に写された施設の利用者を識別する識別情報を当該画像に付し、
前記利用者に対応付けられた端末装置へ、当該利用者の識別情報が付された画像を送信する、
請求項１から請求項８までのいずれか１つに記載の情報処理方法。
【請求項10】
撮影部が撮影した画像から人を検出する第１検出部、前記第１検出部による人の検出結果に基づいて、前記撮影部が撮影した画像から人の顔を検出する第２検出部、前記第２検出部による顔の検出結果に基づいて、顔の表情又は向きを検出する第３検出部、前記撮影部が撮影した画像に写された人毎に、当該人が写され且つ検出した顔の表情又は向きに関する第１の条件を満たす画像の数をカウントするカウント部、及び、前記撮影部が撮影した複数の画像から、各人の画像数が同程度となるように画像を選別して送信する送信部をそれぞれ有する複数の撮影装置と、複数の前記撮影装置が送信した複数の画像を受信する受信部、受信した画像に写された人毎に、当該人が写され且つ第２の条件を満たす画像の数をカウントするカウント部、及び、複数の前記撮影装置により撮影された複数の画像から、各人の画像数が同程度となるように画像を選別する選別部を有するサーバ装置と
を備える、情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影した画像の送受信を行う情報処理方法及び情報処理システムに関する。
【背景技術】
【0002】
特許文献１においては、ネットワークに接続された画像記録装置に画像データを送信する画像送信装置が記載されている。この画像送信装置は、使用者による操作に基づいて送信対象の元画像を選択し、選択された元画像を縮小した縮小画像を生成する。画像送信装置は、通信環境を検出して、第１の通信環境である場合に縮小画像を送信し、第２の通信環境である場合に元画像を送信する。
【0003】
近年、特許文献１に記載の画像送信装置のようにカメラ等が撮影した画像をサーバ装置へ送信する技術、及び、サーバ装置からユーザの端末装置等へ画像を送信する技術が広く利用されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１２－２１７１６６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ネットワークを介して画像の送受信を行うシステムにおいては、大量の画像を送受信することで通信負荷が増大するという問題がある。通信負荷の増大を抑制するために、例えば画像を圧縮して送信することが行われる。しかしながら、例えば画像の送信先の装置において何らかの画像処理を行う場合、圧縮した画像に対して画像処理を行うと処理の精度が低下する虞がある。
【0006】
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、画像の送受信による通信負荷の増大を抑制することが期待できる情報処理方法及び情報処理システムを提供することにある。
【課題を解決するための手段】
【0007】
一実施形態に係る情報処理方法は、複数の撮影装置が、それぞれ、撮影部が撮影した画像から人を検出し、人の検出結果に基づいて、前記撮影部が撮影した画像から人の顔を検出し、顔の検出結果に基づいて、顔の表情又は向きを検出し、前記撮影部が撮影した画像に写された人毎に、当該人が写され且つ検出した顔の表情又は向きに関する第１の条件を満たす画像の数をカウントし、前記撮影部が撮影した複数の画像から、各人の画像数が同程度となるように画像を選別してサーバ装置へ送信し、前記サーバ装置が、複数の前記撮影装置により撮影された複数の画像を受信し、受信した画像に写された人毎に、当該人が写され且つ第２の条件を満たす画像の数をカウントし、複数の前記撮影装置により撮影された複数の画像から、各人の画像数が同程度となるように画像を選別する。
【発明の効果】
【0008】
一実施形態による場合は、画像の送受信による通信負荷の増大を抑制することが期待できる。
【図面の簡単な説明】
【0009】
【図1】本実施の形態に係る情報処理システムの概要を説明するための模式図である。
【図2】本実施の形態に係るカメラの構成を示すブロック図である。
【図3】本実施の形態に係るサーバ装置の構成を示すブロック図である。
【図4】本実施の形態に係る端末装置の構成を示すブロック図である。
【図5】本実施の形態に係るカメラが行う画像選別処理の手順を示すフローチャートである。
【図6】カメラによる同一シーン判定を説明するための模式図である。
【図7】カメラが送信する画像に付すメタデータの一例を示す模式図である。
【図8】本実施の形態に係るサーバ装置が行う画像選別処理の手順を示すフローチャートである。
【図9】本実施の形態に係るサーバ装置が行う画像送信処理の手順を示すフローチャートである。
【図10】端末装置が表示する検索条件設定画面の一例を示す模式図である。
【図11】本実施の形態に係る端末装置が行う処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0010】
本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【0011】
＜システム概要＞
図１は、本実施の形態に係る情報処理システムの概要を説明するための模式図である。本実施の形態に係る情報処理システムは、施設１００に設置された一又は複数のカメラ１が撮影した画像をサーバ装置３へ送信し、カメラ１から受信した画像をサーバ装置３がユーザの端末装置５へ送信するシステムである。図示の例では、施設１００として保育園又は幼稚園等が示されている。保育園又は幼稚園等の施設１００に設置されたカメラ１は、例えば所定の周期で繰り返し自動的に施設１００内の撮影、施設１００を利用する利用者（本例では子供）の撮影を行っている。カメラ１は携帯電話通信網及びインターネット等のネットワークを介した通信を行う機能を備えており、カメラ１は撮影した画像をサーバ装置３へ送信する。
図１は、本実施の形態に係る情報処理システムの概要を説明するための模式図である。本実施の形態に係る情報処理システムは、施設１００に設置された一又は複数のカメラ１が撮影した画像をサーバ装置３へ送信し、カメラ１から受信した画像をサーバ装置３がユーザの端末装置５へ送信するシステムである。図示の例では、施設１００として保育園又は幼稚園等が示されている。保育園又は幼稚園等の施設１００に設置されたカメラ１は、例えば所定の周期で繰り返し自動的に施設１００内の撮影、施設１００を利用する利用者（本例では子供）の撮影を行っている。カメラ１は携帯電話通信網及びインターネット等のネットワークを介した通信を行う機能を備えており、カメラ１は撮影した画像をサーバ装置３へ送信する。
【0012】
サーバ装置３は、ネットワークを介してカメラ１から画像を受信し、受信した画像を記憶装置に記憶して蓄積する。またサーバ装置３は、施設１００の利用者（本例では子供、子供の保護者又は保育士等）に対応付けられたスマートフォン又はＰＣ（パーソナルコンピュータ）等の端末装置５へ、蓄積した画像を送信する。これにより例えば保育園又は幼稚園等の施設１００に子供を預けている保護者は、施設１００で過ごす子供の様子をカメラ１にて撮影した画像を自身の端末装置５にて閲覧することができる。また例えば施設１００の保育士等は、子供の写真を撮影するという業務を行うことなく、施設１００で過ごす子供の様子をカメラ１にて撮影した画像を端末装置５にて取得することができ、例えばフォトアルバムの作成又は施設１００内での写真の掲示等を行うことができる。
【0013】
例えば施設１００に設置されたカメラ１が１日に自動的に撮影する画像は数千枚～数十万枚であり、この大量の撮影画像の全てを利用者に提供しても、利用者が画像の管理等を行うことは容易ではない。そこで本実施の形態に係る情報処理システムでは、カメラ１が撮影した大量の画像から適宜に画像を選別し、例えば１日に数十枚～数百枚の画像をサーバ装置３が記憶して蓄積する。またサーバ装置３は、蓄積した画像の中から例えば利用者毎に適した画像を選択して端末装置５へ送信する。これにより利用者が端末装置５にて閲覧又は取得等する画像は、１日に数十枚～数百枚程度となる。なお画像の枚数は一例であって、これに限るものではない。
【0014】
またカメラ１が撮影した大量の画像の全てをサーバ装置３へ送信する場合、カメラ１及びサーバ装置３の間の通信量が増大し、ネットワークの通信負荷が増大する虞がある。そこで本実施の形態に係る情報処理システムでは、画像処理及び情報処理等を行うことが可能なカメラ１を用いて、カメラ１にて画像を選別する処理を行い、大量の画像から選別された小量の画像のみをサーバ装置３へ送信する。撮影した全ての画像に対して枚数を例えば百分の一に低減してカメラ１からサーバ装置３へ送信することで、カメラ１及びサーバ装置３の間のネットワークの負荷は、全ての画像を送信する場合と比較して百分の一程度に低減することが期待できる。
【0015】
本実施の形態に係るカメラ１は、例えば撮影した画像から人（子供）を検出する処理を行い、人が写されている画像を選別し、人が写されていない画像を除去する。またカメラ１は、人が写されている画像のうち、例えば写されている人がおむつをしている画像、着替え中の画像又は裸の画像等のように、プライバシーに関して不適切な画像を除去してもよい。またカメラ１は、人が写されている画像について人の顔を検出する処理、顔の表情を検出する処理、及び、顔の向きを検出する処理等を行い、これらの処理結果に基づいて画像の選別を行ってもよい。これにより例えばカメラ１は、正面を向いた笑顔が写された画像を選別してサーバ装置３へ送信することができる。なおカメラ１は、これら以外の種々の条件に基づいてサーバ装置３へ送信する画像の選別を行ってよい。
【0016】
本実施の形態に係るサーバ装置３は、カメラ１から受信した画像を記憶して蓄積すると共に、これらの画像に対して種々の画像処理及び情報処理を行い、利用者の端末装置５へ画像を送信する。例えばサーバ装置３は、画像に写された人がどのような行動をしているかを判断する行動認識の処理を行い、子供がハイハイをしている画像又は食事をしている画像等のように特定シーンの画像を選別して端末装置５へ送信してもよい。また例えばサーバ装置３は、画像に写された人が誰であるかを判断する処理を行い、子供が写された画像をその保護者の端末装置５へ送信してもよい。また例えばサーバ装置３は、画像全体に対して写されている人が小さい場合に、画像からこの人が写された画像領域を抽出し、抽出した画像領域の解像度を高めて拡大する画像処理を行って、拡大した画像を端末装置５へ送信してもよい。なおサーバ装置３は、これら以外の種々の条件に基づいて端末装置５へ送信する画像の選別を行ってよい。
【0017】
また本実施の形態に係る情報処理システムでは、利用者毎にこの利用者が写された画像が選別された数をカウントし、利用者毎の画像の数が均一となるように、画像の選別を行う。利用者毎の画像数を均一化する処理は、カメラ１が行ってもよく、サーバ装置３が行ってもよい。本実施の形態に係る情報処理システムでは、カメラ１が利用者毎の画像数を均一化するよう選別した画像をサーバ装置３へ送信すると共に、サーバ装置３においても利用者毎の画像数を均一化するよう選別して画像を記憶する。これは、１つの施設１００に複数のカメラ１が設置されている場合に、各カメラ１で均一化を行うと共に、サーバ装置３が複数のカメラ１から受信した画像を対象に均一化を行うことを想定している。１つの施設１００に１つのカメラ１のみが設置される場合には、カメラ１又はサーバ装置３のいずれか一方でのみ均一化を行ってもよい。
【0018】
サーバ装置３から端末装置５への画像の送信は、どのような態様で行われてもよい。例えばサーバ装置３は、１日の定められた時刻に、その日に撮影された画像を端末装置５へ送信してもよい。これは、いわゆるプッシュ型の情報送信の方法である。また例えば、サーバ装置３は日時等に基づいて画像を分類して記憶し、端末装置５からの要求に応じてサーバ装置３が画像を送信してもよい。これは、いわゆるプル型の情報送信の方法であり、端末装置５は送信を要求する画像についての条件を指定することが可能であってもよい。条件には、例えば撮影された日時を指定する条件、笑顔又は泣き顔等の表情を指定する条件、ハイハイ又は食事等の行動を指定する条件、及び、我が子等の特定の人を指定する条件等が含まれ得る。サーバ装置３は、蓄積した画像の中から、指定された条件を満たす画像を選別して要求元の端末装置５へ送信する。
【0019】
また本実施の形態に係る情報処理システムでは、利用者が自ら撮影した画像を条件として与えることにより、この画像に写された人と同じ人（同じ又は類似の特徴を有する人）が写された画像の送信をサーバ装置３に要求することができる。利用者は例えば我が子を撮影した画像を端末装置５に読み込ませる操作を行い、端末装置５はこの画像に写された人の特徴を抽出する処理を行い、抽出した特徴を示すデータをサーバ装置３へ送信する。サーバ装置３は、端末装置５から受信した特徴のデータに基づいて、記憶した画像に写された人の特徴との比較を行い、特徴が一致する又は類似する人が写された画像を選別して端末装置５へ送信する。これにより、利用者が多くの画像の中から所望の人が写された画像を取得することを容易化することが期待できる。
【0020】
なお本例では保育園又は幼稚園等の施設１００にて子供の撮影を行う場合について説明したが、本実施の形態に係る情報処理システムの適用は保育園又は幼稚園等の施設１００に限られない。施設１００は、例えば遊園地又はテーマパーク等の商業施設であってもよく、また例えばスポーツ又はイベント等が開催される会場等の施設であってもよく、また例えば利用者の自宅であってもよい。またカメラ１による撮影対象は、人でなくてもよく、例えば動物園の動物又は自宅のペット等であってもよい。
【0021】
＜装置構成＞
図２は、本実施の形態に係るカメラ１の構成を示すブロック図である。本実施の形態に係るカメラ１は、いわゆるエッジカメラ、ＡＩ（Artificial Intelligence）エッジカメラ又はエッジＡＩカメラ等の名称で呼ばれ得る装置であり、画像の撮影を行う撮影部１１と共に、高度な演算処理を行う情報処理装置２０を装置内に備えている。
図２は、本実施の形態に係るカメラ１の構成を示すブロック図である。本実施の形態に係るカメラ１は、いわゆるエッジカメラ、ＡＩ（Artificial Intelligence）エッジカメラ又はエッジＡＩカメラ等の名称で呼ばれ得る装置であり、画像の撮影を行う撮影部１１と共に、高度な演算処理を行う情報処理装置２０を装置内に備えている。
【0022】
撮影部１１は、レンズ及び撮像素子等を備えて構成されている。撮像素子は、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等であり、レンズが収束した像を撮影し、撮影により得られる画像のデータを出力する。本実施の形態において撮影部１１は、撮影により得られる画像のデータを圧縮することなく、例えばビットマップ形式等のような非圧縮の画像データとして情報処理装置２０へ出力する。
【0023】
情報処理装置２０は、カメラ１の各部の動作を制御すると共に、撮影部１１の撮影により得られた画像を利用する種々の処理を行う。本実施の形態に係る情報処理装置２０は、処理部２１、入出力部２２、記憶部２３及び通信部２４等を備えて構成されている。処理部２１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の演算処理装置、ＲＯＭ（Read Only Memory）、及び、ＲＡＭ（Random Access Memory）等を用いて構成されている。処理部２１は、記憶部２３に記憶されたプログラム２３ａを読み出して実行することにより、撮影部１１による撮影を制御する処理、及び、撮影により得られた画像を選別する処理等の種々の処理を行う。
【0024】
入出力部２２は、撮影部１１との間でデータの入出力を行う。入出力部２２は、例えば信号線を介して撮影部１１と接続されており、信号線を介したシリアル通信又はパラレル通信等によりデータの入出力を行う。入出力部２２は、処理部２１から与えられた制御命令等のデータを撮影部１１へ送信すると共に、撮影部１１から入力された画像のデータを処理部２１へ与える。
【0025】
記憶部２３は、例えばフラッシュメモリ又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の不揮発性のメモリ素子を用いて構成されている。記憶部２３は、処理部２１が実行する各種のプログラム、及び、処理部２１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部２３は、処理部２１が実行するプログラム２３ａを記憶する。また記憶部２３は、撮影部１１が撮影した画像のデータ等を記憶してもよい。
【0026】
本実施の形態においてプログラム２３ａは、例えばカメラ１の製造段階において記憶部２３に書き込まれる。また例えばプログラム２３ａは、遠隔のサーバ装置等が配信するものをカメラ１が通信にて取得してもよい。また例えばプログラム２３ａは、メモリカード又は光ディスク等の記録媒体に記録された態様で提供され、カメラ１は記録媒体からプログラム２３ａを読み出して記憶部２３に記憶してもよい。また例えばプログラム２３ａは、記録媒体に記録されたものを書込装置が読み出してカメラ１の記憶部２３に書き込んでもよい。プログラム２３ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体に記録された態様で提供されてもよい。
【0027】
通信部２４は、携帯電話通信網、無線ＬＡＮ（Local Area Network）又はインターネット等のネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部２４は、サーバ装置３との間で通信を行い、撮影部１１が撮影した画像のデータをサーバ装置３へ送信する。通信部２４は、処理部２１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部２１へ与える。
【0028】
また本実施の形態に係るカメラ１の処理部２１には、記憶部２３に記憶されたプログラム２３ａを処理部２１が読み出して実行することにより、人検出部２１ａ、不適切画像検出部２１ｂ、顔検出部２１ｃ、表情向き検出部２１ｄ、画像選別部２１ｅ及び画像送信処理部２１ｆ等がソフトウェア的な機能部として実現される。
【0029】
人検出部２１ａは、撮影部１１が撮影した画像に写された人を検出する処理を行う。また本実施の形態に係るカメラ１は、撮影部１１から取得した非圧縮の撮影画像のデータを基に、この画像を圧縮した圧縮画像のデータを生成し、生成した圧縮画像を基に人検出部２１ａが人を検出する処理を行う。人検出部２１ａは、例えば予め機械学習がなされた学習モデルを用いて、画像から人を検出する。学習モデルは、例えば画像のデータを入力として受け付けて、この画像に含まれる人が写された画像領域（を示す座標等のデータ）を出力するように予め機械学習がなされる。学習モデルは、例えば画像のデータと、この画像に含まれる人が写された画像領域を示すデータとが対応付けられた教師データを用いて機械学習がなされる。また保育園又は幼稚園等の施設１００にて撮影された画像を基に検出する対象の人を子供とする場合、子供が写された画像データを用いて教師データを作成することにより、子供の検出精度を高めることが期待できる。人検出部２１ａは、撮影部１１が撮影した画像を圧縮した圧縮画像を学習モデルへ入力し、学習モデルが出力する人の検出結果を取得して、取得した検出結果を顔検出部２１ｃへ与える。また人検出部２１ａは、画像から人が検出されなかった場合、即ち画像に人が写されていない場合、この画像を除去して後続の処理の対象から外す。
【0030】
不適切画像検出部２１ｂは、撮影部１１が撮影した画像から不適切と判断される画像を検出して除去する処理を行う。本実施の形態において不適切な画像は、例えば施設１００として保育園又は幼稚園等にカメラ１が設置される場合、子供がおむつをしている姿が映された画像、裸（上半身のみ裸又は下半身のみ裸等を含む）の姿の子供が写された画像、及び、着替え中の子供が写された画像等のように、写された子供のプライバシー等に関わる画像が含まれる。不適切画像検出部２１ｂは、例えば予め機械学習がなされた学習モデルを用いて、画像が不適切であるか否かを判定する。学習モデルは、例えば画像のデータを入力として受け付けて、この画像がどの程度適切であるかを示す適切度等の数値を出力するように予め機械学習がなされる。学習モデルは、例えば画像のデータと、この画像が適切であるか否かを示すラベル（適切であればラベル１、不適切であればラベル０など）とを対応付けた教師データを用いて機械学習がなされる。不適切な画像の特徴を学習モデルに予め学習させておくことで、不適切な画像と同じ又は類似する特徴を有する画像を学習モデルが判別することが可能となる。本実施の形態において不適切画像検出部２１ｂは、撮影部１１が撮影した非圧縮の画像のデータを学習モデルへ入力し、学習モデルが出力する適切度を取得し、取得した適切度が予め定められた閾値を超えるか否かに応じて画像が適切であるか否かを判断する。不適切画像検出部２１ｂは、適正ではない、即ち不適切であると判断した画像を除去して後続の処理の対象から外す。
【0031】
顔検出部２１ｃは、人検出部２１ａによる人検出結果を利用して、撮影部１１が撮影した画像に写された人の顔を検出する処理を行う。顔検出部２１ｃは、例えば予め機械学習がなされた学習モデルを用いて、画像から人の顔を検出する。学習モデルは、例えば画像のデータと人検出結果とを入力として受け付けて、この画像に含まれる人の顔が写された画像領域を出力するように予め機械学習がなされる。又は、画像から人が写された画像領域を抽出したデータを学習モデルへの入力としてもよい。学習モデルは、例えば画像のデータ及び人検出結果のデータと、この画像に含まれる人の顔が写された画像領域を示すデータとが対応付けられた教師データを用いて機械学習がなされる。顔検出部２１ｃは、撮影部１１が撮影した非圧縮の画像のデータと、人検出部２１ａによる人検出結果のデータとを学習モデルへ入力し、学習モデルが出力する人の顔の検出結果を取得して、取得した検出結果を表情向き検出部２１ｄへ与える。
【0032】
表情向き検出部２１ｄは、顔検出部２１ｃによる人の顔の検出結果を利用して、検出された人の顔の表情を検出する処理、及び、検出された人の顔の向きを検出する処理を行う。本実施の形態において表情向き検出部２１ｄは、顔の表情として笑顔を検出するものとするが、これに限るものではなく、笑顔以外の表情を検出してもよい。表情を検出する処理において表情向き検出部２１ｄは、例えば予め機械学習がなされた学習モデルを用いて、画像に写された人の顔の表情を検出する。学習モデルは、例えば画像のデータと顔検出結果とを入力として受け付けて、この画像に写された人の顔の表情が笑顔である確信度を出力するように予め機械学習がなされる。又は、画像から人の顔が写された画像領域を抽出したデータを学習モデルへの入力としてもよい。学習モデルは、例えば画像のデータ及び顔検出結果のデータと、この画像に写された人の顔の表情が笑顔であるか否かを示すラベル（笑顔であればラベル１、笑顔でなければラベル０など）とを対応付けた教師データを用いて機械学習がなされる。本実施の形態において表情向き検出部２１ｄは、撮影部１１が撮影した非圧縮の画像のデータと顔検出部２１ｃによる顔検出の結果のデータとを学習モデルへ入力し、学習モデルが出力する笑顔の確信度を取得し、取得した確信度が予め定められた閾値を超えるか否かに応じて、表情が笑顔であるか否かを判断する。
【0033】
また顔の向きを検出する処理において表情向き検出部２１ｄは、例えば検出された人の顔から目、口及び鼻等の位置を検出し、検出した各部位の位置関係などに基づいて顔の向きを判断する。表情向き検出部２１ｄは、例えば正面向きを０°とし、左右に±９０°の範囲で顔の向きを角度の数値として出力してもよく、また例えば顔の向きが正面を向いているか否かを二値情報として出力してもよく、また例えば顔の向きが正面である確信度を出力してもよく、これら以外の情報を顔の向きの検出結果として出力してもよい。
【0034】
又は、表情向き検出部２１ｄは、予め機械学習がなされた学習モデルを用いて、人の顔の向きを検出してもよい。学習モデルは、例えば画像のデータと顔検出結果とを入力として受け付けて、この画像に写された人の顔の向きが正面である確信度を出力するように予め機械学習がなされる。又は、画像から人の顔が写された画像領域を抽出したデータを学習モデルへの入力としてもよい。学習モデルは、例えば画像のデータ及び顔検出結果のデータと、この画像に写された人の顔の向きが正面であるか否かを示すラベル（正面であればラベル１、正面でなければラベル０など）とを対応付けた教師データを用いて機械学習がなされる。本実施の形態において表情向き検出部２１ｄは、撮影部１１が撮影した非圧縮の画像のデータと顔検出部２１ｃによる顔検出の結果のデータとを学習モデルへ入力し、学習モデルが出力する顔の向きが正面である確信度を取得し、取得した確信度が予め定められた閾値を超えるか否かに応じて、顔の向きが正面であるか否かを判断する。
【0035】
画像選別部２１ｅは、表情向き検出部２１ｄが検出した人の顔の表情及び向きに基づいて、サーバ装置３へ送信する画像と、サーバ装置３へ送信せずに除去する画像とを選別する処理を行う。本実施の形態において画像選別部２１ｅは、例えば画像に写された人の顔が正面を向いており、且つ、表情が笑顔である画像をサーバ装置３へ送信する画像とし、これ以外の画像を除去する。なお画像の選別の条件は一例であって、これに限るものではない。画像選別部２１ｅは、送信するものと選別した画像を、画像送信処理部２１ｆへ与える。
【0036】
画像送信処理部２１ｆは、画像選別部２１ｅが送信すると選別した画像をサーバ装置３へ送信する処理を行う。また画像送信処理部２１ｆは、送信する画像について、人検出部２１ａによる人の検出結果、顔検出部２１ｃによる顔の検出結果、表情向き検出部２１ｄによる顔の表情及び向きの検出結果に関するデータを取得し、取得したこれらのデータをいわゆるメタデータとして画像に付してサーバ装置３へ送信する。また画像に付すデータには、画像の撮影日時、カメラ１に付されたカメラＩＤ、及び、カメラ１が設置された施設１００の施設ＩＤ等の情報が含まれ得る。
【0037】
なお、本実施の形態に係るカメラ１が用いる種々の学習モデルの機械学習は、カメラ１が行ってもよく、カメラ１以外の装置が行ってもよい。学習モデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部２３にはこの演算を規定する関数の係数及び閾値等のデータが学習モデルとして記憶される。学習モデルは、例えば複数のニューロンが相互に結合したニューラルネットワークの構造をなす。ニューロンは複数の入力に対して演算を行い、演算結果として１つの値を出力する素子である。ニューロンは、演算に用いられる重み付けの係数及び閾値等の情報を有している。ニューラルネットワークの学習モデルは、一又は複数のデータの入力を受け付ける入力層と、入力層にて受け付けられたデータに対して演算処理を行う中間層と、中間層の演算結果を集約して一又は複数の値を出力する出力層とを備えている。深層学習及び強化学習等の機械学習の処理は、予め与えられた多数の教師データを用いて、ニューラルネットワークを構成する各ニューロンの係数及び閾値等に適切な値を設定する処理である。カメラ１が用いる学習モデルは、例えばニューラルネットワークの学習モデルに対して教師データを用いた深層学習がなされた学習済のモデルであり、例えば勾配降下法、確率的勾配降下法又は誤差逆伝播法等の手法により学習がなされる。なお学習モデルを機械学習する処理の詳細は、既存の技術であるため省略する。また学習モデルはニューラルネットワークの構造でなくてもよく、例えばＳＶＭ（Support Vector Machine）又は決定木等であってもよい。
【0038】
また本実施の形態においてカメラ１は、人検出部２１ａによる人の検出処理を撮影した画像を圧縮した圧縮画像で行い、これ以外の処理については非圧縮の画像で行う。カメラ１からサーバ装置３へ送信する画像は、非圧縮の画像のデータである。ただし、人検出部２１ａの検出処理を非圧縮の画像で行ってもよく、不適切画像検出部２１ｂ、顔検出部２１ｃ又は表情向き検出部２１ｄの検出処理を圧縮画像で行ってもよい。カメラ１からサーバ装置３へ送信する画像は非圧縮であることが好ましいが、圧縮画像であってもよい。又は、カメラ１からサーバ装置３へ可逆圧縮の方式で画像を圧縮して送信してもよく、この場合にはサーバ装置３にて受信した圧縮画像を展開する処理を行って元の画像を取得する。
【0039】
図３は、本実施の形態に係るサーバ装置３の構成を示すブロック図である。本実施の形態に係るサーバ装置３は、処理部３１、記憶部（ストレージ）３２及び通信部（トランシーバ）３３等を備えて構成されている。なお本実施の形態においては、１つのサーバ装置にて処理が行われるものとして説明を行うが、複数のサーバ装置が分散して処理を行ってもよい。
【0040】
処理部３１は、ＣＰＵ、ＭＰＵ又はＧＰＵ等の演算処理装置、ＲＯＭ及びＲＡＭ等を用いて構成されている。処理部３１は、記憶部３２に記憶されたサーバプログラム３２ａを読み出して実行することにより、カメラ１から受信した画像を選別する処理、選別した画像を記憶して蓄積する処理、及び、選別した画像を利用者の端末装置５へ送信する処理等の種々の処理を行う。
【0041】
記憶部３２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部３２は、処理部３１が実行する各種のプログラム、及び、処理部３１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部３２は、処理部３１が実行するサーバプログラム３２ａを記憶すると共に、カメラ１から受信した画像を記憶して蓄積する画像記憶部３２ｂと、利用者に関する情報を記憶するユーザＤＢ（データベース）３２ｃとが設けられている。
【0042】
本実施の形態においてサーバプログラム３２ａは、メモリカード又は光ディスク等の記録媒体９９に記録された態様で提供され、サーバ装置３は記録媒体９９からサーバプログラム３２ａを読み出して記憶部３２に記憶する。ただし、サーバプログラム３２ａは、例えばサーバ装置３の製造段階において記憶部３２に書き込まれてもよい。また例えばサーバプログラム３２ａは、遠隔の他のサーバ装置等が配信するものをサーバ装置３が通信にて取得してもよい。例えばサーバプログラム３２ａは、記録媒体９９に記録されたものを書込装置が読み出してサーバ装置３の記憶部３２に書き込んでもよい。サーバプログラム３２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。
【0043】
画像記憶部３２ｂは、カメラ１から受信し、サーバ装置３にて選別された画像を記憶する。画像記憶部３２ｂは、例えばカメラ１が設置された施設１００のＩＤ、カメラ１が複数設置される場合には各カメラ１のＩＤ、及び、画像が撮影された日時等により複数の画像を分類して記憶する。なお本実施の形態においては、カメラ１からサーバ装置３へ非圧縮の画像が送信されるが、受信した画像に対するサーバ装置３の各種の検出及び判定等の処理を終えた後であれば、画像記憶部３２ｂに記憶する画像及び端末装置５へ送信する画像は受信した画像を圧縮した画像であってもよい。
【0044】
ユーザＤＢ３２ｃは、本実施の形態に係る情報処理システムが提供するサービスについて利用登録を行った利用者に関する情報を記憶するデータベースである。ユーザＤＢ３２ｃには、例えば利用者として保護者の名前及びＩＤ等、子供の名前及びＩＤ等、施設１００のＩＤ、並びに、画像の送信先（例えば端末装置５のＩＤ又はメールアドレス等）の情報が対応付けて記憶される。またユーザＤＢ３２ｃには、カメラ１による撮影の被写体となり得る人、本例において子供の顔写真等の画像又はこのような画像から抽出された子供の特徴に関するデータ等が記憶されてもよい。
【0045】
サーバ装置３の通信部３３は、携帯電話通信網、無線ＬＡＮ及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部３３は、ネットワークＮを介して、カメラ１及び端末装置５との間で通信を行う。通信部３３は、処理部３１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部３１へ与える。
【0046】
なお記憶部３２は、サーバ装置３に接続された外部記憶装置であってよい。またサーバ装置３は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置３は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。
【0047】
また本実施の形態に係るサーバ装置３には、記憶部３２に記憶されたサーバプログラム３２ａを処理部３１が読み出して実行することにより、画像受信処理部３１ａ、行動判定部３１ｂ、ＩＤ付与部３１ｃ、画像選別部３１ｄ、画像補正部３１ｅ及び画像送信処理部３１ｆ等が、ソフトウェア的な機能部として処理部３１に実現される。
【0048】
画像受信処理部３１ａは、カメラ１が送信する画像を通信部３３にて受信する処理を行う。例えば画像受信処理部３１ａは、受信した画像に付されたデータに基づいて、画像の撮影日時、撮影したカメラ１のＩＤ及びカメラ１が設置された施設１００のＩＤ等に対応付けて、画像を分類して記憶部３２に一時的に記憶する。なお画像受信処理部３１ａによって記憶部３２に一時的に記憶された画像は、画像選別処理により選別がなされ、記憶部３２の画像記憶部３２ｂに記憶して蓄積されるか、又は、記憶部３２から消去される。
【0049】
行動判定部３１ｂは、カメラ１から受信した画像に写された人がどのような行動を行っているかを判定する処理を行う。行動判定部３１ｂは、例えば予め機械学習がなされた学習モデルを用いて、画像に写された人の行動を判定する。学習モデルは、例えば画像のデータを入力として受け付け、この画像に写された人の行動が所定の行動である確信度を出力するように予め機械学習がなされる。本実施の形態においては、所定の行動として例えばハイハイをしている確信度を出力する学習モデル、及び、食事をしている確信度を出力する学習モデル等のように、行動毎に学習モデルが予め作成される。学習モデルは、例えば画像のデータと、この画像に写された人が所定の行動を行っているか否かを示すラベルとを対応付けた教師データを用いて機械学習がなされる。本実施の形態において行動判定部３１ｂは、カメラ１から受信した画像のデータを各学習モデルへ入力し、学習モデルが出力する各行動の確信度を取得する。行動判定部３１ｂは、複数の行動に関する確信度を比較し、最も確信度が高い行動を、画像に写された人が行っている行動と判定する。行動判定部３１ｂは、判定結果に関するデータを画像に付す。
【0050】
ＩＤ付与部３１ｃは、カメラ１から受信した画像に写された人を識別するＩＤを付与する処理を行う。ＩＤ付与部３１ｃは、例えば画像に写された人の顔の特徴量を抽出し、ユーザＤＢ３２ｃに登録された顔の画像又はこの画像から抽出した特徴量との比較を行う。ＩＤ付与部３１ｃは、カメラ１の画像に写された人の顔の特徴量と一致する又は類似する特徴量がユーザＤＢ３２ｃに登録されている利用者（子供）を検索し、該当する利用者のＩＤをこの画像に付す。ＩＤ付与部３１ｃは、例えば顔の画像を入力として受け付けて、この顔の特徴量として多次元のベクトル情報を出力する学習モデルを用いて、カメラ１が撮影した画像に写された人の顔の特徴量の抽出を行う。ユーザＤＢ３２ｃに顔の特徴量を登録する際にも、同じ学習モデルを用いることができる。ＩＤ付与部３１ｃは、例えば２つの特徴量に対応する２つのベクトルの距離等を算出し、この距離が閾値以下であり、且つ、距離が最も小さいものを、顔の特徴が一致する又は類似すると判断することができる。
【0051】
画像選別部３１ｄは、カメラ１から受信し、行動判定部３１ｂによる行動判定及びＩＤ付与部３１ｃによるＩＤ付与が行われた画像について、この画像に付された情報に基づく選別を行う。なお本実施の形態において画像選別部３１ｄは、行動判定部３１ｂ及びＩＤ付与部３１ｃの処理により付される情報のみではなく、カメラ１にて行われて種々の処理に基づいて画像に付された情報を利用して、この画像を記憶するか除去するかの選別を行う。画像選別部３１ｄは、画像に付された情報に含まれる例えば笑顔の確信度、顔の向きに関する確信度、及び、行動判定に関する確信度等の情報に基づいて、この画像に対するスコアリング（採点）を行って、画像のスコアが閾値を超えるか否かに基づいて選別を行う。スコアリングは、例えば笑顔の確信度が０～１の範囲である場合に、確信度を１０倍して小数点以下を四捨五入して得られる０～１０の値を笑顔のスコアとすることができる。行動判定部３１ｂは、複数の情報に基づいてそれぞれスコアリングを行い、複数のスコアの合計値を画像のスコアとすることができる。なおスコアリングの方法はこれに限るものではなく、種々の方法が採用され得る。行動判定部３１ｂは、例えば笑顔のスコアを２０点満点とし、顔の向きのスコアを１０点満点とするなど、情報の種類に応じた重み付けを行ってもよい。
【0052】
また画像選別部３１ｄは、ＩＤ付与部３１ｃが付与したＩＤに基づいて、利用者（子供）毎に撮影された画像の枚数をカウントし、１日等の所定期間に画像記憶部３２ｂに記憶して蓄積する画像数を均一化するように、選別する画像の枚数を調整する。本実施の形態において画像選別部３１ｄは、利用者毎の画像の枚数調整を、上記のスコアリングにおいて算出した画像のスコアと比較する閾値を増減することで行う。画像選別部３１ｄは、例えばカメラ１により撮影された（カメラ１から受信した）画像の枚数が少ない利用者について、スコアと比較する閾値の値を下げることで、この利用者が写された画像が選別される可能性を高め、選別される画像の数を増加させる。また画像選別部３１ｄは、画像が多い利用者について、スコアと比較する閾値を上げることで、この利用者が写された画像が選別される可能性を低減し、選別される画像の数を減少させる。
【0053】
画像選別部３１ｄは、各画像について算出したスコアと閾値とを比較し、閾値を超えるスコアが付された画像を画像記憶部３２ｂに記憶して蓄積する。なお画像選別部３１ｄによる画像の選別は、例えばカメラ１からの画像を受信する都度に、受信した画像に対して行ってもよく、また例えば１日に１回等の所定のタイミングでその日に受信した画像についてまとめて行ってもよい。いずれの場合であっても、サーバ装置３は、カメラ１から受信した画像を、画像選別部３１ｄによる選別がなされるまで記憶部３２に一時的に記憶しておく。画像選別部３１ｄは、スコア及び閾値との比較に基づく選別の結果、画像記憶部３２ｂに記憶しないと判断した画像については、記憶部３２から消去（除去）してよい。
【0054】
画像補正部３１ｅは、カメラ１から受信した画像に対する画像補正の処理を行う。画像補正部３１ｅは、例えばカメラ１から受信した画像がピンボケ等により不鮮明である場合に、画像を鮮明化する画像処理を行う。また画像補正部３１ｅは、例えば画像の端に写されている利用者について、この利用者及び周囲の所定範囲の画像領域を抽出し、抽出した画像領域を拡大して新たな画像として扱う。このときに画像補正部３１ｅは、拡大した画像の画質が低減することを抑制すべく、画素間の画素値を補間して解像度を増す技術、いわゆる超解像度技術を用いた画像の拡大を行う。なお超解像度技術は、既存の技術であるため詳細な説明が省略するが、近年では深層学習を用いた超解像度技術が普及しており、本実施の形態に係るサーバ装置３もこの超解像度技術を用いてよい。また画像補正部３１ｅによる画像の補正は、どのようなタイミングで行われてもよく、例えばカメラ１から画像を受信したタイミングで行われてもよく、また例えば画像選別部３１ｄにより画像記憶部３２ｂに記憶すると選別された後のタイミングで行われてもよい。
【0055】
画像送信処理部３１ｆは、画像記憶部３２ｂに記憶した画像を利用者の端末装置５へ送信する処理を行う。画像送信処理部３１ｆは、どのようなタイミングで、どのような方法で、どの程度の枚数の画像を端末装置５へ送信してもよい。例えば画像送信処理部３１ｆは、１日に１回の所定タイミングで、子供が撮影された画像を、この子供の保護者の端末装置５へ送信してもよい。このときに画像送信処理部３１ｆは、ＩＤ付与部３１ｃが画像に付したＩＤに基づいて、画像に写された利用者（子供）が誰であるかをユーザＤＢ３２ｃに登録されたＩＤを参照して判断し、この利用者に対応付けられた端末装置５へ画像を送信する。また例えば画像送信処理部３１ｆは、端末装置５からの要求に基づいて画像記憶部３２ｂから画像を読み出して要求元の端末装置５へ画像を送信してもよい。
【0056】
図４は、本実施の形態に係る端末装置５の構成を示すブロック図である。本実施の形態に係る端末装置５は、処理部５１、記憶部（ストレージ）５２、通信部（トランシーバ）５３、表示部（ディスプレイ）５４及び操作部５５等を備えて構成されている。端末装置５は、対象者を見守る家族又は後見人等のユーザが使用する装置であり、例えばスマートフォン、タブレット型端末装置又はパーソナルコンピュータ等の情報処理装置を用いて構成され得る。
【0057】
処理部５１は、ＣＰＵ又はＭＰＵ等の演算処理装置、ＲＯＭ及び等を用いて構成されている。処理部５１は、記憶部５２に記憶されたプログラム５２ａを読み出して実行することにより、サーバ装置３から送信される画像を受信する処理、受信した画像を表示する処理、及び、サーバ装置３が記憶している画像を検索する処理等の種々の処理を行う。
【0058】
記憶部５２は、例えばフラッシュメモリ等の不揮発性のメモリ素子を用いて構成されている。記憶部５２は、処理部５１が実行する各種のプログラム、及び、処理部５１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部５２は、処理部５１が実行するプログラム５２ａを記憶している。本実施の形態においてプログラム５２ａは遠隔のサーバ装置等により配信され、これを端末装置５が通信にて取得し、記憶部５２に記憶する。ただしプログラム５２ａは、例えば端末装置５の製造段階において記憶部５２に書き込まれてもよい。例えばプログラム５２ａは、メモリカード又は光ディスク等の記録媒体９８に記録されたプログラム５２ａを端末装置５が読み出して記憶部５２に記憶してもよい。例えばプログラム５２ａは、記録媒体９８に記録されたものを書込装置が読み出して端末装置５の記憶部５２に書き込んでもよい。プログラム５２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９８に記録された態様で提供されてもよい。
【0059】
通信部５３は、携帯電話通信網、無線ＬＡＮ及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部５３は、ネットワークＮを介して、サーバ装置３との間で通信を行う。通信部５３は、処理部５１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部５１へ与える。
【0060】
表示部５４は、液晶ディスプレイ等を用いて構成されており、処理部５１の処理に基づいて種々の画像及び文字等を表示する。操作部５５は、ユーザの操作を受け付け、受け付けた操作を処理部５１へ通知する。例えば操作部５５は、機械式のボタン又は表示部５４の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部５５は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは端末装置５に対して取り外すことが可能な構成であってもよい。
【0061】
また本実施の形態に係る端末装置５は、記憶部５２に記憶されたプログラム５２ａを処理部５１が読み出して実行することにより、画像受信処理部５１ａ及び画像検索処理部５１ｂ等がソフトウェア的な機能部として処理部５１に実現される。なおプログラム５２ａは、本実施の形態に係る情報処理システムに専用のプログラムであってもよく、インターネットブラウザ又はウェブブラウザ等の汎用のプログラムであってもよい。
【0062】
画像受信処理部５１ａは、サーバ装置３が送信する画像を通信部５３にて受信する処理を行う。画像受信処理部５１ａは、例えばサーバ装置３がプッシュ送信する画像を受信した場合に、表示部５４にメッセージ表示等を行うことによって、画像の受信を通知する処理を行う。また画像受信処理部５１ａは、サーバ装置３から受信した画像を記憶部５２に記憶すると共に、表示部５４に表示する処理を行う。
【0063】
画像検索処理部５１ｂは、サーバ装置３が画像記憶部３２ｂに記憶して蓄積した複数の画像の中から、利用者が望む条件の画像を検索するための処理を行う。画像検索処理部５１ｂは、例えば検索条件の入力画面を表示部５４に表示して、利用者による検索条件の入力を受け付ける。画像検索処理部５１ｂは、例えば笑顔の画像、ハイハイ等の特定の行動をしている画像、又は、特定の日時の画像等のように、利用者から種々の検索条件の入力を受け付ける。画像検索処理部５１ｂは、受け付けた検索条件を含む検索要求をサーバ装置３へ送信する。この検索要求に応じてサーバ装置３が検索条件に適合する画像を画像記憶部３２ｂから抽出し、抽出した一又は複数の画像を要求元の端末装置５へ送信する。画像検索処理部５１ｂは、サーバ装置３から検索結果として送信された画像を受信して、表示部５４に表示する。
【0064】
＜カメラ１による画像選別処理＞
本実施の形態に係る情報処理システムでは、施設１００に設置されたカメラ１が周期的に撮影を行っている。カメラ１の撮影周期は、例えば１秒に１回～１分に１回等とすることができる。なお本実施の形態においてカメラ１は、静止画像として撮影を行うものとするが、動画像として撮影を行ってもよく、この場合には撮影周期は動画像のフレームレート等により定まる。またカメラ１は、１日中（２４時間）に亘って継続的に撮影を行ってもよいが、例えば施設１００の営業時間内等に限って撮影を行ってもよい。カメラ１による撮影の開始及び停止は、例えば予め時刻が設定されてもよく、また例えば施設１００の従業員の操作等によって行われてもよい。
本実施の形態に係る情報処理システムでは、施設１００に設置されたカメラ１が周期的に撮影を行っている。カメラ１の撮影周期は、例えば１秒に１回～１分に１回等とすることができる。なお本実施の形態においてカメラ１は、静止画像として撮影を行うものとするが、動画像として撮影を行ってもよく、この場合には撮影周期は動画像のフレームレート等により定まる。またカメラ１は、１日中（２４時間）に亘って継続的に撮影を行ってもよいが、例えば施設１００の営業時間内等に限って撮影を行ってもよい。カメラ１による撮影の開始及び停止は、例えば予め時刻が設定されてもよく、また例えば施設１００の従業員の操作等によって行われてもよい。
【0065】
本実施の形態に係るカメラ１は、撮影した画像が所定の条件（第１の条件）を満たすか否かを判定することによって画像を選別し、所定の条件を満たすと判定した画像をサーバ装置３へ送信し、所定の条件を満たさないと判定した画像を破棄（除去）する。本実施の形態においてカメラ１が判定する条件には、画像中に人が写されていること、不適切な画像ではない事、画像中に写された人の顔の表情が笑顔であること、及び、顔の向きが正面向きであること等の条件が含まれる。
【0066】
図５は、本実施の形態に係るカメラ１が行う画像選別処理の手順を示すフローチャートである。本実施の形態に係るカメラ１の処理部２１は、撮影部１１にて撮影を行う（ステップＳ１）。処理部２１は、撮影により得られた画像を記憶部２３に一時的に記憶する（ステップＳ２）。処理部２１の人検出部２１ａは、撮影した画像を圧縮した圧縮画像を生成する（ステップＳ３）。なお画像を圧縮する方法には、どのような方法が採用されてもよい。人検出部２１ａは、生成した圧縮画像を基に、この画像に写されている人を検出する人検出処理を行う（ステップＳ４）。このときに人検出部２１ａは、画像から人を検出する学習済の学習モデルを利用し、圧縮画像を学習モデルへ入力して、学習モデルが出力する検出結果を取得する。なお人検出処理の終了後、人検出部２１ａは生成した圧縮画像を破棄してよい。人検出部２１ａは、ステップＳ４の処理の結果に基づいて、撮影画像に人が写されているか否かを判定する（ステップＳ５）。人が写されていない場合（Ｓ５：ＮＯ）、人検出部２１ａは、記憶部２３に一時的に記憶した撮影画像を除去して（ステップＳ１２）、ステップＳ１へ処理を戻す。
【0067】
撮影画像に人が写されている場合（Ｓ５：ＹＥＳ）、処理部２１の不適切画像検出部２１ｂは、撮影画像が不適切な画像であるか否かを判定する（ステップＳ６）。このときに不適切画像検出部２１ｂは、画像の適切度を出力する学習済の学習モデルを用い、撮影部１１が撮影した（非圧縮の）画像を学習モデルへ入力し、学習モデルが出力する適切度を取得する。不適切画像検出部２１ｂは、取得した適切度が閾値を超えない画像を不適切と判定することができる。撮影画像が不適切であると判定した場合（Ｓ６：ＹＥＳ）、不適切画像検出部２１ｂは、記憶部２３に一時的に記憶した撮影画像を除去して（ステップＳ１２）、ステップＳ１へ処理を戻す。
【0068】
撮影画像が不適切ではないと判定した場合（Ｓ６：ＮＯ）、処理部２１の顔検出部２１ｃは、ステップＳ４の人検出処理の結果に基づいて、撮影画像から人の顔を検出する顔検出処理を行う（ステップＳ７）。このときに顔検出部２１ｃは、画像及び人の検出結果に基づいてこの画像に写された人の顔を検出する学習済の学習モデルを利用し、撮影部１１が撮影した（非圧縮の）画像を学習モデルへ入力し、学習モデルが出力する顔検出結果を取得する。
【0069】
次いで、処理部２１の表情向き検出部２１ｄは、ステップＳ７の顔検出処理の結果に基づいて、人の顔の表情を検出する処理を行う（ステップＳ８）。ここで本実施の形態において表情向き検出部２１ｄは、撮影画像に写された人の表情が笑顔である確信度を算出する。表情向き検出部２１ｄは、画像に写された人の表情が笑顔である確信度を出力する学習済の学習モデルを利用し、撮影部１１が撮影した（非圧縮の）画像を学習モデルへ入力し、学習モデルが出力する笑顔の確信度を取得する。表情向き検出部２１ｄは、取得した確信度が閾値を超えるか否かに応じて、画像に写された人の表情が笑顔であるか否かを判定することができる。
【0070】
また表情向き検出部２１ｄは、ステップＳ７の顔検出処理の結果に基づいて、人の顔の向きを検出する処理を行う（ステップＳ９）。ここで本実施の形態において表情向き検出部２１ｄは、撮影画像に写された人の顔が正面向きである確信度を算出する。表情向き検出部２１ｄは、画像に写された人の顔の向きが正面である確信度を出力する学習済の学習モデルを利用し、撮影部１１が撮影した（非圧縮の）画像を学習モデルへ入力し、学習モデルが出力する確信度を取得する。表情向き検出部２１ｄは、取得した確信度が閾値を超えるか否かに応じて、画像に写された人の顔の向きが正面であるか否かを判定することができる。
【0071】
処理部２１の画像選別部２１ｅは、ステップＳ８の表情検出処理の結果及びステップＳ９の顔の向き検出処理の結果に基づいて、画像に写された人の顔が笑顔であり且つ正面を向いているか否かを判定する（ステップＳ１０）。画像に写された人の顔が笑顔であり且つ正面を向いている場合（Ｓ１０：ＹＥＳ）、処理部２１の画像送信処理部２１ｆは、この画像をサーバ装置３へ送信し（ステップＳ１１）、ステップＳ１へ処理を戻す。なおこのときに画像送信処理部２１ｆが送信する画像のデータは、撮影部１１が撮影した非圧縮の画像であり、ステップＳ４の人検出処理、ステップＳ７の顔検出処理、ステップＳ８の表情検出処理及びステップＳ９の向き検出処理等の結果に関する情報がメタデータとして付されたものである。また、画像に写された人の顔が笑顔ではない又は正面を向いていない場合（Ｓ１０：ＮＯ）、画像選別部２１ｅは、この画像を除去して（ステップＳ１２）、ステップＳ１へ処理を戻す。
【0072】
なお本実施の形態に係るカメラ１が画像を選別する際に判定する条件は、画像中に人が写されていること、不適切な画像ではない事、画像中に写された人の顔の表情が笑顔であること、及び、顔の向きが正面向きであることに限らない。例えばカメラ１が撮影を行う周期が短い場合、同じシーンを撮影した類似の画像が複数枚撮影され、これら複数枚の画像が全て条件を満たすと判定されてサーバ装置３へ送信されることが生じ得る。そこでカメラ１は、時系列的に連続する画像について、同じシーンであるか否かの判定を行い、同じシーンを撮影した複数の画像についてはこの中から代表の１枚を選別してサーバ装置３へ送信してもよい。
【0073】
図６は、カメラ１による同一シーン判定を説明するための模式図である。本実施の形態に係るカメラ１は、時系列的に連続する２つの画像を比較し、両画像に写されている人の数の変化と、写されている人の画像間での移動距離とに基づいて、２つの画像が同一シーンであるか否かを判定する。本実施の形態においてカメラ１は、２つの画像において写されている人の数が変化しておらず、且つ、写されている人の画像間での移動距離が閾値以下である場合に、２つの画像が同一シーンであると判定する。またカメラ１は、２つの画像において写されている人の数が変化するか、又は、写されている人の画像間での移動距離が閾値を超える場合に、２つの画像が同一シーンではないと判定する。
【0074】
例えばカメラ１は、図６上段に示した時刻ｔ１に撮影された画像１と、図６中段に示した次の時刻ｔ２に撮影された画像２とを比較し、両画像には共に２人の人が写されており、各人の移動距離が閾値以下であると判定して、画像１及び画像２は同一シーンであると判断することができる。また例えば図６中段に示した時刻ｔ２に撮影された画像２と、図６下段に示した次の時刻ｔ３に撮影された画像３とを比較し、画像３に写されている人が３人に増えていること、及び、画像２から画像３の間での人の移動距離が閾値を超えることを判定し、画像２及び画像３は同一シーンではないと判断することができる。
【0075】
カメラ１は、同一シーンであると判断した複数の画像について、複数の画像から１つの画像を選別する処理を行う。このときにカメラ１は、例えば各画像について笑顔の確信度及び正面を向いている確信度等に基づくスコアリングを行い、最も高いスコアが付された画像を選別する。なお画像の選別方法は、スコアリングによるものに限らず、どのような方法が採用されてもよい。例えば時系列で連続する複数の画像について、最初のタイミング、中央のタイミング又は最後のタイミング等の所定タイミングの画像を選別してもよい。また例えば、画像に写されている人の大きさ、画像全体の面積に対する人が占める割合等に基づいて画像を選別してもよい。
【0076】
また、カメラ１は、画像に写されている人の顔の特徴を抽出することで人を識別し、１日等の所定期間に撮影された人毎にサーバ装置３へ送信する画像として選別した画像の枚数をカウントし、所定期間にサーバ装置３へ送信する画像数を均一化するように、選別する画像の枚数を調整してもよい。なおカメラ１による人の顔の識別は、施設１００の利用者の誰であるかまでを識別する必要はない（即ち、サーバ装置３のユーザＤＢ３２ｃに登録された利用者との一致を判断する必要はない）。カメラ１は、例えば撮影した画像に対して笑顔の確信度及び正面を向いている確信度等に基づくスコアリングを行い、スコアが閾値を超える画像をサーバ装置３へ送信する。このときにカメラ１は、人毎にカウントした画像の枚数に基づいて、例えばサーバ装置３へ送信した画像の枚数が多い人についてはスコアと比較する閾値を上げ、枚数が少ない人については閾値を下げる等の処理を行うことで、サーバ装置３へ送信する画像の枚数を調整することができる。なお送信する画像の枚数の調整方法はこれに限るものではなく、どのような方法が採用されてもよい。
【0077】
また、カメラ１は、サーバ装置３へ送信する画像に対して、人の検出結果、人の顔の検出結果、顔の表情の検出結果及び顔の向きの検出結果等の情報をメタデータとして付す処理を行う。図７は、カメラ１が送信する画像に付すメタデータの一例を示す模式図である。本例においてカメラ１は、「画像名」、「撮影日時」、「子供フラグ」、「顔検出結果」、「笑顔の確信度」及び「正面の確信度」等の情報をメタデータとして画像に付してサーバ装置３へ送信する。「画像名」は、カメラ１が撮影した画像に対して一意に付される名称であり、例えば所定の文字及び数字等を組み合わせた文字列が適宜に設定される。なお「画像名」はメタデータに含まれていなくてもよい。また撮影日時に基づく名称を画像名とする場合には、メタデータに「撮影日時」の情報が含まれていなくてもよい。「撮影日時」は、撮影部１１により画像が撮影された日時を示す情報であり、カメラ１内の時計機能等に基づいて情報が付される。
【0078】
「人検出結果」は、カメラ１の人検出部２１ａによる検出結果の情報である。本例では画像中に人が検出された領域を、ｘ座標、ｙ座標、幅（ｗ）及び高さ（ｈ）の４つの値で示している。「顔検出結果」は、カメラ１の顔検出部２１ｃによる検出結果の情報である。本例では人検出結果と同様に、画像中に検出された人の顔の領域を、ｘ座標、ｙ座標、幅（ｗ）及び高さ（ｈ）の４つの値で示している。なお画像に複数の人が検出された場合には、人検出結果及び顔検出結果として複数の領域の情報が画像に付されてよい。
【0079】
「子供フラグ」は、検出された人が子供であるか、大人であるかを示すフラグである。例えばカメラ１は、撮影した画像に写された人が子供であるか大人であるかを判定する処理を行ってもよく、この処理を行う場合に処理結果として子供であるか否かを示すフラグをメタデータとして画像に付してもよい。画像に写された人が子供であるか否かの判定は、例えば画像に写された人の大きさ、身長等を算出して行うことができ、また例えば学習済の学習モデルを利用して子供であるか否かの判定を行ってもよい。学習モデルは、例えば画像及び人検出結果を入力として受け付けて、画像に写された人が子供である確信度を出力するように予め機械学習が行われたものとすることができる。なお本実施の形態においては、保育園又は幼稚園等の施設１００にて子供の写真を撮影することを目的としており、画像に写されている人が大人であると判定された場合には、サーバ装置３へ送信せずに破棄してもよく、この場合には顔検出、表情検出及び向き検出等の処理を行わなくてよい。
【0080】
「笑顔の確信度」は、カメラ１の表情向き検出部２１ｄによる表情検出の結果の情報であり、０から１までの数値情報である。同様に、「正面の確信度」は、カメラ１の表情向き検出部２１ｄによる顔の向き検出の結果の情報であり、０から１までの数値情報である。これらの数値情報は、検出処理に用いる学習済の学習モデルが出力する値である。
【0081】
＜サーバ装置３による画像選別処理＞
本実施の形態に係る情報処理システムでは、施設１００に設置された一又は複数のカメラ１が撮影して選別した画像をサーバ装置３へ送信する。カメラ１からの画像を受信したサーバ装置３は、受信した画像が所定の条件（第２の条件）を満たすか否かを判定することによって画像を選別し、所定の条件を満たすと判定した画像を画像記憶部３２ｂに記憶して蓄積すると共に、利用者の端末装置５へ送信する処理を行う。本実施の形態においてサーバ装置３は、カメラ１が画像に付したメタデータに含まれる情報及びサーバ装置３が画像に基づいて判定した種々の判定結果に基づくスコアリングを行い、各画像について算出したスコアが閾値を超えることを条件として画像を選別する。スコアリングには、カメラ１による人の顔の表情及び向き等の検出結果、並びに、サーバ装置３による行動判定の結果等の情報が用いられる。
本実施の形態に係る情報処理システムでは、施設１００に設置された一又は複数のカメラ１が撮影して選別した画像をサーバ装置３へ送信する。カメラ１からの画像を受信したサーバ装置３は、受信した画像が所定の条件（第２の条件）を満たすか否かを判定することによって画像を選別し、所定の条件を満たすと判定した画像を画像記憶部３２ｂに記憶して蓄積すると共に、利用者の端末装置５へ送信する処理を行う。本実施の形態においてサーバ装置３は、カメラ１が画像に付したメタデータに含まれる情報及びサーバ装置３が画像に基づいて判定した種々の判定結果に基づくスコアリングを行い、各画像について算出したスコアが閾値を超えることを条件として画像を選別する。スコアリングには、カメラ１による人の顔の表情及び向き等の検出結果、並びに、サーバ装置３による行動判定の結果等の情報が用いられる。
【0082】
図８は、本実施の形態に係るサーバ装置３が行う画像選別処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置３の処理部３１の画像受信処理部３１ａは、施設１００に設置された一又は複数のカメラ１から画像を受信したか否かを判定する（ステップＳ２１）。画像を受信していない場合（Ｓ２１：ＮＯ）、画像受信処理部３１ａは、カメラ１からの画像を受信するまで待機する。
【0083】
カメラ１からの画像を受信した場合（Ｓ２１：ＹＥＳ）、処理部３１の行動判定部３１ｂは、受信した画像に写された人の行動を判定する処理を行う（ステップＳ２２）。このときに行動判定部３１ｂは、画像に写された人が所定の行動を行っている確信度を出力する学習済の学習モデルを複数用い、複数の行動についての確信度を取得し、確信度をメタデータとして画像に付す。次いで処理部３１のＩＤ付与部３１ｃは、画像に写された人を識別するＩＤをメタデータとして画像に付与する処理を行う（ステップＳ２３）。このときにＩＤ付与部３１ｃは、画像から写されている人の顔の特徴量を抽出し、ユーザＤＢ３２ｃに登録されている利用者の特徴量との比較を行うことで、画像に写されている人と登録済の利用者のＩＤとの対応を判定する。
【0084】
次いで処理部３１の画像選別部３１ｄは、画像にメタデータとして付された種々の条件に基づいて画像選別処理を行う（ステップＳ２４）。このときに画像選別部３１ｄは、画像に付された種々の条件に基づいて、この画像に対するスコアリングを行い、画像のスコアが閾値を超えるか否かに基づいて画像を選別する。画像選別処理の結果に基づき、画像選別部３１ｄは、この画像を記憶部３２の画像記憶部３２ｂに記憶するか否かを判定する（ステップＳ２５）。記憶しないと判定した場合（Ｓ２５：ＮＯ）、画像選別部３１ｄは、この画像を破棄して（ステップＳ２６）、ステップＳ２１へ処理を戻す。
【0085】
画像を記憶すると判定した場合（Ｓ２５：ＹＥＳ）、処理部３１の画像補正部３１ｅは、必要に応じて画像の補正処理を行う（ステップＳ２７）。ここで画像補正部３１ｅは、不鮮明な画像を鮮明化する画像処理、画像の所定範囲を抽出して拡大する処理、超解像度技術により解像度を高める処理等を行う。次いで処理部３１は、画像補正がなされた画像を記憶部３２の画像記憶部３２ｂに記憶して（ステップＳ２８）、ステップＳ２１へ処理を戻す。また本フローチャートにおいてサーバ装置３は、カメラ１から画像を受信する毎に、受信した画像を選別しているが、これに限るものではなく、受信した画像を全て記憶しておき、例えば１日に１回の所定タイミングで記憶しておいた全ての画像について選別を行い、不要な画像を破棄してもよい。
【0086】
本実施の形態に係るサーバ装置３は、例えばカメラ１がメタデータとして画像に付した笑顔の確信度及び顔の向きが正面である確信度と、ステップＳ２２による行動判定にて得られる所定の行動に関する確信度とに基づいて、画像のスコアリングを行う。例えばサーバ装置３は、画像に写されている人がより笑顔でより正面を向いている程、画像に高いスコアを与えることができる。また例えばサーバ装置３は、複数の行動について最も確信度が高い行動がいずれであるかに基づいて画像にスコアを与えることができる。この場合にサーバ装置３は、例えばハイハイの行動に１０点、食事の行動に９点、…等のように行動毎に定められたスコアを与えてもよく、また例えば最も高い確信度を１０倍した値をスコアとしてもよく、これら以外の方法でスコアを決定してもよい。
【0087】
また更にサーバ装置３は、例えば人検出結果及び顔検出結果等に基づいて、画像に写されている人の人数、人が写されている位置、及び、写されている人の大きさ等に基づいてスコアを与えてもよい。例えばサーバ装置３は、画像の端に人が小さく写されている場合にはこの画像に対するスコアを低減し、画像の中央に人が大きく写されている場合にはこの画像に対するスコアを増加させることができる。
【0088】
また本実施の形態に係るサーバ装置３は、例えば１日等の所定期間において、画像記憶部３２ｂに記憶する画像として選別した画像の枚数を、この画像に写されている利用者（子供）毎にカウントし、記憶する画像数を均一化するように、選別する画像の枚数を調整する。サーバ装置３は、上記のように画像に対するスコアリングを行って、画像に対するスコアが閾値を超えるか否かにより画像を選別するが、例えば画像の枚数が少ない利用者が写された画像については、スコアとの比較を行う閾値を低減することで、この利用者が写された画像が選別されて画像記憶部３２ｂに記憶される可能性を高める。また例えばサーバ装置３は、画像選別を１日の終わり等の所定タイミングで一括して行う構成である場合、利用者毎に写された画像のスコア順に所定枚数の画像を選択し、この所定枚数の画像を画像記憶部３２ｂに記憶する画像として選別してもよい。
【0089】
なお本実施の形態に係る情報処理システムでは、利用者毎の画像の枚数調整をカメラ１及びサーバ装置３の両方で行うことができる。ただしサーバ装置３は、複数のカメラ１が施設１００に設置されている場合には、複数のカメラ１から画像を受信する。サーバ装置３は、複数のカメラ１から受信する画像の全てを対象に、利用者毎の画像数のカウントを行って、利用者毎の画像の枚数調整を行うことができる。これに対してカメラ１は、自身が撮影した画像について利用者毎の画像の枚数調整を行う。
【0090】
なおサーバ装置３は、上記以外のどのような基準を用いて画像のスコアリングを行ってもよい。またサーバ装置３は、スコアリングを行わずに画像の選別を行ってよい。サーバ装置３による画像の選別方法には、どのような方法が採用されてもよい。サーバ装置３は、一又は複数のカメラ１から受信した画像を所定の条件に従って選別し、選別した画像を画像記憶部３２ｂに記憶して蓄積すると共に、利用者（保護者）の端末装置５へ送信する。
【0091】
図９は、本実施の形態に係るサーバ装置３が行う画像送信処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置３の処理部３１の画像送信処理部３１ｆは、例えば１日に１回の画像を送信するタイミングに至ったか否かを判定する（ステップＳ４１）。画像の送信タイミングに至った場合（Ｓ４１：ＹＥＳ）、画像送信処理部３１ｆは、記憶部３２の画像記憶部３２ｂに選別して記憶された画像を読み出す（ステップＳ４２）。画像送信処理部３１ｆは、読み出した画像を対応する端末装置５へ送信し（ステップＳ４３）、ステップＳ４１へ処理を戻す。なおこのときに画像送信処理部３１ｆは、読み出した画像に付されたメタデータに基づいて、この画像に写されている利用者（子供）に対応付けて登録された端末装置５をユーザＤＢ３２ｃから検索し、この端末装置５へ画像を送信する。
【0092】
画像の送信タイミングに至っていない場合（Ｓ４１：ＮＯ）、画像送信処理部３１ｆは、端末装置５から画像の検索要求を受信したか否かを判定する（ステップＳ４４）。検索要求を受信していない場合（Ｓ４４：ＮＯ）、画像送信処理部３１ｆは、ステップＳ４１へ処理を戻す。検索要求を受信した場合（Ｓ４４：ＹＥＳ）、画像送信処理部３１ｆは、受信した検索要求に含まれる画像の検索条件を取得する（ステップＳ４５）。処理部３１の画像選別部３１ｄは、ステップＳ４５にて取得した検索条件に該当する画像を、画像記憶部３２ｂに記憶された画像の中から選別する（ステップＳ４６）。画像送信処理部３１ｆは、画像記憶部３２ｂから選別された画像を、検索要求の要求元の端末装置５へ送信して（ステップＳ４７）、ステップＳ４１へ処理を戻す。
【0093】
＜端末装置５による画像検索処理＞
本実施の形態に係る情報処理システムでは、施設１００に設置されたカメラ１が撮影した画像から、カメラ１及びサーバ装置３により選別された画像が利用者の端末装置５へ送信される。例えばカメラ１は午前６時から午後６時まで撮影を行い、サーバ装置３はその日に選別された画像を午後７時に端末装置５へ送信する。端末装置５は、サーバ装置３から送信された画像を受信した場合に、受信した旨を利用者に通知すると共に、利用者の操作等に応じて受信した画像を表示部５４に表示する。
本実施の形態に係る情報処理システムでは、施設１００に設置されたカメラ１が撮影した画像から、カメラ１及びサーバ装置３により選別された画像が利用者の端末装置５へ送信される。例えばカメラ１は午前６時から午後６時まで撮影を行い、サーバ装置３はその日に選別された画像を午後７時に端末装置５へ送信する。端末装置５は、サーバ装置３から送信された画像を受信した場合に、受信した旨を利用者に通知すると共に、利用者の操作等に応じて受信した画像を表示部５４に表示する。
【0094】
また本実施の形態に係る情報処理システムでは、利用者が端末装置５を操作して、サーバ装置３の画像記憶部３２ｂに記憶して蓄積された画像を検索し、検索条件に該当する画像を取得して端末装置５に表示させることができる。端末装置５は、例えばメニュー画面において画像の検索の項目が選択された場合に、表示部５４に検索条件の設定画面を表示して、利用者による検索条件の入力を受け付ける。
【0095】
図１０は、端末装置５が表示する検索条件設定画面の一例を示す模式図である。図示の検索条件設定画面では、最上部に「検索条件設定」のタイトル文字列が表示され、その下方に設定可能な一又は複数の条件が並べて表示されている。端末装置５は、例えば「登録画像使用」の条件を使用するか否かの設定を受け付けるチェックボックスを検索条件設定画面に表示する。「登録画像使用」の条件は、例えば保護者が子供を自身で撮影した画像を予め登録しておき、登録された画像に写された人と同じ又は類似する特徴を有する人が写された画像を検索するための条件である。本例では、チェックボックス及び「登録画像使用」の文字列の隣に、「画像登録」のラベルが付されたボタンが表示されており、このボタンに対する操作が行われた場合に端末装置５は、画像の選択画面又は撮影画面等を表示して登録用の画像を取得し、取得した画像又はこの画像から抽出した特徴量をサーバ装置３へ送信して、サーバ装置３のユーザＤＢ３２ｃに画像の登録を行う。
【0096】
また本例では、「表情設定」として、「笑顔」及び「泣き顔」等の表情を選択するチェックボックスが検索条件設定画面に表示されている。また本例では、「行動設定」として、「ハイハイ」及び「食事」等の行動を選択するチェックボックスが検索条件設定画面に表示されている。端末装置５は、これらのチェックボックスに対するチェックの有無により、表情及び行動に関する検索条件の設定を受け付ける。
【0097】
なお図示の検索条件設定画面は一例であってこれに限るものではなく、設定可能な選択条件は図示のもの以外に様々な条件が採用され得る。例えば、画像が撮影された日時、画像に対する人の大きさ（占有率）、又は、画像に含まれる人の数等の種々の条件が設定可能であってよい。
【0098】
端末装置５は、検索条件設定画面にて設定された検索条件に関する情報を含む検索要求をサーバ装置３へ送信する。サーバ装置３は、端末装置５からの検索要求に含まれる検索条件に基づいて画像記憶部３２ｂに記憶された画像を選別し、要求元の端末装置５へ選別した画像を送信する（図９のステップＳ４４～Ｓ４７参照）。サーバ装置３から検索結果として一又は複数の画像を受信した端末装置５は、受信した画像を例えばリスト状又はマトリクス状等に並べて一覧表示する。このときに端末装置５は、例えば検索条件と検索結果の画像との一致度等を算出し、算出した一致度の順に複数の画像を並べて表示してもよい。また画像を表示する順序に関する条件を利用者が設定可能であってもよい。例えば端末装置５は、検索条件として「笑顔」が設定されている場合、笑顔の確信度が高い画像から順に、複数の画像を並べて表示することができる。
【0099】
図１１は、本実施の形態に係る端末装置５が行う処理の手順を示すフローチャートである。本実施の形態に係る端末装置５の処理部５１の画像受信処理部５１ａは、例えば１日に１回等の所定タイミングでサーバ装置３が送信する画像を受信したか否かを判定する（ステップＳ６１）。所定タイミングで送信される画像を受信した場合（Ｓ６１：ＹＥＳ）、画像受信処理部５１ａは、例えば端末装置５の表示部５４に画像を受信した旨を通知するメッセージを表示する（ステップＳ６２）。画像受信処理部５１ａは、表示したメッセージに対する利用者の操作として、受信した画像を表示する操作を受け付けたか否かを判定する（ステップＳ６３）。画像を表示する操作を受け付けない場合（Ｓ６３：ＮＯ）、画像受信処理部５１ａは、ステップＳ６１へ処理を戻す。画像を表示する操作を受け付けた場合（Ｓ６３：ＹＥＳ）、画像受信処理部５１ａは、サーバ装置３から受信した一又は複数の画像を表示部５４に表示して（ステップＳ６４）、ステップＳ６１へ処理を戻す。
【0100】
所定タイミングで送信される画像を受信していない場合（Ｓ６１：ＮＯ）、処理部５１の画像検索処理部５１ｂは、利用者による画像の検索条件の設定を受け付けたか否かを判定する（ステップＳ６５）。検索条件の設定を受け付けていない場合（Ｓ６５：ＮＯ）、画像検索処理部５１ｂは、ステップＳ６１へ処理を戻す。検索条件の設定を受け付けた場合（Ｓ６５：ＹＥＳ）、画像検索処理部５１ｂは、受け付けた検索条件を含む画像の検索要求をサーバ装置３へ送信する（ステップＳ６６）。画像検索処理部５１ｂは、検索要求に応じたサーバ装置３からの検索結果を受信したか否かを判定する（ステップＳ６７）。検索結果を受信していない場合（Ｓ６７：ＮＯ）、画像検索処理部５１ｂは、検索結果を受信するまで待機する。検索結果を受信した場合（Ｓ６７：ＹＥＳ）、画像検索処理部５１ｂは、検索結果としたサーバ装置３から受信した一又は複数の画像を表示部５４に表示して（ステップＳ６８）、ステップＳ６１へ処理を戻す。
【0101】
＜まとめ＞
以上の構成の本実施の形態に係る情報処理システムでは、カメラ１の情報処理装置２０が、撮影部１１が撮影した画像から所定の対象を検出し、所定の対象が含まれる画像が第１の条件を満たすか否かを判定し、第１の条件を満たす画像を選別してサーバ装置３へ送信し、サーバ装置３に第２の条件を満たす画像を選別させる。カメラ１にて第１の条件に基づく画像の選別を予め行うことによって、カメラ１からサーバ装置３へ送信する画像の量を低減することが期待できる。なお撮影した画像から検出する所定の対象は、人でなくてもよく、例えば動植物で会ってもよい。
以上の構成の本実施の形態に係る情報処理システムでは、カメラ１の情報処理装置２０が、撮影部１１が撮影した画像から所定の対象を検出し、所定の対象が含まれる画像が第１の条件を満たすか否かを判定し、第１の条件を満たす画像を選別してサーバ装置３へ送信し、サーバ装置３に第２の条件を満たす画像を選別させる。カメラ１にて第１の条件に基づく画像の選別を予め行うことによって、カメラ１からサーバ装置３へ送信する画像の量を低減することが期待できる。なお撮影した画像から検出する所定の対象は、人でなくてもよく、例えば動植物で会ってもよい。
【0102】
また本実施の形態に係る情報処理システムでは、カメラ１の情報処理装置２０が、所定の対象として人を画像から検出し、人の検出結果に基づいて画像から人の顔を検出し、顔の検出結果に基づいて顔の表情又は向きを検出する。カメラ１にて行う画像の選別に用いられる第１の条件には、人の顔の表情又は向きに関する条件が含まれる。これにより画像に写されている人の表情又は向きについて、不適な画像を予め除去し、適切な画像のみをカメラ１からサーバ装置３へ送信することができる。
【0103】
また本実施の形態に係る情報処理システムでは、カメラ１の情報処理装置２０が、人の検出結果に基づいて、撮影した画像から人のプライバシーに関する不適切な画像を除去する。これにより、プライバシーに関する不適切な画像を予め除去することができ、カメラ１からサーバ装置３へ不適切な画像が送信されることを抑制できる。
【0104】
また本実施の形態に係る情報処理システムでは、カメラ１の情報処理装置２０が、撮影部１１が撮影した画像を圧縮した圧縮画像を生成して人の検出を行い、人の顔の検出、顔の表情又は向きの検出等を非圧縮の画像に基づいて行い、非圧縮の画像をカメラ１からサーバ装置３へ送信する。これにより、比較的に精度が要求されない処理については圧縮画像を用いて高速な処理を行い、それ以外の処理については非圧縮の画像に基づいた高精度の処理を行うことが期待できる。また非圧縮の画像をカメラ１からサーバ装置３へ送信することによって、サーバ装置３が高精度の処理を行うことが期待できる。
【0105】
また本実施の形態に係る情報処理システムでは、カメラ１の情報処理装置２０が、画像に対して行った検出及び判定等の結果に関する情報をメタデータとして画像に付してサーバ装置３へ送信する。これによりカメラ１から画像を受信したサーバ装置３は、カメラ１で行われた検出及び判定等の結果を利用して処理を行うことができる。
【0106】
また本実施の形態に係る情報処理システムでは、カメラ１の情報処理装置２０が、画像に写された人毎に画像の数をカウントし、人毎の選別する画像の数が同程度となるように画像の選別を行うことを第１の条件とする。これにより、カメラ１にて撮影された複数の画像について、人毎の画像数を均一化して画像を選別してサーバ装置３へ送信することができる。
【0107】
また本実施の形態に係る情報処理システムでは、サーバ装置３が、カメラ１の情報処理装置２０から受信した画像に含まれる人の行動を判定し、判定結果に基づいて第２の条件を満たす画像の選別を行う。これにより、カメラ１の撮影画像に写された人の行動に基づいて、画像の選別することができる。
【0108】
また本実施の形態に係る情報処理システムでは、カメラ１の情報処理装置２０による検出又は判定等の結果に関する情報をサーバ装置３が取得し、取得した情報に基づいて画像のスコアリングを行い、各画像のスコアに基づいて画像を選別する。これによりサーバ装置３は、自身で行った検出又は判定等のみでなく、カメラ１にて行われた検出又は判定等の結果を用いれ画像の選別を行うことができる。
【0109】
また本実施の形態に係る情報処理システムでは、画像に写された人を識別するＩＤ等の識別情報をサーバ装置３がメタデータとして画像に付す。これにより、サーバ装置３の画像記憶部３２ｂに記憶された各画像に写されている利用者を容易に判断して抽出等を行うことができる。
【0110】
また本実施の形態に係る情報処理システムでは、サーバ装置３が、画像に写された人毎に画像の数をカウントし、人毎の選別する画像の数が同程度となるように画像の選別を行うことを第２の条件とする。これにより、一又は複数のカメラ１にて撮影されてサーバ装置３へ送信された複数の画像について、人毎の画像数を均一化して画像を選別して画像記憶部３２ｂに記憶することができる。
【0111】
また本実施の形態に係る情報処理システムでは、サーバ装置３が、画像から人が写された画像領域を抽出し、抽出した画像領域の解像度を高めた画像を生成する。これにより、画像中に写された人を拡大した画像を生成することができ、拡大による画質の低下等を抑制することができる。
【0112】
また本実施の形態に係る情報処理システムでは、カメラ１が施設１００の撮影を行い、サーバ装置３が施設１００の利用者を識別するＩＤ等の識別情報を画像に付し、施設１００の利用者に対応付けられた端末装置５へ、この利用者に関する識別情報が付された画像を送信する。これによりサーバ装置３は、各利用者が写された画像を適切な端末装置５へ送信することができる。
【0113】
なお本実施の形態においては、カメラ１を設置する施設１００を保育園又は幼稚園等とし、カメラ１が施設１００を利用する子供の撮影を行う構成を示したが、施設１００は保育園又は幼稚園等に限らず、どのような施設であってもよい。施設１００は屋内又は屋外のいずれのものであってもよい。また本実施の形態においては、カメラ１の撮影部１１及び情報処理装置２０が一体の構成を示したが、これに限るものではなく、カメラ１の撮影部１１及び情報処理装置２０は別体で会ってもよい。例えばカメラ１及び情報処理装置２０が有線又は無線で接続され、カメラ１が撮影した画像を情報処理装置２０へ与え、情報処理装置２０が第１の条件に基づいて画像を選別してサーバ装置３へ送信してもよい。
【0114】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0115】
１ カメラ
３ サーバ装置
５ 端末装置
１１ 撮影部
２０ 情報処理装置
２１ 処理部
２１ａ 人検出部
２１ｂ 不適切画像検出部
２１ｃ 顔検出部
２１ｄ 表情向き検出部
２１ｅ 画像選別部
２１ｆ 画像送信処理部
２２ 入出力部
２３ 記憶部
２３ａ プログラム
２４ 通信部
３１ 処理部
３１ａ 画像受信処理部
３１ｂ 行動判定部
３１ｃ ＩＤ付与部
３１ｄ 画像選別部
３１ｅ 画像補正部
３１ｆ 画像送信処理部
３２ 記憶部
３２ａ サーバプログラム
３２ｂ 画像記憶部
３２ｃ ユーザＤＢ
３３ 通信部
５１ 処理部
５１ａ 画像受信処理部
５１ｂ 画像検索処理部
５２ 記憶部
５２ａ プログラム
５３ 通信部
５４ 表示部
５５ 操作部
９８，９９ 記録媒体
１００ 施設
Ｎ ネットワーク
３ サーバ装置
５ 端末装置
１１ 撮影部
２０ 情報処理装置
２１ 処理部
２１ａ 人検出部
２１ｂ 不適切画像検出部
２１ｃ 顔検出部
２１ｄ 表情向き検出部
２１ｅ 画像選別部
２１ｆ 画像送信処理部
２２ 入出力部
２３ 記憶部
２３ａ プログラム
２４ 通信部
３１ 処理部
３１ａ 画像受信処理部
３１ｂ 行動判定部
３１ｃ ＩＤ付与部
３１ｄ 画像選別部
３１ｅ 画像補正部
３１ｆ 画像送信処理部
３２ 記憶部
３２ａ サーバプログラム
３２ｂ 画像記憶部
３２ｃ ユーザＤＢ
３３ 通信部
５１ 処理部
５１ａ 画像受信処理部
５１ｂ 画像検索処理部
５２ 記憶部
５２ａ プログラム
５３ 通信部
５４ 表示部
５５ 操作部
９８，９９ 記録媒体
１００ 施設
Ｎ ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】