特許 7193663 情報処理装置、情報処理プログラム、及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-12-12

(45)【発行日】2022-12-20

(54)【発明の名称】情報処理装置、情報処理プログラム、及び情報処理方法

(51)【国際特許分類】

   H04N 5/92 20060101AFI20221213BHJP

   H04N 5/77 20060101ALI20221213BHJP

   H04N 5/232 20060101ALI20221213BHJP

   G06T 7/00 20170101ALI20221213BHJP

【ＦＩ】

H04N5/92 010

H04N5/77

H04N5/232 290

H04N5/232 300

G06T7/00 350B

G06T7/00 130

【請求項の数】 11

(21)【出願番号】P 2022005824

(22)【出願日】2022-01-18

【審査請求日】2022-04-14

【早期審査対象出願】

(73)【特許権者】

【識別番号】517255566

【氏名又は名称】株式会社エクサウィザーズ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】若狭 達也

(72)【発明者】

【氏名】玉城 大資

(72)【発明者】

【氏名】マイケル ダニエル ベウィック

(72)【発明者】

【氏名】古田 陽介

【審査官】松元 伸次

(56)【参考文献】

【文献】特開２０１７－１６４２１６（ＪＰ，Ａ）

【文献】特開２０２１－１８９９６７（ＪＰ，Ａ）

【文献】特開２００８－０４０９３７（ＪＰ，Ａ）

【文献】特開２０１７－１６７７９３（ＪＰ，Ａ）

【文献】国際公開第２０２１／１６１８２２（ＷＯ，Ａ１）

【文献】特開２００６－２５３９８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ５／０６－５／２２

Ｇ０６Ｆ１６／００－１６／９５８

Ｇ０６Ｔ７／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０

３０／４１８

４０／１６

４０／２０

Ｈ０４Ｎ５／２２２－５／２５７

５／７６－５／７７５

５／８０－５／９５６

７／１０

７／１４－７／１７３

７／２０－７／５６

２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

画像を取得する画像取得部と、
前記画像に対して、複数の観点での評価を示す評価素点を取得する評価取得部と、
各評価素点を重みづけして加算し、評価点を算出する算出部と、
前記画像の被写体に子供が含まれているか否かを判定する判定部と、
前記評価点が所定の閾値以下の場合、又は、前記判定部が前記被写体には子供が含まれていないと判定した場合、前記画像を削除する削除部と、
前記評価点が前記閾値を超える前記画像を前記評価点と共に記憶する記憶部と
を備えることを特徴とする情報処理装置。

【請求項2】

前記評価取得部は、画像を入力した場合、前記複数の観点についての前記評価素点を出力する学習モデルへ、前記画像取得部で取得した画像を入力し、該画像の前記評価素点を取得する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記画像の被写体に人間が含まれている場合、子供が含まれる領域のみを切り出す切出部
を備えることを特徴とする請求項１又は請求項２に記載の情報処理装置。

【請求項4】

前記画像における顔部分により前記子供の識別を行い、識別した子供のＩＤを出力する識別部を備え、
前記記憶部は、前記ＩＤを前記画像に対応付けて記憶する
ことを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記判定部は前記被写体に子供が含まれている場合、該子供の顔が写っているか否かを判定し、
前記削除部は、前記判定部が顔の写っている子供が被写体に含まれないと判定した場合、前記画像を削除する
ことを特徴とする請求項１から請求項４のいずれか一項に記載の情報処理装置。

【請求項6】

前記画像の被写体が秘匿すべき状態であった場合、前記削除部は前記画像を削除する
ことを特徴とする請求項１から請求項５のいずれか一項に記載の情報処理装置。

【請求項7】

前記画像を撮影日時と対応付けて記憶する画像記憶部から、処理日に撮影された前記画像を取得する評価済画像取得部と、
取得した前記画像を前記評価点の降順に並べ替え、上位所定数の前記画像を選択する選択部と、
選択した前記画像を送信する送信部と
を備えることを特徴とする請求項１から請求項６のいずれか一項に記載の情報処理装置。

【請求項8】

前記画像に対する主観的評価を取得する主観評価取得部と、
前記主観的評価に基づき、前記重みづけを変更する変更部と
を備えることを特徴とする請求項１から請求項７のいずれか一項に記載の情報処理装置。

【請求項9】

前記主観的評価は、前記画像の購入数、参照数又はダウンロード数である
ことを特徴とする請求項８に記載の情報処理装置。

【請求項10】

画像を記憶する記憶部にアクセス可能なコンピュータに、
画像を取得し、
前記画像に対して、複数の観点での評価を示す評価素点を取得し、
各評価素点を重みづけして加算し、評価点を算出し、
前記画像の被写体に子供が含まれているか否かを判定し、
前記評価点が所定の閾値以下の場合、又は、前記被写体には子供が含まれていないと判定した場合、前記画像を削除し、
前記評価点が前記閾値を超える前記画像を前記評価点と共に前記記憶部へ記憶する
処理を実行させることを特徴とする情報処理プログラム。

【請求項11】

画像を記憶する記憶部にアクセス可能なコンピュータが、
画像を取得し、
前記画像に対して、複数の観点での評価を示す評価素点を取得し、
各評価素点を重みづけして加算し、評価点を算出し、
前記画像の被写体に子供が含まれているか否かを判定し、
前記評価点が所定の閾値以下の場合、又は、前記被写体には子供が含まれていないと判定した場合、前記画像を削除し、
前記評価点が前記閾値を超える前記画像を前記評価点と共に前記記憶部へ記憶する
処理を実行することを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多様な画像を選択する情報処理装置等に関する。

【背景技術】

【0002】

近年、スマートフォンの普及にともない、ユーザは、多数の撮影を行うことが可能になっている。それに伴い、ハードディスク等に保存される画像の量も膨大なものとなっている。このため、多数の画像の中からユーザの希望に沿う画像を選択することが困難な場合がある。そのような状況において、条件により適合する画像データを選択する画像選択生成装置等が提案されている（特許文献１）。

【0003】

特許文献１に記載の画像選択生成装置は、対象の姿勢及び表情の少なくとも一方に関する型情報を記憶する記憶部と、複数の画像データを取得する取得部と、取得部によって取得された複数の画像データに基づく画像又は動画それぞれに記録された被写体の姿勢又は表情が、型情報の姿勢又は表情に適合しているかを判定する判定部と、判定部によって被写体が型情報に適合していると判定された画像データを選択する選択部と、選択部によって選択された画像データを出力する出力部とを備えている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２１－９６９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の画像選択生成装置は、被写体の姿勢又は表情が、型情報の姿勢又は表情に適合しているかを判定するため、多様な写真を選択することは困難である。本発明はこのような状況に鑑みてなされたものである。その目的は、多様な写真の選択を可能とする情報処理装置等の提供である。

【課題を解決するための手段】

【0006】

一実施形態に係る情報処理装置は、画像を取得する画像取得部と、前記画像に対して、複数の観点での評価を示す評価素点を取得する評価取得部と、各評価素点を重みづけして加算し、評価点を算出する算出部と、前記画像の被写体に子供が含まれているか否かを判定する判定部と、前記評価点が所定の閾値以下の場合、又は、前記判定部が前記被写体には子供が含まれていないと判定した場合、前記画像を削除する削除部と、前記評価点が前記閾値を超える前記画像を前記評価点と共に記憶する記憶部とを備えることを特徴とする。

【発明の効果】

【0007】

一実施形態によれば、多様な写真の選択が可能となる。

【図面の簡単な説明】

【0008】

【図1】情報処理システムの概要を示す説明図である。

【図2】情報処理装置の構成を示すブロック図である。

【図3】評価モデルの例を示す説明図である。

【図4】サーバ装置の構成を示すブロック図である。

【図5】端末装置の構成を示すブロック図である。

【図6】情報処理装置が行う画像選別処理の手順を示すフローチャートである。

【図7】サーバ装置が行う画像選別処理の手順を示すフローチャートである。

【図8】サーバ装置が行う画像送信処理の手順を示すフローチャートである。

【図9】端末装置が行う画像受信処理の手順を示すフローチャートである。

【図10】情報処理装置が行う重み更新処理の手順例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下実施の形態を、図面を参照して説明する。

【0010】

（実施の形態１）
図１は、情報処理システムの概要を示す説明図である。情報処理システムは、一又は複数のカメラ１、情報処理装置２、サーバ装置３、及び、端末装置５を含む。一又は複数のカメラ１、情報処理装置２、サーバ装置３、及び、端末装置５は、公衆電話網や携帯電話通信網等のネットワークにより、通信可能に接続されている。

【0011】

一又は複数のカメラ１は施設１００に設置されている。施設１００は保育園又は幼稚園等の乳幼児が日中を過ごす施設を想定している。カメラ１はレンズ及び撮像素子等を含む撮影部を有する。撮像素子は、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等であり、レンズが収束した像を撮影し、撮影により得られる画像のデータを出力する。カメラ１は、例えば所定の周期で繰り返し自動的に施設１００内の状況や利用者（本例では子供）の撮影を行っている。カメラ１は撮影した画像を情報処理装置２へ送信する。情報処理装置２は、カメラ１の動作を制御すると共に、カメラ１から得た画像を利用する種々の処理を行う。

【0012】

図２は情報処理装置の構成を示すブロック図である。本実施の形態に係る情報処理装置２は、処理部２１、入出力部２２、記憶部２３及び通信部２４等を備えて構成されている。処理部２１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の演算処理装置、ＲＯＭ（Read Only Memory）、及び、ＲＡＭ（Random Access Memory）等を用いて構成されている。処理部２１は、記憶部２３に記憶されたプログラム２Ｐを読み出して実行することにより、カメラ１を制御する処理、及び、カメラ１より得られた画像を選別する処理等の種々の処理を行う。なお、カメラ１は情報処理装置２の制御を受けることなく独立して動作し、撮影した画像を情報処理装置２に出力してもよい。

【0013】

入出力部２２（画像取得部）は、カメラ１との間でデータの入出力を行う。入出力部２２は、例えば信号線を介してカメラ１と接続されており、信号線を介したシリアル通信又はパラレル通信等によりデータの入出力を行う。入出力部２２は、処理部２１から与えられた制御命令等のデータをカメラ１へ送信すると共に、カメラ１から入力された画像のデータを処理部２１へ与える。なお、カメラ１と情報処理装置２との通信は、近距離無線通信、例えば、Bluetooth（登録商標）、無線ＬＡＮのアドホックモード、ZigBee（登録商標）を用いてもよいし、ＬＡＮを用いた通信でもよい。

【0014】

記憶部２３は、例えばフラッシュメモリ又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の不揮発性のメモリ素子を用いて構成されている。記憶部２３は、処理部２１が実行する各種のプログラム、及び、処理部２１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部２３は、処理部２１が実行するプログラム２Ｐを記憶する。また記憶部２３は、カメラ１が撮影した画像のデータ等を記憶してもよい。

【0015】

本実施の形態においてプログラム２Ｐは、例えば情報処理装置２の製造段階において記憶部２３に書き込まれる。また例えばプログラム２Ｐは、遠隔のサーバ装置等が配信するものを情報処理装置２が通信にて取得してもよい。また例えばプログラム２Ｐは、メモリカード又は光ディスク等の記録媒体に記録された態様で提供され、情報処理装置２は記録媒体からプログラム２Ｐを読み出して記憶部２３に記憶してもよい。また例えばプログラム２Ｐは、記録媒体に記録されたものを書込装置が読み出して情報処理装置２の記憶部２３に書き込んでもよい。プログラム２Ｐは、ネットワークを介した配信の態様で提供されてもよく、記録媒体に記録された態様で提供されてもよい。

【0016】

通信部２４は、携帯電話通信網、無線ＬＡＮ（Local Area Network）又はインターネット等のネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部２４は、サーバ装置３との間で通信を行い、カメラ１が撮影した画像のデータをサーバ装置３へ送信する。通信部２４は、処理部２１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部２１へ与える。

【0017】

カメラ１と情報処理装置２とを一体化してもよい。このようなカメラ１として、スマートフォンを固定して使用してもよい。また、保育士等が身につけたカメラ内蔵のウェラブルデバイスでもよい。

【0018】

サーバ装置３は、サーバコンピュータ、ワークステーション、ＰＣ（パーソナルコンピュータ）等で構成する。サーバ装置３は、情報処理装置２から画像を受信し、受信した画像を記憶装置に記憶して蓄積する。

【0019】

端末装置５は、スマートフォン、タブレットコンピュータ又はＰＣ等で構成する。端末装置５は、施設１００の利用者（本例では子供、子供の保護者又は保育士等）が利用する装置である。図１において、端末装置５は１台のみ記載しているが、複数台であってよい。

【0020】

サーバ装置３は、端末装置５へ蓄積した画像を送信する。これにより例えば保育園又は幼稚園等の施設１００に子供を預けている保護者は、施設１００で過ごす子供の様子をカメラ１にて撮影した画像を自身の端末装置５にて閲覧することができる。また例えば施設１００の保育士等は、子供の写真を撮影するという業務を行うことなく、施設１００で過ごす子供の様子をカメラ１にて撮影した画像を端末装置５にて取得することができ、例えばフォトアルバムの作成又は施設１００内での写真の掲示等を行うことができる。

【0021】

なお本例では保育園又は幼稚園等の施設１００にて子供の撮影を行う場合について説明しているが、本実施の形態に係る情報処理システムの適用は保育園又は幼稚園等の施設１００に限られない。施設１００は、例えば遊園地又はテーマパーク等の商業施設であってもよく、また例えばスポーツ又はイベント等が開催される会場等の施設であってもよく、また例えば利用者の自宅であってもよい。またカメラ１による撮影対象は、人でなくてもよく、例えば動物園の動物又は自宅のペット等であってもよい。また、カメラ１は固定されたものに限らない。

【0022】

また本実施の形態に係る情報処理装置２の処理部２１には、記憶部２３に記憶されたプログラム２Ｐを処理部２１が読み出して実行することにより、人検出部２１ａ、切り出し部２１ｂ、画像評価部２１ｃ、画像選別部２１ｄ、不適切画像検出部２１ｅ、及び画像送信処理部２１ｆ等がソフトウェア的な機能部として実現される。

【0023】

人検出部２１ａは、カメラ１が撮影した画像に写された人を検出する処理を行う。また本実施の形態に係る情報処理装置２は、カメラ１から取得した非圧縮の撮影画像のデータを基に、この画像を圧縮した圧縮画像のデータを生成し、生成した圧縮画像を基に人検出部２１ａが人を検出する処理を行う。人検出部２１ａは、例えば予め機械学習がなされた学習モデルを用いて、画像から人を検出する。学習モデルは、例えば画像のデータを入力として受け付けて、この画像に含まれる人が写された画像領域（を示す座標等のデータ）を出力するように予め機械学習がなされる。学習モデルは、例えば画像のデータと、この画像に含まれる人が写された画像領域を示すデータとが対応付けられた教師データを用いて機械学習がなされる。また保育園又は幼稚園等の施設１００にて撮影された画像を基に検出する対象の人を子供とする場合、子供が写された画像データを用いて教師データを作成することにより、子供の検出精度を高めることが期待できる。人検出部２１ａは、撮影部１１が撮影した画像を圧縮した圧縮画像を学習モデルへ入力し、学習モデルが出力する人の検出結果を取得する。そして、人検出部２１ａ（削除部、判定部）は、画像から子供が検出されなかった場合、即ち画像に子供が写されていない場合、この画像を除去して後続の処理の対象から外す。なお、人検出部２１ａは子供の身体の向きを検出し、身体が後ろ向きである場合、即ち画像に後ろ姿の子供が写されている場合、この画像を除去して後続の処理の対象から外すことが望ましい。人検出部２１ａは、後続処理の対象となる画像を、切り出し部２１ｂへ与える。人検出部２１ａによって検出した子供の情報（子供の数、各子供の写っている位置等）は、画像毎に記憶部２３へ記憶する。

【0024】

切り出し部２１ｂ（切出部）は、画像において、写っている人の領域の割合が大きくなるように、画像の切取り、拡大を行う。本実施の形態では、画像に大人が写っている場合、切り出した画像には含まれないようにする。画像に写された人が子供であるか否かの判定は、例えば画像に写された人の大きさ、身長等を算出して行うことができ、また例えば学習済の学習モデルを利用して子供であるか否かの判定を行ってもよい。学習モデルは、例えば画像及び人検出結果を入力として受け付けて、画像に写された人が子供である確信度を出力するように予め機械学習が行われたものとすることができる。切り出し部２１ｂは、子供を囲う最小のバウンディングボックスを設定する。画像に複数の子供が写っている場合、それぞれの子供に対してバウンディングボックスを設定する。設定した全てのバウンディングボックスを内包する領域を設定する。当該領域は、バウンディングボックスから画像の周縁方向、すなわち外側に１０％のマージンを設けた切り出し領域を設定する。１０％確保できない場合は１０％以下でよい。マージンの１０％は一例であり、他の値でもよい。また、横方向の中点が、両端の人の中央から等距離にある点と一致するように、切り出し領域を設定する。切り出し領域のアスペクト比が予め定めた縦横比であり、横、縦のサイズが予め定めた最小値以上となるように、調整した確定領域を定め、切り出し部２１ｂは確定領域の画像を切り出す。例えば、アスペクト比３対２のとき、横９６０ピクセル以上、縦６４０ピクセル以上とする。この条件で切り出せない場合、アスペクト比を他の条件とする。なお、子供が画像の端に近い場合、アスペクト比や領域の最小サイズを維持しながら、子供を確定領域の中央に配置することができない場合がある。このような場合には、切り出し領域を無効にするのではなく、切り出し領域を中央に移動させた確定領域で、切り出し部２１ｂは切り出しを行う。切り出し部２１ｂは切り出した画像評価部２１ｃへ与える。なお、切り出し部２１ｂは切り出し前後の画像で写っている子供の人数が減った場合、そのことを示すフラグをメタデータとして追加する。以上の説明では、規則に基づくアルゴリズムにより切り出し領域を決定したが、それに限らない。機械学習により、画像の構図と最適な切り出し領域との相関関係を学習し、学習結果に基づき、切り出し領域を定めてもよい。

【0025】

画像評価部２１ｃは画像における人の写りの良さを複数の観点から評価する処理を行う。画像評価部２１ｃは予め機械学習がなされた評価モデルを用いて、画像を評価する。図３は評価モデルの例を示す説明図である。評価モデル２３１は画像データを入力として、当該画像の複数観点それぞれの評価値を出力するニューラルネットワークである。ニューラルネットワークは例えばＣＮＮ（Convolution Neural Network）である。評価モデル２３１は画像データを受け付ける入力層と、画像の特徴量を抽出する中間層と、評価結果を出力する出力層を含む。

【0026】

入力層は、画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は複数のニューロンを有し、画像内から人を認識し、認識した人の領域の特徴量を抽出し、出力層に受け渡す。出力層は特徴量に基づき、観点毎の評価値を求め、結果を出力する。

【0027】

評価モデル２３１において、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、人の画像領域の画素情報を圧縮しながら画像特徴量を抽出する。出力層は、複数の観点で写りの良さについての評価値を出力する複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、画像全体の評価値を観点毎に出力する。

【0028】

評価モデル２３１はＣＮＮに限らない。評価モデル２３１を、Ｒ－ＣＮＮ、ＹＯＬＯ等のＣＮＮ以外のニューラルネットワーク、ベイジアンネットワークなど、他の学習アルゴリズムで構築された学習済みモデルで構成してもよい。

【0029】

評価モデル２３１は、画像データと観点毎の写りの良し悪しを示すラベル（写りがよければラベル１、写りが悪ければラベル０等）とを訓練データとして受け付け、出力層から出力される各観点の人の写りの良さの評価値がラベルに近づくように学習する。

【0030】

学習済みの評価モデル２３１は、入力として画像データを受け付け、各観点での写りの良さを評価し、各観点の評価値を出力層から出力する。例えば観点は、構図、笑顔、顔の大きさ、顔の向き、ハイハイ、食事である。観点：構図は写っている人の位置により評価する。例えば、写っている人の位置が、画像の中心に近いほど写りが良いと判定する。観点：笑顔は、写っている人が笑顔であれば、写りが良いと判定する。観点：顔の向きは、顔を証明から撮影できていれば、写りが良いと判定する。観点：顔の大きさは、画像全体の中で顔が占める割合が所定範囲内であるときに、写りが良いと判定し、それ以外の場合、写りが悪いと判定する。観点：ハイハイは、写っている人の行動がハイハイであれば、写りが良いと判定する。観点：食事は、写っている人の行動が食事しているのであれば、写りが良いと判定する。評価値は例えば、写りの良さの確信度であり、０から１までの連続値である。写りが最も良い場合が１、写りが悪い場合が０である。なお、所定の閾値との対比により、各観点の評価値として、写りが良いことを示す１、又は、写りが悪いことを示す０を出力するようにしてもよい。画像評価部２１ｃ（評価取得部）は、評価モデル２３１から出力された各観点の評価値（評価素点）を取得する

【0031】

画像評価部２１ｃ（算出部）は、各観点の評価値を所定の重み付けした上で、加算又は積算し、画像毎の評価点を算出する。なお、重みは複数パターンを用意し、パターン毎の評価点を画像に付して、画像選別部２１ｄに与えても良い。重みのパターンとしては、観点：笑顔の重みを重くすることで、顔が正面でなく、行動がハイハイや食事でなくとも、笑顔が写っている画像の点数が高くなる。観点：ハイハイの重みを重くすることで、顔が正面でなく、表情が笑顔でなくとも、ハイハイしている様子が写っている画像の点数が高くなる。各観点の重みは人が設定してもよいし、機械学習によって主観的評価と各観点の評価値の相関を学習して最適な値を設定してもよい。

【0032】

画像選別部２１ｄ（削除部）は、画像評価部２１ｃが出力した評価点に基づいて、サーバ装置３へ送信する画像と、サーバ装置３へ送信せずに除去する画像とを選別する処理を行う。本実施の形態において画像選別部２１ｄは、例えば評価点が所定の閾値以上の画像を不適切画像検出部２１ｅへ与える画像とし、これ以外の画像を除去する。なお画像の選別の条件は一例であって、これに限るものではない。画像選別部２１ｄは、送信するものと選別した画像を、不適切画像検出部２１ｅへ与える。画像選別部２１ｄは、パターン毎の評価点が付された画像を得た場合、もっとも高く、閾値以上である評価点を持つ観点の情報を付して、画像を不適切画像検出部２１ｅへ与える。閾値は人が設定してもよいし、機械学習によって、主観的評価と適合する値を求めてもよい。

【0033】

不適切画像検出部２１ｅは、カメラ１が撮影した画像から不適切と判断される画像を検出して除去する処理を行う。本実施の形態において不適切な画像は、例えば施設１００として保育園又は幼稚園等にカメラ１が設置される場合、子供がおむつをしている姿が映された画像、裸（上半身のみ裸又は下半身のみ裸等を含む）の姿の子供が写された画像、及び、着替え中の子供が写された画像等のように、写された子供のプライバシー等に関わる画像が含まれる。不適切画像検出部２１ｅは、例えば予め機械学習がなされた学習モデルを用いて、画像が不適切であるか否かを判定する。学習モデルは、例えば画像のデータを入力として受け付けて、この画像がどの程度適切であるかを示す適切度等の数値を出力するように予め機械学習がなされる。学習モデルは、例えば画像のデータと、この画像が適切であるか否かを示すラベル（適切であればラベル１、不適切であればラベル０など）とを対応付けた教師データを用いて機械学習がなされる。不適切な画像の特徴を学習モデルに予め学習させておくことで、不適切な画像と同じ又は類似する特徴を有する画像を学習モデルが判別することが可能となる。本実施の形態において不適切画像検出部２１ｅは、画像選別部２１ｄから得た画像のデータを学習モデルへ入力し、学習モデルが出力する適切度を取得し、取得した適切度が予め定められた閾値を超えるか否かに応じて画像が適切であるか否かを判断する。不適切画像検出部２１ｅ（削除部）は、適正ではない、即ち不適切であると判断した画像を除去して後続の処理の対象から外す。不適切画像検出部２１ｅは、後続処理の対象となる画像を、画像送信処理部２１ｆへ与える。

【0034】

画像送信処理部２１ｆ（送信部）は、不適切画像検出部２１ｅから得た画像をサーバ装置３へ送信する処理を行う。画像評価部２１ｃが付与した評価値、並びに、画像の撮影日時、カメラ１に付されたカメラＩＤ、及び、カメラ１が設置された施設１００の施設ＩＤ等の情報をメタデータとして画像に付してサーバ装置３へ送信する。画像に評価点を算出した際の重みのパターン情報が含まれていた場合、当該情報をメタデータに含める。

【0035】

なお、情報処理装置２の構成としてＩＤ付与部（識別部）を備えていてもよい。ＩＤ付与部は、後述するサーバ装置３が有するＩＤ付与部３１ｃと同等である。この場合、情報処理装置２はサーバ装置３が備えるユーザＤＢ３２ｂをミラーしたデータベースを記憶部２３に記憶する。

【0036】

図４はサーバ装置の構成を示すブロック図である。サーバ装置３は、処理部３１、記憶部３２及び通信部３３等を備えて構成されている。なお本実施の形態においては、１つのサーバ装置にて処理が行われるものとして説明を行うが、複数のサーバ装置が分散して処理を行ってもよい。

【0037】

処理部３１は、ＣＰＵ、ＭＰＵ又はＧＰＵ等の演算処理装置、ＲＯＭ及びＲＡＭ等を用いて構成されている。処理部３１は、記憶部３２に記憶されたサーバプログラム３Ｐを読み出して実行することにより、種々の処理を行う。

【0038】

記憶部３２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部３２は、処理部３１が実行する各種のプログラム、及び、処理部３１の処理に必要な各種のデータを記憶する。記憶部３２は、処理部３１が実行するサーバプログラム３Ｐを記憶すると共に、情報処理装置２から受信した画像を記憶して蓄積する画像記憶部３２ａと、利用者に関する情報を記憶するユーザＤＢ（データベース）３２ｂと、履歴ＤＢ３２ｃとが設けられている。また、記憶部３２は評価モデル３２１を記憶する。評価モデル３２１は、情報処理装置２が有する評価モデル２３１と同等なモデルである。

【0039】

サーバプログラム３Ｐは、メモリカード又は光ディスク等の記録媒体３ａに記録された態様で提供され、サーバ装置３は記録媒体３ａからサーバプログラム３Ｐを読み出して記憶部３２に記憶する。ただし、サーバプログラム３Ｐは、例えばサーバ装置３の製造段階において記憶部３２に書き込まれてもよい。また例えばサーバプログラム３Ｐは、遠隔の他のサーバ装置等が配信するものをサーバ装置３が通信にて取得してもよい。例えばサーバプログラム３Ｐは、記録媒体３ａに記録されたものを書込装置が読み出してサーバ装置３の記憶部３２に書き込んでもよい。サーバプログラム３Ｐは、ネットワークを介した配信の態様で提供されてもよく、記録媒体３ａに記録された態様で提供されてもよい。

【0040】

画像記憶部３２ａは、情報処理装置２から受信し、処理部３１にて選別された画像を記憶する。画像記憶部３２ａは、例えばカメラ１が設置された施設１００のＩＤ、カメラ１が複数設置される場合には各カメラ１のＩＤ、及び、画像が撮影された日時等により複数の画像を分類して記憶する。

【0041】

ユーザＤＢ３２ｂは、情報処理システムが提供するサービスについて利用登録を行った利用者に関する情報を記憶するデータベースである。ユーザＤＢ３２ｂには、例えば利用者として保護者の名前及びＩＤ等、子供の名前及びＩＤ等、施設１００のＩＤ、並びに、画像の送信先（例えば端末装置５のＩＤ又はメールアドレス等）の情報が対応付けて記憶される。またユーザＤＢ３２ｂには、カメラ１による撮影の被写体となり得る人、本例において子供の顔写真等の画像又はこのような画像から抽出された子供の特徴に関するデータ等が記憶されてもよい。

【0042】

履歴ＤＢ３２ｃは、端末装置５へ送信した写真の履歴を記憶するデータベースである。履歴ＤＢ３２ｃには、画像のＩＤ、画像の評価値、画像の撮影日時、画像を撮影したカメラのカメラＩＤ、施設１００の施設ＩＤ、利用者のＩＤ、画像の送信日時、利用者が画像購入を購入したか否かの情報が対応付けて記憶される。

【0043】

サーバ装置３の通信部３３は、携帯電話通信網、無線ＬＡＮ及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。通信部３３は、ネットワークＮを介して、情報処理装置２及び端末装置５との間で通信を行う。通信部３３は、処理部３１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部３１へ与える。

【0044】

なお記憶部３２は、サーバ装置３に接続された外部記憶装置であってよい。またサーバ装置３は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置３は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。

【0045】

また本実施の形態に係るサーバ装置３には、記憶部３２に記憶されたサーバプログラム３Ｐを処理部３１が読み出して実行することにより、画像受信処理部３１ａ、再評価部３１ｂ、ＩＤ付与部３１ｃ、画像選別部３１ｄ、送信画像選択部３１ｅ及び画像送信処理部３１ｆ等が、ソフトウェア的な機能部として処理部３１に実現される。

【0046】

画像受信処理部３１ａは、情報処理装置２が送信する画像を通信部３３にて受信する処理を行う。例えば画像受信処理部３１ａは、受信した画像に付されたデータに基づいて、画像の撮影日時、撮影したカメラ１のＩＤ及びカメラ１が設置された施設１００のＩＤ等に対応付けて、画像を分類して記憶部３２に一時的に記憶する。なお画像受信処理部３１ａによって記憶部３２に一時的に記憶された画像は、画像選別処理により選別がなされ、記憶部３２の画像記憶部３２ａに記憶して蓄積されるか、又は、記憶部３２から消去される。

【0047】

再評価部３１ｂは、情報処理装置２から受信した画像の中で、メタデータに切り出し部２１ｂが付したフラグを含む画像について、再評価を行う。再評価の内容は、情報処理装置２の画像評価部２１ｃが行う評価と同様である。なお、情報処理装置２にて行う評価と、サーバ装置３の行う評価とは、上述したものに限らない。評価を行う装置は、情報処理装置２とするか、サーバ装置３とするかは、適宜設計可能である。例えば、全ての観点についての評価を、情報処理装置２のみで行ってもよいし、サーバ装置３のみで行ってもよい。また、一部の評価を情報処理装置２のみで行い、残りの評価をサーバ装置３のみで行ってもよい。評価以外の処理についても、情報処理装置２、又は、サーバ装置３に適宜配置してもよい。

【0048】

再評価部３１ｂは、情報処理装置２から受信した全ての画像を対象に、以下の処理を行う。画像に写っている全ての子供に対してバウンディングボックスを設定し、バウンディングボックスサイズの合計が大きいほど評価点を上げる。例えば、サイズ範囲と係数とを対応付ける表を用意し、サイズの合計が定めた範囲に入った場合、評価点に係数（１以上）を掛ける。また、大人、後ろを向いた子供、物体に対してバウンディングボックスを設定し、バウンディングボックスサイズの合計が大きいほど評価点を下げる。例えば、サイズ範囲と係数とを対応付ける表を用意し、サイズの合計が定めた範囲に入った場合、評価点に係数（１未満）を掛ける。

【0049】

ＩＤ付与部３１ｃは、情報処理装置２から受信した画像に写された人を識別するＩＤを付与する処理を行う。ＩＤ付与部３１ｃは、例えば画像に写された人の顔の特徴量を抽出し、ユーザＤＢ３２ｂに登録された顔の画像又はこの画像から抽出した特徴量との比較を行う。ＩＤ付与部３１ｃは、カメラ１の撮影画像に写された人の顔の特徴量と一致する又は類似する特徴量がユーザＤＢ３２ｂに登録されている利用者（子供）を検索し、該当する利用者のＩＤをこの画像に付す。ＩＤ付与部３１ｃは、例えば顔の画像を入力として受け付けて、この顔の特徴量として多次元のベクトル情報を出力する学習モデルを用いて、カメラ１が撮影した画像に写された人の顔の特徴量の抽出を行う。ユーザＤＢ３２ｂに顔の特徴量を登録する際にも、同じ学習モデルを用いることができる。ＩＤ付与部３１ｃは、例えば２つの特徴量に対応する２つのベクトルの距離等を算出し、この距離が閾値以下であり、且つ、距離が最も小さいものを、顔の特徴が一致する又は類似すると判断することができる。

【0050】

また画像選別部３１ｄは、ＩＤ付与部３１ｃが付与したＩＤに基づいて、利用者（子供）毎に撮影された画像の枚数をカウントし、１日等の所定期間に画像記憶部３２ａに記憶して蓄積する画像数を均一化するように、選別する画像の枚数を調整する。画像選別部３１ｄは、利用者毎の画像の枚数調整を、上記の評価において算出した画像の評価値と比較する閾値を増減することで行う。画像選別部３１ｄは、例えばカメラ１により撮影された（カメラ１から受信した）画像の枚数が少ない利用者について、評価値と比較する閾値の値を下げることで、この利用者が写された画像が選別される可能性を高め、選別される画像の数を増加させる。また画像選別部３１ｄは、画像が多い利用者について、評価値と比較する閾値を上げることで、この利用者が写された画像が選別される可能性を低減し、選別される画像の数を減少させる。

【0051】

画像選別部３１ｄは、各画像について算出した評価点と閾値とを比較し、閾値を超える評価点が付された画像を画像記憶部３２ａに記憶して蓄積する。なお画像選別部３１ｄによる画像の選別は、例えば情報処理装置２からの画像を受信する都度に、受信した画像に対して行ってもよく、また例えば１日に１回等の所定のタイミングでその日に受信した画像についてまとめて行ってもよい。いずれの場合であっても、サーバ装置３は、情報処理装置２から受信した画像を、画像選別部３１ｄによる選別がなされるまで記憶部３２に一時的に記憶しておく。画像選別部３１ｄは、評価点及び閾値との比較に基づく選別の結果、画像記憶部３２ａが記憶しないと判定した画像については、記憶部３２から削除してよい。

【0052】

なお、画像選別部３１ｄが記憶する判定した画像は、所定のタイミングで、撮影がされた保育施設に送信し、保育士による確認を受けてもよい。これまでの処理では除外されていないが、保育士が利用者に公開すべきでないと判断する画像が含まれている可能性があるからである。また、ＩＤ付与部３１ｃ、画像選別部３１ｄをサーバ装置３ではなく、情報処理装置２に実現してもよい。

【0053】

送信画像選択部３１ｅは、画像送信処理部３１ｆに送信させる画像の選択を行う。送信画像選択部３１ｅは、ユーザＤＢ３２ｂを参照して処理対象とする利用者を選択し、選択した利用者のＩＤを取得する。送信画像選択部３１ｅ（評価済画像取得部）は、ＩＤ付与部３１ｃが画像に付したＩＤを利用して、その日に撮影された画像であって、対象としている利用者が写っている画像を選択する。送信画像選択部３１ｅ（選択部）は、選択した画像を評価値の降順に並べ替え、上位所定数の画像、例えば上位５枚の画像を送信画像として選択し、画像送信処理部３１ｆに与える。送信画像選択部３１ｅは、以上の処理を全ての利用者に対して繰り返し実行する。

【0054】

画像送信処理部３１ｆは、送信画像選択部３１ｅが選択した画像を、処理対象となっている利用者に対応付けられた端末装置５へ送信する。画像送信処理部３１ｆは、送信した画像のメタデータ、送信日時とを対応付けて、履歴ＤＢ３２ｃに記憶する。なお、画像送信処理部３１ｆは、選択された画像をそのまま送信するのではなく、画質の劣化処理や、ウォーターマークを付す処理をしてから、送信してもよい。

【0055】

利用者が画像を購入するために、代金の決済を行なったことの通知を、図示しない決済システムから、画像送信処理部３１ｆが受信した場合、画質の劣化処理や、ウォーターマークを付す処理をしていない画像を、画像送信処理部３１ｆは、端末装置５へ送信する。

【0056】

なお、画像送信処理部３１ｆは、端末装置５からの要求に基づいて画像記憶部３２ａから画像を読み出して要求元の端末装置５へ画像を送信してもよい。画像送信処理部３１ｆは、要求元の端末装置５と対応付けられた利用者を特定し、特定した利用者が写っている画像を送信する。

【0057】

図５は、端末装置の構成を示すブロック図である。端末装置５は、処理部５１、記憶部５２、通信部５３、表示部５４及び操作部５５等を備えて構成されている。端末装置５は、カメラ１の被写体となる子供を見守る家族又は後見人等の利用者が使用する装置であり、例えばスマートフォン、タブレット型端末装置又はパーソナルコンピュータ等の情報処理装置を用いて構成され得る。

【0058】

処理部５１は、ＣＰＵ又はＭＰＵ等の演算処理装置、ＲＯＭ及び等を用いて構成されている。処理部５１は、記憶部５２に記憶されたプログラム５Ｐを読み出して実行することにより、サーバ装置３から送信される画像を受信する処理、受信した画像を表示する処理、及び、サーバ装置３が記憶している画像を検索する処理等の種々の処理を行う。

【0059】

記憶部５２は、例えばフラッシュメモリ等の不揮発性のメモリ素子を用いて構成されている。記憶部５２は、処理部５１が実行する各種のプログラム、及び、処理部５１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部５２は、処理部５１が実行するプログラム５Ｐを記憶している。本実施の形態においてプログラム５Ｐは遠隔のサーバ装置等により配信され、これを端末装置５が通信にて取得し、記憶部５２に記憶する。ただしプログラム５Ｐは、例えば端末装置５の製造段階において記憶部５２に書き込まれてもよい。例えばプログラム５Ｐは、メモリカード又は光ディスク等の記録媒体５ａに記録されたプログラム５Ｐを端末装置５が読み出して記憶部５２に記憶してもよい。例えばプログラム５Ｐは、記録媒体５ａに記録されたものを書込装置が読み出して端末装置５の記憶部５２に書き込んでもよい。プログラム５Ｐは、ネットワークを介した配信の態様で提供されてもよく、記録媒体５ａに記録された態様で提供されてもよい。

【0060】

通信部５３は、携帯電話通信網、無線ＬＡＮ及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。通信部５３は、ネットワークＮを介して、サーバ装置３との間で通信を行う。通信部５３は、処理部５１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部５１へ与える。

【0061】

表示部５４は、液晶ディスプレイ等を用いて構成されており、処理部５１の処理に基づいて種々の画像及び文字等を表示する。操作部５５は、ユーザの操作を受け付け、受け付けた操作を処理部５１へ通知する。例えば操作部５５は、機械式のボタン又は表示部５４の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部５５は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは端末装置５に対して取り外すことが可能な構成であってもよい。

【0062】

また端末装置５は、記憶部５２に記憶されたプログラム５Ｐを処理部５１が読み出して実行することにより、画像受信処理部５１ａ、画像購入処理部５１ｂ及び画像検索処理部５１ｃ等がソフトウェア的な機能部として処理部５１に実現される。なおプログラム５Ｐは、情報処理システムに専用のプログラムであってもよく、インターネットブラウザ又はウェブブラウザ等の汎用のプログラムであってもよい。

【0063】

画像受信処理部５１ａは、サーバ装置３が送信する画像を通信部５３にて受信する処理を行う。画像受信処理部５１ａは、例えばサーバ装置３がプッシュ送信する画像を受信した場合に、表示部５４にメッセージ表示等を行うことによって、画像の受信を通知する処理を行う。また画像受信処理部５１ａは、サーバ装置３から受信した画像を記憶部５２に記憶すると共に、表示部５４に表示する処理を行う。

【0064】

画像購入処理部５１ｂは、表示部５４に表示された画像を、利用者が購入するための処理を行う。画像購入処理部５１ｂは、例えば表示部５４に画像を表示する際、各画像を利用者が選択するためのチェックボックスを表示させる。また、利用者が購入を指示する購入ボタンを表示部５４に表示させる。利用者は、購入を希望する画像のチェックボックスを入れ、購入ボタンを選択する。画像購入処理部５１ｂは利用者が選択した画像の情報に基づき、購入代金と代金の決済方法を表示部５４に表示させる。利用者は購入代金を確認し、決済方法を指定する。画像購入処理部５１ｂは代金の決済要求をサーバ装置３に送信する。サーバ装置３は決済システムと協働して代金の決済を行う。サーバ装置３は決済システムから決済完了の通知を受けると、決済完了を端末装置５へ送信する。画像購入処理部５１ｂは、決済完了を表示部５４に表示させる。なお、ここでは選択した写真毎に料金を支払って購入するとしたが、それに限らない。サブスクリプションとしてもよい。例えば、月当たり決められた金額を支払うことにより、枚数の制限なく画像を自由にダウンロードと可能としてもよい。

【0065】

決済完了後に、サーバ装置３の画像送信処理部３１ｆは購入された画像を端末装置５へ送信する。この際、画像送信処理部３１ｆは質の劣化処理や、ウォーターマークを付す処理をしていない画像を送信する。画像受信処理部５１ａはサーバ装置３から受信した画像を記憶部５２に記憶すると共に、表示部５４に表示する処理を行う。

【0066】

画像検索処理部５１ｃは、サーバ装置３が画像記憶部３２ａに記憶して蓄積した複数の画像の中から、利用者が望む条件の画像を検索するための処理を行う。画像検索処理部５１ｃは、例えば検索条件の入力画面を表示部５４に表示して、利用者による検索条件の入力を受け付ける。画像検索処理部５１ｃは、例えば笑顔の画像、ハイハイ等の特定の行動をしている画像、又は、特定の日時の画像等のように、利用者から種々の検索条件の入力を受け付ける。画像検索処理部５１ｃは、受け付けた検索条件を含む検索要求をサーバ装置３へ送信する。この検索要求に応じてサーバ装置３が検索条件に適合する画像を画像記憶部３２ａから抽出し、抽出した一又は複数の画像を要求元の端末装置５へ送信する。画像検索処理部５１ｃは、サーバ装置３から検索結果として送信された画像を受信して、表示部５４に表示する。

【0067】

図６は情報処理装置が行う画像選別処理の手順を示すフローチャートである。カメラ１は撮影を行い、画像を情報処理装置２へ送信する。情報処理装置２の処理部２１（評価画像取得部）は通信部２４を介して、画像を受信する（ステップＳ１）。処理部２１は、撮影により得られた画像を記憶部２３に一時的に記憶する（ステップＳ２）。処理部２１の人検出部２１ａは、撮影した画像を圧縮した圧縮画像を生成する（ステップＳ３）。なお画像を圧縮する方法には、どのような方法が採用されてもよい。人検出部２１ａは、生成した圧縮画像を基に、この画像に写されている人を検出する人検出処理を行う（ステップＳ４）。このときに人検出部２１ａは、画像から人を検出する学習済の学習モデルを利用し、圧縮画像を学習モデルへ入力して、学習モデルが出力する検出結果を取得する。なお人検出処理の終了後、人検出部２１ａは生成した圧縮画像を破棄してよい。人検出部２１ａは、ステップＳ４の処理の結果に基づいて、撮影画像に人が写されているか否かを判定する（ステップＳ５）。人が写されていない場合（Ｓ５：ＮＯ）、人検出部２１ａは、記憶部２３に一時的に記憶した撮影画像を除去して（ステップＳ１１）、ステップＳ１へ処理を戻す。

【0068】

撮影画像に人が写されている場合（Ｓ５：ＹＥＳ）、処理部２１の切り出し部２１ｂは、画像において、写っている人の領域の割合が大きくなるように、画像の切り出し、拡大を行う（ステップＳ６）。切り出し部２１ｂは画像の切り出しの前後で写っている子供の人数が減った場合、その旨を示すフラグを画像のメタデータに付加する。

【0069】

続いて、処理部２１の画像評価部２１ｃは、撮影画像の人の写りの良さを複数の観点から評価する（ステップＳ７）。画像評価部２１ｃは予め機械学習がなされた評価モデルを用いて、撮影画像を評価する。画像評価部２１ｃは撮影画像に評価点を付す。

【0070】

処理部２１の画像選別部２１ｄは、画像評価部２１ｃが出力した評価点に基づいて、サーバ装置３へ送信する画像と、サーバ装置３へ送信せずに除去する画像とを選別する処理を行う。画像選別部２１ｄは、予め定めた閾値を基準として、評価点により、撮影画像を除去するか否かを判定する（ステップＳ８）。画像選別部２１ｄは、評価点が所定の閾値以上の撮影画像を残すと判定し、これ以外の画像を除去すると判定する。除去すると判定した場合（Ｓ８：ＹＥＳ）、画像選別部２１ｄは、記憶部２３に一時的に記憶した撮影画像を除去して（ステップＳ１１）、ステップＳ１へ処理を戻す。

【0071】

撮影画像を残すと判定した場合（Ｓ８：ＮＯ）、処理部２１の不適切画像検出部２１ｅは、撮影画像が不適切な画像であるか否かを判定する（ステップＳ９）。このときに不適切画像検出部２１ｅは、画像の適切度を出力する学習済の学習モデルを用い、カメラ１が撮影した画像を学習モデルへ入力し、学習モデルが出力する適切度を取得する。不適切画像検出部２１ｅは、取得した適切度が閾値を超えない画像を不適切と判定することができる。撮影画像が不適切であると判定した場合（Ｓ９：ＹＥＳ）、不適切画像検出部２１ｅは、記憶部２３に一時的に記憶した撮影画像を除去して（ステップＳ１１）、ステップＳ１へ処理を戻す。

【0072】

撮影画像が不適切ではないと判定した場合（Ｓ９：ＮＯ）、処理部２１の画像送信処理部２１ｆは、撮影画像をサーバ装置３へ送信し（ステップＳ１０）、ステップＳ１へ処理を戻す。なおこのときに画像送信処理部２１ｆが送信する画像のデータは、カメラ１が撮影した非圧縮の画像であり、ステップＳ４の人検出処理、ステップＳ６の切取り、拡大処理及びステップＳ７の写りの良さの評価処理等の結果に関する情報がメタデータとして付されたものである。

【0073】

情報処理装置２は画像選別処理をカメラ１から受信した画像毎に行う。図６に示したフローチャートでは、情報処理装置２はカメラ１から画像を受信する度に、画像選別処理を行う前提としているが、それに限らない。情報処理装置２は、所定のタイミングで行なってもよい。例えば、カメラ１から受信した画像を記憶部２３に記憶しておき、画像が所定枚数溜まった毎に、又は、所定の時間間隔で、画像選別処理を行ってもよい。サーバ装置３が行う画像選別処理及び画像送信処理は、情報処理装置２での画像選別処理が完了したことを前提としているので、情報処理装置２は、サーバ装置３での処理が開始される前に、処理日に撮影された画像に対する画像選別処理を完了しておくことが望ましい。

【0074】

図７はサーバ装置が行う画像選別処理の手順を示すフローチャートである。サーバ装置３の画像受信処理部３１ａは、情報処理装置２から画像を受信する（ステップＳ２１）。画像受信処理部３１ａは、撮影により得られた画像を記憶部３２に一時的に記憶する（ステップＳ２２）。画像受信処理部３１ａは画像を再評価部３１ｂへ与える。再評価部３１ｂは、画像の再評価を行う（ステップＳ２３）。再評価部３１ｂは、画像に付されたメタデータを参照し、切り出し部２１ｂの処理で人数が減っていた場合、評価モデル３２１を用いて、人の写りの良さを複数の観点から評価する。また、再評価部３１ｂは、写っている子供に対してバウンディングボックスを設定し、ボックスサイズの合計が大きいほど評価値を上げる。また、大人、後ろを向いた子供、物体に対してバウンディングボックスを設定し、ボックスサイズの合計が大きいほど評価値を下げる。再評価部３１ｂは画像をＩＤ付与部３１ｃへ与える。ＩＤ付与部３１ｃは画像に写された人を識別するＩＤを付与する（ステップＳ２４）。写された人が複数の場合、ＩＤ付与部３１ｃは一つの画像に対して、複数のＩＤを付与する。処理部３１は画像を、評価点を含むメタデータと共に、画像記憶部３２ａへ記憶し（ステップＳ２５）、処理を終了する。なお、これまで説明した処理は、いずれの装置で行ってもよい。サーバ装置３で行うと説明した処理を、情報処理装置２で行ってもよいし、情報処理装置２で行うと説明した処理を、サーバ装置３で行ってもよい。

【0075】

サーバ装置３は画像選別処理を情報処理装置２から受信した画像毎に行う。図７に示したフローチャートでは、サーバ装置３は情報処理装置２から画像を受信する度に、画像選別処理を行う前提としているが、それに限らない。サーバ装置３は、所定のタイミングで行なってもよい。例えば、情報処理装置２から受信した画像を記憶部３２に記憶しておき、画像が所定枚数溜まった毎に、又は、所定の時間間隔で、画像選別処理を行ってもよい。但し、以下に説明する画像送信処理を行うまでには、受信した画像すべてについて、画像選別処理を実行完了していることが望ましい。

【0076】

図８は、サーバ装置が行う画像送信処理の手順を示すフローチャートである。画像送信処理はバッチ処理として行われることを想定している。例えば、施設１００の稼働日の夕方に日次バッチとして実行する。サーバ装置３の画像選別部３１ｄは画像の選別を行う（ステップＳ３１）。画像選別部３１ｄはメタデータに含まれるＩＤに基づいて、画像選別部３１ｄは、利用者（子供）毎に撮影された画像の枚数をカウントし、１日等の所定期間に画像記憶部３２ａに記憶して蓄積する画像数を均一化するように、画像の枚数を調整する。

【0077】

送信画像選択部３１ｅは、ユーザＤＢ３２ｂを参照して処理対象とする利用者を選択する（ステップＳ３２）。送信画像選択部３１ｅは送信する画像を以下の手順で選択する（ステップＳ３３）。送信画像選択部３１ｅは、画像に付されたＩＤを利用して、その日に撮影された画像であって、対象としている利用者が写っている画像を選択する。送信画像選択部３１ｅは、選択した画像を評価点の降順に並べ替え、上位所定数の画像、例えば上位５枚の画像を送信画像として選択する。画像送信処理部３１ｆは、送信画像選択部３１ｅが選択した画像を、処理対象となっている利用者に対応付けられた端末装置５へ送信する（ステップＳ３４）。端末装置５への送信は、電子メールやプッシュ通知等で行う。画像送信処理部３１ｆは、送信した画像のメタデータ、送信日時とを対応付けて、履歴ＤＢ３２ｃに記憶する（ステップＳ３５）。処理部３１は未処理のユーザが有るか否かを判定する（ステップＳ３６）。処理部３１は未処理のユーザが有ると判定した場合（Ｓ３６：ＹＥＳ）、処理をステップＳ３２へ戻し、未処理のユーザに対する処理を行う。処理部３１は未処理のユーザがないと判定した場合（Ｓ３６：ＮＯ）、処理を終了する。

【0078】

図９は端末装置が行う画像受信処理の手順を示すフローチャートである。端末装置５の画像受信処理部５１ａは、サーバ装置３が送信する画像を受信する（ステップＳ４１）。画像受信処理部５１ａは、受信した画像を記憶部５２に記憶すると共に、表示部５４に表示する（ステップＳ４２）。この際、画像購入処理部５１ｂは、各画像を利用者が選択するためのチェックボックス及び購入ボタンを表示させる。ここで受信する画像は、質の劣化処理や、ウォーターマークを付す処理を施された画像であり、写真の内容を把握する目的の画像である。ユーザは操作部５５により操作を行う。処理部５１は操作を受け付ける（ステップＳ４３）。処理部５１は受け付けた操作がチェックボックスによる選択又は選択解除か否かを判定する（ステップＳ４４）。処理部５１は受け付けた操作が選択又は選択解除と判定した場合（Ｓ４４：ＹＥＳ）、表示を更新する（ステップＳ４５）。チェックの入っていないチェックボックスに対する操作は選択操作であり、処理部５１は、チェックボックスのチェックを入れる。チェックの入っているチェックボックスに対する操作は選択解除であり、処理部５１は、チェックボックスのチェックを外す。処理部５１は処理をステップＳ４３へ戻す。処理部５１は受け付けた操作が選択及び選択解除でない判定した場合（Ｓ４４：ＮＯ）、購入であるか否かを判定する（ステップＳ４６）。処理部５１は購入であると判定した場合（ステップＳ４６：ＹＥＳ）、画像購入処理部５１ｂは画像の購入処理を行う（ステップＳ４７）。購入処理が完了後、質の劣化処理や、ウォーターマークを付す処理をしていない画像が、サーバ装置３から送信される。画像受信処理部５１ａはサーバ装置３から受信した画像を記憶部５２に記憶すると共に、表示部５４に表示する（ステップＳ４８）。処理部５１は処理をステップＳ４３へ戻す。処理部５１は購入でないと判定した場合（Ｓ４６：ＮＯ）、終了であるか否かを判定する（ステップＳ４９）。処理部５１は終了でないと判定した場合（Ｓ４９：ＮＯ）、処理をステップＳ４３へ戻す。処理部５１は終了であると判定した場合（Ｓ４９：ＹＥＳ）、処理を終了する。

【0079】

本実施の形態においては、評価モデル２３１又は評価モデル３２１により、撮影画像を複数の観点により評価するので、多様な観点から見て写りの良い撮影画像を選択することが可能となる。そして、特に写りの良い撮影画像を数点選択し、選択した画像をユーザに送信する。この際、質の劣化処理や、ウォーターマークを付す処理を施された画像を送信するようにし、購入手続後、質の劣化処理がされておらず、ウォーターマークが付されていない画像を送信するのであれば、撮影画像の購入をユーザに促すことが可能となる。

【0080】

本実施の形態において、サーバ装置３は施設１００以外の場所に設置することを前提として説明したが、それに限らない。サーバ装置３の機能の２つに分け、一方の機能を担うサーバ装置３を施設１００に設置し、他方の機能を担うサーバ装置３を施設１００以外の場所に設置してもよい。例えば、施設１００に設置するサーバ装置３には、機能部として、画像受信処理部３１ａ、再評価部３１ｂ、ＩＤ付与部３１ｃ、画像選別部３１ｄを持たせ、施設１００以外の場所に設置するサーバ装置３には、機能部として、送信画像選択部３１ｅ、画像送信処理部３１ｆを持たせる。

【0081】

（実施の形態２）
本実施の形態は、評価モデル２３１及び評価モデル３２１において、評価点を算出する際に用いる重みを、履歴に基づき更新する形態に関する。重みは、上述した画像評価部２１ｃが、各観点の評価値から画像毎の評価点を算出する際に用いる各観点に対応するものである。以下の説明においては、主として、実施の形態１を異なる部分について述べる。

【0082】

履歴ＤＢ３２ｃには、画像の購入数、参照数、ダウンロード数が、例えば日毎に蓄積される。参照数は端末装置５へ送信された回数である。また、端末装置５へ画像のサムネイルを送信し、ユーザがサムネイルを選択した場合に画像を詳細表示する場合においては、詳細表示された回数を参照数としてもよい。ダウンロード数は、ユーザが明示的に画像をダウンロードし、端末装置５の記憶部５２等に記憶させた回数である。購入数、参照数、ダウンロード数は、主観的評価の一例である。そして、購入数、参照数、ダウンロード数が多い画像の評価点が高く、購入数、参照数、ダウンロード数が少ない画像の評価点が低くなるように、各観点の重みを更新する。なお、画像に写っている子供の数が多いほど購入数、参照数、ダウンロード数が多くなることが想定されるので、購入数、参照数、ダウンロード数の評価する際には、購入数、参照数、ダウンロード数を写っている子供の数で除して、平準化してもよい。

【0083】

図１０は情報処理装置が行う重み更新処理の手順例を示すフローチャートである。処理部２１はサーバ装置３の履歴ＤＢ３２ｃから履歴を取得する（ステップＳ６１）。取得する履歴は全件でもよいが、直近１ヶ月としてもよい。処理部２１（主観評価取得部）は画像毎に購入数、参照数、ダウンロード数を集計する（ステップＳ６２）。処理部２１は集計した結果に基づき、購入数、参照数、ダウンロード数が多い画像の評価点が高く、購入数、参照数、ダウンロード数が少ない画像の評価点が低くなるように、各観点の重みを最適化する（ステップＳ６３）。重みの最適化については、荷重和法、ゴールプログラミング、制約法など、公知の技術を用いるので説明を省略する。処理部２１（変更部）は最適化の結果に基づき、重みを更新し（ステップＳ６４）、処理を終了する。

【0084】

本実施の形態では、撮影画像の購入数、参照数、ダウンロード数により、重みを更新するので、購入数、参照数、ダウンロードされる可能性が高い、撮影画像を端末装置５へ送信することが可能となる。

【0085】

なお、重みを更新する際に参照するデータとして、購入数、参照数、ダウンロード数以外を用いてもよい。端末装置５からの要求に基づく検索処理における検索ヒット回数でもよい。また、サーバ装置３にＳＮＳ（Social Networking Service）機能を持たせ、画像を参照した利用者からの高評価の数を用いてもよい。

【0086】

（実施の形態３）
本実施の形態は、評価モデル２３１及び評価モデル３２１を履歴に基づく、学習を行う形態に関する。以下の説明においては、主として、実施の形態１を異なる部分について述べる。また、評価モデル３２１は評価モデル２３１と同等なモデルであるので、評価モデル２３１についてのみ説明する。

【0087】

本実施の形態における評価モデル２３１は評価の観点として、画像が購入、参照、又は、ダウンロードされる可能性を含める。評価モデル２３１は画像が購入、参照、又は、ダウンロードされる確信度を評価値として出力する。確信度は例えば０以上１以下までの値とする。画像が購入される確信度は、他の評価値と併せて、評価点の算出に用いてもよいが、他の評価値とは別扱いにして、出力してもよい。この場合、サーバ装置３の送信画像選択部３１ｅは、端末装置５に送信する画像を選択するときに、選択する画像の中に、評価点が低いが購入される確信度が高い画像を含めるようにする。なお、評価点が高いとして選択した画像が、一様に購入、参照、又は、ダウンロードされる確信度も高い場合は、この限りではない。

【0088】

評価モデル２３１を生成する際、各撮影画像が購入、参照、又は、ダウンロードされた否かのデータがない場合、訓練データにおける購入、参照、又は、ダウンロードされる確信度の正解値は、中間値、例えば０．５として、学習を行う。履歴ＤＢ３２ｃに履歴が蓄積された後、評価モデル２３１を再学習する際には、端末装置５に送信された画像の中で、実際に購入、参照、又は、ダウンロードされた画像については、購入、参照、又は、ダウンロードされる確信度の正解値を１とする。端末装置５に送信された画像の中で、実際に購入、参照、又は、ダウンロードされなかった画像については、購入、参照、又は、ダウンロードされる確信度の正解値を０とする。履歴に基づく訓練データにより、評価モデル２３１を再学習する。その結果は、評価モデル３２１にも反映させる。なお、再学習を行うタイミングは、画像送信処理と同様に日次バッチで行う。それに限らず、履歴ＤＢ３２ｃに履歴が所定件数蓄積される毎に実行してもよい。

【0089】

本実施の形態では、評価の観点として購入、参照、又は、ダウンロードされる確信度を含めるので、ユーザが購入、参照、又は、ダウンロードする可能性の高い撮影画像を選択して、端末装置５へ送信することが可能となる。

【0090】

各実施の形態で記載されている技術的特徴（構成要件）はお互いに組み合わせ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0091】

１００ 施設
１ カメラ
２ 情報処理装置
２１ 処理部
２１ａ 人検出部
２１ｂ 切り出し部
２１ｃ 画像評価部
２１ｄ 画像選別部
２１ｅ 不適切画像検出部
２１ｆ 画像送信処理部
２２ 入出力部
２３ 記憶部
２３１ 評価モデル
２４ 通信部
２Ｐ プログラム
３ サーバ装置
３１ 処理部
３１ａ 画像受信処理部
３１ｂ 再評価部
３１ｃ ＩＤ付与部
３１ｄ 画像選別部
３１ｅ 送信画像選択部
３１ｆ 画像送信処理部
３２ 記憶部
３２ａ 画像記憶部
３２ｂ ユーザＤＢ
３２ｃ 履歴ＤＢ
３２１ 評価モデル
３３ 通信部
３Ｐ サーバプログラム
３ａ 記録媒体
５ 端末装置
５１ 処理部
５１ａ 画像受信処理部
５１ｂ 画像購入処理部
５１ｃ 画像検索処理部
５２ 記憶部
５３ 通信部
５４ 表示部
５５ 操作部
５Ｐ プログラム
５ａ 記録媒体
Ｎ ネットワーク

【要約】

【課題】多様な写真の選択を可能とする情報処理装置等を提供すること。
【解決手段】情報処理装置は、画像を取得する画像取得部と、前記画像に対して、複数の観点での評価を示す評価素点を取得する評価取得部と、各評価素点を重みづけして加算し、評価点を算出する算出部と、前記評価点が所定の閾値以下の場合、前記画像を削除する削除部と、前記評価点が前記閾値を超える前記画像を前記評価点と共に記憶する記憶部とを備えることを特徴とする情報処理装置。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】