(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024061060
(43)【公開日】2024-05-07
(54)【発明の名称】方法、およびプログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20240425BHJP
【ＦＩ】
G06Q50/10
【審査請求】有
【請求項の数】2
【出願形態】ＯＬ
(21)【出願番号】P 2022168749
(22)【出願日】2022-10-21
(11)【特許番号】
(45)【特許公報発行日】2023-12-28
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ２０２２年２月２８日、ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／００００００００８．００００５９５５２．ｈｔｍｌ等において出願人がウェブサイトへ掲載。
(71)【出願人】
【識別番号】507013040
【氏名又は名称】株式会社エグゼック
(74)【代理人】
【識別番号】110002815
【氏名又は名称】ＩＰＴｅｃｈ弁理士法人
(72)【発明者】
【氏名】古田 貴也
(72)【発明者】
【氏名】垣内 紀明
(72)【発明者】
【氏名】塚本 悠太
【テーマコード（参考）】
5L049
5L050
【Ｆターム（参考）】
5L049CC11
5L050CC11
(57)【要約】
【課題】アルバムに掲載する写真の候補をバランスよく効率的に選定する。
【解決手段】本開示の一態様のプログラムは、コンピュータを、複数の写真を画像特徴量に基づいて複数のグループに分類する手段、グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段、選定された写真を含む情報を提示する手段、として機能させる。
【選択図】図４
【解決手段】本開示の一態様のプログラムは、コンピュータを、複数の写真を画像特徴量に基づいて複数のグループに分類する手段、グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段、選定された写真を含む情報を提示する手段、として機能させる。
【選択図】図４
【特許請求の範囲】
【請求項1】
コンピュータを、
複数の写真を画像特徴量に基づいて複数のグループに分類する手段、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段、
選定された写真を含む情報を提示する手段、
として機能させる、プログラム。
複数の写真を画像特徴量に基づいて複数のグループに分類する手段、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段、
選定された写真を含む情報を提示する手段、
として機能させる、プログラム。
【請求項2】
前記コンピュータを、前記複数の写真を、前記グループ間で共通の基準により評価する手段として機能させ、
前記選定する手段は、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
請求項１に記載のプログラム。
前記選定する手段は、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
請求項１に記載のプログラム。
【請求項3】
前記評価する手段は、前記複数の写真の各々において被写体である人物の笑顔の度合いを判定し、当該笑顔の度合いに基づいて当該写真の評価を行う、
請求項２に記載のプログラム。
請求項２に記載のプログラム。
【請求項4】
前記評価する手段は、前記複数の写真の各々において被写体である人物の手の形状に基づいて当該人物のジェスチャを判定し、判定結果に基づいて当該写真の評価を行う、
請求項２に記載のプログラム。
請求項２に記載のプログラム。
【請求項5】
前記評価する手段は、前記複数の写真の各々において被写体である人物の顔が収まっているか否かを判定し、前記被写体である人物の顔が収まっていない写真の評価を下げる、
請求項２に記載のプログラム。
請求項２に記載のプログラム。
【請求項6】
前記コンピュータを、前記複数の写真を、前記グループの個別の基準により評価する手段として機能させ、
前記評価する手段は、前記複数の写真における被写体である人物の動作を判定し、判定結果と前記グループの個別の基準とに基づいて当該グループに属する写真を評価し、
前記選定する手段は、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
請求項１に記載のプログラム。
前記評価する手段は、前記複数の写真における被写体である人物の動作を判定し、判定結果と前記グループの個別の基準とに基づいて当該グループに属する写真を評価し、
前記選定する手段は、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
請求項１に記載のプログラム。
【請求項7】
前記選定する手段は、各グループに属する写真のうち、選定済みの写真に対する類似度が閾値以上である写真を選定しない、
請求項１に記載のプログラム。
請求項１に記載のプログラム。
【請求項8】
前記コンピュータを、前記複数の写真における被写体である人物の顔に基づいて当該人物を特定する手段、として機能させ、
前記選定する手段は、前記複数のグループに亘って選定した写真における各人物の登場回数の統計量が基準を満たすように、写真を選定する。
請求項１に記載のプログラム。
前記選定する手段は、前記複数のグループに亘って選定した写真における各人物の登場回数の統計量が基準を満たすように、写真を選定する。
請求項１に記載のプログラム。
【請求項9】
前記コンピュータを、ユーザ指示に応じて写真のステータスを変更する手段、としてさらに機能させ、
前記提示する手段は、特定のステータスを持つ全写真、または当該特定のステータスを持つ全写真の一部を構成する特定の集団における各人物の登場回数の情報を提示する、
請求項８に記載のプログラム。
前記提示する手段は、特定のステータスを持つ全写真、または当該特定のステータスを持つ全写真の一部を構成する特定の集団における各人物の登場回数の情報を提示する、
請求項８に記載のプログラム。
【請求項10】
前記提示する手段は、選定された写真を当該写真に対する評価結果とともに提示する、
請求項８に記載のプログラム。
請求項８に記載のプログラム。
【請求項11】
前記複数の写真は、同一のイベント中に撮影されており、
前記複数のグループの各々は、前記イベントを構成する個々のシーンに対応する、
請求項１に記載のプログラム。
前記複数のグループの各々は、前記イベントを構成する個々のシーンに対応する、
請求項１に記載のプログラム。
【請求項12】
前記コンピュータを、ユーザ指示に応じて前記基準枚数を決定する手段、として機能させる、
請求項１に記載のプログラム。
請求項１に記載のプログラム。
【請求項13】
複数の写真を画像特徴量に基づいて複数のグループに分類する手段と、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段と、
選定された写真を含む情報を提示する手段と
を具備する、情報処理装置。
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段と、
選定された写真を含む情報を提示する手段と
を具備する、情報処理装置。
【請求項14】
コンピュータが、
複数の写真を画像特徴量に基づいて複数のグループに分類するステップと、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定するステップと、
選定された写真を含む情報を提示するステップと
を実行する、方法。
複数の写真を画像特徴量に基づいて複数のグループに分類するステップと、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定するステップと、
選定された写真を含む情報を提示するステップと
を実行する、方法。
【請求項15】
第１コンピュータと、第２コンピュータと、第３コンピュータとを具備するシステムであって、
前記第１コンピュータが、
前記第２コンピュータから取得した複数の写真を画像特徴量に基づいて複数のグループに分類する手段と、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段と、
選定された写真を含む情報を、前記第３コンピュータを介して提示する手段とを備える、
システム。
前記第１コンピュータが、
前記第２コンピュータから取得した複数の写真を画像特徴量に基づいて複数のグループに分類する手段と、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段と、
選定された写真を含む情報を、前記第３コンピュータを介して提示する手段とを備える、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、方法、プログラム、およびシステムに関する。
【背景技術】
【0002】
例えば卒業アルバムなどのアルバムを制作するためには、大量の写真の中からアルバムに掲載する写真を選定することが必要となる。故に、かかる作業負担を軽減可能な技術が求められる。
【0003】
特許文献１には、アルバムのテーマに基づいて撮影シーンごとに異なる基準範囲を設定し、各画像データに付与された評価値を、当該画像データに対して判別された撮影シーンに対応する基準範囲に正規化する技術について開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011-186715号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
アルバムに掲載する写真の選定では、選定される個々の写真の質の高さはもちろん、アルバム全体を通してのバランスも重視される。例えば、特定の生徒が登場する写真が極端に多かったり少なかったりすることや、特定のシーンで撮影された写真が極端に多かったり少なかったりすることは、好ましくないとされる場合が多い。
【0006】
特許文献１に記載の技術では、アルバムのテーマに基づいて撮影シーンごとに異なる基準範囲を用いて画像データの評価値を正規化するので、各撮影シーンについて選定される画像データが偏る事態が生じ得る。
【0007】
本開示の目的は、アルバムに掲載する写真の候補をバランスよく効率的に選定するための技術を提供することである。
【課題を解決するための手段】
【0008】
本開示の一態様のプログラムは、コンピュータを、複数の写真を画像特徴量に基づいて複数のグループに分類する手段、グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段、選定された写真を含む情報を提示する手段、として機能させる。
【図面の簡単な説明】
【0009】
【図1】本実施形態の情報処理システムの構成を示すブロック図である。
【図2】本実施形態のクライアント装置の構成を示すブロック図である。
【図3】本実施形態のサーバの構成を示すブロック図である。
【図4】本実施形態の一態様の説明図である。
【図5】本実施形態の写真データベースのデータ構造を示す図である。
【図6】本実施形態の人物別登場回数データベースのデータ構造を示す図である。
【図7】本実施形態の情報処理のフローチャートである。
【図9】本実施形態の情報処理において表示される画面例を示す図である。
【図10】本実施形態の情報処理において表示される画面例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0011】
以降の説明において、複数の同種の要素について共通の説明を述べる場合に、例えば「９９」のような共通の符号を用いることがある。他方、これらの要素について個別に説明を述べる場合に、「９９－１」、または「９９－２」のように共通の符号に添え字を付した符号を用いることがある。
【0012】
（１）情報処理システムの構成
情報処理システムの構成について説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。
情報処理システムの構成について説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。
【0013】
図１に示すように、情報処理システム１は、クライアント装置１０と、サーバ３０とを備える。
クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。
クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。
【0014】
クライアント装置１０は、サーバ３０にリクエストを送信する情報処理装置の一例である。クライアント装置１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。クライアント装置１０のユーザは、例えば、アルバムに掲載される候補となる写真を撮影する者（例えば、写真館のカメラマン）、およびアルバムに掲載する写真を決定する者（例えば、学校の先生）である。なお、両者は、同一人物であってもよい。
【0015】
サーバ３０は、クライアント装置１０から送信されたリクエストに応じたレスポンスをクライアント装置１０に提供する情報処理装置の一例である。サーバ３０は、例えば、サーバコンピュータである。
【0016】
（１－１）クライアント装置の構成
クライアント装置の構成について説明する。図２は、本実施形態のクライアント装置の構成を示すブロック図である。
クライアント装置の構成について説明する。図２は、本実施形態のクライアント装置の構成を示すブロック図である。
【0017】
図２に示すように、クライアント装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。クライアント装置１０は、ディスプレイ２１に接続される。
【0018】
記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
【0019】
プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ、または例えばアルバム編集のためのアプリケーション）のプログラム
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ、または例えばアルバム編集のためのアプリケーション）のプログラム
【0020】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
【0021】
プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、クライアント装置１０の機能を実現するコンピュータである。プロセッサ１２は、例えば、以下の少なくとも１つである。
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Array）
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Array）
【0022】
入出力インタフェース１３は、クライアント装置１０に接続される入力デバイスから情報（例えばユーザの指示）を取得し、かつ、クライアント装置１０に接続される出力デバイスに情報（例えば画像）を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ２１、スピーカ、又は、それらの組合せである。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ２１、スピーカ、又は、それらの組合せである。
【0023】
通信インタフェース１４は、クライアント装置１０と外部装置（例えばサーバ３０）との間の通信を制御するように構成される。
【0024】
ディスプレイ２１は、画像（静止画、または動画）を表示するように構成される。ディスプレイ２１は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。
【0025】
（１－２）サーバの構成
サーバの構成について説明する。図３は、本実施形態のサーバの構成を示すブロック図である。
サーバの構成について説明する。図３は、本実施形態のサーバの構成を示すブロック図である。
【0026】
図３に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。
【0027】
記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
【0028】
プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム
【0029】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
・情報処理において参照されるデータベース
・情報処理の実行結果
【0030】
プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するコンピュータである。プロセッサ３２は、例えば、以下の少なくとも１つである。
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ
【0031】
入出力インタフェース３３は、サーバ３０に接続される入力デバイスから情報（例えばユーザの指示）を取得し、かつ、サーバ３０に接続される出力デバイスに情報（例えば画像）を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
【0032】
通信インタフェース３４は、サーバ３０と外部装置（例えばクライアント装置１０）との間の通信を制御するように構成される。
【0033】
（２）実施形態の一態様
本実施形態の一態様について説明する。図４は、本実施形態の一態様の説明図である。
本実施形態の一態様について説明する。図４は、本実施形態の一態様の説明図である。
【0034】
図４に示すように、第１ユーザＵＳ１１（例えば写真館のカメラマン）は、クライアント装置１０－１を操作することで、当該クライアント装置１０－１に、例えば学校の卒業アルバムに掲載される候補となる写真をサーバ３０へアップロードさせる。
【0035】
サーバ３０は、アップロードされた写真を取得し、記憶装置３１に保存する。サーバ３０は、取得した写真を、当該写真の画像特徴量に基づいて、後述する複数のグループに分類する。なお、写真のアップロードおよび分類は、一連の処理として行われてもよいし、独立した処理として行われてもよい。例えば、写真の分類は、第２ユーザＵＳ１２（例えば学校の先生）に要求されるまで行われなくてもよい。ここで、各グループは、写真が撮影されたイベントを構成する要素（例えばシーン）に対応する。一例として、学校の卒業アルバムに掲載される候補に相当する写真を扱う場合に、イベントとして、学校行事（例えば、運動会、修学旅行、遠足、文化祭、または入学式）などの非日常的なイベント、または授業、放課後、クラブ活動、登下校、などの日常的なイベントが定義され得る。１つのイベントに対して複数のグループが定義され得る。具体的には、運動会というイベントに対し、運動会を構成する種目（例えば、リレー、応援合戦、玉入れ、など）に対応する複数のグループが定義され得る。
【0036】
サーバ３０は、取得した写真を所定の基準により評価する。そして、サーバ３０は、グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を当該グループにおける推奨写真として選定する。
【0037】
サーバ３０は、選定された写真（すなわち、各グループの推奨写真）を含む情報を第２ユーザＵＳ１２に提示する。具体的には、サーバ３０は、第２ユーザＵＳ１２からの指示に応じて、提示対象となる写真を付加情報とともにクライアント装置１０－２へ送信する。付加情報は、例えば、提示対象となる写真の分類結果に関する情報（後述するグループ情報）、写真の評価結果に関する情報（後述する評価情報）、写真がグループにおける推奨写真として選定されたか否かを示す情報（後述するステータス情報）、写真における登場人物に関する情報（後述する登場人物情報）、またはそれらの組み合わせを含むことができる。
【0038】
クライアント装置１０－２は、サーバ３０から写真および付加情報を取得し、これらを画面に表示することで第２ユーザＵＳ１２に提示する。このとき、クライアント装置１０－２は、付加情報を用いて写真を整理（例えばフィルタリング）して提示可能である。例えば、クライアント装置１０－２は、イベント単位で（つまり、イベントに対応する全グループに亘って）推奨写真を提示してもよいし、グループ別に推奨写真を提示してもよい。第２ユーザＵＳ１２は、提示された推奨写真を参考に、アルバムに掲載する写真をバランスよく効率的に決定することができる。
【0039】
（３）データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置３１に記憶される。
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置３１に記憶される。
【0040】
（３－１）写真データベース
本実施形態の写真データベースについて説明する。図５は、本実施形態の写真データベースのデータ構造を示す図である。
本実施形態の写真データベースについて説明する。図５は、本実施形態の写真データベースのデータ構造を示す図である。
【0041】
写真データベースには、写真情報が格納される。写真情報は、アルバムに掲載される候補となる写真に関する情報である。
【0042】
図５に示すように、写真データベースは、「写真ＩＤ」フィールドと、「イベント」フィールドと、「グループ」フィールドと、「評価」フィールドと、「登場人物」フィールドと、「ステータス」フィールドとを含む。各フィールドは、互いに関連付けられている。
【0043】
「写真ＩＤ」フィールドには、写真ＩＤが格納される。写真ＩＤは、写真を識別する情報である。
【0044】
「イベント」フィールドには、イベント情報が格納される。イベント情報は、写真が撮影されたイベントに関する情報である。イベント情報は、ユーザ（例えば撮影者）によって指定されてもよいし、撮影日時、撮影場所、またはそれらの組み合わせに応じて機械的に割り当てられてもよいし、学習済みモデルを用いて推論されてもよい。
【0045】
「グループ」フィールドには、グループ情報が格納される。グループ情報は、写真が分類されたグループに関する情報である。
【0046】
「評価」フィールドには、評価情報が格納される。評価情報は、写真の評価結果に関する情報である。
【0047】
「登場人物」フィールドには、登場人物情報が格納される。登場人物情報は、写真に登場する人物の特定結果に関する情報である。
【0048】
「ステータス」フィールドには、ステータス情報が格納される。ステータス情報は、写真のステータスに関する情報である。写真のステータスは、以下の少なくとも１つを含むことができる。
・アルバム掲載が予定されている（「掲載予定」）
・アルバム掲載写真の候補としてユーザが検討中である（「検討中」）
・アルバム掲載写真の候補として推奨されている（「おすすめ」）
・上記ステータスのいずれにも該当しない（「その他」）
・アルバム掲載が予定されている（「掲載予定」）
・アルバム掲載写真の候補としてユーザが検討中である（「検討中」）
・アルバム掲載写真の候補として推奨されている（「おすすめ」）
・上記ステータスのいずれにも該当しない（「その他」）
【0049】
このほか、写真情報として、撮影日時の情報、撮影場所の情報（例えばＧＰＳ情報）、などが格納されてもよい。また、写真情報として、写真に関連付けられるアルバム（例えば、どの学校のどの年の卒業アルバムか）を特定可能な情報が格納されてもよい。
【0050】
（３－２）人物別登場回数データベース
本実施形態の人物別登場回数データベースについて説明する。図６は、本実施形態の人物別登場回数データベースのデータ構造を示す図である。
本実施形態の人物別登場回数データベースについて説明する。図６は、本実施形態の人物別登場回数データベースのデータ構造を示す図である。
【0051】
人物別登場回数データベースには、人物別登場回数情報が格納される。人物別登場回数情報は、少なくとも１つの写真群のそれぞれにおける人物別の登場回数に関する情報である。各写真群は、特定のイベントに対応する写真からなる群であってもよいし、特定のイベントの特定のグループに対応する写真からなる群であってもよいし、（アルバムに掲載される候補となる）全写真からなる群であってもよい。各写真群は、特定のステータスに対応する写真からなる群であってもよいし、特定のステータス、かつ特定のイベントに対応する写真からなる群であってもよいし、特定のステータス、かつ特定のイベントの特定のグループに対応する写真からなる群であってもよい。
【0052】
図６に示すように、人物別登場回数データベースは、「人物ＩＤ」フィールドと、「登場回数」フィールドとを含む。各フィールドは、互いに関連付けられている。
【0053】
「人物ＩＤ」フィールドには、人物ＩＤが格納される。人物ＩＤは、（アルバムに掲載される候補となる）いずれかの写真において特定された登場人物を識別する情報である。人物ＩＤは、人物別登場回数データベース、または他のデータベース（例えば後述する顔データベース）において、人物の名称に関する情報、人物の顔の特徴量に関する情報に関連付けられて得る。
【0054】
「登場回数」フィールドには、登場回数情報が格納される。登場回数情報は、少なくとも１つの写真群のそれぞれにおける人物の登場回数（総数）に関する情報である。
【0055】
（４）情報処理
本実施形態の情報処理について説明する。図７は、本実施形態の情報処理のフローチャートである。図８は、図７のステップＳ１３４の一例のフローチャートである。図９は、本実施形態の情報処理において表示される画面例を示す図である。図１０は、本実施形態の情報処理において表示される画面例を示す図である。
本実施形態の情報処理について説明する。図７は、本実施形態の情報処理のフローチャートである。図８は、図７のステップＳ１３４の一例のフローチャートである。図９は、本実施形態の情報処理において表示される画面例を示す図である。図１０は、本実施形態の情報処理において表示される画面例を示す図である。
【0056】
本実施形態の情報処理は、サーバ３０が、例えばアルバムに掲載する写真を決定する者に相当するユーザの指示に基づく開始要求をクライアント装置１０から受信したことに応じて開始し得る。開始要求には、例えばアルバムを特定可能な情報が含まれる。
【0057】
図７に示すように、サーバ３０は、写真の取得（Ｓ１３０）を実行する。
具体的には、サーバ３０は、処理対象となるアルバムに関連付けられる写真を取得する。一例として、サーバ３０は、記憶装置３１（または図示しない外部の記憶装置であってもよい）に保存されている写真を読み出す。これらの写真は、アルバムに掲載される候補となる写真を撮影する者に相当するユーザによって予め撮影され、クライアント装置１０を用いてサーバ３０にアップロードされている。
具体的には、サーバ３０は、処理対象となるアルバムに関連付けられる写真を取得する。一例として、サーバ３０は、記憶装置３１（または図示しない外部の記憶装置であってもよい）に保存されている写真を読み出す。これらの写真は、アルバムに掲載される候補となる写真を撮影する者に相当するユーザによって予め撮影され、クライアント装置１０を用いてサーバ３０にアップロードされている。
【0058】
ステップＳ１３０の後に、サーバ３０は、写真の分類（Ｓ１３１）を実行する。
具体的には、サーバ３０は、複数のグループが定義されているイベント毎に、当該イベント中に撮影され、かつステップＳ１３０において取得された写真をそれぞれ、当該写真の画像特徴量に基づいて、当該複数のグループのいずれかに分類する。サーバ３０は、分類結果に基づいて、写真データベース（図５）のグループ情報を更新する。
具体的には、サーバ３０は、複数のグループが定義されているイベント毎に、当該イベント中に撮影され、かつステップＳ１３０において取得された写真をそれぞれ、当該写真の画像特徴量に基づいて、当該複数のグループのいずれかに分類する。サーバ３０は、分類結果に基づいて、写真データベース（図５）のグループ情報を更新する。
【0059】
サーバ３０は、学習済みモデルの出力に基づいて写真を分類してもよい。一例として、サーバ３０は、写真の画像特徴量に基づく入力データに、当該写真が撮影されたイベントに対応するグループ判定モデルに適用する。グループ判定モデルは、写真が属するグループの推論結果に相当する出力データを生成する。グループ判定モデルは、例えば、予め用意された大量の写真の画像特徴量に基づく学習用の入力データと、各入力データの元となる写真が属するグループ（これは、人間が判定してもよい）を示す正解データとを含む学習データを用いた機械学習（教師あり学習）により構築することができる。
【0060】
ステップＳ１３１の後に、サーバ３０は、登場人物の特定（Ｓ１３２）を実行する。
具体的には、サーバ３０は、各写真において被写体である人物の顔に基づいて当該人物を特定する。一例として、サーバ３０は、各写真に対して顔認識を行う。顔認識には、学習済みモデルを用いることができる。
具体的には、サーバ３０は、各写真において被写体である人物の顔に基づいて当該人物を特定する。一例として、サーバ３０は、各写真に対して顔認識を行う。顔認識には、学習済みモデルを用いることができる。
【0061】
登場人物の特定（Ｓ１３２）の第１例として、クライアント装置１０のユーザは、登場回数を管理する対象となる人物（例えば、生徒、または先生を含む学校の職員）の情報をデータベース（以下、「顔データベース」という）に予め登録する。一例として、クライアント装置１０は、人物毎の顔写真をサーバ３０へ送信する。サーバ３０は、顔写真から特徴量を抽出し、当該特徴量を、人物を特定可能な情報（例えばＩＤまたは名称）に関連付けて顔データベースに格納する。ここで、ユーザは、人物を特定可能な情報を、クライアント装置１０を介して指定してもよい。別の例として、クライアント装置１０は、複数の人物が写った集合写真データをサーバ３０へ送信する。サーバ３０は、集合写真に対して顔認識を行い、顔認識の結果（例えば顔画像）を、クライアント装置１０を介してユーザに提示する。ユーザは、検出された顔毎に、該当人物を特定可能な情報を、クライアント装置１０を介して指定する。サーバ３０は、ユーザからの指定に応じて、顔の特徴量を、ユーザによって指定された人物を特定可能な情報に関連付けて顔データベースに格納する。
そして、サーバ３０は、このようにして構築された顔データベースを用いて、登場人物を特定する。すなわち、サーバ３０は、写真から新たに検出した人物の顔の特徴量に基づいて、当該人物が顔データベースに登録済みの人物のいずれと同一であるかを判定する。このようにして、顔データベースに予め登録されている人物毎に、当該人物がどの写真に登場するかを特定することができる。同様に、処理対象となるアルバムに関連付けられる写真毎に、顔データベースに登録されているどの人物が登場するかを特定することができる。サーバ３０は、登場人物の特定結果に基づいて、写真データベース（図５）の登場人物情報と、人物別登場回数データベース（図６）の登場回数情報とを更新する。
そして、サーバ３０は、このようにして構築された顔データベースを用いて、登場人物を特定する。すなわち、サーバ３０は、写真から新たに検出した人物の顔の特徴量に基づいて、当該人物が顔データベースに登録済みの人物のいずれと同一であるかを判定する。このようにして、顔データベースに予め登録されている人物毎に、当該人物がどの写真に登場するかを特定することができる。同様に、処理対象となるアルバムに関連付けられる写真毎に、顔データベースに登録されているどの人物が登場するかを特定することができる。サーバ３０は、登場人物の特定結果に基づいて、写真データベース（図５）の登場人物情報と、人物別登場回数データベース（図６）の登場回数情報とを更新する。
【0062】
登場人物の特定（Ｓ１３２）の第２例は、顔データベースの事前構築を要しない。具体的には、サーバ３０は、新たに検出した人物（例えば、生徒、または先生を含む学校の職員）が、既知の（つまり、相異なる個人として認識され、かつ顔データベースにおいて顔の特徴量が格納されている）人物のいずれと同一であるかを顔の特徴量に基づいて判定する。ここで、サーバ３０は、新たに検出した人物が既知の人物のいずれとも同一でないと判定した場合には、当該人物の顔の特徴量を、当該人物を特定可能な情報（例えばＩＤまたは名称）に関連付けて顔データベースに格納する。ここで、ユーザは、人物を特定可能な情報を、クライアント装置１０を介して指定してもよい。このようにして、顔データベースを事前構築せずとも、相異なる個人として認識された人物毎に、当該人物がどの写真に登場するかを特定することができる。同様に、処理対象となるアルバムに関連付けられる写真毎に、顔データベースに登録されているどの人物が登場するかを特定することができる。サーバ３０は、登場人物の特定結果に基づいて、写真データベース（図５）の登場人物情報と、人物別登場回数データベース（図６）の登場回数情報とを更新する。
【0063】
ステップＳ１３２の後に、サーバ３０は、写真の評価（Ｓ１３３）を実行する。
具体的には、サーバ３０は、各写真の評価を行い、評価値を算出する。サーバ３０は、写真データベース（図５）の評価情報を更新する。
具体的には、サーバ３０は、各写真の評価を行い、評価値を算出する。サーバ３０は、写真データベース（図５）の評価情報を更新する。
【0064】
写真の評価（Ｓ１３３）の第１例として、サーバ３０は、評価対象となる写真を、グループ間で共通の基準により評価する。
グループ間で共通の基準による評価の第１例として、サーバ３０は、評価対象となる写真において被写体である人物の笑顔の度合いを判定し、当該笑顔の度合いに基づいて当該写真を評価してもよい。一例として、サーバ３０は、笑顔の度合いの統計量（例えば、平均値、中央値、最頻値、最大値、最小値、第一四分位数、第三四分位数、または合計）が大きいほど、高い評価値を算出してもよい。笑顔の度合いは、例えば学習済みモデルを用いて判定することができる。
グループ間で共通の基準による評価の第１例として、サーバ３０は、評価対象となる写真において被写体である人物の笑顔の度合いを判定し、当該笑顔の度合いに基づいて当該写真を評価してもよい。一例として、サーバ３０は、笑顔の度合いの統計量（例えば、平均値、中央値、最頻値、最大値、最小値、第一四分位数、第三四分位数、または合計）が大きいほど、高い評価値を算出してもよい。笑顔の度合いは、例えば学習済みモデルを用いて判定することができる。
【0065】
グループ間で共通の基準による評価の第２例として、サーバ３０は、評価対象となる写真において被写体である人物のジェスチャを（例えば手の形状に基づいて）判定し、判定結果に基づいて当該写真の評価を行ってもよい。一例として、サーバ３０は、写真に登場する特定のジェスチャ（例えばピースサイン）の総数が大きいほど、高い評価値を算出してもよい。ジェスチャは、例えば学習済みモデルを用いて判定することができる。
【0066】
グループ間で共通の基準による評価の第３例として、サーバ３０は、評価対象となる写真において被写体である人物の顔が収まっているか否かを判定し、当該被写体である人物の顔が収まっていない写真の評価を下げてもよい。人物の顔が写真に収まっているか否かは、例えば学習済みモデルを用いて判定することができる。ここで、サーバ３０は、写真における人物の顔の大きさに基づいて、当該人物が主要な被写体であるか非主要な被写体であるかを判定し、非主要な被写体であると判定した人物（典型的には、写っている顔が非常に小さく、偶然写り込んだにすぎないと思われる人物）は、本評価において考慮の対象から除外してもよい。
【0067】
グループ間で共通の基準による評価の第４例として、サーバ３０は、上記第１例～第３例のうち複数を組み合わせることができる。
【0068】
写真の評価（Ｓ１３３）の第２例として、サーバ３０は、評価対象となる写真を、当該写真が属するグループの個別の基準により評価する。一例として、サーバ３０は、あるグループに属する写真における被写体である人物が取っている動作（例えば、「走っている」、「投げている」、など）を判定し、判定結果と当該グループの個別の基準とに基づいて当該写真を評価する。人物の取っている動作は、例えば学習済みモデルを用いて判定することができる。例えば、グループの個別の基準として、当該グループに特徴的な動作に対して得点が割り当てられ得る。この場合に、サーバ３０は写真に登場する１以上の人物が取っているとして判定された各動作に割り当てられた得点の統計量（例えば、平均値、中央値、最頻値、最大値、最小値、第一四分位数、第三四分位数、または合計）が大きいほど、当該写真に高い評価値を算出してもよい。
【0069】
写真の評価（Ｓ１３３）の第３例として、サーバ３０は、上記第１例および第２例を組み合わせることができる。
【0070】
ステップＳ１３３の後に、サーバ３０は、写真の選定（Ｓ１３４）を実行する。
具体的には、サーバ３０は、ステップＳ１３１における写真の分類先に相当するグループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する（すなわちステップＳ１３１において当該グループに分類した）写真の少なくとも一部を当該グループの推奨写真として選定する。サーバ３０は、各グループに属する写真に対するステップＳ１３３における評価（つまり、評価値）に基づいて、当該グループの推奨写真を選定してもよい。サーバ３０は、推奨写真として選定した写真について、写真データベース（図５）のステータス情報を更新する。
具体的には、サーバ３０は、ステップＳ１３１における写真の分類先に相当するグループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する（すなわちステップＳ１３１において当該グループに分類した）写真の少なくとも一部を当該グループの推奨写真として選定する。サーバ３０は、各グループに属する写真に対するステップＳ１３３における評価（つまり、評価値）に基づいて、当該グループの推奨写真を選定してもよい。サーバ３０は、推奨写真として選定した写真について、写真データベース（図５）のステータス情報を更新する。
【0071】
サーバ３０は、基準枚数を、ユーザ指示に応じて決定してもよいし、自動的に決定してもよい。
基準枚数の自動決定の第１例として、サーバ３０は、各グループに属する写真の総数に基づいて当該グループの基準枚数（例えば総数に所定の割合を乗じた枚数）に決定する。基準枚数の自動決定の第２例として、サーバ３０は、各グループが属するイベントに対して設定されている掲載予定枚数、またはアルバム全体に対して設定されている掲載予定枚数に基づいて当該グループの基準枚数（例えば上記掲載予定枚数のいずれかに所定の割合を乗じた枚数）に決定する。基準枚数の自動決定の第３例として、サーバ３０は、過去の同種のアルバム（例えば同じ学校の過去の卒業アルバム、または作成中または過去に作成した他校の卒業アルバム）における各グループに属する写真の掲載枚数の実績に基づいて、当該グループの基準枚数を決定する。基準枚数の自動決定の第４例として、サーバ３０は、上記第１例～第３例のうち複数により決定した基準枚数のうち最も少ない枚数を最終的な基準枚数として決定する。
基準枚数の自動決定の第１例として、サーバ３０は、各グループに属する写真の総数に基づいて当該グループの基準枚数（例えば総数に所定の割合を乗じた枚数）に決定する。基準枚数の自動決定の第２例として、サーバ３０は、各グループが属するイベントに対して設定されている掲載予定枚数、またはアルバム全体に対して設定されている掲載予定枚数に基づいて当該グループの基準枚数（例えば上記掲載予定枚数のいずれかに所定の割合を乗じた枚数）に決定する。基準枚数の自動決定の第３例として、サーバ３０は、過去の同種のアルバム（例えば同じ学校の過去の卒業アルバム、または作成中または過去に作成した他校の卒業アルバム）における各グループに属する写真の掲載枚数の実績に基づいて、当該グループの基準枚数を決定する。基準枚数の自動決定の第４例として、サーバ３０は、上記第１例～第３例のうち複数により決定した基準枚数のうち最も少ない枚数を最終的な基準枚数として決定する。
【0072】
一例として、サーバ３０は、グループ毎に、図８に示すように写真の選定を行う。
図８に示すように、サーバ３０は、写真のソート（Ｓ１３４１）を実行する。
具体的には、サーバ３０は、処理対象のグループに属する写真を、ステップＳ１３３において算出した評価値の降順にソートする。
図８に示すように、サーバ３０は、写真のソート（Ｓ１３４１）を実行する。
具体的には、サーバ３０は、処理対象のグループに属する写真を、ステップＳ１３３において算出した評価値の降順にソートする。
【0073】
ステップＳ１３４１の後に、サーバ３０は、対象写真の選択（Ｓ１３４２）を実行する。
具体的には、サーバ３０は、処理対象のグループに属し、かつ本ステップにおいて未だ選択されていない写真のうち先頭の１つ（つまり、評価値が最高の写真）を、対象写真として選択する。
具体的には、サーバ３０は、処理対象のグループに属し、かつ本ステップにおいて未だ選択されていない写真のうち先頭の１つ（つまり、評価値が最高の写真）を、対象写真として選択する。
【0074】
ステップＳ１３４２の後に、サーバ３０は、類似度の算出（Ｓ１３４３）を実行する。
具体的には、サーバ３０は、ステップＳ１３４２において選択した対象写真と、処理対象のグループの推奨写真として選定済みの各写真との類似度を算出する。
具体的には、サーバ３０は、ステップＳ１３４２において選択した対象写真と、処理対象のグループの推奨写真として選定済みの各写真との類似度を算出する。
【0075】
ステップＳ１３４３において算出した類似度の最大値が閾値未満である場合に、サーバ３０は、対象写真の選定（Ｓ１３４４）を実行する。
具体的には、サーバ３０は、ステップＳ１３４２において選択した対象写真を、処理対象のグループの推奨写真として選定する。
具体的には、サーバ３０は、ステップＳ１３４２において選択した対象写真を、処理対象のグループの推奨写真として選定する。
【0076】
他方、ステップＳ１３４３において算出した類似度の最大値が閾値未満である場合に、サーバ３０は、対象写真の選定（Ｓ１３４４）をスキップする。これにより、連写機能によって生成された一連の写真のように極端に似通った複数の写真が推奨写真として選定されることを防止することができる。
【0077】
ステップＳ１３４４の実行またはスキップ後に、推奨写真の枚数が基準枚数に到達していたならば、サーバ３０は、図８の処理を終了する。また、ステップＳ１３４４の実行またはスキップ後に、推奨写真の枚数が基準枚数に到達していないが、対象写真が最後の写真である（処理対象のグループに属する全ての写真がステップＳ１３４２において選択済みである）ならば、サーバ３０は、図８の処理を終了する。
【0078】
ステップＳ１３４４の実行またはスキップ後に、推奨写真の枚数が基準枚数に到達しておらず、対象写真が最後の写真でない（処理対象のグループに属し、かつステップＳ１３４２において未だ選択されていない写真が残存する）ならば、サーバ３０は、ステップＳ１３４２を再実行する。
【0079】
ステップＳ１３４の後に、サーバ３０は、情報の提示（Ｓ１３５）を実行する。
サーバ３０は、ステップＳ１３０において取得した写真と、写真データベース（図５）と、人物別登場回数データベース（図６）とに基づいて、提示対象となる情報を決定する。サーバ３０は、提示対象となる情報をクライアント装置１０へ送信する。クライアント装置１０は、サーバ３０から取得した情報に基づく画面をディスプレイ２１に表示する。
サーバ３０は、ステップＳ１３０において取得した写真と、写真データベース（図５）と、人物別登場回数データベース（図６）とに基づいて、提示対象となる情報を決定する。サーバ３０は、提示対象となる情報をクライアント装置１０へ送信する。クライアント装置１０は、サーバ３０から取得した情報に基づく画面をディスプレイ２１に表示する。
【0080】
また、クライアント装置１０は、画面に対するユーザ指示を取得し、サーバ３０へ送信してもよい。この場合に、サーバ３０は、受信したユーザ指示に基づいて、提示対象となる情報を再決定し、提示対象となる情報をクライアント装置１０へ必要に応じて送信する。クライアント装置１０は、サーバ３０から取得した情報に基づく画面をディスプレイ２１に表示する（画面の更新）。
【0081】
【0082】
オブジェクトＪ２０は、選択中のイベントを表示する。図９の画面には、ステップＳ１３０において取得された写真のうち、オブジェクトＪ２０によって指定されているイベントに対応する写真が配置される。
【0083】
オブジェクトＪ２１は、グループを切り替えるユーザ指示を受け付ける。クライアント装置１０のユーザが、いずれかのオブジェクトＪ２１を選択する（アクティブにする）と、当該オブジェクトＪ２１に対応するグループに属する写真が画面に配置される。オブジェクトＪ２１の内容は、オブジェクトＪ２０によって指定されているイベントに応じて変化する。
【0084】
オブジェクトＪ２２は、アクティブなオブジェクトＪ２１に対応するグループに属し、かつステータスが「掲載予定」である写真（オブジェクト）が配置される。なお、オブジェクトＪ２２内に配置される写真は、評価情報（評価値）に基づいてソートされてもよい。
【0085】
オブジェクトＪ２２ａは、アクティブなオブジェクトＪ２１に対応するグループに対して設定されている掲載予定枚数の情報と、オブジェクトＪ２２内に配置されている（つまり、アクティブなオブジェクトＪ２１に対応するグループに属し、かつステータスが「掲載予定」である）写真の枚数の情報とを表示する。
【0086】
オブジェクトＪ２３は、アクティブなオブジェクトＪ２１に対応するグループに属し、かつステータスが「おすすめ」である写真、つまりステップＳ１３４において当該グループの推奨写真として選定された（オブジェクト）が配置される。なお、ステータスが「おすすめ」かつ「掲載予定」である写真は、オブジェクトＪ２３に配置されなくてもよい。同様に、ステータスが「おすすめ」かつ「検討中」である写真は、オブジェクトＪ２３に配置されなくてもよい。また、オブジェクトＪ２３内に配置される写真は、評価情報（評価値）に基づいてソートされてもよい。
【0087】
オブジェクトＪ２４は、アクティブなオブジェクトＪ２１に対応するグループに属し、かつステータスが「検討中」である写真（オブジェクト）が配置される。なお、オブジェクトＪ２４内に配置される写真は、評価情報（評価値）に基づいてソートされてもよい。
【0088】
オブジェクトＪ２５は、アクティブなオブジェクトＪ２１に対応するグループに属し、かつステータスが「その他」である写真（オブジェクト）が配置される。なお、オブジェクトＪ２５内に配置される写真は、評価情報（評価値）に基づいてソートされてもよい。
【0089】
オブジェクトＪ２６は、写真（写真のサムネイルであってもよい）を表示する。また、オブジェクトＪ２６は、付加情報を表示し得る。付加情報は、例えば評価情報を含んでもよい。これにより、ユーザは、自己の主観評価に加えて、サーバ３０による評価情報を参考にして、アルバムに掲載する写真を効率的に決定することができる。
【0090】
さらに、オブジェクトＪ２６は、以下の少なくとも１つのユーザ指示を受け付けてもよい。サーバ３０は、受け付けたユーザ指示に応じて、提示対象の情報を変更し、または写真データベース（図５）におけるステータス情報を変更し得る。
・写真の詳細情報を表示するためのユーザ指示
・写真を拡大表示するためのユーザ指示
・写真のステータスにおいて「掲載予定」を有効化または解除するためのユーザ指示
・写真のステータスにおいて「検討中」を有効化または解除するためのユーザ指示
・写真の詳細情報を表示するためのユーザ指示
・写真を拡大表示するためのユーザ指示
・写真のステータスにおいて「掲載予定」を有効化または解除するためのユーザ指示
・写真のステータスにおいて「検討中」を有効化または解除するためのユーザ指示
【0091】
写真の詳細情報を表示するためのユーザ指示に応じて、クライアント装置１０は例えば図１０に示す画面をディスプレイ２１に表示してもよい。
【0092】
【0093】
オブジェクトＪ３２は、選択中の写真のステータスにおいて「掲載予定」を有効化するためのユーザ指示を受け付ける。サーバ３０は、受け付けたユーザ指示に応じて、写真データベース（図５）におけるステータス情報を変更する。
【0094】
オブジェクトＪ３３は、選択中の写真のステータスにおいて「検討中」を有効化するためのユーザ指示を受け付ける。サーバ３０は、受け付けたユーザ指示に応じて、写真データベース（図５）におけるステータス情報を変更する。
【0095】
オブジェクトＪ３４は、選択中の写真において特定された人物の情報（例えば当該人物の代表的な顔画像）を表示する。オブジェクトＪ３４のほか、特定された人物の情報（例えば名前の情報）を表示するオブジェクトが配置されてもよい。なお、登場人物の特定（Ｓ１３２）の第２例のように特定された人物の情報が登録されていない場合に、ユーザは、特定された人物に対して名前（例えば実名（姓のみ、または姓と名の一部との組み合わせを含み得る）、ニックネーム、または出席番号）を付けてもよい。
【0096】
オブジェクトＪ３５は、選択中の写真が属する（つまり、オブジェクトＪ３０に表示される）グループに対応するイベントで撮影され、かつ「掲載予定」のステータスを持つ写真に亘る各人物の登場回数を表示する。
【0097】
オブジェクトＪ３６は、「掲載予定」のステータスを持つ全写真に亘る各人物の登場回数を表示する。
【0098】
なお、オブジェクトＪ３５，Ｊ３６は例示に過ぎず、以下の少なくとも１つの情報を表示するオブジェクトが画面に配置されてよいし、当該情報が別の画面で表示されてもよい。
・特定のステータスを持つ全写真に亘る各人物の登場回数の情報
・特定のステータスを持つ全写真の一部を構成する特定の集団（例えば、特定のイベントで撮影された写真、特定のグループに属する写真、など）に亘る各人物の登場回数の情報
・全写真に亘る各人物の登場回数の情報
・全写真の一部を構成する特定の集団（例えば、特定のイベントで撮影された写真、特定のグループに属する写真、など）に亘る各人物の登場回数の情報
・特定のステータスを持つ全写真に亘る各人物の登場回数の情報
・特定のステータスを持つ全写真の一部を構成する特定の集団（例えば、特定のイベントで撮影された写真、特定のグループに属する写真、など）に亘る各人物の登場回数の情報
・全写真に亘る各人物の登場回数の情報
・全写真の一部を構成する特定の集団（例えば、特定のイベントで撮影された写真、特定のグループに属する写真、など）に亘る各人物の登場回数の情報
【0099】
オブジェクトＪ３７は、各人物が登場する写真を表示するためのユーザ指示を受け付けるオブジェクトである。オブジェクトＪ３７のいずれかが選択されると、クライアント装置１０は、当該オブジェクトＪ３７対応する人物が登場する写真が配置された画面をディスプレイ２１に表示する。この画面において、写真は、イベント、グループ、ステータス、または撮影日時別（例えば年単位でもよい）に整理されて配置されてよい。
【0100】
（５）小括
本実施形態のサーバ３０は、複数の写真を画像特徴量に基づいて複数のグループに分類し、グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する。そして、サーバ３０は、選定された写真を含む情報を提示する。これにより、情報を提示されたユーザは、アルバムに掲載する写真をバランスよく効率的に決定することができる。
本実施形態のサーバ３０は、複数の写真を画像特徴量に基づいて複数のグループに分類し、グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する。そして、サーバ３０は、選定された写真を含む情報を提示する。これにより、情報を提示されたユーザは、アルバムに掲載する写真をバランスよく効率的に決定することができる。
【0101】
サーバ３０は、複数の写真をグループ間で共通の基準により評価し、グループ毎に当該グループに属する写真の評価に基づいて写真を選定してもよい。これにより、各グループにおいて評価の低い写真は選定されにくくなるので、情報を提示されたユーザは、アルバムに掲載する写真を効率的に決定することができる。
【0102】
サーバ３０は、複数の写真の各々において被写体である人物の笑顔の度合いを判定し、当該笑顔の度合いに基づいて当該写真の評価を行ってもよい。これにより、各グループにおいて笑顔の度合いが高い写真が選定されやすくなるので、情報を提示されたユーザは、アルバムに掲載する写真を効率的に決定することができる。
【0103】
サーバ３０は、複数の写真の各々において被写体である人物の手の形状に基づいて当該人物のジェスチャを判定し、判定結果に基づいて当該写真の評価を行ってもよい。これにより、各グループにおいて特定のジェスチャを行っている被写体を含んだ写真が選定されやすくなるので、情報を提示されたユーザは、アルバムに掲載する写真を効率的に決定することができる。
【0104】
サーバ３０は、複数の写真の各々において被写体である人物の顔が収まっているか否かを判定し、当該被写体である人物の顔が収まっていない写真の評価を下げてもよい。これにより、各グループにおいて被写体の顔の一部が写っていない写真が選定されにくくなるので、情報を提示されたユーザは、アルバムに掲載する写真を効率的に決定することができる。
【0105】
サーバ３０は、複数の写真を、グループの個別の基準により評価してもよい。サーバ３０は、複数の写真における被写体である人物の動作を判定し、判定結果とグループの個別の基準とに基づいて当該グループに属する写真を評価し、グループ毎に当該グループに属する写真の評価に基づいて写真を選定してもよい。これにより、各グループにおいて評価の低い写真は選定されにくくなるので、情報を提示されたユーザは、アルバムに掲載する写真を効率的に決定することができる。
【0106】
サーバ３０は、各グループに属する写真のうち、選定済みの写真に対する類似度が閾値以上である写真を選定しなくてもよい。これにより、各グループにおいて極端に似通った複数の写真がまとめて選定されることがないので、情報を提示されたユーザは、アルバムに掲載する写真を効率的に決定することができる。
【0107】
サーバ３０は、ユーザ指示に応じて写真のステータスを変更し、特定のステータスを持つ全写真、または当該特定のステータスを持つ全写真の一部を構成する特定の集団における各人物の登場回数の情報を提示してもよい。これにより、情報を提示されたユーザは、各人物の登場回数を考慮しながら、アルバムに掲載する写真をバランスよく効率的に決定することができる。
【0108】
サーバ３０は、選定された写真を当該写真に対する評価結果とともに提示してもよい。これにより、情報を提示されたユーザは、各写真の評価結果を考慮しながら、アルバムに掲載する写真を効率的に決定することができる。
【0109】
複数の写真は、同一のイベント中に撮影されたものであってよく、複数のグループの各々は、イベントを構成する個々のシーンに対応してもよい。これにより、ユーザは、同一イベントを構成する各シーンを意識して、アルバムに掲載する写真をバランスよく決定することができる。
【0110】
サーバ３０は、ユーザ指示に応じて基準枚数を決定してもよい。これにより、ユーザは、グループごとに選定される枚数（上限）を制御し、アルバムに掲載する写真を効率的に決定することができる。
【0111】
（６）変形例
上記説明では、図９の画面例を示した。しかしながら、推奨写真（および他のステータスの写真）は、イベント単位で提示されてもよい。
上記説明では、図９の画面例を示した。しかしながら、推奨写真（および他のステータスの写真）は、イベント単位で提示されてもよい。
【0112】
【0113】
オブジェクトＪ４０は、選択中のイベントを表示する。図１１の画面には、ステップＳ１３０において取得された写真のうち、オブジェクトＪ４０によって指定されているイベントに属する全グループに対応する写真が配置される。
【0114】
オブジェクトＪ４２は、選択中のイベントのいずれかのグループに属し、かつステータスが「掲載予定」である写真（オブジェクト）が配置される。なお、オブジェクトＪ４２内に配置される写真は、評価情報（評価値）に基づいてソートされてもよい。
【0115】
オブジェクトＪ４２ａは、選択中のイベントに対して設定されている掲載予定枚数の情報と、オブジェクトＪ４２内に配置されている（つまり、選択中のイベントのいずれかのグループに属し、かつステータスが「掲載予定」である）写真の枚数の情報とを表示する。
【0116】
オブジェクトＪ４３は、選択中のイベントのいずれかのグループに属し、かつステータスが「おすすめ」である写真、つまりステップＳ１３４においていずれかのグループの推奨写真として選定された（オブジェクト）が配置される。なお、ステータスが「おすすめ」かつ「掲載予定」である写真は、オブジェクトＪ４３に配置されなくてもよい。同様に、ステータスが「おすすめ」かつ「検討中」である写真は、オブジェクトＪ４３に配置されなくてもよい。また、オブジェクトＪ４３内に配置される写真は、評価情報（評価値）に基づいてソートされてもよい。
【0117】
オブジェクトＪ４４は、選択中のイベントのいずれかのグループに属し、かつステータスが「検討中」である写真（オブジェクト）が配置される。なお、オブジェクトＪ４４内に配置される写真は、評価情報（評価値）に基づいてソートされてもよい。
【0118】
オブジェクトＪ４５は、選択中のイベントのいずれかのグループに属し、かつステータスが「その他」である写真（オブジェクト）が配置される。なお、オブジェクトＪ４５内に配置される写真は、評価情報（評価値）に基づいてソートされてもよい。
【0119】
オブジェクトＪ４６は、図９のオブジェクトＪ２６と同様である。
【0120】
（７）その他の変形例
記憶装置１１は、ネットワークＮＷを介して、クライアント装置１０と接続されてもよい。ディスプレイ２１は、クライアント装置１０に内蔵されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。
記憶装置１１は、ネットワークＮＷを介して、クライアント装置１０と接続されてもよい。ディスプレイ２１は、クライアント装置１０に内蔵されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。
【0121】
上記の情報処理の各ステップは、クライアント装置１０及びサーバ３０の何れでも実行可能である。例えば、いずれかの装置によって行われるとして説明された処理が別の装置によって行われたり、複数の装置のやり取りによって行われるとして説明された処理が単一の装置によって行われたりしてもよい。また、上記説明では、各処理において各ステップを特定の順序で実行する例を示したが、各ステップの実行順序は、依存関係がない限りは説明した例に制限されない。
【0122】
上記説明では、評価および類似度に基づいて、グループ毎に写真を選定する例を説明した。しかしながら、サーバ３０は、人物の登場回数の統計量にさらに基づいて、グループ毎に写真を選定してもよい。これにより、選定された複数の写真に亘る人物の登場回数の統計量が制御されるので、情報を提示されたユーザは、アルバムに掲載する写真をバランスよく効率的に決定することができる。
具体的には、サーバ３０は、複数のグループに亘って選定した写真における各人物の登場回数の統計量（例えば、分散、最大値、最小値、平均値、中央値、最頻値、第一四分位数、第三四分位数、または合計など）が基準を満たすように、写真を選定してもよい。第１例として、サーバ３０は、複数のグループに亘って選定した写真における各人物の登場回数の分散（「散布度」の一例）が閾値以下となるように、評価値および類似度に基づく選定結果を補正してもよい。上記補正では、選定済みの第１写真の代わりに、未選定の第２写真（第１写真よりも評価値は低いが、選定した場合に分散が改善する写真）が選定され得る。第２例として、サーバ３０は、複数のグループに亘って選定した写真における各人物の登場回数の最小値が閾値（例えば「１」）以上となるように、評価値および類似度に基づく選定結果を補正してもよい。上記補正では、選定済みの第１写真の代わりに、未選定の第２写真（登場回数が閾値以下の人物が写った写真）が選定され得る。第３例として、サーバ３０は、複数のグループに亘って選定した写真における各人物の登場回数の最大値が閾値以下となるように、評価値および類似度に基づく選定結果を補正してもよい。上記補正では、選定済みの第１写真（登場回数が閾値以上の人物が写っている写真）の代わりに、未選定の第２写真（かかる人物が写っていない写真）が選定され得る。
具体的には、サーバ３０は、複数のグループに亘って選定した写真における各人物の登場回数の統計量（例えば、分散、最大値、最小値、平均値、中央値、最頻値、第一四分位数、第三四分位数、または合計など）が基準を満たすように、写真を選定してもよい。第１例として、サーバ３０は、複数のグループに亘って選定した写真における各人物の登場回数の分散（「散布度」の一例）が閾値以下となるように、評価値および類似度に基づく選定結果を補正してもよい。上記補正では、選定済みの第１写真の代わりに、未選定の第２写真（第１写真よりも評価値は低いが、選定した場合に分散が改善する写真）が選定され得る。第２例として、サーバ３０は、複数のグループに亘って選定した写真における各人物の登場回数の最小値が閾値（例えば「１」）以上となるように、評価値および類似度に基づく選定結果を補正してもよい。上記補正では、選定済みの第１写真の代わりに、未選定の第２写真（登場回数が閾値以下の人物が写った写真）が選定され得る。第３例として、サーバ３０は、複数のグループに亘って選定した写真における各人物の登場回数の最大値が閾値以下となるように、評価値および類似度に基づく選定結果を補正してもよい。上記補正では、選定済みの第１写真（登場回数が閾値以上の人物が写っている写真）の代わりに、未選定の第２写真（かかる人物が写っていない写真）が選定され得る。
【0123】
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【0124】
１ ：情報処理システム
１０ ：クライアント装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２１ ：ディスプレイ
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース
１０ ：クライアント装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２１ ：ディスプレイ
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【手続補正書】
【提出日】2023-04-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータを、
複数の写真を画像特徴量に基づいて複数のグループに分類する手段、
前記グループ毎に、ユーザ指示に応じて、または当該グループに属する写真の総数に基づいて、当該グループの基準枚数を決定する手段、
前記グループ毎に、当該グループに対して決定された前記基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段、
選定された写真を含む情報を提示する手段、
として機能させる、プログラム。
複数の写真を画像特徴量に基づいて複数のグループに分類する手段、
前記グループ毎に、ユーザ指示に応じて、または当該グループに属する写真の総数に基づいて、当該グループの基準枚数を決定する手段、
前記グループ毎に、当該グループに対して決定された前記基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段、
選定された写真を含む情報を提示する手段、
として機能させる、プログラム。
【請求項2】
前記コンピュータを、前記複数の写真を、前記グループ間で共通の基準により評価する手段として機能させ、
前記選定する手段は、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
請求項１に記載のプログラム。
前記選定する手段は、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
請求項１に記載のプログラム。
【請求項3】
前記評価する手段は、前記複数の写真の各々において被写体である人物の笑顔の度合いを判定し、当該笑顔の度合いに基づいて当該写真の評価を行う、
請求項２に記載のプログラム。
請求項２に記載のプログラム。
【請求項4】
前記評価する手段は、前記複数の写真の各々において被写体である人物の手の形状に基づいて当該人物のジェスチャを判定し、判定結果に基づいて当該写真の評価を行う、
請求項２に記載のプログラム。
請求項２に記載のプログラム。
【請求項5】
前記評価する手段は、前記複数の写真の各々において被写体である人物の顔が収まっているか否かを判定し、前記被写体である人物の顔が収まっていない写真の評価を下げる、
請求項２に記載のプログラム。
請求項２に記載のプログラム。
【請求項6】
コンピュータを、
複数の写真を画像特徴量に基づいて複数のグループに分類する手段、
前記複数の写真を、前記グループの個別の基準により評価する手段、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段、
選定された写真を含む情報を提示する手段、
として機能させ、
前記評価する手段は、前記複数の写真における被写体である人物の動作を判定し、判定結果と前記グループの個別の基準とに基づいて当該グループに属する写真を評価し、
前記選定する手段は、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
プログラム。
複数の写真を画像特徴量に基づいて複数のグループに分類する手段、
前記複数の写真を、前記グループの個別の基準により評価する手段、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段、
選定された写真を含む情報を提示する手段、
として機能させ、
前記評価する手段は、前記複数の写真における被写体である人物の動作を判定し、判定結果と前記グループの個別の基準とに基づいて当該グループに属する写真を評価し、
前記選定する手段は、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
プログラム。
【請求項7】
前記選定する手段は、各グループに属する写真のうち、選定済みの写真に対する類似度が閾値以上である写真を選定しない、
請求項１に記載のプログラム。
請求項１に記載のプログラム。
【請求項8】
前記コンピュータを、前記複数の写真における被写体である人物の顔に基づいて当該人物を特定する手段、として機能させ、
前記選定する手段は、前記複数のグループに亘って選定した写真における各人物の登場回数の統計量が基準を満たすように、写真を選定する。
請求項１に記載のプログラム。
前記選定する手段は、前記複数のグループに亘って選定した写真における各人物の登場回数の統計量が基準を満たすように、写真を選定する。
請求項１に記載のプログラム。
【請求項9】
前記コンピュータを、ユーザ指示に応じて写真のステータスを変更する手段、としてさらに機能させ、
前記提示する手段は、特定のステータスを持つ全写真、または当該特定のステータスを持つ全写真の一部を構成する特定の集団における各人物の登場回数の情報を提示する、
請求項８に記載のプログラム。
前記提示する手段は、特定のステータスを持つ全写真、または当該特定のステータスを持つ全写真の一部を構成する特定の集団における各人物の登場回数の情報を提示する、
請求項８に記載のプログラム。
【請求項10】
前記提示する手段は、選定された写真を当該写真に対する評価結果とともに提示する、
請求項８に記載のプログラム。
請求項８に記載のプログラム。
【請求項11】
前記複数の写真は、同一のイベント中に撮影されており、
前記複数のグループの各々は、前記イベントを構成する個々のシーンに対応する、
請求項１に記載のプログラム。
前記複数のグループの各々は、前記イベントを構成する個々のシーンに対応する、
請求項１に記載のプログラム。
【請求項12】
複数の写真を画像特徴量に基づいて複数のグループに分類する手段と、
前記グループ毎に、ユーザ指示に応じて、または当該グループに属する写真の総数に基づいて、当該グループの基準枚数を決定する手段と、
前記グループ毎に、当該グループに対して決定された前記基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段と、
選定された写真を含む情報を提示する手段と
を具備する、情報処理装置。
前記グループ毎に、ユーザ指示に応じて、または当該グループに属する写真の総数に基づいて、当該グループの基準枚数を決定する手段と、
前記グループ毎に、当該グループに対して決定された前記基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段と、
選定された写真を含む情報を提示する手段と
を具備する、情報処理装置。
【請求項13】
コンピュータが、
複数の写真を画像特徴量に基づいて複数のグループに分類するステップと、
前記グループ毎に、ユーザ指示に応じて、または当該グループに属する写真の総数に基づいて、当該グループの基準枚数を決定するステップと、
前記グループ毎に、当該グループに対して決定された前記基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定するステップと、
選定された写真を含む情報を提示するステップと
を実行する、方法。
複数の写真を画像特徴量に基づいて複数のグループに分類するステップと、
前記グループ毎に、ユーザ指示に応じて、または当該グループに属する写真の総数に基づいて、当該グループの基準枚数を決定するステップと、
前記グループ毎に、当該グループに対して決定された前記基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定するステップと、
選定された写真を含む情報を提示するステップと
を実行する、方法。
【請求項14】
コンピュータが、
複数の写真を画像特徴量に基づいて複数のグループに分類するステップと、
前記複数の写真を、前記グループの個別の基準により評価するステップと、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定するステップと、
選定された写真を含む情報を提示するステップと
を実行し、
前記評価するステップでは、前記複数の写真における被写体である人物の動作を判定し、判定結果と前記グループの個別の基準とに基づいて当該グループに属する写真を評価し、
前記選定するステップでは、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
方法。
複数の写真を画像特徴量に基づいて複数のグループに分類するステップと、
前記複数の写真を、前記グループの個別の基準により評価するステップと、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定するステップと、
選定された写真を含む情報を提示するステップと
を実行し、
前記評価するステップでは、前記複数の写真における被写体である人物の動作を判定し、判定結果と前記グループの個別の基準とに基づいて当該グループに属する写真を評価し、
前記選定するステップでは、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
方法。
【請求項15】
第１コンピュータと、第２コンピュータと、第３コンピュータとを具備するシステムであって、
前記第１コンピュータが、
前記第２コンピュータから取得した複数の写真を画像特徴量に基づいて複数のグループに分類する手段と、
前記グループ毎に、ユーザ指示に応じて、または当該グループに属する写真の総数に基づいて、当該グループの基準枚数を決定する手段と、
前記グループ毎に、当該グループに対して決定された前記基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段と、
選定された写真を含む情報を、前記第３コンピュータを介して提示する手段とを備える、
システム。
前記第１コンピュータが、
前記第２コンピュータから取得した複数の写真を画像特徴量に基づいて複数のグループに分類する手段と、
前記グループ毎に、ユーザ指示に応じて、または当該グループに属する写真の総数に基づいて、当該グループの基準枚数を決定する手段と、
前記グループ毎に、当該グループに対して決定された前記基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段と、
選定された写真を含む情報を、前記第３コンピュータを介して提示する手段とを備える、
システム。
【手続補正書】
【提出日】2023-09-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータを、
複数の写真を画像特徴量に基づいて複数のグループに分類する手段、
前記複数の写真を、前記グループの個別の基準により評価する手段、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段、
選定された写真を含む情報を提示する手段、
として機能させ、
前記評価する手段は、前記複数の写真における被写体である人物の動作を判定し、判定結果と前記グループの個別の基準とに基づいて当該グループに属する写真を評価し、
前記選定する手段は、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
プログラム。
複数の写真を画像特徴量に基づいて複数のグループに分類する手段、
前記複数の写真を、前記グループの個別の基準により評価する手段、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段、
選定された写真を含む情報を提示する手段、
として機能させ、
前記評価する手段は、前記複数の写真における被写体である人物の動作を判定し、判定結果と前記グループの個別の基準とに基づいて当該グループに属する写真を評価し、
前記選定する手段は、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
プログラム。
【請求項2】
コンピュータが、
複数の写真を画像特徴量に基づいて複数のグループに分類するステップと、
前記複数の写真を、前記グループの個別の基準により評価するステップと、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定するステップと、
選定された写真を含む情報を提示するステップと
を実行し、
前記評価するステップでは、前記複数の写真における被写体である人物の動作を判定し、判定結果と前記グループの個別の基準とに基づいて当該グループに属する写真を評価し、
前記選定するステップでは、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
方法。
複数の写真を画像特徴量に基づいて複数のグループに分類するステップと、
前記複数の写真を、前記グループの個別の基準により評価するステップと、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定するステップと、
選定された写真を含む情報を提示するステップと
を実行し、
前記評価するステップでは、前記複数の写真における被写体である人物の動作を判定し、判定結果と前記グループの個別の基準とに基づいて当該グループに属する写真を評価し、
前記選定するステップでは、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
方法。