特開 2023-100112 画像選択システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023100112

(43)【公開日】2023-07-18

(54)【発明の名称】画像選択システム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20230710BHJP

   G06F 16/532 20190101ALI20230710BHJP

【ＦＩ】

G06T1/00 200E

G06F16/532

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022000551

(22)【出願日】2022-01-05

(71)【出願人】

【識別番号】515203631

【氏名又は名称】ユニファ株式会社

(74)【代理人】

【識別番号】100104776

【弁理士】

【氏名又は名称】佐野 弘

(74)【代理人】

【識別番号】100119194

【弁理士】

【氏名又は名称】石井 明夫

(72)【発明者】

【氏名】山口 隆広

(72)【発明者】

【氏名】太田 真理子

(72)【発明者】

【氏名】宮▲崎▼ 悠樹

【テーマコード（参考）】

5B050

5B175

【Ｆターム（参考）】

5B050BA12

5B050CA07

5B050EA04

5B050GA08

5B175DA02

5B175GA01

5B175GB05

5B175HA01

5B175HB03

(57)【要約】

【課題】きめの細かい選択条件を設定でき、その選択条件に基づいて画像を選択する画像選択システムを提供する。
【解決手段】この画像選択システム１は、利用者によって撮影された撮影画像を受け付ける画像受付部２４と、その画像受付部２４で受け付けた撮影画像を保存する画像保存部２５と、撮影画像を選択する際の選択条件を入力する選択条件入力画面を提供する条件入力画面提供部２６と、入力された選択条件を受け付ける選択条件受付部２７と、その選択条件受付部２７で受け付けた選択条件に基づいて、画像保存部２５に保存されている複数の撮影画像の中から１以上の撮影画像を選択する画像選択部２９とを備え、その選択条件には、人物を特定する顔画像、及び、表情を指定する指定表情が含まれており、画像選択部２９は、顔画像により特定される人物である特定人物が指定表情で写っている撮影画像を選択する。
【選択図】図１

【特許請求の範囲】

【請求項1】

保存されている複数の画像の中から選択条件に基づいて１以上の画像を選択する画像選択システムであって、
利用者によって撮影された撮影画像を受け付ける画像受付部と、
該画像受付部で受け付けた前記撮影画像を保存する画像保存部と、
前記撮影画像を選択する際の選択条件を入力する選択条件入力画面を提供する条件入力画面提供部と、
入力された前記選択条件を受け付ける選択条件受付部と、
該選択条件受付部で受け付けた前記選択条件に基づいて、前記画像保存部に保存されている複数の前記撮影画像の中から１以上の前記撮影画像を選択する画像選択部とを備え、
前記選択条件には、
人物を特定する顔画像、及び、表情を指定する指定表情が含まれており、
前記画像選択部は、
前記顔画像により特定される人物である特定人物が前記指定表情で写っている前記撮影画像を選択することを特徴とする画像選択システム。

【請求項2】

画像に写っている人物の表情を検出する表情検出部を備え、
前記選択条件には、
前記利用者によって入力される表情設定画像が含まれており、
前記表情検出部は、
前記選択条件受付部で受け付けられた前記表情設定画像に写っている人物の表情である設定表情を検出して、
前記表情検出部で検出された前記設定表情が、前記選択条件の前記指定表情として設定され、
前記画像選択部は、
前記特定人物が前記指定表情としての前記設定表情で写っている前記撮影画像を選択することを特徴とする請求項１に記載の画像選択システム。

【請求項3】

前記選択条件に含まれる前記人物を特定する顔画像は、
複数人の顔画像であり、
前記画像保存部に保存されている複数の前記撮影画像の中から２以上の前記撮影画像を選択する場合、前記複数人の顔画像により特定されるそれぞれの前記特定人物について、該特定人物が写っている前記撮影画像の選択割合である人物選択割合を前記選択条件として設定できるようになっており、
前記画像選択部は、
前記選択条件に設定された前記人物選択割合となるように、２以上の前記撮影画像を選択することを特徴とする請求項１又は２に記載の画像選択システム。

【請求項4】

前記利用者には、
所定の施設における利用者である施設利用者と、家庭における利用者である家庭利用者とが含まれており、
前記画像保存部に保存されている複数の前記撮影画像の中から２以上の前記撮影画像を選択する場合、前記施設利用者により撮影された前記撮影画像と前記家庭利用者により撮影された前記撮影画像との選択割合である施設家庭画像選択割合が前記選択条件として設定され、
前記画像選択部は、
前記選択条件に設定された前記施設家庭画像選択割合となるように、２以上の前記撮影画像を選択することを特徴とする請求項１又は２に記載の画像選択システム。

【請求項5】

前記特定人物とともに写っている付随物が前記選択条件として設定され、
前記画像選択部は、
前記選択条件に設定された前記付随物とともに前記特定人物が写っている前記撮影画像を選択することを特徴とする請求項１乃至４の何れか一項に記載の画像選択システム。

【請求項6】

前記画像選択部は、
前記撮影画像のぼけ量、前記撮影画像のぶれ量、前記撮影画像全体に占める前記特定人物の顔部分の面積の割合、前記撮影画像中の前記特定人物の位置の中央からの位置ずれ量、前記撮影画像中の前記特定人物の顔の向きの正面方向からのずれ量、前記撮影画像中の前記特定人物の顔の欠け量、前記撮影画像中の前記特定人物の明るさを示す該特定人物の明度の少なくとも何れか一つの優先選択基準に基づいて、前記撮影画像を優先して選択することを特徴とする請求項１乃至５の何れか一項に記載の画像選択システム。

【請求項7】

前記画像選択部は、
前記撮影画像のぼけ量、前記撮影画像のぶれ量、前記撮影画像に写っている人物の該撮影画像全体に占める顔部分の面積の割合、前記撮影画像に写っている人物の該撮影画像中の中央位置からの位置ずれ量、前記撮影画像に写っている人物の該撮影画像中の顔の向きの正面方向からのずれ量、前記撮影画像に写っている人物の該撮影画像中の顔の欠け量、前記撮影画像に写っている人物の明度の少なくとも何れか一つに基づいて算出される画像の品質を示す画質スコアが、所定の閾値未満の前記撮影画像を選択せず、前記画質スコアが前記所定の閾値以上の前記撮影画像を選択することを特徴とする請求項１乃至６の何れか一項に記載の画像選択システム。

【請求項8】

前記画質スコアは、
前記撮影画像のぼけ量、前記撮影画像のぶれ量、前記撮影画像に写っている人物の該撮影画像全体に占める顔部分の面積の割合、前記撮影画像に写っている人物の該撮影画像中の中央位置からの位置ずれ量、前記撮影画像に写っている人物の該撮影画像中の顔の向きの正面方向からのずれ量、前記撮影画像に写っている人物の該撮影画像中の顔の欠け量、前記撮影画像に写っている人物の明度の少なくとも何れか一つに基づいて決定される正解画質スコアが設定された学習用画像を教師データとして用い機械学習を行い該機械学習により生成される、前記撮影画像を入力すると前記画質スコアが出力される学習済み画質スコア生成モデルによって算出されることを特徴とする請求項７に記載の画像選択システム。

【請求項9】

前記画質スコアに基づいて、前記撮影画像を優先して選択することを特徴とする請求項７又は８に記載の画像選択システム。

【請求項10】

前記画像選択部は、
所定の撮影期間に撮影された前記撮影画像を選択することを特徴とする請求項１乃至９の何れか一項に記載の画像選択システム。

【請求項11】

前記画像選択部は、
前記所定の撮影期間を複数の分割期間に区分して、区分された複数の前記分割期間に撮影された前記撮影画像の画像数が、前記分割期間ごとに等しくなるように選択することを特徴とする請求項１０に記載の画像選択システム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、複数の画像の中から選択条件に基づいて１以上の画像を選択する画像選択システムに関するものである。

【背景技術】

【0002】

近年、デジタルカメラやスマートフォンで撮影した画像データを素材として、アルバムや電子アルバムを作製することが一般化している。デジタルカメラ等を用いると、手軽に低コストで撮影と保存ができるため、電子アルバム等の素材となる画像データ量が膨大な容量に上ることがある。この膨大な画像データの中から必要とする画像を適切に選択する作業は、極めて煩雑な作業となり、過度の負担を伴う。この点に関して、これまでに画像の選択を支援する装置や方法が提案されている。例えば、下記の特許文献１に記載されている画像処理装置が知られている。この画像処理装置では、複数の画像の中から人物画像や特定人物が写っている画像を優先して選択できるようになっている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－５８７９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の発明では、風景画像でなく人物画像を優先して選択したり、特定人物の画像を優先して選択したりできるものの、それ以上のきめの細かい選択条件を設定できず、選択された画像は統一感に欠けるという問題があった。

【0005】

本発明はこのような事情に鑑みてなされたものであり、本発明の課題は、きめの細かい選択条件を設定でき、その選択条件に基づいて画像を選択する画像選択システムを提供することである。

【課題を解決するための手段】

【0006】

かかる課題を解決するために、請求項１に記載の発明は、保存されている複数の画像の中から選択条件に基づいて１以上の画像を選択する画像選択システムであって、利用者によって撮影された撮影画像を受け付ける画像受付部と、該画像受付部で受け付けた前記撮影画像を保存する画像保存部と、前記撮影画像を選択する際の選択条件を入力する選択条件入力画面を提供する条件入力画面提供部と、入力された前記選択条件を受け付ける選択条件受付部と、該選択条件受付部で受け付けた前記選択条件に基づいて、前記画像保存部に保存されている複数の前記撮影画像の中から１以上の前記撮影画像を選択する画像選択部とを備え、前記選択条件には、人物を特定する顔画像、及び、表情を指定する指定表情が含まれており、前記画像選択部は、前記顔画像により特定される人物である特定人物が前記指定表情で写っている前記撮影画像を選択することを特徴とする。

【0007】

請求項２に係る発明は、請求項１に記載の構成に加えて、画像に写っている人物の表情を検出する表情検出部を備え、前記選択条件には、前記利用者によって入力される表情設定画像が含まれており、前記表情検出部は、前記選択条件受付部で受け付けられた前記表情設定画像に写っている人物の表情である設定表情を検出して、前記表情検出部で検出された前記設定表情が、前記選択条件の前記指定表情として設定され、前記画像選択部は、前記特定人物が前記指定表情としての前記設定表情で写っている前記撮影画像を選択することを特徴とする。

【0008】

請求項３に係る発明は、請求項１又は２に記載の構成に加えて、前記選択条件に含まれる前記人物を特定する顔画像は、複数人の顔画像であり、前記画像保存部に保存されている複数の前記撮影画像の中から２以上の前記撮影画像を選択する場合、前記複数人の顔画像により特定されるそれぞれの前記特定人物について、該特定人物が写っている前記撮影画像の選択割合である人物選択割合を前記選択条件として設定できるようになっており、前記画像選択部は、前記選択条件に設定された前記人物選択割合となるように、２以上の前記撮影画像を選択することを特徴とする。

【0009】

請求項４に係る発明は、請求項１又は２に記載の構成に加えて、前記利用者には、所定の施設における利用者である施設利用者と、家庭における利用者である家庭利用者とが含まれており、前記画像保存部に保存されている複数の前記撮影画像の中から２以上の前記撮影画像を選択する場合、前記施設利用者により撮影された前記撮影画像と前記家庭利用者により撮影された前記撮影画像との選択割合である施設家庭画像選択割合が前記選択条件として設定され、前記画像選択部は、前記選択条件に設定された前記施設家庭画像選択割合となるように、２以上の前記撮影画像を選択することを特徴とする。

【0010】

請求項５に係る発明は、請求項１乃至４の何れか一項に記載の構成に加えて、前記特定人物とともに写っている付随物を前記選択条件として設定され、前記画像選択部は、前記選択条件に設定された前記付随物とともに前記特定人物が写っている前記撮影画像を選択することを特徴とする。

【0011】

請求項６に係る発明は、請求項１乃至５の何れか一項に記載の構成に加えて、前記画像選択部は、前記撮影画像のぼけ量、前記撮影画像のぶれ量、前記撮影画像全体に占める前記特定人物の顔部分の面積の割合、前記撮影画像中の前記特定人物の位置の中央からの位置ずれ量、前記撮影画像中の前記特定人物の顔の向きの正面方向からのずれ量、前記撮影画像中の前記特定人物の顔の欠け量、前記撮影画像中の前記特定人物の明るさを示す該特定人物の明度の少なくとも何れか一つの優先選択基準に基づいて、前記撮影画像を優先して選択することを特徴とする。

【0012】

請求項７に係る発明は、請求項１乃至６の何れか一項に記載の構成に加えて、前記画像選択部は、前記撮影画像のぼけ量、前記撮影画像のぶれ量、前記撮影画像に写っている人物の該撮影画像全体に占める顔部分の面積の割合、前記撮影画像に写っている人物の該撮影画像中の中央位置からの位置ずれ量、前記撮影画像に写っている人物の該撮影画像中の顔の向きの正面方向からのずれ量、前記撮影画像に写っている人物の該撮影画像中の顔の欠け量、前記撮影画像に写っている人物の明度の少なくとも何れか一つに基づいて算出される画像の品質を示す画質スコアが、所定の閾値未満の前記撮影画像を選択せず、前記画質スコアが前記所定の閾値以上の前記撮影画像を選択することを特徴とする。

【0013】

請求項８に係る発明は、請求項７に記載の構成に加えて、前記画質スコアは、前記撮影画像のぼけ量、前記撮影画像のぶれ量、前記撮影画像に写っている人物の該撮影画像全体に占める顔部分の面積の割合、前記撮影画像に写っている人物の該撮影画像中の中央位置からの位置ずれ量、前記撮影画像に写っている人物の該撮影画像中の顔の向きの正面方向からのずれ量、前記撮影画像に写っている人物の該撮影画像中の顔の欠け量、前記撮影画像に写っている人物の明度の少なくとも何れか一つに基づいて決定される正解画質スコアが設定された学習用画像を教師データとして用い機械学習を行い該機械学習により生成される、前記撮影画像を入力すると前記画質スコアが出力される学習済み画質スコア生成モデルによって算出されることを特徴とする。

【0014】

請求項９に係る発明は、請求項７又は８に記載の構成に加えて、前記画質スコアに基づいて、前記撮影画像を優先して選択することを特徴とする。

【0015】

請求項１０に係る発明は、請求項１乃至９の何れか一項に記載の構成に加えて、前記画像選択部は、所定の撮影期間に撮影された前記撮影画像を選択することを特徴とする。

【0016】

請求項１１に係る発明は、請求項１０に記載の構成に加えて、前記画像選択部は、前記所定の撮影期間を複数の分割期間に区分して、区分された複数の前記分割期間に撮影された前記撮影画像の画像数が、前記分割期間ごとに等しくなるように選択することを特徴とする。

【発明の効果】

【0017】

請求項１の発明によれば、複数の撮影画像の中から１以上の撮影画像を選択する選択条件として、人物を特定する顔画像、及び、表情を指定する指定表情が含まれており、その顔画像により特定される人物が指定表情で写っている撮影画像が選択される。このように、きめ細かく選択条件を設定できる。また、この選択条件により選択された画像に統一感を持たせることができる。

【0018】

請求項２の発明によれば、利用者によって表情設定画像が入力され、その表情設定画像に写っている人物の表情が検出される。そして、検出された表情の撮影画像が選択される。このように、喜怒哀楽のような基本的な表情と異なる特徴的な表情についても選択条件として設定でき、その特徴的な表情の撮影画像を抽出できる。

【0019】

請求項３の発明によれば、複数人の顔画像により特定されるそれぞれの人物について、その人物が写っている撮影画像の選択割合を選択条件として設定できる。このため、選択される撮影画像の中で、特定の人物が写っている画像の割合を自在に調整できる。

【0020】

請求項４の発明によれば、施設利用者により撮影された撮影画像と家庭利用者により撮影された撮影画像との選択割合を選択条件として設定できる。このため、選択される撮影画像の中で、施設や家庭において撮影された画像の割合を自在に調整できる。

【0021】

請求項５の発明によれば、顔画像により特定される人物とともに写っている付随物を選択条件として設定できる。このため、選択される撮影画像に写っている人物と付随物の組み合わせを自由に選ぶことができる。

【0022】

請求項６の発明によれば、撮影画像のぼけ量、撮影画像のぶれ量、撮影画像全体に占める特定人物の顔部分の面積の割合、撮影画像中の特定人物の位置の中央からの位置ずれ量、撮影画像中の特定人物の顔の向きの正面方向からのずれ量、撮影画像中の特定人物の顔の欠け量、撮影画像中の特定人物の明度の少なくとも何れか一つの優先選択基準に基づいて、優先して選択するため、高品質な撮影画像を選択できる。

【0023】

請求項７の発明によれば、画像の品質を示す画質スコアが算出され、この画質スコアが、所定の閾値未満の撮影画像は選択されない。このように低画質の撮影画像は選択されず除外することができる。

【0024】

請求項８の発明によれば、機械学習により生成される学習済み画質スコア生成モデルによって画質スコアが算出される。このため、様々な撮影画像に対して安定して適切な画質スコアを求めることができる。

【0025】

請求項９の発明によれば、画質スコアに基づいて、撮影画像を優先して選択するため、高品質な撮影画像を確実に選択できる。

【0026】

請求項１０の発明によれば、所定の撮影期間に撮影された撮影画像が選択される。このため、長期間に渡り撮影された画像の中から特定の期間に撮影された画像を容易に選択できる。

【0027】

請求項１１の発明によれば、所定の撮影期間を複数の分割期間に区分して、その複数の分割期間に撮影された撮影画像の画像数が、分割期間ごとに等しくなるように選択される。このため、撮影画像がある時期に集中して選択されることがなくなり、所定の期間全体に渡り満遍なく分散して選択される。この結果、多様な撮影画像を選択できる。

【図面の簡単な説明】

【0028】

【図1】この発明の実施の形態に係る画像選択システムのシステム構成概略図である。

【図2】同実施の形態に係る画像選択サーバの機能ブロック概略図である。

【図3】同実施の形態に係る家庭端末の選択条件入力画面の例を示す概略図である。

【図4】同実施の形態に係る家庭端末の選択条件入力画面において入力される表情設定画像の概略図の例であり、（ａ）と（ｂ）はクシャっとした顔の表情、（ｃ）と（ｄ）は集中している顔の表情、（ｅ）と（ｆ）は可愛いけれども悪い顔の表情を示す図である。

【図5】同実施の形態に係る画像選択サーバに保持される学習済み画質スコア生成モデルを機械学習により生成する際に教師データとして用いられる学習用画像の例を示す図であり、（ａ）～（ｄ）は、学習用画像に設定される正解画質スコアが０．００の図である。

【図6】同実施の形態に係る画像選択サーバに保持される学習済み画質スコア生成モデルを機械学習により生成する際に教師データとして用いられる学習用画像の例を示す図であり、（ａ）と（ｂ）は学習用画像に設定される正解画質スコアが０．０より大きく０．１以下の図、（ｃ）と（ｄ）は、正解画質スコアが０．１より大きく０．２以下の図である。

【図7】同実施の形態に係る画像選択サーバに保持される学習済み画質スコア生成モデルを機械学習により生成する際に教師データとして用いられる学習用画像の例を示す図であり、（ａ）と（ｂ）は学習用画像に設定される正解画質スコアが０．２より大きく０．３以下の図、（ｃ）と（ｄ）は、正解画質スコアが０．３より大きく０．４以下の図である。

【図8】同実施の形態に係る画像選択サーバに保持される学習済み画質スコア生成モデルを機械学習により生成する際に教師データとして用いられる学習用画像の例を示す図であり、（ａ）と（ｂ）は学習用画像に設定される正解画質スコアが０．４より大きく０．５以下の図、（ｃ）と（ｄ）は、正解画質スコアが０．５より大きく０．６以下の図である。

【図9】同実施の形態に係る画像選択サーバに保持される学習済み画質スコア生成モデルを機械学習により生成する際に教師データとして用いられる学習用画像の例を示す図であり、（ａ）と（ｂ）は学習用画像に設定される正解画質スコアが０．６より大きく０．７以下の図、（ｃ）と（ｄ）は、正解画質スコアが０．７より大きく０．８以下の図である。

【図10】同実施の形態に係る画像選択サーバに保持される学習済み画質スコア生成モデルを機械学習により生成する際に教師データとして用いられる学習用画像の例を示す図であり、（ａ）と（ｂ）は学習用画像に設定される正解画質スコアが０．８より大きい図である。

【図11】同実施の形態に係る画像選択サーバで行われる複数の撮影画像の中から選択候補画像を抽出する流れの例を示す図である。

【図12】同実施の形態に係る画像選択サーバで算出される撮影画像の優先度スコアを求める際に使用される各スコアの例を示す図であり、（ａ）は画質スコア、（ｂ）は人物表情スコア、（ｃ）は施設家庭スコア、（ｄ）お気に入りスコアを示す図である。

【図13】同実施の形態に係る家庭端末の選択条件入力画面の例を示す概略図であり、（ａ）は電子アルバムに掲載する撮影画像の撮影開始月を設定する画面、（ｂ）は設定内容の確認画面である。

【図14】同実施の形態に係るサーバまたは情報端末の機能ブロック概略図であり、（ａ）は施設情報管理サーバ、（ｂ）は施設端末、（ｃ）は家庭端末を示す図である。

【図15】同実施の形態に係る画像選択システムにおいて、家庭端末を用いて選択条件を設定する動作の流れの一例を示す概略図である。

【図16】同実施の形態に係る家庭端末に表示される選択画像プレビュー画面から選択画像を修正する際の画面の遷移を示す概略図であり、（ａ）は選択画像プレビュー画面、（ｂ）と（ｄ）と（ｆ）は編集画面、（ｃ）は写真の削除画面、（ｅ）は写真の選択画面である。

【発明を実施するための形態】

【0029】

この発明の実施の形態について、図１～図１６を用いて説明する。

【0030】

図１は、本発明の実施の形態に係る画像選択システム１のシステム構成概略図である。この画像選択システム１は、後述する画像選択サーバ２に保存されている利用者によって撮影された複数の撮影画像の中から選択条件に基づいて１以上の撮影画像を自動的に選択するためのシステムである。ここで、選択条件とは、あらかじめ画像選択サーバ２に保存されている複数の撮影画像の中から１以上の撮影画像を選択する際に用いられる条件のことである。

【0031】

この画像選択システム１は、画像選択サーバ２、施設情報管理サーバ４、「所定の施設」としての施設５において使用される情報端末である施設端末６、家庭７において使用される情報端末である家庭端末８などが、通信回線９を介して接続された構成になっている。この図には、施設端末６と家庭端末８がそれぞれ一台しか示されていないが、複数の施設端末６や複数の家庭端末８を使用してもよい。また、複数の施設５や複数の家庭７を含むように、このシステム１を構成してもよい。

【0032】

この画像選択システム１の利用者は、施設５における利用者である施設利用者と、家庭７における利用者である家庭利用者である。施設利用者が施設端末６を用いて撮影した撮影画像や、家庭利用者が家庭端末８を用いて撮影した撮影画像は、このシステム１の構成要素である画像選択サーバ２に保存される。家庭利用者や施設利用者がこのサーバ２に保存されている画像を用いて、アルバムや電子アルバムなどを作製する際には、保存される画像の中から目的とする画像を適切に選択する必要が生ずる。この選択作業を支援するシステムが、この画像選択システム１である。

【0033】

このシステム１では、選択条件を入力する選択条件入力画面が家庭端末８や施設端末６に提供され、家庭利用者等が、家庭端末８等に表示される選択条件入力画面に入力操作を行うことで選択条件が設定される。家庭利用者等によって入力された選択条件は、送信されて、画像選択サーバ２に受け付けられる。画像選択サーバ２では、受け付けた選択条件に基づいて、あらかじめ保存されている撮影画像の中から１以上の画像を選択する。そして、選択された画像は、家庭端末８等に送られ、家庭利用者等に提供される。

【0034】

なお、施設５としては、保育園、幼稚園、学校、塾、音楽教室、会社などの施設であってもよいし、屋外の工事現場などに対応させるようにしてもよい。本実施形態では、施設５を保育園として説明する。

【0035】

また、通信回線９は、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などで構成してもよい。

【0036】

次に、この画像選択システム１を構成する各要素について説明する。

【0037】

図２は、画像選択サーバ２の機能ブロック概略図である。このサーバ２は、制御部２０、画像受付部２４、画像保存部２５、条件入力画面提供部２６、選択条件受付部２７、表情検出部２８、画像選択部２９、選択画像提供部３０、通信回線９を介して情報を送信する送信部３１、通信回線９を介して情報を受信する受信部３２を含むように構成されている。

【0038】

制御部２０は、プログラムの実行や演算処理を行うＣＰＵ２１、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が用いられプログラムやデータを記憶する補助記憶装置２２、ＣＰＵ２１によるプログラムの実行や演算処理のワークエリアとして動作する揮発性メモリのＲＡＭ２３を含むように構成されており、画像選択サーバ２を構成する各要素の動作を制御する。

【0039】

画像受付部２４は、施設利用者や家庭利用者によって撮影された撮影画像を受け付ける。この画像選択システム１においては、施設利用者によって撮影された画像が、施設端末６から一旦、施設情報管理サーバ４に送られ、このサーバ４を経由してから、画像選択サーバ２に送信されるようになっている。一方、家庭利用者によって撮影された画像は、家庭端末８から、直接、この画像選択サーバ２に送信されるようになっている。ただし、施設端末６から送信される画像が施設情報管理サーバ４を経由するデータの流れは、このシステム１の構成上生じており、必須の流れでない。したがって、家庭端末８と同様に、施設端末６からの画像を、直接、画像選択サーバ２に送信するように構成してもよい。

【0040】

画像保存部２５は、画像受付部２４で受け付けた撮影画像を保存する。この画像保存部２５には、家庭７や施設５で長期間に渡り撮影された画像が大量に保存されることになる。家庭利用者等が電子アルバム等を作製するときには、この画像保存部２５にあらかじめ保存されている撮影画像の中からアルバムに掲載する画像が選択される。

【0041】

条件入力画面提供部２６は、撮影画像を選択する際の選択条件を入力する選択条件入力画面を提供する。選択条件入力画面の構成データを含む入力画面情報が、施設端末６や家庭端末８に送信されると、この入力画面情報を受信した施設端末６や家庭端末８では、その情報に基づいて選択条件入力画面を構成して表示する。施設利用者や家庭利用者は、この選択条件入力画面に入力操作を行うことにより、選択条件を設定する。

【0042】

図３は、家庭端末８に表示される選択条件入力画面８００の例を示す概略図である。この入力画面８００には、人物の選択８１０、表情の選択８２０、人物の選択割合の設定８３０、園と家庭の写真の選択割合の設定８４０、人物以外の被写体設定８５０の各設定項目が含まれている。

【0043】

人物の選択８１０の項目表示の下部には、顔画像表示枠８１１が配置され、この表示枠８１１には、あらかじめ家庭利用者によって登録されている人物を特定する顔画像がそれぞれ表示される。例えば、顔画像表示枠８１１の左から順に、長男、母親（ママ）、父親（パパ）、長女の顔画像が表示される。この人物を特定する顔画像は、長男、母親、父親、長女などの続柄を含む家族情報と関連付けられており、この家族情報とともに画像選択サーバ２に登録されている。これにより、顔画像表示枠８１１の顔画像を選択すると、その人物の家族構成における続柄を取得できる。

【0044】

家庭利用者が、この表示枠８１１の顔画像を選択して指定すると、その顔画像の指定が選択条件として設定される。画像選択サーバ２では、選択条件に基づいて画像が選択されるため、指定された顔画像により特定される人物である特定人物の写っている撮影画像が選択される。例えば、長男の顔画像が指定されると、画像選択サーバ２の画像保存部２５から特定人物である長男の画像が選択される。このとき、顔画像表示枠８１１に表示されている顔画像のみを用いて画像保存部２５に保存されている撮影画像と照合し、特定人物の画像を選択するようにしてもよいし、その特定人物の複数の顔画像を画像選択サーバ２にあらかじめ登録しておき、その複数の顔画像を用いて画像保存部２５に保存されている画像と照合して、特定人物の画像を選択するようにしてもよい。

【0045】

また、複数の顔画像表示枠８１１を選択して、複数人の顔画像を指定することもできる。この場合、複数人の顔画像により特定される複数の特定人物のそれぞれが写っている撮影画像が選択される。例えば、長男と母親と父親の顔画像が指定されると、長男の画像、母親の画像又は父親の画像が選択される。

【0046】

なお、顔画像表示枠８１１の選択が一人も行われない場合には、特定人物の設定がないものとして取り扱われる。この場合、特定人物以外の選択条件に基づいて撮影画像が選択される。

【0047】

表情の選択８２０の項目表示の下部には、笑顔、寝顔、泣き顔という基本的な表情（基本表情）が表示される基本表情表示枠８２１が配置されている。この図の例では、「笑顔」、「寝顔」、「泣き顔」の各表情が文字で表示されているが、これらの表情を絵柄などで表示するようにしてもよい。家庭利用者が、この表示枠８２１に表示されている基本表情を選択して指定すると、この基本表情が指定表情として選択条件に設定される。画像選択サーバ２では、上述の顔画像表示枠８１１で指定された特定人物の撮影画像であり、かつ、その人物の表情が指定表情と一致する画像が選択される。例えば、笑顔が指定されると、笑顔の特定人物が写っている画像が選択される。また、１枚の撮影画像中に複数の特定人物が写っている場合には、特定人物の中のいずれかが笑顔をしている画像が選択される。この例のように複数の特定人物の指定表情を一括して指定するようにしてもよいし、特定人物ごとに指定表情を指定するようにしてもよい。選択する画像の総数に対して、指定表情の画像の数が足りない場合、まず、指定表情の画像が選択され、残りは指定表情以外の画像が選択される。

【0048】

また、複数の基本表情表示枠８２１を同時に指定することもできる。この場合、指定されたいずれかの表情をしている特定人物の撮影画像が選択される。例えば、笑顔と泣き顔が指定されると、特定人物が笑顔で写っている画像と泣き顔で写っている画像が選択される。このように複数の指定表情が指定された場合には、それぞれの表情の選択割合を設定できるようにしてもよい。

【0049】

なお、基本表情表示枠８２１に表示される基本表情には、怒り顔などのその他の表情を含めてもよい。

【0050】

また、基本表情表示枠８２１のどの表情も選択されない場合には、基本表情の設定がないものとして取り扱われる。この場合、基本表情以外の選択条件に基づいて撮影画像が選択される。

【0051】

基本表情表示枠８２１の右側には、表情設定画像表示枠８２２が配置されている。家庭利用者は、この表情設定画像表示枠８２２に、上段の顔画像表示枠８１１に表示されている人物が特徴的な表情で写っている表情設定画像８２３を入力できる。入力された表情設定画像８２３は、選択条件として設定されるとともに、この表情設定画像表示枠８２２に表示される。そして、入力された表情設定画像８２３は、画像選択サーバ２に送信されて、画像選択サーバ２に登録される。画像選択サーバ２では、表情検出部２８において、表情設定画像８２３が画像処理によって分析され、その表情設定画像８２３の表情が設定表情として検出される。このようにして検出された設定表情は、上述の基本表情表示枠８２１で指定された表情と同様に指定表情として選択条件に設定される。画像選択サーバ２では、選択条件に基づいて画像が選択されるため、特定人物が表情設定画像８２３の表情（指定表情として設定されている設定表情）をしている撮影画像が選択される。

【0052】

図４には、家庭端末８の選択条件入力画面８００において入力される表情設定画像８２３の概略図の例が示されている。（ａ）と（ｂ）はクシャっとした顔の表情、（ｃ）と（ｄ）は集中している顔の表情、（ｅ）と（ｆ）は可愛いけれども悪い顔の表情を示す表情設定画像８２３の例である。図４に示すどの表情も笑顔や泣き顔などの基本的な表情と異なる特徴的な表情となっている。

【0053】

図３に示す人物の選択割合の設定８３０の項目表示の下部には、特定人物の撮影画像の選択割合を設定する人物選択割合入力スライダ８３１が表示されている。この人物選択割合入力スライダ８３１は、複数の顔画像表示枠８１１の選択によって複数人の特定人物が指定された際に表示され、それぞれの特定人物の撮影画像の選択割合である人物選択割合を設定するために使用される。設定された人物選択割合は、画像の選択条件として用いられる。図３には、長男、母親、父親の３個の顔画像表示枠８１１の選択により、３人の特定人物が指定されたときの例が示されている。３人の特定人物に対応するように、３本の人物選択割合入力スライダ８３１が表示されており、最も上のスライダ８３１は長男、二番目は母親（ママ）、最も下のスライダ８３１は父親（パパ）の撮影画像の選択割合が設定される。この３本の人物選択割合入力スライダ８３１で設定される人物選択割合を合計すると１００％になる。例えば、長男が７０％、母親が２０％及び父親が１０％となるように人物選択割合を設定すると、その割合に応じて撮影画像が選択される。選択される画像総数が１００枚であれば、長男が７０枚、母親が２０枚及び父親が１０枚となる。また、１枚の画像に長男と母親、長男と父親、長男と母親と父親が写っている場合には、最も上のスライダ８３１に対応している長男の画像が選択されたものとして選択割合が算出される。

【0054】

なお、全ての人物選択割合入力スライダ８３１が０％に設定されている場合には、人物選択割合の設定がないものとして取り扱われる。この場合、人物選択割合以外の選択条件に基づいて撮影画像が選択される。

【0055】

また、人物選択割合入力スライダ８３１によって人物選択割合を設定するのでなく、撮影画像が選択される優先順位を設定するようにしてもよい。図３に示すように顔画像表示枠８１１で長男、母親、父親が選択されている場合、例えば、第１優先順位が長男、第２優先順位が母親、第３優先順位が父親というように設定できるようにしてもよい。

【0056】

また、人物選択割合入力スライダ８３１によって、人物選択割合を決定するのでなく、この入力スライダ８３１の設定に応じて、優先順位が設定されるようにしてもよい。例えば、この入力スライダ８３１により、長男が７０％、母親が２０％、父親が１０％と設定されると、第１優先順位が長男、第２優先順位が母親、第３優先順位が父親というように設定される。

【0057】

園と家庭の写真の選択割合の設定８４０の項目表示の下部には、施設利用者により撮影された撮影画像と家庭利用者により撮影された撮影画像との選択割合である施設家庭画像選択割合を設定する施設家庭選択割合入力スライダ８４１が表示されている。このスライダ８４１により設定された施設家庭画像選択割合は、選択条件として撮影画像の選択に用いられる。ここで、本実施形態では、施設５を保育園としているため、施設５における利用者である施設利用者は、保育士などが該当する。また、家庭７における利用者である家庭利用者は、父親や母親などが該当する。また、保育士などの施設利用者により撮影された撮影画像としては、施設端末６を用いて撮影した画像が該当する。ただし、施設端末６とは異なるデジタルカメラなどで撮影した画像を施設端末６にコピーして保存した画像も施設利用者により撮影された撮影画像に含まれる。父親や母親などの家庭利用者により撮影された撮影画像としては、家庭端末８を用いて撮影した画像が該当する。また、家庭端末８以外のカメラなどで画像を撮影して、家庭端末８にコピーして保存した画像も家庭利用者により撮影された撮影画像に含まれる。

【0058】

この画像選択システム１では、施設端末６で撮影された画像が、施設情報管理サーバ４を経由して画像選択サーバ２に送信され保存される構成になっている。この画像データの流れを利用して、画像選択サーバ２では、施設情報管理サーバ４を経由してくる画像を施設利用者により撮影された撮影画像として識別している。また、家庭端末８で撮影された撮影画像は、直接、画像選択サーバ２に送信され保存される構成になっている。このため、画像選択サーバ２では、施設情報管理サーバ４を経由してこない画像を家庭利用者により撮影された撮影画像として識別している。

【0059】

これ以外の識別の方法として、施設利用者または家庭利用者により撮影された画像であることを示す識別情報を画像に付加し、画像選択サーバ２では、その識別情報を読み取って施設利用者により撮影された画像であるか、または、家庭利用者により撮影された画像であるかを判定するようにしてもよい。

【0060】

画像選択サーバ２の画像選択部２９では、施設家庭選択割合入力スライダ８４１によって設定された施設家庭画像選択割合となるように撮影画像を選択する。例えば、このスライダ８４１で、施設家庭画像選択割合が２５％になるように設定すると、その割合に応じて画像が選択され、１００枚選択するのであれば、保育園の画像が２５枚、家庭の画像が７５枚となる。

【0061】

なお、この画像選択システム１では、プライバシー保護の観点から、情報端末に内蔵されているＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュールなどから取得される位置情報を使用していない。しかし、取得される位置情報を利用して、保育園の画像や、保育園以外の画像すなわち家庭の画像であることを識別するようにしてもよい。

【0062】

また、施設家庭選択割合入力スライダ８４１によって施設家庭画像選択割合を設定するのでなく、例えば、「家庭の写真優先」ボタン、「園の写真優先」ボタン、「園と家庭の写真が同じくらい」ボタンを用意してボタンを押下することにより、撮影画像が選択される優先度を設定するようにしてもよい。この場合、「家庭の写真優先」に設定されると、家庭の画像が保育園の画像に比べて優先して選択される。また、「園の写真優先」に設定されると、保育園の画像が優先して選択される。「園と家庭の写真が同じくらい」が設定されると、保育園または家庭の優先度の設定がないものとして取り扱われ、その他の選択条件に基づいて撮影画像が選択される。

【0063】

また、施設家庭選択割合入力スライダ８４１によって、施設家庭画像選択割合を設定するのでなく、この入力スライダ８４１の設定に応じて、保育園または家庭の優先度が設定されるようにしてもよい。例えば、この入力スライダ８４１により、保育園の画像の選択割合が５０％未満に設定されると「家庭の写真優先」に設定され、保育園の選択割合が５０％に設定されると「園と家庭の写真が同じくらい」に設定され、保育園の選択割合が５０％より大きく設定されると「園の写真優先」に設定される。

【0064】

人物以外の被写体設定８５０の項目表示の下部には、特定人物とともに写っている付随物を選択条件として設定する付随物チェックボックス８５１が表示されている。このチェックボックス８５１にチェックを入力することにより、付随物として子どもの制作物、子どものおもちゃ、食べ物が指定され、指定された付随物とともに特定人物が写っている撮影画像が選択される。例えば、食べ物が指定され、顔画像表示枠８１１の指定により特定人物として長男が指定されていれば、長男が食べ物を食べている画像が選択される。また、複数のチェックボックス８５１を指定することもでき、例えば、子どものおもちゃと食べ物が指定されると、長男がおもちゃで遊んでいる画像や長男が食べ物を食べている画像が選択される。

【0065】

なお、付随物チェックボックス８５１のどれにもチェックが入力されない場合には、人物以外の被写体設定がないものとして取り扱われる。この場合、その他の選択条件に基づいて撮影画像が選択される。

【0066】

以上のように、選択条件入力画面８００の各項目に入力を行った後、決定ボタン８６０を押下すると、入力した選択条件が選択条件情報として画像選択サーバ２に送信される。

【0067】

なお、選択条件の入力は、家庭利用者が家庭端末８から行うこともできるし、施設利用者が施設端末６から行うこともできる。

【0068】

ここで、図２に示す画像選択サーバ２の説明に戻る。

【0069】

選択条件受付部２７は、家庭端末８や施設端末６から送られてくる選択条件情報を受け付ける。制御部２０では、受け付けた選択条件情報から選択条件を構成し、その選択条件に基づいて画像選択部２９を制御して、画像保存部２５から撮影画像を選択する。

【0070】

表情検出部２８は、上述の図３に示す選択条件入力画面８００の表情設定画像表示枠８２２などに入力される表情設定画像８２３を画像処理により分析し、その人物の表情の特徴を検出する。

【0071】

表情の特徴を検出する方法としては、例えば、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を利用できる。基本的な表情である笑顔、寝顔、泣き顔に対応する膨大な量の顔画像データを教師データとして、機械学習を実行すると、学習済み表情検出用モデルが生成される。この学習済み表情検出生成モデルに、顔画像データを入力して演算することにより、入力したその顔画像について笑顔、寝顔、泣き顔のそれぞれの表情の確率が算出される。検出する表情が笑顔、寝顔、泣き顔のいずれかの表情である場合には、笑顔、寝顔、泣き顔の中から確率の最も高い表情を選択する。ここで、表情設定画像８２３の人物の表情として、笑顔、寝顔、泣き顔の確率の組み合わせにより特徴付けるようにしてもよい。例えば、表情設定画像８２３の表情を、笑顔の確率３０％、寝顔の確率２０％、泣き顔の確率５０％というように各表情の確率の組み合わせとして数値化し規定することができる。

【0072】

また、別の検出方法として、目、鼻、口などの相対的な位置関係や顔領域における配置や比率などの様々な特徴量を算出し、算出された特徴量を表情設定画像８２３の表情として規定してもよい。

【0073】

このように検出された表情設定画像８２３の表情が設定表情となり、この設定表情が選択条件の指定表情として設定される。

【0074】

図２に示す画像選択部２９は、選択条件に基づいて、画像保存部２５にあらかじめ保存されている複数の撮影画像の中から１以上の撮影画像を選択する。

【0075】

保存されている撮影画像の中から顔画像により特定される特定人物を検出する方法は、既存の顔認識技術により実現できる。例えば、機械学習により生成される学習済み生成モデルを用いる方法でもよいし、目、鼻、口などの位置関係に基づく特徴量を算出して照合を行い、類似度の高い画像を抽出する方法でもよい。

【0076】

また、顔画像の表情を検出する方法も、学習済み生成モデルを用いる方法や、目、鼻、口などの特徴量を用いる方法など既存技術を利用できる。

【0077】

上述の表情設定画像８２３の表情の検出のように、学習済み表情検出生成モデルを用いて、笑顔、寝顔、泣き顔の確率の組み合わせによって表情を規定する場合、それぞれの撮影画像についてその学習済み表情検出生成モデルによる演算を行い、表情ごとの確率の組み合わせを算出する。そして、算出された表情ごとの確率の組み合わせについて、設定表情と比較して類似度の高い画像が選択される。また、目、鼻、口などの特徴量により表情を規定する場合、表情設定画像８２３の表情の特徴量と、選択しようとするそれぞれの撮影画像に写っている表情の特徴量とを照合して、類似度の高い画像が選択される。

【0078】

また、既存の人工知能技術や画像処理技術を用いると、画像に写っている物品を検出できる。このため、特定人物とともに撮影されている付随物を識別することが可能になっており、特定人物と指定された付随物の写っている画像を選択できる。

【0079】

また、この画像選択部２９による画像の選択について、撮影画像のぼけ量、撮影画像のぶれ量、撮影画像全体に占める特定人物の顔部分の面積の割合、撮影画像中の特定人物の位置の中央からの位置ずれ量、撮影画像中の特定人物の顔の向きの正面方向からのずれ量、撮影画像中の特定人物の顔の欠け量、撮影画像中の特定人物の明るさを示す特定人物の明度の少なくとも何れか一つの優先選択基準に基づいて、優先して選択するようにしてもよい。複数の優先選択基準に基づいて優先度を決定する場合、各優先選択基準に対する評価得点を求め、各評価得点に重みづけをして総合評価得点を算出し、得点の高い画像を優先して選択するようにしてもよい。このように優先度を定めることにより、画像を選択する候補の数が、あらかじめ設定されている撮影画像の選択総数である設定画像総数を超えている場合などでも、その候補の中から高品質な画像を適切に選択できるようになる。

【0080】

撮影画像のぼけ量やぶれ量の検出は、画像から人物の顔部分の領域を抜き出して、その領域内のエッジやコントラストを算出して数値化することにより行い、この数値に基づいて評価得点を求めるようにしてもよい。また、抜き出した顔領域の画素データについてフーリエ変換を施して、求められたスペクトラムの高周波成分を利用して数値化し、これに基づいて評価得点を算出するようにしてもよい。撮影画像のぼけ量やぶれ量が小さい方が高品質な画像と判定され、評価得点が高く設定される。

【0081】

また、撮影画像全体に占める人物の顔部分の面積の割合の検出は、画像から人物の顔部分の領域を抜き出して、その顔領域の面積を算出し、顔領域と撮影画像全体との面積の比率を計算することにより行い、この比率に基づいて評価得点を求めるようにしてもよい。画像全体に占める顔部分の領域が小さいと顔を判別しにくくなるため評価得点が低く設定される。一方、顔の領域が大きすぎて画像内のほとんどを顔が占める場合にも、背景が写らず画像の特徴や変化が乏しくなるため評価得点が低く設定される。全体に占める顔の大きさの割合が適正な範囲にあるときに評価得点が高く設定される。

【0082】

また、撮影画像中の人物の位置の中央からの位置ずれ量の検出は、画像から人物の顔部分の領域を抜き出して、その顔領域の位置を算出し撮影画像の中央位置からのずれ量を計算することにより行い、この中央からの位置ずれ量に基づいて評価得点を求めるようにしてもよい。この位置ずれ量が小さく顔部分が画像の中央にあるときに評価得点が高く設定される。

【0083】

また、撮影画像中の人物の顔の向きの正面方向からのずれ量の検出は、画像から人物の顔部分の領域を抜き出して、その目や鼻などの位置から顔面の向いている方向を算出し、表面方向からの顔面の向きのずれ量を演算することにより行い、この正面方向からのずれ量に基づいて評価得点を求めるようにしてもよい。このずれ量が小さく顔が正面方向を向いているときに評価得点が高く設定される。

【0084】

また、撮影画像中の人物の顔の欠け量の検出は、画像から人物の顔部分の領域を抜き出して、その顔の一部が撮影画像の縁となる画像境界やその人物の前に写っている障害物に遮られている場合、遮られていない部分の顔の面積を算出するとともに、遮られていない顔全体の面積を推定して、顔の遮られている部分の推定面積と顔全体の推定面積の比率を計算することにより行い、この比率に基づいて評価得点を求めるようにしてもよい。また、画像中の人物の片側の目が隠れていたり、口の一部が欠けていたりすることに基づいて、人物の顔の欠け量を検出し、評価得点を求めるようにしてもよい。この欠け量が小さく顔全体が写っている画像は評価得点が高く設定される。

【0085】

撮影画像中の人物の明るさを示すその人物の明度の検出は、画像から人物の顔部分の領域または人物の身体全体の領域を抜き出して、その領域の画素の信号レベルの大きさとして検出し、その信号レベルの大きさに基づいて評価得点を求めるようにしてもよい。この明度が高い画像は、人物の顔や身体が明るく明瞭に認識できるため評価得点が高く設定される。また、人物の顔部分や身体全体の領域の画素の信号レベルの大きさと、背景を構成する画素の信号レベルの大きさとを比較することにより、例えば、人物の信号レベルと背景の信号レベルの大きさの比率などによって、画像中の人物の明度の検出し、評価得点を求めるようにしてもよい。背景よりも人物の信号レベルの方が大きい画像を選択することにより、逆光によって人物の顔や身体が暗く写っている画像を除外して、顔や身体が明るくはっきり写っている画像を選択できる。

【0086】

なお、画像選択部２９における撮影画像の選択は、画像の品質を示す画質スコア８８１に基づいて行うこともできる。画質スコア８８１とは、０以上１以下の範囲の数値をとり、この数値が高いほど画像の品質が高いことを示すスコアである。

【0087】

この画質スコア８８１は、上述のような方法により、画像のぼけ量、画像のぶれ量、撮影画像に写っている人物の画像全体に占める顔部分の面積の割合、撮影画像に写っている人物の画像中の中央位置からの位置ずれ量、撮影画像に写っている人物の画像中の顔の向きの正面方向からのずれ量、撮影画像に写っている人物の画像中の顔の欠け量、撮影画像に写っている人物の明るさを示すその人物の明度などを求めて、これらの項目の中の少なくとも何れか一つに基づいて算出するようにしてもよい。例えば、画像のぼけ量やぶれ量、撮影画像に写っている人物の撮影画像全体に占める顔部分の面積の割合などの各項目の検出結果を規格化して、各項目の寄与度を調整してから、各項目の数値を加算して画質スコア８８１を求めるようにしてもよい。また、各項目の検出結果の数値に重みづけをして加算し画質スコア８８１を求めるようにしてもよい。

【0088】

また、撮影画像を入力して演算すると画質スコア８８１が出力される学習済み画質スコア生成モデルによって算出するようにしてもよい。この学習済み画質スコア生成モデルは、画像選択サーバ２に保存され、制御部２０が画像選択部２９を制御することにより、撮影画像をこの画質スコア生成モデルに入力して演算が行われ画質スコア８８１が算出される。ただし、この学習済み画質スコア生成モデルを画像選択サーバ２に保存せず、別のサーバに保持し、この別のサーバに撮影画像を送信して演算させ画質スコア８８１を求めるようにしてもよい。

【0089】

この学習済み画質スコア生成モデルは、例えば、撮影画像のぼけ量、撮影画像のぶれ量、撮影画像に写っている人物の画像全体に占める顔部分の面積の割合、撮影画像に写っている人物の画像中の中央位置からの位置ずれ量、撮影画像に写っている人物の画像中の顔の向きの正面方向からのずれ量、撮影画像に写っている人物の画像中の顔の欠け量、撮影画像に写っている人物明るさを示すその人物の明度の少なくとも何れか一つに基づいて決定される正解画質スコアが設定された学習用画像を教師データとして機械学習を行い生成される。正解画質スコアは、機械学習の際に正解とする画質スコア８８１であり、画質スコア８８１と同様に０以上１以下の範囲の数値をとり、画像の品質が高いほどこの数値が大きく設定される。

【0090】

図５～図１０は、学習済み画質スコア生成モデルを生成する際に教師データとして用いられる学習用画像の例を示す図である。

【0091】

図５は、正解画質スコアが０．００に設定された学習用画像の例である。図５（ａ）に示す写真画像は、画像のぼけ量が大きく顔が判別できず、人物の画像中央から位置ずれ量が大きく人が画像の両端に位置している、また、顔の欠け量が半分程度と大きく欠けている。図５（ｂ）は、全員の頭部のみが写っており誰の顔も判別できない。図５（ｃ）は、床と机しか写っておらず、人が写っていない。図５（ｄ）は、胴体と手足のみが写っており顔が写っていない。このように図５（ａ）～（ｄ）に示す写真画像は、画像の品質が極めて低いため、正解画質スコアが０．００に設定される。

【0092】

図６（ａ）及び（ｂ）は、正解画質スコアが０．０より大きく０．１以下に設定された学習用画像の例である。図６（ａ）に示す写真画像は、人物の明度が高く、画像全体に占める人物の顔部分の面積の割合も適度に大きいが、画像のぶれ量が大きく顔が不明瞭であり、また、顔の向きのずれ量が大きく正面方向から９０度程度ずれている。図６（ｂ）は、顔の面積が適度な大きさであり、正面を向いているが、画像がぼけて顔が明瞭でなく、また、顔の明るさである明度が低い。このように画像の品質が低いため、図６（ａ）及び（ｂ）に示す写真画像の正解画質スコアは０．０４に設定されている。

【0093】

図６（ｃ）及び（ｄ）は、正解画質スコアが０．１より大きく０．２以下に設定された学習用画像の例である。図６（ｃ）及び（ｄ）に示す写真画像は、背景の明るさに比べて人物の明度が低く顔を判別できない。また、画像全体に占める顔の大きさが小さい。このように画質が低いため、図６（ｃ）及び（ｄ）に示す写真画像の正解画質スコアは０．１２に設定されている。

【0094】

図７（ａ）及び（ｂ）は、正解画質スコアが０．２より大きく０．３以下に設定された学習用画像の例である。図７（ａ）に示す写真画像は、画像全体に占める顔領域の割合が大きく、画像の中央近くに位置しているが、顔の明度が低く、また、顔が下を向いており正面方向からのずれ量が大きい。図７（ｂ）は、画像の右下部に位置する人物の顔の大きさが所定の適正範囲に収まっており、また、顔の欠けもないが、中央からの位置ずれが大きい。このように画像の品質が高くないため、図７（ａ）及び（ｂ）に示す写真画像の正解画質スコアはそれぞれ０．２１と０．２５に設定されている。

【0095】

図７（ｃ）及び（ｄ）は、正解画質スコアが０．３より大きく０．４以下に設定された学習用画像の例である。この図７（ｃ）及び（ｄ）に示す写真画像は、顔領域の割合が大きくないが、ぼけやぶれがなく、比較的明度が高いため顔をはっきり認識できる。図７（ｃ）及び（ｄ）に示す写真画像の画質はやや低いため、正解画質スコアはそれぞれ０．３３と０．３８に設定されている。

【0096】

図８（ａ）及び（ｂ）は、正解画質スコアが０．４より大きく０．５以下に設定された学習用画像の例である。図８（ａ）に示す写真画像は、顔が横を向いているが、顔の大きさが適正であり、明度も明るく、ぼけやぶれもない。図８（ｂ）は、顔が画像のほぼ中央に位置し、正面を向き、明度もあり、明瞭を認識できる。しかし、画像全体に占める顔領域の割合が適正範囲より大きくなっている。このように画像の品質が中程度からやや低いため、図８（ａ）及び（ｂ）に示す写真画像の正解画質スコアはそれぞれ０．４２に設定されている。

【0097】

図８（ｃ）及び（ｄ）は、正解画質スコアが０．５より大きく０．６以下に設定された学習用画像の例である。このどちらの写真画像も、顔が横を向いているものの、顔の大きさが適正範囲に収まっており、ぼけもぶれも顔の欠けもない。画像の品質が中程度であるため、図８（ｃ）及び（ｄ）に示す写真画像の正解画質スコアはそれぞれ０．５４と０．５８に設定されている。

【0098】

図９（ａ）及び（ｂ）は、正解画質スコアが０．６より大きく０．７以下に設定された学習用画像の例である。これらの写真画像は、顔の大きさが適正であり、ぼけもぶれも顔の欠けもなく、明度も十分である。これらの画質は中程度よりも高いため、図９（ａ）及び（ｂ）に示す写真画像の正解画質スコアはそれぞれ０．６２と０．６７に設定されている。

【0099】

図９（ｃ）及び（ｄ）は、正解画質スコアが０．７より大きく０．８以下に設定された学習用画像の例である。これらの写真画像は、顔の大きさが適正で、ぼけもぶれも顔の欠けもなく、明度も十分であり、顔がほぼ正面を向いている。これらの画質は良好であるため、図９（ｃ）及び（ｄ）に示す写真画像の正解画質スコアはそれぞれ０．７１と０．７９に設定されている。

【0100】

図１０（ａ）及び（ｂ）は、正解画質スコアが０．８より大きく０．９以下に設定された学習用画像の例である。これらの写真画像は、画像全体に占める顔領域の割合も適正範囲に収まり、顔の欠けがなく、画像のぼけやぶれがなく人物の明度も高いため顔が明確に確認できる。これらの画質は非常に良好であるため、図１０（ａ）及び（ｂ）に示す写真画像の正解画質スコアはそれぞれ０．８３に設定されている。

【0101】

図５～図１０に示すような正解画質スコアが設定された学習用画像を多数、教師データとして用いて機械学習を行い、学習済み画質スコア生成モデルが生成される。

【0102】

図２に示す画像選択部２９における撮影画像の選択の際、この学習済み画質スコア生成モデルを利用して画質スコア８８１を算出する場合、画像をこの学習済み画質スコア生成モデルに入力して演算を行うと、出力として０以上１以下の範囲の画質スコア８８１が求められる。画像選択部２９では、画質スコア８８１が大きい画像を優先して選択させることが好ましい。

【0103】

図１１は、複数の撮影画像の中から選択候補画像を抽出する流れの例を示す図である。この処理は、画像選択部２９において行われる。この処理の目的は、画像選択部２９での画像の選択において、画質の低い画像を選択候補から除外したり、連続撮影された画像の中から画質の高い１枚以外の画像を選択候補から除外したりすることである。

【0104】

図１１に示す選択候補画像を抽出する処理は、大きく分けて、画像単体評価処理Ｐ１と複数画像間評価処理Ｐ３とで構成される。

【0105】

この画像単体評価処理Ｐ１は、画像保存部２５に保存されている画像の１枚ごと画質スコア８８１を算出して、画質スコア８８１が所定の閾値未満の画像を選択候補から除外する処理である。この画像単体評価処理Ｐ１により、画像選択部２９で選択される画像は、画質スコア８８１が所定の閾値以上の画像の品質の高いもののみとなる。

【0106】

複数画像間評価処理Ｐ３は、連続撮影された一連の画像の中から画質の高い１枚以外の画像を選択候補から除外する処理である。この処理Ｐ３では、２枚の撮影画像の撮影時間を比較して撮影時間差が所定の時間差閾値以下であり、かつ、その２枚の画像の類否を検出して画像が類似すると判定された場合に、その２枚の画像は連続撮影されたものと判定される（連写画像グループ検出処理Ｐ２）。そして、連続撮影されたと判定される一連の画像の中で優先度スコア８８０が最も高い画像１枚を選択候補画像とし、一連の画像のそれ以外の画像を選択候補から除外する。

【0107】

優先度スコア８８０とは、画像を選択する際の撮影画像の優先度を示し、０以上１以下の範囲の数値をとり、この数値が大きいほど優先度が高くなる。

【0108】

この優先度スコア８８０は、例えば、画質スコア８８１と、人物表情スコア８８２と、施設家庭スコア８８３と、お気に入りスコア８８４とから算出するようにしてもよい。

【0109】

図１２は、優先度スコア８８０を求める際に使用される各スコアの例を示す図であり、（ａ）は画質スコア８８１、（ｂ）は人物表情スコア８８２、（ｃ）は施設家庭スコア８８３、（ｄ）お気に入りスコア８８４を示す図である。

【0110】

図１２（ａ）に示す画質スコア８８１は、上述の通り画像の品質を示すスコアであり０以上１以下の範囲の数値となる。

【0111】

図１２（ｂ）に示す人物表情スコア８８２は、選択条件における特定人物の設定の有無と指定表情の設定の有無によって決定される。特定人物の設定の有無は、例えば、図３に示す選択条件入力画面８００の人物の選択８１０において、顔画像表示枠８１１の選択が一人でも行われていれば特定人物の設定が有りとなり、一人も行われない場合、特定人物の設定が無しとなる。また、指定表情の設定の有無は、例えば、選択条件入力画面８００の表情の選択８２０において基本表情表示枠８２１の選択が１個でもあるか、または、表情設定画像表示枠８２２に入力がある場合に、指定表情の設定が有りとなる。また、基本表情表示枠８２１が１個も選択されず、かつ、表情設定画像表示枠８２２にも入力がされない場合、指定表情の設定が無しとなる。

【0112】

特定人物の設定が有り指定表情の設定が無い場合、人物表情スコア８８２は、特定人物が写っている画像が１．０、その他の画像が０．０となる。特定人物の設定が無く指定表情の設定が有る場合、人物表情スコア８８２は、指定表情の人物が写っている画像が１．０、その他の画像が０．０となる。特定人物の設定が有り指定表情の設定も有る場合、特定人物が指定表情で写っている画像が１．０、その他の画像が０．０となる。特定人物の設定が無く指定表情の設定も無い場合、全ての画像で０．０となる。

【0113】

図１２（ｃ）に示す施設家庭スコア８８３は、選択条件における撮影画像の選択が、「家庭の写真優先」であるか、「園の写真優先」であるかによって決定される。例えば、図３に示す施設家庭選択割合入力スライダ８４１により、保育園の画像の選択割合が５０％未満に設定されると「家庭の写真優先」とし、保育園の選択割合が５０％に設定されると「園と家庭の写真が同じくらい」とし、保育園の選択割合が５０％より大きく設定されると「園の写真優先」とするようにしてもよい。また、施設家庭選択割合入力スライダ８４１の代わりに、「家庭の写真優先」ボタン、「園の写真優先」ボタン、「園と家庭の写真が同じくらい」ボタンにより優先度を設定するようにしてもよい。

【0114】

「家庭の写真優先」の場合、施設家庭スコア８８３は、家庭の画像が１．０、保育園の画像が０．０となる。「園の写真優先」の場合、保育園の画像が１．０、家庭の画像が０．０となる。「園と家庭の写真が同じくらい」の場合、全ての画像で０．０となる。

【0115】

図１２（ｄ）に示すお気に入りスコア８８４は、利用者が指定したお気に入り画像について優先して選択する設定になっているかによって決定される。例えば、図３に示す選択条件入力画面８００に先立って表示される撮影画像一覧表示（図示せず）の中から利用者がお気に入りとして指定した画像を、お気に入り画像として画像選択サーバ２に登録するようにしてもよい。そして、お気に入り画像として登録されている撮影画像を優先して選択させる設定を選択条件に取り入れてもよい。このような構成にした場合、選択条件として、お気に入り画像を優先する設定になっていれば、お気に入りスコア８８４は、お気に入り登録された画像が１．０、その他の画像が０．０となる。また、お気に入り画像を優先する設定になっていない場合、全ての画像で０．０となる。

【0116】

ここで、優先度スコア８８０をＳ_ａとし、画質スコア８８１をＳ_ｂ、人物表情スコア８８２をＳ_ｃ、施設家庭スコア８８３をＳ_ｄ、お気に入りスコア８８４をＳ_ｅとする。また、画質スコア８８１の重みをＷ_ｂ、人物表情スコア８８２の重みをＷ_ｃ、施設家庭スコア８８３の重みをＷ_ｄ、お気に入りスコア８８４の重みをＷ_ｅとする。このとき、優先度スコア８８０を次式のように算出するようにしてもよい。重みＷ_ｂ、Ｗ_ｃ、Ｗ_ｄ、Ｗ_ｅは、全て０．２５としてもよいが、それぞれの重みの大きさを変化させてもよい。なお、重みＷ_ｂ、Ｗ_ｃ、Ｗ_ｄ、Ｗ_ｅの和は、１．０となる。

【0117】

【数1】

【0118】

次に図１１に示す選択候補画像を抽出する流れを詳細に説明する。

【0119】

まず、図２に示す画像保存部２５に保存されている撮影画像の画質スコア８８１が算出される（Ｓ１ステップ）。算出されたこの画質スコア８８１は、所定の閾値以上であるか検査され（Ｓ２ステップ）、所定の閾値未満の場合（Ｓ２ステップのＮｏ）、低画質であると判定されて、その画像に除外フラグが設定される（Ｓ４ステップ）。除外フラグが設定された画像は、選択候補から除外される。所定の閾値として０．３を設定してもよいが、求める画質に応じて閾値を変化させてもよい。画質スコア８８１が所定の閾値以上の場合（Ｓ２ステップのＹｅｓ）、その撮影画像の優先度スコア８８０が算出される（Ｓ３ステップ）。

【0120】

画像保存部２５に保存されており選択される可能性のある画像が他にあるか検査され（Ｓ５ステップ）、選択される可能性のある画像がある場合には（Ｓ５ステップのＹｅｓ）、評価対象の画像があると判定されて、その他の画像についても画質スコア８８１の算出、画質の検査及び優先度スコア８８０の算出が行われる。以上の処理は、選択される可能性のある全ての画像に対して行われる（画像単体評価処理Ｐ１）。

【0121】

選択される可能性のある全ての画像について、画質スコア８８１が算出されると（Ｓ５ステップのＮｏ）、複数画像間評価処理Ｐ３に移行する。

【0122】

この複数画像間評価処理Ｐ３では、まず、連写画像グループ検出処理Ｐ２により連続撮影された画像が検出され、その後、連続撮影された一連の画像の中から１枚の選択候補画像が抽出される。

【0123】

連写画像グループ検出処理Ｐ２では、画像保存部２５に保存されている画像の中から２枚の画像が取り出され、その２枚の撮影時間の間隔（撮影時間差）が所定の時間差閾値以下であるか検査される（Ｓ１０ステップ）。撮影時間差が所定の時間差閾値より大きい場合（Ｓ１０ステップのＮｏ）、その２枚の画像に対して連写フラグが設定済みであるか検査される（Ｓ１４ステップ）。連写フラグは、連続撮影されたと判定されたときにその画像に設定される。また、連続撮影でないと判定された画像には、非連写フラグが設定される。所定の時間差閾値は、任意に設定すればよく、例えば、３秒間程度としてもよい。Ｓ１４ステップの検査の結果、その画像に連写フラグが設定されていなければ（Ｓ１４ステップのＮｏ）、非連写フラグが設定される（Ｓ１５ステップ）。

【0124】

撮影時間差が所定の時間差閾値以下の場合（Ｓ１０ステップのＹｅｓ）、その２枚の画像についての類似度が検出され、２枚の画像が類似しているか否かが判定される（Ｓ１１ステップ）。画像の類似度の検出には、既存の検出方法を用いることができ、例えば、２枚の画像間の相関係数を利用する方法や、２枚の画像の赤、青、緑の画素の信号レベルのヒストグラム同士の関連性を利用する方法などを用いて検出すればよい。２枚の画像が類似すると判定される場合（Ｓ１２ステップのＹｅｓ）、それら２枚の画像には連写フラグが設定される（Ｓ１３ステップ）。一方、２枚の画像が類似しないと判定される場合（Ｓ１２ステップのＮｏ）、その画像に連写フラグが設定されていなければ（Ｓ１４ステップのＮｏ）、非連写フラグが設定される（Ｓ１５ステップ）。

【0125】

以上の連写画像グループ検出処理Ｐ２は、比較する２枚の画像がなくなるまで繰り返される（Ｓ１６ステップのＹｅｓ）。

【0126】

比較する必要のある２枚の画像の全ての組み合わせについて、連写画像グループ検出処理Ｐ２が行われると（Ｓ１６ステップのＮｏ）、連写フラグが設定されていて連続撮影されたと判定される一連の画像（連写画像グループ）の中から、優先度スコア８８０が最大の撮影画像を選択候補画像に決定し、その他の画像には除外フラグを設定し選択画像から除外する（Ｓ２０ステップ）。

【0127】

以上のような、連続撮影された一連の画像を検出し、その中から選択候補画像を決定する処理を、評価対象となる画像がなくなるまで繰り返す（Ｓ２１ステップのＹｅｓ）。

【0128】

このようにして、選択候補画像が抽出される。

【0129】

画像選択部２９では、抽出された選択候補画像の中から、画像を選択することになる。この選択は、優先度スコア８８０や画質スコア８８１が大きい順に優先して選び出すようにしてもよい。また、撮影日が集中しないように、ある一定期間ごとに撮影期間を分割し、その期間内で、優先度スコア８８０や画質スコア８８１が大きい画像を優先して選び出すようにしてもよい。

【0130】

図３に示す選択条件入力画面８００に先立って表示される別の選択条件入力画面では、電子アルバムのページ数、電子アルバム１ページあたりの画像数や選択する画像総数、選択する撮影画像の撮影期間などを選択条件として設定できるようになっている。撮影期間としては、「所定の撮影期間」である例えば、４月から次の年の３月までの１年間、園児の誕生日を起点とする１年間、入園から卒園までの期間などを任意に設定できる。

【0131】

図１３は、家庭端末８の選択条件入力画面の例を示す概略図であり、（ａ）は電子アルバムに掲載する撮影画像の選択開始月を設定する画面８６０、（ｂ）は設定内容の確認画面８７０である。図１３（ａ）に示す開始月設定プルダウンメニュー８６１によって画像の選択を開始する月を設定する。開始月のプルダウンメニュー８６１から２０１９年４月を選択して、設定ボタン８６２を押下すると、図１３（ｂ）に示す選択期間の設定内容確認画面８７０が表示される。画像を取り出す期間が、１年間とあらかじめ設定されている場合、この確認画面８７０の開始月表示欄８７１には、入力された開始月である２０１９年４月が表示され、選択期間表示欄８７２には、選択する撮影画像の撮影期間である２０１９年４月～２０２０年３月が表示される。また、選択期間内の撮影画像数表示欄８７３には、画像選択サーバ２に保存されている２０１９年４月～２０２０年３月に撮影された画像数が表示される。この確認画面８７０を確認して、「次へ」ボタン８７４を押下すると、入力内容が確定する。

【0132】

所定の撮影期間が設定されると、その期間に撮影された画像が選択される。画像には、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）情報が自動的に付加され、この情報の中に撮影日時が含まれている。この撮影日時を参照して所定の撮影期間に撮影された画像が選択される。

【0133】

また、図２に示す画像選択部２９では、設定された所定の撮影期間を複数の分割期間に区分して、区分された複数の分割期間に撮影された撮影画像の画像数が、分割期間ごとに等しくなるように選択される。例えば、所定の撮影期間として４月から次の年の３月までの１年間が指定された場合、１年間を１か月ごとに１２個の分割期間に区分して、各月に含まれる画像数が等しくなるように選択される。こうすることにより、特定の月に撮影された画像が集中することなく、全ての月からバランスよく選択される。

【0134】

選択画像提供部３０は、画像選択部２９で選択された画像を家庭端末８や施設端末６に提供する。この選択画像提供部３０は、選択条件が入力された端末に画像を送信するようになっている。このため、家庭利用者が家庭端末８を用いて選択条件を入力すると、選択された撮影画像の構成データである撮影画像情報が家庭端末８に送信される。家庭端末８では、受信した撮影画像情報から画像を構成して表示する。また、施設利用者が施設端末６を用いて選択条件を入力すると、選択された撮影画像の撮影画像情報が施設端末６に送信され、その端末６に撮影画像が表示される。

【0135】

また、この選択画像提供部３０から提供される撮影画像は、電子アルバムのレイアウトを構成する情報とともに端末に送信されるため、その情報を受信する家庭端末８や施設端末６では、電子アルバムのレイアウトに選択された画像が配置された態様で表示される。このレイアウトとしては、例えば、１年間の各月ごとに画像をまとめて配置したり、泣き顔や笑顔などの表情ごとにまとめて配置したりするようにしてもよい。

【0136】

図１４（ａ）は、施設情報管理サーバ４の機能ブロック概略図である。この施設情報管理サーバ４は、施設５である保育園の情報を保存し管理する。このサーバ４は、図示しないＣＰＵ、補助記憶装置及びＲＡＭを含むように構成され各構成要素の動作を制御する制御部４０、保育園の情報を保存し管理する施設情報管理部４１、施設画像受付部４２、施設画像送信部４３、通信回線９を介して情報を送信する送信部４４、通信回線９を介して情報を受信する受信部４５を含むように構成されている。

【0137】

施設情報管理部４１は、施設端末６から送られてくる保育園の情報を保存し管理する。保育園の情報としては、例えば、園児の登園時刻・降園時刻データ、園児の健康管理データ、園児の指導計画データ、園児の日誌データ、保育士の勤務計画データ、保育士の勤怠データなどがある。

【0138】

施設画像受付部４２は、施設端末６から送られてくる撮影画像を受け付ける。この撮影画像としては、成長の記録としての画像やイベント時の画像などがある。

【0139】

施設画像送信部４３は、施設画像受付部４２で受け付けた撮影画像を、画像選択サーバ２に向けて送信する。この画像選択システム１では、撮影画像を一括して画像選択サーバ２に保存する仕組みになっているため、画像が画像選択サーバ２に送信される。この施設情報管理サーバ４の処理において、画像が必要な場合、画像選択サーバ２から必要とする画像を取得して使用する。もちろん、このようなシステム構成にせず、施設端末６から受け付けた画像を施設情報管理サーバ４内に保存するようにしてもよい。

【0140】

図１４（ｂ）は施設端末６の機能ブロック概略図であり、図１４（ｃ）は家庭端末８の機能ブロック概略図である。施設端末６や家庭端末８には、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレットなどの情報端末を用いることができる。施設端末６と家庭端末８は、同様の構成であるため、まとめて説明する。

【0141】

図１４（ｂ）と（ｃ）に示すように、施設端末６と家庭端末８は、それぞれ、図示しないＣＰＵ、補助記憶装置及びＲＡＭを含む制御部６０、８０と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置で構成される表示部６１、８１と、キーボードやタッチパネル等の入力装置で構成される入力部６２、８２と、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）エリアセンサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）エリアセンサ等の撮像素子を用いたカメラで構成される撮像部６３、８３と、前記撮像部６３、８３で撮影された画像を記憶する画像記憶部６４、８４と、通信回線９を介して画像を外部に送信する画像送信部６５、８５と、通信回線９を介して入力された選択条件を外部に送信する選択条件送信部６６、８６と、通信回線９を介して情報を送信する送信部６７、８７と、通信回線９を介して情報を受信する受信部６８、８８を含むように構成されている。

【0142】

この画像選択システム１では、施設端末６で撮影された画像や、デジタルカメラなどの撮影装置で撮影されその後その端末６に保存された画像などが、施設端末６から施設情報管理サーバ４に向けて送信される。上述のように施設情報管理サーバ４に送信された画像は、画像選択サーバ２に送られ保存される。一方、家庭端末８で撮影された画像や、他の撮影装置で撮影されその端末８に保存された画像などは、家庭端末８から画像選択サーバ２に向けて送信され保存される。

【0143】

なお、撮像部６３、８３を備えていない施設端末６や家庭端末８の構成もあり得るが、この構成の場合でも特に変わりはなく、他の撮影装置を用いて撮影された画像が施設端末６や家庭端末８の画像記憶部６４、８４にコピーされて記憶される。そして、画像記憶部６４、８４に記憶された画像が、画像送信部６５、８５から施設情報管理サーバ４、画像選択サーバ２に送信される。

【0144】

画像選択サーバ２に保存されている画像を用いて電子アルバム等を作製する場合、選択条件入力画面の要求信号が施設端末６や家庭端末８から送信され、この信号を受信した画像選択サーバ２からは入力画面情報が送られてくる。この入力画面情報を受信部６８、８８で受け付けると、制御部６０、８０の制御に基づいて、この入力画面情報から選択条件入力画面が構成され、構成された選択条件入力画面が表示部６１、８１に表示される。図３に示す選択条件入力画面８００は、家庭端末８に表示される入力画面８００であるが、施設端末６にもほぼ同様の選択条件入力画面が表示される。

【0145】

選択条件入力画面への入力操作は入力部６２、８２を介して行われる。この選択条件入力画面に入力された選択条件は、選択条件送信部６６、８６から画像選択サーバ２に向けて送信される。

【0146】

次に、本実施の形態に係る画像選択システム１の使用方法について説明する。

【0147】

図１５は、この画像選択システム１において、家庭端末８を用いて選択条件を設定する動作の流れの一例を示す概略図である。

【0148】

まず、家庭端末８と画像選択サーバ２との接続を確立するため、利用者ＩＤとパスワードを家庭端末８から画像選択サーバ２に向けて送信し、ログインを行う（Ｓ８００ステップ）。

【0149】

次に、家庭端末８は、画像選択サーバ２に向けて選択条件入力画面を要求する（Ｓ８０１ステップ）。この選択条件入力画面の要求信号を受け付ける（Ｓ２００ステップ）と、画像選択サーバ２は、選択条件入力画面を家庭端末８に提供する（Ｓ２０１ステップ）。具体的には選択条件入力画面を構成するデータである入力画面情報が家庭端末８に向けて送信され、この情報を受信した家庭端末８は、この入力画面情報から選択条件入力画面を構成して表示する（Ｓ８０２ステップ）。家庭端末８に提供される最初の選択条件入力画面では、電子アルバムのページ数、電子アルバム１ページあたりの画像数、選択する画像総数、選択する撮影画像の撮影期間などを選択条件として入力して設定できるようになっている。家庭利用者によって入力される電子アルバムのページ数などの選択条件は、画像選択サーバ２に送信される（Ｓ８０３ステップ、Ｓ８０４ステップ）。画像選択サーバ２がこの選択条件を受け付ける（Ｓ２０２ステップ）と、受信したこの選択条件を記憶する。

【0150】

次に、画像選択サーバ２から撮影画像一覧が家庭端末８に提供される（Ｓ２０３ステップ）。家庭利用者は、端末８に表示される撮影画像一覧の中からお気に入り画像を選択すること（Ｓ８０５ステップ）ができ、この情報が画像選択サーバ２に送信される。画像選択サーバ２では、このお気に入り画像選択情報を受け付ける（Ｓ２０４ステップ）と、選択された画像がお気に入り画像であることを登録する。

【0151】

続いて、画像選択サーバ２は、図３に示す選択条件入力画面８００を家庭端末８に提供する（Ｓ２０５ステップ）。

【0152】

家庭端末８は、受信した入力画面情報に基づいて選択条件入力画面８００を構成し表示する（Ｓ８０６ステップ）。家庭利用者が、この選択条件入力画面８００から顔画像表示枠８１１に表示される人物を特定する顔画像や基本表情表示枠８２１に表示される指定表情などの選択条件を入力し、決定ボタン８６０を押下すると、入力された選択条件が画像選択サーバ２に送信される（Ｓ８０７ステップ、Ｓ８０８ステップ）。

【0153】

この入力された選択条件を受け付ける（Ｓ２０６ステップ）と、画像選択サーバ２は、この選択条件を記憶するとともに、この選択条件に基づいて画像保存部２５に保存されている複数の撮影画像の中から１以上の画像を選択する（Ｓ２０７ステップ）。このようにして選択された１以上の画像は、家庭端末８に提供され（Ｓ２０８ステップ）、家庭端末８に選択画像プレビュー表示として画面表示される（Ｓ８０９ステップ）。

【0154】

この段階において家庭端末８に表示される画像は、確定前の画像であり、家庭利用者によって取捨選択され、電子アルバムに掲載される画像が修正される（Ｓ８１０ステップ）。この画像の修正情報が画像選択サーバ２に送信される（Ｓ８１１ステップ）と、これを受信した画像選択サーバ２では、その修正情報に基づいて画像の選択が修正され、電子アルバムに掲載される画像が確定する（Ｓ２０９ステップ、Ｓ２１０ステップ）。最後に、確定した画像が家庭端末８に向けて提供され（Ｓ２１１ステップ）、その画像が家庭端末８に表示される（Ｓ８１２ステップ）。

【0155】

図１６は、家庭端末８に表示される選択画像プレビュー画面から選択画像を修正する際の画面の遷移を示す概略図である。

【0156】

図１６（ａ）は、選択画像プレビュー画面９００であり、画像選択サーバ２において選択条件に基づいて選択された画像が表示される（Ｓ８０９ステップ）。この図の例では、２０２０年４月に撮影された画像が画像表示領域９０２に表示されている。画像の編集を行う場合には、この画面９００の「写真を修正する」ボタン９０４を押下する。

【0157】

そうすると、図１６（ｂ）に示す編集画面９１０が表示される。画像を削除する場合には、画像表示領域９０２から削除画像位置９１２の画像を選択し、削除ボタン９１４を押下する。続いて、図１６（ｃ）に示す写真の削除画面９２０が表示され、削除ボタン９１４を押下すると、削除画像位置９１２の画像の削除が確定する。

【0158】

その後は、図１６（ｄ）に示す編集画面９１０に戻る。

【0159】

次に、画像を追加する場合には、この編集画面９１０で追加画像位置９２２を選択して、追加ボタン９２４を押下する。そうすると、図１６（ｅ）に示す写真の選択画面９３０が表示される。この図の例では、２０２０年４月に撮影された画像一覧が写真一覧表示領域９３２に表示されている。この画像一覧の中から追加画像９３４を選択し、「選択した写真を追加」ボタン９３６を押下すると、図１６（ｆ）に示すように編集画面９１０の追加画像位置９２２に画像が追加される。最後にこの編集画面９１０の「編集を終了する」ボタン９４０を押下すると、選択画像の修正動作が終了する（Ｓ８１０ステップ）。

【0160】

次に、本実施の形態に係る画像選択システム１の効果について説明する。

【0161】

本実施の形態によれば、画像選択サーバ２に保存されている複数の撮影画像の中から１以上の画像を選択する選択条件として、人物を特定する顔画像、及び、表情を指定する指定表情が含まれている。画像選択サーバ２では、その顔画像により特定される人物（特定人物）が指定表情で写っている撮影画像が選択される。このように、きめ細かく選択条件を設定できる。また、この選択条件に基づいて選択された画像に、人物の表情が揃っているなどの統一感を持たせることができる。

【0162】

また、本実施の形態によれば、選択条件として表情設定画像８２３が入力され、その表情設定画像８２３に写っている人物の表情が検出される。そして、検出された表情（設定表情）の画像が選択される。このように、喜怒哀楽のような基本的な表情と異なる特徴的な表情についても選択条件として設定でき、その特徴的な表情の画像を抽出できる。

【0163】

また、本実施の形態によれば、複数人の顔画像により特定されるそれぞれの人物について、その人物が写っている画像の選択割合（人物選択割合）を選択条件として設定できる。このため、画像選択サーバ２により選択される撮影画像の中で、特定の人物が写っている画像の割合を自在に調整できる。

【0164】

また、本実施の形態によれば、施設利用者により撮影された画像と家庭利用者により撮影された画像との選択割合（施設家庭画像選択割合）を選択条件として設定できる。このため、選択される画像の中で、施設や家庭において撮影された画像の割合を自在に調整できる。

【0165】

また、本実施の形態によれば、顔画像により特定される人物（特定人物）とともに写っている付随物を選択条件として設定できる。このため、選択される画像に写っている人物と付随物の組み合わせを自由に選ぶことができる。

【0166】

また、本実施の形態によれば、画像選択サーバ２が、優先選択基準に基づいて、優先して選択するため、高品質な画像が選択される。

【0167】

また、本実施の形態によれば、画像の品質を示す画質スコア８８１が算出され、この画質スコア８８１が、所定の閾値未満の撮影画像は選択されない。このように低画質の撮影画像は選択されず除外することができる。

【0168】

また、本実施の形態によれば、機械学習により生成される学習済み画質スコア生成モデルによって画質スコア８８１が算出される。このため、様々な撮影画像に対して安定して適切な画質スコア８８１を求めることができる。

【0169】

また、本実施の形態によれば、画質スコア８８１に基づいて、撮影画像を優先して選択するため、高品質な撮影画像を確実に選択できる。

【0170】

また、本実施の形態によれば、所定の撮影期間に撮影された画像が選択される。このため、長期間に渡り撮影された画像の中から特定の期間に撮影された画像を容易に選択できる。

【0171】

また、本実施の形態によれば、所定の撮影期間を複数の分割期間に区分して、その複数の分割期間に撮影された撮影画像の画像数が、分割期間ごとに等しくなるように選択される。このため、画像がある時期に集中して選択されることがなくなり、所定の期間全体に渡り満遍なく分散して選択される。この結果、多様な画像を選択できる。
［その他の実施の形態］
なお、上述の画像選択システム１では、画像選択サーバ２などのサーバを用いたシステム構成を採用しているが、この画像選択システム１の機能を１台の装置に組み込みスタンドアローンの構成として実現するようにしてもよい。

【0172】

また、上述の画像選択システム１では、撮影画像を選択する際の画像処理の演算を画像選択サーバ２で行う構成としているが、画像処理用の別のサーバを追加して、このサーバで画像処理の演算を行うようにしてもよい。

【0173】

また、上述の画像選択システム１では、画像選択サーバ２に撮影画像が保存される構成となっているが、データベース用の別のサーバを追加して、このサーバに撮影画像を保存するようにしてもよい。

【0174】

また、上述の画像選択システム１は、本発明を実現するための一形態であり、本発明はこの形態に限定されない。各要素の構成に変更を加えて本発明を実現するようにしてもよい。

【符号の説明】

【0175】

１…画像選択システム、２…画像選択サーバ、４…施設情報管理サーバ、５…施設、６…施設端末、７…家庭、８…家庭端末、９…通信回線、２０…制御部、２４…画像受付部、２５…画像保存部、２６…条件入力画面提供部、２７…選択条件受付部、２８…表情検出部、２９…画像選択部、３０…選択画像提供部、８００…選択条件入力画面、８１０…人物の選択、８１１…顔画像表示枠、８２０…表情の選択、８２１…基本表情表示枠、８２２…表情設定画像表示枠、８２３…表情設定画像、８３０…人物の選択割合の設定、８３１…人物選択割合入力スライダ、８４０…園と家庭の写真の選択割合の設定、８４１…施設家庭選択割合入力スライダ、８５０…人物以外の被写体設定、８５１…付随物チェックボックス、８８０…優先度スコア、８８１…画質スコア、８８２…人物表情スコア、８８３…施設家庭スコア、８８４…お気に入りスコア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】