特許 7053422 画像処理装置，画像処理方法および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-04

(45)【発行日】2022-04-12

(54)【発明の名称】画像処理装置，画像処理方法および画像処理プログラム

(51)【国際特許分類】

   G06F 16/535 20190101AFI20220405BHJP

【ＦＩ】

G06F16/535

【請求項の数】 23

(21)【出願番号】P 2018174487

(22)【出願日】2018-09-19

(65)【公開番号】P2020046901

(43)【公開日】2020-03-26

【審査請求日】2020-09-03

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001830

【氏名又は名称】東京ＵＩＴ国際特許業務法人

(72)【発明者】

【氏名】野田 晋平

(72)【発明者】

【氏名】松本 徹也

(72)【発明者】

【氏名】臼杵 壮也

【審査官】早川 学

(56)【参考文献】

【文献】特開２０１７－０６８３３１（ＪＰ，Ａ）

【文献】特開２００６－２２９６８２（ＪＰ，Ａ）

【文献】特開２００６－２５２１９６（ＪＰ，Ａ）

【文献】特開２００７－０６０５６２（ＪＰ，Ａ）

【文献】特開２００９－０１７０７０（ＪＰ，Ａ）

【文献】特開２０１０－２６２５３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｔ １／００－１９／２０

Ｈ０４Ｎ １／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

１または複数の画像を選択する対象の画像群を入力する画像群入力手段，
第１の画像群の中から選択された１または複数の第１の画像と第２の画像群の中から選択された１または複数の第２の画像とに基づいて画像を選択する基準を作成する選択基準作成手段，ならびに
上記選択基準作成手段によって作成された上記基準にもとづいて，上記画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第１の情報を第１の報知手段に報知させる第１の報知制御手段を備え，
上記選択基準作成手段は，
上記第１の画像と上記第２の画像とから共通に得られるテーマをもつ画像を選択するように上記基準を作成するものであり，
上記共通に得られるテーマは，
上記第１の画像および上記第２の画像に共通して出現する被写体が，共通して示す，予め定められた様子または予め定められた変化の様子である，
画像処理装置。

【請求項2】

上記選択基準作成手段は，
上記複数の第１の画像のうちの一の画像と上記複数の第２の画像のうちの一の画像とから共通に得られるテーマであり，かつ上記複数の第１の画像のうちの他の画像と上記複数の第２の画像のうちの他の画像とから共通に得られるテーマ以外のテーマをもつ画像を選択するように上記基準を作成する，
請求項１に記載の画像処理装置。

【請求項3】

上記選択基準作成手段は，
上記複数の第１の画像の全体のテーマと上記複数の第２の画像の全体のテーマとから共通に得られるテーマをもつ画像を選択するように上記基準を作成する，
請求項１に記載の画像処理装置。

【請求項4】

上記選択基準作成手段は，
上記第１の画像と上記第２の画像との両方に類似する第１の類似度が第１のしきい値以上の画像を上記対象の画像群の中から選択するように上記基準を作成する，
請求項１から３のうち，いずれか一項に記載の画像処理装置。

【請求項5】

上記選択基準作成手段において作成された基準を表すデータを受信する受信手段をさらに備え，
上記第１の報知制御手段は，
上記受信手段において受信したデータによって表される基準にもとづいて上記第１の情報を上記第１の報知手段に報知させる，
請求項１から４のうち，いずれか一項に記載の画像処理装置。

【請求項6】

上記第１の報知制御手段における第１の情報の報知は，
上記対象の画像群の中から選択する画像として推奨する画像そのものを，上記対象の画像群のうち推奨する画像以外の画像と区別する表示である，
請求項１から５のうち，いずれか一項に記載の画像処理装置。

【請求項7】

上記第１の報知制御手段における第１の情報の報知は，
上記対象の画像群の中から選択する画像として推奨する画像にマークを付与して表示することである，
請求項６に記載の画像処理装置。

【請求項8】

上記第１の報知制御手段における上記第１の情報の報知は，
上記対象の画像群の中から選択する画像として推奨する画像における被写体の様子を文字列またはサンプル画像によって表示することである，
請求項１から７のうち，いずれか一項に記載の画像処理装置。

【請求項9】

上記第１の報知制御手段における上記第１の情報の報知は，
上記第１の画像または上記第２の画像のうち，上記対象の画像群の中から選択する画像との第２の類似度が第２のしきい値以上の画像を表示することである，
請求項１から８のうち，いずれか一項に記載の画像処理装置。

【請求項10】

上記第１の画像と上記第２の画像とから得られるテーマをもつ画像を撮影するように上記テーマについての第２の情報を報知する第２の報知制御手段，
をさらに備えた請求項１から９のうち，いずれか一項に記載の画像処理装置。

【請求項11】

上記第２の報知制御手段における第２の情報の報知は上記テーマの表示である，
請求項10に記載の画像処理装置。

【請求項12】

上記第２の報知制御手段における第２の情報の報知は上記テーマに沿ったサンプル画像の表示である，
請求項10または11に記載の画像処理装置。

【請求項13】

上記第２の報知制御手段における第２の情報の報知は，
上記第１の画像または上記第２の画像のうち，共通のテーマをもつ画像を表示することである，
請求項10から12のうち，いずれか一項に記載の画像処理装置。

【請求項14】

上記複数の第１の画像と上記複数の第２の画像とのうち，共通のテーマをもつ画像を，複数の上記第１の画像と複数の上記第２の画像とのそれぞれか１つずつ順に一定時間の間表示させるように表示装置を制御する表示制御手段，
をさらに備えた請求項１から13のうち，いずれか一項に記載の画像処理装置。

【請求項15】

上記第１の画像群の撮影時期と，上記第２の画像群の撮影時期と，上記対象の画像群の撮影時期とが異なっている，
請求項１から９のうち，いずれか一項に記載の画像処理装置。

【請求項16】

上記あらかじめ定められた様子または上記あらかじめ定められた変化の様子は，あらかじめ定められた行動を検出することにより得られる，
請求項１から15のうち，いずれか一項に記載の画像処理装置。

【請求項17】

上記あらかじめ定められた様子または上記あらかじめ定められた変化の様子であるか否かは，あらかじめ定められた正解画像を用いて学習された学習済みモデルを用いて判定する，
請求項１から16のうち，いずれか一項に記載の画像処理装置。

【請求項18】

１または複数の画像を選択する対象の画像群を入力する画像群入力手段，
第１の画像群の中から選択された１または複数の第１の画像と第２の画像群の中から選択された１または複数の第２の画像とにもとづいて，画像を選択する基準を作成する選択基準作成手段，および
上記画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第１の情報を報知手段に報知させる報知制御手段を備え，
上記報知制御手段における上記第１の情報の報知は，
上記第１の画像または上記第２の画像のうち，上記対象の画像群の中から選択する画像との第２の類似度が第２のしきい値以上の画像を表示することである，
画像処理装置。

【請求項19】

画像群入力手段が，１または複数の画像を選択する対象の画像群を入力し，
選択基準作成手段が，第１の画像群の中から選択された１または複数の第１の画像と第２の画像群の中から選択された１または複数の第２の画像とに基づいて画像を選択する基準を作成し，
報知制御手段が，上記選択基準作成手段によって作成された上記基準にもとづいて，上記画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第１の情報を報知手段に報知させる画像方法であって，
上記選択基準作成手段は，
上記第１の画像と上記第２の画像とから共通に得られるテーマをもつ画像を選択するように上記基準を作成するものであり，
上記共通に得られるテーマは，
上記第１の画像および上記第２の画像に共通して出現する被写体が，共通して示す，予め定められた様子または予め定められた変化の様子である，
画像処理方法。

【請求項20】

画像群入力手段が，１または複数の画像を選択する対象の画像群を入力し，
選択基準作成手段が，第１の画像群の中から選択された１または複数の第１の画像と第２の画像群の中から選択された１または複数の第２の画像とにもとづいて，画像を選択する基準を作成し，
報知制御手段が，上記画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第１の情報を報知手段に報知させる画像処理方法であって，
上記報知制御手段における上記第１の情報の報知は，
上記第１の画像または上記第２の画像のうち，上記対象の画像群の中から選択する画像との第２の類似度が第２のしきい値以上の画像を表示することである，
画像処理方法。

【請求項21】

画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
１または複数の画像を選択する対象の画像群を入力させ，
第１の画像群の中から選択された１または複数の第１の画像と第２の画像群の中から選択された１または複数の第２の画像とに基づいて画像を選択する基準を作成させ，
作成された上記基準にもとづいて，入力した対象の画像群の中から選択する画像として推奨する画像についての第１の情報を第１の報知手段に報知させ，
上記第１の画像と上記第２の画像とから共通に得られるテーマをもつ画像を選択するように上記基準を作成するものであり，
上記共通に得られるテーマは，
上記第１の画像および上記第２の画像に共通して出現する被写体が，共通して示す，予め定められた様子または予め定められた変化の様子であるように，画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。

【請求項22】

画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
１または複数の画像を選択する対象の画像群を入力させ，
第１の画像群の中から選択された１または複数の第１の画像と第２の画像群の中から選択された１または複数の第２の画像とにもとづいて，画像を選択する基準を作成させ，
上記入力した対象の画像群の中から選択する画像として推奨する画像についての第１の情報を報知手段に報知させ，
上記第１の情報の報知は，
上記第１の画像または上記第２の画像のうち，上記対象の画像群の中から選択する画像との第２の類似度が第２のしきい値以上の画像を表示することである，画像処理装置のコンピュータを制御するプログラム。

【請求項23】

請求項21または22に記載のプログラムを格納した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は，画像処理装置，画像処理方法および画像処理プログラムに関する。

【背景技術】

【0002】

ディジタル・カメラ，スマートフォンの普及に伴い，画像の撮影枚数が格段に増加している。撮影した画像を表す画像データをメモリ・カードやスマートフォンの本体に保存しただけでは，撮影した画像が埋もれてしまう。画像を見つけるために，再プリントを作成するデータ検索を行うもの（特許文献１），類似した画像を検索するもの（特許文献２），ユーザにとって重要度が高い画像を抽出するもの（特許文献３），人の感性に合わせた画像を推薦することが可能なもの（特許文献４）などが考えられている。また、月ごとに定額の料金を支払うことを予め約して、ユーザから一定枚数の写真データの指定を受けると、それらの写真プリントまたはそれらの写真を合成して構成されるフォトブックを提供するというサービスも提供されている（非特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開2003-288350号公報

【文献】特開2005-065728号公報

【文献】特開2017-010251号公報

【文献】特開2013-196417号公報

【文献】ｄフォトプリントサービス機能（https://photo-collection.nttdocomo.co.jp/dphoto/service/）

【発明の概要】

【発明が解決しようとする課題】

【0004】

非特許文献１のようなサービスを申し込んで、撮影した画像の中から一定枚数の画像を選択して定期的にプリントすることを考えた場合，どのような画像を多数の画像の中から選択すればユーザにとって好ましいかについて検討された技術はない特許文献１は，再プリントするものであるから，プリントしていない画像の中からどのような画像を選択すればよいかについては考えられていない。特許文献２は，診断対象に類似した画像を検索するものであり，定期的にどのような画像を見つければよいかについては全く考えられていない。特許文献３は，重要度が高い画像を抽出するものであり，定期的にどのような画像を選択すればよいかについては考慮していない。特許文献４は，選択する人の感性に合わせた画像を推薦するものであり，やはり，定期的にどのような画像を選択すればよいかについては考慮していない。

【0005】

この発明は，定期的に画像を選択するに当たり、多数の画像の中からユーザにとって好ましい画像を選択できるようにすることを目的とする。

【課題を解決するための手段】

【0006】

本発明者は、多数の画像から定期的に画像を選択する際に、各期間において選択した画像群に共通性があると、ユーザにとって好ましいことを見出し、本発明に到達した。この発明による画像処理装置は，１または複数の画像を選択する対象の画像群を入力する画像群入力手段，および第１の画像群の中から選択された１または複数の第１の画像と第２の画像群の中から選択された１または複数の第２の画像とから選択基準作成手段によって作成される，画像を選択する基準にもとづいて，画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第１の情報を第１の報知手段に報知させる第１の報知制御手段を備えていることを特徴とする。選択基準作成手段は，画像処理装置が備えていてもよいし，画像処理装置とは別の装置が備えていてもよい。たとえば，スマートフォン（クライアント・コンピュータ）と画像サーバとが通信しながら処理を行う場合，スマートフォン（クライアント・コンピュータ）が選択基準作成手段を備えていてもよいし，画像サーバが選択基準作成手段を備えていてもよい。

【0007】

この発明は，画像処理装置に適した画像処理方法も提供している。すなわち，この方法は，画像群入力手段が，１または複数の画像を選択する対象の画像群を入力し，第１の報知制御手段が，第１の画像群の中から選択された１または複数の第１の画像と第２の画像群の中から選択された１または複数の第２の画像とから選択基準作成手段によって作成される，画像を選択する基準にもとづいて，画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第１の情報を第１の報知手段に報知させることを特徴とする。

【0008】

この発明は，画像処理装置のコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。

【0009】

また，画像処理装置がプロセッサを備え，プロセッサが，１または複数の画像を選択する対象の画像群を入力させ，第１の画像群の中から選択された１または複数の第１の画像と第２の画像群の中から選択された１または複数の第２の画像とから選択基準作成手段によって作成される，画像を選択する基準にもとづいて，入力した対象の画像群の中から選択する画像として推奨する画像についての第１の情報を第１の報知手段に報知させるようしてもよい。

【0010】

選択基準作成手段は，たとえば，第１の画像と第２の画像とから共通に得られるテーマをもつ画像を選択するように基準を作成してもよい。

【0011】

選択基準作成手段は，たとえば，複数の第１の画像のうちの一の画像と複数の第２の画像のうちの一の画像とから共通に得られるテーマであり，かつ複数の第１の画像のうちの他の画像と複数の第２の画像のうちの他の画像とから共通に得られるテーマ以外のテーマをもつ画像を選択するように基準を作成してもよい。

【0012】

選択基準作成手段は，たとえば，複数の第１の画像の全体のテーマと複数の第２の画像の全体のテーマとから共通に得られるテーマをもつ画像を選択するように基準を作成してもよい。

【0013】

選択基準作成手段は，たとえば，第１の画像と第２の画像との両方に類似する第１の類似度が第１のしきい値以上の画像を対象の画像群の中から選択するように基準を作成してもよい。

【0014】

選択基準作成手段は，たとえば，第１の画像に含まれる被写体と第２の画像に含まれる被写体との共通の被写体が変化する様子を示す画像を選択するように基準を作成してもよい。

【0015】

選択基準作成手段をさらに備えていてもよい。

【0016】

選択基準作成手段において作成された基準を表すデータを受信する受信手段をさらに備えてもよい。この場合，たとえば，第１の報知制御手段は，受信手段において受信したデータによって表される基準にもとづいて第１の情報を第１の報知手段に報知させるとよい。

【0017】

第１の報知制御手段における第１の情報の報知は，たとえば，対象の画像群の中から選択する画像として推奨する画像そのものを，対象の画像群のうち推奨する画像以外の画像と区別する表示である。

【0018】

第１の報知制御手段における第１の情報の報知は，たとえば，対象の画像群の中から選択する画像として推奨する画像にマークを付与して表示することである。

【0019】

第１の報知制御手段における第１の情報の報知は，たとえば，対象の画像群の中から選択する画像として推奨する画像における被写体の様子を文字列またはサンプル画像によって表示することである。

【0020】

第１の報知制御手段における第１の情報の報知は，たとえば，第１の画像または第２の画像のうち，対象の画像群の中から選択する画像との第２の類似度が第２のしきい値以上の画像を表示することである。

【0021】

第１の画像と第２の画像とから得られるテーマをもつ画像を撮影するようにテーマについての第２の情報を報知する第２の報知制御手段をさらに備えてもよい。

【0022】

第２の報知制御手段における第２の情報の報知は，たとえば，テーマの表示である。

【0023】

第２の報知制御手段における第２の情報の報知は，たとえば，テーマに沿ったサンプル画像の表示である。

【0024】

第２の報知制御手段における第２の情報の報知は，たとえば，第１の画像または第２の画像のうち，共通のテーマをもつ画像を表示することである。

【0025】

複数の第１の画像と複数の第２の画像とのうち，共通のテーマをもつ画像を，複数の第１の画像と複数の第２の画像とのそれぞれか１つずつ順に一定時間の間表示させるように表示装置を制御する表示制御手段をさらに備えてもよい。

【0026】

第１の画像群の撮影時期と，第２の画像群の撮影時期と，対象の画像群の撮影時期とが異なっていてもよい。

【発明の効果】

【0027】

この発明によると，選択された第１の画像と第２の画像とから作成される基準にもとづいて，対象の画像群の中から選択する画像として推奨する画像についての第１の情報が報知される。したがって，その第１の情報にもとづいて，選択された第１の画像と第２の画像とに共通性を有するような画像を，対象の画像群から選択できる。結果として、多数の画像から定期的に画像を選択する際に、ユーザにとって好ましい画像を選択することが可能となる。

【図面の簡単な説明】

【0028】

【図1】スマートフォンの外観を示している。

【図2】スマートフォンの電気的構成を示すブロック図である。

【図3】スマートフォンの処理手順を示すフローチャートである。

【図4】スマートフォンの処理手順を示すフローチャートである。

【図5】スマートフォンの表示パネルに表示される画面の一例である。

【図6】スマートフォンの表示パネルに表示される画面の一例である。

【図7】スマートフォンの表示パネルに表示される画面の一例である。

【図8】推奨画像の決定処理手順を示すフローチャートである。

【図9】第１の画像群の一例である。

【図10】スマートフォンの表示パネルに表示される画面の一例である。

【図11】第２の画像群の一例である。

【図12】スマートフォンの表示パネルに表示される画面の一例である。

【図13】対象画像群の一例である。

【図14】スマートフォンの表示パネルに表示される画面の一例である。

【図15】スマートフォンの表示パネルに表示される画面の一例である。

【図16】スマートフォンの表示パネルに表示される画面の一例である。

【図17】スマートフォンの表示パネルに表示される画面の一例である。

【図18】スマートフォンの表示パネルに表示される画面の一例である。

【図19】スマートフォンの表示パネルに表示される画面の一例である。

【図20】スマートフォンの表示パネルに表示される画面の一例である。

【図21】撮影アシスト処理手順を示すフローチャートである。

【図22】スマートフォンの表示パネルに表示される画面の一例である。

【図23】ショート・ムービの再生処理手順を示すフローチャートである。

【図24】スマートフォンの表示パネルに表示される画面の一例である。

【図25】ショート・ムービの再生内容を示している。

【図26】スマートフォンと画像サーバとの関係を示している。

【図27】スマートフォンと画像サーバとの処理手順を示すフローチャートである。

【発明を実施するための形態】

【0029】

［主実施例］
図１は，本発明の画像処理装置の一実施形態であるスマートフォン１の外観を示すものである。図１に示すスマートフォン１は，平板状の筐体２を有し，筐体２の一方の面に表示部としての表示パネル２１と，入力部としての操作パネル２２とが一体となった表示入力部２０を備えている。また，係る筐体２は，マイクロホン３２と，スピーカ３１，操作部４０と，カメラ部４１とを備えている。なお，筐体２の構成はこれに限定されず，例えば，表示部と入力部とが独立した構成を採用したり，折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

【0030】

図２は，図１に示すスマートフォン１の構成を示すブロック図である。図２に示すように，スマートフォンの主たる構成要素として，無線通信部１０と，表示入力部２０と，通話部３０と，操作部４０と，カメラ部４１と，記憶部５０と，外部入出力部６０と，ＧＰＳ(Global Positioning System)受信部７０と，モーションセンサ部８０と，電源部９０と，主制御部１００とを備える。また，スマートフォン１の主たる機能として，基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

【0031】

無線通信部１０は，主制御部１００の指示にしたがって，移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して，音声データ，画像データ等の各種ファイルデータ，電子メールデータなどの送受信や，Ｗｅｂデータやストリーミングデータなどの受信を行う。

【0032】

表示入力部２０は，主制御部１００の制御により，画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに，表示した情報に対するユーザ操作を検出する，いわゆるタッチパネルであって，表示パネル２１と，操作パネル２２とを備える。

【0033】

表示パネル２１は，LCD(Liquid Crystal Display)，OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル２２は，表示パネル２１の表示面上に表示される画像を視認可能に載置され，ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると，操作に起因して発生する検出信号を主制御部１００に出力する。次いで，主制御部１００は，受信した検出信号に基づいて，表示パネル２１上の操作位置（座標）を検出する。

【0034】

図１に示すように，本発明の画像処理装置の一実施形態として例示しているスマートフォン１の表示パネル２１と操作パネル２２とは一体となって表示入力部２０を構成しているが，操作パネル２２が表示パネル２１を完全に覆うような配置となっている。係る配置を採用した場合，操作パネル２２は，表示パネル２１外の領域についても，ユーザ操作を検出する機能を備えてもよい。換言すると，操作パネル２２は，表示パネル２１に重なる重畳部分についての検出領域（以下，表示領域と称する）と，それ以外の表示パネル２１に重ならない外縁部分についての検出領域（以下，非表示領域と称する）とを備えていてもよい。

【0035】

なお，表示領域の大きさと表示パネル２１の大きさとを完全に一致させても良いが，両者を必ずしも一致させる必要は無い。また，操作パネル２２が，外縁部分と，それ以外の内側部分の２つの感応領域を備えていてもよい。更に，外縁部分の幅は，筐体２の大きさなどに応じて適宜設計されるものである。更にまた，操作パネル２２で採用される位置検出方式としては，マトリクススイッチ方式，抵抗膜方式，表面弾性波方式，赤外線方式，電磁誘導方式，静電容量方式などが挙げられ，いずれの方式を採用することもできる。

【0036】

通話部３０は，スピーカ３１やマイクロホン３２を備え，マイクロホン３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり，無線通信部１０あるいは外部入出力部６０により受信された音声データを復号してスピーカ３１から出力したりするものである。また，図１に示すように，例えば，スピーカ３１を表示入力部２０が設けられた面と同じ面に搭載し，マイクロホン３２を筐体２の側面に搭載することができる。

【0037】

操作部４０は，キースイッチなどを用いたハードウェアキーであって，ユーザからの指示を受け付けるものである。例えば，図１に示すように，操作部４０は，スマートフォン１の筐体２の側面に搭載され，指などで押下されるとオンとなり，指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

【0038】

記憶部５０は，主制御部１００の制御プログラムや制御データ，アプリケーションソフトウェア，通信相手の名称や電話番号などを対応づけたアドレスデータ，送受信した電子メールのデータ，ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや，ダウンロードしたコンテンツデータを記憶し，またストリーミングデータなどを一時的に記憶するものである。また，記憶部５０は，スマートフォン内蔵の内部記憶部５１と着脱自在な外部メモリスロットを有する外部記憶部５２により構成される。なお，記憶部５０を構成するそれぞれの内部記憶部５１と外部記憶部５２は，フラッシュメモリタイプ（flash memory type），ハードディスクタイプ（hard disk type），マルチメディアカードマイクロタイプ（multimedia card micro type），カードタイプのメモリ（例えば，ＭｉｃｒｏＳＤ（登録商標）メモリ等），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

【0039】

外部入出力部６０は，スマートフォン１に連結される全ての外部機器とのインターフェースの役割を果たすものであり，他の外部機器に通信等（例えば，ユニバーサルシリアルバス（ＵＳＢ），IEEE１３９４など）又はネットワーク（例えば，インターネット，無線ＬＡＮ，ブルートゥース（Bluetooth）（登録商標），ＲＦＩＤ（Radio Frequency Identification），赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標），ＵＷＢ（Ultra Wideband）（登録商標），ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

【0040】

スマートフォン１に連結される外部機器としては，例えば，有／無線ヘッドセット，有／無線外部充電器，有／無線データポート，カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード，オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器，無線接続される外部オーディオ・ビデオ機器，有／無線接続されるスマートフォン，有／無線接続されるパーソナル・コンピュータ，有／無線接続されるPDA，有／無線接続されるパーソナル・コンピュータ，イヤホンなどがある。外部入出力部は，このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや，スマートフォン１の内部のデータが外部機器に伝送されるようにすることができる。

【0041】

ＧＰＳ受信部７０は，主制御部１００の指示にしたがって，GPS衛星ＳＴ１～ＳＴｎから送信されるGPS信号を受信し，受信した複数のGPS信号に基づく測位演算処理を実行し，当該スマートフォン１の緯度，経度，高度からなる位置を検出する。ＧＰＳ受信部７０は，無線通信部１０や外部入出力部６０（例えば，無線ＬＡＮ）から位置情報を取得できる時には，その位置情報を用いて位置を検出することもできる。

【0042】

モーションセンサ部８０は，例えば，３軸の加速度センサなどを備え，主制御部１００の指示にしたがって，スマートフォン１の物理的な動きを検出する。スマートフォン１の物理的な動きを検出することにより，スマートフォン１の動く方向や加速度が検出される。係る検出結果は，主制御部１００に出力されるものである。
電源部９０は，主制御部１００の指示にしたがって，スマートフォン１の各部に，バッテリ（図示しない）に蓄えられる電力を供給するものである。

【0043】

主制御部１００は，マイクロプロセッサを備え，記憶部５０が記憶する制御プログラムや制御データにしたがって動作し，スマートフォン１の各部を統括して制御するものである。また，主制御部１００は，無線通信部１０を通じて，音声通信やデータ通信を行うために，通信系の各部を制御する移動通信制御機能と，アプリケーション処理機能を備える。

【0044】

アプリケーション処理機能は，記憶部５０が記憶するアプリケーションソフトウェアにしたがって主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては，例えば，外部入出力部６０を制御して対向機器とデータ通信を行う赤外線通信機能や，電子メールの送受信を行う電子メール機能，Webページを閲覧するWebブラウジング機能などがある。

【0045】

また，主制御部１００は，受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて，映像を表示入力部２０に表示する等の画像処理機能を備える。画像処理機能とは，主制御部１００が，上記画像データを復号し，係る復号結果に画像処理を施して，画像を表示入力部２０に表示する機能のことをいう。

【0046】

更に，主制御部１００は，表示パネル２１に対する表示制御と，操作部４０，操作パネル２２を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により，主制御部１００は，アプリケーションソフトウェアを起動するためのアイコンや，スクロールバーなどのソフトウェアキーを表示したり，あるいは電子メールを作成するためのウィンドウを表示したりする。なお，スクロールバーとは，表示パネル２１の表示領域に収まりきれない大きな画像などについて，画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

【0047】

また，操作検出制御の実行により，主制御部１００は，操作部４０を通じたユーザ操作を検出したり，操作パネル２２を通じて，上記アイコンに対する操作や，上記ウィンドウの入力欄に対する文字列の入力を受け付けたり，あるいは，スクロールバーを通じた表示画像のスクロール要求を受け付ける。

【0048】

更に，操作検出制御の実行により主制御部１００は，操作パネル２２に対する操作位置が，表示パネル２１に重なる重畳部分（表示領域）か，それ以外の表示パネル２１に重ならない外縁部分（非表示領域）かを判定し，操作パネル２２の感応領域や，ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

【0049】

また，主制御部１００は，操作パネル２２に対するジェスチャ操作を検出し，検出したジェスチャ操作に応じて，予め設定された機能を実行することもできる。ジェスチャ操作とは，従来の単純なタッチ操作ではなく，指などによって軌跡を描いたり，複数の位置を同時に指定したり，あるいはこれらを組み合わせて，複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

【0050】

カメラ部４１は，CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するディジタル・カメラである。また，カメラ部４１は，主制御部１００の制御により，撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し，記憶部５０に記録したり，入出力部６０や無線通信部１０を通じて出力したりすることができる。図１に示すにスマートフォン１において，カメラ部４１は表示入力部２０と同じ面に搭載されているが，カメラ部４１の搭載位置はこれに限らず，表示入力部２０の背面に搭載されてもよいし，あるいは，複数のカメラ部４１が搭載されてもよい。なお，複数のカメラ部４１が搭載されている場合には，撮影に供するカメラ部４１を切り替えて単独にて撮影したり，あるいは，複数のカメラ部４１を同時に使用して撮影したりすることもできる。

【0051】

また，カメラ部４１はスマートフォン１の各種機能に利用することができる。例えば，表示パネル２１にカメラ部４１で取得した画像を表示することや，操作パネル２２の操作入力のひとつとして，カメラ部４１の画像を利用することができる。また，ＧＰＳ受信部７０が位置を検出する際に，カメラ部４１からの画像を参照して位置を検出することもできる。更には，カメラ部４１からの画像を参照して，３軸の加速度センサを用いずに，或いは，３軸の加速度センサと併用して，スマートフォン１のカメラ部４１の光軸方向を判断することや，現在の使用環境を判断することもできる。勿論，カメラ部４１からの画像をアプリケーションソフトウェア内で利用することもできる。

【0052】

その他，静止画又は動画の画像データにＧＰＳ受信部７０により取得した位置情報，マイクロホン３２により取得した音声情報（主制御部等により，音声テキスト変換を行ってテキスト情報となっていてもよい），モーションセンサ部８０により取得した姿勢情報等などを付加して記憶部５０に記録したり，入出力部６０や無線通信部１０を通じて出力したりすることもできる。

【0053】

図３および図４は，スマートフォン１の処理手順を示すフローチャートである。

【0054】

インターネットなどを介して得られたプログラムが，スマートフォン１にあらかじめスンストールされており，そのプログラムが起動させられることにより，図３および図４に示す処理が開始する。また外部記憶部52などの記録媒体にプログラムが記憶されており，外部記憶部52から読み出されたプログラムがスマートフォン１にインストールされてもよい。このプログラムは，ある月に撮影された画像の中から，プリントする画像を選択する処理を行うもので，特に，ある月に撮影された画像の中からプリントする画像として推奨する画像をユーザに報知する処理が行なわれる。

【0055】

プログラムが起動するとスマートフォン１の表示パネル21には，図５に示すホーム画面が表示される（ステップ101）。

【0056】

ホーム画面のほぼ全体に渡って11個の画像表示領域129が形成されている（画像表示領域129は11個未満でも12個以上でもよい）。ホーム画面のほぼ左上には，撮影月表示領域128が表示されている。撮影月表示領域128には，「６月」の文字列と「2018年」の文字列とが表示されている。プログラム起動後のホーム画面の撮影月表示領域128には，プログラムの起動時に対応する年月が表示される。図５に示すホーム画面においては，2018年６月にプログラムが起動させられたこととなる。

【0057】

ホーム画面の上部には，撮影年月指定領域121が形成されている。撮影年月指定領域121には，撮影年表示領域122およびプルダウン・ボタン123が形成されている。プルダウン・ボタン123をプルダウンすることにより，プルダウン・メニューが現われ，ユーザは，所望の撮影年を選択できる。撮影年表示領域122の右側には，撮影月指定領域124，125および126が形成されている。撮影年月指定領域121を左右にスクロールすることにより，これらの撮影月指定領域124，125および126に表示される月が切り替わる。図５に示すホーム画面においては撮影月指定領域124，125および126には，それぞれ「５月」，「６月」および「７月」が表示されており，中央の撮影月指定領域125に表示されている「６月」の文字列が囲まれている。「６月」が囲まれていることから，画像表示領域129に表示される画像が撮影された月として「６月」が選択されていることを示している。撮影月指定領域125の右側には検索ボタン127が形成されている。画像表示領域129の左下には画像追加領域130が形成されている。画像追加領域130がタッチされることにより，ホーム画面に表示される画像表示領域129の数が一つ増える。

【0058】

ホーム画面の下部には「注文」の文字列が表示されている注文ボタン131が表示されている。画像のプリントを注文する場合に注文ボタン131がタッチされる。また，ホーム画面の最下部には，「ホーム」の文字列が表示されているホーム・ボタン132，「物販」の文字列が表示されている物販ボタン133および「メニュー」の文字列が表示されているメニュー・ボタン134が形成されている。

【0059】

画像が選択されていない状態では，画像表示領域129には画像が表示されていない。画像が表示されていない状態において，11個の画像表示領域129のうち，いずれかの画像表示領域129がタッチされると（ステップ102でＹＥＳ），表示パネル21には，図６に示す画像フォルダ画面が表示される。

【0060】

図６は，表示パネル21に表示される画像フォルダ画面の一例である。

【0061】

画像フォルダ画面には，画像フォルダ・アイコン141から146が表示されており，それらの画像フォルダ・アイコン141から146のそれぞれの右側にはフォルダ名が表示されている。画像フォルダ・アイコン141は，ある月（図６に示す例では2018年６月）に撮影された画像のすべての画像を格納する画像フォルダを表している。その他の画像フォルダ・アイコン142から146は，その月に撮影された画像のうち，ユーザによって生成された画像フォルダのアイコンを表している。表示パネル21に表示されている画像フォルダ・アイコン141から146以外の画像フォルダ・アイコンがある場合には，表示パネル21の表面をスクロールすることにより，表示パネル21に表示されていない画像フォルダ・アイコンが表示パネル21に表示される。この実施例においては，画像フォルダ・アイコン141から146のみが生成されているものとする。画像フォルダ・アイコン141から146のうち，いずれかの画像フォルダ・アイコンがタッチされると（ステップ104でＹＥＳ），表示パネル21には画像選択画面が表示され（ステップ105），タッチされた画像フォルダ・アイコンによって特定される画像フォルダに格納されている画像が表示パネル21に表示される。

【0062】

図７は，タッチされた画像フォルダ・アイコンによって特定される画像フォルダに格納されている画像を一覧表示する画像選択画面の一例である。

【0063】

画像選択画面には，多数の画像表示領域151が表示されており，これらの画像表示領域151に画像が表示されている。表示パネル21に表示されていない画像がある場合には，表示パネル21の画面上をスクロールすることにより，表示パネル21に表示されていない画像が表示パネル21に表示される。

【0064】

画像選択画面の下部は，「推奨画像」の文字列が表示されている推奨画像ボタン152，「画像解析」の文字列が表示されている画像解析ボタン153および「確定」の文字列が表示されている確定ボタン154が形成されている。推奨画像ボタン152は，以前に選択された画像の傾向にもとづいて，ユーザが選択する画像として推奨する画像についての情報（第１の情報の一例である）を報知する場合にタッチされる。画像解析ボタン153は，画像を解析して写りがいいと判断されるような画像をユーザに報知する場合にタッチされる。確定ボタン154はプリントする画像を確定する場合にタッチされる。

【0065】

推奨画像ボタン152がタッチされると（ステップ106でＹＥＳ），推奨画像の決定処理が行なわれる（ステップ107）。

【0066】

図８は，推奨画像決定処理手順を示すフローチャートである。

【0067】

この実施例では，2018年４月に撮影された画像の集まりである画像群（第１の画像群の一例であり，内部記憶部51に記憶されている）の中からプリントする画像として選択された１または複数の画像（１または複数の第１の画像の一例であり，どの画像が選択されたかも内部記憶部51に記憶されている）と，2018年５月に撮影された画像の集まりである画像群（第２の画像群の一例であり，内部記憶部51に記憶されている）の中からプリントする画像として選択された１または複数の画像（１または複数の第２の画像の一例であり，どの画像が選択されたかも内部記憶部51に記憶されている）と，から2018年６月にカメラ部41（画像入力手段の一例である）によって撮影された画像の集まりである画像群（対象画像群の一例であり，内部記憶部51に記憶されている）の中からプリントする画像として推奨される画像が決定される。2018年４月に撮影された画像と2018年５月に撮影された画像との２か月に撮影された画像とにもとづいて2018年６月に撮影された画像の中から推奨画像を決定するが，2018年４月と2018年５月との２か月に撮影された画像だけでなく，2018年３月以前の１または複数月に選択された画像の中から2018年６月に撮影された画像の中から推奨画像を決定してもよい。複数の月に撮影されたそれぞれの画像群の中からプリントする画像として選択された画像にもとづいて，ある特定の月に撮影された画像の中からプリントする画像の推奨画像が決定されればよい。また，画像の集まりとされる画像群は，必ずしも月単位でなくともよく，複数の画像の集まりと捉えられればよい。好ましくは，第１の画像群（に含まれる画像）の撮影時期と，第２の画像群（に含まれる画像）の撮影時期と，対象の画像群の撮影時期とは異なるが，異ならなくともよい。

【0068】

2018年４月に撮影された画像の集まりである第１の画像群の中から選択された第１の画像と2018年５月に撮影された画像の集まりである第２の画像群の中から選択された第２の画像とのそれぞれが，スマートフォン１の主制御部100によって解析される（ステップ191）。

【0069】

図９は，2018年４月に撮影された画像の集まりである第１の画像群160と，第１の画像群160の中から選択された第１の画像161とを示している。

【0070】

第１の画像群160には，画像Ｉ１から画像Ｉ100が含まれており，2018年４月に100枚の画像が撮影されたこととなる。それらの画像Ｉ１から画像Ｉ100の中から第１の画像161として画像Ｉ１から画像Ｉ11の11枚の画像が選択されたものとする。

【0071】

図10は，2018年４月に撮影された画像の中からプリントする画像を選択したときの表示パネル21を示している。

【0072】

表示パネル21に形成されている11個の画像表示領域129には，第１の画像群160の中から選択された第１の画像161に含まれる画像Ｉ１からＩ11が表示されている。わかりやすくするために画像表示領域129にＩ１からＩ11の文字列が表示されているが，これらのＩ１からＩ11の文字列は必ずしも表示されなくともよい。

【0073】

図11は，2018年５月に撮影された画像の集まりである第２の画像群170と，第２の画像群170の中から選択された第２の画像171とを示している。

【0074】

第２の画像群170には，画像Ｉ101から画像Ｉ200が含まれており，2018年５月に100枚の画像が撮影されたこととなる。それらの画像Ｉ101から画像Ｉ200の中から第２の画像171として画像Ｉ101から画像Ｉ111の11枚の画像が選択されたものとする。

【0075】

図12は，2018年５月に撮影された画像の中からプリントする画像を選択したときの表示パネル21を示している。

【0076】

表示パネル21に形成されている11個の画像表示領域129には，第２の画像群170の中から選択された第２の画像171に含まれる画像Ｉ101からＩ111が表示されている。わかりやすくするために画像表示領域129にＩ101からＩ111の文字列が表示されているが，これらのＩ101からＩ111の文字列は必ずしも表示されなくともよい。

【0077】

つづいて，画像を選択する基準が主制御部100（選択基準作成手段の一例である）によって作成される（ステップ192）。基準には様々なものがあるが，たとえば，対象画像群180に含まれる画像のうち，第１の画像161または第２の画像171との類似度がしきい値（第１のしきい値の一例である）以上の画像を推奨画像として決定するように基準を作成するものである。第１の画像161および第２の画像171のいずれの画像とも類似度がしきい値（第１のしきい値の一例である）以上の画像を推奨画像として決定するように基準を作成してもよい。

【0078】

図13は，2018年６月に撮影された画像の一例である。

【0079】

2018年６月には100枚の画像Ｉ201からＩ300の100枚の画像が撮影されており，画像群（対象画像群の一例である）を構成しているものとする。これらの画像Ｉ201からＩ300のうち，第１の画像161または第２の画像171との類似度がしきい値（第１のしきい値の一例である）以上の画像が画像Ｉ201からＩ211の11枚とすると，これらの画像Ｉ201からＩ211が推奨する画像181として決定される（ステップ193）。推奨する画像は11枚より多くても少なくともよい。

【0080】

推奨する画像が決定すると，図14に示すように表示パネル21の画像表示領域151には決定した推奨する画像（第１の情報の一例である）が主制御部100（第１の報知制御手段の一例である）の制御により表示される。推奨する画像以外の画像と区別されて表示されることとなる。表示パネル21の上部には「下の写真と似た画像が選ばれています」の文字列が表示され，以前に選択した画像に類似した画像が画像表示領域に表示されていることが，ユーザが分かる。

【0081】

このようにして，推奨画像についての情報が表示パネル21に表示される（図４ステップ108）。ユーザは，推奨画像についての情報が得られるので，その情報を参考にして，注文する画像を決定できる。

【0082】

推奨画像ボタン152がタッチされずに（図４ステップ106でＮＯ），画像解析ボタン153がタッチされると（図４ステップ109でＹＥＳ），対象画像群180（この場合2018年６月に撮影された100枚の画像Ｉ201からＩ300）の解析が主制御部100によって行われる（図４ステップ110）。この解析により，対象画像群180に含まれる画像Ｉ201からＩ300の中から良好な画像が見つけられて，図15に示すように表示パネル21に表示される（図４ステップ111）。良好な画像とは客観的に画像の評価の高い画像であり，ピントが合っている画像，主要被写体が中央に位置している画像，主要被写体の大きさが相対的に適切と考えられる画像，構図が比較的正しい画像，明るさが適切な画像などが良好な画像と判断される。これらの画像の評価は画像解析の結果にもとづいて算出される。

【0083】

図15を参照して，表示パネル21の画像表示領域151には，良好な画像と判断された画像が評価の高い順に表示されている。表示パネル21をスクロールすることにより表示パネル21に表示されていない画像が表示パネル21に表示される。画像表示領域151に表示されているそれぞれの画像の下部には星印のマーク（星印でなくともよい）240から242が表示されている。星印の数が多いほど画像の評価が高い。ユーザは，星印のマーク240から242などを参考にして，プリントする画像を選択できる。単に画像解析の結果が良好な画像に星印のマーク240から242などをつけるのではなく，第１の画像161と第２の画像171とから作成される基準にもとづいても推奨する画像に星印などのマーク（第１の情報の一例である）をつけてもよい。

【0084】

画像表示領域151に表示されている画像のうち，いずれかの画像がタッチされると（図４ステップ112でＹＥＳ），タッチされた画像が他の画像と比べて暗くるように表示される（図４ステップ113）。

【0085】

11枚分の画像がタッチされて，確定ボタン154がタッチされると（図４ステップ114でＹＥＳ），表示パネル21には図16に示すホーム画面が表示される（図４ステップ115）。表示パネル21の画像表示領域129には，ユーザによってタッチされた画像が表示される。

【0086】

ホーム画面の注文ボタン131がタッチされると（図３ステップ116でＹＥＳ），画像表示領域129に表示されている11枚の画像のそれぞれの画像を表す画像データがスマートフォン１から画像サーバ280（図26参照）に送信される。画像サーバ280において画像がプリントされ，プリントがユーザに送付される。

【0087】

注文ボタン131がタッチされずに他の領域がタッチされると（図３ステップ117でＹＥＳ），そのタッチされた領域に対応する処理が行なわれる。

【0088】

以前に選択された画像と共通性を有する画像が推奨画像としてユーザに報知されるので，推奨画像の中からプリントする画像を選択することにより，以前に選択された画像と共通性をもつ画像のプリントが得られる。

【0089】

上述した実施例では，第１の画像群160から選択された第１の画像161または第２の画像群170から選択された第２の画像171に類似する画像を，画像を選択する基準（図８ステップ192）としていたが，第１の画像161と第２の画像171とから共通に得られるテーマ（主要被写体から把握されるテーマ）をもつ画像を選択するように基準を作成してもよい。

【0090】

たとえば，図10に示すように2018年４月に撮影された画像の中から子供と父親とが一緒に写っている画像Ｉ８が選択され，かつ図12に示すように2018年５月に撮影された画像の中からも子供と父親とが一緒に写っている画像Ｉ110が選択されていることが画像解析から分かると，「子供と父親とが一緒に写っている画像」というテーマをもつ画像を選択する基準が作成される。このように，第１の画像161のうちの一の画像Ｉ８と第２の画像171のうちの一の画像Ｉ110とから得られる共通のテーマは，たとえば，「子供と父親とが一緒に写っている画像」であるが，この共通のテーマは，第１の画像161のうちの一の画像Ｉ８以外の他の画像と第２の画像171のうちの一の画像Ｉ110以外の他の画像とから得られる共通のテーマ以外のテーマとしてもよい。

【0091】

また，第１の画像161と第２の画像171とから共通に得られるテーマは，第１の画像161に含まれる画像Ｉ1からＩ11のそれぞれの画像の主要被写体の行動と第２の画像171に含まれる画像Ｉ101かＩ111のそれぞれの画像の主要被写体の行動とから共通に得られるテーマとしてもよい。

【0092】

このようにして得られるテーマが分かるとそのテーマに合致した画像を推奨するようにユーザに報知される。以下，報知のやり方の一例について説明する。

【0093】

図17を参照して，2018年６月に撮影された複数の画像から構成される対象画像群の中から，得られたテーマに合致した画像が見つけられると，その画像を選択する画像として推奨する情報が表示パネル21に表示される。

【0094】

たとえば，「子供と父親とが一緒に写っている画像」がテーマとされ，そのようなテーマに合致する画像を選択するように基準が作成されると，そのテーマに合致した画像が存在する場合には，画像表示領域にそのテーマに合致した画像が表示される。

【0095】

図17に示すように，画像ＩＲ１が「子供と父親とが一緒に写っている画像」のテーマに合致している場合には，画像表示領域151に画像ＩＲ１が表示される。さらに，その画像ＩＲ１に合わせて，推奨する情報（第１の情報の一例である）を報知する吹き出し200が表示される。吹き出し200には，以前も「子供と父親とが一緒に写っている画像」が選択されているので，そのような画像を選択することを推奨する旨の文字列201が表示される。また，吹き出し200には，その共通のテーマにおいて以前に選択した画像を表示する選択済み画像表示領域202および203が表示されている。選択済み画像表示領域202には，2018年４月に選択された画像のうち，「子供と父親とが一緒に写っている画像」というテーマと共通のテーマをもつ画像が表示され，選択済み画像表示領域203には，2018年５月に選択された画像のうち，「子供と父親とが一緒に写っている画像」というテーマと共通のテーマをもつ画像が表示される。さらに，吹き出し200には，推奨画像表示領域204が形成されており，この推奨画像表示領域204には，吹き出し200に合わせて表示されている，推奨する画像ＩＲ１が表示される。ユーザは，「子供と父親とが一緒に写っている画像」を比較的簡単に選択でき，共通のテーマをもつ画像のプリントを毎月得られるようになる。

【0096】

同様に，図10に示すように2018年４月に選択された画像のうちの画像Ｉ１，図12に示すように2018年５月に選択された画像のうちの画像Ｉ104に示すように，「子供が食事をしている画像」が共通のテーマとして得られるときには，そのテーマが基準として作成される。

【0097】

図17に示すように，2018年６月に撮影された画像の中に，「子供が食事をしている画像」のテーマに合致した画像ＩＲ２がある場合には，その画像ＩＲ２に合わせて吹き出し210が表示される。なお、ある画像が「食事をしている画像」であることは、例えば、オブジェクト認識を行い、食べ物または食器が写っていることを検出することにより、決定することができる。この吹き出し210には，「子供が食事をしている画像」を選択することを推奨する文字列211が含まれている。また，選択済み画像表示領域212および213も表示されており，2018年４月に選択された画像のうち「子供が食事をしている画像」というテーマに合った画像Ｉ１が選択済み画像表示領域212に表示され，2018年５月に選択された画像のうち「子供が食事をしている画像」というテーマに合った画像Ｉ104が選択済み画像表示領域213に表示されている。さらに，吹き出し210には，推奨画像表示領域214が形成されており，この推奨画像表示領域214には，吹き出し210に合わせて表示されている，推奨する画像ＩＲ２が表示される。ユーザは，「子供が食事をしている画像」を比較的簡単に選択でき，共通のテーマをもつ画像のプリントを毎月得られるようになる。

【0098】

「子供と父親とが一緒に写っている画像」のテーマにもとづく基準は，たとえば，図10に示す2018年４月に選択された画像Ｉ１からＩ11のうちのいずれかの画像と，2018年５月に選択された画像Ｉ101かＩ111のうちのいずれかの画像との両方に類似する類似度（第１の類似度の一例である）を，2018年６月に撮影された対象画像群に含まれる画像のすべてについて算出し，算出された類似度がしきい値（第１のしきい値の一例である）以上の画像を推奨画像とすることにより得られる。このような基準を作成することにより，2018年６月に撮影された画像の中から，画像Ｉ８および画像Ｉ110のいずれにも類似度がしきい値以上の画像ＩＲ１が見つけ出される。同様に，「子供が食事している画像」のテーマにもとづく基準を作成することにより，2018年６月に撮影された画像の中から，2018年４月に選択された子供が食事をしている画像Ｉ１および画像Ｉ104のいずれにも類似度がしきい値（第１のしきい値の一例である）以上の画像ＩＲ２が見つけ出される。

【0099】

図18は，表示パネル21に表示される画像の一例である。

【0100】

共通の被写体が変化する様子が分かる画像が推奨画像となるような基準にもとづいて，推奨画像が決定される例である。

【0101】

図10に示す例では，2018年４月に撮影された画像のうち，子供の画像Ｉ６が選択されており，図12に示す例では，2018年５月に撮影された画像のうち，画像Ｉ６に写っている子供と同じ子供が写っている画像Ｉ105が選択されている。2018年６月に撮影された画像のうち，選択された画像Ｉ６およびＩ105に共通の子供（主要被写体）と同じ子供（共通の被写体の一例である）が写っている画像ＩＲ３がある場合には，その画像ＩＲ３が推奨画像とされる。画像ＩＲ３に対応して吹き出し220が表示される。吹き出し220には「子供が成長する様子が分かるような画像」ことを示す文字列221が表示される。吹き出し220には，吹き出し200および210と同様に，選択済み画像表示領域222および223も表示されており，2018年４月に選択された画像のうち「子供が成長していることが分かるような画像」というテーマに合った画像Ｉ６が選択済み画像表示領域222に表示され，2018年５月に選択された画像のうち「子供が成長していることが分かるような画像」というテーマに合った画像Ｉ105が選択済み画像表示領域223に表示されている。さらに，吹き出し220には，推奨画像表示領域224が形成されており，この推奨画像表示領域224には，吹き出し220に合わせて表示されている，推奨する画像ＩＲ２が表示される。ユーザは，「子供が成長していることが分かるような画像」を比較的簡単に選択でき，共通のテーマをもつ画像のプリントを毎月得られるようになる。なお、「子供が成長していることが分かるような画像」であることは、予め「子供が寝返りを打った画像」，「子供がはいはいしている画像」，「子供がつかまり立ちをしている画像」など，具体的な画像を検出したら「子供が成長していることが分かるような画像」である、と判定することとしておけばよい。このようにして、子供が成長する様子が分かるという共通性をもつ画像をより正確に推奨画像とすることができる。

【0102】

なお、「子供が成長していることが分かるような画像」のような抽象的な概念に関しては、別途学習済みモデルを用いて判定しても良い。一例としては、一般に使用されている画像検索エンジンにおいて、「子供、成長、画像」等のキーワードを入れて抽出された画像を「子供が成長していることが分かるような画像」の正解画像とみなして、「子供が成長していることが分かるような画像」を判定するためのモデルの学習をさせることができる。他の例としては、本実施例のプログラムにおいて、注文時に当該月の画像群を要約したテキストメッセージをユーザに入力させ、全ユーザの注文情報を検索母集団とし、「子供、成長、画像」という言葉を含むテキストメッセージが入力された月の画像を、「子供が成長していることが分かるような画像」の正解画像とみなして、「子供が成長していることが分かるような画像」を判定するためのモデルの学習をさせることができる。

【0103】

図19は，表示パネル21に表示される画像の一例である。

【0104】

図19に示す例は，失敗した画像が毎月選ばれていると考えられる場合に，表示パネル21に表示される吹き出し230の一例である。ここでいう失敗した画像とは、「転んだ」「泣き顔である」など、被写体本人にとって好ましくない状態で写っている画像を含む。

【0105】

図10に示すように2018年４月に選択された画像の中に子供が失敗した画像Ｉ11が含まれており，かつ図12に示すように2018年５月に選択された画像の中にも子供が失敗した画像Ｉ111が含まれている場合には，失敗した画像を選択することを推奨する文字列231が吹き出し230に表示される。上述したのと同様に，吹き出し230には，選択済み画像表示領域232および233も表示されており，これらの選択済み画像表示領域232および233に，以前に選択された子供が失敗した画像Ｉ11およびＩ111が表示される。また，吹き出し230には，推奨画像表示領域234が形成されており，この推奨画像表示領域234には，吹き出し230に合わせて表示されている，推奨する失敗画像ＩＲ４が表示される。毎月選択するの画像の一部に、子供の失敗した画像を含めることにより、ユーザは子供の行動を懐かしく思い出したり、その他の画像をより貴重なものと捉え直したりすることができ、ユーザはより好ましい画像を選択することができると言える。

【0106】

図20は，表示パネル21に表示されるホーム画面の一例である。

【0107】

図３に示すステップ101においてホーム画面が表示されると，図20に示す表示パネル21に含まれる画像表示領域129にアイコンＩＲ５およびＩＲ６（サンプル画像の一例である）が表示されている。アイコンＩＲ５は，子供が食事をしていることを示すアイコンであり，アイコンＩＲ６は，子供と父親が一緒にいることを示すアイコンである。これらのアイコンＩＲ５およびＩＲ６（第１の情報の一例である）を見ることにより，ユーザは，2018年６月に撮影された画像のうち，子供が食事をしている画像，子供と父親が一緒にいる画像が推奨されることが分かる。プログラムが立ち上がることにより，2018年４月に撮影された画像のうち，選択された画像Ｉ１からＩ11と2018年５月に撮影された画像のうち，選択された画像Ｉ101からＩ111とが解析されることにより共通のテーマが検出され，検出されたテーマに対応するアイコンＩＲ５およびＩＲ６が画像表示領域129に表示されることとなる。アイコンＩＲ５およびＩＲ６の代わりに，子供が食事をしているサンプル画像および子供と父親が一緒にいるサンプル画像が画像表示領域129に表示されてもよいし，「子供が食事をしている画像を推奨する」および「子供と父親が一緒にいる画像を推奨する」というように文字列が表示されてもよい。

【0108】

さらに，以前に選択された画像全体のテーマに共通するテーマ，たとえば2018年４月に撮影された画像の中から選択された第１の画像Ｉ１からＩ11から得られる第１のテーマと，2018年５月に撮影された画像の中から選択された第２の画像Ｉ101からＩ111から得られる第２のテーマと，から共通に得られるテーマをもつ画像が，2018年６月に撮影された画像の中から選択されるように基準が作成されてもよい。たとえば，第１のテーマが幼稚園の入園式（たとえば，入園式の画像が多い）というテーマと判断され，第２のテーマが幼稚園の遠足（たとえば，遠足の画像が多い）というテーマと判断された場合には，幼稚園のイベントとようにいずれのテーマにも上位概念となるテーマが共通のテーマとされ，そのようなテーマをもつ画像を推奨画像とするように基準が作成される。そのようなテーマにしたがって，2018年６月に撮影された画像から，幼稚園でのイベントの画像が推奨画像と決定される。

【0109】

共通の被写体（主要被写体），被写体が何をしているかなどのシチュエーション，撮影場所，被写体の表情，被写体が所属する属性など，共通のテーマに沿った画像を毎月選択しやすくなり，共通性のある画像を選択しやすくなる。

【0110】

［変形例］
図21は，撮影アシスト処理手順を示すフローチャートである。図21に示す処理は，スマートフォン１がカメラ・モードに設定されたことに応じて開始される。

【0111】

カメラ部41によって被写体の撮影が開始され（ステップ252），表示パネル21には図22に示す撮影アシスト画面が表示される。

【0112】

図22は，撮影アシスト画面の一例である。

【0113】

撮影アシスト画面には，子供と父親とが一緒にいるアイコンＩＲ６（第２の情報，テーマ，テーマに沿ったサンプル画像の一例である）が表示されている。このアイコンＩＲ６を見ることにより，ユーザは，以前から子供と父親とが一緒に写っている画像が選択されていることが分かる。アイコンＩＲ６の代わりに第１の画像161のうちの画像Ｉ８または第２の画像171のうちの画像Ｉ110（共通のテーマをもつ画像の一例である）を表示してもよい。また，図17に示した表示パネル21と同様に，吹き出し200が表示パネル21に表示される。吹き出し200には，子供と父親とが一緒にいる画像が選択されていることを示す文字列201，選択済み画像表示領域202および203が表示されている。

【0114】

シャッタ・オンされると（ステップ253でＹＥＳ），撮影によって得られた画像データが内部記憶部51に記憶される（ステップ254）。ユーザは，子供と父親とが一緒にいる画像を記録するようになる。

【0115】

図23は，スマートフォン１において行なわれるショート・ムービの再生処理手順を示すフローチャートである。

【0116】

スマートフォン１の表示パネル21にショート・ムービ・ボタン（図示略）が表示され，そのショート・ムービ・ボタンがタッチされると（ステップ261でＹＥＳ），表示パネル21にはショート・ムービ・アイコンが一覧で表示される（ステップ262）。

【0117】

図24は，ショート・ムービ・アイコン一覧表示画面の一例である。

【0118】

表示パネル21には，ショート・ムービ・アイコン271および273が表示されている。ショート・ムービ・アイコン271には，ショート・ムービの内容として「食事をする花子ちゃん」という名称が名付けられている。ショート・ムービ・アイコン273には，ショート・ムービの内容として「お父さんと太郎くん」という名称が名付けられている。これらの名称は，ショート・ムービとして表示される画像の内容をスマートフォンの主制御部100が解析することにより付与される。たとえば，ショート・ムービ・アイコン271によって表されるショート・ムービの内容は，食事のシーンが多いことから食事のショート・ムービであることが推測され，「食事をする花子ちゃん」という名称が付与される。「花子ちゃん」という名前は，ユーザによって入力される。ショート・ムービ・アイコン271によって表されるショート・ムービの内容は，大人の男性と赤ん坊とが一緒に写っているシーンが多いことから親子のショート・ムービであることが推測され，「お父さんと太郎くん」という名称が付与される。「太郎くん」という名前は，ユーザによって入力される。ショート・ムービの名称は主制御部100の解析を利用せずにすべてユーザによって入力されてもよい。ショート・ムービ・アイコン271および273には，再生ボタン272および274がそれぞれ形成されている。再生ボタン272または274がタッチされると（ステップ263でＹＥＳ），タッチされた再生ボタンのショート・ムービ・アイコン271または273に対応するショート・ムービが再生され，表示パネル21に表示される（ステップ264）。

【0119】

図25は，ショート・ムービの再生内容を示している。

【0120】

ショート・ムービ・アイコン271の再生ボタン272がタッチされると，上述のようにして選択された「食事をしている子供」の画像が一定時間ごとに表示され，一定時間が経過すると次の画像に切り替えられる。図25においては，2018年４月に選択された画像Ｉ１，2018年５月に選択された画像Ｉ104および2018年６月に選択された画像ＩＲ２が一定時間ごとに順に表示されることが示されている。ショート・ムービは，たとえば，共通のテーマに沿った１年分の画像が一定時間ごとに切り替えられて表示される。ショート・ムービとして表示される画像は，上述したように作成された基準から推奨された画像であれば，その推奨された画像であることから分かるし，選択された画像から共通のテーマをもつ画像から選択してもよい。

【0121】

同様に，ショート・ムービ・アイコン273の再生ボタン274がタッチされると，上述のようにして選択された「父親と子供とが一緒に写っている画像」が一定時間ごとに表示され，一定時間が経過すると次の画像に切り替えられる。図25においては，2018年４月に選択された画像Ｉ８，2018年５月に選択された画像Ｉ110および2018年６月に選択された画像ＩＲ１が一定時間ごとに順に主制御部100（表示制御手段の一例である）によって制御されて表示されることが示されている。

【0122】

図26および図27は，スマートフォン１と画像サーバ280との間で通信しながら上述の処理を行う実施例を示している。

【0123】

図26に示すように，インターネットを介してスマートフォン１と画像サーバ280とが互いに通信可能である。

【0124】

スマートフォン１の表示パネル21に表示される推奨画像ボタン152がタッチされると（ステップ291でＹＥＳ），推奨画像決定コマンドがスマートフォン１から画像サーバ280に送信される（ステップ292）。

【0125】

スマートフォン１から送信された推奨画像コマンドが画像サーバ280において受信されると（ステップ301でＹＥＳ），図８に示す推奨画像についての情報（第１の情報の一例である）の決定処理が画像サーバ280おいて行われる（ステップ302）。画像サーバ280には，以前に選択された画像を表す画像データが記憶されており，その記憶されている画像データにもとづいて，どのような画像が選択されているかが分かり，選択された画像にもとづいて推奨画像についての情報が決定される。決定された推奨画像についての情報が画像サーバ280からスマートフォン１に送信される（ステップ303）。たとえば，「父親と子供とが一緒に写っている画像」を推奨画像とする情報，「食事をしている子供の画像」を推奨画像とする情報などが画像サーバ280からスマートフォン１に送信される。

【0126】

画像サーバ280から送信された情報（基準を表すデータの一例である）がスマートフォン１の無線通信部10（受信手段の一例である）によって受信されると（ステップ293でＹＥＳ），図17などに示すように推奨画像についての情報が表示パネル21に表示されることとなる（ステップ294）。

【0127】

このように，推奨画像の情報を決定する処理（基準を作成する処理）が画像サーバ280において行われるようにしてもよい。また，上述の実施例ではスマートフォン１が利用されているが，スマートフォン１以外の専用の画像処理装置，パーソナル・コンピュータ，タブレット端末などを利用して構成することもできる。

【0128】

さらに，第１の画像161または第２の画像171のうち，対象画像群180の中から選択する画像との類似度（第２の類似度の一例である）を算出し，その第２の類似度が第２のしきい値以上の画像を表示する（第１の情報の報知の一例である）ようにしてもよい。すでに選択した第１の画像161または第２の画像171のような画像を対象画像群180の中から選択できるようになる。

【0129】

上述の処理を実行する処理部には，ソフトウエアを実行して各種の処理部として機能するＣＰＵ７のほかに，FPGA（field-programmable gate array）などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス，ASIC（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0130】

１つの処理部は，これらの各種のプロセッサのうちの１つで構成されてもよいし，同種または異種の２つ以上のプロセッサの組合せ（たとえば，複数のFPGA，ＣＰＵとFPGAの組合せ）で構成されてもよい。複数の処理部を１つのプロセッサで構成する例としては，第１に，クライアント・コンピュータやサーバなどのコンピュータに代表されるように，１つ以上のＣＰＵとソフトウエアの組合せで１つのプロセッサを構成し，このプロセッサが複数の処理部として機能する形態がある。第２に，システム・オン・チップなどに代表されるように，複数の処理部を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように，各種の処理部は，ハードウエア的な構造として各種のプロセッサを１つ以上用いて構成される。

【0131】

さらに，これらの各種のプロセッサのハードウエア的な構造は，より具体的には，半導体素子などの回路素子を組合せた電気回路である。

【符号の説明】

【0132】

１：スマートフォン，２：筐体，７：ＣＰＵ，10：無線通信部，20：表示入力部，21：表示パネル，22：操作パネル，30：通話部，31：スピーカ，32：マイクロホン，40：操作部，41：カメラ部，50：記憶部，51：内部記憶部，52：外部記憶部，60：外部入出力部，70：ＧＰＳ受信部，80：モーションセンサ部，90：電源部，100：主制御部，121：撮影年月指定領域，122：撮影年表示領域，123：プルダウン・ボタン，124-125：撮影月指定領域，127：検索ボタン，128：撮影月表示領域，129：画像表示領域，130：画像追加領域，131：注文ボタン，132：ホーム・ボタン，133：物販ボタン，134：メニュー・ボタン，141-142：画像フォルダ・アイコン，151：画像表示領域，152：推奨画像ボタン，153：画像解析ボタン，154：確定ボタン，160：第１の画像群，161：第１の画像，170：第２の画像群，171：第２の画像，180：対象画像群，181：画像，200：吹き出し，201：文字列，202：画像表示領域，203：画像表示領域，204：推奨画像表示領域，210：吹き出し，211：文字列，212-212：画像表示領域，213：画像表示領域，214：推奨画像表示領域，220：吹き出し，221：文字列，222-223：画像表示領域，224：推奨画像表示領域，230：吹き出し，231：文字列，232：画像表示領域，234：推奨画像表示領域，240：星印のマーク，271：ショート・ムービ・アイコン，272：再生ボタン，273：ショート・ムービ・アイコン，274：再生ボタン，280：画像サーバ，ＢＳ：基地局装置，Ｉ１：画像，Ｉ６：画像，Ｉ８：画像，Ｉ11：画像，Ｉ100-Ｉ101：画像，Ｉ104-Ｉ105：画像，Ｉ110-Ｉ111：画像，Ｉ200-Ｉ201：画像，ＩＲ１-ＩＲ６：アイコン，ＮＷ：移動通信網，ＳＴ１：GPS衛星

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】