特許 7461692 携帯端末、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-27

(45)【発行日】2024-04-04

(54)【発明の名称】携帯端末、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   H04N 5/91 20060101AFI20240328BHJP

   H04N 5/77 20060101ALI20240328BHJP

   H04N 23/60 20230101ALI20240328BHJP

【ＦＩ】

H04N5/91

H04N5/77 200

H04N23/60 300

H04N23/60 500

【請求項の数】 5

(21)【出願番号】P 2020083275

(22)【出願日】2020-05-11

(65)【公開番号】P2021180356

(43)【公開日】2021-11-18

【審査請求日】2023-02-24

(73)【特許権者】

【識別番号】524066085

【氏名又は名称】ＦＣＮＴ合同会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】小上 祐一郎

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２００９－０８９０７７（ＪＰ，Ａ）

【文献】特開２０１０－０８１５６２（ＪＰ，Ａ）

【文献】特開２０１４－０１６８２２（ＪＰ，Ａ）

【文献】特開２００８－１２４８９６（ＪＰ，Ａ）

【文献】特開２００８－２２７８２０（ＪＰ，Ａ）

【文献】特開２０１４－２２５７６３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０２６５４５１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／９１－５／９５６

Ｈ０４Ｎ ５／７６－５／７７５

Ｈ０４Ｎ ５／７８２－５／７８４

Ｈ０４Ｎ ５／８０－５／９０７

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

カメラと、
前記カメラから取得した画像を記憶する記憶部と、
前記カメラを制御するプロセッサと、を備え、
前記プロセッサは、
前記カメラが画像情報を取得している間に前記カメラから複数の候補画像を取得し、
撮影指示を受け付けると、前記カメラから撮影画像を取得し、
前記撮影画像及び前記複数の候補画像夫々の特徴を示す特徴量を算出し、
前記撮影画像との特徴量の差が他の候補画像より大きい候補画像を前記撮影画像とともに前記記憶部に記憶させる、
携帯端末。

【請求項2】

前記プロセッサは、
前記候補画像の夫々の良否を示すスコアを算出し、
算出したスコアが閾値以上である候補画像の中から、前記撮影画像とともに前記記憶部に記憶させる候補画像を選択する、
請求項１に記載の携帯端末。

【請求項3】

前記プロセッサは、
前記撮影画像及び候補画像の夫々の被写体を認識し、
算出した前記特徴量に対して認識した前記被写体に応じた重みづけを行う、
請求項１または２に記載の携帯端末。

【請求項4】

カメラと、前記カメラから取得した画像を記憶する記憶部とを備える情報処理装置が、
前記カメラが画像情報を取得している間に前記カメラから複数の候補画像を取得し、
撮影指示を受け付けると、前記カメラから撮影画像を取得し、
前記撮影画像及び前記複数の候補画像夫々の特徴を示す特徴量を算出し、
前記撮影画像との特徴量の差が他の候補画像より大きい候補画像を前記撮影画像とともに前記記憶部に記憶する、
情報処理方法。

【請求項5】

カメラと、前記カメラから取得した画像を記憶する記憶部とを備える情報処理装置に、
前記カメラが画像情報を取得している間に前記カメラから複数の候補画像を取得させ、
撮影指示を受け付けると、前記カメラから撮影画像を取得させ、
前記撮影画像及び前記複数の候補画像夫々の特徴を示す特徴量を算出させ、
前記撮影画像との特徴量の差が他の候補画像より大きい候補画像を前記撮影画像とともに前記記憶部に記憶させる、
情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、携帯端末、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

近年、画像認識技術の向上により、撮影した複数の画像の中から良好な画像を選択する技術が利用されている。

【0003】

例えば、被写体が写った複数の画像夫々について評価値を算出し、算出した評価値の比較結果により、好ましく写っている画像を記録する画像処理装置が開示されている（特許文献１、２参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－１５５６０５号公報

【文献】特開２００９－０８９０７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

撮影者は、良好な画像を取得しようとして撮影を行うものと考えられる。そのため、撮影時において、撮影者によって撮影された撮影画像とともに、自動で撮影した複数の画像の中から良好な画像を選択したおすすめ画像を保存する場合、撮影画像とおすすめ画像とが似た画像となってしまい、ユーザにとって面白みに欠ける虞がある。

【0006】

開示の技術の１つの側面は、撮影画像の撮影時において、撮影画像とは異なる特徴を有するおすすめ画像を撮影画像とともに保存できる携帯端末、情報処理方法及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

開示の技術の１つの側面は、次のような携帯端末によって例示される。本携帯端末は、カメラと、前記カメラから取得した画像を記憶する記憶部と、前記カメラを制御するプロセッサと、を備え、前記プロセッサは、前記カメラが画像情報を取得している間に前記カメラから複数の候補画像を取得し、撮影指示を受け付けると、前記カメラから撮影画像を取得し、前記撮影画像及び前記複数の候補画像夫々の特徴を示す特徴量を算出し、前記撮影画像との特徴量の差が他の候補画像より大きい候補画像を前記撮影画像とともに前記記憶部に記憶させる。

【発明の効果】

【0008】

開示の技術は、撮影画像の撮影時において、撮影画像とは異なる特徴を有するおすすめ画像を撮影画像とともに保存することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係るスマートフォンの外観の一例を示す図である。

【図2】図２は、実施形態に係るスマートフォンのハードウェア構成の一例を示す図である。

【図3】図３は、実施形態に係るスマートフォンの処理ブロックの一例を示す図である。

【図4】図４は、実施形態において、画像中の顔の位置を模式的に示す図である。

【図5】図５は、実施形態において、画像データベースに記憶される画像テーブルの一例を示す第１の図である。

【図6】図６は、実施形態において、画像データベースに記憶される画像テーブルの一例を示す第２の図である。

【図7】図７は、実施形態において、画像データベースに記憶される画像テーブルの一例を示す第３の図である。

【図8】図８は、実施形態において、画像データベースに記憶される重みテーブルの一例を示す図である。

【図9】図９は、実施形態に係るスマートフォンの処理フローの一例を示す図である。

【発明を実施するための形態】

【0010】

＜実施形態＞
以下に示す実施形態の構成は例示であり、開示の技術は実施形態の構成に限定されない。実施形態に係る携帯端末は、例えば、以下の構成を備える。
本実施形態に係る携帯端末は、
カメラと、
前記カメラから取得した画像を記憶する記憶部と、
前記カメラを制御するプロセッサと、を備え、
前記プロセッサは、
前記カメラが画像情報を取得している間に前記カメラから複数の候補画像を取得し、
撮影指示を受け付けると、前記カメラから撮影画像を取得し、
前記撮影画像及び前記複数の候補画像夫々の特徴を示す特徴量を算出し、
前記撮影画像との特徴量の差が他の候補画像より大きい候補画像を前記撮影画像とともに前記記憶部に記憶させる。

【0011】

本実施形態に係る携帯端末は、例えば、可搬型の情報処理装置である。携帯端末としては、例えば、スマートフォン、タブレット型パーソナルコンピュータ、フィーチャーフォン等を挙げることができる。

【0012】

カメラは、例えば、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（ＣＣＤ）イメージセンサやＣｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ）イメージセンサを有するデジタルカメラである。プロセッサは、例えば、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）である。記憶部としては、例えば、Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ（ＥＰＲＯＭ）、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、ＳＳＤ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ、ＨＤＤ）等を挙げることができる。

【0013】

本実施形態に係る携帯端末では、カメラが画像情報を取得している間にカメラから取得した複数の候補画像と、撮影指示を受け付けたときにカメラから取得した撮影画像夫々の特徴量を算出し、撮影画像との特徴量の差が他の候補画像より大きい候補画像を撮影画像とともに記憶部に記憶させる。このような特徴を備えることで、本携帯端末は、撮影画像とは異なる特徴の候補画像を保存することができる。ひいては、本携帯端末は、撮影画像とは異なった面白みのある画像をユーザに提供することができる。

【0014】

本携帯端末は、さらに、次の特徴を備えてもよい。前記プロセッサは、前記候補画像の夫々の良否を示すスコアを算出し、算出したスコアが閾値以上である候補画像の中から、前記撮影画像とともに前記記憶部に記憶させる候補画像を選択する。このような特徴を備えることで、候補画像のうち、候補画像の良否を示すスコアが閾値未満の画像が記憶部に記憶されることが抑制される。すなわち、本携帯端末は、このような特徴を備えることで
、より良い候補画像の中から、撮影画像とともに記憶部に記憶させる候補画像を選択することができる。

【0015】

本携帯端末は、さらに、次の特徴を備えてもよい。前記プロセッサは、前記撮影画像及び候補画像の夫々の被写体を認識し、算出した前記特徴量に対して認識した前記被写体に応じた重みづけを行う。撮影画像や候補画像には、被写体のうち特にユーザが注目する被写体や、そこまでユーザが注目しない被写体が混在することがある。本携帯端末は、被写体に応じた重みづけを行うことで、ユーザが注目する被写体の特徴量を重視して、撮影画像とともに記憶部に記憶させる候補画像を選択することができる。

【0016】

以上説明した実施形態に係る技術は、情報処理方法及び情報処理プログラムの側面から把握することも可能である。

【0017】

以下、図面を参照して上記携帯端末をスマートフォンに適用した実施形態についてさらに説明する。図１は、実施形態に係るスマートフォンの外観の一例を示す図である。図１は、スマートフォン１００の一方から見た外観（前面側の外観とする）と、他方から見た外観（背面側の外観とする）の外観を例示する。図１では、矢印によって、スマートフォン１００の前面側と背面側が入れ替えて配置され、例示される。スマートフォン１００は、板状の筐体１１０を有する。したがって、図１には描かれていないが、筐体１１０の前面と背面との間の距離（厚み）は、前面または背面の外形寸法と比較して短い。図１で紙面に向かって上側が筐体１１０の上側であり、紙面に向かって下側が筐体１１０の下側であると仮定する。以下、本明細書において、筐体１１０の上下方向をＹ方向、Ｙ方向と直交する筐体１１０の幅方向をＸ方向とも称する。

【0018】

スマートフォン１００は、可搬型の情報処理装置である。筐体１１０の前面にはスピーカー１１１、マイクロフォン１１２及びディスプレイ１１３が設けられる。筐体１１０の背面にはカメラ１２１が設けられる。

【0019】

図２は、実施形態に係るスマートフォンのハードウェア構成の一例を示す図である。スマートフォン１００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）１０１、主記憶部１０２、補助記憶部１０３、通信部１０４、スピーカー１１１、マイクロフォン１１２、ディスプレイ１１３、及びカメラ１２１を備える。ＣＰＵ１０１、主記憶部１０２、補助記憶部１０３、通信部１０４、スピーカー１１１、マイクロフォン１１２、ディスプレイ１１３、及びカメラ１２１は、接続バスによって相互に接続される。

【0020】

ＣＰＵ１０１は、マイクロプロセッサユニット（ＭＰＵ）、プロセッサとも呼ばれる。ＣＰＵ１０１は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵ１０１がマルチコア構成を有していてもよい。ＣＰＵ１０１が実行する処理のうち少なくとも一部は、ＣＰＵ１０１以外のプロセッサ、例えば、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（ＤＳＰ）、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＧＰＵ）、数値演算プロセッサ、ベクトルプロセッサ、画像処理プロセッサ等の専用プロセッサで行われてもよい。また、ＣＰＵ１０１が実行する処理のうち少なくとも一部は、集積回路（ＩＣ）、その他のデジタル回路によって実行されてもよい。また、ＣＰＵ１０１の少なくとも一部にアナログ回路が含まれてもよい。集積回路は、Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ（ＬＳＩ）、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）を含む。ＰＬＤは、例えば、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）を含む。ＣＰＵ１０１は、プロセッサと集積回路との組み合わせであってもよい。組み合わせは、例えば、マイクロコントローラユニット（ＭＣＵ）、Ｓｙｓ
ｔｅｍ－ｏｎ－ａ－ｃｈｉｐ（ＳｏＣ）、システムＬＳＩ、チップセットなどと呼ばれる。スマートフォン１００では、ＣＰＵ１０１が補助記憶部１０３に記憶されたプログラムを主記憶部１０２の作業領域に展開し、プログラムの実行を通じて周辺装置の制御を行う。これにより、スマートフォン１００は、所定の目的に合致した処理を実行することができる。主記憶部１０２および補助記憶部１０３は、スマートフォン１００が読み取り可能な記録媒体である。

【0021】

主記憶部１０２は、ＣＰＵ１０１から直接アクセスされる記憶部として例示される。主記憶部１０２は、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）およびＲｅａｄ
Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）を含む。

【0022】

補助記憶部１０３は、各種のプログラムおよび各種のデータを読み書き自在に記録媒体に格納する。補助記憶部１０３は外部記憶装置とも呼ばれる。補助記憶部１０３には、オペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ、ＯＳ）、各種プログラム、各種テーブル等が格納される。ＯＳは、通信部１０４を介して接続される外部装置等とのデータの受け渡しを行う通信インターフェースプログラムを含む。外部装置等には、例えば、コンピュータネットワーク等で接続された、他の情報処理装置および外部記憶装置が含まれる。なお、補助記憶部１０３は、例えば、ネットワーク上のコンピュータ群であるクラウドシステムの一部であってもよい。

【0023】

補助記憶部１０３は、例えば、Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ（ＥＰＲＯＭ）、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、ＳＳＤ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ、ＨＤＤ）等である。

【0024】

通信部１０４は、例えば、情報処理装置を通信可能に接続するコンピュータネットワークとのインターフェースである。通信部１０４は、コンピュータネットワークを介して外部の装置と通信を行う。

【0025】

スピーカー１１１は、音を出力する音源である。スピーカー１１１は、スマートフォン１００を用いた通話において、通話相手の音声等の音を出力する。マイクロフォン１１２は、通話や動画の音声取得に用いられるマイクロフォンである。

【0026】

ディスプレイ１１３は、ＣＰＵ１０１で処理されるデータや主記憶部１０２に記憶されるデータを表示する。ディスプレイ１１３は、例えば、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）、Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ（ＰＤＰ）、Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）パネル、有機ＥＬパネルである。ディスプレイ１１３には、例えば、ユーザの指等によるタッチ操作を検知するタッチパネルが重畳して設けられてもよい。スマートフォン１００は、ディスプレイ１１３にタッチパネルが重畳して設けられることで、直感的な操作環境をユーザに提供することができる。

【0027】

カメラ１２１は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを有するデジタルカメラである。カメラ１２１は、イメージセンサに入射する光を光電変換し、光電変換によって生成した電荷を基に画像情報を取得する。ＣＰＵ１０１は、カメラ１２１によって取得された画像情報を基に、静止画及び動画を取得可能である。

【0028】

＜スマートフォン１００の処理ブロック＞
図３は、実施形態に係るスマートフォンの処理ブロックの一例を示す図である。スマートフォン１００は、候補画像取得部１１、撮影画像取得部１２、特徴量算出部１３、選択部１４、画像データベース（図中では、「ＤＢ」と記載）１５、及び画像記憶部１６を備
える。スマートフォン１００は、主記憶部１０２に実行可能に展開されたコンピュータプログラムをＣＰＵ１０１が実行することで、上記スマートフォン１００の、候補画像取得部１１、撮影画像取得部１２、特徴量算出部１３、選択部１４、画像データベース１５及び画像記憶部１６等の各部としての処理を実行する。

【0029】

候補画像取得部１１は、カメラ１２１が画像情報を取得している間、所定間隔でカメラ１２１から候補画像を取得する。候補画像取得部１１は、カメラ１２１が画像情報を取得している間、画像情報を基に生成したプレビュー画像やプレビュー動画をディスプレイ１１３に表示させてもよい。候補画像取得部１１は、カメラ１２１から取得した候補画像を補助記憶部１０３に記憶させる。

【0030】

撮影画像取得部１２は、スマートフォン１００のユーザからの撮影指示に応じて、カメラ１２１から撮影画像を取得する。撮影画像取得部１２は、カメラ１２１から取得した撮影画像を補助記憶部１０３に記憶させる。撮影指示は、例えば、ディスプレイ１１３に表示されたシャッターボタンに対する押下操作である。

【0031】

特徴量算出部１３は、候補画像及び撮影画像夫々の特徴を示す特徴量を算出する。特徴量は、例えば、写真の良否を示す評価値を含んでもよい。特徴量算出部１３は、例えば、候補画像及び撮影画像夫々に対して被写体となった人物を認識する人物認識を行い、認識した人物夫々についての特徴量を算出してもよい。特徴量算出部１３によって算出される特徴量は、例えば、被写体となった人物の表情、視線の向き、顔の向き、顔の占める割合、顔の位置、目の閉じ具合等を示すものであってもよい。

【0032】

特徴量算出部１３は、例えば、候補画像及び撮影画像夫々に対して被写体となった人物に対する顔認識を実行し、当該人物の表情を判定する。特徴量算出部１３が判定する表情としては、例えば、笑顔、泣き顔、怒った顔等を挙げることができる。特徴量算出部１３は、判定した表情の豊かさ（度合い）を示す表情評価値を算出する。表情評価値は、算出された数値が大きくなる程、表情が豊かであることを示す。例えば、表情評価値が「４」である笑顔は表情評価値が「２」である笑顔よりも、より豊かに笑っている状態を示す。

【0033】

また、特徴量算出部１３によって算出される特徴量は、被写体となった人物のポーズ（動作）、画像のブレ、構図等を示すものであってもよい。また、特徴量算出部１３は、算出した特徴量に対して、被写体となった人物の属性に応じた重みづけを行ってもよい。人物の属性としては、例えば、性別や年齢等を挙げることができる。特徴量算出部１３は、算出した特徴量を画像データベース１５に記憶させる。

【0034】

ここで、特徴量算出部１３は、例えば、予め補助記憶部１０３に記憶させた複数のポーズに対応する画像を基に、候補画像及び撮影画像夫々の被写体のポーズを認識してもよい。補助記憶部１０３に記憶させた複数のポーズとしては、例えば、バンザイ、Ｖサイン、ピースサイン等を挙げることができる。特徴量算出部１３は、予め補助記憶部１０３に記憶させた複数のポーズに対応する画像が示すポーズと、候補画像及び撮影画像夫々の被写体のポーズとが一致する場合に、一致したポーズを被写体がとっていると判定してもよい。

【0035】

ここで、顔の位置は、撮影画像や候補画像を複数の領域に分割し、顔が属する領域によって示されてもよい。図４は、実施形態において、画像中の顔の位置を模式的に示す図である。図４では、画像が領域１から領域９の複数の領域に分割されている。図４に例示される画像は、撮影画像または候補画像である。特徴量算出部１３は、顔が属する領域を判定し、判定した領域を顔の位置とすればよい。顔が複数の領域に属する場合、他の領域よりも顔の占める割合が高い領域を、顔の位置とすればよい。図４では、人物Ｐ１、Ｐ２、
Ｐ３が被写体として例示される。特徴量算出部１３は、例えば、人物Ｐ１の顔が領域６及び領域９に属しているものの、人物Ｐ１の顔の大部分は領域６に属していることから、人物Ｐ１の顔の位置を領域６と判定すればよい。

【0036】

選択部１４は、撮影画像とともに画像記憶部１６に記憶させる保存候補画像を候補画像の中から選択する。選択部１４は、例えば、撮影画像との特徴量の差が他の候補画像より大きい候補画像を保存候補画像として選択し、当該保存候補画像を撮影画像とともに画像記憶部１６に記憶させてもよい。選択部１４は、例えば、候補画像の中から画像の状態（写り具合）の良い候補画像を抽出し、抽出した候補画像から撮影画像とともに画像記憶部１６に記憶させる保存候補画像を選択してもよい。

【0037】

選択部１４は、撮影画像との特徴量の差が所定の閾値以上である候補画像を保存候補画像として１または複数選択し、選択した１または複数の保存候補画像を撮影画像とともに画像記憶部１６に記憶させてもよい。また、選択部１４は、撮影画像との特徴量の差が他の候補画像より大きい候補画像のうち、撮影画像との撮影時間の差が大きい候補画像を保存候補画像として選択し、当該保存候補画像を撮影画像とともに画像記憶部１６に記憶させてもよい。

【0038】

画像データベース１５は、撮影画像及び候補画像夫々について算出された特徴量を記憶するデータベースである。図５、図６及び図７は、実施形態において、画像データベースに記憶される画像テーブルの一例を示す図である。図５、図６及び図７は、図示の都合上、ひとつの画像テーブル１５１を３つの図面に分割して例示する。画像テーブル１５１は、撮影画像及び候補画像の夫々について、被写体となった人物と当該人物の特徴量とを対応付けて記憶するテーブルである。図５、図６及び図７に例示される画像テーブル１５１は、撮影画像、候補画像１、候補画像２、及び候補画像３の夫々について、被写体となった３人の人物の特徴量を記憶する。

【0039】

画像テーブル１５１において、「ＩＤ１男性：、１０歳」、「ＩＤ２女性：、５歳」、「ＩＤ３：女性、３９歳」との情報は、特徴量算出部１３が撮影画像及び候補画像の夫々に対して人物認識を行い、人物認識の結果に基づいて推定した情報である。人物認識の結果に基づいて年齢や性別等の人物の属性を推定する技術には限定は無く、公知の様々な技術を採用可能である。

【0040】

特徴量算出部１３は、撮影画像及び候補画像の夫々について、「表情（豊かさ）」、「顔の大きさ」、「顔の向き」、「顔の位置」、「視線」、「ポーズ」の各評価項目の特徴量を算出する。そして、特徴量算出部１３は、これら各評価項目の判定結果に基づいて、候補画像夫々の良否を示すスコアを算出する。なお、評価値を算出する技術としては、公知の様々な技術を適用してもよい。候補画像の良否を示すスコアは、例えば、被写体となった人物の評価値の平均点として示すことができる。例えば、候補画像１については、「ＩＤ１：男性、１０歳」の評価値が８５点、「ＩＤ２：女性、５歳」の評価値が８０点、「ＩＤ３：女性、３９歳」の評価値が７５点であることから、候補画像１の良否を示すスコアは８０点となる。同様に、候補画像２のスコアは７８点、候補画像３のスコアは９０点となる。

【0041】

特徴量算出部１３は、候補画像の夫々について、各評価項目の夫々における撮影画像との特徴量の差を算出する。ここで、特徴量算出部１３は、算出した差に対して、被写体となった人物の属性に応じた重みづけを行ってもよい。図８は、実施形態において、画像データベースに記憶される重みテーブルの一例を示す図である。重みテーブル１５２では、各評価項目の夫々に対応する重みが、年齢層毎に記憶される。図８に例示される重みテーブル１５２では、例えば、年齢（１３～２０歳）では、評価項目「表情（豊かさ）」に対
応する重みが「１」、評価項目「顔の大きさ」に対応する重みが「２」、評価項目「顔の向き」に対応する重みが「１」、評価項目「顔の位置」に対応する重みが「１」、評価項目「視線」に対応する重みが「１」、評価項目「ポーズ」に対応する重みが「２」となっている。

【0042】

特徴量算出部１３は、重みテーブル１５２を参照して、算出した特徴量の差に対する重みづけを行う。例えば、図５において、撮影画像における「表情（豊かさ）」は「笑顔（５）」であり、候補画像１における「表情（豊かさ）」は「笑顔（４）」であることから、特徴量の差は「１」となる。ここで、特徴量算出部１３は、重みテーブル１５２を参照して、１０歳である被写体の「表情（豊かさ）」に対応する重み「２」を取得する。特徴量算出部１３は、取得した重み「２」を算出した差「１」に乗じることで、重みづけを行った「差」の値である「２」を算出する。特徴量算出部１３は、このように重みづけを行った「差」の小計を候補画像の被写体夫々について算出する。例えば、図５に例示される候補画像１の被写体「ＩＤ１：男性、１０歳」についての小計は、「３」となる。

【0043】

選択部１４は、例えば、補助記憶部１０３に記憶された候補画像のうち、撮影画像との特徴量の差が他の候補画像より大きい候補画像を保存候補画像としてもよい。選択部１４は、例えば、補助記憶部１０３に記憶された候補画像からスコアが閾値以上となる候補画像を抽出し、抽出した候補画像の中から保存候補画像を選択してもよい。

【0044】

画像記憶部１６は、選択部１４が選択した保存候補画像を撮影画像とともに記憶する記憶部である。画像記憶部１６は、例えば、補助記憶部１０３上に設けられる。画像記憶部１６に記憶された画像は、例えば、ユーザからの表示指示に応じて、ディスプレイ１１３に表示される。

【0045】

＜スマートフォン１００の処理フロー＞
図９は、実施形態に係るスマートフォンの処理フローの一例を示す図である。以下、図９を参照して、スマートフォン１００の処理フローの一例について説明する。なお、図９を参照して説明する処理フローでは、撮影画像とともに１枚の保存候補画像を保存するものとする。

【0046】

Ｔ１では、スマートフォン１００は、カメラ１２１に対する起動指示を受け付けると、カメラ１２１を起動し、カメラ１２１のイメージセンサに画像情報の取得を開始させる。Ｔ２では、候補画像取得部１１は、起動されたカメラ１２１から候補画像を取得する。候補画像取得部１１は、取得した候補画像を補助記憶部１０３に記憶させる。Ｔ３では、特徴量算出部１３は、Ｔ２で取得した候補画像の特徴量を算出する。特徴量算出部１３は、算出した特徴量と候補画像とを対応付けて、画像テーブル１５１に記憶させる。

【0047】

Ｔ４では、シャッターが押下されると（Ｔ４でＹＥＳ）、撮影画像取得部１２は、シャッターの押下に応じて、カメラ１２１から撮影画像を取得する。撮影画像取得部１２は、カメラ１２１から取得した撮影画像を補助記憶部１０３に記憶させる。特徴量算出部１３は、Ｔ４で取得した撮影画像の特徴量を算出する。特徴量算出部１３は、算出した特徴量と撮影画像とを対応付けて、画像テーブル１５１に記憶させる。その上で、処理はＴ５に進められる。シャッターが押下されない場合（Ｔ４でＮＯ）、処理はＴ２に戻される。

【0048】

Ｔ５では、選択部１４は、補助記憶部１０３に記憶された候補画像からひとつの候補画像を選択する。Ｔ６では、選択部１４は、Ｔ５で選択した候補画像のスコアが、閾値以上であるか否かを判定する。閾値以上である場合（Ｔ６でＹＥＳ）、処理はＴ７に進められる。閾値未満である場合（Ｔ６でＮＯ）、処理はＴ８に進められる。

【0049】

Ｔ７では、選択部１４は、Ｔ５で選択した候補画像をスコアを基に抽出した候補画像とする。Ｔ８では、選択部１４は、未処理の候補画像（例えば、Ｔ５で選択されていない候補画像）が存在するか否かを判定する。未処理の候補画像が存在する場合（Ｔ８でＹＥＳ）、処理はＴ５に進められる。未処理の候補画像が存在しない場合（Ｔ８でＮＯ）、処理はＴ９に進められる。ここでは、Ｔ８までの処理によって、図５から図７に例示する候補画像１、２、３が抽出されたものとする。

【0050】

Ｔ９では、選択部１４は、Ｔ５からＴ８の処理で抽出した候補画像１、２、３の中から、撮影画像との特徴量の差が他の候補画像よりも大きい候補画像を保存候補画像として選択する。候補画像１は、被写体「ＩＤ１：男性、１０歳」についての小計が「３」、被写体「ＩＤ２：女性、５歳」についての小計が「５」、被写体「ＩＤ３：女性、３９歳」についての小計が「１」である。そのため、候補画像１と撮影画像との特徴量の差は「３＋５＋１」で「９」となる。同様に、候補画像２と撮影画像との特徴量の差は「１３」であり、候補画像３と撮影画像との特徴量の差は「５」である。そのため、選択部１４は、候補画像２を保存候補画像として選択する。選択部１４は、選択した候補画像２を撮影画像とともに、画像記憶部１６に記憶させる。

【0051】

＜実施形態の作用効果＞
図９に例示する処理フローでは、候補画像２が保存候補画像として選択される。候補画像１、２、３のうち、候補画像の良否を示すスコアが最も良い候補画像は、スコア「９０点」の候補画像３である。そのため、候補画像のスコアの良否で保存候補画像が選択されると候補画像３が選択されることになる。しかしながら、候補画像３は撮影画像との特徴量の差が他の候補画像よりも小さいことから、撮影画像と似た画像ということができる。そこで、本実施形態に係るスマートフォン１００は、特徴量の差を考慮して、撮影画像と特徴の異なる候補画像２を選択する。そのため、本実施形態に係るスマートフォン１００によれば、撮影画像とは異なる特徴を有する保存候補画像を撮影画像とともに記憶することができる。ひいては、撮影画像とは異なる面白さのある画像を、ユーザによる追加の操作なしに、ユーザに提供することができる。

【0052】

実施形態に係るスマートフォン１００では、保存候補画像を選択する際に、スコアに基づいて候補画像の抽出を行う。そのため、スマートフォン１００は、写りの良い候補画像の中から、保存候補画像を選択することができる。

【0053】

実施形態に係るスマートフォン１００では、図８に例示する重みテーブル１５２を参照して、特徴量の差に対して重みづけを行った。例えば、家族写真においては大人の被写体よりも子供の被写体を重視する傾向がある。このような場合、重みテーブル１５２において、子供の被写体に対してより大きい重みづけを行うことで、子供の被写体の特徴量の差を保存候補画像の選択により強く反映することができる。なお、図８に例示する重みテーブル１５２では年代に対応付けて重みづけが行われたが、年代以外の属性（例えば、性別）に対応付けて重みづけが行われてもよい。また、複数の属性の組み合わせに対応付けて重みづけが行われてもよい。すなわち、実施形態では、重みテーブル１５２を使った作用として、年代に応じて重視する部分を可変に出来る効果を上げているが、重みテーブル１５２を用いて他の効果を奏することもできる。例えば、年代とは無関係に、表情を重視した重みテーブル１５２を採用したり、ポーズを重視した重みテーブル１５２を採用したり、被写体ブレの判定を重視した重みテーブル１５２を採用したりすることができる。換言すれば、重みテーブル１５２に採用する評価項目を適宜設定することにより、用途に応じて重視するポイントを調整することが出来る。

【0054】

以上で開示した実施形態や変形例はそれぞれ組み合わせることができる。

【0055】

<<コンピュータが読み取り可能な記録媒体>>
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させる情報処理プログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

【0056】

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ）、Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅｃｏｒｄａｂｌｅ（ＣＤ－Ｒ）、Ｃｏｍｐａｃｔ Ｄｉｓｃ－ＲｅＷｒｉｔｅｒａｂｌｅ（ＣＤ－ＲＷ）、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、ブルーレイディスク（ＢＤ）、Ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｔａｐｅ（ＤＡＴ）、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。

【符号の説明】

【0057】

１００：スマートフォン
１０２：主記憶部
１０３：補助記憶部
１０４：通信部
１１０：筐体
１１１：スピーカー
１１２：マイクロフォン
１１３：ディスプレイ
１２１：カメラ
１２：撮影画像取得部
１１：候補画像取得部
１３：特徴量算出部
１４：選択部
１５：画像データベース
１５１：画像テーブル
１５２：重みテーブル
１６：画像記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】