(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-06-11
(45)【発行日】2024-06-19
(54)【発明の名称】プログラム、情報処理方法、情報処理装置
(51)【国際特許分類】
G06T 1/00 20060101AFI20240612BHJP
G06F 3/04817 20220101ALI20240612BHJP
G06F 3/0484 20220101ALI20240612BHJP
G06T 11/80 20060101ALI20240612BHJP
【ＦＩ】
G06T1/00 340A
G06F3/04817
G06F3/0484
G06T11/80 E
【請求項の数】
8
(21)【出願番号】P 2024025099
(22)【出願日】2024-02-22
(62)【分割の表示】P 2023100161の分割
【原出願日】2023-06-19
【審査請求日】2024-02-22
(31)【優先権主張番号】P 2022196686
(32)【優先日】2022-12-08
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】307010096
【氏名又は名称】フリュー株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】嵐 呂美
(72)【発明者】
【氏名】松原 菜津美
(72)【発明者】
【氏名】荒木 卓
(72)【発明者】
【氏名】華岡 千尋
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開２００９－１１８００９（ＪＰ，Ａ）
【文献】特開２０１２－０３７７３５（ＪＰ，Ａ）
【文献】ウェディング業界初、新レタッチサービス誕生。最新AIでなりたい 自分になる『Live Retouch（ライブレタッチ）』リリース，株式会社デコルテ news [online]，日本，2022年04月28日，<https://www.decollte.co.jp/news/detail.php?seq=82:>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １１／６０－１１／８０
Ｇ０６Ｆ ３／０４８－ ３／０４８９５
(57)【特許請求の範囲】
【請求項1】
コンピュータに、複数枚の撮影画像のそれぞれを対象として、被写体として写る人物の性別を機械学習によって生成された推論モデルを用いて認識し、
加工対象とする人物の選択に用いられる人物選択画像が配置され、複数枚の前記撮影画像のそれぞれを対象とした加工の内容の選択に用いられる加工画面の表示を制御し、
加工対象として選択中の前記撮影画像のうちの、前記人物選択画像を用いて選択された人物の部分に加工を施す
処理を実行させるプログラムであって、
加工対象として選択中の前記撮影画像に男性の人物と女性の人物が写っている場合、男性の人物を加工対象とするときに操作される第１の人物選択画像と女性の人物を加工対象とするときに操作される第２の人物選択画像を表示し、
加工対象として選択中の前記撮影画像に男性の人物が１人で写っている場合、女性の人物を選択できない状態の前記人物選択画像を表示し、
加工対象として選択中の前記撮影画像に女性の人物が１人で写っている場合、男性の人物を選択できない状態の前記人物選択画像を表示するように、
加工対象として選択中の前記撮影画像に被写体として写る人物の性別に応じて、前記人物選択画像の表示を制御する
プログラム。
【請求項2】
前記人物選択画像の表示を、加工対象とする前記撮影画像が変更される毎に切り替える請求項１に記載のプログラム。
【請求項3】
男性の人物と女性の人物の両方の人物の選択に用いられる第３の人物選択画像をさらに含む前記人物選択画像を表示させる請求項１に記載のプログラム。
【請求項4】
加工対象として選択中の前記撮影画像における男性の人物と女性の人物の位置に応じて、前記第１の人物選択画像と前記第２の人物選択画像の表示位置を切り替える請求項１に記載のプログラム。
【請求項5】
加工対象として選択中の前記撮影画像において、男性の人物が左側、女性の人物が右側に写っている場合と、男性の人物が右側、女性の人物が左側に写っている場合のいずれの場合でも、前記第１の人物選択画像と前記第２の人物選択画像の表示位置を切り替えない請求項１に記載のプログラム。
【請求項6】
前記加工画面には、加工対象とする人物の体形の調整に用いられる操作画像がさらに配置され、加工対象とする１人の人物が前記人物選択画像を用いて選択されることに応じて、前記操作画像の表示を、操作不可の状態に切り替える
請求項１に記載のプログラム。
【請求項7】
情報処理装置が、複数枚の撮影画像のそれぞれを対象として、被写体として写る人物の性別を機械学習によって生成された推論モデルを用いて認識し、
加工対象とする人物の選択に用いられる人物選択画像が配置され、複数枚の前記撮影画像のそれぞれを対象とした加工の内容の選択に用いられる加工画面の表示を制御し、
加工対象として選択中の前記撮影画像のうちの、前記人物選択画像を用いて選択された人物の部分に加工を施す情報処理方法であって、
加工対象として選択中の前記撮影画像に男性の人物と女性の人物が写っている場合、男性の人物を加工対象とするときに操作される第１の人物選択画像と女性の人物を加工対象とするときに操作される第２の人物選択画像を表示し、
加工対象として選択中の前記撮影画像に男性の人物が１人で写っている場合、女性の人物を選択できない状態の前記人物選択画像を表示し、
加工対象として選択中の前記撮影画像に女性の人物が１人で写っている場合、男性の人物を選択できない状態の前記人物選択画像を表示するように、
加工対象として選択中の前記撮影画像に被写体として写る人物の性別に応じて、前記人物選択画像の表示を制御する
情報処理方法。
【請求項8】
複数枚の撮影画像のそれぞれを対象として、被写体として写る人物の性別を機械学習によって生成された推論モデルを用いて認識する認識部と、加工対象とする人物の選択に用いられる人物選択画像が配置され、複数枚の前記撮影画像のそれぞれを対象とした加工の内容の選択に用いられる加工画面の表示を制御する表示制御部と、
加工対象として選択中の前記撮影画像のうちの、前記人物選択画像を用いて選択された人物の部分に加工を施す画像処理部と
を備え、
前記表示制御部は、
加工対象として選択中の前記撮影画像に男性の人物と女性の人物が写っている場合、男性の人物を加工対象とするときに操作される第１の人物選択画像と女性の人物を加工対象とするときに操作される第２の人物選択画像を表示し、
加工対象として選択中の前記撮影画像に男性の人物が１人で写っている場合、女性の人物を選択できない状態の前記人物選択画像を表示し、
加工対象として選択中の前記撮影画像に女性の人物が１人で写っている場合、男性の人物を選択できない状態の前記人物選択画像を表示するように、
加工対象として選択中の前記撮影画像に被写体として写る人物の性別に応じて、前記人物選択画像の表示を制御する
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、プログラム、情報処理方法、情報処理装置に関し、特に、加工対象とする人物を直感的に選択できるようにしたプログラム、情報処理方法、情報処理装置に関する。
【背景技術】
【0002】
証明写真機やゲームセンターに設置されるプリントシール機などの撮影装置においては、撮影後の画像の写りをユーザが自分で調整できるようになっている。ユーザは、シール紙などに印刷された状態で受け取ることになる画像の写りを１枚ずつ好みに応じて調整することができる。
【0003】
特許文献１には、撮影コースとしてカップルコースが選択された場合、編集画面に表示させる編集ツールを男性と女性の撮影時の立ち位置に応じて変更する技術が記載されている。例えば、男性のユーザに割り当てられた領域には比較的簡単な編集ツールの選択に用いられるボタンが表示される。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１４－０７４９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
写りの調整対象として選択中の画像に複数の人物が写っている場合、ある人物と他の人物に対してそれぞれ異なる画像処理を施すような操作を行いたい場合がある。
【0006】
本技術はこのような状況に鑑みてなされたものであり、加工対象とする人物を直感的に選択できるようにするものである。
【課題を解決するための手段】
【0007】
本技術の一側面のプログラムは、複数枚の撮影画像のそれぞれを対象として、被写体として写る人物の性別を機械学習によって生成された推論モデルを用いて認識し、加工対象とする人物の選択に用いられる人物選択画像が配置され、複数枚の前記撮影画像のそれぞれを対象とした加工の内容の選択に用いられる加工画面の表示を制御し、加工対象として選択中の前記撮影画像のうちの、前記人物選択画像を用いて選択された人物の部分に加工を施す処理をコンピュータに実行させるプログラムである。加工対象として選択中の前記撮影画像に男性の人物と女性の人物が写っている場合、男性の人物を加工対象とするときに操作される第１の人物選択画像と女性の人物を加工対象とするときに操作される第２の人物選択画像を表示し、加工対象として選択中の前記撮影画像に男性の人物が１人で写っている場合、女性の人物を選択できない状態の前記人物選択画像を表示し、加工対象として選択中の前記撮影画像に女性の人物が１人で写っている場合、男性の人物を選択できない状態の前記人物選択画像を表示するように、加工対象として選択中の前記撮影画像に被写体として写る人物の性別に応じて、前記人物選択画像の表示が制御される。
【0008】
本技術の一側面においては、加工対象として選択中の前記撮影画像に男性の人物と女性の人物が写っている場合、男性の人物を加工対象とするときに操作される第１の人物選択画像と女性の人物を加工対象とするときに操作される第２の人物選択画像を表示し、加工対象として選択中の前記撮影画像に男性の人物が１人で写っている場合、女性の人物を選択できない状態の前記人物選択画像を表示し、加工対象として選択中の前記撮影画像に女性の人物が１人で写っている場合、男性の人物を選択できない状態の前記人物選択画像を表示するように、加工対象として選択中の前記撮影画像に被写体として写る人物の性別に応じて、前記人物選択画像の表示が制御される。
【発明の効果】
【0009】
本技術によれば、加工対象とする人物を直感的に選択することができる。
【図面の簡単な説明】
【0010】
【図1】撮影スタジオにおける作業の流れを示す図である。
【図2】撮影画像の提供の例を示す図である。
【図3】レタッチ画面の例を示す図である。
【図4】レタッチ選択領域の表示を拡大して示す図である。
【図5】レタッチパラメータの適用の例を示す図である。
【図6】動作モードの選択画面の例を示す図である。
【図7】作業の流れを示す図である。
【図8】作業の流れを示す他の図である。
【図9】人物選択ボタンの表示を拡大して示す図である。
【図10】人物選択ボタンが操作された場合の例を説明する図である。
【図11】人物選択ボタンの表示を拡大して示す図である。
【図12】人物選択ボタンの表示を拡大して示す図である。
【図13】人物選択ボタンが操作された場合の例を説明する図である。
【図14】人物選択ボタンの表示を拡大して示す図である。
【図15】人物選択ボタンの表示を拡大して示す図である。
【図16】レタッチ用PCの構成例を示すブロック図である。
【図17】レタッチ用PCの機能構成例を示すブロック図である。
【図18】管理ファイルの例を示す図である。
【図19】レタッチ対象の撮影画像の例を示す図である。
【図20】スタイルアップの画像処理の例を示す図である。
【図21】スタイルアップ前と後の撮影画像の例を示す図である。
【図22】スタイルアップの画像処理の例を示す図である。
【図23】引き伸ばし方向の例を示す図である。
【図24】レタッチ画面の表示例を示す図である。
【図25】レタッチ画面の他の表示例を示す図である。
【図26】レタッチ画面の他の表示例を示す図である。
【図27】枠画像の表示例を示す図である。
【図28】レタッチ対象とするか否かの選択例を示す図である。
【図29】特徴の認識結果の提示例を示す図である。
【図30】特徴の認識結果の他の提示例を示す図である。
【図31】画像選択画面の例を示す図である。
【発明を実施するための形態】
【0011】
＜＜撮影スタジオでの作業の流れ＞＞
図１は、撮影スタジオにおける作業の流れを示す図である。
図１は、撮影スタジオにおける作業の流れを示す図である。
【0012】
本技術は、例えばウェディングの記念撮影を行う撮影スタジオにおいて用いられる。本技術は、入学／卒業の記念写真、成人式の記念写真、七五三の記念写真などの、各種のイベントの記念写真の撮影を行う場合にも適用可能である。
【0013】
図１の左側に示すように、撮影スタジオにおける撮影はカメラマンにより行われる。図１の例においては、背景スクリーンの前に立つ新郎と新婦を被写体として撮影が行われている。新郎はタキシード姿であり、新婦はウェディングドレス姿である。新郎と新婦の周りには、カメラマンによる撮影にあわせて発光するストロボ装置などの機材が配置される。新郎新婦などの撮影が撮影スタジオの外で行われるようにしてもよい。
【0014】
カメラマンによる撮影は、構図を変えて、５０枚、１００枚などの多くの枚数の静止画像（写真）を撮影するようにして行われる。静止画像の構図は、新郎と新婦のポーズ、新郎、新婦とカメラマンとの位置関係、焦点距離などのカメラパラメータなどにより決定される。カメラマンにより撮影された静止画像である撮影画像は、カメラに接続された図示せぬPCに転送され、保存される。
【0015】
撮影が終了した後、新郎と新婦は、撮影スタジオに用意されたレタッチスペースに移動し、図１の右側に示すように、レタッチ用PC１を利用して、カメラマンに撮影してもらった撮影画像を確認する。
【0016】
また、新郎と新婦は、レタッチ用PC１のユーザとして、例えば最終的に印刷してもらう枚数の撮影画像を選択し、自らレタッチすることによって、それぞれの撮影画像の写りを調整する。カメラマンにより撮影してもらった撮影画像の中から選択された一部の撮影画像を対象としてレタッチが行われる。例えば、ユーザが申し込んだプランに応じた、５枚、１０枚などの所定の枚数の撮影画像がレタッチ対象の画像として選択される。レタッチ（加工）には、撮影画像の写りを調整するための各種の画像処理が含まれる。
【0017】
レタッチスペースには、１台、または複数台のレタッチ用PC１が用意される。保存用のPCに保存された撮影画像がレタッチ用PC１に転送され、レタッチ用PC１のディスプレイ１１に表示される。レタッチ用PC１には、カメラマンに撮影してもらった撮影画像をレタッチすることに用いられるアプリケーションであるレタッチアプリ１Ａがインストールされている。
【0018】
このように、本技術を適用したレタッチ用PC１が設置された撮影スタジオにおいては、カメラマンに撮影してもらった撮影画像のレタッチがユーザ（新郎と新婦）自身により行われる。ユーザは、レタッチアプリ１Ａの機能を利用して、自分の好みの写りとなるように撮影画像のレタッチを行うことができる。タブレット端末などの、PCとは異なる端末にレタッチアプリ１Ａがインストールされ、レタッチに用いられるようにしてもよい。
【0019】
図２は、撮影画像の提供の例を示す図である。
【0020】
レタッチアプリ１Ａによるレタッチ済みの撮影画像は、撮影スタジオの運営会社により印刷され、矢印＃１に示すように、例えばアルバムなどの形で後日ユーザに渡される。
【0021】
また、レタッチ済みの撮影画像は、矢印＃２に示すように、レタッチ用PC１から画像管理サーバ２にアップロードされ、画像管理サーバ２において管理される。画像管理サーバ２は、例えばインターネット上のサーバである。撮影スタジオの運営会社により、または、撮影スタジオの運営会社とは異なる事業者により画像管理サーバ２が管理される。
【0022】
ユーザは、スマートフォンなどの自分の携帯端末３を操作し、画像管理アプリ３Ａを操作することによって、矢印＃３に示すように、自分たちが被写体となって撮影してもらった撮影画像を閲覧したり、ダウンロードしたりすることができる。画像管理アプリ３Ａは、画像管理サーバ２において管理されている撮影画像の閲覧等を行うためのアプリケーションである。画像管理アプリ３Ａは、例えば、画像管理サーバ２を管理する事業者により提供される。
【0023】
撮影スタジオにおいて撮影された撮影画像の提供は、アルバムの形で行われるとともに、適宜、データの形で行われることになる。データでの撮影画像の提供が、アルバムの料金とは別料金で可能となるようにしてもよい。
【0024】
データでの撮影画像の提供は、ユーザによりレタッチが行われた撮影画像だけでなく、レタッチ対象としてユーザにより選択されなかった撮影画像をも提供するようにして行われる。レタッチ対象としてユーザにより選択されなかった撮影画像については、後述するように、ユーザの操作によらずに、レタッチアプリ１Ａによって自動的にレタッチが行われる。
【0025】
ユーザは、レタッチ対象として選択しなかった撮影画像についても、データの形で受け取ることが可能となる。画像管理アプリ３Ａを用いるのではなく、ブラウザを利用して所定のサイトにアクセスし、画像管理サーバ２において管理されている撮影画像を受け取ることができるようにしてもよい。例えば、画像管理サーバ２の管理者が提供する画像提供サービスの会員登録を行うことにより、ユーザは、画像管理サーバ２において管理されている撮影画像を、画像管理アプリ３Ａを利用して、または、ブラウザを利用して受け取ることが可能となる。
【0026】
携帯端末３ではなく、タブレット端末やPCなどの他の端末を利用して撮影画像を受け取ることができるようにしてもよい。
【0027】
【0028】
撮影画像のレタッチに用いられる画面であるレタッチ画面の中央上方には表示領域３１が形成される。表示領域３１は、いまレタッチ対象となっている１枚の撮影画像が拡大表示される領域である。表示領域３１の左側に形成されたサムネイル領域３２には、ユーザにより選択された撮影画像のサムネイル画像が表示される。図３の例においては、撮影画像Ｐ１乃至Ｐ５の５枚の撮影画像のサムネイル画像が表示されている。サムネイル画像を用いて選択された撮影画像Ｐ１が、表示領域３１に拡大表示される。
【0029】
レタッチ画面の下には横長のレタッチ選択領域３３が形成される。レタッチ選択領域３３に表示されたボタンを用いて、レタッチの内容が選択される。レタッチ選択領域３３に表示されたボタンを用いてレタッチの内容が選択される毎に、選択された内容が表示領域３１の表示に反映される。ユーザは、表示領域３１の表示を見ながら、いまレタッチ対象となっている撮影画像に施すレタッチの内容をレタッチ選択領域３３の表示を用いて選択することになる。
【0030】
図４は、レタッチ選択領域３３の表示を拡大して示す図である。
【0031】
レタッチ選択領域３３は、顔・体全体の調整に用いられる情報の表示領域である領域３３－１、目元・メイクの調整に用いられる情報の表示領域である領域３３－２、および、明るさの調整に用いられる情報の表示領域である領域３３－３から形成される。
【0032】
レタッチ選択領域３３の左側に形成された領域３３－１には、小顔感の調整に用いられる調整ボタン５１、顔の形の調整に用いられる調整ボタン５２、肌質の調整に用いられる調整ボタン５３、あごの長さの調整に用いられる調整ボタン５４、スタイルの調整（スタイルアップ）に用いられる調整ボタン５５が表示される。
【0033】
小顔感として、５段階のレベル（調整度合い）が用意される。小顔感の「０」は、顔の大きさを変えないで、オリジナルの大きさのままとすることを表す。また、小顔感の「１」は、「１」に対応するパラメータに基づいて、顔の大きさを１段階小さくすることを表す。ユーザは、「１」乃至「４」のいずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分の顔の大きさを調整することができる。
【0034】
顔の形として、「まる」、「たまご」、「ほっそり」が用意される。ユーザはいずれかの形を選択することにより、表示領域３１に表示されている撮影画像に写る自分の顔の形を調整することができる。「レタッチなし」を選択することにより、顔の形を変えないことも可能とされる。
【0035】
肌質として、５段階のレベルが用意される。肌質の「０」は、肌質を変えないで、オリジナルの肌質のままとすることを表す。また、肌質の「１」は、「１」に対応するパラメータに基づいて、肌質のレベルを１段階上げることを表す。ユーザは、「１」乃至「４」のいずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分の肌質の滑らかさの程度を調整することができる。
【0036】
あごの長さとして、３段階のレベルが用意される。あごの長さの「０」は加工なし、すなわちあごの長さを変えないで、オリジナルの長さのままとすることを表す。また、あごの長さの「短い」は、「短い」に対応するパラメータに基づいて加工を行い、あごの長さを１段階短くすることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分のあごの長さを調整することができる。
【0037】
スタイルアップとして、３段階のレベルが用意とされる。スタイルアップの「０」は加工なし、すなわちスタイルを変えないで、オリジナルのスタイルのままとすることを表す。また、スタイルアップの「弱い」は、「弱い」に対応するパラメータに基づいて、足を長くするなどの加工を行い、全身のバランスを１段階よくすることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分のスタイルを調整することができる。
【0038】
レタッチ選択領域３３の中央に形成された領域３３－２には、目の大きさの調整に用いられる調整ボタン５６、目の形の調整に用いられる調整ボタン５７、メイクの濃さの調整に用いられる調整ボタン５８、鼻筋の調整に用いられる調整ボタン５９、ひげ消しの調整に用いられる調整ボタン６０が表示される。
【0039】
目の大きさとして、５段階のレベルが用意される。目の大きさの「０」は加工なし、すなわち目の大きさを変えないで、オリジナルの大きさのままとすることを表す。また、目の大きさの「１」は、「１」に対応するパラメータに基づいて、目の大きさを１段階大きくすることを表す。ユーザは、「１」乃至「４」のいずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分の目の大きさを調整することができる。
【0040】
目の形として、「まる目」、「たれ目」、「ねこ目」が用意される。ユーザは、いずれかの形を選択することにより、表示領域３１に表示されている撮影画像に写る自分の目の形を調整することができる。「加工なし」を選択することにより、目の形を変えないことも可能とされる。
【0041】
メイクの濃さとして、５段階のレベルが用意される。メイクの濃さの「０」は、メイクの濃さを変えないで、オリジナルの濃さのままとすることを表す。また、メイクの濃さの「１」は、「１」に対応するパラメータに基づいて、メイクの濃さを１段階濃くすることを表す。ユーザは、「１」乃至「４」のいずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分のメイクの濃さを調整することができる。
【0042】
鼻筋として、オン／オフを選択することが可能とされる。ユーザは、オンまたはオフを選択することにより、表示領域３１に表示されている撮影画像に写る自分の鼻筋のハイライト部分を強調するか、オリジナルの状態のままとするかを選択することができる。
【0043】
ひげ消しとして、３段階のレベルが用意される。ひげ消しの「０」は、ひげを変えないで、オリジナルのひげのままとすることを表す。また、ひげ消しの「弱い」は、「弱い」に対応するパラメータに基づいて加工を行い、ひげを１段階薄くすることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分のひげの濃さを調整することができる。ひげ消しの機能は、レタッチ対象の人物が新郎である場合に有効となる。
【0044】
レタッチ選択領域３３の右側に形成された領域３３－３には、肌の明るさの調整に用いられる調整ボタン６１、全体の明るさの調整に用いられる調整ボタン６２、背景のみの明るさの調整に用いられる調整ボタン６３が表示される。
【0045】
肌の明るさとして、３段階のレベルが用意される。肌の明るさの「０」は、肌の明るさを変えないで、オリジナルの明るさのままとすることを表す。また、肌の明るさの「１」は、「１」に対応するパラメータに基づいて、肌の明るさのレベルを１段階上げることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分の肌の明るさを調整することができる。
【0046】
全体の明るさとして、３段階のレベルが用意される。全体の明るさの「０」は、全体の明るさを変えないで、オリジナルの明るさのままとすることを表す。また、全体の明るさの「１」は、「１」に対応するパラメータに基づいて、全体の明るさのレベルを１段階上げることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る全体の明るさを調整することができる。
【0047】
背景の明るさとして、３段階のレベルが用意される。背景の明るさの「０」は、背景の明るさを変えないで、オリジナルの明るさのままとすることを表す。また、背景の明るさの「１」は、「１」に対応するパラメータに基づいて、背景の明るさのレベルを１段階上げることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る背景の明るさを調整することができる。
【0048】
図３の説明に戻り、表示領域３１の左側には一括レタッチに用いられる一括レタッチボタン３４が表示される。一括レタッチは、上述したような各種のレタッチ内容の組み合わせを一括して選択する機能である。
【0049】
図３の例においては、レタッチ内容のレベルの組み合わせが異なる３種類のレベルの一括レタッチの中からいずれかのレベルを選択することができるようになっている。ユーザは、一括レタッチの機能を利用することにより、それぞれのレタッチ内容をレタッチ選択領域３３の表示を用いて選択することなく、一度の操作で選択することができる。
【0050】
表示領域３１の右側には加工前ボタン３５が表示される。加工前ボタン３５は、表示領域３１の表示を、レタッチ前の状態に切り替えるときに操作されるボタンである。加工前ボタン３５が押下されている間、レタッチ前の状態の撮影画像が表示領域３１に表示される。ユーザは、加工前ボタン３５を用いることにより、レタッチ後の状態とレタッチ前の状態とを見比べ、レタッチの度合いが強すぎないかどうかなどを確認することができる。
【0051】
加工前ボタン３５の下には、レタッチ対象とする人物の選択に用いられる人物選択ボタン３６が表示される。ユーザは、人物選択ボタン３６を用いることにより、撮影画像の左側に写る人物のみ、右側に写る人物のみ、２人とも、のいずれかを選択してレタッチを施すことができる。撮影画像に対して顔認識などが行われ、レタッチの画像処理の対象となる人物がユーザの操作に応じて選択される。
【0052】
ユーザは、このような各種の機能を用いて、表示領域３１に表示させている撮影画像に施すレタッチの内容を選択することができる。このように、レタッチアプリ１Ａを用いて行うことができるレタッチには、顔・体全体の調整、目元・メイクの調整、明るさの調整が少なくとも含まれる。
【0053】
レタッチ対象とする撮影画像がサムネイル画像を用いて切り替えられ、撮影画像Ｐ１乃至Ｐ５のそれぞれのレタッチが順次行われる。撮影画像Ｐ１乃至Ｐ５のそれぞれのレタッチが終わったとき、レタッチ画面を用いたレタッチが終了となる。
【0054】
＜全数反映＞
図５は、レタッチパラメータの適用の例を示す図である。
図５は、レタッチパラメータの適用の例を示す図である。
【0055】
図５に示すように、ユーザによる操作によって撮影画像Ｐ１乃至Ｐ５のそれぞれに施されたレタッチの内容が全ての未選択画像に反映される。未選択画像は、レタッチ対象として選択されなかった撮影画像である。画像選択画面においてレタッチ対象として選択された撮影画像は、選択画像となる。例えば、１００枚の撮影画像の中から５枚の撮影画像が選択画像として選択された場合、残りの９５枚の撮影画像が未選択画像となる。
【0056】
すなわち、プランに応じた枚数の分だけレタッチ対象として選択された撮影画像（選択画像）のレタッチが、レタッチ画面を用いてユーザにより直接選択された内容に従って行われるのに対して、レタッチ対象として選択されなかった未選択画像のレタッチは、違う画像である選択画像を対象として選択された内容を自動的に反映させるようにして行われる。例えば、全ての未選択画像に対して、選択画像のレタッチの内容が反映される。
【0057】
このように、ユーザ自身によるレタッチの後、選択画像のレタッチの内容を未選択画像に反映させる機能である全数反映の機能がレタッチアプリ１Ａに用意される。
【0058】
ブライダル写真などのイベントの撮影においては、通常、数百枚分などの多くの撮影が行われる。カメラマンに撮影してもらった全ての画像のレタッチをユーザが自ら手動で行うのは負担が大きい。選択画像のレタッチの内容が全ての未選択画像に反映されるようにすることにより、ユーザは、撮影してもらった全ての画像を、自分の好みの写りに調整された状態で受け取ることができる。
【0059】
レタッチ済みの撮影画像Ｐ１乃至Ｐ５のうちのどの撮影画像のレタッチの内容をどの未選択画像に対して反映させるかが、同じ人物が写っているかどうか、顔の大きさが同程度の大きさであるかどうかなどの、選択画像と未選択画像のそれぞれの特徴によって選択される。例えば、ある未選択画像に対しては、その未選択画像に写っている人物と同じ人物の顔が同程度の大きさで写っている選択画像のレタッチの内容が反映される。
【0060】
この場合、それぞれの撮影画像（選択画像と未選択画像）に写る人物の人数、顔のサイズなどの特徴が認識される。それぞれの未選択画像に対して、同じ特徴を有する選択画像のレタッチの内容が反映される。
【0061】
レタッチアプリ１Ａには、このような撮影画像の特徴を認識する機能も搭載される。サイズだけでなく、顔の向きなどの他の顔の状態が認識されるようにしてもよい。また、人物の性別、年齢、撮影場所（屋外／屋内）などの、他の種類の特徴が認識されるようにしてもよい。
【0062】
＜接客モードと書き出しモード＞
レタッチアプリ１Ａの動作モードとして接客モードと書き出しモードが用意される。接客モードは、レタッチ画面を用いたレタッチをユーザが行うときに選択される動作モードである。書き出しモードは、全数反映を行うときに選択される動作モードである。
レタッチアプリ１Ａの動作モードとして接客モードと書き出しモードが用意される。接客モードは、レタッチ画面を用いたレタッチをユーザが行うときに選択される動作モードである。書き出しモードは、全数反映を行うときに選択される動作モードである。
【0063】
図６は、動作モードの選択画面の例を示す図である。
【0064】
選択画面には、接客モードを選択するときに操作されるボタン８１と、書き出しモードを選択するときに操作されるボタン８２が表示される。あるユーザにレタッチを行ってもらう場合、例えば撮影スタジオのスタッフは、図６に示すような選択画面を用いて接客モードを選択し、ユーザにレタッチを行ってもらうことになる。また、ユーザによるレタッチの終了後、撮影スタジオのスタッフは、書き出しモードを選択し、全数反映を行うことになる。
【0065】
図７は、あるユーザを対象とした作業の流れを示す図である。
【0066】
図７に示すように、ユーザを被写体としたカメラマンによる撮影が行われ、その後、レタッチアプリ１Ａの接客モードを利用して、ユーザによるレタッチが行われる。ユーザによるレタッチの終了後、書き出しモードを利用して、スタッフによる全数反映が行われる。
【0067】
上述したように、１回の撮影で数百枚の撮影が行われるため、全数反映は、レタッチ用PC１の処理負担が大きく、かつ、時間がかかる処理となる。書き出しモードを用意し、書き出しモードが選択されてから全数反映が行われるようにすることにより、レタッチの終了直後に全数反映が自動的に開始されてしまい、それによって次のユーザのレタッチを開始させることができないといった状態になるのを防ぐことが可能となる。
【0068】
すなわち、図８に示すように、複数のユーザ（新郎新婦の複数のペア）の分の全数反映を、全てのユーザのレタッチの終了後に行うことが可能となる。
【0069】
図８の例においては、ある新郎新婦のペアであるユーザ＃１の撮影後にユーザ＃１によるレタッチが行われ、その後、違う新郎新婦のペアであるユーザ＃２の撮影と、ユーザ＃２によるレタッチが行われている。ユーザ＃２のレタッチの後、さらに、違う新郎新婦のペアをユーザとした撮影と、そのユーザによるレタッチが行われる。ユーザ＃１によるレタッチとユーザ＃２の撮影が並行して行われるといったように、あるユーザの作業は、適宜、他のユーザの作業と並行して行われる。
【0070】
例えば全てのユーザの撮影とレタッチが終了した後、書き出しモードを利用して、それぞれのユーザの分の全数反映が行われる。図８の例においては、ユーザ＃１の分の全数反映の後に、ユーザ＃２の分の全数反映が行われている。
【0071】
このように、複数のユーザの分の全数反映をまとめて実行させることができるようにすることにより、レタッチが行われる毎に全数反映を実行する場合と較べて、全体のオペレーションの効率化を図ることが可能となる。
【0072】
＜人物選択ボタン３６の表示切り替え＞
図３を参照して説明したように、レタッチ画面には、レタッチ対象とする人物の選択に用いられる人物選択ボタン３６が用意される。ユーザは、人物選択ボタン３６を用いることにより、レタッチ対象として選択中の選択画像に複数の人物が写っている場合であっても、レタッチ対象とする人物を個別に選択し、写りを人物毎に調整することが可能となる。
図３を参照して説明したように、レタッチ画面には、レタッチ対象とする人物の選択に用いられる人物選択ボタン３６が用意される。ユーザは、人物選択ボタン３６を用いることにより、レタッチ対象として選択中の選択画像に複数の人物が写っている場合であっても、レタッチ対象とする人物を個別に選択し、写りを人物毎に調整することが可能となる。
【0073】
人物選択ボタン３６の表示が、レタッチ対象として選択中の選択画像の特徴に応じて切り替えられる。選択画像の特徴によっては、レタッチ対象とする選択画像を切り替える毎に、人物選択ボタン３６の表示が切り替えられる。
【0074】
・人数に応じた表示の切り替えの例
図９は、人物選択ボタン３６の表示を拡大して示す図である。
図９は、人物選択ボタン３６の表示を拡大して示す図である。
【0075】
新郎と新婦が左右に並んで写る撮影画像Ｐ１が図９の左側に示すようにレタッチ対象として選択中である場合、図９の右側に示すように、左側に写る人物だけをレタッチ対象として個別に選択するときに操作されるボタン４１Ａ、右側に写る人物だけをレタッチ対象として個別に選択するときに操作されるボタン４１Ｂ、および、２人をレタッチ対象として選択するときに操作されるボタン４１Ｃが人物選択ボタン３６として表示される。円形のボタン４１Ａ、ボタン４１Ｂ、ボタン４１Ｃには、それぞれの選択内容の説明となる文字が表示される。
【0076】
レタッチ用PC１には、選択画像に写る人物の顔を認識することによって、選択画像に写る人物の数を特定する機能が搭載される。
【0077】
この状態において図１０Ａの右側に示すようにボタン４１Ａが操作された場合、左側に写る新郎だけがレタッチ対象として選択され、新郎の顔を囲むように枠が表示される。ユーザ（例えば新郎）は、レタッチ選択領域３３の表示を用いることにより、新郎の顔の写りなどを調整することができる。
【0078】
一方、図１０Ｂの右側に示すようにボタン４１Ｂが操作された場合、右側に写る新婦だけがレタッチ対象として選択され、新婦の顔を囲むように枠が表示される。ユーザ（例えば新婦）は、レタッチ選択領域３３の表示を用いることにより、新婦の顔の写りなどを調整することができる。
【0079】
ボタン４１Ｃが操作された場合、左側に写る新郎と右側に写る新婦の２人がレタッチ対象として選択され、それぞれの顔を囲むように２つの枠が表示される。
【0080】
このように、複数の人物が写っている撮影画像がレタッチ対象として選択中である場合、左右の人物を個別に選択するときに用いられるボタンを操作可能とした状態（オン状態）の人物選択ボタン３６が表示される。
【0081】
図１１は、人物選択ボタン３６の表示を拡大して示す他の図である。
【0082】
新婦がアップで写る撮影画像Ｐ３が図１１の左側に示すようにレタッチ対象として選択中である場合、図１１の右側に示すように、人物選択ボタン３６がグレーアウトして表示され、人物選択ボタン３６を構成するボタン４１Ａ、ボタン４１Ｂ、ボタン４１Ｃが操作不可とされる。撮影画像Ｐ３に写る人物は新婦だけであるから、撮影画像Ｐ３がレタッチ対象として選択されている間は、レタッチ対象の人物が新婦に固定される。新婦の顔を囲む枠が表示されるようにしてもよいし、表示されないようにしてもよい。
【0083】
１人の人物が写っている撮影画像がレタッチ対象として選択中である場合、左右の人物を個別に選択するときに用いられるボタンを操作不可とした状態（オフ状態）の人物選択ボタン３６が表示される。
【0084】
例えば、撮影画像Ｐ１の次に撮影画像Ｐ３がレタッチ対象として選択され、その後、新郎と新婦が写っている撮影画像Ｐ５（図３）がレタッチ対象として選択された場合、人物選択ボタン３６の状態は、レタッチ対象の撮影画像が切り替えられる毎にオン状態、オフ状態、オン状態と切り替えられることになる。
【0085】
人物選択ボタン３６のオン／オフの状態がレタッチ対象の撮影画像に写る人数に応じて切り替えられることにより、ユーザは、レタッチ対象とする人物を容易に選択することができる。
【0086】
選択画像として選択された５枚全てが１人の人物が写っている撮影画像であるときに人物選択ボタン３６が表示されないようにしてもよい。この場合、人物選択ボタン３６の表示領域には、何も表示されないか、装飾用の画像が表示される。
【0087】
このように、複数人の人物が写っている選択画像が１枚でもあれば人物選択ボタン３６がオン状態またはオフ状態で表示され、複数人の人物が写っている選択画像が１枚もなければ人物選択ボタン３６が表示されないようにすることが可能である。
【0088】
・性別に応じた表示の切り替えの例
図１２は、人物選択ボタン３６の表示を拡大して示す図である。
図１２は、人物選択ボタン３６の表示を拡大して示す図である。
【0089】
新郎と新婦が左右に並んでアップで写る撮影画像Ｐ５が図１２の左側に示すようにレタッチ対象として選択中である場合、図１２の右側に示すように、男性だけをレタッチ対象として個別に選択するときに操作されるボタン４２Ａ、女性だけをレタッチ対象として個別に選択するときに操作されるボタン４２Ｂ、および、２人をレタッチ対象として選択するときに操作されるボタン４２Ｃが人物選択ボタン３６として表示される。ボタン４２Ａ、ボタン４２Ｂ、ボタン４２Ｃには、それぞれの選択内容の説明となる文字が表示される。ボタン４２Ａ乃至４２Ｃには、ボタン４１Ａ乃至４１Ｃに表示される文字とは異なる文字が表示される。文字ではなく、記号などの他の情報を用いて選択内容が提示されるようにしてもよい。ボタン４２Ａに「新郎だけ」の文字が表示され、ボタン４２Ｂに「新婦だけ」の文字が表示されるようにしてもよい。
【0090】
この状態において図１３Ａの右側に示すようにボタン４２Ａが操作された場合、男性である新郎だけがレタッチ対象として選択され、新郎の顔を囲むように枠が表示される。ユーザ（例えば新郎）は、レタッチ選択領域３３の表示を用いることにより、新郎の顔の写りなどを調整することができる。
【0091】
一方、図１３Ｂの右側に示すようにボタン４２Ｂが操作された場合、女性である新婦だけがレタッチ対象として選択され、新婦の顔を囲むように枠が表示される。ユーザ（例えば新婦）は、レタッチ選択領域３３の表示を用いることにより、新婦の顔の写りなどを調整することができる。
【0092】
ボタン４２Ｃが操作された場合、男性である新郎と女性である新婦の２人がレタッチ対象として選択され、それぞれの顔を囲むように２つの枠が表示される。
【0093】
このように、男性と女性が写っている撮影画像がレタッチ対象として選択中である場合、男性と女性を個別に選択するときに用いられるボタンを操作可能とした状態（オン状態）の人物選択ボタン３６が表示される。
【0094】
図１４は、人物選択ボタン３６の表示を拡大して示す図である。
【0095】
新婦がアップで写る撮影画像Ｐ３が図１４の左側に示すようにレタッチ対象として選択中である場合、図１４の右側に示すように、人物選択ボタン３６がグレーアウトして表示され、人物選択ボタン３６を構成するボタン４２Ａ、ボタン４２Ｂ、ボタン４２Ｃが操作不可とされる。撮影画像Ｐ３に写る人物は新婦だけであるから、撮影画像Ｐ３がレタッチ対象として選択されている間は、レタッチ対象の人物が新婦に固定される。新婦の顔を囲む枠が表示されるようにしてもよいし、表示されないようにしてもよい。
【0096】
１人の人物が写っている撮影画像がレタッチ対象として選択中である場合、男性と女性を個別に選択するときに用いられるボタンを操作不可とした状態（オフ状態）の人物選択ボタン３６が表示される。
【0097】
人物選択ボタン３６のオン／オフの状態がレタッチ対象の撮影画像に写る人物の性別に応じて切り替えられることにより、ユーザは、レタッチ対象とする人物を容易に選択することができる。
【0098】
選択画像として選択された５枚全てが１人の人物が写っている撮影画像であるときに人物選択ボタン３６が表示されないようにしてもよい。この場合、人物選択ボタン３６の表示領域には、何も表示されないか、装飾用の画像が表示される。
【0099】
このように、男性と女性が写っている選択画像が１枚でもあれば人物選択ボタン３６はオン状態またはオフ状態で表示され、男性と女性が写っている選択画像が１枚もなければ人物選択ボタン３６が表示されないようにすることが可能である。
【0100】
なお、レタッチ対象として選択中の撮影画像に女性２人が写っている場合、または、男性２人が写っている場合、左側に写る人物だけをレタッチ対象として個別に選択するときに操作されるボタン４１Ａ、右側に写る人物だけをレタッチ対象として個別に選択するときに操作されるボタン４１Ｂ、および、２人をレタッチ対象として選択するときに操作されるボタン４１Ｃからなる人物選択ボタン３６が表示される。
【0101】
・年齢に応じた表示の切り替えの例
図１５は、人物選択ボタン３６の表示を拡大して示す図である。
図１５は、人物選択ボタン３６の表示を拡大して示す図である。
【0102】
子どもと新婦が左右に並んで写る撮影画像Ｐ１１が図１５の左側に示すようにレタッチ対象として選択中である場合、図１５の右側に示すように、大人だけをレタッチ対象として個別に選択するときに操作されるボタン４３Ａ、子どもだけをレタッチ対象として個別に選択するときに操作されるボタン４３Ｂ、および、２人をレタッチ対象として選択するときに操作されるボタン４３Ｃが人物選択ボタン３６として表示される。ボタン４３Ａ、ボタン４３Ｂ、ボタン４３Ｃには、それぞれの選択内容の説明となる文字が表示される。
【0103】
この状態においてボタン４３Ａが操作された場合、大人である新婦だけがレタッチ対象として選択され、新婦の顔を囲むように枠が表示される。ユーザ（例えば新婦）は、レタッチ選択領域３３の表示を用いることにより、新婦の顔の写りなどを調整することができる。
【0104】
一方、ボタン４３Ｂが操作された場合、子どもだけがレタッチ対象として選択され、子どもの顔を囲むように枠が表示される。ユーザ（例えば子ども）は、レタッチ選択領域３３の表示を用いることにより、子どもの顔の写りなどを調整することができる。
【0105】
ボタン４３Ｃが操作された場合、子どもと、大人である新婦の２人がレタッチ対象として選択され、それぞれの顔を囲むように２つの枠が表示される。
【0106】
このように、大人と子どもが写っている撮影画像がレタッチ対象として選択中である場合、大人と子どもを個別に選択するときに用いられるボタンを操作可能とした状態（オン状態）の人物選択ボタン３６が表示される。
【0107】
新婦がアップで写る例えば撮影画像Ｐ３がレタッチ対象として選択中である場合、人物選択ボタン３６がグレーアウトして表示され、人物選択ボタン３６を構成するボタン４３Ａ、ボタン４３Ｂ、ボタン４３Ｃが操作不可とされる。撮影画像Ｐ３に写る人物は新婦だけであるから、撮影画像Ｐ３がレタッチ対象として選択されている間は、レタッチ対象が新婦に固定される。
【0108】
１人の人物が写っている撮影画像がレタッチ対象として選択中である場合、大人と子どもを個別に選択するときに用いられるボタンを操作不可とした状態（オフ状態）の人物選択ボタン３６が表示される。
【0109】
人物選択ボタン３６のオン／オフの状態がレタッチ対象の撮影画像に写る人物の年齢に応じて切り替えられることにより、ユーザは、レタッチ対象とする人物を容易に選択することができる。
【0110】
【0111】
CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続される。
【0112】
バス１０４には、さらに、入出力インタフェース１０５が接続される。入出力インタフェース１０５には、入力部１０６、出力部１０７、記録部１０８、通信部１０９、およびドライブ１１０が接続される。
【0113】
入力部１０６は、キーボード、マウスなどにより構成される。
【0114】
出力部１０７は、ディスプレイ１１などにより構成される。
【0115】
記録部１０８は、ハードディスクや不揮発性のメモリなどにより構成される。記録部１０８は、CPU１０１が実行するレタッチアプリ１Ａなどのプログラム、撮影画像などの各種の情報を記録する。
【0116】
通信部１０９は、インターネット、LANなどのネットワークに対するインタフェースである。例えば、通信部１０９は、撮影スタジオのカメラに接続された保存用のPCと通信を行い、保存用のPCから送信されてきた、レタッチを始めようとするユーザが被写体として写る撮影画像を受信する。また、通信部１０９は、画像管理サーバ２との間でインターネットを介して通信を行い、レタッチ済みの撮影画像を画像管理サーバ２に送信する。
【0117】
ドライブ１１０は、リムーバブルメディア１１１に対するデータの書き込み、リムーバブルメディア１１１からのデータの読み出しを制御する。保存用のPCからの撮影画像の取り込みがリムーバブルメディア１１１を介して行われるようにしてもよい。
【0118】
図１７は、レタッチ用PC１の機能構成例を示すブロック図である。
【0119】
図１７に示すように、レタッチ用PC１においては、レタッチアプリ１Ａが実行されることにより情報処理部１２１が実現される。情報処理部１２１は、画像取得部１３１、表示制御部１３２、認識部１３３、レタッチ処理部１３４、およびファイル管理部１３５により構成される。
【0120】
画像取得部１３１は、接客モード時、全ての撮影画像を記録部１０８から読み出して取得する。撮影が終了した場合、１組のユーザを被写体として撮影された数百枚などの全ての撮影画像が保存用のPCから転送され、記録部１０８に記録されている。画像取得部１３１により取得された撮影画像は、表示制御部１３２と認識部１３３に供給される。
【0121】
また、画像取得部１３１は、書き出しモード時、未選択画像を含む全ての撮影画像を記録部１０８から読み出して取得し、認識部１３３に出力する。
【0122】
表示制御部１３２は、接客モード時、画像取得部１３１から供給された撮影画像に基づいて画像選択画面を表示させる。また、表示制御部１３２は、選択画像とする撮影画像が画像選択画面を用いて選択された後、レタッチ画面を表示させ、レタッチ画面の表示を制御する。レタッチ画面を用いたレタッチが行われている間、画像処理の結果の情報がレタッチ処理部１３４から供給されてくる。
【0123】
例えば、レタッチ対象として選択中の撮影画像の特徴に応じて人物選択ボタン３６の表示を切り替えることが表示制御部１３２により行われる。上述したように、一方の人物だけを個別に選択することに用いられるボタン、他方の人物だけを個別に選択することに用いられるボタン、両方を選択することに用いられるボタンの３種類のボタンからなる人物選択ボタン３６の表示が表示制御部１３２により切り替えられる。
【0124】
認識部１３３は、接客モード時、画像選択画面を用いて選択されたそれぞれの選択画像の特徴を認識する。具体的には、認識部１３３は、選択画像に被写体として写るユーザの顔を認識し、認識した顔毎（人物毎）に、性別、年齢などの属性を認識する。顔と属性の認識は、機械学習によって生成された推論モデルを用いて行われる。
【0125】
例えば、認識部１３３には、撮影画像を入力とし、認識した顔の特徴点の情報を出力とする顔認識用の推論モデルが用意される。顔の特徴点には、顔の輪郭を示す特徴点だけでなく、顔の各部位の位置を示す特徴点も含まれる。また、認識部１３３には、撮影画像を入力とし、それぞれの人物の属性の情報を出力とする属性認識用の推論モデルが用意される。
【0126】
認識部１３３による認識が推論モデルを用いて行われるのではなく、画像を解析することによって行われるようにしてもよい。
【0127】
選択画像の特徴の情報は、認識対象となった選択画像とともにレタッチ処理部１３４とファイル管理部１３５に供給される。選択画像の特徴には、顔ID、顔の特徴点、顔サイズ、顔の向きの情報が含まれる。顔IDは、認識された顔の識別情報である。顔サイズと顔の向きは、例えば顔の特徴点に基づいて特定される。
【0128】
また、選択画像の特徴には、性別、年齢などの人物毎の属性が含まれる。
【0129】
また、認識部１３３は、書き出しモード時、それぞれの未選択画像を対象として、接客モード時と同様にして特徴を認識する。認識部１３３による認識結果の情報は、認識対象となった未選択画像とともにレタッチ処理部１３４とファイル管理部１３５に供給される。
【0130】
レタッチ処理部１３４は、接客モード時、レタッチ画面に対するユーザの操作に応じて、レタッチに関する各種の画像処理を行う。例えば、レタッチ処理部１３４は、目の大きさや目の形の調整に関する操作が行われた場合、目の輪廓の位置をユーザによる選択内容に応じてずらすなどの画像処理を行う。
【0131】
具体的には、レタッチ処理部１３４は、調整ボタン５６（図４）を用いて、「１」、「２」、「３」、「４」のいずれかのレベルが選択された場合、レタッチ対象となっている人物の目の領域をマスク処理などを行うことによって抽出する。レタッチ処理部１３４は、抽出した目の領域の画像を、選択されたレベルに応じて拡大させ、拡大後の目の領域の画像を抽出元の位置に貼り付けるようにして目の拡大処理を行う。
【0132】
また、レタッチ処理部１３４は、メイクの濃さの調整に関する操作が行われた場合、頬の部分に所定の色のチークの画像を合成したり、唇の部分に所定の色の口紅の画像を合成したりする画像処理を行う。
【0133】
レタッチ処理部１３４は、肌質の調整に関する操作が行われた場合、肌の明るさを調整するなどの画像処理を行う。レタッチ処理部１３４は、顔の大きさ（小顔感）や顔の形の調整に関する操作が行われた場合、顔の輪廓の位置をユーザによる選択内容に応じてずらすなどの画像処理を行う。
【0134】
具体的には、レタッチ処理部１３４は、調整ボタン５１（図４）を用いて、「１」、「２」、「３」、「４」のいずれかのレベルが選択された場合、レタッチ対象となっている人物の顔の輪郭の各位置を、選択されたレベルに応じて顔の中心方向にずらし、顔を小さくする画像処理を行う。
【0135】
レタッチ処理部１３４による画像処理の結果を表す情報は、表示制御部１３２に供給され、レタッチ画面の表示に用いられる。全ての選択画像のレタッチが終了した場合、レタッチ処理部１３４による画像処理によって生成されたレタッチ済みのそれぞれの選択画像は、レタッチの内容を示す情報とともにファイル管理部１３５に供給される。
【0136】
また、レタッチ処理部１３４は、書き出しモード時、レタッチ済みの選択画像に施したレタッチの内容を全ての未選択画像に反映させる。どの選択画像に施したレタッチの内容をどの未選択画像に反映させるのかは、例えば認識部１３３により認識された特徴に基づいて選択される。全ての未選択画像のレタッチが終了した場合、レタッチ処理部１３４による画像処理によって生成されたレタッチ済みのそれぞれの未選択画像は、レタッチの内容を示す情報とともにファイル管理部１３５に供給される。
【0137】
ファイル管理部１３５は、接客モード時、ユーザによる操作に応じてレタッチが施された選択画像を保存する。レタッチ済みの選択画像のファイルには、認識部１３３から供給された情報などに基づいて管理ファイルが紐付けられる。
【0138】
図１８は、管理ファイルの例を示す図である。
【0139】
図１８に示すように、管理ファイルには、画像サイズ、選択フラグ、レタッチ済みフラグの情報が含まれる。選択フラグは、選択画像として選択された撮影画像であるか否かを示すフラグである。レタッチ済みフラグは、レタッチ済みの撮影画像であるか否かを示すフラグである。
【0140】
また、管理ファイルには、顔IDが含まれるとともに、それぞれの顔IDと紐付けて、レタッチパラメータ、性別、年齢、顔サイズ、輪郭点、顔の向きの情報が含まれる。管理ファイルには、個別の人物を対象としたレタッチの内容を示すレタッチパラメータだけでなく、画像全体を対象としたレタッチの内容を示すレタッチパラメータ（スタイルアップ、画像の明るさなどのパラメータ）も記録される。
【0141】
また、ファイル管理部１３５は、書き出しモード時、レタッチ済みの選択画像の管理ファイルを読み出し、レタッチ処理部１３４に出力する。レタッチ処理部１３４に出力された管理ファイルは、選択画像に対して施されたレタッチの内容を特定するために用いられる。また、ファイル管理部１３５は、全数反映によってレタッチが施された未選択画像を保存する。レタッチ済みの未選択画像のファイルにも、認識部１３３から供給された情報などに基づいて管理ファイルが紐付けられる。
【0142】
＜＜レタッチ画面の表示の変形例＞＞
・顔枠画像の表示
人物選択ボタン３６を用いてレタッチ対象として選択された人物の顔を囲むように枠が表示されるものとしたが、この枠の色がボタンの色に連動するようにしてもよい。この場合、人物選択ボタン３６を構成するそれぞれのボタンは例えば異なる色で表示される。図１０Ａに示すようにボタン４１Ａが操作され、左側に写る新郎が選択された場合、新郎の顔を囲む枠はボタン４１Ａと同じ色で表示される。また、図１０Ｂに示すようにボタン４１Ｂが操作され、右側に写る新婦が選択された場合、新婦の顔を囲む枠はボタン４１Ｂと同じ色で表示される。
・顔枠画像の表示
人物選択ボタン３６を用いてレタッチ対象として選択された人物の顔を囲むように枠が表示されるものとしたが、この枠の色がボタンの色に連動するようにしてもよい。この場合、人物選択ボタン３６を構成するそれぞれのボタンは例えば異なる色で表示される。図１０Ａに示すようにボタン４１Ａが操作され、左側に写る新郎が選択された場合、新郎の顔を囲む枠はボタン４１Ａと同じ色で表示される。また、図１０Ｂに示すようにボタン４１Ｂが操作され、右側に写る新婦が選択された場合、新婦の顔を囲む枠はボタン４１Ｂと同じ色で表示される。
【0143】
これにより、人物選択ボタン３６を操作することによってどの人物がレタッチ対象として選択されたのかをユーザはより直感的に認識することができる。
【0144】
・属性の認識結果の信頼度に応じた表示
男性だけを選択するときに操作されるボタン４２Ａと女性だけを選択するときに操作されるボタン４２Ｂが認識部１３３により認識された性別に基づいて表示されるものとしたが、認識結果の信頼度が閾値より低い場合、ボタン４２Ａとボタン４２Ｂに代えて、左側の人だけを選択するときに操作されるボタン４１Ａと右側の人だけを選択するときに操作されるボタン４１Ｂが表示されるようにしてもよい。
男性だけを選択するときに操作されるボタン４２Ａと女性だけを選択するときに操作されるボタン４２Ｂが認識部１３３により認識された性別に基づいて表示されるものとしたが、認識結果の信頼度が閾値より低い場合、ボタン４２Ａとボタン４２Ｂに代えて、左側の人だけを選択するときに操作されるボタン４１Ａと右側の人だけを選択するときに操作されるボタン４１Ｂが表示されるようにしてもよい。
【0145】
同様に、大人だけを選択するときに操作されるボタン４３Ａと子どもだけを選択するときに操作されるボタン４３Ｂが認識部１３３により認識された年齢に基づいて表示されるものとしたが、認識結果の信頼度が閾値より低い場合、ボタン４３Ａとボタン４３Ｂに代えて、左側の人だけを選択するときに操作されるボタン４１Ａと右側の人だけを選択するときに操作されるボタン４１Ｂが表示されるようにしてもよい。
【0146】
この場合、認識部１３３による属性の認識結果に対しては信頼度が求められ、閾値と比較される。属性認識用の推論モデルから出力された信頼度が閾値との比較に用いられるようにしてもよいし、顔のサイズ、顔の向きなどに基づく計算によって求められた信頼度が閾値との比較に用いられるようにしてもよい。
【0147】
・属性の例
人数、性別、年齢が人物の属性として認識されるものとしたが、機械学習によって生成された推論モデルを用いたり、画像処理によって解析したりして認識可能な属性であれば他の属性が認識され、人物選択ボタン３６の表示に用いられるようにしてもよい。認識可能な属性には例えば以下のようなものがある。
背の高さ：背が高い人／背が低い人
衣装の色：白い服の人／黒い服の人
髪の長さ：髪が長い人／髪が短い人
人数、性別、年齢が人物の属性として認識されるものとしたが、機械学習によって生成された推論モデルを用いたり、画像処理によって解析したりして認識可能な属性であれば他の属性が認識され、人物選択ボタン３６の表示に用いられるようにしてもよい。認識可能な属性には例えば以下のようなものがある。
背の高さ：背が高い人／背が低い人
衣装の色：白い服の人／黒い服の人
髪の長さ：髪が長い人／髪が短い人
【0148】
・ボタンの表示位置
どの人物をレタッチ対象とするかを性別、年齢などの属性に基づいてユーザに選択させる場合、ボタンの表示位置が、撮影画像上におけるユーザの位置に応じて切り替えられるようにしてもよい。
どの人物をレタッチ対象とするかを性別、年齢などの属性に基づいてユーザに選択させる場合、ボタンの表示位置が、撮影画像上におけるユーザの位置に応じて切り替えられるようにしてもよい。
【0149】
例えば、新郎が左側に写り、新婦が右側に写る撮影画像（例えば図１２の撮影画像Ｐ５）がレタッチ対象として選択中である場合、新郎と新婦の位置にあわせて、男性だけをレタッチ対象として個別に選択するときに操作されるボタン４２Ａが左側に表示され、女性だけをレタッチ対象として個別に選択するときに操作されるボタン４２Ｂが右側に表示される。
【0150】
一方、新婦が左側に写り、新郎が右側に写る撮影画像（図示せず）がレタッチ対象として選択中である場合、新婦と新郎の位置にあわせて、女性だけをレタッチ対象として個別に選択するときに操作されるボタン４２Ｂが左側に表示され、男性だけをレタッチ対象として個別に選択するときに操作されるボタン４２Ａが右側に表示される。
【0151】
同様に、子どもが左側に写り、新婦が右側に写る撮影画像（例えば図１５の撮影画像Ｐ１１）がレタッチ対象として選択中である場合、子どもと新婦の位置に合わせて、子どもだけをレタッチ対象として個別に選択するときに操作されるボタン４３Ｂが左側に表示され、新婦だけをレタッチ対象として個別に選択するときに操作されるボタン４３Ａが右側に表示される。
【0152】
一方、新婦が左側に写り、子どもが右側に写る撮影画像（図示せず）がレタッチ対象として選択中である場合、新婦と子どもの位置に合わせて、新婦だけをレタッチ対象として個別に選択するときに操作されるボタン４３Ａが左側に表示され、子どもだけをレタッチ対象として個別に選択するときに操作されるボタン４３Ｂが右側に表示される。
【0153】
これによっても、ユーザは、レタッチ対象とする人物を直感的に選択することができる。
【0154】
＜＜スタイルアップの機能について＞＞
図４を参照して説明したように、レタッチの機能の１つとしてスタイルアップが用意される。ユーザは、調整ボタン５５を操作し、「弱い」または「強い」のレベルを選択することにより、撮影画像に写る人物のスタイルを調整することができる。スタイルの調整として、胴体や手足などの、顔以外の部分が長く見えるようにするための画像処理が行われる。
図４を参照して説明したように、レタッチの機能の１つとしてスタイルアップが用意される。ユーザは、調整ボタン５５を操作し、「弱い」または「強い」のレベルを選択することにより、撮影画像に写る人物のスタイルを調整することができる。スタイルの調整として、胴体や手足などの、顔以外の部分が長く見えるようにするための画像処理が行われる。
【0155】
＜被写体が１人である場合＞
図１９は、レタッチ対象の撮影画像の例を示す図である。
図１９は、レタッチ対象の撮影画像の例を示す図である。
【0156】
図１９Ａの例においては、新婦１人がアップで写る撮影画像Ｐ２１が示されている。撮影画像Ｐ２１には、新婦の腰付近から上の部分が写っている。
【0157】
撮影画像Ｐ２１が選択画像として選択されている場合、図１９Ｂに示すように、特徴点ｐ１～ｐ５が認識部１３３により認識される。特徴点ｐ１～ｐ５は、それぞれ、顔の中央、頭頂部、あご、右側の輪郭上の位置、左側の輪郭上の位置を示す特徴点である。実際には、さらに多くの特徴点が認識される。
【0158】
図２０は、スタイルアップの画像処理の例を示す図である。
【0159】
図２０の左側に示すように、撮影画像Ｐ２１上における特徴点ｐ１～ｐ５のそれぞれの位置が位置（x1,y1）～（x5,y5）で表されるものとする。この状態でスタイルアップの所定のレベルが選択された場合、矢印＃２１の先に示すように、撮影画像Ｐ２１が上下方向に引き伸ばされる（伸張する画像処理が行われる）。図２０においては引き伸ばし量を誇張して示しているが、実際には、ユーザにより選択されたレベルに応じた若干の引き伸ばし量を用いて画像処理が行われる。
【0160】
図２０の例においては、中心を基準として、撮影画像Ｐ２１が上下方向に引き伸ばされている。特徴点ｐ１の位置は、上下方向の位置のみ変えて、位置（x1,y1’）として表される。引き伸ばし後の撮影画像Ｐ２１における特徴点ｐ１の位置は、引き伸ばし前の撮影
画像Ｐ２１における特徴点ｐ１の位置より僅かに上にずれた位置となる。
画像Ｐ２１における特徴点ｐ１の位置より僅かに上にずれた位置となる。
【0161】
同様に、特徴点ｐ２の位置は位置（x2,y2’）として表され、特徴点ｐ３の位置は位置（x3,y3’）として表される。また、特徴点ｐ４の位置は位置（x4,y4’）として表され、
特徴点ｐ５の位置は位置（x5,y5’）として表される。
特徴点ｐ５の位置は位置（x5,y5’）として表される。
【0162】
引き伸ばし後の撮影画像Ｐ２１においては、全体的に上下方向に伸びた状態で新婦が写ることになる。なお、引き伸ばし後の撮影画像Ｐ２１は、レタッチを行っているユーザが目にする画像ではない（レタッチ画面に表示されない）。
【0163】
なお、撮影画像の中心を基準として引き伸ばされるのではなく、撮影画像の上端や下端などの他の位置を基準として引き伸ばされるようにしてもよい。人物の顔の中心位置を基準として引き伸ばされるといったように、撮影画像の写りの内容に応じて、引き伸ばしの基準となる位置が選択されるようにしてもよい。
【0164】
次に、矢印＃２２の先に示すように、引き伸ばし後の撮影画像Ｐ２１の上端と下端がトリミングされ、それぞれの顔の特徴点を、引き伸ばし前の位置と同じ位置に戻すようにして画像処理が行われる。図２０の右端に示すように、特徴点ｐ１～ｐ５のそれぞれの位置は、位置（x1,y1）～（x5,y5）として表される。顔の特徴点を引き伸ばし前の位置と同じ位置に戻す画像処理によって、スタイルアップ後の撮影画像Ｐ２１が生成される。
【0165】
図２１は、スタイルアップ前と後の撮影画像の例を示す図である。
【0166】
顔の特徴点のみを引き伸ばし前の位置と同じ位置に戻すことにより、図２１の右側に示すように、顔の写りについては引き伸ばし前から変わらずに、体が細く見える撮影画像Ｐ２１がスタイルアップ後の画像として生成される。スタイルアップ前と後において撮影画像のサイズは同じである。
【0167】
このように、撮影画像全体を上下方向に伸ばし、顔の特徴点のみを引き伸ばし前の位置と同じ位置に戻すことにより、体が細く見える画像を容易に生成することが可能となる。
【0168】
顔のそれぞれの特徴点の移動先の位置については、引き伸ばし前の位置に近付く位置であれば、引き伸ばし前の位置と同じ位置以外の様々な位置とすることが可能である。すなわち、引き伸ばし後の画像処理は、顔のそれぞれの特徴点を引き伸ばし前の位置の方向に移動させるようにして行われる。
【0169】
なお、スタイルアップによる写りの調整の前に小顔感や顔の形の調整が行われている場合、小顔感による調整後の顔の特徴点や、形の調整後の顔の特徴点を用いて、以上のようなスタイルアップの画像処理が行われる。スタイルアップ後の撮影画像に写る顔は、小顔感や顔の形の調整が反映された顔となる。
【0170】
＜被写体が複数人である場合＞
図２２は、スタイルアップの画像処理の他の例を示す図である。
図２２は、スタイルアップの画像処理の他の例を示す図である。
【0171】
図２２には、新郎と新婦がアップで写る撮影画像Ｐ３１が画像処理の対象として示されている。複数人が写る撮影画像を対象とした場合にも、１人が写る撮影画像を対象とした場合と同様の処理が行われる。
【0172】
すなわち、スタイルアップの所定のレベルが選択された場合、矢印＃３１の先に示すように、撮影画像Ｐ３１が、ユーザにより選択されたレベルに応じて上下方向に引き伸ばされる。引き伸ばし後の撮影画像Ｐ３１においては、全体的に上下方向に伸びた状態で新郎と新婦が写ることになる。
【0173】
次に、矢印＃３２の先に示すように、引き伸ばし後の撮影画像Ｐ３１の上端と下端がトリミングされ、新郎と新婦のそれぞれの顔の特徴点を、引き伸ばし前の位置と同じ位置に戻すようにして画像処理が行われる。新郎と新婦のそれぞれの顔の特徴点を引き伸ばし前の位置と同じ位置に戻す画像処理によって、スタイルアップ後の撮影画像Ｐ３１が生成される。
【0174】
このように、スタイルアップの画像処理の対象となる撮影画像に複数の人物が写っている場合、引き伸ばし後の撮影画像における顔の特徴点を引き伸ばし前の位置と同じ位置に戻す画像処理は、それぞれの人物の顔を対象として行われる。
【0175】
これにより、撮影画像に複数の人物が写っている場合であっても、体が細く見える画像を容易に生成することが可能となる。
【0176】
撮影画像に複数の人物が写っている場合においても、それぞれの顔の特徴点の移動先の位置を、引き伸ばし前の位置と同じ位置以外の様々な位置とすることが可能である。この場合、新郎と新婦とで、顔の特徴点の移動量が切り替わるようにしてもよい。例えば、女性である新婦の顔の特徴点の移動量を、男性である新郎の顔の特徴点の移動量より多い量とすることにより、女性の顔が小さく見える画像を生成することが可能となる。
【0177】
顔の特徴点の移動量が性別に応じて切り替えられるのではなく、年齢などの他の属性に応じて切り替えられるようにしてもよい。それぞれの人物の属性については、管理ファイルに記録されている情報に基づいて特定される。
【0178】
顔のサイズ、顔の向きなどの、顔の写りの状態に応じて、顔の特徴点の移動量が切り替えられるようにしてもよい。
【0179】
＜スタイルアップに関する変形例＞
・引き伸ばし方向の変形例
スタイルアップの画像処理時の撮影画像の引き伸ばし方向（伸張方向）が上下方向であるものとしたが、画像処理の対象となる撮影画像に写る被写体の状況などに応じて、上下方向以外の所定の方向に引き伸ばされるようにしてもよい。
・引き伸ばし方向の変形例
スタイルアップの画像処理時の撮影画像の引き伸ばし方向（伸張方向）が上下方向であるものとしたが、画像処理の対象となる撮影画像に写る被写体の状況などに応じて、上下方向以外の所定の方向に引き伸ばされるようにしてもよい。
【0180】
図２３は、引き伸ばし方向の例を示す図である。
【0181】
図２３Ａの例においては、新婦１人がアップで写る撮影画像Ｐ４１が示されている。撮影画像Ｐ４１には、画像の右上方向を頭の方向とするように、新婦が斜めの状態で写っている。ウェディング撮影においては、このような様々な角度で人物が写る画像の撮影も行われる。
【0182】
新婦が斜めの状態で写っている場合、図２３Ｂに示すように、画像の中心を基準として、撮影画像Ｐ４１が斜めの方向（右上左下方向）に引き伸ばされる。引き伸ばし方向として、例えば顔の中心線の方向と同じ方向が選択される。図２３Ｂの一点鎖線Ｌ１は、顔の中心を通る中心線を示す。顔の中心線は、例えば、頭頂部の位置を示す特徴点とあごの位置を示す特徴点を結ぶ直線として設定される。引き伸ばし方向が他の特徴点に基づいて設定されるようにしてもよい。
【0183】
斜めの方向に引き伸ばした場合においても、顔の特徴点のみを、引き伸ばし前の位置と同じ位置に戻すようにしてスタイルアップの画像処理が行われる。
【0184】
引き伸ばし方向が人物の状態に応じて設定されることにより、人物が斜めの状態で写っている場合においても、違和感のないスタイルアップの画像処理が可能となる。例えば、図２３に示す撮影画像Ｐ４１を上下方向に引き伸ばした場合、スタイルアップ後の撮影画像においては、新婦の肩幅が不自然に広がって違和感のある画像となってしまうことがあるが、そのようなことを防ぐことが可能となる。
【0185】
・人物選択ボタン３６を用いた操作との関係
撮影画像全体の引き伸ばしが行われることから、画像処理の対象となる撮影画像に複数の人物が写っていたとしても、スタイルアップの画像処理は、個別の人物を対象とすることができない処理となる。レタッチ対象とする１人の人物が人物選択ボタン３６を用いて選択された場合に、調整ボタン５５を操作してスタイルアップの機能をそのまま利用できるようにしてもよいし、利用不可となるようにしてもよい。
撮影画像全体の引き伸ばしが行われることから、画像処理の対象となる撮影画像に複数の人物が写っていたとしても、スタイルアップの画像処理は、個別の人物を対象とすることができない処理となる。レタッチ対象とする１人の人物が人物選択ボタン３６を用いて選択された場合に、調整ボタン５５を操作してスタイルアップの機能をそのまま利用できるようにしてもよいし、利用不可となるようにしてもよい。
【0186】
図２４は、レタッチ画面の表示例を示す図である。
【0187】
図２４の例においては、新郎と新婦が写る撮影画像Ｐ１がレタッチ対象として表示されている。また、人物選択ボタン３６のボタン４１Ａが操作され、左側に写る新郎だけがレタッチ対象として選択されている。
【0188】
この状態において、例えば図２４の左下に示すように調整ボタン５５を用いてスタイルアップがレベル「２」として選択された場合、レベル「２」のパラメータに従って、撮影画像Ｐ１を対象として上述した画像処理が行われる。スタイルアップ後の撮影画像には、レベル「２」に従って体が細く見える新郎と新婦の２人が写ることになる。
【0189】
その後、例えば、人物選択ボタン３６のボタン４１Ｂが操作され、右側に写る新婦だけがレタッチ対象として選択された場合において、調整ボタン５５を用いてスタイルアップがレベル「１」として選択されたとき、レベル「１」のパラメータに従って、撮影画像Ｐ１を対象として画像処理が行われる。スタイルアップ後の撮影画像には、レベル「１」に従って体が細く見える新郎と新婦の２人が写ることになる。
【0190】
このように、レタッチ対象とする人物が人物選択ボタン３６を用いて選択された場合であっても、スタイルアップが選択されたときには、同じパラメータ（レベル）を用いてスタイルが調整された複数の人物が写る撮影画像が生成される。
【0191】
図２５は、レタッチ画面の他の表示例を示す図である。
【0192】
図２５の例においても、新郎と新婦が写る撮影画像Ｐ１がレタッチ対象として表示されている。また、人物選択ボタン３６のボタン４１Ａが操作され、左側に写る新郎だけがレタッチ対象として選択されている。
【0193】
撮影画像に複数の人物が写っている場合において、一方の人物だけがレタッチ対象として選択されたとき、図２５の左下に示すように、調整ボタン５５が操作不可の状態で表示されるようにしてもよい。図２５の調整ボタン５５に色を付していることは、調整ボタン５５がグレーアウトし、操作不可の状態になっていることを示す。
【0194】
これにより、レタッチ対象として選択されていない方の人物に対して、意図しない写りの調整がスタイルアップの機能によって行われてしまうのを防ぐことが可能となる。
【0195】
＜＜顔枠画像の表示の変形例＞＞
図１５の例においては、子どもをレタッチ対象として選択し、顔の写りなどを調整することができるものとしたが、子どもがレタッチ対象から除外されるようにしてもよい。ブライダル撮影においては子どもを含めて新郎新婦の撮影が行われることがある。
図１５の例においては、子どもをレタッチ対象として選択し、顔の写りなどを調整することができるものとしたが、子どもがレタッチ対象から除外されるようにしてもよい。ブライダル撮影においては子どもを含めて新郎新婦の撮影が行われることがある。
【0196】
図２６は、レタッチ画面の他の表示例を示す図である。
【0197】
図２６に示すレタッチ画面のサムネイル領域３２には撮影画像Ｐ１乃至Ｐ４と撮影画像Ｐ１１のサムネイル画像が表示され、サムネイル画像を用いて選択された撮影画像Ｐ１１が表示領域３１に拡大表示されている。撮影画像Ｐ１１は、新郎と新婦の間に子どもが写っている画像である。
【0198】
右側に写る新婦の顔を囲むように枠画像Ｆ１が表示され、子どもの顔を囲むように枠画像Ｆ２が表示されている。枠画像Ｆ１と枠画像Ｆ２は、それぞれ異なる色の枠の画像である。左側に写る新郎の顔には枠画像が表示されていない。
【0199】
枠画像Ｆ１は、新婦がレタッチ対象であることを示すUI情報である。図２６の例においては、ボタン４１Ｂが操作され、右側に写っている人物である新婦がレタッチ対象として選択されている。
【0200】
一方、枠画像Ｆ２は、子どもに対してレタッチを施すことができないこと（レタッチ不可であること）を示すUI情報である。すなわち、図２６の例においては、ユーザの操作によらずに、子どもがレタッチ対象から自動的に除外され、レタッチを施すことができないことを示す枠画像Ｆ２が、レタッチ対象の人物を示す枠画像Ｆ１とともに画像Ｐ１１上に表示されるようになっている。
【0201】
違和感が大きいなどの理由から子どもの顔にはレタッチを施したくないというニーズがある。枠画像Ｆ２が表示され、子どもにレタッチを施すことができないことが明示されることにより、新郎新婦は安心して自分達の写りを調整することができる。
【0202】
図２７は、枠画像の表示例を示す図である。
【0203】
例えば図２６に示す状態においてボタン４１Ａが操作され、左側に写っている人物である新郎がレタッチ対象として選択された場合、図２７Ａに示すように、新郎の顔を囲むように枠画像Ｆ３が表示される。子どもの顔には枠画像Ｆ２が表示され続ける。レタッチ対象として選択可能であるが、レタッチ対象として選択されていない新婦の顔には枠画像が表示されない。
【0204】
また、ボタン４１Ｃが操作され、新郎と新婦の２人がレタッチ対象として選択された場合、図２７Ｂに示すように、２人の顔を囲むように枠画像Ｆ１と枠画像Ｆ３が表示される。子どもの顔には枠画像Ｆ２が表示され続ける。
【0205】
枠画像Ｆ２の表示は、例えば子どもが写っている撮影画像がサムネイル画像を用いて選択されたときに開始され、同じ画像がレタッチ対象として選択されている間続けられる。
レタッチ対象の撮影画像に例えば複数人の子どもが写っている場合、それぞれの子どもの顔に対して、レタッチを施すことができないことを示す枠画像が表示される。
レタッチ対象の撮影画像に例えば複数人の子どもが写っている場合、それぞれの子どもの顔に対して、レタッチを施すことができないことを示す枠画像が表示される。
【0206】
図２８は、レタッチ対象とするか否かの選択例を示す図である。
【0207】
図２８に示すように、レタッチ可否選択モデルＭ１が例えば認識部１３３（図１７）に用意される。レタッチ可否選択モデルＭ１は、撮影画像を入力とし、撮影画像に写るそれぞれの人物をレタッチ可能とするか否かを示す情報を出力とする推論モデルである。レタッチ可能とするか否かを示す情報には、それぞれの人物の顔の顔IDが紐付けられる。レタッチ可否選択モデルＭ１は、例えば、レタッチ可能とするか否かのラベルがそれぞれの人物に対して設定された撮影画像を教師データとした機械学習によって生成される。
【0208】
認識部１３３は、画像選択画面を用いて選択されたそれぞれの撮影画像をレタッチ可否選択モデルＭ１に入力し、それぞれの人物をレタッチ可能とするか否かを選択する。それぞれの人物をレタッチ可能とするか否かが撮影画像の特徴に基づいて選択される。
【0209】
表示制御部１３２は、レタッチ画面を表示している場合において、レタッチ不可の人物が写る撮影画像がレタッチ対象として選択されたとき、レタッチを施すことができないことを示す枠画像を撮影画像に重ねて表示させる。
【0210】
レタッチ可能であるか否かの選択が機械学習によって生成された推論モデルを用いて行われるのではなく、画像解析の結果に基づいて行われるようにしてもよい。また、レタッチ可能であるか否かの選択が、認識部１３３により認識された年齢に基づいて行われるようにしてもよい。例えば、認識された年齢と閾値として設定された年齢とが比較され、閾値の年齢以下の人物がレタッチ不可の人物として選択される。
【0211】
大人であるか子どもであるかの判定結果を出力する推論モデルが認識部１３３に用意され、レタッチ可能であるか否かの選択がこの推論モデルの出力に基づいて行われるようにしてもよい。
【0212】
レタッチ不可とする人物をユーザが選択できるようにしてもよい。レタッチ対象としない人物の選択は、例えば、表示領域３１に表示された撮影画像上でユーザが人物の顔を指定することによって行われる。
【0213】
＜＜特徴認識について＞＞
＜特徴の種類＞
性別、年齢などの人物の属性を含む特徴が認識部１３３により認識されるものとしたが、撮影画像の以下の特徴が認識（判定）されるようにしてもよい。それぞれの特徴は、例えば、機械学習によってあらかじめ生成された推論モデルを用いて、または、画像の解析結果に基づいて認識される。
＜特徴の種類＞
性別、年齢などの人物の属性を含む特徴が認識部１３３により認識されるものとしたが、撮影画像の以下の特徴が認識（判定）されるようにしてもよい。それぞれの特徴は、例えば、機械学習によってあらかじめ生成された推論モデルを用いて、または、画像の解析結果に基づいて認識される。
【0214】
・顔の角度（向き）
人物の顔の向きが認識される。例えば、正面、斜め、横の３種類の向きのいずれかの向きが認識される。
人物の顔の向きが認識される。例えば、正面、斜め、横の３種類の向きのいずれかの向きが認識される。
【0215】
・表情
目をつぶっている、笑っている等の、人物の表情が認識される。
目をつぶっている、笑っている等の、人物の表情が認識される。
【0216】
・画角
撮影画像の画角（人物が写っている範囲）が認識される。例えば、撮影画像のサイズに対する顔のサイズに応じて、アップ、全身などが画角として認識される。
撮影画像の画角（人物が写っている範囲）が認識される。例えば、撮影画像のサイズに対する顔のサイズに応じて、アップ、全身などが画角として認識される。
【0217】
・キャッチライトの有無
人物の目にキャッチライトが入っているか否かが認識される。
人物の目にキャッチライトが入っているか否かが認識される。
【0218】
・顔の明るさ
輝度、照度などの顔の明るさが認識される。
輝度、照度などの顔の明るさが認識される。
【0219】
・肌の色
肌の色が適正の範囲内にあるか否かが認識される。所定の色の範囲が適正の範囲としてあらかじめ設定される。
肌の色が適正の範囲内にあるか否かが認識される。所定の色の範囲が適正の範囲としてあらかじめ設定される。
【0220】
・顔の重なりの程度
ある人物の顔の領域と他の人物の顔の領域との位置関係に基づいて、顔が隠れているか否か、または、顔同士がくっついているか否かが認識される。
ある人物の顔の領域と他の人物の顔の領域との位置関係に基づいて、顔が隠れているか否か、または、顔同士がくっついているか否かが認識される。
【0221】
・髪の写り
髪の色、髪の明るさなどの、髪の写りの状態が認識される。
髪の色、髪の明るさなどの、髪の写りの状態が認識される。
【0222】
・全身が写っているか否か
人物の全身が写っているか否かが認識される。
人物の全身が写っているか否かが認識される。
【0223】
・体の向き
人物の体が写っている場合に、その向きか認識される。
人物の体が写っている場合に、その向きか認識される。
【0224】
・衣装の種類
ドレス、和装、打掛などの、衣装の種類が認識される。
ドレス、和装、打掛などの、衣装の種類が認識される。
【0225】
・撮影シーン
撮影場所などの撮影シーンが認識される。逆光、白とびなどの撮影時の光学条件が撮影シーンとして認識されるようにしてもよい。
撮影場所などの撮影シーンが認識される。逆光、白とびなどの撮影時の光学条件が撮影シーンとして認識されるようにしてもよい。
【0226】
・ルールに違反していないか否か
ブライダル写真のルール、成人式写真のルールなどの撮影コースの種類毎にルールが決められている場合、そのルールに違反していないか否かが認識される。学校の証明写真を撮影するコースにおいては、例えば校則に違反していないか否かが認識される。
ブライダル写真のルール、成人式写真のルールなどの撮影コースの種類毎にルールが決められている場合、そのルールに違反していないか否かが認識される。学校の証明写真を撮影するコースにおいては、例えば校則に違反していないか否かが認識される。
【0227】
以上のような様々な特徴のうちの少なくともいずれかの認識が認識部１３３により行われるようにすることが可能である。
【0228】
＜認識結果の用途＞
・レタッチの画像処理に用いる例
特徴の認識結果に基づいてレタッチの内容が切り替わるようにすることが可能である。
例えば、衣装の種類の認識が行われている場合において、衣装の種類が打掛であると認識されたとき、スタイルアップの処理が自動的に行われ、体全体が細く見えるような画像処理が行われる。また、上腕（二の腕）を細くするレタッチが用意されている場合において、衣装の種類が和装であると認識されたとき、そのレタッチが行われないようにすることが可能である。
・レタッチの画像処理に用いる例
特徴の認識結果に基づいてレタッチの内容が切り替わるようにすることが可能である。
例えば、衣装の種類の認識が行われている場合において、衣装の種類が打掛であると認識されたとき、スタイルアップの処理が自動的に行われ、体全体が細く見えるような画像処理が行われる。また、上腕（二の腕）を細くするレタッチが用意されている場合において、衣装の種類が和装であると認識されたとき、そのレタッチが行われないようにすることが可能である。
【0229】
このように、レタッチとして行われる画像処理の内容が撮影画像の特徴の認識結果に基づいて切り替わるようにすることが可能である。
【0230】
・認識結果を提示に用いる例
特徴の認識結果がユーザに提示されるようにしてもよい。
特徴の認識結果がユーザに提示されるようにしてもよい。
【0231】
レタッチ画面における提示
図２９は、特徴の認識結果の提示例を示す図である。
図２９は、特徴の認識結果の提示例を示す図である。
【0232】
図２９Ａに示す撮影画像Ｐ１１は、図２６を参照して説明したようにレタッチ画面において拡大表示された画像である。右側に写る新婦の顔を囲むように枠画像Ｆ１が表示され、子どもの顔を囲むように枠画像Ｆ２が表示されている。
【0233】
また、レタッチ対象となる新婦の顔を囲む枠画像Ｆ１の隣には、レタッチ対象の人物の性別が「女性」として認識されたことと、顔の向きが「斜め」として認識されたことを示す情報が表示されている。図２９の例においては、子どもの特徴の認識結果は表示されていない。
【0234】
レタッチ対象の人物が新郎に切り替えられた場合、図２９Ｂに示すように、レタッチ対象となる新郎の顔を囲む枠画像Ｆ３が表示され、その隣に、レタッチ対象の人物の性別が「男性」として認識されたことと、顔の向きが「正面」として認識されたことを示す情報が表示されている。
【0235】
このように、認識結果を示す情報が表示されることにより、ユーザは、特徴の認識が正しく行われているかどうかを確認することができる。
【0236】
上述したレタッチの機能の中には、対象が女性である場合と男性である場合とで、同じレベルのパラメータが選択された場合でも画像処理の強度が異なる機能がある。また、女性用として用意された機能と、男性用として用意された機能（例えば「ひげ消し」の機能）がある。特徴の認識結果が提示されることにより、ユーザは、認識結果が正しいことを確認した上で、それらの機能を利用してレタッチを行うことができる。
【0237】
図３０は、認識結果の他の提示例を示す図である。
【0238】
図２９の例においては、レタッチ対象として選択された人物の特徴だけが表示されるものとしたが、図３０に示すように、撮影画像に写るすべての人物の特徴の認識結果が表示されるようにしてもよい。図３０の例においては、レタッチ対象として選択された新郎の顔の隣に認識結果を示す情報が表示されるとともに、レタッチ対象として選択されていない新婦の顔の隣にも認識結果を示す情報が表示されている。また、レタッチ対象とはならない子どもの顔の隣にも認識結果を示す情報が表示されている。子どもの特徴の認識結果として、人物の年齢が「子ども」として認識されたことと、顔の向きが「正面」として認識されたことを示す情報が表示されている。
【0239】
特徴の認識結果が文字で表示されるのではなく、アイコンやマークなどの他の情報が表示されるようにしてもよい。特徴の認識結果が音声で提示されるようにしてもよいし、アニメーションを用いて提示されるようにしてもよい。
【0240】
特徴の認識結果を示す情報が、レタッチ対象の撮影画像上の位置に表示されるのではなく、撮影画像の外の所定の領域に表示されるようにしてもよい。撮影画像上の顔にカーソルをあわせたときに特徴の認識結果を示す情報が表示されるようにしてもよい。
【0241】
図２９、図３０の例においては性別、顔の向き、年齢を示す情報が表示されるものとしたが、認識結果として表示させる特徴の種類を例えば撮影スタジオのスタッフが選択できるようにしてもよい。レタッチを行いながらユーザが特徴の種類を選択できるようにしてもよい。
【0242】
画像選択画面における提示
レタッチ対象とする撮影画像の選択に用いられる画面である画像選択画面において特徴の認識結果が提示されるようにしてもよい。
レタッチ対象とする撮影画像の選択に用いられる画面である画像選択画面において特徴の認識結果が提示されるようにしてもよい。
【0243】
図３１は、画像選択画面の例を示す図である。
【0244】
撮影画像の選択枚数は、画像選択の前に、例えば撮影スタジオのスタッフにより設定される。５枚の撮影画像を印刷してアルバムとして受け取るプランをユーザが申し込んでいる場合、選択枚数として５枚が設定される。
【0245】
画像選択画面の右側にはサムネイル表示領域２０１が形成される。サムネイル表示領域２０１は、撮影画像のサムネイル画像が表示される領域である。例えば５０枚の撮影画像の撮影が行われている場合、５０枚の撮影画像のそれぞれのサムネイル画像が表示される。図３１の例においては、９枚の撮影画像のサムネイル画像を一度に表示させることが可能とされている。切り替えボタン（「NEXT」、「BACK」）を押すことにより、サムネイル表示領域２０１に表示させるサムネイル画像をユーザは切り替えることができる。
【0246】
サムネイル画像を用いて選択された撮影画像が、サムネイル表示領域２０１の左側に形成された表示領域２０２に拡大表示される。図３１の例においては、サムネイル表示領域２０１の右下端に表示されているサムネイル画像が選択され、その撮影画像が表示領域２０２に拡大表示されている。
【0247】
また、新郎と新婦のそれぞれの顔を囲むように枠画像が表示され、その上に、新郎と新婦の特徴の認識結果を示す情報が表示されている。
【0248】
表示領域２０２の右下には決定ボタン２０３が表示される。決定ボタン２０３は、表示領域２０２に表示されている撮影画像をレタッチ対象として決定するときに押下されるボタンである。ユーザは、サムネイル画像を選択することによってそれぞれの撮影画像を表示領域２０２に順次拡大して表示させ、気に入った撮影画像があったとき、決定ボタン２０３を押下してレタッチ対象として選択することになる。
【0249】
表示領域２０２の下には、ユーザにより選択された撮影画像のサムネイル画像が表示される選択画像表示領域２０４が形成される。撮影画像Ｐ１乃至Ｐ４の４枚が選択された場合、それぞれのサムネイル画像が図３１に示すように並べて表示される。
【0250】
５枚の撮影画像の選択が終了した場合、画像選択作業は終了となる。レタッチ対象とする撮影画像の選択が終了した後、選択されたそれぞれの撮影画像に対するレタッチが開始される。
【0251】
このように、認識結果を示す情報が表示されることにより、ユーザは、それぞれの撮影画像の特徴の認識が正しく行われているかどうかを確認することができ、誤認識のない撮影画像をレタッチ対象として選択することが可能となる。例えば、目を閉じて写っていることを示す情報が表示されることにより、ユーザはそのような撮影画像をレタッチ対象から除外することができる。また、画角の認識結果を示す情報が表示されることにより、ユーザは、好ましくない画角の撮影画像をレタッチ対象から除外することができる。
【0252】
上述したように、レタッチ後の全数反映は、レタッチ済みの撮影画像のうちのどの撮影画像のレタッチの内容をどの未選択画像に対して反映させるかを、選択画像と未選択画像のそれぞれの特徴に基づいて選択するようにして行われる。すなわち、レタッチ対象として選択された撮影画像に対して施されたレタッチの内容が、その撮影画像と同じ特徴を有する未選択画像に対して施される。例えば、新婦に対して施されたレタッチの内容は、未選択画像に同じような状態で写る新婦に対して反映され、新郎に対して施されたレタッチの内容は、未選択画像に同じような状態で写る新郎に対して反映される。
【0253】
全数反映がこのようにして行われる場合、レタッチが施された撮影画像の特徴に誤認識があると、新婦に対して施されたレタッチの内容を未選択画像に写る新郎に対して反映させたり、新郎に対して施されたレタッチの内容を未選択画像に写る新婦に対して反映させたりするといったような誤った反映が行われてしまうことがある。誤認識のない撮影画像をレタッチ対象として選択することにより、このような誤った反映が全数反映時に行われてしまうのを防ぐことが可能となる。
【0254】
画像選択画面における特徴の認識結果の提示は、例えば、認識部１３３による特徴の認識が撮影された全ての画像に対して行われることによって実現される。サムネイル表示領域２０１においてサムネイル画像が選択されたタイミングで、そのサムネイル画像に対応する撮影画像の特徴の認識が行われ、認識結果が提示されるようにしてもよい。
【0255】
＜＜その他＞＞
・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【0256】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１６に示されるリムーバブルメディア１１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１０２や記録部１０８に、あらかじめインストールしておくことができる。
【0257】
コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0258】
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0259】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0260】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0261】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【0262】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【符号の説明】
【0263】
１ レタッチ用PC， ２ 画像管理サーバ， ３ 携帯端末， １１ ディスプレイ， １２１ 情報処理部， １３１ 画像取得部， １３２ 表示制御部， １３３ 認識部， １３４ レタッチ処理部， １３５ ファイル管理部
【要約】
【課題】加工対象とする人物を直感的に選択できるようにする。
【解決手段】本技術の一側面のプログラムは、加工対象として選択中の撮影画像に男性の人物と女性の人物が写っている場合、男性の人物を加工対象とするときに操作される第１の人物選択画像と女性の人物を加工対象とするときに操作される第２の人物選択画像を表示し、加工対象として選択中の撮影画像に男性の人物が１人で写っている場合、女性の人物を選択できない状態の人物選択画像を表示し、加工対象として選択中の撮影画像に女性の人物が１人で写っている場合、男性の人物を選択できない状態の人物選択画像を表示するように、加工対象として選択中の撮影画像に被写体として写る人物の性別に応じて、人物選択画像の表示を制御する。本技術は、撮影スタジオに設置されたコンピュータにインストールされるプログラムに適用することができる。
【選択図】図１０
【解決手段】本技術の一側面のプログラムは、加工対象として選択中の撮影画像に男性の人物と女性の人物が写っている場合、男性の人物を加工対象とするときに操作される第１の人物選択画像と女性の人物を加工対象とするときに操作される第２の人物選択画像を表示し、加工対象として選択中の撮影画像に男性の人物が１人で写っている場合、女性の人物を選択できない状態の人物選択画像を表示し、加工対象として選択中の撮影画像に女性の人物が１人で写っている場合、男性の人物を選択できない状態の人物選択画像を表示するように、加工対象として選択中の撮影画像に被写体として写る人物の性別に応じて、人物選択画像の表示を制御する。本技術は、撮影スタジオに設置されたコンピュータにインストールされるプログラムに適用することができる。
【選択図】図１０
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】