知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024060324
(43)【公開日】2024-05-02
(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20240424BHJP
H04N 1/387 20060101ALI20240424BHJP
【ＦＩ】
G06T1/00 500A
H04N1/387
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022167630
(22)【出願日】2022-10-19
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和４年９月１２日に株式会社デコルテが運営するウェディングフォトスタジオにて配布
(71)【出願人】
【識別番号】307010096
【氏名又は名称】フリュー株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】松原 菜津美
(72)【発明者】
【氏名】荒木 卓
【テーマコード（参考）】
5B057
5C076
【Ｆターム（参考）】
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE20
5B057CH18
5B057DA17
5B057DB02
5B057DB09
5B057DC30
5C076AA23
5C076BA06
(57)【要約】 （修正有）
【課題】撮影スタジオに設置されたコンピュータに適用する、撮影画像に写る人物の目の大きさを適切に調整する画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】画像処理装置において、撮影画像Ｐ１に施す加工の内容の選択に用いられる加工画面に対して目の大きさを調整する操作が行われた場合、加工対象の撮影画像に被写体として写る人物Ｈ１（新婦）及び／又は刃部Ｈ２（新郎）が目を閉じているとき、加工画面を用いて選択された調整度合いを弱めて、人物の目の大きさを調整するレタッチ処理部を有する。
【選択図】図１２
【解決手段】画像処理装置において、撮影画像Ｐ１に施す加工の内容の選択に用いられる加工画面に対して目の大きさを調整する操作が行われた場合、加工対象の撮影画像に被写体として写る人物Ｈ１（新婦）及び／又は刃部Ｈ２（新郎）が目を閉じているとき、加工画面を用いて選択された調整度合いを弱めて、人物の目の大きさを調整するレタッチ処理部を有する。
【選択図】図１２
【特許請求の範囲】
【請求項1】
撮影画像に施す加工の内容の選択に用いられる加工画面に対して目の大きさを調整する操作が行われた場合において、加工対象の前記撮影画像に被写体として写る人物が目を閉じているとき、前記加工画面を用いて選択された調整度合いを弱めて、前記人物の目の大きさを調整する画像処理部を備える
画像処理装置。
画像処理装置。
【請求項2】
前記画像処理部は、前記人物が目を閉じていないとき、前記加工画面を用いて選択された通りの調整度合いに基づいて、前記人物の目の大きさを調整する
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
前記画像処理部は、前記人物が片方の目を閉じているとき、前記加工画面を用いて選択された調整度合いを弱めて、前記人物の両方の目の大きさを調整する
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項4】
前記画像処理部は、前記人物が片方の目を閉じているとき、前記加工画面を用いて選択された調整度合いを弱めて、前記人物の閉じている方の目の大きさを調整し、前記加工画面を用いて選択された通りの調整度合いに基づいて、前記人物の閉じていない方の目の大きさを調整する
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項5】
前記画像処理部は、
複数枚の前記撮影画像の中から選択された一部の画像を対象とした加工の内容の選択が前記加工画面を用いて行われた後、選択された加工の内容を反映させる反映処理を、前記一部の画像として選択されなかった前記撮影画像である未選択画像を対象として行い、
前記人物が目を閉じているときに調整度合いを弱めて前記人物の目の大きさを調整する処理を、前記反映処理時に行う
請求項１乃至４のいずれかに記載の画像処理装置。
複数枚の前記撮影画像の中から選択された一部の画像を対象とした加工の内容の選択が前記加工画面を用いて行われた後、選択された加工の内容を反映させる反映処理を、前記一部の画像として選択されなかった前記撮影画像である未選択画像を対象として行い、
前記人物が目を閉じているときに調整度合いを弱めて前記人物の目の大きさを調整する処理を、前記反映処理時に行う
請求項１乃至４のいずれかに記載の画像処理装置。
【請求項6】
画像処理装置が、
撮影画像に施す加工の内容の選択に用いられる加工画面に対して目の大きさを調整する操作が行われた場合において、加工対象の前記撮影画像に被写体として写る人物が目を閉じているとき、前記加工画面を用いて選択された調整度合いを弱めて、前記人物の目の大きさを調整する
画像処理方法。
撮影画像に施す加工の内容の選択に用いられる加工画面に対して目の大きさを調整する操作が行われた場合において、加工対象の前記撮影画像に被写体として写る人物が目を閉じているとき、前記加工画面を用いて選択された調整度合いを弱めて、前記人物の目の大きさを調整する
画像処理方法。
【請求項7】
コンピュータに、
撮影画像に施す加工の内容の選択に用いられる加工画面に対して目の大きさを調整する操作が行われた場合において、加工対象の前記撮影画像に被写体として写る人物が目を閉じているとき、前記加工画面を用いて選択された調整度合いを弱めて、前記人物の目の大きさを調整する
処理を実行させるプログラム。
撮影画像に施す加工の内容の選択に用いられる加工画面に対して目の大きさを調整する操作が行われた場合において、加工対象の前記撮影画像に被写体として写る人物が目を閉じているとき、前記加工画面を用いて選択された調整度合いを弱めて、前記人物の目の大きさを調整する
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、撮影画像に写る人物の目の大きさを適切に調整できるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【0002】
証明写真機やゲームセンターに設置されるプリントシール機などの撮影装置においては、撮影後の画像の写りをユーザが自分で調整できるようになっている。ユーザは、シール紙などに印刷された状態で受け取ることになる画像の写りを１枚ずつ好みに応じて調整することができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１５－１１８３２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
目の大きさを調整する機能が搭載された装置がある。例えば目を拡大する操作がユーザにより行われた場合、目が写っている領域をマスク画像を用いて抽出し、抽出した目の領域を拡大して、調整対象の画像に合成する処理が行われる。
【0005】
被写体として写る人物の状態によっては、目の拡大後の画像に違和感が生じることがある。特に、まばたきによって目を閉じている瞬間に撮影された画像や、下方向を向くなどして目を閉じているように見える状態で写っている画像を対象とした場合に違和感が生じる。
【0006】
本技術はこのような状況に鑑みてなされたものであり、撮影画像に写る人物の目の大きさを適切に調整できるようにするものである。
【課題を解決するための手段】
【0007】
本技術の一側面の画像処理装置は、撮影画像に施す加工の内容の選択に用いられる加工画面に対して目の大きさを調整する操作が行われた場合において、加工対象の前記撮影画像に被写体として写る人物が目を閉じているとき、前記加工画面を用いて選択された調整度合いを弱めて、前記人物の目の大きさを調整する画像処理部を備える。
【0008】
本技術の一側面においては、撮影画像に施す加工の内容の選択に用いられる加工画面に対して目の大きさを調整する操作が行われた場合において、加工対象の前記撮影画像に被写体として写る人物が目を閉じているとき、前記加工画面を用いて選択された調整度合いを弱めて、前記人物の目の大きさが調整される。
【発明の効果】
【0009】
本技術によれば、撮影画像に写る人物の目の大きさを適切に調整することができる。
【図面の簡単な説明】
【0010】
【図1】撮影スタジオにおける作業の流れを示す図である。
【図2】撮影画像の提供の例を示す図である。
【図3】レタッチ用PCにおけるファイル管理の例を示す図である。
【図4】レタッチ画面の例を示す図である。
【図5】レタッチ選択領域の表示を拡大して示す図である。
【図6】レタッチパラメータの適用の例を示す図である。
【図7】動作モードの選択画面の例を示す図である。
【図8】作業の流れを示す図である。
【図9】作業の流れを示す他の図である。
【図10】レタッチ用PCの構成例を示すブロック図である。
【図11】レタッチ用PCの機能構成例を示すブロック図である。
【図12】目を拡大する操作が行われた場合の処理の流れを示す図である。
【図13】目を拡大する操作が行われた場合の処理の流れを示す他の図である。
【図14】レタッチ処理部の機能構成例を示すブロック図である。
【図15】目の開閉状態の判定の例を示す図である。
【図16】顔の向きの判定の例を示す図である。
【図17】小顔感の操作が行われた場合の処理の流れを示す図である。
【図18】レタッチ処理部の構成例を示すブロック図である。
【発明を実施するための形態】
【0011】
＜＜撮影スタジオでの作業の流れ＞＞
図１は、撮影スタジオにおける作業の流れを示す図である。
図１は、撮影スタジオにおける作業の流れを示す図である。
【0012】
本技術は、例えばウェディングの記念撮影を行う撮影スタジオにおいて用いられる。本技術は、入学／卒業の記念写真、成人式の記念写真、七五三の記念写真などの、各種のイベントの記念写真の撮影を行う場合にも適用可能である。
【0013】
図１の左側に示すように、撮影スタジオにおける撮影はカメラマンにより行われる。図１の例においては、背景スクリーンの前に立つ新郎と新婦を被写体として撮影が行われている。新郎はタキシード姿であり、新婦はウェディングドレス姿である。新郎と新婦の周りには、カメラマンによる撮影にあわせて発光するストロボ装置などの機材が配置される。新郎新婦などの撮影が撮影スタジオの外で行われるようにしてもよい。
【0014】
カメラマンによる撮影は、構図を変えて、５０枚、１００枚などの多くの枚数の静止画像（写真）を撮影するようにして行われる。静止画像の構図は、新郎と新婦のポーズ、新郎、新婦とカメラマンとの位置関係、焦点距離などのカメラパラメータなどにより決定される。カメラマンにより撮影された静止画像である撮影画像は、カメラに接続された図示せぬPCに転送され、保存される。
【0015】
撮影が終了した後、新郎と新婦は、撮影スタジオに用意されたレタッチスペースに移動し、図１の右側に示すように、レタッチ用PC１を利用して、カメラマンに撮影してもらった撮影画像を確認する。
【0016】
また、新郎と新婦は、レタッチ用PC１のユーザとして、例えば最終的に印刷してもらう枚数の撮影画像を選択し、自らレタッチすることによって、それぞれの撮影画像の写りを調整する。カメラマンにより撮影してもらった撮影画像の中から選択された、５枚、１０枚などの一部の撮影画像を対象としてレタッチが行われる。レタッチ（加工）には、撮影画像の写りを調整するための各種の画像処理が含まれる。
【0017】
レタッチスペースには、１台、または複数台のレタッチ用PC１が用意される。保存用のPCに保存された撮影画像がレタッチ用PC１に転送され、レタッチ用PC１のディスプレイ１１に表示される。レタッチ用PC１には、カメラマンに撮影してもらった撮影画像をレタッチすることに用いられるアプリケーションであるレタッチアプリ１Ａがインストールされている。
【0018】
このように、本技術を適用したレタッチ用PC１が設置された撮影スタジオにおいては、カメラマンに撮影してもらった撮影画像のレタッチがユーザ（新郎と新婦）自身により行われる。ユーザは、レタッチアプリ１Ａの機能を利用して、自分の好みの写りとなるように撮影画像のレタッチを行うことができる。タブレット端末などの、PCとは異なる端末にレタッチアプリ１Ａがインストールされ、レタッチに用いられるようにしてもよい。
【0019】
図２は、撮影画像の提供の例を示す図である。
【0020】
レタッチアプリ１Ａによるレタッチ済みの撮影画像は、撮影スタジオの運営会社により印刷され、矢印＃１に示すように、例えばアルバムなどの形で後日ユーザに渡される。
【0021】
また、レタッチ済みの撮影画像は、矢印＃２に示すように、レタッチ用PC１から画像管理サーバ２にアップロードされ、画像管理サーバ２において管理される。画像管理サーバ２は、例えばインターネット上のサーバである。撮影スタジオの運営会社により、または、撮影スタジオの運営会社とは異なる事業者により画像管理サーバ２が管理される。
【0022】
ユーザは、スマートフォンなどの自分の携帯端末３を操作し、画像管理アプリ３Ａを操作することによって、矢印＃３に示すように、自分たちが被写体となって撮影してもらった撮影画像を閲覧したり、ダウンロードしたりすることができる。画像管理アプリ３Ａは、画像管理サーバ２において管理されている撮影画像の閲覧等を行うためのアプリケーションである。画像管理アプリ３Ａは、例えば、画像管理サーバ２を管理する事業者により提供される。
【0023】
撮影スタジオにおいて撮影された撮影画像の提供は、アルバムの形で行われるとともに、適宜、データの形で行われることになる。データでの撮影画像の提供が、アルバムの料金とは別料金で可能となるようにしてもよい。
【0024】
データでの撮影画像の提供は、ユーザによりレタッチが行われた撮影画像だけでなく、レタッチ対象としてユーザにより選択されなかった撮影画像も提供するようにして行われる。レタッチ対象としてユーザにより選択されなかった撮影画像については、後述するように、ユーザの操作によらずに、レタッチアプリ１Ａによって自動的にレタッチが行われる。
【0025】
ユーザは、レタッチ対象として選択しなかった撮影画像についても、データの形で受け取ることが可能となる。画像管理アプリ３Ａを用いるのではなく、ブラウザを利用して所定のサイトにアクセスし、画像管理サーバ２において管理されている撮影画像を受け取ることができるようにしてもよい。例えば、画像管理サーバ２の管理者が提供する画像提供サービスの会員登録を行うことにより、ユーザは、画像管理サーバ２において管理されている撮影画像を、画像管理アプリ３Ａを利用して、または、ブラウザを利用して受け取ることが可能となる。
【0026】
携帯端末３ではなく、タブレット端末やPCなどの他の端末を利用して撮影画像を受け取ることができるようにしてもよい。
【0027】
【0028】
図３の吹き出しに示すように、ユーザの識別情報であるユーザIDと紐付けて、allフォルダとalbumフォルダの２つのフォルダが用意される。allフォルダは、「all」のフォルダ名が設定されたフォルダであり、albumフォルダは、「album」のフォルダ名が設定されたフォルダである。
【0029】
保存用のPCから転送された撮影画像のファイルはallフォルダに格納される。レタッチ対象として選択され、レタッチが施された撮影画像のファイルがalbumフォルダに格納される。albumフォルダに格納されたファイルが、印刷に用いられるファイルとなる。
【0030】
撮影を終えたユーザがレタッチを始めるとき、レタッチアプリ１Ａの画面上でユーザIDの入力が行われる。ユーザIDに基づいて、撮影画像がレタッチアプリ１Ａにより読み込まれ、撮影画像を用いた処理が行われる。例えば、ユーザIDに紐付けられているallフォルダに格納された全ての撮影画像のファイルがレタッチアプリ１Ａにより読み込まれる。撮影画像が読み込まれた後、レタッチ対象とする撮影画像の選択が画像選択画面を用いて行われる。
【0031】
カメラマンによって撮影された全ての撮影画像の中から複数枚の撮影画像が選択された後、レタッチ対象として選択されたそれぞれの撮影画像に対するレタッチが行われる。５枚、１０枚などの、ユーザが申し込んだプランに応じた枚数の撮影画像がレタッチ対象の画像として選択される。
【0032】
【0033】
撮影画像のレタッチに用いられる画面であるレタッチ画面の中央上方には表示領域３１が形成される。表示領域３１は、いまレタッチ対象となっている１枚の撮影画像が拡大表示される領域である。表示領域３１の左側に形成されたサムネイル領域３２には、ユーザにより選択された撮影画像のサムネイル画像が表示される。図４の例においては、撮影画像Ｐ１乃至Ｐ５の５枚の撮影画像のサムネイル画像が表示されている。サムネイル画像を用いて選択された撮影画像Ｐ１が、表示領域３１に拡大表示される。
【0034】
レタッチ画面の下には横長のレタッチ選択領域３３が形成される。レタッチ選択領域３３に表示されたボタンを用いて、レタッチの内容が選択される。レタッチ選択領域３３に表示されたボタンを用いてレタッチの内容が選択される毎に、選択された内容が表示領域３１の表示に反映される。ユーザは、表示領域３１の表示を見ながら、いまレタッチ対象となっている撮影画像に施すレタッチの内容をレタッチ選択領域３３の表示を用いて選択することになる。
【0035】
図５は、レタッチ選択領域３３の表示を拡大して示す図である。
【0036】
レタッチ選択領域３３は、顔・体全体の調整に用いられる情報の表示領域である領域３３－１、目元・メイクの調整に用いられる情報の表示領域である領域３３－２、および、明るさの調整に用いられる情報の表示領域である領域３３－３から形成される。
【0037】
レタッチ選択領域３３の左側に形成された領域３３－１には、小顔感の調整に用いられる調整ボタン５１、顔の形の調整に用いられる調整ボタン５２、肌質の調整に用いられる調整ボタン５３、あごの長さの調整に用いられる調整ボタン５４、スタイルの調整に用いられる調整ボタン５５が表示される。
【0038】
小顔感として、５段階のレベル（調整度合い）が用意される。小顔感の「０」は、顔の大きさを変えないで、オリジナルの大きさのままとすることを表す。また、小顔感の「１」は、「１」に対応するパラメータに基づいて、顔の大きさを１段階小さくすることを表す。ユーザは、「１」乃至「４」のいずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分の顔の大きさを調整することができる。
【0039】
顔の形として、「まる」、「たまご」、「ほっそり」が用意される。ユーザはいずれかの形を選択することにより、表示領域３１に表示されている撮影画像に写る自分の顔の形を調整することができる。「レタッチなし」を選択することにより、顔の形を変えないことも可能とされる。
【0040】
肌質として、５段階のレベルが用意される。肌質の「０」は、肌質を変えないで、オリジナルの肌質のままとすることを表す。また、肌質の「１」は、「１」に対応するパラメータに基づいて、肌質のレベルを１段階上げることを表す。ユーザは、「１」乃至「４」のいずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分の肌質の滑らかさの程度を調整することができる。
【0041】
あごの長さとして、３段階のレベルが用意される。あごの長さの「０」は加工なし、すなわちあごの長さを変えないで、オリジナルの長さのままとすることを表す。また、あごの長さの「短い」は、「短い」に対応するパラメータに基づいて加工を行い、あごの長さを１段階短くすることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分のあごの長さを調整することができる。
【0042】
スタイルアップとして、３段階のレベルが用意とされる。スタイルアップの「０」は加工なし、すなわちスタイルを変えないで、オリジナルのスタイルのままとすることを表す。また、スタイルアップの「弱い」は、「弱い」に対応するパラメータに基づいて、足を長くするなどの加工を行い、全身のバランスを１段階よくすることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分のスタイルを調整することができる。
【0043】
レタッチ選択領域３３の中央に形成された領域３３－２には、目の大きさの調整に用いられる調整ボタン５６、目の形の調整に用いられる調整ボタン５７、メイクの濃さの調整に用いられる調整ボタン５８、鼻筋の調整に用いられる調整ボタン５９、ひげ消しの調整に用いられる調整ボタン６０が表示される。
【0044】
目の大きさとして、５段階のレベルが用意される。目の大きさの「０」は加工なし、すなわち目の大きさを変えないで、オリジナルの大きさのままとすることを表す。また、目の大きさの「１」は、「１」に対応するパラメータに基づいて、目の大きさを１段階大きくすることを表す。ユーザは、「１」乃至「４」のいずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分の目の大きさを調整することができる。目の大きさの調整の詳細については後述する。
【0045】
目の形として、「まる目」、「たれ目」、「ねこ目」が用意される。ユーザは、いずれかの形を選択することにより、表示領域３１に表示されている撮影画像に写る自分の目の形を調整することができる。「加工なし」を選択することにより、目の形を変えないことも可能とされる。
【0046】
メイクの濃さとして、５段階のレベルが用意される。メイクの濃さの「０」は、メイクの濃さを変えないで、オリジナルの濃さのままとすることを表す。また、メイクの濃さの「１」は、「１」に対応するパラメータに基づいて、メイクの濃さを１段階濃くすることを表す。ユーザは、「１」乃至「４」のいずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分のメイクの濃さを調整することができる。
【0047】
鼻筋として、オン／オフを選択することが可能とされる。ユーザは、オンまたはオフを選択することにより、表示領域３１に表示されている撮影画像に写る自分の鼻筋のハイライト部分を強調するか、オリジナルの状態のままとするかを選択することができる。
【0048】
ひげ消しとして、３段階のレベルが用意される。ひげ消しの「０」は、ひげを変えないで、オリジナルのひげのままとすることを表す。また、ひげ消しの「弱い」は、「弱い」に対応するパラメータに基づいて加工を行い、ひげを１段階薄くすることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分のひげの濃さを調整することができる。ひげ消しの機能は、レタッチ対象の人物が新郎である場合に有効となる。
【0049】
レタッチ選択領域３３の右側に形成された領域３３－３には、肌の明るさの調整に用いられる調整ボタン６１、全体の明るさの調整に用いられる調整ボタン６２、背景のみの明るさの調整に用いられる調整ボタン６３が表示される。
【0050】
肌の明るさとして、３段階のレベルが用意される。肌の明るさの「０」は、肌の明るさを変えないで、オリジナルの明るさのままとすることを表す。また、肌の明るさの「１」は、「１」に対応するパラメータに基づいて、肌の明るさのレベルを１段階上げることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る自分の肌の明るさを調整することができる。
【0051】
全体の明るさとして、３段階のレベルが用意される。全体の明るさの「０」は、全体の明るさを変えないで、オリジナルの明るさのままとすることを表す。また、全体の明るさの「１」は、「１」に対応するパラメータに基づいて、全体の明るさのレベルを１段階上げることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る全体の明るさを調整することができる。
【0052】
背景の明るさとして、３段階のレベルが用意される。背景の明るさの「０」は、背景の明るさを変えないで、オリジナルの明るさのままとすることを表す。また、背景の明るさの「１」は、「１」に対応するパラメータに基づいて、背景の明るさのレベルを１段階上げることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域３１に表示されている撮影画像に写る背景の明るさを調整することができる。
【0053】
図４の説明に戻り、表示領域３１の左側には一括レタッチに用いられる一括レタッチボタン３４が表示される。一括レタッチは、上述したような各種のレタッチ内容の組み合わせを一括して選択する機能である。
【0054】
図４の例においては、レタッチ内容のレベルの組み合わせが異なる３種類のレベルの一括レタッチの中からいずれかのレベルを選択することができるようになっている。ユーザは、一括レタッチの機能を利用することにより、それぞれのレタッチ内容をレタッチ選択領域３３の表示を用いて選択することなく、一度の操作で選択することができる。
【0055】
表示領域３１の右側には加工前ボタン３５が表示される。加工前ボタン３５は、表示領域３１の表示を、レタッチ前の状態に切り替えるときに操作されるボタンである。加工前ボタン３５が押下されている間、レタッチ前の状態の撮影画像が表示領域３１に表示される。ユーザは、加工前ボタン３５を用いることにより、レタッチ後の状態とレタッチ前の状態とを見比べ、レタッチの度合いが強すぎないかどうかなどを確認することができる。
【0056】
加工前ボタン３５の下には、レタッチ対象とする人物の選択に用いられる人物選択ボタン３６が表示される。ユーザは、人物選択ボタン３６を用いることにより、撮影画像の左側に写る人物のみ、右側に写る人物のみ、２人とも、のいずれかを選択してレタッチを施すことができる。撮影画像に対して顔認識などが行われ、レタッチの画像処理の対象となる人物がユーザの操作に応じて選択される。
【0057】
ユーザは、このような各種の機能を用いて、表示領域３１に表示させている撮影画像に施すレタッチの内容を選択することができる。このように、レタッチアプリ１Ａを用いて行うことができるレタッチには、顔・体全体の調整、目元・メイクの調整、明るさの調整が少なくとも含まれる。
【0058】
レタッチ対象とする撮影画像がサムネイル画像を用いて切り替えられ、撮影画像Ｐ１乃至Ｐ５のそれぞれのレタッチが順次行われる。撮影画像Ｐ１乃至Ｐ５のそれぞれのレタッチが終わったとき、レタッチ画面を用いたレタッチが終了となる。レタッチが施された撮影画像Ｐ１乃至Ｐ５のそれぞれのファイルがalbumフォルダに格納される。
【0059】
＜全数反映＞
図６は、レタッチパラメータの適用の例を示す図である。
図６は、レタッチパラメータの適用の例を示す図である。
【0060】
図６に示すように、ユーザによる操作によって撮影画像Ｐ１乃至Ｐ５のそれぞれに施されたレタッチの内容が、allフォルダに格納されたそれぞれの未選択画像に反映される。未選択画像は、レタッチ対象として選択されなかった撮影画像である。画像選択画面においてレタッチ対象として選択された撮影画像は、選択画像となる。
【0061】
すなわち、プランに応じた枚数の分だけレタッチ対象として選択された撮影画像（選択画像）のレタッチが、レタッチ画面を用いてユーザにより直接選択された内容に従って行われるのに対して、レタッチ対象として選択されなかった未選択画像のレタッチは、違う画像である選択画像を対象として選択された内容を自動的に反映させるようにして行われる。例えば、全ての未選択画像に対して、選択画像のレタッチの内容が反映される。
【0062】
このように、ユーザ自身によるレタッチの後、選択画像のレタッチの内容を未選択画像に反映させる機能である全数反映の機能がレタッチアプリ１Ａに用意される。
【0063】
ブライダル写真などのイベントの撮影においては、通常、数百枚分などの多くの撮影が行われる。カメラマンに撮影してもらった全ての画像のレタッチをユーザが自ら手動で行うのは負担が大きい。選択画像のレタッチの内容が全ての未選択画像に反映されるようにすることにより、ユーザは、撮影してもらった全ての画像を、自分の好みの写りに調整された状態で受け取ることができる。
【0064】
レタッチ済みの撮影画像Ｐ１乃至Ｐ５のうちのどの撮影画像のレタッチの内容をどの未選択画像に対して反映させるかが、同じ人物が写っているかどうか、顔の大きさが同程度の大きさであるかどうかなどの、選択画像と未選択画像のそれぞれの属性によって選択される。例えば、ある未選択画像に対しては、その未選択画像に写っている人物と同じ人物の顔が同程度の大きさで写っている選択画像のレタッチの内容が反映される。
【0065】
この場合、それぞれの撮影画像（選択画像と未選択画像）が解析され、それぞれの撮影画像に写る人物や顔の大きさが属性として認識される。それぞれの未選択画像に対して、同じ属性の選択画像のレタッチの内容が反映される。
【0066】
レタッチアプリ１Ａには、このような撮影画像の属性を解析する機能も搭載される。大きさだけでなく、顔の位置、顔の向きなどの様々な顔の状態が属性として認識されるようにしてもよい。また、写っている人物の性別、人数、撮影場所（屋外／屋内）などの、他の種類の属性が認識されるようにしてもよい。
【0067】
＜接客モードと書き出しモード＞
レタッチアプリ１Ａの動作モードとして接客モードと書き出しモードが用意される。接客モードは、レタッチ画面を用いたレタッチをユーザが行うときに選択される動作モードである。書き出しモードは、全数反映を行うときに選択される動作モードである。
レタッチアプリ１Ａの動作モードとして接客モードと書き出しモードが用意される。接客モードは、レタッチ画面を用いたレタッチをユーザが行うときに選択される動作モードである。書き出しモードは、全数反映を行うときに選択される動作モードである。
【0068】
図７は、動作モードの選択画面の例を示す図である。
【0069】
選択画面には、接客モードを選択するときに操作されるボタン８１と、書き出しモードを選択するときに操作されるボタン８２が表示される。あるユーザにレタッチを行ってもらう場合、例えば撮影スタジオのスタッフは、図７に示すような選択画面を用いて接客モードを選択し、ユーザにレタッチを行ってもらうことになる。また、ユーザによるレタッチの終了後、撮影スタジオのスタッフは、書き出しモードを選択し、全数反映を行うことになる。
【0070】
図８は、あるユーザを対象とした作業の流れを示す図である。
【0071】
図８に示すように、ユーザを被写体としたカメラマンによる撮影が行われ、その後、レタッチアプリ１Ａの接客モードを利用して、ユーザによるレタッチが行われる。ユーザによるレタッチの終了後、書き出しモードを利用して、スタッフによる全数反映が行われる。
【0072】
上述したように、１回の撮影で数百枚の撮影が行われるため、全数反映は、レタッチ用PC１の処理負担が大きく、かつ、時間がかかる処理となる。書き出しモードを用意し、書き出しモードが選択されてから全数反映が行われるようにすることにより、レタッチの終了直後に全数反映が自動的に開始されてしまい、それによって次のユーザのレタッチを開始させることができないといった状態になるのを防ぐことが可能となる。
【0073】
すなわち、図９に示すように、複数のユーザ（新郎新婦の複数のペア）の分の全数反映を、全てのユーザのレタッチの終了後に行うことが可能となる。
【0074】
図９の例においては、ある新郎新婦のペアであるユーザ＃１の撮影後にユーザ＃１によるレタッチが行われ、その後、違う新郎新婦のペアであるユーザ＃２の撮影と、ユーザ＃２によるレタッチが行われている。ユーザ＃２のレタッチの後、さらに、違う新郎新婦のペアをユーザとした撮影と、そのユーザによるレタッチが行われる。ユーザ＃１によるレタッチとユーザ＃２の撮影が並行して行われるといったように、あるユーザの作業は、適宜、他のユーザの作業と並行して行われる。
【0075】
例えば全てのユーザの撮影とレタッチが終了した後、書き出しモードを利用して、それぞれのユーザの分の全数反映が行われる。図９の例においては、ユーザ＃１の分の全数反映の後に、ユーザ＃２の分の全数反映が行われている。
【0076】
このように、複数のユーザの分の全数反映をまとめて実行させることができるようにすることにより、レタッチが行われる毎に全数反映を実行する場合と較べて、全体のオペレーションの効率化を図ることが可能となる。
【0077】
【0078】
CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続される。
【0079】
バス１０４には、さらに、入出力インタフェース１０５が接続される。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続される。
【0080】
入力部１０６は、キーボード、マウスなどにより構成される。
【0081】
出力部１０７は、ディスプレイ１１などにより構成される。
【0082】
記憶部１０８は、ハードディスクや不揮発性のメモリなどにより構成される。記憶部１０８は、CPU１０１が実行するレタッチアプリ１Ａなどのプログラム、撮影画像などの各種の情報を記憶する。
【0083】
通信部１０９は、インターネット、LANなどのネットワークに対するインタフェースである。例えば、通信部１０９は、撮影スタジオのカメラに接続された保存用のPCと通信を行い、保存用のPCから送信されてきた、レタッチを始めようとするユーザが被写体として写る撮影画像を受信する。また、通信部１０９は、画像管理サーバ２との間で通信を行い、レタッチ済みの撮影画像を画像管理サーバ２に送信する。
【0084】
ドライブ１１０は、リムーバブルメディア１１１に対するデータの書き込み、リムーバブルメディア１１１からのデータの読み出しを制御する。保存用のPCからの撮影画像の取り込みがリムーバブルメディア１１１を介して行われるようにしてもよい。
【0085】
図１１は、レタッチ用PC１の機能構成例を示すブロック図である。
【0086】
図１１に示すように、レタッチ用PC１においては、レタッチアプリ１Ａが実行されることにより情報処理部１２１が実現される。情報処理部１２１は、画像取得部１３１、レタッチ処理部１３２、出力制御部１３３、および表示制御部１３４により構成される。
【0087】
画像取得部１３１は、接客モード時、画像選択画面に対するユーザの操作を受け付け、レタッチ対象としてユーザにより選択された撮影画像を例えば記憶部１０８から取得する。画像取得部１３１により取得されたレタッチ対象の撮影画像は、レタッチ処理部１３２と表示制御部１３４に供給される。
【0088】
また、画像取得部１３１は、レタッチ対象のそれぞれの撮影画像に対するレタッチが終了し、書き出しモードでの動作が選択された場合、未選択画像を例えば記憶部１０８から取得し、レタッチ処理部１３２に出力する。
【0089】
レタッチ処理部１３２は、接客モード時、顔認識を行い、レタッチ対象の撮影画像に写る顔を認識する。レタッチ処理部１３２は、認識した顔の各部の特徴を解析し、レタッチ画面に対するユーザの操作に応じて、レタッチに関する各種の画像処理を行う。各部の特徴の解析が、機械学習によって生成された推論モデルを用いて行われるようにしてもよい。
【0090】
例えば、レタッチ処理部１３２は、目の大きさや目の形の調整に関する操作が行われた場合、目の輪廓の位置をユーザによる選択内容に応じてずらすなどの画像処理を行う。
【0091】
具体的には、レタッチ処理部１３２は、調整ボタン５６（図５）を用いて、「１」、「２」、「３」、「４」のいずれかのレベルが選択された場合、レタッチ対象となっている人物の目の領域をマスク処理などを行うことによって抽出する。レタッチ処理部１３２は、抽出した目の領域の画像を、選択されたレベルに応じて拡大させ、拡大後の目の領域の画像を抽出元の位置に貼り付けるようにして目の拡大処理を行う。
【0092】
また、レタッチ処理部１３２は、メイクの濃さの調整に関する操作が行われた場合、頬の部分に所定の色のチークの画像を合成したり、唇の部分に所定の色の口紅の画像を合成したりする画像処理を行う。
【0093】
レタッチ処理部１３２は、肌質の調整に関する操作が行われた場合、肌の明るさを調整するなどの画像処理を行う。レタッチ処理部１３２は、顔の大きさ（小顔感）や顔の形の調整に関する操作が行われた場合、顔の輪廓の位置をユーザによる選択内容に応じてずらすなどの画像処理を行う。
【0094】
具体的には、レタッチ処理部１３２は、調整ボタン５１（図５）を用いて、「１」、「２」、「３」、「４」のいずれかのレベルが選択された場合、レタッチ対象となっている人物の顔の輪郭の各位置を、選択されたレベルに応じて顔の中心方向にずらし、顔を小さくする画像処理を行う。
【0095】
レタッチ処理部１３２による画像処理の結果を表す情報は、表示制御部１３４に供給され、レタッチ画面の表示に用いられる。
【0096】
また、レタッチ処理部１３２は、書き出しモード時、未選択画像を含むそれぞれの撮影画像を解析し、レタッチ済みの撮影画像に施したレタッチの内容を未選択画像に反映させる。レタッチ処理部１３２によりレタッチが施された撮影画像は出力制御部１３３に供給される。
【0097】
出力制御部１３３は、ユーザによる操作に応じてレタッチが施された撮影画像をalbumフォルダに保存する。
【0098】
また、出力制御部１３３は、レタッチ済みの撮影画像（選択画像と未選択画像）を通信部１０９に出力し、画像管理サーバ２に送信させる。
【0099】
表示制御部１３４は、画像選択画面、レタッチ画面などの、レタッチアプリ１Ａの各種の画面の表示を制御する。
【0100】
＜＜目つぶり判定機能＞＞
ブライダル写真の撮影においては、正面（カメラ）を向いた表情だけでなく、目を閉じた表情を意図的に撮影するようなことがよく行われる。例えば、下向きの表情を撮影した場合には、画像上では目を閉じている状態で写ることもあるし、正面を向いていても笑顔の場合には目を閉じている状態で写ることがある。
ブライダル写真の撮影においては、正面（カメラ）を向いた表情だけでなく、目を閉じた表情を意図的に撮影するようなことがよく行われる。例えば、下向きの表情を撮影した場合には、画像上では目を閉じている状態で写ることもあるし、正面を向いていても笑顔の場合には目を閉じている状態で写ることがある。
【0101】
閉じている状態で写っている目の部分を、ユーザの操作に応じて、ユーザが選択した通りに拡大した場合、違和感のある写りになってしまうことがある。上述したように、レタッチ画面においては、撮影画像に写る人物の目の大きさを調整することが可能とされる。
【0102】
レタッチアプリ１Ａにおいては、目を拡大する操作が行われた場合において、レタッチ対象となっている撮影画像に写る人物が目を閉じているとき、ユーザにより選択されたレベル（調整度合い）をそのまま用いずに、レベルを弱めて目の拡大処理が行われる。
【0103】
図１２は、目を拡大する操作が行われた場合の処理の流れを示す図である。
【0104】
図１２の左側に示すように、人物Ｈ１（新婦）と人物Ｈ２（新郎）が写っている撮影画像Ｐ１がレタッチ対象として選択され、人物Ｈ１の目を拡大する操作が行われたものとする。また、吹き出しに示すように人物Ｈ１は目を閉じているものとする。
【0105】
この場合において、矢印＃１１の先に示すように、目の大きさのレベルとして「４」が選択された場合、矢印＃１２の先に示すように、「２」のレベルを用いて拡大処理が行われる。すなわち、ユーザにより選択されたレベルをそのまま用いずに、ユーザにより選択された「４」より弱いレベルである「２」に基づいて、目の拡大処理が行われる。
【0106】
目の大きさのレベルとして「３」が選択された場合も同様に、「２」のレベルを用いて拡大処理が行われる。「１」または「２」のレベルが選択された場合には、ユーザにより選択された通りのレベルに基づいて拡大処理が行われる。
【0107】
一方、図１３の左側に示すように、目を開いている人物Ｈ２を対象として、矢印＃２１の先に示すように目の大きさのレベルとして「４」が選択された場合、矢印＃２２の先に示すように、「４」のレベルを用いて拡大処理が行われる。すなわち、ユーザにより選択されたレベルをそのまま用いて、ユーザにより選択された通りのレベルである「４」に基づいて、目の拡大処理が行われる。
【0108】
このように、拡大することが選択された目が閉じているときには調整度合いのレベルを抑えることにより、違和感のある目になることを防ぐことが可能となる。
【0109】
図１４は、レタッチ処理部１３２の構成例を示すブロック図である。
【0110】
レタッチ処理部１３２は、特徴抽出部１４１、目状態判定部１４２、および画像処理部１４３により構成される。なお、図１４には、目の大きさの調整機能に関する構成のみが示されている。小顔機能などの他の機能に関する構成もレタッチ処理部１３２には設けられる。
【0111】
特徴抽出部１４１は、レタッチ対象の撮影画像を解析し、撮影画像に写る人物の特徴を抽出する。レタッチ対象の撮影画像に複数の人物が写っている場合、それぞれの人物の特徴が抽出される。
【0112】
例えば、特徴抽出部１４１は、撮影画像に写る顔を認識し、顔の各位置の特徴点を抽出する。特徴抽出部１４１が抽出する特徴点には、顔の輪郭上の各位置の特徴点だけでなく、目、鼻、口などの各部位の輪郭上の各位置の特徴点が含まれる。特徴点の抽出が画像を解析することによって行われるようにしてもよいし、機械学習によって生成された推論モデルを用いて行われるようにしてもよい。後者の場合、撮影画像を入力とし、それぞれの人物の特徴点の情報を出力とする推論モデルが特徴抽出部１４１に用意される。
【0113】
また、特徴抽出部１４１は、撮影画像の属性を特徴として抽出する。例えば、撮影画像に写る人物の人数、性別、顔の状態（向き、位置、サイズ）などの属性が抽出される。属性の抽出についても、画像を解析することによって行われるようにしてもよいし、機械学習によって生成された推論モデルを用いて行われるようにしてもよい。後者の場合、撮影画像を入力とし、属性の情報を出力とする推論モデルが特徴抽出部１４１に用意される。
【0114】
特徴抽出部１４１により抽出された特徴点と属性の情報は、目状態判定部１４２と画像処理部１４３に供給される。
【0115】
目状態判定部１４２は、特徴抽出部１４１から供給された特徴点の情報に基づいて、レタッチ対象の撮影画像に写る人物の目の開閉状態を判定する。
【0116】
【0117】
図１５Ａに示すように、例えば、目の輪廓上の特徴点として特徴点Ｐ１乃至Ｐ６が抽出される。特徴点Ｐ１は目尻の位置の特徴点であり、特徴点Ｐ２は上まぶたの目尻寄りの位置の特徴点である。特徴点Ｐ３は上まぶたの目頭寄りの位置の特徴点であり、特徴点Ｐ４は目頭の位置の特徴点である。特徴点Ｐ５は下まぶたの目頭寄りの位置の特徴点であり、特徴点Ｐ６は下まぶたの目尻寄りの位置の特徴点である。
【0118】
このような特徴点が抽出されている場合、矢印＃３１で示すように、特徴点Ｐ２－特徴点Ｐ３の中間位置と、特徴点Ｐ５－特徴点Ｐ６の中間位置との間の距離が目の縦方向の長さとして求められる。また、矢印＃３２で示すように、特徴点Ｐ１と特徴点Ｐ４の間の距離が目の横方向の長さとして求められる。
【0119】
目状態判定部１４２は、例えば、目の横方向の長さに対する縦方向の長さの比が閾値以上である場合、目が開いていると判定し、閾値未満である場合、目が閉じていると判定する。図１５Ａに示す状態の場合、目が開いていると判定される。一方、図１５Ｂに示す状態の場合、目の横方向の長さに対する縦方向の長さの比が閾値未満であるため、目が閉じていると判定される。
【0120】
特徴点Ｐ２－特徴点Ｐ３の中間位置と、特徴点Ｐ５－特徴点Ｐ６の中間位置とを結ぶ線分（矢印＃３１）と、特徴点Ｐ１と特徴点Ｐ４を結ぶ線分（矢印＃３２）の位置関係に基づいて目の開閉状態が判定されるようにしてもよい。例えば、２つの線分が図１５Ａに示すように交差している場合には目が開いていると判定され、図１５Ｂに示すように交差していない場合には目が閉じていると判定される。
【0121】
目の状態の以上のような判定手法については、例えば「Eye fatigue estimation using blink detection based on Eye Aspect Ratio Mapping(EARM)」（Cognitive Robotics Volume 2, 2022, Pages 50-59， https://www.sciencedirect.com/science/article/pii/S2667241322000039）に開示されている。
【0122】
各特徴点の情報に基づいて行われる他の判定手法を目の開閉状態の判定手法として採用可能である。機械学習によって生成された推論モデルを用いて目の開閉状態が判定されるようにしてもよい。この場合、目の画像を入力とし、目の開閉状態の判定結果を出力とする推論モデルが目状態判定部１４２に用意される。
【0123】
目状態判定部１４２による判定結果を示す情報は、図１４の画像処理部１４３に供給される。
【0124】
なお、目の開閉状態の判定が以上のようにして行われることにより、完全に閉じている場合だけでなく、顔の向きや目の形の個人差などによっては、多少開いている場合にも目が閉じていると判定される。目が「閉じている」ということは、完全に閉じていることのみを意味するものではない。
【0125】
目状態判定部１４２による目の開閉状態の判定が、特徴抽出部１４１により抽出された属性を用いて行われるようにしてもよい。顔が下方向を向いているときには閾値が切り替えられるといったように、目が開いているか閉じているかの判定の基準となる閾値が、属性として抽出された顔の向きに応じて切り替えられるようにしてもよい。
【0126】
画像処理部１４３は、目を拡大することが選択された場合、調整度合いのレベルを目状態判定部１４２による判定結果に応じて選択し、選択したレベルに基づいて拡大処理を行う。すなわち、画像処理部１４３は、「３」または「４」のレベルが選択された場合において、レタッチ対象の人物が目を閉じていると判定された場合、ユーザにより選択されたレベルをそのまま用いずに、そのレベルを弱めた「２」のレベルに基づいて、目の拡大処理を行う。
【0127】
また、画像処理部１４３は、レタッチ対象の人物が目を閉じていて「１」または「２」のレベルが選択された場合、または、レタッチ対象の人物が目を開いている場合、ユーザにより選択された通りのレベルに基づいて、目の拡大処理を行う。
【0128】
レベルを弱めて拡大処理を行うのではなく、レタッチ対象の人物が目を閉じていると判定された場合には、目の大きさの拡大処理が行われないようにしてもよい。
【0129】
また、「３」、「４」のレベルが選択された場合に、それより小さい「２」のレベルが固定値として選択され、拡大処理に用いられるものとしたが、「３」が選択された場合と「４」が選択された場合とでそれぞれ異なるレベルが拡大処理に用いられるようにしてもよい。すなわち、ユーザにより選択されたレベルを弱めたレベルであれば、各種のレベルを調整度合いとして用いて拡大処理が行われるようにすることが可能である。
【0130】
ある人物の目を拡大することが選択された場合において、片方の目だけが閉じているとき、目つぶり判定機能を利用した上述したような拡大処理が両方の目を対象として行われるようにしてもよい。この場合、閉じている目と開いている目の両方の目を対象とした拡大処理が、ユーザが選択したレベルを弱めて行われる。
【0131】
また、片方の目だけが閉じているとき、目つぶり判定機能を利用した上述したような拡大処理が閉じている方の目だけを対象として行われるようにしてもよい。この場合、開いている方の目については、ユーザにより選択された通りのレベルに基づいて拡大処理が行われ、閉じている方の目については、ユーザにより選択されたレベルを弱めたレベルに基づいて拡大処理が行われる。
【0132】
目つぶり判定機能を利用した拡大処理が、全数反映の場合に適用され、加工の内容をユーザが直接選択する場合には適用されないようにしてもよい。この場合、レタッチ画面において目を拡大することが選択されたときには、レタッチ対象の人物が目を閉じているか否かにかかわらず、ユーザにより選択された通りのレベルに基づいて拡大処理が行われる。
【0133】
例えば、ある未選択画像が全数反映によるレタッチ対象としてレタッチ処理部１３２により選択されている場合、その未選択画像に写る人物を対象として、目の開閉状態の判定が目状態判定部１４２により行われる。その未選択画像に写る人物が目を閉じていると判定された場合、加工内容の反映元となる撮影画像（選択画像）に対して目の拡大処理が行われているときには、適宜、レベルを弱めた形で目の拡大処理が行われる。未選択画像に写る人物が目を閉じていると判定された場合には目の拡大処理が行われないようにしてもよい。
【0134】
以上においては、目つぶり判定機能による判定結果が目の拡大処理にのみ用いられるものとしたが、目に関する他の画像処理に用いられるようにしてもよい。上述したように、目に関する画像処理として、目の大きさの拡大処理だけでなく、目の形の変形処理も用意される。
【0135】
例えば、調整ボタン５７を用いて、目の形を変えることが選択された場合、レタッチ対象の人物が目を閉じているときには、ユーザにより選択された通りの値に基づく変形処理が行われずに、弱めた値に基づく変形処理が行われる。レタッチ対象の人物が目を閉じているときには変形処理が行われないようにしてもよい。
【0136】
＜＜横顔判定機能＞＞
ブライダル写真の撮影においては、正面を向いた表情だけでなく、横を向いた表情を意図的に撮影するようなことがよく行われる。例えば、新郎と新婦が向き合っているようなシーンの撮影が行われることがある。
ブライダル写真の撮影においては、正面を向いた表情だけでなく、横を向いた表情を意図的に撮影するようなことがよく行われる。例えば、新郎と新婦が向き合っているようなシーンの撮影が行われることがある。
【0137】
横向きの顔を、ユーザが選択した通りに小顔化（縮小）した場合、違和感のある写りになってしまうことがある。上述したように、レタッチ画面においては、撮影画像に写る人物の小顔感を調整することが可能とされる。
【0138】
小顔化する画像処理である小顔処理は、例えば、顔の特徴点の位置をユーザにより選択されたレベルに応じて顔の中心方向にずらすようにして行われる。
【0139】
図１６は、顔の向きの判定の例を示す図である。
【0140】
レタッチ対象の人物が図１６Ａに示すように横を向いている場合、顔の各位置の特徴点は、図１６Ｂの各ドットで示すようにして抽出される。レタッチ対象の人物が横を向いている場合、鼻の部分の特徴点が、顔の輪郭より外側の位置で点在して抽出される。この状態において、ユーザにより選択された通りのレベルに応じて全ての特徴点をずらしたとき、特に、鼻がつぶれたようになり、違和感が生じてしまう。
【0141】
レタッチアプリ１Ａにおいては、小顔感が選択された場合において、レタッチ対象となっている人物が横を向いていると判定されたとき、横顔用のパラメータを用いて小顔処理が行われる。横顔用のパラメータは、例えば、鼻の部分の特徴点のずらし量を、正面顔用のパラメータにおけるずらし量より抑えたパラメータとなっている。このように、レタッチアプリ１Ａには、小顔処理に用いるパラメータが顔の向き毎に用意される。
【0142】
図１７は、小顔感が選択された場合の処理の流れを示す図である。
【0143】
図１７の左側に示すように、人物Ｈ１（新婦）と人物Ｈ２（新郎）が互いに向き合った状態で写っている撮影画像Ｐ１１がレタッチ対象として選択され、人物Ｈ１の顔を小顔化する操作が行われたものとする。
【0144】
この場合において、矢印＃３１の先に示すように、小顔感のレベルとして「４」が選択された場合、矢印＃３２の先に示すように、「４」のレベルに応じた横顔用のパラメータを用いて小顔処理が行われる。横顔用のパラメータについても、「１」、「２」、「３」、「４」のそれぞれのレベル毎のパラメータが用意される。
【0145】
このように、顔が横を向いているときには鼻の部分の特徴点のずらし量を抑えることにより、違和感のある顔になることを防ぐことが可能となる。
【0146】
【0147】
【0148】
顔向き判定部１５１は、小顔感が選択されたレタッチ対象の人物が横を向いているか否かを特徴抽出部１４１により抽出された特徴点に基づいて判定する。例えば、鼻の部分の特徴点が顔の輪郭より外側の位置にある場合に、レタッチ対象の人物が横を向いていると判定される。顔向き判定部１５１による判定結果を示す情報は画像処理部１４３に供給される。
【0149】
画像処理部１４３は、顔向き判定部１５１による判定結果に応じてパラメータを選択し、小顔処理を行う。すなわち、画像処理部１４３は、レタッチ対象の人物が横を向いていると判定された場合、横顔用のパラメータに基づいて小顔処理を行う。また、画像処理部１４３は、レタッチ対象の人物が正面を向いていると判定された場合、正面顔用のパラメータに基づいて小顔処理を行う。
【0150】
以上の処理により、ユーザは、小顔機能を違和感なく使うことが可能となる。
【0151】
顔向き判定機能を利用した小顔処理が、全数反映の場合に適用され、加工の内容をユーザが直接選択する場合には適用されないようにしてもよい。この場合、レタッチ画面において小顔感が選択されたときには、レタッチ対象の人物が横を向いているか否かにかかわらず、ユーザにより選択された通りのレベルに基づいて小顔処理が行われる。
【0152】
例えば、ある未選択画像が全数反映によるレタッチ対象としてレタッチ処理部１３２により選択されている場合、その未選択画像に写る人物を対象として、顔の向きの判定が顔向き判定部１５１により行われる。その未選択画像に写る人物が横を向いていると判定された場合、加工内容の反映元となる撮影画像に対して通常のパラメータ（正面顔用のパラメータ）を用いた小顔処理が行われているときであっても、横顔用のパラメータに基づいて小顔処理が行われる。未選択画像に写る人物が横を向いていると判定された場合には小顔処理が行われないようにしてもよい。
【0153】
＜＜変形例＞＞
・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【0154】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１０に示されるリムーバブルメディア１１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【0155】
コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0156】
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0157】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0158】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0159】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【0160】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【符号の説明】
【0161】
１ レタッチ用PC， ２ 画像管理サーバ， ３ 携帯端末， １１ ディスプレイ， １２１ 画像処理部， １３１ 画像取得部， １３２ レタッチ処理部， １３３ 出力制御部， １３４ 表示制御部， １４１ 特徴抽出部， １４２ 目状態判定部， １４３ 画像処理部， １５１ 顔向き判定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】