IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フリュー株式会社の特許一覧

特開2024-82674情報処理装置、情報処理方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024082674
(43)【公開日】2024-06-20
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
   G06T 1/00 20060101AFI20240613BHJP
   G06T 3/18 20240101ALI20240613BHJP
   G06T 11/80 20060101ALI20240613BHJP
   G06F 3/04842 20220101ALI20240613BHJP
   G06F 3/04845 20220101ALI20240613BHJP
   H04N 1/393 20060101ALI20240613BHJP
【FI】
G06T1/00 340A
G06T3/00 770
G06T11/80 A
G06F3/04842
G06F3/04845
H04N1/393
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022196685
(22)【出願日】2022-12-08
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 令和4年9月12日に株式会社デコルテが運営するウェディングフォトスタジオに配布
(71)【出願人】
【識別番号】307010096
【氏名又は名称】フリュー株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】嵐 呂美
(72)【発明者】
【氏名】松原 菜津美
(72)【発明者】
【氏名】荒木 卓
(72)【発明者】
【氏名】華岡 千尋
【テーマコード(参考)】
5B050
5B057
5C076
5E555
【Fターム(参考)】
5B050AA09
5B050BA06
5B050BA12
5B050CA01
5B050DA04
5B050EA09
5B050EA12
5B050FA02
5B050FA05
5B057BA23
5B057CD11
5B057CH18
5B057DC05
5C076AA12
5C076AA21
5C076AA22
5C076BB01
5C076CA02
5C076CB05
5E555AA04
5E555BA02
5E555BA66
5E555BA84
5E555BB02
5E555BC07
5E555BC18
5E555CA02
5E555CA18
5E555CB02
5E555CB33
5E555CB45
5E555CC03
5E555CC05
5E555DB06
5E555DB53
5E555DB56
5E555DC05
5E555DC09
5E555DC19
5E555DC25
5E555DC73
5E555EA07
5E555EA11
5E555FA00
(57)【要約】
【課題】人物の体が細く見える画像を容易に生成できるようにする。
【解決手段】本技術の一側面の情報処理装置は、被写体として写る人物の顔の特徴点の情報を含む撮影画像の特徴を認識し、加工対象の撮影画像を所定の方向に伸張し、伸張後の撮影画像における顔のそれぞれの特徴点の所定の方向の位置を伸張前の位置の方向に移動させるようにして、撮影画像に写る人物のスタイルを調整する。本技術は、撮影スタジオに設置されたコンピュータに適用することができる。
【選択図】図20
【特許請求の範囲】
【請求項1】
被写体として写る人物の顔の特徴点の情報を含む撮影画像の特徴を認識する認識部と、
加工対象の前記撮影画像を所定の方向に伸張し、伸張後の前記撮影画像における顔のそれぞれの特徴点の前記所定の方向の位置を伸張前の位置の方向に移動させるようにして、前記撮影画像に写る前記人物のスタイルを調整する画像処理部と
を備える情報処理装置。
【請求項2】
前記画像処理部は、伸張後の前記撮影画像における顔のそれぞれの特徴点の前記所定の方向の位置を伸張前の位置と同じ位置に移動させる
請求項1に記載の情報処理装置。
【請求項3】
前記画像処理部は、加工対象の前記撮影画像に複数の前記人物が写っている場合、伸張後の前記撮影画像における顔のそれぞれの特徴点の前記所定の方向の位置を伸張前の位置の方向に移動させる処理を、それぞれの前記人物を対象として行う
請求項1に記載の情報処理装置。
【請求項4】
前記認識部は、被写体として写るそれぞれの前記人物の属性を認識し、
前記画像処理部は、それぞれの特徴点の移動量を、対象となる前記人物の前記属性に応じて切り替える
請求項3に記載の情報処理装置。
【請求項5】
前記撮影画像を対象とした加工の内容の選択に用いられる加工画面の表示を加工対象として選択中の前記撮影画像の特徴に応じて切り替える表示制御部をさらに備え、
加工対象として選択中の前記撮影画像に2人の前記人物が写る場合、前記加工画面には、加工対象とする前記人物の選択に用いられる選択ボタンとして、一方の人物の選択に用いられる第1のボタンと、他方の人物の選択に用いられる第2のボタンと、両方の人物の選択に用いられる第3のボタンとの3種類のボタンが表示される
請求項3に記載の情報処理装置。
【請求項6】
前記画像処理部は、前記第1のボタンまたは前記第2のボタンが操作されている場合でも、前記スタイルの調整に用いられるボタンが操作されたことに応じて、2人の前記人物が写る前記撮影画像に対して前記スタイルを調整する画像処理を行う
請求項5に記載の情報処理装置。
【請求項7】
前記表示制御部は、前記第1のボタンまたは前記第2のボタンが操作されている場合、前記スタイルの調整に用いられるボタンを操作不可の状態として表示させる
請求項5に記載の情報処理装置。
【請求項8】
前記画像処理部は、前記顔の中心線の方向を前記所定の方向として加工対象の前記撮影画像を伸張する
請求項1乃至7のいずれかに記載の情報処理装置。
【請求項9】
情報処理装置が、
被写体として写る人物の顔の特徴点の情報を含む撮影画像の特徴を認識し、
加工対象の前記撮影画像を所定の方向に伸張し、
伸張後の前記撮影画像における顔のそれぞれの特徴点の前記所定の方向の位置を伸張前の位置の方向に移動させるようにして、前記撮影画像に写る前記人物のスタイルを調整する
情報処理方法。
【請求項10】
コンピュータに、
被写体として写る人物の顔の特徴点の情報を含む撮影画像の特徴を認識し、
加工対象の前記撮影画像を所定の方向に伸張し、
伸張後の前記撮影画像における顔のそれぞれの特徴点の前記所定の方向の位置を伸張前の位置の方向に移動させるようにして、前記撮影画像に写る前記人物のスタイルを調整する
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、人物の体が細く見える画像を容易に生成できるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
証明写真機やゲームセンターに設置されるプリントシール機などの撮影装置においては、撮影後の画像の写りをユーザが自分で調整できるようになっている。ユーザは、シール紙などに印刷された状態で受け取ることになる画像の写りを1枚ずつ好みに応じて調整することができる。
【0003】
特許文献1には、顔の特徴点に基づいて顔領域を切り出し、他の人物の顔の領域に合成する技術が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2021-73619号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
体が細く見えるように写りを調整したいというニーズが特に女性にある。
【0006】
本技術はこのような状況に鑑みてなされたものであり、人物の体が細く見える画像を容易に生成できるようにするものである。
【課題を解決するための手段】
【0007】
本技術の一側面の情報処理装置は、被写体として写る人物の顔の特徴点の情報を含む撮影画像の特徴を認識する認識部と、加工対象の前記撮影画像を所定の方向に伸張し、伸張後の前記撮影画像における顔のそれぞれの特徴点の前記所定の方向の位置を伸張前の位置の方向に移動させるようにして、前記撮影画像に写る前記人物のスタイルを調整する画像処理部とを備える。
【0008】
本技術の一側面においては、被写体として写る人物の顔の特徴点の情報を含む撮影画像の特徴が認識され、加工対象の前記撮影画像を所定の方向に伸張し、伸張後の前記撮影画像における顔のそれぞれの特徴点の前記所定の方向の位置を伸張前の位置の方向に移動させるようにして、前記撮影画像に写る前記人物のスタイルが調整される。
【発明の効果】
【0009】
本技術によれば、人物の体が細く見える画像を容易に生成することができる。
【図面の簡単な説明】
【0010】
図1】撮影スタジオにおける作業の流れを示す図である。
図2】撮影画像の提供の例を示す図である。
図3】レタッチ画面の例を示す図である。
図4】レタッチ選択領域の表示を拡大して示す図である。
図5】レタッチパラメータの適用の例を示す図である。
図6】動作モードの選択画面の例を示す図である。
図7】作業の流れを示す図である。
図8】作業の流れを示す他の図である。
図9】人物選択ボタンの表示を拡大して示す図である。
図10】人物選択ボタンが操作された場合の例を説明する図である。
図11】人物選択ボタンの表示を拡大して示す図である。
図12】人物選択ボタンの表示を拡大して示す図である。
図13】人物選択ボタンが操作された場合の例を説明する図である。
図14】人物選択ボタンの表示を拡大して示す図である。
図15】人物選択ボタンの表示を拡大して示す図である。
図16】レタッチ用PCの構成例を示すブロック図である。
図17】レタッチ用PCの機能構成例を示すブロック図である。
図18】管理ファイルの例を示す図である。
図19】レタッチ対象の撮影画像の例を示す図である。
図20】スタイルアップの画像処理の例を示す図である。
図21】スタイルアップ前と後の撮影画像の例を示す図である。
図22】スタイルアップの画像処理の例を示す図である。
図23】引き伸ばし方向の例を示す図である。
図24】レタッチ画面の表示例を示す図である。
図25】レタッチ画面の他の表示例を示す図である。
【発明を実施するための形態】
【0011】
<<撮影スタジオでの作業の流れ>>
図1は、撮影スタジオにおける作業の流れを示す図である。
【0012】
本技術は、例えばウェディングの記念撮影を行う撮影スタジオにおいて用いられる。本技術は、入学/卒業の記念写真、成人式の記念写真、七五三の記念写真などの、各種のイベントの記念写真の撮影を行う場合にも適用可能である。
【0013】
図1の左側に示すように、撮影スタジオにおける撮影はカメラマンにより行われる。図1の例においては、背景スクリーンの前に立つ新郎と新婦を被写体として撮影が行われている。新郎はタキシード姿であり、新婦はウェディングドレス姿である。新郎と新婦の周りには、カメラマンによる撮影にあわせて発光するストロボ装置などの機材が配置される。新郎新婦などの撮影が撮影スタジオの外で行われるようにしてもよい。
【0014】
カメラマンによる撮影は、構図を変えて、50枚、100枚などの多くの枚数の静止画像(写真)を撮影するようにして行われる。静止画像の構図は、新郎と新婦のポーズ、新郎、新婦とカメラマンとの位置関係、焦点距離などのカメラパラメータなどにより決定される。カメラマンにより撮影された静止画像である撮影画像は、カメラに接続された図示せぬPCに転送され、保存される。
【0015】
撮影が終了した後、新郎と新婦は、撮影スタジオに用意されたレタッチスペースに移動し、図1の右側に示すように、レタッチ用PC1を利用して、カメラマンに撮影してもらった撮影画像を確認する。
【0016】
また、新郎と新婦は、レタッチ用PC1のユーザとして、例えば最終的に印刷してもらう枚数の撮影画像を選択し、自らレタッチすることによって、それぞれの撮影画像の写りを調整する。カメラマンにより撮影してもらった撮影画像の中から選択された一部の撮影画像を対象としてレタッチが行われる。例えば、ユーザが申し込んだプランに応じた、5枚、10枚などの所定の枚数の撮影画像がレタッチ対象の画像として選択される。レタッチ(加工)には、撮影画像の写りを調整するための各種の画像処理が含まれる。
【0017】
レタッチスペースには、1台、または複数台のレタッチ用PC1が用意される。保存用のPCに保存された撮影画像がレタッチ用PC1に転送され、レタッチ用PC1のディスプレイ11に表示される。レタッチ用PC1には、カメラマンに撮影してもらった撮影画像をレタッチすることに用いられるアプリケーションであるレタッチアプリ1Aがインストールされている。
【0018】
このように、本技術を適用したレタッチ用PC1が設置された撮影スタジオにおいては、カメラマンに撮影してもらった撮影画像のレタッチがユーザ(新郎と新婦)自身により行われる。ユーザは、レタッチアプリ1Aの機能を利用して、自分の好みの写りとなるように撮影画像のレタッチを行うことができる。タブレット端末などの、PCとは異なる端末にレタッチアプリ1Aがインストールされ、レタッチに用いられるようにしてもよい。
【0019】
図2は、撮影画像の提供の例を示す図である。
【0020】
レタッチアプリ1Aによるレタッチ済みの撮影画像は、撮影スタジオの運営会社により印刷され、矢印#1に示すように、例えばアルバムなどの形で後日ユーザに渡される。
【0021】
また、レタッチ済みの撮影画像は、矢印#2に示すように、レタッチ用PC1から画像管理サーバ2にアップロードされ、画像管理サーバ2において管理される。画像管理サーバ2は、例えばインターネット上のサーバである。撮影スタジオの運営会社により、または、撮影スタジオの運営会社とは異なる事業者により画像管理サーバ2が管理される。
【0022】
ユーザは、スマートフォンなどの自分の携帯端末3を操作し、画像管理アプリ3Aを操作することによって、矢印#3に示すように、自分たちが被写体となって撮影してもらった撮影画像を閲覧したり、ダウンロードしたりすることができる。画像管理アプリ3Aは、画像管理サーバ2において管理されている撮影画像の閲覧等を行うためのアプリケーションである。画像管理アプリ3Aは、例えば、画像管理サーバ2を管理する事業者により提供される。
【0023】
撮影スタジオにおいて撮影された撮影画像の提供は、アルバムの形で行われるとともに、適宜、データの形で行われることになる。データでの撮影画像の提供が、アルバムの料金とは別料金で可能となるようにしてもよい。
【0024】
データでの撮影画像の提供は、ユーザによりレタッチが行われた撮影画像だけでなく、レタッチ対象としてユーザにより選択されなかった撮影画像をも提供するようにして行われる。レタッチ対象としてユーザにより選択されなかった撮影画像については、後述するように、ユーザの操作によらずに、レタッチアプリ1Aによって自動的にレタッチが行われる。
【0025】
ユーザは、レタッチ対象として選択しなかった撮影画像についても、データの形で受け取ることが可能となる。画像管理アプリ3Aを用いるのではなく、ブラウザを利用して所定のサイトにアクセスし、画像管理サーバ2において管理されている撮影画像を受け取ることができるようにしてもよい。例えば、画像管理サーバ2の管理者が提供する画像提供サービスの会員登録を行うことにより、ユーザは、画像管理サーバ2において管理されている撮影画像を、画像管理アプリ3Aを利用して、または、ブラウザを利用して受け取ることが可能となる。
【0026】
携帯端末3ではなく、タブレット端末やPCなどの他の端末を利用して撮影画像を受け取ることができるようにしてもよい。
【0027】
<<レタッチアプリについて>>
<画面表示>
・レタッチ画面
図3は、レタッチ画面の例を示す図である。
【0028】
撮影画像のレタッチに用いられる画面であるレタッチ画面の中央上方には表示領域31が形成される。表示領域31は、いまレタッチ対象となっている1枚の撮影画像が拡大表示される領域である。表示領域31の左側に形成されたサムネイル領域32には、ユーザにより選択された撮影画像のサムネイル画像が表示される。図3の例においては、撮影画像P1乃至P5の5枚の撮影画像のサムネイル画像が表示されている。サムネイル画像を用いて選択された撮影画像P1が、表示領域31に拡大表示される。
【0029】
レタッチ画面の下には横長のレタッチ選択領域33が形成される。レタッチ選択領域33に表示されたボタンを用いて、レタッチの内容が選択される。レタッチ選択領域33に表示されたボタンを用いてレタッチの内容が選択される毎に、選択された内容が表示領域31の表示に反映される。ユーザは、表示領域31の表示を見ながら、いまレタッチ対象となっている撮影画像に施すレタッチの内容をレタッチ選択領域33の表示を用いて選択することになる。
【0030】
図4は、レタッチ選択領域33の表示を拡大して示す図である。
【0031】
レタッチ選択領域33は、顔・体全体の調整に用いられる情報の表示領域である領域33-1、目元・メイクの調整に用いられる情報の表示領域である領域33-2、および、明るさの調整に用いられる情報の表示領域である領域33-3から形成される。
【0032】
レタッチ選択領域33の左側に形成された領域33-1には、小顔感の調整に用いられる調整ボタン51、顔の形の調整に用いられる調整ボタン52、肌質の調整に用いられる調整ボタン53、あごの長さの調整に用いられる調整ボタン54、スタイルの調整(スタイルアップ)に用いられる調整ボタン55が表示される。
【0033】
小顔感として、5段階のレベル(調整度合い)が用意される。小顔感の「0」は、顔の大きさを変えないで、オリジナルの大きさのままとすることを表す。また、小顔感の「1」は、「1」に対応するパラメータに基づいて、顔の大きさを1段階小さくすることを表す。ユーザは、「1」乃至「4」のいずれかのレベルを選択することにより、表示領域31に表示されている撮影画像に写る自分の顔の大きさを調整することができる。
【0034】
顔の形として、「まる」、「たまご」、「ほっそり」が用意される。ユーザはいずれかの形を選択することにより、表示領域31に表示されている撮影画像に写る自分の顔の形を調整することができる。「レタッチなし」を選択することにより、顔の形を変えないことも可能とされる。
【0035】
肌質として、5段階のレベルが用意される。肌質の「0」は、肌質を変えないで、オリジナルの肌質のままとすることを表す。また、肌質の「1」は、「1」に対応するパラメータに基づいて、肌質のレベルを1段階上げることを表す。ユーザは、「1」乃至「4」のいずれかのレベルを選択することにより、表示領域31に表示されている撮影画像に写る自分の肌質の滑らかさの程度を調整することができる。
【0036】
あごの長さとして、3段階のレベルが用意される。あごの長さの「0」は加工なし、すなわちあごの長さを変えないで、オリジナルの長さのままとすることを表す。また、あごの長さの「短い」は、「短い」に対応するパラメータに基づいて加工を行い、あごの長さを1段階短くすることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域31に表示されている撮影画像に写る自分のあごの長さを調整することができる。
【0037】
スタイルアップとして、3段階のレベルが用意とされる。スタイルアップの「0」は加工なし、すなわちスタイルを変えないで、オリジナルのスタイルのままとすることを表す。また、スタイルアップの「弱い」は、「弱い」に対応するパラメータに基づいて、足を長くするなどの加工を行い、全身のバランスを1段階よくすることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域31に表示されている撮影画像に写る自分のスタイルを調整することができる。
【0038】
レタッチ選択領域33の中央に形成された領域33-2には、目の大きさの調整に用いられる調整ボタン56、目の形の調整に用いられる調整ボタン57、メイクの濃さの調整に用いられる調整ボタン58、鼻筋の調整に用いられる調整ボタン59、ひげ消しの調整に用いられる調整ボタン60が表示される。
【0039】
目の大きさとして、5段階のレベルが用意される。目の大きさの「0」は加工なし、すなわち目の大きさを変えないで、オリジナルの大きさのままとすることを表す。また、目の大きさの「1」は、「1」に対応するパラメータに基づいて、目の大きさを1段階大きくすることを表す。ユーザは、「1」乃至「4」のいずれかのレベルを選択することにより、表示領域31に表示されている撮影画像に写る自分の目の大きさを調整することができる。
【0040】
目の形として、「まる目」、「たれ目」、「ねこ目」が用意される。ユーザは、いずれかの形を選択することにより、表示領域31に表示されている撮影画像に写る自分の目の形を調整することができる。「加工なし」を選択することにより、目の形を変えないことも可能とされる。
【0041】
メイクの濃さとして、5段階のレベルが用意される。メイクの濃さの「0」は、メイクの濃さを変えないで、オリジナルの濃さのままとすることを表す。また、メイクの濃さの「1」は、「1」に対応するパラメータに基づいて、メイクの濃さを1段階濃くすることを表す。ユーザは、「1」乃至「4」のいずれかのレベルを選択することにより、表示領域31に表示されている撮影画像に写る自分のメイクの濃さを調整することができる。
【0042】
鼻筋として、オン/オフを選択することが可能とされる。ユーザは、オンまたはオフを選択することにより、表示領域31に表示されている撮影画像に写る自分の鼻筋のハイライト部分を強調するか、オリジナルの状態のままとするかを選択することができる。
【0043】
ひげ消しとして、3段階のレベルが用意される。ひげ消しの「0」は、ひげを変えないで、オリジナルのひげのままとすることを表す。また、ひげ消しの「弱い」は、「弱い」に対応するパラメータに基づいて加工を行い、ひげを1段階薄くすることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域31に表示されている撮影画像に写る自分のひげの濃さを調整することができる。ひげ消しの機能は、レタッチ対象の人物が新郎である場合に有効となる。
【0044】
レタッチ選択領域33の右側に形成された領域33-3には、肌の明るさの調整に用いられる調整ボタン61、全体の明るさの調整に用いられる調整ボタン62、背景のみの明るさの調整に用いられる調整ボタン63が表示される。
【0045】
肌の明るさとして、3段階のレベルが用意される。肌の明るさの「0」は、肌の明るさを変えないで、オリジナルの明るさのままとすることを表す。また、肌の明るさの「1」は、「1」に対応するパラメータに基づいて、肌の明るさのレベルを1段階上げることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域31に表示されている撮影画像に写る自分の肌の明るさを調整することができる。
【0046】
全体の明るさとして、3段階のレベルが用意される。全体の明るさの「0」は、全体の明るさを変えないで、オリジナルの明るさのままとすることを表す。また、全体の明るさの「1」は、「1」に対応するパラメータに基づいて、全体の明るさのレベルを1段階上げることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域31に表示されている撮影画像に写る全体の明るさを調整することができる。
【0047】
背景の明るさとして、3段階のレベルが用意される。背景の明るさの「0」は、背景の明るさを変えないで、オリジナルの明るさのままとすることを表す。また、背景の明るさの「1」は、「1」に対応するパラメータに基づいて、背景の明るさのレベルを1段階上げることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域31に表示されている撮影画像に写る背景の明るさを調整することができる。
【0048】
図3の説明に戻り、表示領域31の左側には一括レタッチに用いられる一括レタッチボタン34が表示される。一括レタッチは、上述したような各種のレタッチ内容の組み合わせを一括して選択する機能である。
【0049】
図3の例においては、レタッチ内容のレベルの組み合わせが異なる3種類のレベルの一括レタッチの中からいずれかのレベルを選択することができるようになっている。ユーザは、一括レタッチの機能を利用することにより、それぞれのレタッチ内容をレタッチ選択領域33の表示を用いて選択することなく、一度の操作で選択することができる。
【0050】
表示領域31の右側には加工前ボタン35が表示される。加工前ボタン35は、表示領域31の表示を、レタッチ前の状態に切り替えるときに操作されるボタンである。加工前ボタン35が押下されている間、レタッチ前の状態の撮影画像が表示領域31に表示される。ユーザは、加工前ボタン35を用いることにより、レタッチ後の状態とレタッチ前の状態とを見比べ、レタッチの度合いが強すぎないかどうかなどを確認することができる。
【0051】
加工前ボタン35の下には、レタッチ対象とする人物の選択に用いられる人物選択ボタン36が表示される。ユーザは、人物選択ボタン36を用いることにより、撮影画像の左側に写る人物のみ、右側に写る人物のみ、2人とも、のいずれかを選択してレタッチを施すことができる。撮影画像に対して顔認識などが行われ、レタッチの画像処理の対象となる人物がユーザの操作に応じて選択される。
【0052】
ユーザは、このような各種の機能を用いて、表示領域31に表示させている撮影画像に施すレタッチの内容を選択することができる。このように、レタッチアプリ1Aを用いて行うことができるレタッチには、顔・体全体の調整、目元・メイクの調整、明るさの調整が少なくとも含まれる。
【0053】
レタッチ対象とする撮影画像がサムネイル画像を用いて切り替えられ、撮影画像P1乃至P5のそれぞれのレタッチが順次行われる。撮影画像P1乃至P5のそれぞれのレタッチが終わったとき、レタッチ画面を用いたレタッチが終了となる。
【0054】
<全数反映>
図5は、レタッチパラメータの適用の例を示す図である。
【0055】
図5に示すように、ユーザによる操作によって撮影画像P1乃至P5のそれぞれに施されたレタッチの内容が全ての未選択画像に反映される。未選択画像は、レタッチ対象として選択されなかった撮影画像である。画像選択画面においてレタッチ対象として選択された撮影画像は、選択画像となる。例えば、100枚の撮影画像の中から5枚の撮影画像が選択画像として選択された場合、残りの95枚の撮影画像が未選択画像となる。
【0056】
すなわち、プランに応じた枚数の分だけレタッチ対象として選択された撮影画像(選択画像)のレタッチが、レタッチ画面を用いてユーザにより直接選択された内容に従って行われるのに対して、レタッチ対象として選択されなかった未選択画像のレタッチは、違う画像である選択画像を対象として選択された内容を自動的に反映させるようにして行われる。例えば、全ての未選択画像に対して、選択画像のレタッチの内容が反映される。
【0057】
このように、ユーザ自身によるレタッチの後、選択画像のレタッチの内容を未選択画像に反映させる機能である全数反映の機能がレタッチアプリ1Aに用意される。
【0058】
ブライダル写真などのイベントの撮影においては、通常、数百枚分などの多くの撮影が行われる。カメラマンに撮影してもらった全ての画像のレタッチをユーザが自ら手動で行うのは負担が大きい。選択画像のレタッチの内容が全ての未選択画像に反映されるようにすることにより、ユーザは、撮影してもらった全ての画像を、自分の好みの写りに調整された状態で受け取ることができる。
【0059】
レタッチ済みの撮影画像P1乃至P5のうちのどの撮影画像のレタッチの内容をどの未選択画像に対して反映させるかが、同じ人物が写っているかどうか、顔の大きさが同程度の大きさであるかどうかなどの、選択画像と未選択画像のそれぞれの特徴によって選択される。例えば、ある未選択画像に対しては、その未選択画像に写っている人物と同じ人物の顔が同程度の大きさで写っている選択画像のレタッチの内容が反映される。
【0060】
この場合、それぞれの撮影画像(選択画像と未選択画像)に写る人物の人数、顔のサイズなどの特徴が認識される。それぞれの未選択画像に対して、同じ特徴を有する選択画像のレタッチの内容が反映される。
【0061】
レタッチアプリ1Aには、このような撮影画像の特徴を認識する機能も搭載される。サイズだけでなく、顔の向きなどの他の顔の状態が認識されるようにしてもよい。また、人物の性別、年齢、撮影場所(屋外/屋内)などの、他の種類の特徴が認識されるようにしてもよい。
【0062】
<接客モードと書き出しモード>
レタッチアプリ1Aの動作モードとして接客モードと書き出しモードが用意される。接客モードは、レタッチ画面を用いたレタッチをユーザが行うときに選択される動作モードである。書き出しモードは、全数反映を行うときに選択される動作モードである。
【0063】
図6は、動作モードの選択画面の例を示す図である。
【0064】
選択画面には、接客モードを選択するときに操作されるボタン81と、書き出しモードを選択するときに操作されるボタン82が表示される。あるユーザにレタッチを行ってもらう場合、例えば撮影スタジオのスタッフは、図6に示すような選択画面を用いて接客モードを選択し、ユーザにレタッチを行ってもらうことになる。また、ユーザによるレタッチの終了後、撮影スタジオのスタッフは、書き出しモードを選択し、全数反映を行うことになる。
【0065】
図7は、あるユーザを対象とした作業の流れを示す図である。
【0066】
図7に示すように、ユーザを被写体としたカメラマンによる撮影が行われ、その後、レタッチアプリ1Aの接客モードを利用して、ユーザによるレタッチが行われる。ユーザによるレタッチの終了後、書き出しモードを利用して、スタッフによる全数反映が行われる。
【0067】
上述したように、1回の撮影で数百枚の撮影が行われるため、全数反映は、レタッチ用PC1の処理負担が大きく、かつ、時間がかかる処理となる。書き出しモードを用意し、書き出しモードが選択されてから全数反映が行われるようにすることにより、レタッチの終了直後に全数反映が自動的に開始されてしまい、それによって次のユーザのレタッチを開始させることができないといった状態になるのを防ぐことが可能となる。
【0068】
すなわち、図8に示すように、複数のユーザ(新郎新婦の複数のペア)の分の全数反映を、全てのユーザのレタッチの終了後に行うことが可能となる。
【0069】
図8の例においては、ある新郎新婦のペアであるユーザ#1の撮影後にユーザ#1によるレタッチが行われ、その後、違う新郎新婦のペアであるユーザ#2の撮影と、ユーザ#2によるレタッチが行われている。ユーザ#2のレタッチの後、さらに、違う新郎新婦のペアをユーザとした撮影と、そのユーザによるレタッチが行われる。ユーザ#1によるレタッチとユーザ#2の撮影が並行して行われるといったように、あるユーザの作業は、適宜、他のユーザの作業と並行して行われる。
【0070】
例えば全てのユーザの撮影とレタッチが終了した後、書き出しモードを利用して、それぞれのユーザの分の全数反映が行われる。図8の例においては、ユーザ#1の分の全数反映の後に、ユーザ#2の分の全数反映が行われている。
【0071】
このように、複数のユーザの分の全数反映をまとめて実行させることができるようにすることにより、レタッチが行われる毎に全数反映を実行する場合と較べて、全体のオペレーションの効率化を図ることが可能となる。
【0072】
<人物選択ボタン36の表示切り替え>
図3を参照して説明したように、レタッチ画面には、レタッチ対象とする人物の選択に用いられる人物選択ボタン36が用意される。ユーザは、人物選択ボタン36を用いることにより、レタッチ対象として選択中の選択画像に複数の人物が写っている場合であっても、レタッチ対象とする人物を個別に選択し、写りを人物毎に調整することが可能となる。
【0073】
人物選択ボタン36の表示が、レタッチ対象として選択中の選択画像の特徴に応じて切り替えられる。選択画像の特徴によっては、レタッチ対象とする選択画像を切り替える毎に、人物選択ボタン36の表示が切り替えられる。
【0074】
・人数に応じた表示の切り替えの例
図9は、人物選択ボタン36の表示を拡大して示す図である。
【0075】
新郎と新婦が左右に並んで写る撮影画像P1が図9の左側に示すようにレタッチ対象として選択中である場合、図9の右側に示すように、左側に写る人物だけをレタッチ対象として個別に選択するときに操作されるボタン41A、右側に写る人物だけをレタッチ対象として個別に選択するときに操作されるボタン41B、および、2人をレタッチ対象として選択するときに操作されるボタン41Cが人物選択ボタン36として表示される。円形のボタン41A、ボタン41B、ボタン41Cには、それぞれの選択内容の説明となる文字が表示される。
【0076】
レタッチ用PC1には、選択画像に写る人物の顔を認識することによって、選択画像に写る人物の数を特定する機能が搭載される。
【0077】
この状態において図10Aの右側に示すようにボタン41Aが操作された場合、左側に写る新郎だけがレタッチ対象として選択され、新郎の顔を囲むように枠が表示される。ユーザ(例えば新郎)は、レタッチ選択領域33の表示を用いることにより、新郎の顔の写りなどを調整することができる。
【0078】
一方、図10Bの右側に示すようにボタン41Bが操作された場合、右側に写る新婦だけがレタッチ対象として選択され、新婦の顔を囲むように枠が表示される。ユーザ(例えば新婦)は、レタッチ選択領域33の表示を用いることにより、新婦の顔の写りなどを調整することができる。
【0079】
ボタン41Cが操作された場合、左側に写る新郎と右側に写る新婦の2人がレタッチ対象として選択され、それぞれの顔を囲むように2つの枠が表示される。
【0080】
このように、複数の人物が写っている撮影画像がレタッチ対象として選択中である場合、左右の人物を個別に選択するときに用いられるボタンを操作可能とした状態(オン状態)の人物選択ボタン36が表示される。
【0081】
図11は、人物選択ボタン36の表示を拡大して示す他の図である。
【0082】
新婦がアップで写る撮影画像P3が図11の左側に示すようにレタッチ対象として選択中である場合、図11の右側に示すように、人物選択ボタン36がグレーアウトして表示され、人物選択ボタン36を構成するボタン41A、ボタン41B、ボタン41Cが操作不可とされる。撮影画像P3に写る人物は新婦だけであるから、撮影画像P3がレタッチ対象として選択されている間は、レタッチ対象の人物が新婦に固定される。新婦の顔を囲む枠が表示されるようにしてもよいし、表示されないようにしてもよい。
【0083】
1人の人物が写っている撮影画像がレタッチ対象として選択中である場合、左右の人物を個別に選択するときに用いられるボタンを操作不可とした状態(オフ状態)の人物選択ボタン36が表示される。
【0084】
例えば、撮影画像P1の次に撮影画像P3がレタッチ対象として選択され、その後、新郎と新婦が写っている撮影画像P5(図3)がレタッチ対象として選択された場合、人物選択ボタン36の状態は、レタッチ対象の撮影画像が切り替えられる毎にオン状態、オフ状態、オン状態と切り替えられることになる。
【0085】
人物選択ボタン36のオン/オフの状態がレタッチ対象の撮影画像に写る人数に応じて切り替えられることにより、ユーザは、レタッチ対象とする人物を容易に選択することができる。
【0086】
選択画像として選択された5枚全てが1人の人物が写っている撮影画像であるときに人物選択ボタン36が表示されないようにしてもよい。この場合、人物選択ボタン36の表示領域には、何も表示されないか、装飾用の画像が表示される。
【0087】
このように、複数人の人物が写っている選択画像が1枚でもあれば人物選択ボタン36がオン状態またはオフ状態で表示され、複数人の人物が写っている選択画像が1枚もなければ人物選択ボタン36が表示されないようにすることが可能である。
【0088】
・性別に応じた表示の切り替えの例
図12は、人物選択ボタン36の表示を拡大して示す図である。
【0089】
新郎と新婦が左右に並んでアップで写る撮影画像P5が図12の左側に示すようにレタッチ対象として選択中である場合、図12の右側に示すように、男性だけをレタッチ対象として個別に選択するときに操作されるボタン42A、女性だけをレタッチ対象として個別に選択するときに操作されるボタン42B、および、2人をレタッチ対象として選択するときに操作されるボタン42Cが人物選択ボタン36として表示される。ボタン42A、ボタン42B、ボタン42Cには、それぞれの選択内容の説明となる文字が表示される。ボタン42A乃至42Cには、ボタン41A乃至41Cに表示される文字とは異なる文字が表示される。文字ではなく、記号などの他の情報を用いて選択内容が提示されるようにしてもよい。ボタン42Aに「新郎だけ」の文字が表示され、ボタン42Bに「新婦だけ」の文字が表示されるようにしてもよい。
【0090】
この状態において図13Aの右側に示すようにボタン42Aが操作された場合、男性である新郎だけがレタッチ対象として選択され、新郎の顔を囲むように枠が表示される。ユーザ(例えば新郎)は、レタッチ選択領域33の表示を用いることにより、新郎の顔の写りなどを調整することができる。
【0091】
一方、図13Bの右側に示すようにボタン42Bが操作された場合、女性である新婦だけがレタッチ対象として選択され、新婦の顔を囲むように枠が表示される。ユーザ(例えば新婦)は、レタッチ選択領域33の表示を用いることにより、新婦の顔の写りなどを調整することができる。
【0092】
ボタン42Cが操作された場合、男性である新郎と女性である新婦の2人がレタッチ対象として選択され、それぞれの顔を囲むように2つの枠が表示される。
【0093】
このように、男性と女性が写っている撮影画像がレタッチ対象として選択中である場合、男性と女性を個別に選択するときに用いられるボタンを操作可能とした状態(オン状態)の人物選択ボタン36が表示される。
【0094】
図14は、人物選択ボタン36の表示を拡大して示す図である。
【0095】
新婦がアップで写る撮影画像P3が図14の左側に示すようにレタッチ対象として選択中である場合、図14の右側に示すように、人物選択ボタン36がグレーアウトして表示され、人物選択ボタン36を構成するボタン42A、ボタン42B、ボタン42Cが操作不可とされる。撮影画像P3に写る人物は新婦だけであるから、撮影画像P3がレタッチ対象として選択されている間は、レタッチ対象の人物が新婦に固定される。新婦の顔を囲む枠が表示されるようにしてもよいし、表示されないようにしてもよい。
【0096】
1人の人物が写っている撮影画像がレタッチ対象として選択中である場合、男性と女性を個別に選択するときに用いられるボタンを操作不可とした状態(オフ状態)の人物選択ボタン36が表示される。
【0097】
人物選択ボタン36のオン/オフの状態がレタッチ対象の撮影画像に写る人物の性別に応じて切り替えられることにより、ユーザは、レタッチ対象とする人物を容易に選択することができる。
【0098】
選択画像として選択された5枚全てが1人の人物が写っている撮影画像であるときに人物選択ボタン36が表示されないようにしてもよい。この場合、人物選択ボタン36の表示領域には、何も表示されないか、装飾用の画像が表示される。
【0099】
このように、男性と女性が写っている選択画像が1枚でもあれば人物選択ボタン36はオン状態またはオフ状態で表示され、男性と女性が写っている選択画像が1枚もなければ人物選択ボタン36が表示されないようにすることが可能である。
【0100】
なお、レタッチ対象として選択中の撮影画像に女性2人が写っている場合、または、男性2人が写っている場合、左側に写る人物だけをレタッチ対象として個別に選択するときに操作されるボタン41A、右側に写る人物だけをレタッチ対象として個別に選択するときに操作されるボタン41B、および、2人をレタッチ対象として選択するときに操作されるボタン41Cからなる人物選択ボタン36が表示される。
【0101】
・年齢に応じた表示の切り替えの例
図15は、人物選択ボタン36の表示を拡大して示す図である。
【0102】
子どもと新婦が左右に並んで写る撮影画像P11が図15の左側に示すようにレタッチ対象として選択中である場合、図15の右側に示すように、大人だけをレタッチ対象として個別に選択するときに操作されるボタン43A、子どもだけをレタッチ対象として個別に選択するときに操作されるボタン43B、および、2人をレタッチ対象として選択するときに操作されるボタン43Cが人物選択ボタン36として表示される。ボタン43A、ボタン43B、ボタン43Cには、それぞれの選択内容の説明となる文字が表示される。
【0103】
この状態においてボタン43Aが操作された場合、大人である新婦だけがレタッチ対象として選択され、新婦の顔を囲むように枠が表示される。ユーザ(例えば新婦)は、レタッチ選択領域33の表示を用いることにより、新婦の顔の写りなどを調整することができる。
【0104】
一方、ボタン43Bが操作された場合、子どもだけがレタッチ対象として選択され、子どもの顔を囲むように枠が表示される。ユーザ(例えば子ども)は、レタッチ選択領域33の表示を用いることにより、子どもの顔の写りなどを調整することができる。
【0105】
ボタン43Cが操作された場合、子どもと、大人である新婦の2人がレタッチ対象として選択され、それぞれの顔を囲むように2つの枠が表示される。
【0106】
このように、大人と子どもが写っている撮影画像がレタッチ対象として選択中である場合、大人と子どもを個別に選択するときに用いられるボタンを操作可能とした状態(オン状態)の人物選択ボタン36が表示される。
【0107】
新婦がアップで写る例えば撮影画像P3がレタッチ対象として選択中である場合、人物選択ボタン36がグレーアウトして表示され、人物選択ボタン36を構成するボタン43A、ボタン43B、ボタン43Cが操作不可とされる。撮影画像P3に写る人物は新婦だけであるから、撮影画像P3がレタッチ対象として選択されている間は、レタッチ対象が新婦に固定される。
【0108】
1人の人物が写っている撮影画像がレタッチ対象として選択中である場合、大人と子どもを個別に選択するときに用いられるボタンを操作不可とした状態(オフ状態)の人物選択ボタン36が表示される。
【0109】
人物選択ボタン36のオン/オフの状態がレタッチ対象の撮影画像に写る人物の年齢に応じて切り替えられることにより、ユーザは、レタッチ対象とする人物を容易に選択することができる。
【0110】
<<レタッチ用PC1の構成と動作>>
<レタッチ用PC1の構成>
図16は、レタッチ用PC1の構成例を示すブロック図である。
【0111】
CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103は、バス104により相互に接続される。
【0112】
バス104には、さらに、入出力インタフェース105が接続される。入出力インタフェース105には、入力部106、出力部107、記録部108、通信部109、およびドライブ110が接続される。
【0113】
入力部106は、キーボード、マウスなどにより構成される。
【0114】
出力部107は、ディスプレイ11などにより構成される。
【0115】
記録部108は、ハードディスクや不揮発性のメモリなどにより構成される。記録部108は、CPU101が実行するレタッチアプリ1Aなどのプログラム、撮影画像などの各種の情報を記録する。
【0116】
通信部109は、インターネット、LANなどのネットワークに対するインタフェースである。例えば、通信部109は、撮影スタジオのカメラに接続された保存用のPCと通信を行い、保存用のPCから送信されてきた、レタッチを始めようとするユーザが被写体として写る撮影画像を受信する。また、通信部109は、画像管理サーバ2との間でインターネットを介して通信を行い、レタッチ済みの撮影画像を画像管理サーバ2に送信する。
【0117】
ドライブ110は、リムーバブルメディア111に対するデータの書き込み、リムーバブルメディア111からのデータの読み出しを制御する。保存用のPCからの撮影画像の取り込みがリムーバブルメディア111を介して行われるようにしてもよい。
【0118】
図17は、レタッチ用PC1の機能構成例を示すブロック図である。
【0119】
図17に示すように、レタッチ用PC1においては、レタッチアプリ1Aが実行されることにより情報処理部121が実現される。情報処理部121は、画像取得部131、表示制御部132、認識部133、レタッチ処理部134、およびファイル管理部135により構成される。
【0120】
画像取得部131は、接客モード時、全ての撮影画像を記録部108から読み出して取得する。撮影が終了した場合、1組のユーザを被写体として撮影された数百枚などの全ての撮影画像が保存用のPCから転送され、記録部108に記録されている。画像取得部131により取得された撮影画像は、表示制御部132と認識部133に供給される。
【0121】
また、画像取得部131は、書き出しモード時、未選択画像を含む全ての撮影画像を記録部108から読み出して取得し、認識部133に出力する。
【0122】
表示制御部132は、接客モード時、画像取得部131から供給された撮影画像に基づいて画像選択画面を表示させる。また、表示制御部132は、選択画像とする撮影画像が画像選択画面を用いて選択された後、レタッチ画面を表示させ、レタッチ画面の表示を制御する。レタッチ画面を用いたレタッチが行われている間、画像処理の結果の情報がレタッチ処理部134から供給されてくる。
【0123】
例えば、レタッチ対象として選択中の撮影画像の特徴に応じて人物選択ボタン36の表示を切り替えることが表示制御部132により行われる。上述したように、一方の人物だけを個別に選択することに用いられるボタン、他方の人物だけを個別に選択することに用いられるボタン、両方を選択することに用いられるボタンの3種類のボタンからなる人物選択ボタン36の表示が表示制御部132により切り替えられる。
【0124】
認識部133は、接客モード時、画像選択画面を用いて選択されたそれぞれの選択画像の特徴を認識する。具体的には、認識部133は、選択画像に被写体として写るユーザの顔を認識し、認識した顔毎(人物毎)に、性別、年齢などの属性を認識する。顔と属性の認識は、機械学習によって生成された推論モデルを用いて行われる。
【0125】
例えば、認識部133には、撮影画像を入力とし、認識した顔の特徴点の情報を出力とする顔認識用の推論モデルが用意される。顔の特徴点には、顔の輪郭を示す特徴点だけでなく、顔の各部位の位置を示す特徴点も含まれる。また、認識部133には、撮影画像を入力とし、それぞれの人物の属性の情報を出力とする属性認識用の推論モデルが用意される。
【0126】
認識部133による認識が推論モデルを用いて行われるのではなく、画像を解析することによって行われるようにしてもよい。
【0127】
選択画像の特徴の情報は、認識対象となった選択画像とともにレタッチ処理部134とファイル管理部135に供給される。選択画像の特徴には、顔ID、顔の特徴点、顔サイズ、顔の向きの情報が含まれる。顔IDは、認識された顔の識別情報である。顔サイズと顔の向きは、例えば顔の特徴点に基づいて特定される。
【0128】
また、選択画像の特徴には、性別、年齢などの人物毎の属性が含まれる。
【0129】
また、認識部133は、書き出しモード時、それぞれの未選択画像を対象として、接客モード時と同様にして特徴を認識する。認識部133による認識結果の情報は、認識対象となった未選択画像とともにレタッチ処理部134とファイル管理部135に供給される。
【0130】
レタッチ処理部134は、接客モード時、レタッチ画面に対するユーザの操作に応じて、レタッチに関する各種の画像処理を行う。例えば、レタッチ処理部134は、目の大きさや目の形の調整に関する操作が行われた場合、目の輪廓の位置をユーザによる選択内容に応じてずらすなどの画像処理を行う。
【0131】
具体的には、レタッチ処理部134は、調整ボタン56(図4)を用いて、「1」、「2」、「3」、「4」のいずれかのレベルが選択された場合、レタッチ対象となっている人物の目の領域をマスク処理などを行うことによって抽出する。レタッチ処理部134は、抽出した目の領域の画像を、選択されたレベルに応じて拡大させ、拡大後の目の領域の画像を抽出元の位置に貼り付けるようにして目の拡大処理を行う。
【0132】
また、レタッチ処理部134は、メイクの濃さの調整に関する操作が行われた場合、頬の部分に所定の色のチークの画像を合成したり、唇の部分に所定の色の口紅の画像を合成したりする画像処理を行う。
【0133】
レタッチ処理部134は、肌質の調整に関する操作が行われた場合、肌の明るさを調整するなどの画像処理を行う。レタッチ処理部134は、顔の大きさ(小顔感)や顔の形の調整に関する操作が行われた場合、顔の輪廓の位置をユーザによる選択内容に応じてずらすなどの画像処理を行う。
【0134】
具体的には、レタッチ処理部134は、調整ボタン51(図4)を用いて、「1」、「2」、「3」、「4」のいずれかのレベルが選択された場合、レタッチ対象となっている人物の顔の輪郭の各位置を、選択されたレベルに応じて顔の中心方向にずらし、顔を小さくする画像処理を行う。
【0135】
レタッチ処理部134による画像処理の結果を表す情報は、表示制御部132に供給され、レタッチ画面の表示に用いられる。全ての選択画像のレタッチが終了した場合、レタッチ処理部134による画像処理によって生成されたレタッチ済みのそれぞれの選択画像は、レタッチの内容を示す情報とともにファイル管理部135に供給される。
【0136】
また、レタッチ処理部134は、書き出しモード時、レタッチ済みの選択画像に施したレタッチの内容を全ての未選択画像に反映させる。どの選択画像に施したレタッチの内容をどの未選択画像に反映させるのかは、例えば認識部133により認識された特徴に基づいて選択される。全ての未選択画像のレタッチが終了した場合、レタッチ処理部134による画像処理によって生成されたレタッチ済みのそれぞれの未選択画像は、レタッチの内容を示す情報とともにファイル管理部135に供給される。
【0137】
ファイル管理部135は、接客モード時、ユーザによる操作に応じてレタッチが施された選択画像を保存する。レタッチ済みの選択画像のファイルには、認識部133から供給された情報などに基づいて管理ファイルが紐付けられる。
【0138】
図18は、管理ファイルの例を示す図である。
【0139】
図18に示すように、管理ファイルには、画像サイズ、選択フラグ、レタッチ済みフラグの情報が含まれる。選択フラグは、選択画像として選択された撮影画像であるか否かを示すフラグである。レタッチ済みフラグは、レタッチ済みの撮影画像であるか否かを示すフラグである。
【0140】
また、管理ファイルには、顔IDが含まれるとともに、それぞれの顔IDと紐付けて、レタッチパラメータ、性別、年齢、顔サイズ、輪郭点、顔の向きの情報が含まれる。管理ファイルには、個別の人物を対象としたレタッチの内容を示すレタッチパラメータだけでなく、画像全体を対象としたレタッチの内容を示すレタッチパラメータ(スタイルアップ、画像の明るさなどのパラメータ)も記録される。
【0141】
また、ファイル管理部135は、書き出しモード時、レタッチ済みの選択画像の管理ファイルを読み出し、レタッチ処理部134に出力する。レタッチ処理部134に出力された管理ファイルは、選択画像に対して施されたレタッチの内容を特定するために用いられる。また、ファイル管理部135は、全数反映によってレタッチが施された未選択画像を保存する。レタッチ済みの未選択画像のファイルにも、認識部133から供給された情報などに基づいて管理ファイルが紐付けられる。
【0142】
<<レタッチ画面の表示の変形例>>
・顔枠画像の表示
人物選択ボタン36を用いてレタッチ対象として選択された人物の顔を囲むように枠が表示されるものとしたが、この枠の色がボタンの色に連動するようにしてもよい。この場合、人物選択ボタン36を構成するそれぞれのボタンは例えば異なる色で表示される。図10Aに示すようにボタン41Aが操作され、左側に写る新郎が選択された場合、新郎の顔を囲む枠はボタン41Aと同じ色で表示される。また、図10Bに示すようにボタン41Bが操作され、右側に写る新婦が選択された場合、新婦の顔を囲む枠はボタン41Bと同じ色で表示される。
【0143】
これにより、人物選択ボタン36を操作することによってどの人物がレタッチ対象として選択されたのかをユーザはより直感的に認識することができる。
【0144】
・属性の認識結果の信頼度に応じた表示
男性だけを選択するときに操作されるボタン42Aと女性だけを選択するときに操作されるボタン42Bが認識部133により認識された性別に基づいて表示されるものとしたが、認識結果の信頼度が閾値より低い場合、ボタン42Aとボタン42Bに代えて、左側の人だけを選択するときに操作されるボタン41Aと右側の人だけを選択するときに操作されるボタン41Bが表示されるようにしてもよい。
【0145】
同様に、大人だけを選択するときに操作されるボタン43Aと子どもだけを選択するときに操作されるボタン43Bが認識部133により認識された年齢に基づいて表示されるものとしたが、認識結果の信頼度が閾値より低い場合、ボタン43Aとボタン43Bに代えて、左側の人だけを選択するときに操作されるボタン41Aと右側の人だけを選択するときに操作されるボタン41Bが表示されるようにしてもよい。
【0146】
この場合、認識部133による属性の認識結果に対しては信頼度が求められ、閾値と比較される。属性認識用の推論モデルから出力された信頼度が閾値との比較に用いられるようにしてもよいし、顔のサイズ、顔の向きなどに基づく計算によって求められた信頼度が閾値との比較に用いられるようにしてもよい。
【0147】
・属性の例
人数、性別、年齢が人物の属性として認識されるものとしたが、機械学習によって生成された推論モデルを用いたり、画像処理によって解析したりして認識可能な属性であれば他の属性が認識され、人物選択ボタン36の表示に用いられるようにしてもよい。認識可能な属性には例えば以下のようなものがある。
背の高さ:背が高い人/背が低い人
衣装の色:白い服の人/黒い服の人
髪の長さ:髪が長い人/髪が短い人
【0148】
・ボタンの表示位置
どの人物をレタッチ対象とするかを性別、年齢などの属性に基づいてユーザに選択させる場合、ボタンの表示位置が、撮影画像上におけるユーザの位置に応じて切り替えられるようにしてもよい。
【0149】
例えば、新郎が左側に写り、新婦が右側に写る撮影画像(例えば図12の撮影画像P5)がレタッチ対象として選択中である場合、新郎と新婦の位置にあわせて、男性だけをレタッチ対象として個別に選択するときに操作されるボタン42Aが左側に表示され、女性だけをレタッチ対象として個別に選択するときに操作されるボタン42Bが右側に表示される。
【0150】
一方、新婦が左側に写り、新郎が右側に写る撮影画像(図示せず)がレタッチ対象として選択中である場合、新婦と新郎の位置にあわせて、女性だけをレタッチ対象として個別に選択するときに操作されるボタン42Bが左側に表示され、男性だけをレタッチ対象として個別に選択するときに操作されるボタン42Aが右側に表示される。
【0151】
同様に、子どもが左側に写り、新婦が右側に写る撮影画像(例えば図15の撮影画像P11)がレタッチ対象として選択中である場合、子どもと新婦の位置に合わせて、子どもだけをレタッチ対象として個別に選択するときに操作されるボタン43Bが左側に表示され、新婦だけをレタッチ対象として個別に選択するときに操作されるボタン43Aが右側に表示される。
【0152】
一方、新婦が左側に写り、子どもが右側に写る撮影画像(図示せず)がレタッチ対象として選択中である場合、新婦と子どもの位置に合わせて、新婦だけをレタッチ対象として個別に選択するときに操作されるボタン43Aが左側に表示され、子どもだけをレタッチ対象として個別に選択するときに操作されるボタン43Bが右側に表示される。
【0153】
これによっても、ユーザは、レタッチ対象とする人物を直感的に選択することができる。
【0154】
<<スタイルアップの機能について>>
図4を参照して説明したように、レタッチの機能の1つとしてスタイルアップが用意される。ユーザは、調整ボタン55を操作し、「弱い」または「強い」のレベルを選択することにより、撮影画像に写る人物のスタイルを調整することができる。スタイルの調整として、胴体や手足などの、顔以外の部分が長く見えるようにするための画像処理が行われる。
【0155】
<被写体が1人である場合>
図19は、レタッチ対象の撮影画像の例を示す図である。
【0156】
図19Aの例においては、新婦1人がアップで写る撮影画像P21が示されている。撮影画像P21には、新婦の腰付近から上の部分が写っている。
【0157】
撮影画像P21が選択画像として選択されている場合、図19Bに示すように、特徴点p1~p5が認識部133により認識される。特徴点p1~p5は、それぞれ、顔の中央、頭頂部、あご、右側の輪郭上の位置、左側の輪郭上の位置を示す特徴点である。実際には、さらに多くの特徴点が認識される。
【0158】
図20は、スタイルアップの画像処理の例を示す図である。
【0159】
図20の左側に示すように、撮影画像P21上における特徴点p1~p5のそれぞれの位置が位置(x1,y1)~(x5,y5)で表されるものとする。この状態でスタイルアップの所定のレベルが選択された場合、矢印#21の先に示すように、撮影画像P21が上下方向に引き伸ばされる(伸張する画像処理が行われる)。図20においては引き伸ばし量を誇張して示しているが、実際には、ユーザにより選択されたレベルに応じた若干の引き伸ばし量を用いて画像処理が行われる。
【0160】
図20の例においては、中心を基準として、撮影画像P21が上下方向に引き伸ばされている。特徴点p1の位置は、上下方向の位置のみ変えて、位置(x1,y1’)として表される。引き伸ばし後の撮影画像P21における特徴点p1の位置は、引き伸ばし前の撮影画像P21における特徴点p1の位置より僅かに上にずれた位置となる。
【0161】
同様に、特徴点p2の位置は位置(x2,y2’)として表され、特徴点p3の位置は位置(x3,y3’)として表される。また、特徴点p4の位置は位置(x4,y4’)として表され、特徴点p5の位置は位置(x5,y5’)として表される。
【0162】
引き伸ばし後の撮影画像P21においては、全体的に上下方向に伸びた状態で新婦が写ることになる。なお、引き伸ばし後の撮影画像P21は、レタッチを行っているユーザが目にする画像ではない(レタッチ画面に表示されない)。
【0163】
なお、撮影画像の中心を基準として引き伸ばされるのではなく、撮影画像の上端や下端などの他の位置を基準として引き伸ばされるようにしてもよい。人物の顔の中心位置を基準として引き伸ばされるといったように、撮影画像の写りの内容に応じて、引き伸ばしの基準となる位置が選択されるようにしてもよい。
【0164】
次に、矢印#22の先に示すように、引き伸ばし後の撮影画像P21の上端と下端がトリミングされ、それぞれの顔の特徴点を、引き伸ばし前の位置と同じ位置に戻すようにして画像処理が行われる。図20の右端に示すように、特徴点p1~p5のそれぞれの位置は、位置(x1,y1)~(x5,y5)として表される。顔の特徴点を引き伸ばし前の位置と同じ位置に戻す画像処理によって、スタイルアップ後の撮影画像P21が生成される。
【0165】
図21は、スタイルアップ前と後の撮影画像の例を示す図である。
【0166】
顔の特徴点のみを引き伸ばし前の位置と同じ位置に戻すことにより、図21の右側に示すように、顔の写りについては引き伸ばし前から変わらずに、体が細く見える撮影画像P21がスタイルアップ後の画像として生成される。スタイルアップ前と後において撮影画像のサイズは同じである。
【0167】
このように、撮影画像全体を上下方向に伸ばし、顔の特徴点のみを引き伸ばし前の位置と同じ位置に戻すことにより、体が細く見える画像を容易に生成することが可能となる。
【0168】
顔のそれぞれの特徴点の移動先の位置については、引き伸ばし前の位置に近付く位置であれば、引き伸ばし前の位置と同じ位置以外の様々な位置とすることが可能である。すなわち、引き伸ばし後の画像処理は、顔のそれぞれの特徴点を引き伸ばし前の位置の方向に移動させるようにして行われる。
【0169】
なお、スタイルアップによる写りの調整の前に小顔感や顔の形の調整が行われている場合、小顔感による調整後の顔の特徴点や、形の調整後の顔の特徴点を用いて、以上のようなスタイルアップの画像処理が行われる。スタイルアップ後の撮影画像に写る顔は、小顔感や顔の形の調整が反映された顔となる。
【0170】
<被写体が複数人である場合>
図22は、スタイルアップの画像処理の他の例を示す図である。
【0171】
図22には、新郎と新婦がアップで写る撮影画像P31が画像処理の対象として示されている。複数人が写る撮影画像を対象とした場合にも、1人が写る撮影画像を対象とした場合と同様の処理が行われる。
【0172】
すなわち、スタイルアップの所定のレベルが選択された場合、矢印#31の先に示すように、撮影画像P31が、ユーザにより選択されたレベルに応じて上下方向に引き伸ばされる。引き伸ばし後の撮影画像P31においては、全体的に上下方向に伸びた状態で新郎と新婦が写ることになる。
【0173】
次に、矢印#32の先に示すように、引き伸ばし後の撮影画像P31の上端と下端がトリミングされ、新郎と新婦のそれぞれの顔の特徴点を、引き伸ばし前の位置と同じ位置に戻すようにして画像処理が行われる。新郎と新婦のそれぞれの顔の特徴点を引き伸ばし前の位置と同じ位置に戻す画像処理によって、スタイルアップ後の撮影画像P31が生成される。
【0174】
このように、スタイルアップの画像処理の対象となる撮影画像に複数の人物が写っている場合、引き伸ばし後の撮影画像における顔の特徴点を引き伸ばし前の位置と同じ位置に戻す画像処理は、それぞれの人物の顔を対象として行われる。
【0175】
これにより、撮影画像に複数の人物が写っている場合であっても、体が細く見える画像を容易に生成することが可能となる。
【0176】
撮影画像に複数の人物が写っている場合においても、それぞれの顔の特徴点の移動先の位置を、引き伸ばし前の位置と同じ位置以外の様々な位置とすることが可能である。この場合、新郎と新婦とで、顔の特徴点の移動量が切り替わるようにしてもよい。例えば、女性である新婦の顔の特徴点の移動量を、男性である新郎の顔の特徴点の移動量より多い量とすることにより、女性の顔が小さく見える画像を生成することが可能となる。
【0177】
顔の特徴点の移動量が性別に応じて切り替えられるのではなく、年齢などの他の属性に応じて切り替えられるようにしてもよい。それぞれの人物の属性については、管理ファイルに記録されている情報に基づいて特定される。
【0178】
顔のサイズ、顔の向きなどの、顔の写りの状態に応じて、顔の特徴点の移動量が切り替えられるようにしてもよい。
【0179】
<スタイルアップに関する変形例>
・引き伸ばし方向の変形例
スタイルアップの画像処理時の撮影画像の引き伸ばし方向(伸張方向)が上下方向であるものとしたが、画像処理の対象となる撮影画像に写る被写体の状況などに応じて、上下方向以外の所定の方向に引き伸ばされるようにしてもよい。
【0180】
図23は、引き伸ばし方向の例を示す図である。
【0181】
図23Aの例においては、新婦1人がアップで写る撮影画像P41が示されている。撮影画像P41には、画像の右上方向を頭の方向とするように、新婦が斜めの状態で写っている。ウェディング撮影においては、このような様々な角度で人物が写る画像の撮影も行われる。
【0182】
新婦が斜めの状態で写っている場合、図23Bに示すように、画像の中心を基準として、撮影画像P41が斜めの方向(右上左下方向)に引き伸ばされる。引き伸ばし方向として、例えば顔の中心線の方向と同じ方向が選択される。図23Bの一点鎖線L1は、顔の中心を通る中心線を示す。顔の中心線は、例えば、頭頂部の位置を示す特徴点とあごの位置を示す特徴点を結ぶ直線として設定される。引き伸ばし方向が他の特徴点に基づいて設定されるようにしてもよい。
【0183】
斜めの方向に引き伸ばした場合においても、顔の特徴点のみを、引き伸ばし前の位置と同じ位置に戻すようにしてスタイルアップの画像処理が行われる。
【0184】
引き伸ばし方向が人物の状態に応じて設定されることにより、人物が斜めの状態で写っている場合においても、違和感のないスタイルアップの画像処理が可能となる。例えば、図23に示す撮影画像P41を上下方向に引き伸ばした場合、スタイルアップ後の撮影画像においては、新婦の肩幅が不自然に広がって違和感のある画像となってしまうことがあるが、そのようなことを防ぐことが可能となる。
【0185】
・人物選択ボタン36を用いた操作との関係
撮影画像全体の引き伸ばしが行われることから、画像処理の対象となる撮影画像に複数の人物が写っていたとしても、スタイルアップの画像処理は、個別の人物を対象とすることができない処理となる。レタッチ対象とする1人の人物が人物選択ボタン36を用いて選択された場合に、調整ボタン55を操作してスタイルアップの機能をそのまま利用できるようにしてもよいし、利用不可となるようにしてもよい。
【0186】
図24は、レタッチ画面の表示例を示す図である。
【0187】
図24の例においては、新郎と新婦が写る撮影画像P1がレタッチ対象として表示されている。また、人物選択ボタン36のボタン41Aが操作され、左側に写る新郎だけがレタッチ対象として選択されている。
【0188】
この状態において、例えば図24の左下に示すように調整ボタン55を用いてスタイルアップがレベル「2」として選択された場合、レベル「2」のパラメータに従って、撮影画像P1を対象として上述した画像処理が行われる。スタイルアップ後の撮影画像には、レベル「2」に従って体が細く見える新郎と新婦の2人が写ることになる。
【0189】
その後、例えば、人物選択ボタン36のボタン41Bが操作され、右側に写る新婦だけがレタッチ対象として選択された場合において、調整ボタン55を用いてスタイルアップがレベル「1」として選択されたとき、レベル「1」のパラメータに従って、撮影画像P1を対象として画像処理が行われる。スタイルアップ後の撮影画像には、レベル「1」に従って体が細く見える新郎と新婦の2人が写ることになる。
【0190】
このように、レタッチ対象とする人物が人物選択ボタン36を用いて選択された場合であっても、スタイルアップが選択されたときには、同じパラメータ(レベル)を用いてスタイルが調整された複数の人物が写る撮影画像が生成される。
【0191】
図25は、レタッチ画面の他の表示例を示す図である。
【0192】
図25の例においても、新郎と新婦が写る撮影画像P1がレタッチ対象として表示されている。また、人物選択ボタン36のボタン41Aが操作され、左側に写る新郎だけがレタッチ対象として選択されている。
【0193】
撮影画像に複数の人物が写っている場合において、一方の人物だけがレタッチ対象として選択されたとき、図25の左下に示すように、調整ボタン55が操作不可の状態で表示されるようにしてもよい。図25の調整ボタン55に色を付していることは、調整ボタン55がグレーアウトし、操作不可の状態になっていることを示す。
【0194】
これにより、レタッチ対象として選択されていない方の人物に対して、意図しない写りの調整がスタイルアップの機能によって行われてしまうのを防ぐことが可能となる。
【0195】
<<その他>>
・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【0196】
インストールされるプログラムは、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)や半導体メモリなどよりなる図16に示されるリムーバブルメディア111に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM102や記録部108に、あらかじめインストールしておくことができる。
【0197】
コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0198】
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0199】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0200】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0201】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0202】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【符号の説明】
【0203】
1 レタッチ用PC, 2 画像管理サーバ, 3 携帯端末, 11 ディスプレイ, 121 情報処理部, 131 画像取得部, 132 表示制御部, 133 認識部, 134 レタッチ処理部, 135 ファイル管理部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25