特開 2024-161155 画像処理装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024161155

(43)【公開日】2024-11-15

(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   G03B 17/53 20210101AFI20241108BHJP

【ＦＩ】

G03B17/53

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2024146544

(22)【出願日】2024-08-28

(62)【分割の表示】P 2021117939の分割

【原出願日】2021-07-16

(71)【出願人】

【識別番号】307010096

【氏名又は名称】フリュー株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】松原 菜津美

(72)【発明者】

【氏名】荒木 卓

(72)【発明者】

【氏名】納村 聡仁

(72)【発明者】

【氏名】華岡 千尋

(72)【発明者】

【氏名】佐藤 慧太

(57)【要約】

【課題】撮影画像に写る被写体の写りの調整を効率的に行うことができるようにする。
【解決手段】本技術の一側面の画像処理装置は、複数枚の撮影画像のうちの一部の複数枚の撮影画像の写りの調整に用いられる調整画面を表示させ、調整画面に対するユーザの操作に応じて一部の複数枚の撮影画像のそれぞれの写りを調整する。また、画像処理装置は、調整画面を用いた写りの調整を終える操作が行われた後、写りの調整が行われていない他の複数枚の撮影画像のそれぞれに対して、写っている顔の大きさ、顔の位置、顔の向き、顔の明るさ、顔の数のうちの少なくともいずれかが最も近い一部の複数枚の撮影画像の写りの調整の内容を反映させる。本技術は、撮影スタジオに設置されたコンピュータに適用することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数枚の撮影画像のうちの一部の複数枚の撮影画像の写りの調整に用いられる調整画面を表示させる表示制御部と、
前記調整画面に対するユーザの操作に応じて前記一部の複数枚の撮影画像のそれぞれの写りを調整し、前記調整画面を用いた写りの調整を終える操作が行われた後、写りの調整が行われていない他の複数枚の撮影画像のそれぞれに対して、写っている顔の大きさ、顔の位置、顔の向き、顔の明るさ、顔の数のうちの少なくともいずれかが最も近い前記一部の複数枚の撮影画像の写りの調整の内容を反映させる画像処理部と
を備える画像処理装置。

【請求項2】

前記表示制御部による制御に従って前記調整画面を表示する表示部をさらに備える
請求項１に記載の画像処理装置。

【請求項3】

前記一部の複数枚の撮影画像の写りの調整には、人物の目の大きさと形の調整と、顔の大きさと形の調整とが少なくとも含まれる
請求項１または２に記載の画像処理装置。

【請求項4】

前記画像処理部による処理に用いられる撮影画像は、インターネットを介して接続された装置からアップロードされた画像であり、
前記表示制御部は、前記ユーザが操作する他の装置に前記調整画面を表示させる
請求項１、２、または３に記載の画像処理装置。

【請求項5】

画像処理装置が、
複数枚の撮影画像のうちの一部の複数枚の撮影画像の写りの調整に用いられる調整画面を表示させ、
前記調整画面に対するユーザの操作に応じて前記一部の複数枚の撮影画像のそれぞれの写りを調整し、
前記調整画面を用いた写りの調整を終える操作が行われた後、写りの調整が行われていない他の複数枚の撮影画像のそれぞれに対して、写っている顔の大きさ、顔の位置、顔の向き、顔の明るさ、顔の数のうちの少なくともいずれかが最も近い前記一部の複数枚の撮影画像の写りの調整の内容を反映させる
画像処理方法。

【請求項6】

複数枚の撮影画像のうちの一部の複数枚の撮影画像の写りの調整に用いられる調整画面を表示させ、
前記調整画面に対するユーザの操作に応じて前記一部の複数枚の撮影画像のそれぞれの写りを調整し、
前記調整画面を用いた写りの調整を終える操作が行われた後、写りの調整が行われていない他の複数枚の撮影画像のそれぞれに対して、写っている顔の大きさ、顔の位置、顔の向き、顔の明るさ、顔の数のうちの少なくともいずれかが最も近い前記一部の複数枚の撮影画像の写りの調整の内容を反映させる
処理をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、撮影画像に写る被写体の写りの調整を効率的に行うことができるようにした画像処理装置、画像処理方法、およびプログラムに関する。

【背景技術】

【0002】

証明写真機や、ゲームセンターに設置されるプリントシール機などの撮影装置においては、撮影された画像の写りをユーザが自分で調整することができるようになっている。ユーザは、シール紙などに印刷された状態で受け取ることになる画像の写りを１枚ずつ好みに応じて調整することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－１１８３２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

５０枚や１００枚といったような多い数の画像の写りを１枚ずつ調整することは煩雑である。

【0005】

本技術はこのような状況に鑑みてなされたものであり、撮影画像に写る被写体の写りの調整を効率的に行うことができるようにするものである。

【課題を解決するための手段】

【0006】

本技術の一側面の画像処理装置は、複数枚の撮影画像のうちの一部の複数枚の撮影画像の写りの調整に用いられる調整画面を表示させる表示制御部と、前記調整画面に対するユーザの操作に応じて前記一部の複数枚の撮影画像のそれぞれの写りを調整し、前記調整画面を用いた写りの調整を終える操作が行われた後、写りの調整が行われていない他の複数枚の撮影画像のそれぞれに対して、写っている顔の大きさ、顔の位置、顔の向き、顔の明るさ、顔の数のうちの少なくともいずれかが最も近い前記一部の複数枚の撮影画像の写りの調整の内容を反映させる画像処理部とを備える。

【0007】

本技術の一側面においては、複数枚の撮影画像のうちの一部の複数枚の撮影画像の写りの調整に用いられる調整画面が表示され、前記調整画面に対するユーザの操作に応じて前記一部の複数枚の撮影画像のそれぞれの写りが調整される。また、前記調整画面を用いた写りの調整を終える操作が行われた後、写りの調整が行われていない他の複数枚の撮影画像のそれぞれに対して、写っている顔の大きさ、顔の位置、顔の向き、顔の明るさ、顔の数のうちの少なくともいずれかが最も近い前記一部の複数枚の撮影画像の写りの調整の内容が反映される。

【発明の効果】

【0008】

本技術によれば、撮影画像に写る被写体の写りの調整を効率的に行うことができる。

【図面の簡単な説明】

【0009】

【図1】撮影スタジオにおける作業の流れを示す図である。

【図2】撮影画像の提供の例を示す図である。

【図3】レタッチ用PCにおけるファイル管理の例を示す図である。

【図4】画像選択画面の例を示す図である。

【図5】レタッチ画面の例を示す図である。

【図6】レタッチ選択領域の表示を拡大して示す図である。

【図7】レタッチパラメータの適用の例を示す図である。

【図8】レタッチパラメータの適用の他の例を示す図である。

【図9】レタッチパラメータの適用の例を示す図である。

【図10】顔比率の算出の例を示す図である。

【図11】レタッチ用PCの構成例を示すブロック図である。

【図12】レタッチ用PCの機能構成例を示すブロック図である。

【図13】レタッチ処理について説明するフローチャートである。

【発明を実施するための形態】

【0010】

＜撮影スタジオでの作業の流れ＞
図１は、撮影スタジオにおける作業の流れを示す図である。

【0011】

本技術は、例えば成人式の記念撮影を行う撮影スタジオにおいて用いられる。本技術は、入学／卒業の記念写真、ブライダル写真、七五三の記念写真などの、各種のイベントの記念写真の撮影を撮影スタジオにおいて行う場合にも適用可能である。

【0012】

図１の左側に示すように、撮影スタジオにおける撮影はカメラマンにより行われる。図１の例においては、背景スクリーンの前に立つ振袖姿のユーザを被写体として撮影が行われている。ユーザの周りには、カメラマンによる撮影にあわせて発光するストロボ装置が配置される。

【0013】

カメラマンによる撮影は、構図を変えて、５０枚、１００枚などの多くの枚数の静止画像（写真）を撮影するようにして行われる。静止画像の構図は、ユーザのポーズ、ユーザとカメラマンの位置関係、焦点距離などのカメラパラメータなどにより決定される。カメラマンにより撮影された静止画像である撮影画像は、カメラに接続された図示せぬPCに転送され、保存される。

【0014】

撮影が終了した後、ユーザは、撮影スタジオに用意されたレタッチスペースに移動し、図１の右側に示すように、レタッチ用PC１を利用して、カメラマンに撮影してもらった撮影画像を確認する。

【0015】

また、ユーザは、例えば最終的に印刷してもらう枚数分の撮影画像を選択し、自らレタッチすることによって、それぞれの撮影画像の写りを調整する。カメラマンにより撮影してもらった撮影画像の中から選択された、５枚、１０枚などの一部の撮影画像を対象としてレタッチが行われる。レタッチ（加工）には、撮影画像の写りを変えるための各種の画像処理が含まれる。

【0016】

レタッチスペースには、１台、または複数台のレタッチ用PC１が用意される。保存用のPCに保存された撮影画像がレタッチ用PC１に転送され、レタッチ用PC１のディスプレイ１１に表示される。レタッチ用PC１には、カメラマンに撮影してもらった撮影画像をレタッチすることに用いられるアプリケーションであるレタッチアプリ１Ａがインストールされている。

【0017】

このように、本技術を適用したレタッチ用PC１が設置された撮影スタジオにおいては、カメラマンに撮影してもらった撮影画像のレタッチがユーザ自身により行われる。ユーザは、レタッチアプリ１Ａの機能を利用して、自分の好みの写りとなるように撮影画像のレタッチを行うことができる。タブレット端末などの、PCとは異なる端末にレタッチアプリ１Ａがインストールされ、レタッチに用いられるようにしてもよい。

【0018】

図２は、撮影画像の提供の例を示す図である。

【0019】

レタッチアプリ１Ａによるレタッチ済みの撮影画像は、撮影スタジオの運営会社により印刷され、矢印＃１に示すように、例えばアルバムなどの形で後日ユーザに渡される。

【0020】

また、レタッチ済みの撮影画像は、矢印＃２に示すように、レタッチ用PC１から画像管理サーバ２にアップロードされ、画像管理サーバ２において管理される。画像管理サーバ２は、例えばインターネット上のサーバである。撮影スタジオの運営会社により、または、撮影スタジオの運営会社とは異なる事業者により画像管理サーバ２が管理される。

【0021】

ユーザは、スマートフォンなどの自分の携帯端末３を操作し、画像管理アプリ３Ａを操作することによって、矢印＃３に示すように、自分が被写体となって撮影してもらった撮影画像を閲覧したり、ダウンロードしたりすることができる。画像管理アプリ３Ａは、画像管理サーバ２において管理されている撮影画像の閲覧等を行うためのアプリケーションである。画像管理アプリ３Ａは、例えば、画像管理サーバ２を管理する事業者により提供される。

【0022】

撮影スタジオにおいて撮影された撮影画像の提供は、アルバムの形で行われるとともに、適宜、データの形で行われることになる。データでの撮影画像の提供が、アルバムの料金とは別料金で可能となるようにしてもよい。

【0023】

データでの撮影画像の提供は、ユーザによりレタッチが行われた撮影画像だけでなく、レタッチ対象としてユーザにより選択されなかった撮影画像も提供するようにして行われる。レタッチ対象としてユーザにより選択されなかった撮影画像については、後述するように、ユーザの操作によらずに、レタッチアプリ１Ａによってレタッチが自動的に行われる。

【0024】

ユーザは、レタッチ対象として選択しなかった撮影画像についても、データの形で受け取ることが可能となる。画像管理アプリ３Ａを用いるのではなく、ブラウザを利用して所定のサイトにアクセスし、画像管理サーバ２において管理されている撮影画像を受け取ることができるようにしてもよい。例えば、画像管理サーバ２の管理者が提供する画像提供サービスの会員登録を行うことにより、ユーザは、画像管理サーバ２において管理されている撮影画像を、画像管理アプリ３Ａを利用して、または、ブラウザを利用して受け取ることが可能となる。

【0025】

携帯端末３ではなく、タブレット端末やPCなどの他の端末を利用して撮影画像を受け取ることができるようにしてもよい。

【0026】

＜レタッチアプリについて＞
・ファイル管理
図３は、レタッチ用PC１におけるファイル管理の例を示す図である。

【0027】

図３の吹き出しに示すように、ユーザの識別情報であるユーザIDと紐付けて、allフォルダとalbumフォルダの２つのフォルダが用意される。allフォルダは、「all」のフォルダ名が設定されたフォルダであり、albumフォルダは、「album」のフォルダ名が設定されたフォルダである。

【0028】

保存用のPCから転送されてきた撮影画像のファイルはallフォルダに格納される。レタッチ対象として選択され、レタッチが施された撮影画像のファイルがalbumフォルダに格納される。albumフォルダに格納されたファイルが、印刷に用いられるファイルとなる。

【0029】

撮影を終えたユーザがレタッチを始めるとき、レタッチアプリ１Ａの画面上でユーザIDの入力が行われる。ユーザIDに基づいて、撮影画像がレタッチアプリ１Ａにより読み込まれ、撮影画像を用いた処理が行われる。例えば、ユーザIDに紐付けられているallフォルダに格納された全ての撮影画像のファイルがレタッチアプリ１Ａにより読み込まれる。撮影画像が読み込まれた後、レタッチ対象とする撮影画像の選択が行われる。

【0030】

・画面表示
図４は、画像選択画面の例を示す図である。

【0031】

画像選択画面の上方には、５枚の撮影画像を選択することを案内するメッセージが表示される。撮影画像の選択枚数は、画像選択の前に、例えば、撮影スタジオのスタッフにより設定される。５枚の撮影画像を印刷してアルバムとして受け取るプランをユーザが申し込んでいる場合、選択枚数として５枚が設定される。

【0032】

画像選択画面の右側にはサムネイル表示領域２１が形成される。サムネイル表示領域２１は、撮影画像のサムネイル画像が表示される領域である。例えば５０枚の撮影画像の撮影が行われている場合、５０枚の撮影画像のそれぞれのサムネイル画像が表示される。レタッチアプリ１Ａの画面を用いた各種の操作は、マウス、キーボードなどを用いて行われる。

【0033】

サムネイル画像を用いて選択された撮影画像が、サムネイル表示領域２１の左側に形成された表示領域２２に拡大表示される。図４の例においては、サムネイル表示領域２１の左上端に表示されている撮影画像Ｐ１のサムネイル画像が選択され、撮影画像Ｐ１が表示領域２２に拡大表示されている。

【0034】

表示領域２２の下には決定ボタン２３が表示される。決定ボタン２３は、表示領域２２に表示されている撮影画像をレタッチ対象として決定するときに押下されるボタンである。ユーザは、サムネイル画像を選択することによってそれぞれの撮影画像を表示領域２２に順次拡大して表示させ、気に入った撮影画像があったとき、決定ボタン２３を押下してレタッチ対象として選択することになる。

【0035】

サムネイル表示領域２１の上には、残りの選択枚数が表示される。レタッチ対象とする撮影画像が選択される毎に、選択枚数の表示が更新される。

【0036】

５枚の撮影画像が選択され、終了ボタン２４が押下された場合、レタッチ対象とする撮影画像の選択は終了となる。レタッチ対象とする撮影画像の選択が終了した後、レタッチ対象として選択されたそれぞれの撮影画像に対するレタッチが行われる。

【0037】

図５は、レタッチ画面の例を示す図である。

【0038】

レタッチ画面の中央上方には表示領域３１が形成される。表示領域３１は、いまレタッチ対象となっている撮影画像が拡大表示される領域である。サムネイル画像を用いてサムネイル表示領域３２において選択された撮影画像が、表示領域３１に拡大表示される。

【0039】

レタッチ画面の左下にはサムネイル表示領域３２が形成される。サムネイル表示領域３２は、画像選択画面において選択された撮影画像のサムネイル画像が表示される領域である。図５の例においては、撮影画像Ｐ１乃至Ｐ５の５枚の撮影画像のサムネイル画像がサムネイル表示領域３２に表示されている。サムネイル画像を用いて選択された撮影画像Ｐ１が、表示領域３１に拡大表示される。

【0040】

レタッチ画面の下にはレタッチ選択領域３３が形成される。レタッチ選択領域３３に表示されたボタンを用いて、レタッチの内容が選択される。レタッチ選択領域３３に表示されたボタンを用いてレタッチの内容が選択される毎に、選択された内容が表示領域３１の表示に反映される。ユーザは、表示領域３１の表示を見ながら、いまレタッチ対象となっている撮影画像に施すレタッチの内容をレタッチ選択領域３３の表示を用いて選択することになる。

【0041】

図６は、レタッチ選択領域３３の表示を拡大して示す図である。

【0042】

レタッチ選択領域３３には、目の大きさ、目の形（かたち）、メイクの濃さ、鼻筋のオン／オフ、肌質、顔の形、小顔感、およびスタイルアップのオン／オフの選択に用いられるボタンが表示される。

【0043】

目の大きさとして、５段階の大きさを選択することが可能とされる。目の大きさの「１」は、加工なし、すなわち目の大きさを変えないで、オリジナルの大きさのままとすることを表す。ユーザは、いずれかの大きさを選択することにより、表示領域３１に表示されている撮影画像に写る自分の目の大きさを調整することができる。

【0044】

目の形として、「まる目」、「たれ目」、「ねこ目」の中からいずれかの形を選択することが可能とされる。ユーザは、いずれかの形を選択することにより、表示領域３１に表示されている撮影画像に写る自分の目の形を調整することができる。「加工なし」を選択することにより、目の形を変えないことも可能とされる。

【0045】

メイクの濃さとして、３段階の濃さを選択することが可能とされる。メイクの濃さの「１」は、メイクの濃さを変えないで、オリジナルの濃さのままとすることを表す。ユーザは、いずれかの濃さを選択することにより、表示領域３１に表示されている撮影画像に写る自分のメイクの濃さを調整することができる。

【0046】

鼻筋として、オン／オフを選択することが可能とされる。ユーザは、オンまたはオフを選択することにより、表示領域３１に表示されている撮影画像に写る自分の鼻筋のハイライト部分を強調するか、オリジナルの状態のままとするかを選択することができる。

【0047】

肌質として、５段階の強さを選択することが可能とされる。肌質の「１」は、肌質を変えないで、オリジナルの肌質のままとすることを表す。ユーザは、いずれかの強さを選択することにより、表示領域３１に表示されている撮影画像に写る自分の肌質の滑らかさの程度を調整することができる。

【0048】

顔の形として、「まる」、「たまご」、「ほっそり」の中からいずれかの形を選択することが可能とされる。ユーザは、いずれかの形を選択することにより、表示領域３１に表示されている撮影画像に写る自分の顔の形を調整することができる。「加工なし」を選択することにより、顔の形を変えないことも可能とされる。

【0049】

小顔感として、５段階の大きさを選択することが可能とされる。小顔感の「１」は、顔の大きさを変えないで、オリジナルの大きさのままとすることを表す。ユーザは、「２」乃至「４」のいずれかの大きさを選択することにより、表示領域３１に表示されている撮影画像に写る自分の顔の大きさを調整することができる。

【0050】

スタイルアップとして、オン／オフを選択することが可能とされる。ユーザは、オンまたはオフを選択することにより、表示領域３１に表示されている撮影画像に写る自分の身長を高くするか、オリジナルの状態のままとするかを選択することができる。

【0051】

ユーザは、このような各種の機能を用いて、表示領域３１に表示させている撮影画像に施すレタッチの内容を選択することができる。このように、レタッチアプリ１Ａを用いて行うことができるレタッチには、目の大きさと形の調整と、顔の大きさと形の調整とが少なくとも含まれる。

【0052】

サムネイル表示領域３２の表示を用いてレタッチ対象とする撮影画像が切り替えられ、撮影画像Ｐ１乃至Ｐ５のそれぞれのレタッチが順次行われる。レタッチが施された撮影画像Ｐ１乃至Ｐ５のそれぞれのファイルがalbumフォルダに格納される。

【0053】

図５の説明に戻り、表示領域３１の右側には拡大／縮小ボタン３４が設けられる。拡大／縮小ボタン３４は、表示領域３１に表示されている撮影画像の一部分を拡大させたり、拡大させている部分を縮小させたりするときに操作されるボタンである。

【0054】

拡大／縮小ボタン３４の下には、加工前ボタン３５が設けられる。加工前ボタン３５は、表示領域３１の表示を、レタッチ前の状態に切り替えるときに操作されるボタンである。加工前ボタン３５が押下されている間、レタッチ前の状態の撮影画像が表示領域３１に表示される。ユーザは、加工前ボタン３５を用いることにより、レタッチ後の状態とレタッチ前の状態とを見比べ、レタッチの程度が強すぎないかどうかなどを確認することができる。

【0055】

レタッチ画面の右上には、画像選択画面に戻るときに操作される戻るボタン３６、レタッチを終えるときに操作される終了ボタン３７が表示される。撮影画像Ｐ１乃至Ｐ５のそれぞれに対するレタッチの内容が選択され、終了ボタン３７が押下されたとき、レタッチは終了となる。

【0056】

・レタッチパラメータの引き継ぎ
レタッチパラメータは、レタッチ選択領域３３の表示を用いて選択されたレタッチの内容を表すパラメータである。ある撮影画像を対象としてレタッチが行われることに応じて、レタッチ対象の撮影画像のレタッチパラメータが変更される。ある撮影画像に対するレタッチパラメータが、他の撮影画像に対するレタッチパラメータとして適用される。

【0057】

図７、図８は、レタッチパラメータの適用の例を示す図である。

【0058】

図７の矢印＃１１に示すように、撮影画像Ｐ１を１枚目のレタッチ対象としたときのユーザの操作によって、「目の大きさ」が「３」、「目のかたち」が「ねこ目」、「メイクの濃さ」が「２」、・・・のそれぞれのレタッチパラメータが撮影画像Ｐ１に対して設定されたものとする。図７の下段に示すレタッチ済みの撮影画像Ｐ１の写りは、上段に示すレタッチ前の撮影画像Ｐ１の写りと異なる写りである。

【0059】

撮影画像Ｐ１のレタッチが終わり、レタッチ対象が撮影画像Ｐ１から撮影画像Ｐ２に切り替えられたとき、図８の矢印＃１２の先に示すように、２枚目のレタッチ対象の撮影画像である撮影画像Ｐ２のデフォルトのレタッチパラメータとして、レタッチ済みの撮影画像Ｐ１のレタッチパラメータが引き継がれる。表示領域３１には、撮影画像Ｐ２が、レタッチ済みの撮影画像Ｐ１と同じ内容のレタッチが施された状態で表示される。レタッチ選択領域３３の表示も、撮影画像Ｐ２に施されているレタッチの内容に応じた表示となる。

【0060】

ユーザは、撮影画像Ｐ１と同じ内容のレタッチが施された撮影画像Ｐ２を基準として、撮影画像Ｐ２のレタッチを始めることができる。図８の例においては、「目の大きさ」が「４」、「目のかたち」が「ねこ目」、「メイクの濃さ」が「１」、・・・のレタッチパラメータにより表される内容に調整されている。

【0061】

撮影画像Ｐ２のレタッチが終わり、３枚目のレタッチ対象の撮影画像が選択された場合も同様に、矢印＃１４に示すように、３枚目のレタッチ対象の撮影画像のデフォルトのレタッチパラメータとして、撮影画像Ｐ２のレタッチパラメータが引き継がれる。

【0062】

このように、レタッチがまだ行われていない新たな撮影画像がレタッチ対象の撮影画像として選択されることに応じて、直前のレタッチ対象の撮影画像のレタッチの内容が引き継がれる。これにより、ユーザは、それぞれの撮影画像のレタッチを効率的に行うことができる。

【0063】

レタッチ対象のそれぞれの撮影画像が被写体の構図に応じて分類され、同じ構図の撮影画像のレタッチパラメータが適用されるようにしてもよい。この場合、それぞれの撮影画像の構図がレタッチアプリ１Ａにより解析され、それぞれの撮影画像が、「アップ」、「バストアップ」、「全身」などの複数種類の構図のうちのいずれかの構図の撮影画像として分類される。

【0064】

「アップ」は、被写体の顔が大きく写る構図であり、「バストアップ」は、被写体の上半身が大きく写る構図である。「全身」は、被写体の全身が写る構図である。例えば、顔の大きさが解析され、顔の大きさに応じて構図の分類が行われる。顔の大きさだけでなく、顔の向き、顔の位置などにも応じて、構図の分類が行われるようにしてもよい。

【0065】

例えば、「アップ」の撮影画像を対象としてレタッチが行われた後に、同じ「アップ」の撮影画像がレタッチ対象として選択された場合、レタッチ済みの撮影画像のレタッチパラメータが、レタッチ対象として新たに選択された「アップ」の撮影画像のレタッチパラメータとして設定される。

【0066】

適切なレタッチパラメータが構図毎にあらかじめ用意されるようにしてもよい。レタッチ対象としてある撮影画像が選択された場合、その撮影画像の構図用としてあらかじめ用意されたレタッチパラメータが、レタッチ対象として新たに選択された撮影画像のレタッチパラメータとして設定される。

【0067】

おすすめのレタッチパラメータを適用するときに操作されるおすすめボタンがレタッチ画面に用意されるようにしてもよい。おすすめボタンが押下された場合、レタッチ対象として選択されている撮影画像に対して、その撮影画像の構図用としてあらかじめ用意されたレタッチパラメータが設定される。

【0068】

構図毎のおすすめボタンがレタッチ画面に用意されるようにしてもよい。上述した例の場合、「アップ」、「バストアップ」、「全身」のそれぞれの構図用のおすすめボタンが用意される。例えば、レタッチ対象として選択された撮影画像の構図の種類を表す情報が表示領域３１の近くに表示される。ユーザは、レタッチ対象として選択した撮影画像の構図を確認し、同じ構図用のおすすめボタンを押すことにより、適切なレタッチパラメータを設定することができる。

【0069】

レタッチパラメータを記録することができるようにしてもよい。例えば、ユーザにより設定されたレタッチパラメータが、レタッチ対象の撮影画像の構図の種類の情報とともにユーザIDと紐付けて記録される。

【0070】

機械学習によって生成された推論モデルを用いて、適切なレタッチパラメータが提案されるようにしてもよい。この場合、撮影画像を入力とし、レタッチパラメータを出力とする推論モデルを用いた推論機能がレタッチアプリ１Ａに搭載される。

【0071】

＜未選択画像に対するレタッチパラメータの適用＞
以上のようにしてユーザによる操作に応じてレタッチが施された例えば５枚の撮影画像は、印画紙に印刷され、アルバムの形でユーザに提供される。また、ユーザによる操作に応じてレタッチが施された撮影画像は、レタッチ対象として画像選択画面（図４）において選択されなかった撮影画像とともにデータの形で提供される。

【0072】

以下、適宜、レタッチ対象として選択されなかった撮影画像を未選択画像という。レタッチ対象として選択された撮影画像は、選択画像となる。

【0073】

未選択画像に対しては、ユーザによる操作によらずに、レタッチアプリ１Ａによりレタッチが自動的に施される。データの形で提供される未選択画像も、レタッチ済みの撮影画像となる。

【0074】

図９は、レタッチパラメータの適用の例を示す図である。

【0075】

図９に示すように、ユーザによる操作によって撮影画像Ｐ１乃至Ｐ５のそれぞれに施されたレタッチの内容が、allフォルダに格納されたそれぞれの未選択画像に反映される。allフォルダに格納された未選択画像に対してのみ、撮影画像Ｐ１乃至Ｐ５のそれぞれに施されたレタッチの内容が反映されるようにしてもよいし、allフォルダに格納された全ての撮影画像に対して反映されるようにしてもよい。

【0076】

レタッチ済みの撮影画像Ｐ１乃至Ｐ５のうちのどの撮影画像のレタッチの内容をそれぞれの未選択画像に対して反映させるかが、選択画像に写る顔の状態と、未選択画像に写る顔の状態とに基づいて選択される。それぞれの未選択画像に写る顔の状態に近い状態で顔が写っている選択画像が選択され、選択された選択画像に対して施されたレタッチの内容が未選択画像に反映される。

【0077】

例えば、選択画像と未選択画像に写る顔の状態として、顔の大きさを用いることが可能である。具体的には、それぞれの撮影画像（選択画像と未選択画像）を対象として、撮影画像の大きさに対する顔の大きさの比率である顔比率が算出され、顔比率が近い選択画像のレタッチの内容を反映させるようにして、それぞれの未選択画像に対するレタッチが行われる。

【0078】

図１０は、顔比率の算出の例を示す図である。

【0079】

図１０Ａは、横長の画像である撮影画像Ｐ１の顔比率の算出の例を示す。図１０Ｂは、縦長の画像である撮影画像Ｐ４の顔比率の算出の例を示す。

【0080】

顔認識が行われ、枠Ｆで囲む範囲が顔の範囲として認識される。また、枠Ｆの横幅Ｘと、撮影画像の短辺の長さＹに基づいて、例えば下式（１）により顔比率Ｚが算出される。
顔比率Ｚ＝ 枠Ｆの横幅Ｘ ÷ 短辺の長さＹ ・・・（１）

【0081】

図１０Ａに示す横長の撮影画像Ｐ１については、枠Ｆの横幅と、一点鎖線の矢印で示す撮影画像の高さに基づいて顔比率が算出される。一方、図１０Ｂに示す縦長の画像については、枠Ｆの横幅と、一点鎖線の矢印で示す画像の横幅に基づいて顔比率が算出される。

【0082】

撮影画像Ｐ１乃至Ｐ５のそれぞれを対象として顔比率が算出される。また、未選択画像のそれぞれを対象として顔比率が算出される。

【0083】

ある未選択画像に対しては、その未選択画像の顔比率に例えば最も近い顔比率が算出されたレタッチ済みの撮影画像に対して施されたレタッチの内容と同じ内容が反映される。

【0084】

例えば、撮影画像Ｐ１乃至Ｐ５のそれぞれの顔比率として、0.30，0.40，0.50，0.60，0.70が算出されている場合、0.32の顔比率が算出された未選択画像に対しては、撮影画像Ｐ１に施されたレタッチの内容と同じ内容のレタッチが行われる。また、0.80の顔比率が算出された未選択画像に対しては、撮影画像Ｐ５に施されたレタッチの内容と同じ内容のレタッチが行われる。

【0085】

通常、スタジオ撮影においては、同じような構図で複数枚の撮影画像が撮影される。ある構図の撮影画像をレタッチ対象としてユーザが選択し、レタッチを行っている場合、未選択画像の中には、レタッチ済みの撮影画像の構図と同じような構図の画像が含まれる。
レタッチ済みのどの撮影画像のレタッチの内容を反映させるかを顔比率などの顔の状態に基づいて選択することにより、ユーザの意図に沿ったレタッチを未選択画像にも施すことが可能となる。

【0086】

ユーザは、１枚ずつ選択し、レタッチを手動で行うことなく、自分の意図に沿ったレタッチが施された未選択画像を受け取ることが可能となる。ユーザは、撮影画像の写りの調整を効率的に行うことができる。

【0087】

顔比率が上式（１）を用いた方法以外の方法により求められるようにしてもよい。例えば、枠Ｆの横幅と画像の長辺の長さに基づいて顔比率が求められるようにしてもよいし、画像の面積に対する顔の範囲の面積に基づいて顔比率が求められるようにしてもよい。

【0088】

被写体となるユーザが複数人いることから複数の顔が写っている場合、それぞれの人の顔比率の平均値が、画像全体の顔比率として用いられるようにしてもよい。

【0089】

撮影画像に写る顔の状態が顔比率以外の情報によって表され、どの撮影画像のレタッチの内容を反映させるかの基準として用いられるようにしてもよい。顔の位置、顔の向き、顔の明るさ、顔の数などの顔の状態が用いられるようにすることが可能である。顔の状態に関する複数の情報を組み合わせて用いるようにしてもよい。すなわち、顔の状態として、顔比率を含む顔の大きさ、顔の位置、顔の向き、顔の明るさ、顔の数のうちの少なくともいずれかを用いることが可能である。

【0090】

どの撮影画像のレタッチの内容を未選択画像に反映させるかが、顔比率などの顔の状態とは異なる基準に基づいて選択されるようにしてもよい。例えば、目の状態に基づいて選択されるようにしてもよいし、被写体の性別に基づいて選択されるようにしてもよい。顔の状態と同様に、目の状態として、目の大きさ、目の位置、目の向きのうちの少なくともいずれかを用いることが可能である。

【0091】

どの撮影画像のレタッチの内容を未選択画像に反映させるかが、上述した構図の種類を基準として選択されるようにすることも可能である。

【0092】

＜レタッチ用PC１の構成と動作＞
・レタッチ用PC１の構成
図１１は、レタッチ用PC１の構成例を示すブロック図である。

【0093】

CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続される。

【0094】

バス１０４には、さらに、入出力インタフェース１０５が接続される。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続される。

【0095】

入力部１０６は、キーボード、マウスなどにより構成される。

【0096】

出力部１０７は、ディスプレイ１１などにより構成される。

【0097】

記憶部１０８は、ハードディスクや不揮発性のメモリなどにより構成される。記憶部１０８は、CPU１０１が実行するレタッチアプリ１Ａなどのプログラム、撮影画像などの各種の情報を記憶する。

【0098】

通信部１０９は、インターネット、LANなどのネットワークに対するインタフェースである。例えば、通信部１０９は、撮影スタジオのカメラに接続された保存用のPCと通信を行い、保存用のPCから送信されてきた、レタッチを始めようとするユーザが被写体として写る撮影画像を受信する。また、通信部１０９は、画像管理サーバ２との間で通信を行い、レタッチ済みの撮影画像を画像管理サーバ２に送信する。

【0099】

ドライブ１１０は、リムーバブルメディア１１１に対するデータの書き込み、リムーバブルメディア１１１からのデータの読み出しを制御する。保存用のPCからの撮影画像の取り込みがリムーバブルメディア１１１を介して行われるようにしてもよい。

【0100】

図１２は、レタッチ用PC１の機能構成例を示すブロック図である。

【0101】

図１２に示すように、レタッチ用PC１においては、レタッチアプリ１Ａが実行されることにより画像処理部１２１が実現される。レタッチ用PC１は、画像処理部１２１を有する画像処理装置である。

【0102】

画像処理部１２１は、画像取得部１３１、レタッチ処理部１３２、出力制御部１３３、および表示制御部１３４により構成される。

【0103】

画像取得部１３１は、画像選択画面に対するユーザの操作を受け付け、レタッチ対象としてユーザにより選択された撮影画像を例えば記憶部１０８から取得する。画像取得部１３１により取得されたレタッチ対象の撮影画像は、レタッチ処理部１３２と表示制御部１３４に供給される。

【0104】

また、画像取得部１３１は、レタッチ対象のそれぞれの撮影画像に対するレタッチが終了した場合、未選択画像を例えば記憶部１０８から取得し、レタッチ処理部１３２に出力する。

【0105】

レタッチ処理部１３２は、顔認識を行い、レタッチ対象の撮影画像に写る顔を認識する。レタッチ処理部１３２は、認識した顔の各部の特徴を解析し、レタッチ画面に対するユーザの操作に応じて、レタッチに関する各種の画像処理を行う。各部の特徴の解析が機械学習によって生成された推論モデルを用いて行われるようにしてもよい。

【0106】

例えば、レタッチ処理部１３２は、目の大きさや目の形の調整に関する操作が行われた場合、目の輪廓の位置をユーザによる選択内容に応じてずらすなどの画像処理を行う。また、レタッチ処理部１３２は、メイクの濃さの調整に関する操作が行われた場合、頬の部分に所定の色のチークの画像を合成したり、唇の部分に所定の色の口紅の画像を合成したりする画像処理を行う。

【0107】

レタッチ処理部１３２は、肌質の調整に関する操作が行われた場合、肌の明るさを調整するなどの画像処理を行う。レタッチ処理部１３２は、顔の大きさ（小顔感）や顔の形の調整に関する操作が行われた場合、顔の輪廓の位置をユーザによる選択内容に応じてずらすなどの画像処理を行う。

【0108】

レタッチ処理部１３２による画像処理の結果を表す情報は、表示制御部１３４に供給され、レタッチ画面の表示に用いられる。

【0109】

また、レタッチ処理部１３２は、レタッチ対象のそれぞれの撮影画像に対するレタッチが終了した場合、未選択画像を含むそれぞれの撮影画像を上述したようにして解析し、レタッチ済みの撮影画像に施したレタッチの内容を未選択画像に反映させる。レタッチ処理部１３２によりレタッチが施された撮影画像は出力制御部１３３に供給される。

【0110】

出力制御部１３３は、ユーザによる操作に応じてレタッチが施された撮影画像をalbumフォルダに保存する。

【0111】

また、出力制御部１３３は、レタッチ済みの撮影画像（選択画像と未選択画像）を通信部１０９に出力し、画像管理サーバ２に送信させる。

【0112】

表示制御部１３４は、画像選択画面、レタッチ画面などの、レタッチアプリ１Ａの各種の画面の表示を制御する。

【0113】

・レタッチ用PC１の動作
図１３のフローチャートを参照して、レタッチアプリ１Ａが行うレタッチ処理について説明する。

【0114】

ステップＳ１において、画像処理部１２１の表示制御部１３４は、画像選択画面（図４）を表示する。

【0115】

ステップＳ２において、画像取得部１３１は、画像選択画面に対するユーザの操作に応じて、レタッチ対象とする撮影画像の選択を受け付ける。画像取得部１３１は、レタッチ対象とする撮影画像を取得する。

【0116】

ステップＳ３において、画像取得部１３１は、レタッチ対象とする撮影画像の選択が終了か否かを判定する。レタッチ対象とする撮影画像の選択が終了ではないとステップＳ３において判定された場合、ステップＳ１に戻り、画像の選択が続けられる。

【0117】

例えば５枚の撮影画像が選択され、終了ボタン２４が押下された場合、レタッチ対象とする撮影画像の選択を終了するとしてステップＳ３において判定される。

【0118】

ステップＳ４において、表示制御部１３４は、レタッチ画面（図５）を表示する。利用者は、レタッチ画面を用いて撮影画像のレタッチを行う。

【0119】

ステップＳ５において、レタッチ処理部１３２は、ユーザの操作に応じて画像処理を行い、レタッチ対象として選択された撮影画像にレタッチを施す。

【0120】

ステップＳ６において、レタッチ処理部１３２は、レタッチが終了か否かを判定する。
レタッチが終了ではないとステップＳ６において判定された場合、ステップＳ４に戻り、レタッチ対象として選択されたそれぞれの撮影画像に対するレタッチが続けられる。

【0121】

例えばレタッチ対象として選択された全ての撮影画像のレタッチが行われ、終了ボタン３７が押下された場合、レタッチを終了するとしてステップＳ６において判定される。

【0122】

ステップＳ７において、レタッチ処理部１３２は、選択画像と未選択画像のそれぞれの顔比率を算出する。

【0123】

ステップＳ８において、レタッチ処理部１３２は、未選択画像の顔比率に最も近い顔比率が算出された選択画像に施したレタッチの内容と同じ内容のレタッチを、それぞれの未選択画像に反映させる。

【0124】

ステップＳ９において、出力制御部１３３は、レタッチが施された未選択画像を保存する。

【0125】

ステップＳ１０において、通信部１０９は、レタッチが施された選択画像と未選択画像を画像管理サーバ２に送信する。その後、レタッチアプリ１Ａの処理は終了となる。

【0126】

以上の処理により、ユーザは、自分が被写体となって撮影してもらった撮影画像の写りを自分で調整することができる。ユーザは、自分の好みの写りになっている撮影画像のアルバムを受け取ることができる。

【0127】

また、ユーザは、携帯端末３を利用することにより、画像管理サーバ２において管理されている、写りを手動で調整した撮影画像と、手動で調整した内容と同じ内容のレタッチが自動的に施された撮影画像（未選択画像）をデータの形で受け取ることができる。

【0128】

＜変形例＞
・レタッチ場所の例
撮影スタジオに設置されたPCを利用してレタッチが行われるものとしたが、携帯端末３やユーザの自宅に設置されているPCなどの、他の装置を用いてレタッチを行うことができるようにしてもよい。

【0129】

携帯端末３を用いたレタッチが可能とされている場合、撮影スタジオでの撮影を終えたユーザは、携帯端末３を操作して画像管理アプリ３Ａを起動させ、画像管理アプリ３Ａの画面上でレタッチを行うことになる。画像管理アプリ３Ａには、レタッチアプリ１Ａと同様の機能が搭載される。

【0130】

携帯端末３のディスプレイには、上述したような画面が画像管理アプリ３Ａによって表示され、画像管理サーバ２にアップロードされた撮影画像を対象として、レタッチ対象の撮影画像の選択とレタッチが行われる。画像管理アプリ３Ａの機能を用いてレタッチが行われた撮影画像が印刷され、アルバムの形でユーザに提供されたり、レタッチ済みの撮影画像がそのままデータの形でユーザに提供されたりする。

【0131】

これにより、ユーザは、自宅などの様々な場所でレタッチを行うことができる。また、ユーザは、時間を気にすることなく、こだわってレタッチを行うことができる。

【0132】

・画面表示の切り替え
上述したレタッチの機能は、ウェディングの記念写真などの他の撮影画像のレタッチにも適用可能である。ウェディングの撮影画像には、例えば、新郎新婦の２人のユーザが写っていることがある。

【0133】

この場合、左側に写っている人をレタッチ対象とするのか、右側に移っている人をレタッチ対象とするのかをレタッチ画面において選択することができるようにしてもよい。これにより、新郎と新婦のレタッチにそれぞれ異なるレタッチパラメータを適用することが可能となる。新郎と新婦のレタッチを１回の操作で同時に行うことができるようにしてもよい。

【0134】

このように、記念写真の種類に応じて、レタッチ画面の表示や、利用することができるレタッチの種類が切り替えられる。成人式の写真、ウェディング写真といったような記念写真の種類がレタッチの開始前に選択されるようにしてもよい。

【0135】

・盛りすぎ注意の警告
上述したように、ユーザは、自分の顔の写りなどを好みに応じて調整し、撮影画像に写る自分の顔をいわゆる盛ることができる。成人式の写真、ウェディング写真などの記念写真は、人生のイベントの大事な写真として永く残される写真である。

【0136】

そのような大事な写真が盛りすぎとなってしまう（レタッチの度合いが大きくなりすぎてしまう）のを防ぐために、ユーザが選択したレタッチの度合いが閾値の度合いより大きい場合には、その旨の警告が表示されるようにしてもよい。盛りすぎ注意の警告は、例えば、ユーザがレタッチを行っているときにレタッチ画面に表示される。

【0137】

盛りすぎになってしまうレタッチの組み合わせが設定されており、そのようなレタッチをユーザが選択しようとしたときに警告が表示されるようにしてもよい。

【0138】

・写りの統一感
上述したように、ユーザが写りを調整した５枚や１０枚などの所定の枚数の撮影画像は、印画紙に印刷され、アルバムの形でユーザに提供される。それぞれの撮影画像の写りにばらつきがある場合、アルバム全体としての統一感が損なわれてしまう。

【0139】

アルバム全体としての統一感が損なわれてしまうのを防ぐために、選択することができるレタッチの度合いが制限されるようにしてもよい。例えば、基準となる撮影画像が１枚選択され、その撮影画像に対して施したレタッチの内容を基準として、選択することができるレタッチの度合いが制限される。

【0140】

レタッチを行っているときに、レタッチ済みの撮影画像を見比べることができるようにしてもよい。レタッチ画面において所定の操作を行った場合、例えば、レタッチ済みの撮影画像が並べて表示される。これにより、それぞれの撮影画像の写りの統一感を確保することが可能となる。

【0141】

・その他
レタッチ対象の撮影画像として、印刷枚数と同じ枚数を選択することができるものとしたが、印刷枚数より多い枚数を選択することができるようにしてもよい。この場合、レタッチ済みの撮影画像の中から、実際に印刷してアルバムの形で受け取る撮影画像の選択がユーザにより行われる。

【0142】

撮影スタジオにおいて静止画像の撮影が行われるものとしたが、動画像の撮影が行われるようにしてもよい。この場合、動画像を撮影画像として、撮影画像のレタッチがユーザにより行われるようにすることが可能である。

【0143】

・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。

【0144】

インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１１に示されるリムーバブルメディア１１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

【0145】

コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0146】

本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0147】

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0148】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0149】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0150】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【符号の説明】

【0151】

１ レタッチ用PC， ２ 画像管理サーバ， ３ 携帯端末， １１ ディスプレイ， １２１ 画像処理部， １３１ 画像取得部， １３２ レタッチ処理部， １３３ 出力制御部， １３４ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】