IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フリュー株式会社の特許一覧

特許7492150情報処理装置、情報処理方法、およびプログラム
<>
  • 特許-情報処理装置、情報処理方法、およびプログラム 図1
  • 特許-情報処理装置、情報処理方法、およびプログラム 図2
  • 特許-情報処理装置、情報処理方法、およびプログラム 図3
  • 特許-情報処理装置、情報処理方法、およびプログラム 図4
  • 特許-情報処理装置、情報処理方法、およびプログラム 図5
  • 特許-情報処理装置、情報処理方法、およびプログラム 図6
  • 特許-情報処理装置、情報処理方法、およびプログラム 図7
  • 特許-情報処理装置、情報処理方法、およびプログラム 図8
  • 特許-情報処理装置、情報処理方法、およびプログラム 図9
  • 特許-情報処理装置、情報処理方法、およびプログラム 図10
  • 特許-情報処理装置、情報処理方法、およびプログラム 図11
  • 特許-情報処理装置、情報処理方法、およびプログラム 図12
  • 特許-情報処理装置、情報処理方法、およびプログラム 図13
  • 特許-情報処理装置、情報処理方法、およびプログラム 図14
  • 特許-情報処理装置、情報処理方法、およびプログラム 図15
  • 特許-情報処理装置、情報処理方法、およびプログラム 図16
  • 特許-情報処理装置、情報処理方法、およびプログラム 図17
  • 特許-情報処理装置、情報処理方法、およびプログラム 図18
  • 特許-情報処理装置、情報処理方法、およびプログラム 図19
  • 特許-情報処理装置、情報処理方法、およびプログラム 図20
  • 特許-情報処理装置、情報処理方法、およびプログラム 図21
  • 特許-情報処理装置、情報処理方法、およびプログラム 図22
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-21
(45)【発行日】2024-05-29
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
   H04N 23/60 20230101AFI20240522BHJP
   G03B 17/18 20210101ALI20240522BHJP
   G03B 17/53 20210101ALI20240522BHJP
   H04N 5/222 20060101ALI20240522BHJP
【FI】
H04N23/60 500
G03B17/18
G03B17/53
H04N5/222 500
【請求項の数】 9
(21)【出願番号】P 2022074256
(22)【出願日】2022-04-28
(65)【公開番号】P2023163375
(43)【公開日】2023-11-10
【審査請求日】2024-02-01
【早期審査対象出願】
(73)【特許権者】
【識別番号】307010096
【氏名又は名称】フリュー株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】松原 菜津美
(72)【発明者】
【氏名】荒木 卓
(72)【発明者】
【氏名】嵐 呂美
【審査官】淀川 滉也
(56)【参考文献】
【文献】特開2021-039655(JP,A)
【文献】特開2019-054373(JP,A)
【文献】特開2020-113878(JP,A)
【文献】特表2020-535561(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/60
H04N 5/222
G03B 17/53
G03B 17/18
(57)【特許請求の範囲】
【請求項1】
コンピュータに、
それぞれの撮影画像に写る人物の性別を機械学習によって生成された推論モデルを用いて判定し、
複数枚の撮影画像の中から調整対象として選択された第1の撮影画像の写りをユーザによる操作に応じて調整し、
前記第1の撮影画像の調整内容を第2の撮影画像に反映させる操作が行われた場合、前記第1の撮影画像の調整と同じ内容の写りの調整を前記第2の撮影画像に対して行う
処理を実行させるプログラムであって
前記第1の撮影画像の調整内容の反映は、前記第1の撮影画像と前記第2の撮影画像の被写体の人物の性別構成に基づいて、
前記第1の撮影画像と前記第2の撮影画像にそれぞれ女性の人物と男性の人物が写っている場合には、前記第1の撮影画像に写る女性の人物に対する調整内容を前記第2の撮影画像に写る女性の人物に反映させ、前記第1の撮影画像に写る男性の人物に対する調整内容を前記第2の撮影画像に写る男性の人物に反映させるようにして行われ、
前記第1の撮影画像に女性の人物と男性の人物が写り、前記第2の撮影画像に被写体の人物として女性の人物のみが写っている場合には、前記第1の撮影画像に写る女性の人物に対する調整内容を前記第2の撮影画像に写る女性の人物に反映させるようにして行われ、
前記第1の撮影画像に被写体の人物として女性の人物のみが写り、前記第2の撮影画像に女性の人物と男性の人物が写っている場合には、前記第1の撮影画像に写る女性の人物に対する調整内容を前記第2の撮影画像に写る女性の人物に反映させようにして行われる
プログラム。
【請求項2】
前記第1の撮影画像の写りの調整には、顔の肌の写りと体の肌の写りをそれぞれ調整する処理が含まれ、
前記第1の撮影画像と前記第2の撮影画像に被写体として写る女性の人物は、体の肌の露出部分が多いドレス姿の服装の人物である
請求項1に記載のプログラム。
【請求項3】
複数枚の撮影画像の写りの調整が行われた後、ユーザの操作に応じた写りの調整内容を、ユーザの操作による写りの調整が行われていないそれぞれの撮影画像に反映させる
請求項1に記載のプログラム。
【請求項4】
前記第1の撮影画像の写りの調整には、顔の大きさの調整、顔の形の調整、目の大きさの調整、目の形の調整、および、メイクの調整がさらに含まれ、
複数種類の調整内容の組み合わせを一括して選択する機能を用いた写りの調整が行われた場合、前記第1の撮影画像の複数種類の写りを一括して調整する
請求項1に記載のプログラム。
【請求項5】
前記機能を用いた写りの調整内容を、調整対象になっている1枚の撮影画像、または、調整対象になっている1枚の撮影画像を含む複数枚の撮影画像に対して反映させる
請求項4に記載のプログラム。
【請求項6】
前記第1の撮影画像に写る人物の性別構成と前記第2の撮影画像に写る人物の性別構成とが異なる場合、前記第1の撮影画像の写りの調整内容を反映させるか否かの選択に用いる情報を表示させ、
前記第1の撮影画像の調整内容の反映は、調整内容を反映させることが前記情報を用いて選択された場合に行われる
請求項1に記載のプログラム。
【請求項7】
写りの調整後の前記第2の撮影画像の写りをユーザによる操作に応じてさらに調整する
請求項1に記載のプログラム。
【請求項8】
それぞれの撮影画像に写る人物の性別を機械学習によって生成された推論モデルを用いて判定する性別判定部と、
複数枚の撮影画像の中から調整対象として選択された第1の撮影画像の写りをユーザによる操作に応じて調整し、前記第1の撮影画像の調整内容を第2の撮影画像に反映させる操作が行われた場合、前記第1の撮影画像の調整と同じ内容の写りの調整を前記第2の撮影画像に対して行う画像処理部と
を備える情報処理装置であって
前記第1の撮影画像の調整内容の反映は、前記第1の撮影画像と前記第2の撮影画像の被写体の人物の性別構成に基づいて、
前記第1の撮影画像と前記第2の撮影画像にそれぞれ女性の人物と男性の人物が写っている場合には、前記第1の撮影画像に写る女性の人物に対する調整内容を前記第2の撮影画像に写る女性の人物に反映させ、前記第1の撮影画像に写る男性の人物に対する調整内容を前記第2の撮影画像に写る男性の人物に反映させるようにして行われ、
前記第1の撮影画像に女性の人物と男性の人物が写り、前記第2の撮影画像に被写体の人物として女性の人物のみが写っている場合には、前記第1の撮影画像に写る女性の人物に対する調整内容を前記第2の撮影画像に写る女性の人物に反映させるようにして行われ、
前記第1の撮影画像に被写体の人物として女性の人物のみが写り、前記第2の撮影画像に女性の人物と男性の人物が写っている場合には、前記第1の撮影画像に写る女性の人物に対する調整内容を前記第2の撮影画像に写る女性の人物に反映させようにして行われる
情報処理装置。
【請求項9】
情報処理装置が、
それぞれの撮影画像に写る人物の性別を機械学習によって生成された推論モデルを用いて判定し、
複数枚の撮影画像の中から調整対象として選択された第1の撮影画像の写りをユーザによる操作に応じて調整し、
前記第1の撮影画像の調整内容を第2の撮影画像に反映させる操作が行われた場合、前記第1の撮影画像の調整と同じ内容の写りの調整を前記第2の撮影画像に対して行う
情報処理方法であって
前記第1の撮影画像の調整内容の反映は、前記第1の撮影画像と前記第2の撮影画像の被写体の人物の性別構成に基づいて、
前記第1の撮影画像と前記第2の撮影画像にそれぞれ女性の人物と男性の人物が写っている場合には、前記第1の撮影画像に写る女性の人物に対する調整内容を前記第2の撮影画像に写る女性の人物に反映させ、前記第1の撮影画像に写る男性の人物に対する調整内容を前記第2の撮影画像に写る男性の人物に反映させるようにして行われ、
前記第1の撮影画像に女性の人物と男性の人物が写り、前記第2の撮影画像に被写体の人物として女性の人物のみが写っている場合には、前記第1の撮影画像に写る女性の人物に対する調整内容を前記第2の撮影画像に写る女性の人物に反映させるようにして行われ、
前記第1の撮影画像に被写体の人物として女性の人物のみが写り、前記第2の撮影画像に女性の人物と男性の人物が写っている場合には、前記第1の撮影画像に写る女性の人物に対する調整内容を前記第2の撮影画像に写る女性の人物に反映させようにして行われる
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、撮影画像に写る被写体の写りの調整を効率的に行うことができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
証明写真機や、ゲームセンターに設置されるプリントシール機などの撮影装置においては、撮影された画像の写りをユーザが自分で調整できるようになっている。ユーザは、シール紙などに印刷された状態で受け取ることになる画像の写りを1枚ずつ好みに応じて調整することができる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2015-118329号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
多くの画像の写りを1枚ずつ調整することは煩雑である。
【0005】
本技術はこのような状況に鑑みてなされたものであり、撮影画像に写る被写体の写りの調整を効率的に行うことができるようにするものである。
【課題を解決するための手段】
【0006】
本技術の一側面のプログラムは、それぞれの撮影画像に写る人物の性別を機械学習によって生成された推論モデルを用いて判定し、複数枚の撮影画像の中から調整対象として選択された第1の撮影画像の写りをユーザによる操作に応じて調整し、前記第1の撮影画像の調整内容を第2の撮影画像に反映させる操作が行われた場合、前記第1の撮影画像の調整と同じ内容の写りの調整を前記第2の撮影画像に対して行う処理をコンピュータに実行させるプログラムである
【0007】
本技術の一側面においては、前記第1の撮影画像の調整内容の反映が、前記第1の撮影画像と前記第2の撮影画像の被写体の人物の性別構成に基づいて、前記第1の撮影画像と前記第2の撮影画像にそれぞれ女性の人物と男性の人物が写っている場合には、前記第1の撮影画像に写る女性の人物に対する調整内容を前記第2の撮影画像に写る女性の人物に反映させ、前記第1の撮影画像に写る男性の人物に対する調整内容を前記第2の撮影画像に写る男性の人物に反映させるようにして行われる。また、前記第1の撮影画像に女性の人物と男性の人物が写り、前記第2の撮影画像に被写体の人物として女性の人物のみが写っている場合には、前記第1の撮影画像に写る女性の人物に対する調整内容を前記第2の撮影画像に写る女性の人物に反映させるようにして行われ、前記第1の撮影画像に被写体の人物として女性の人物のみが写り、前記第2の撮影画像に女性の人物と男性の人物が写っている場合には、前記第1の撮影画像に写る女性の人物に対する調整内容を前記第2の撮影画像に写る女性の人物に反映させようにして行われる。
【発明の効果】
【0008】
本技術によれば、撮影画像に写る被写体の写りの調整を効率的に行うことができる。
【図面の簡単な説明】
【0009】
図1】撮影スタジオにおける作業の流れを示す図である。
図2】撮影画像の提供の例を示す図である。
図3】レタッチ用PCにおけるファイル管理の例を示す図である。
図4】画像選択画面の例を示す図である。
図5】レタッチ画面の例を示す図である。
図6】レタッチ選択領域の表示を拡大して示す図である。
図7】一括レタッチが選択された場合の表示例を示す図である。
図8】レタッチ対象の撮影画像が切り替えられた場合の表示例を示す図である。
図9】レタッチパラメータの適用の例を示す図である。
図10】レタッチ用PCの構成例を示すブロック図である。
図11】レタッチ用PCの機能構成例を示すブロック図である。
図12】レタッチ処理について説明するフローチャートである。
図13】画像処理部の構成例を示すブロック図である。
図14】肌領域の抽出の例を示す図である。
図15】レタッチパラメータの例を示す図である。
図16】明るさの調整に用いられる領域の表示例を示す図である。
図17】レタッチ内容の引き継ぎの例を示す図である。
図18】レタッチ内容の引き継ぎの例を示す図17に続く図である。
図19】レタッチ内容の引き継ぎの第1の例を示す図である。
図20】レタッチ内容の引き継ぎの第2の例を示す図である。
図21】レタッチ内容の引き継ぎの第3の例を示す図である。
図22】画像処理部の他の構成例を示すブロック図である。
【発明を実施するための形態】
【0010】
<<撮影スタジオでの作業の流れ>>
図1は、撮影スタジオにおける作業の流れを示す図である。
【0011】
本技術は、例えばウェディングの記念撮影を行う撮影スタジオにおいて用いられる。本技術は、入学/卒業の記念写真、成人式の記念写真、七五三の記念写真などの、各種のイベントの記念写真の撮影を撮影スタジオにおいて行う場合にも適用可能である。
【0012】
図1の左側に示すように、撮影スタジオにおける撮影はカメラマンにより行われる。図1の例においては、背景スクリーンの前に立つ新郎と新婦を被写体として撮影が行われている。新郎はタキシード姿であり、新婦はウェディングドレス姿である。新郎と新婦の周りには、カメラマンによる撮影にあわせて発光するストロボ装置などの機材が配置される。
【0013】
カメラマンによる撮影は、構図を変えて、50枚、100枚などの多くの枚数の静止画像(写真)を撮影するようにして行われる。静止画像の構図は、新郎と新婦のポーズ、新郎、新婦とカメラマンとの位置関係、焦点距離などのカメラパラメータなどにより決定される。カメラマンにより撮影された静止画像である撮影画像は、カメラに接続された図示せぬPCに転送され、保存される。
【0014】
撮影が終了した後、新郎と新婦は、撮影スタジオに用意されたレタッチスペースに移動し、図1の右側に示すように、レタッチ用PC1を利用して、カメラマンに撮影してもらった撮影画像を確認する。
【0015】
また、新郎と新婦は、レタッチ用PC1のユーザとして、例えば最終的に印刷してもらう枚数分の撮影画像を選択し、自らレタッチすることによって、それぞれの撮影画像の写りを調整する。カメラマンにより撮影してもらった撮影画像の中から選択された、5枚、10枚などの一部の撮影画像を対象としてレタッチが行われる。レタッチ(加工)には、撮影画像の写りを調整するための各種の画像処理が含まれる。
【0016】
レタッチスペースには、1台、または複数台のレタッチ用PC1が用意される。保存用のPCに保存された撮影画像がレタッチ用PC1に転送され、レタッチ用PC1のディスプレイ11に表示される。レタッチ用PC1には、カメラマンに撮影してもらった撮影画像をレタッチすることに用いられるアプリケーションであるレタッチアプリ1Aがインストールされている。
【0017】
このように、本技術を適用したレタッチ用PC1が設置された撮影スタジオにおいては、カメラマンに撮影してもらった撮影画像のレタッチがユーザ(新郎と新婦)自身により行われる。ユーザは、レタッチアプリ1Aの機能を利用して、自分の好みの写りとなるように撮影画像のレタッチを行うことができる。タブレット端末などの、PCとは異なる端末にレタッチアプリ1Aがインストールされ、レタッチに用いられるようにしてもよい。
【0018】
図2は、撮影画像の提供の例を示す図である。
【0019】
レタッチアプリ1Aによるレタッチ済みの撮影画像は、撮影スタジオの運営会社により印刷され、矢印#1に示すように、例えばアルバムなどの形で後日ユーザに渡される。
【0020】
また、レタッチ済みの撮影画像は、矢印#2に示すように、レタッチ用PC1から画像管理サーバ2にアップロードされ、画像管理サーバ2において管理される。画像管理サーバ2は、例えばインターネット上のサーバである。撮影スタジオの運営会社により、または、撮影スタジオの運営会社とは異なる事業者により画像管理サーバ2が管理される。
【0021】
ユーザは、スマートフォンなどの自分の携帯端末3を操作し、画像管理アプリ3Aを操作することによって、矢印#3に示すように、自分たちが被写体となって撮影してもらった撮影画像を閲覧したり、ダウンロードしたりすることができる。画像管理アプリ3Aは、画像管理サーバ2において管理されている撮影画像の閲覧等を行うためのアプリケーションである。画像管理アプリ3Aは、例えば、画像管理サーバ2を管理する事業者により提供される。
【0022】
撮影スタジオにおいて撮影された撮影画像の提供は、アルバムの形で行われるとともに、適宜、データの形で行われることになる。データでの撮影画像の提供が、アルバムの料金とは別料金で可能となるようにしてもよい。
【0023】
データでの撮影画像の提供は、ユーザによりレタッチが行われた撮影画像だけでなく、レタッチ対象としてユーザにより選択されなかった撮影画像も提供するようにして行われる。レタッチ対象としてユーザにより選択されなかった撮影画像については、後述するように、ユーザの操作によらずに、レタッチアプリ1Aによってレタッチが自動的に行われる。
【0024】
ユーザは、レタッチ対象として選択しなかった撮影画像についても、データの形で受け取ることが可能となる。画像管理アプリ3Aを用いるのではなく、ブラウザを利用して所定のサイトにアクセスし、画像管理サーバ2において管理されている撮影画像を受け取ることができるようにしてもよい。例えば、画像管理サーバ2の管理者が提供する画像提供サービスの会員登録を行うことにより、ユーザは、画像管理サーバ2において管理されている撮影画像を、画像管理アプリ3Aを利用して、または、ブラウザを利用して受け取ることが可能となる。
【0025】
携帯端末3ではなく、タブレット端末やPCなどの他の端末を利用して撮影画像を受け取ることができるようにしてもよい。
【0026】
<<レタッチアプリについて>>
<ファイル管理>
図3は、レタッチ用PC1におけるファイル管理の例を示す図である。
【0027】
図3の吹き出しに示すように、ユーザの識別情報であるユーザIDと紐付けて、allフォルダとalbumフォルダの2つのフォルダが用意される。allフォルダは、「all」のフォルダ名が設定されたフォルダであり、albumフォルダは、「album」のフォルダ名が設定されたフォルダである。
【0028】
保存用のPCから転送されてきた撮影画像のファイルはallフォルダに格納される。レタッチ対象として選択され、レタッチが施された撮影画像のファイルがalbumフォルダに格納される。albumフォルダに格納されたファイルが、印刷に用いられるファイルとなる。
【0029】
撮影を終えたユーザがレタッチを始めるとき、レタッチアプリ1Aの画面上でユーザIDの入力が行われる。ユーザIDに基づいて、撮影画像がレタッチアプリ1Aにより読み込まれ、撮影画像を用いた処理が行われる。例えば、ユーザIDに紐付けられているallフォルダに格納された全ての撮影画像のファイルがレタッチアプリ1Aにより読み込まれる。撮影画像が読み込まれた後、レタッチ対象とする撮影画像の選択が行われる。
【0030】
<画面表示>
・画像選択画面
図4は、画像選択画面の例を示す図である。
【0031】
画像選択画面の上方には、5枚の撮影画像を選択することを案内するメッセージが表示される。撮影画像の選択枚数は、画像選択の前に、例えば、撮影スタジオのスタッフにより設定される。5枚の撮影画像を印刷してアルバムとして受け取るプランをユーザが申し込んでいる場合、選択枚数として5枚が設定される。
【0032】
画像選択画面の右側にはサムネイル表示領域21が形成される。サムネイル表示領域21は、撮影画像のサムネイル画像が表示される領域である。例えば50枚の撮影画像の撮影が行われている場合、50枚の撮影画像のそれぞれのサムネイル画像が表示される。レタッチアプリ1Aの画面を用いた各種の操作は、マウス、キーボードなどを用いて行われる。
【0033】
サムネイル画像を用いて選択された撮影画像が、サムネイル表示領域21の左側に形成された表示領域22に拡大表示される。図4の例においては、サムネイル表示領域21の左上端に表示されている撮影画像P1のサムネイル画像が選択され、撮影画像P1が表示領域22に拡大表示されている。
【0034】
表示領域22の右下には決定ボタン23が表示される。決定ボタン23は、表示領域22に表示されている撮影画像をレタッチ対象として決定するときに押下されるボタンである。ユーザは、サムネイル画像を選択することによってそれぞれの撮影画像を表示領域22に順次拡大して表示させ、気に入った撮影画像があったとき、決定ボタン23を押下してレタッチ対象として選択することになる。
【0035】
表示領域22の下には、ユーザにより選択された撮影画像のサムネイル画像が表示される選択画像表示領域24が形成される。
【0036】
5枚の撮影画像の選択が終了した場合、レタッチ対象とする撮影画像の選択は終了となる。レタッチ対象とする撮影画像の選択が終了した後、レタッチ対象として選択されたそれぞれの撮影画像に対するレタッチが行われる。
【0037】
・レタッチ画面
図5は、レタッチ画面の例を示す図である。
【0038】
レタッチ画面の中央上方には表示領域31が形成される。表示領域31は、いまレタッチ対象となっている撮影画像が拡大表示される領域である。表示領域31の左側に形成されたサムネイル領域32には、ユーザにより選択された撮影画像のサムネイル画像が表示される。図5の例においては、撮影画像P1乃至P5の5枚の撮影画像のサムネイル画像が表示されている。サムネイル画像を用いて選択された撮影画像P1が、表示領域31に拡大表示される。
【0039】
レタッチ画面の下には横長のレタッチ選択領域33が形成される。レタッチ選択領域33に表示されたボタンを用いて、レタッチの内容が選択される。レタッチ選択領域33に表示されたボタンを用いてレタッチの内容が選択される毎に、選択された内容が表示領域31の表示に反映される。ユーザは、表示領域31の表示を見ながら、いまレタッチ対象となっている撮影画像に施すレタッチの内容をレタッチ選択領域33の表示を用いて選択することになる。
【0040】
図6は、レタッチ選択領域33の表示を拡大して示す図である。
【0041】
レタッチ選択領域33は、顔・体全体の調整に用いられる情報の表示領域である領域33-1、目元・メイクの調整に用いられる情報の表示領域である領域33-2、および、明るさの調整に用いられる情報の表示領域である領域33-3から形成される。
【0042】
レタッチ選択領域33の左側に形成された領域33-1には、小顔感の調整に用いられる調整ボタン51、顔のかたちの調整に用いられる調整ボタン52、肌質の調整に用いられる調整ボタン53、あご短くの調整に用いられる調整ボタン54、スタイルアップの調整に用いられる調整ボタン55が表示される。
【0043】
小顔感として、5段階の大きさを選択することが可能とされる。小顔感の「0」は、顔の大きさを変えないで、オリジナルの大きさのままとすることを表す。ユーザは、「1」乃至「4」のいずれかの大きさを選択することにより、表示領域31に表示されている撮影画像に写る自分の顔の大きさを調整することができる。
【0044】
顔のかたちとして、「まる」、「たまご」、「ほっそり」の中からいずれかの形を選択することが可能とされる。ユーザはいずれかの形を選択することにより、表示領域31に表示されている撮影画像に写る自分の顔の形を調整することができる。「レタッチなし」を選択することにより、顔の形を変えないことも可能とされる。
【0045】
肌質として、5段階のレベルを選択することが可能とされる。肌質の「0」は、肌質を変えないで、オリジナルの肌質のままとすることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域31に表示されている撮影画像に写る自分の肌質の滑らかさの程度を調整することができる。
【0046】
あご短くとして、3段階のレベルを選択することが可能とされる。あご短くの「0」は加工なし、すなわちあごを変えないで、オリジナルのあごのままとすることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域31に表示されている撮影画像に写る自分のあごの長さを調整することができる。
【0047】
スタイルアップとして、3段階のレベルを選択することが可能とされる。スタイルアップの「0」は加工なし、すなわちスタイルを変えないで、オリジナルのスタイルのままとすることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域31に表示されている撮影画像に写る自分のスタイルを調整することができる。
【0048】
レタッチ選択領域33の中央に形成された領域33-2には、目の大きさの調整に用いられる調整ボタン56、目のかたちの調整に用いられる調整ボタン57、メイクの濃さの調整に用いられる調整ボタン58、鼻筋の調整に用いられる調整ボタン59、ひげ消しの調整に用いられる調整ボタン60が表示される。
【0049】
目の大きさとして、5段階の大きさを選択することが可能とされる。目の大きさの「0」は加工なし、すなわち目の大きさを変えないで、オリジナルの大きさのままとすることを表す。ユーザは、いずれかの大きさを選択することにより、表示領域31に表示されている撮影画像に写る自分の目の大きさを調整することができる。
【0050】
目のかたちとして、「まる目」、「たれ目」、「ねこ目」の中からいずれかの形を選択することが可能とされる。ユーザは、いずれかの形を選択することにより、表示領域31に表示されている撮影画像に写る自分の目の形を調整することができる。「加工なし」を選択することにより、目の形を変えないことも可能とされる。
【0051】
メイクの濃さとして、5段階の濃さを選択することが可能とされる。メイクの濃さの「0」は、メイクの濃さを変えないで、オリジナルの濃さのままとすることを表す。ユーザは、いずれかの濃さを選択することにより、表示領域31に表示されている撮影画像に写る自分のメイクの濃さを調整することができる。
【0052】
鼻筋として、オン/オフを選択することが可能とされる。ユーザは、オンまたはオフを選択することにより、表示領域31に表示されている撮影画像に写る自分の鼻筋のハイライト部分を強調するか、オリジナルの状態のままとするかを選択することができる。
【0053】
ひげ消しとして、3段階のレベルを選択することが可能とされる。ひげ消しの「0」は、ひげを変えないで、オリジナルのひげのままとすることを表す。ユーザは、いずれかのレベルを選択することにより、表示領域31に表示されている撮影画像に写る自分のひげを調整することができる。ひげ消しの機能は、レタッチ対象の人物が新郎である場合に有効となる。
【0054】
レタッチ選択領域33の右側に形成された領域33-3には、肌のみの明るさの調整に用いられる調整ボタン61、全体の明るさの調整に用いられる調整ボタン62、背景のみの明るさの調整に用いられる調整ボタン63が表示される。
【0055】
肌の明るさの調整として、3段階の明るさを選択することが可能とされる。肌の明るさの「0」は、肌の明るさを変えないで、オリジナルの明るさのままとすることを表す。ユーザは、いずれかの明るさを選択することにより、表示領域31に表示されている撮影画像に写る自分の肌の明るさを調整することができる。肌の明るさの調整機能の詳細については後述する。
【0056】
全体の明るさの調整として、3段階の明るさを選択することが可能とされる。全体の明るさの「0」は、全体の明るさを変えないで、オリジナルの明るさのままとすることを表す。ユーザは、いずれかの明るさを選択することにより、表示領域31に表示されている撮影画像に写る全体の明るさを調整することができる。
【0057】
背景の明るさの調整として、3段階の明るさを選択することが可能とされる。背景の明るさの「0」は、背景の明るさを変えないで、オリジナルの明るさのままとすることを表す。ユーザは、いずれかの明るさを選択することにより、表示領域31に表示されている撮影画像に写る背景の明るさを調整することができる。
【0058】
図5の説明に戻り、表示領域31の左側には一括レタッチに用いられる一括レタッチボタン34が表示される。一括レタッチは、上述したような各種のレタッチ内容の組み合わせを一括して選択する機能である。
【0059】
図5の例においては、レタッチ内容のレベルの組み合わせが異なる3種類のレベルの一括レタッチの中からいずれかのレベルを選択することができるようになっている。ユーザは、一括レタッチの機能を利用することにより、それぞれのレタッチ内容をレタッチ選択領域33の表示を用いて選択することなく、一度の操作で選択することができる。
【0060】
図7は、一括レタッチが選択された場合の表示例を示す図である。
【0061】
一括レタッチボタン34が操作された場合、角丸長方形のポップアップ画像71がレタッチ画面に重ねて表示される。レタッチ画面の略中央に表示されるポップアップ画像71には、一括レタッチの対象とする画像の範囲の選択に用いられる円形のボタンがメッセージとともに表示される。
【0062】
ユーザは、ポップアップ画像71に表示されているボタンを操作することにより、一括レタッチの内容を、いまレタッチ対象になっている1枚の画像のみに反映させるのか、いまレタッチ対象になっている1枚の画像を含む全て(5枚)の画像に反映させるのかを選択することができる。
【0063】
図5の説明に戻り、表示領域31の右側には加工前ボタン35が設けられる。加工前ボタン35は、表示領域31の表示を、レタッチ前の状態に切り替えるときに操作されるボタンである。加工前ボタン35が押下されている間、レタッチ前の状態の撮影画像が表示領域31に表示される。ユーザは、加工前ボタン35を用いることにより、レタッチ後の状態とレタッチ前の状態とを見比べ、レタッチの程度が強すぎないかどうかなどを確認することができる。
【0064】
加工前ボタン35の下には、レタッチ対象とする人物の選択に用いられる人物選択ボタン36が設けられる。ユーザは、人物選択ボタン36を用いることにより、撮影画像の左側に写る人物のみ、右側に写る人物のみ、2人とも、のいずれかを選択してレタッチを施すことができる。撮影画像に対して顔認識などが行われ、レタッチの画像処理の対象となる人物がユーザの操作に応じて選択される。
【0065】
ユーザは、このような各種の機能を用いて、表示領域31に表示させている撮影画像に施すレタッチの内容を選択することができる。このように、レタッチアプリ1Aを用いて行うことができるレタッチには、顔・体全体の調整、目元・メイクの調整、明るさの調整が少なくとも含まれる。
【0066】
レタッチ対象とする撮影画像がサムネイル領域32の表示を用いて切り替えられ、撮影画像P1乃至P5のそれぞれのレタッチが順次行われる。レタッチが施された撮影画像P1乃至P5のそれぞれのファイルがalbumフォルダに格納される。
【0067】
図8は、レタッチ対象とする撮影画像が切り替えられた場合の表示例を示す図である。
【0068】
レタッチ対象とする撮影画像が切り替えられた場合、吹き出し形状のポップアップ画像72がレタッチ画面に重ねて表示される。ポップアップ画像72は、レタッチ画面の略中央上方に形成された表示領域31を吹き出し元とするとするように、レタッチ画面の中央より若干下方の位置に表示される。ポップアップ画像72には、1つ前の写真(撮影画像)で設定したレタッチ内容を、切り替え後の撮影画像にも反映させるか否かの選択に用いられる横長長方形のボタンがメッセージとともに表示される。
【0069】
すなわち、レタッチ対象とする撮影画像が切り替えられ場合、一括レタッチボタン34が操作されたときに表示されるポップアップ画像71と異なる形状の画像がポップアップ画像72として表示される。
【0070】
ユーザは、ポップアップ画像72の表示を用いることにより、切り替え前の撮影画像に対して選択したレタッチ内容を、切り替え後の撮影画像に引き継ぐことができる。レタッチ内容の引き継ぎ機能の詳細については後述する。
【0071】
図9は、レタッチパラメータの適用の例を示す図である。
【0072】
図9に示すように、ユーザによる操作によって撮影画像P1乃至P5のそれぞれに施されたレタッチの内容が、allフォルダに格納されたそれぞれの未選択画像に反映される。未選択画像は、画像選択画面においてレタッチ対象として選択されなかった撮影画像である。画像選択画面においてレタッチ対象として選択された撮影画像は、選択画像となる。
【0073】
レタッチ済みの撮影画像P1乃至P5のうちのどの撮影画像のレタッチの内容をそれぞれの未選択画像に対して反映させるかが、例えば、選択画像に写る顔の状態と、未選択画像に写る顔の状態とに基づいて選択される。この場合、それぞれの撮影画像が解析され、それぞれの撮影画像に写る顔の状態が認識される。それぞれの未選択画像に写る顔の状態に近い状態で顔が写っている選択画像が選択され、選択された選択画像に対して施されたレタッチの内容が未選択画像に反映される。
【0074】
<<レタッチ用PC1の構成と動作>>
<レタッチ用PC1の構成>
図10は、レタッチ用PC1の構成例を示すブロック図である。
【0075】
CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103は、バス104により相互に接続される。
【0076】
バス104には、さらに、入出力インタフェース105が接続される。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、およびドライブ110が接続される。
【0077】
入力部106は、キーボード、マウスなどにより構成される。
【0078】
出力部107は、ディスプレイ11などにより構成される。
【0079】
記憶部108は、ハードディスクや不揮発性のメモリなどにより構成される。記憶部108は、CPU101が実行するレタッチアプリ1Aなどのプログラム、撮影画像などの各種の情報を記憶する。
【0080】
通信部109は、インターネット、LANなどのネットワークに対するインタフェースである。例えば、通信部109は、撮影スタジオのカメラに接続された保存用のPCと通信を行い、保存用のPCから送信されてきた、レタッチを始めようとするユーザが被写体として写る撮影画像を受信する。また、通信部109は、画像管理サーバ2との間で通信を行い、レタッチ済みの撮影画像を画像管理サーバ2に送信する。
【0081】
ドライブ110は、リムーバブルメディア111に対するデータの書き込み、リムーバブルメディア111からのデータの読み出しを制御する。保存用のPCからの撮影画像の取り込みがリムーバブルメディア111を介して行われるようにしてもよい。
【0082】
図11は、レタッチ用PC1の機能構成例を示すブロック図である。
【0083】
図11に示すように、レタッチ用PC1においては、レタッチアプリ1Aが実行されることにより画像処理部121が実現される。画像処理部121は、画像取得部131、レタッチ処理部132、出力制御部133、および表示制御部134により構成される。
【0084】
画像取得部131は、画像選択画面に対するユーザの操作を受け付け、レタッチ対象としてユーザにより選択された撮影画像を例えば記憶部108から取得する。画像取得部131により取得されたレタッチ対象の撮影画像は、レタッチ処理部132と表示制御部134に供給される。
【0085】
また、画像取得部131は、レタッチ対象のそれぞれの撮影画像に対するレタッチが終了した場合、未選択画像を例えば記憶部108から取得し、レタッチ処理部132に出力する。
【0086】
レタッチ処理部132は、顔認識を行い、レタッチ対象の撮影画像に写る顔を認識する。レタッチ処理部132は、認識した顔の各部の特徴を解析し、レタッチ画面に対するユーザの操作に応じて、レタッチに関する各種の画像処理を行う。各部の特徴の解析が機械学習によって生成された推論モデルを用いて行われるようにしてもよい。
【0087】
例えば、レタッチ処理部132は、目の大きさや目の形の調整に関する操作が行われた場合、目の輪廓の位置をユーザによる選択内容に応じてずらすなどの画像処理を行う。また、レタッチ処理部132は、メイクの濃さの調整に関する操作が行われた場合、頬の部分に所定の色のチークの画像を合成したり、唇の部分に所定の色の口紅の画像を合成したりする画像処理を行う。
【0088】
レタッチ処理部132は、肌質の調整に関する操作が行われた場合、肌の明るさを調整するなどの画像処理を行う。レタッチ処理部132は、顔の大きさ(小顔感)や顔の形の調整に関する操作が行われた場合、顔の輪廓の位置をユーザによる選択内容に応じてずらすなどの画像処理を行う。
【0089】
レタッチ処理部132による画像処理の結果を表す情報は、表示制御部134に供給され、レタッチ画面の表示に用いられる。
【0090】
また、レタッチ処理部132は、レタッチ対象のそれぞれの撮影画像に対するレタッチが終了した場合、未選択画像を含むそれぞれの撮影画像を解析し、レタッチ済みの撮影画像に施したレタッチの内容を未選択画像に反映させる。レタッチ処理部132によりレタッチが施された撮影画像は出力制御部133に供給される。
【0091】
出力制御部133は、ユーザによる操作に応じてレタッチが施された撮影画像をalbumフォルダに保存する。
【0092】
また、出力制御部133は、レタッチ済みの撮影画像(選択画像と未選択画像)を通信部109に出力し、画像管理サーバ2に送信させる。
【0093】
表示制御部134は、画像選択画面、レタッチ画面などの、レタッチアプリ1Aの各種の画面の表示を制御する。
【0094】
<レタッチ用PC1の動作>
図12のフローチャートを参照して、レタッチアプリ1Aが行うレタッチ処理について説明する。
【0095】
ステップS1において、画像処理部121の表示制御部134は、画像選択画面(図4)を表示する。
【0096】
ステップS2において、画像取得部131は、画像選択画面に対するユーザの操作に応じて、レタッチ対象とする撮影画像の選択を受け付ける。画像取得部131は、レタッチ対象とする撮影画像を取得する。
【0097】
ステップS3において、画像取得部131は、レタッチ対象とする撮影画像の選択が終了か否かを判定する。レタッチ対象とする撮影画像の選択が終了してないとステップS3において判定された場合、ステップS1に戻り、画像の選択が続けられる。
【0098】
例えば5枚の撮影画像が選択された場合、レタッチ対象とする撮影画像の選択を終了するとしてステップS3において判定される。
【0099】
ステップS4において、表示制御部134は、レタッチ画面(図5)を表示する。ユーザは、レタッチ画面を用いて撮影画像のレタッチを行う。
【0100】
ステップS5において、レタッチ処理部132は、ユーザの操作に応じて画像処理を行い、レタッチ対象として選択された撮影画像にレタッチを施す。
【0101】
ステップS6において、レタッチ処理部132は、レタッチが終了か否かを判定する。レタッチが終了ではないとステップS6において判定された場合、ステップS4に戻り、レタッチ対象として選択されたそれぞれの撮影画像に対するレタッチが続けられる。
【0102】
例えばレタッチ対象として選択された全ての撮影画像のレタッチが行われた場合、レタッチを終了するとしてステップS6において判定される。
【0103】
ステップS7において、レタッチ処理部132は、選択画像に施されたレタッチの内容と同じ内容のレタッチを、それぞれの未選択画像に反映させる。
【0104】
ステップS8において、出力制御部133は、レタッチが施された未選択画像を保存する。
【0105】
ステップS9において、通信部109は、レタッチが施された選択画像と未選択画像を画像管理サーバ2に送信する。その後、レタッチアプリ1Aの処理は終了となる。
【0106】
以上の処理により、ユーザは、自分が被写体となって撮影してもらった撮影画像の写りを自分で調整することができる。ユーザは、自分の好みの写りになっている撮影画像のアルバムを受け取ることができる。
【0107】
また、ユーザは、携帯端末3を利用することにより、画像管理サーバ2において管理されている、写りを手動で調整した撮影画像と、手動で調整した内容と同じ内容のレタッチが自動的に施された撮影画像(未選択画像)をデータの形で受け取ることができる。
【0108】
<<肌の明るさの調整機能>>
図5を参照して説明したように、レタッチ対象になっている撮影画像の明るさを調整することが可能とされる。ここで、領域33-3の調整ボタン61を用いて行われる、肌のみの明るさの調整機能について説明する。
【0109】
<画像処理部121の構成>
図13は、肌のみの明るさの調整機能を実現する画像処理部121の構成例を示すブロック図である。図13には、画像処理部121の一部の構成のみを示している。
【0110】
画像処理部121には、上述した構成の他に性別判定部135が設けられる。レタッチ処理部132においては、顔認識部151、肌領域抽出部152、および明るさ調整部153が実現される。レタッチ対象の撮影画像は、性別判定部135に入力されるとともに、レタッチ処理部132の各部に入力される。
【0111】
性別判定部135は、撮影画像に写る人物の性別を判定する。性別判定部135による判定は、例えば、撮影画像を入力とし、撮影画像に写るそれぞれの人物の性別を出力とする推論モデルを用いて行われる。この場合、性別判定部135には、機械学習によって生成された、性別判定用の推論モデルがあらかじめ用意される。性別の判定が、レタッチ対象の撮影画像を解析して求められた人物の特徴に基づいて行われるようにしてもよい。
【0112】
性別判定部135による判定結果は、レタッチ処理部132の明るさ調整部153に供給される。例えば、レタッチ対象の撮影画像に新婦だけが写っている場合、撮影画像に写っている人物が女性であることを表す情報が判定結果として供給される。また、レタッチ対象の撮影画像に新郎だけが写っている場合、撮影画像に写っている人物が男性であることを表す情報が判定結果として供給される。レタッチ対象の撮影画像に新婦と新郎が写っている場合、撮影画像に写っているそれぞれの人物が女性と男性であることを表す情報が判定結果として供給される。
【0113】
レタッチ処理部132の顔認識部151は、撮影画像に写る人物の顔を認識し、顔領域を抽出する。顔認識部151による顔領域の抽出が、機械学習によって生成された推論モデルを用いて行われるようにしてもよいし、撮影画像を解析して求められた各部位の輪郭点などの特徴に基づいて行われるようにしてもよい。顔認識部151により抽出された顔領域の情報は、肌領域抽出部152と明るさ調整部153に供給される。
【0114】
肌領域抽出部152は、撮影画像に写る人物の肌の領域を抽出する。例えば、肌領域抽出部152には、撮影画像を入力とし、撮影画像に写る人物の肌領域の情報を出力とする推論モデルが用意されている。肌領域抽出部152は、推論モデルを用いて抽出した肌領域と、顔認識部151により抽出された顔領域とに基づいて、顔領域以外の肌領域を抽出する。
【0115】
図14は、肌領域抽出部152による肌領域の抽出の例を示す図である。
【0116】
例えば、図14の左上に示す撮影画像P11がレタッチ対象として選択されている場合について説明する。撮影画像P11には、ウェディングドレス姿の新婦である人物H1が写っている。人物H1の胸元と、肩から腕(上腕)にかけての部分において肌が露出している。
【0117】
このような撮影画像P11がレタッチ対象となっている場合、顔認識部151においては、矢印#11の先に示すような顔領域が抽出される。
【0118】
肌領域抽出部152は、撮影画像P11を矢印#12の先に示すように肌領域抽出モデルMに入力し、矢印#13の先に示すように、顔領域を含む肌領域を肌領域抽出モデルMの出力に基づいて抽出する。撮影画像P11には、顔の領域と肩から腕にかけての領域などが、人物H1の肌が露出している領域として写っている。
【0119】
また、肌領域抽出部152は、矢印#14と矢印#15の先に示すように、肌領域抽出モデルMを用いて抽出した肌領域から、顔認識部151により抽出された顔領域を除くことによって、矢印#16の先に示すように、顔領域以外の肌領域を抽出する。このようにして抽出された、顔領域以外の肌領域の情報が明るさ調整部153に供給される。
【0120】
図13の明るさ調整部153は、レタッチ対象の撮影画像に写る人物の顔領域を顔認識部151から供給された情報に基づいて特定し、顔領域以外の肌領域を肌領域抽出部152から供給された情報に基づいて特定する。明るさ調整部153は、顔領域と、顔領域以外の肌領域とを、それぞれ異なるレタッチパラメータを用いて調整する。レタッチパラメータは、明るさの調整量を規定するパラメータである。
【0121】
例えば、明るさ調整部153は、顔領域に対する調整量の方が、顔領域以外の肌領域に対する調整量より多くなるようなレタッチパラメータを、調整ボタン61を用いたユーザの操作に応じて選択し、それぞれの領域の明るさを調整する。すなわち、顔領域に対する明るさのレタッチパラメータとして、顔領域以外の肌領域に対する明るさのレタッチパラメータより明るくするレタッチパラメータが画像処理に用いられる。図5を参照して説明したように、調整ボタン61を用いて、1または2の1種類のレベルが肌のみの明るさのレベルとして選択される。
【0122】
これにより、明るさのレベルとして1,2のいずれのレベルをユーザが選択した場合であっても、図15Aに示すように、顔領域の方を、顔領域以外の肌領域よりも、より明るくするような画像処理が施されることになる。例えば、顔領域の明るさと、顔領域以外の肌領域の明るさが同じ明るさである場合、明るさの調整後の顔領域は、顔領域以外の肌領域より明るくなる。
【0123】
撮影画像に写る人物が女性(新婦)である場合、通常、顔には化粧が施されることから、顔領域を明るめにしても違和感がない。顔領域の方を、顔領域以外の肌領域よりも明るくするような画像処理が施されることにより、顔領域以外の肌領域が明るくなりすぎて違和感がある写りになってしまうことを防ぐことが可能となる。
【0124】
顔領域の方を、顔領域以外の肌領域よりも明るくするこのような画像処理が、性別判定部135による性別の判定結果に基づいて行われるようにしてもよい。
【0125】
例えば、顔領域の方を、顔領域以外の肌領域よりも明るくする画像処理は、撮影画像に写る女性に対してのみ施される。この場合、撮影画像に写る男性に対しては、顔領域の明るさと、顔領域以外の手などの肌領域とを、それぞれ同じ程度だけ明るくするレタッチパラメータを用いた画像処理が施される。これにより、男性の顔領域だけが明るくなりすぎて違和感がある写りになってしまうことを防ぐことが可能となる。
【0126】
また、明るさのレベルとして同じレベルをユーザが選択した場合であっても、図15Bに示すように、女性の肌領域(顔領域を含む)の方を、男性の肌領域よりも、よりも明るくするレタッチパラメータが選択されるようにしてもよい。このように、女性の肌領域の明るさの調整と男性の肌領域の明るさの調整に、それぞれ異なるレタッチパラメータが用いられるようにしてもよい。
【0127】
<レタッチ画面の表示>
図16は、レタッチ画面の領域33-3の表示例を示す図である。
【0128】
調整ボタン61を用いて肌のみの明るさを上述したようにして調整した後、ユーザは、さらに、調整ボタン62を用いて全体の明るさを調整したり、調整ボタン63を用いて背景の明るさを調整したりすることができる。
【0129】
これに対して、調整ボタン62を用いて全体の明るさを調整した後は、図16Aに示すように、調整ボタン63を用いた背景の明るさの調整が制限される。図16Aの右側の例においては、全体の明るさのレベルが「1」として選択されたことに応じて、背景の明るさのレベルの選択が不可となるように、調整ボタン63がグレーアウトして表示されている。
【0130】
また、調整ボタン63を用いて背景の明るさを調整した後は、図16Bに示すように、調整ボタン62を用いた全体の明るさの調整が制限される。図16Bの右側の例においては、背景の明るさのレベルが「2」として選択されたことに応じて、全体の明るさのレベルの選択が不可となるように、調整ボタン62がグレーアウトして表示されている。
【0131】
すなわち、全体の明るさの調整と背景の明るさの調整は、排他的な関係にあり、いずれか一方の調整のみを行うことが可能とされる。全体の明るさの調整と背景の明るさの調整のうちの一方の調整が行われた後は、他方の調整が制限される。全体の明るさの調整と背景の明るさの調整も例えば明るさ調整部153により行われる。
【0132】
例えば、全体を明るくした後に背景を明るくすることができるとした場合、背景に対して、明るさを調整する画像処理が重畳して適用されてしまい、白飛びが生じてしまう可能性が高くなる。全体の明るさの調整と背景の明るさの調整のいずれか一方の調整のみ行うことができるようにすることにより、そのような白飛びが発生してしまうのを防ぐことが可能となる。
【0133】
なお、調整ボタン62を用いて全体の明るさを調整した後であっても、または、調整ボタン63を用いて背景の明るさを調整した後であっても、肌のみの明るさのレベルを選択可能なままとなるように、調整ボタン61の表示は維持される(変わらない)。
【0134】
明るさの調整レベルの選択に用いられる情報として調整ボタン61乃至63が表示されるものとしたが、スライドバーなどの他の選択情報が表示されるようにしてもよい。
【0135】
<<レタッチ内容の引き継ぎ機能>>
図8を参照して説明したように、レタッチ対象の撮影画像を切り替えた場合、切り替え前の撮影画像に対して選択したレタッチ内容を、切り替え後の撮影画像に引き継ぐことが可能とされる。ここで、レタッチ内容の引き継ぎ機能について説明する。1つ前の撮影画像で設定したレタッチ内容を切り替え後の撮影画像にも反映させることがポップアップ画像72の表示を用いて選択されたものとする。
【0136】
<レタッチ内容の引き継ぎ>
図17図18は、レタッチ内容の引き継ぎの例を示す図である。
【0137】
図17の矢印#21に示すように、撮影画像P21を1枚目のレタッチ対象としたときのユーザの操作によって、「小顔感」が「3」、「顔のかたち」が「たまご」、「肌質」が「2」、・・・のそれぞれのレタッチパラメータが撮影画像P21に対して設定されたものとする。図17の下段に示すレタッチ済みの撮影画像P21の写りは、上段に示すレタッチ前の撮影画像P21の写りと異なる写りである。
【0138】
撮影画像P21のレタッチが終わり、レタッチ対象が撮影画像P21から撮影画像P22に切り替えられたとき、図18の矢印#22の先に示すように、2枚目のレタッチ対象の撮影画像である撮影画像P22のデフォルトのレタッチパラメータとして、レタッチ済みの撮影画像P1のレタッチパラメータが引き継がれる。表示領域31には、撮影画像P22が、レタッチ済みの撮影画像P21と同じ内容のレタッチが施された状態で撮影画像P21に代えて表示される。レタッチ選択領域33の表示も、撮影画像P22に施されているレタッチの内容に応じた表示となる。
【0139】
ユーザは、撮影画像P21と同じ内容のレタッチが施された撮影画像P22を基準として、撮影画像P22のレタッチを始めることができる。図18の例においては、「小顔感」が「4」、「顔のかたち」が「ほっそり」、「肌質」が「1」、・・・のレタッチパラメータにより表される内容に調整されている。
【0140】
撮影画像P22のレタッチが終わり、3枚目のレタッチ対象の撮影画像が選択された場合も同様に、矢印#24に示すように、3枚目のレタッチ対象の撮影画像のデフォルトのレタッチパラメータとして、撮影画像P22のレタッチパラメータが引き継がれる。
【0141】
このように、レタッチ対象の撮影画像が切り替えられることに応じて、直前のレタッチ対象の撮影画像のレタッチの内容が、切り替え後の1枚の撮影画像の写りに引き継がれる。レタッチ対象の撮影画像が切り替えられる毎に、撮影画像の写りの引き継ぎが繰り返される。これにより、ユーザは、それぞれの撮影画像のレタッチを効率的に行うことができる。
【0142】
切り替え後の撮影画像が、レタッチの調整がまだ行われてない未調整の画像である場合に以上のようなレタッチ内容の引き継ぎが行われるようにしてもよい。
【0143】
<引き継ぎ対象について>
レタッチは、対象とする人物を選択して人物毎に行うことが可能とされる。レタッチ内容の引き継ぎは、新婦を対象としたレタッチの内容が新婦の写りに引き継がれ、新郎を対象としたレタッチの内容が新郎の写りに引き継がれるように、性別判定部135による性別の判定結果に基づいて行われる。
【0144】
・新郎と新婦が写っている画像から、新郎と新婦が写っている他の画像への切り替え
図19は、レタッチ内容の引き継ぎの第1の例を示す図である。
【0145】
図19には、新婦である人物H1と新郎である人物H2が写る撮影画像P31のレタッチが終わり、レタッチ対象が、撮影画像P31から、同じく人物H1と人物H2が写る撮影画像P32に切り替えられたときのレタッチ内容の引き継ぎの例が示されている。
【0146】
この場合、レタッチ対象として撮影画像P31が選択されていたときに人物H1に対して施されたレタッチ内容が、矢印#31に示すように、撮影画像P32に写る人物H1の写りに引き継がれる。性別判定部135による判定結果に基づいて、撮影画像P31に写る女性の人物(人物H1)に対して施されたレタッチの内容が、撮影画像P32に写る同じ女性の人物(人物H1)の写りに引き継がれる。
【0147】
また、レタッチ対象として撮影画像P31が選択されていたときに人物H2に対して施されたレタッチ内容が、矢印#32に示すように、撮影画像P32に写る人物H2の写りに引き継がれる。性別判定部135による判定結果に基づいて、撮影画像P31に写る男性の人物(人物H2)に対して施されたレタッチの内容が、撮影画像P32に写る同じ男性の人物(人物H2)の写りに引き継がれる。
【0148】
・新郎と新婦が写っている画像から、新郎または新婦が写っている画像への切り替え
図20は、レタッチ内容の引き継ぎの第2の例を示す図である。
【0149】
図20には、新婦である人物H1と新郎である人物H2が写る撮影画像P31のレタッチが終わり、レタッチ対象が、撮影画像P31から、人物H1のみが写る撮影画像P33、または、人物H2のみが写る撮影画像P34に切り替えられたときのレタッチ内容の引き継ぎの例が示されている。
【0150】
レタッチ対象が右下の撮影画像P33に切り替えられた場合、レタッチ対象として撮影画像P31が選択されていたときに人物H1に対して施されたレタッチ内容が、矢印#33に示すように、撮影画像P33に写る人物H1の写りに引き継がれる。性別判定部135による判定結果に基づいて、撮影画像P31に写る女性の人物(人物H1)に対して施されたレタッチの内容が、撮影画像P33に写る同じ女性の人物(人物H1)の写りに引き継がれる。
【0151】
この場合、レタッチ対象として撮影画像P31が選択されていたときに人物H2に対して施されたレタッチ内容は引き継がれないことになる。
【0152】
レタッチ対象が左下の撮影画像P34に切り替えられた場合、レタッチ対象として撮影画像P31が選択されていたときに人物H2に対して施されたレタッチ内容が、矢印#34に示すように、撮影画像P34に写る人物H2の写りに引き継がれる。性別判定部135による判定結果に基づいて、撮影画像P31に写る男性の人物(人物H2)に対して施されたレタッチの内容が、撮影画像P34に写る同じ男性の人物(人物H2)の写りに引き継がれる。
【0153】
この場合、レタッチ対象として撮影画像P31が選択されていたときに人物H1に対して施されたレタッチ内容は引き継がれないことになる。
【0154】
・新郎または新婦が写っている画像から、新郎と新婦が写っている画像への切り替え
図21は、レタッチ内容の引き継ぎの第3の例を示す図である。
【0155】
図21の右側には、新婦である人物H1のみが写る撮影画像P33のレタッチが終わり、レタッチ対象が、撮影画像P33から、人物H1と新郎である人物H2が写る撮影画像P31に切り替えられたときのレタッチ内容の引き継ぎの例が示されている。
【0156】
この場合、レタッチ対象として撮影画像P33が選択されていたときに人物H1に対して施されたレタッチ内容が、矢印#35に示すように、撮影画像P31に写る人物H1の写りに引き継がれる。性別判定部135による判定結果に基づいて、撮影画像P33に写る女性の人物(人物H1)に対して施されたレタッチの内容が、撮影画像P31に写る同じ女性の人物(人物H1)の写りに引き継がれる。
【0157】
図21の左側には、新郎である人物H2のみが写る撮影画像P34のレタッチが終わり、レタッチ対象が、撮影画像P34から、人物H2と新婦である人物H1が写る撮影画像P31に切り替えられたときのレタッチ内容の引き継ぎの例が示されている。
【0158】
この場合、レタッチ対象として撮影画像P34が選択されていたときに人物H2に対して施されたレタッチ内容が、矢印#36に示すように、撮影画像P31に写る人物H2の写りに引き継がれる。性別判定部135による判定結果に基づいて、撮影画像P34に写る男性の人物(人物H2)に対して施されたレタッチの内容が、撮影画像P31に写る同じ男性の人物(人物H2)の写りに引き継がれる。
【0159】
これにより、新婦を対象としたレタッチの内容が新郎の写りに引き継がれるなどの不具合を防ぐことが可能となる。
【0160】
・レタッチ内容を引き継ぐか否かをユーザに選択させる例
レタッチ対象とする撮影画像の切り替え前と切り替え後とで人物の性別の構成が異なる場合に、図8を参照して説明したような情報が提示されるようにしてもよい。レタッチ内容を引き継ぐか否かをユーザに選択させることが行われる。
【0161】
例えば、図21の右側に示すように、レタッチ対象が、女性のみが写る撮影画像P33から、女性と男性が写る撮影画像P31に切り替えられた場合のように、撮影画像に写る人物の性別の構成が変化した場合、構図が大きく変わることから、レタッチ内容を引き継ぐことが適切でないこともある。適切ではないレタッチ内容が引き継がれるとそれを修正するのが煩雑になるが、適宜、レタッチ内容を引き継がないように選択できるようにすることにより、修正の手間を省くことが可能となる。
【0162】
・人物の識別結果に基づく引き継ぎ
レタッチ内容の引き継ぎが性別の判定結果に基づいて行われるものとしたが、人物の識別結果に基づいて行われるようにしてもよい。ある人物を対象としたレタッチの内容が同一人物の写りに引き継がれることにより、新婦を対象としたレタッチの内容が同じ人物である新婦の写りに引き継がれ、新郎を対象としたレタッチの内容が同じ人物である新郎の写りに引き継がれる。
【0163】
図22は、画像処理部121の他の構成例を示すブロック図である。図22に示す構成は、人物識別部136が設けられている点で、上述した画像処理部121の構成と異なる。
【0164】
人物識別部136は、撮影画像に写るそれぞれの人物を識別する。人物識別部136による人物の識別は、例えば、撮影画像を入力とし、撮影画像に写る人物のIDを出力とする推論モデルを用いて行われる。この場合、人物識別部136には、機械学習によって生成された、人物識別用の推論モデルがあらかじめ用意される。人物の識別が、レタッチ対象の撮影画像を解析して求められた人物の特徴に基づいて行われるようにしてもよい。
【0165】
人物識別部136による識別結果は、レタッチ処理部132に供給される。例えば、レタッチ対象の撮影画像に新婦だけが写っている場合、撮影画像に写っている新婦に割り当てられた人物IDが識別結果として供給される。また、レタッチ対象の撮影画像に新郎だけが写っている場合、撮影画像に写っている新郎に割り当てられた人物IDが識別結果として供給される。レタッチ対象の撮影画像に新婦と新郎が写っている場合、新婦に割り当てられた人物IDと新郎に割り当てられた人物IDが識別結果として供給される。
【0166】
レタッチ処理部132においては、人物識別部136による識別結果に基づいて、レタッチ対象の切り替え前の撮影画像に写る人物に対して施されたレタッチの内容を、切り替え後の撮影画像に写る同一人物の写りに引き継ぐようにしてレタッチが施される。
【0167】
これによっても、新婦を対象としたレタッチの内容が新郎の写りに引き継がれるなどの不具合を防ぐことが可能となる。
【0168】
レタッチ対象とする撮影画像の切り替え前と切り替え後とで人物の構成が異なる場合に、図8を参照して説明したような情報が提示されるようにしてもよい。レタッチ内容を引き継ぐか否かをユーザに選択させることが行われる。
【0169】
例えば、図21の右側に示すように、レタッチ対象が、人物H1のみが写る撮影画像P33から、人物H1と人物H2が写る撮影画像P31に切り替えられた場合のように、撮影画像に写る人物の構成が変化した場合、構図が大きく変わることから、レタッチ内容を引き継ぐことが適切でないこともある。適切ではないレタッチ内容が引き継がれるとそれを修正するのが煩雑になるが、適宜、レタッチ内容を引き継がないように選択できるようにすることにより、修正の手間を省くことが可能となる。
【0170】
<<変形例>>
・レタッチ場所の例
撮影スタジオに設置されたPCを利用してレタッチが行われるものとしたが、携帯端末3やユーザの自宅に設置されているPCなどの、他の装置を用いてレタッチを行うことができるようにしてもよい。
【0171】
携帯端末3を用いたレタッチが可能とされている場合、撮影スタジオでの撮影を終えたユーザは、携帯端末3を操作して画像管理アプリ3Aを起動させ、画像管理アプリ3Aの画面上でレタッチを行うことになる。画像管理アプリ3Aには、レタッチアプリ1Aと同様の機能が搭載される。
【0172】
携帯端末3のディスプレイには、上述したような画面が画像管理アプリ3Aによって表示され、画像管理サーバ2にアップロードされた撮影画像を対象として、レタッチ対象の撮影画像の選択とレタッチが行われる。画像管理アプリ3Aの機能を用いてレタッチが行われた撮影画像が印刷され、アルバムの形でユーザに提供されたり、レタッチ済みの撮影画像がそのままデータの形でユーザに提供されたりする。
【0173】
これにより、ユーザは、自宅などの様々な場所でレタッチを行うことができる。また、ユーザは、時間を気にすることなく、こだわってレタッチを行うことができる。
【0174】
・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【0175】
インストールされるプログラムは、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)や半導体メモリなどよりなる図10に示されるリムーバブルメディア111に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
【0176】
コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0177】
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0178】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0179】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0180】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0181】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【符号の説明】
【0182】
1 レタッチ用PC, 2 画像管理サーバ, 3 携帯端末, 121 画像処理部, 131 画像取得部, 132 レタッチ処理部, 133 出力制御部, 134 表示制御部, 135 性別判定部, 136 人物識別部, 151 顔認識部, 152 肌領域抽出部, 153 明るさ調整部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22