ホーム > 特許ランキング > 辰巳電子工業株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-09
(45)【発行日】2022-06-17
(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20220610BHJP
G06T 3/60 20060101ALI20220610BHJP
【ＦＩ】
G06T1/00 340A
G06T3/60
【請求項の数】
6
(21)【出願番号】P 2017228909
(22)【出願日】2017-11-29
(65)【公開番号】P2019101536
(43)【公開日】2019-06-24
【審査請求日】2020-12-03
(73)【特許権者】
【識別番号】597047392
【氏名又は名称】辰巳電子工業株式会社
(72)【発明者】
【氏名】藤川 飛鳥
(72)【発明者】
【氏名】高崎 ももこ
(72)【発明者】
【氏名】大北 幸輔
(72)【発明者】
【氏名】辰巳 聡
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０１７－１７５４６３（ＪＰ，Ａ）
【文献】特開２０１５－１６１７９７（ＪＰ，Ａ）
【文献】特開２０１５－６４７０６（ＪＰ，Ａ）
【文献】特開２００６－１３９３６９（ＪＰ，Ａ）
【文献】特開２００５－１４８２４５（ＪＰ，Ａ）
【文献】米国特許第９１７７３６０（ＵＳ，Ｂ２）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ３／６０
(57)【特許請求の範囲】
【請求項1】
被写体として人物を撮影することで得られた撮影画像を取得する画像取得部と、取得した前記撮影画像から、前記人物の顔が写る顔領域、及び当該顔領域よりも下側で、前記人物の両肩を含む胴体が写る胴体領域のうちのいずれか一方を回転対象領域として抽出する抽出部と、
前記顔領域及び前記胴体領域のうちの他方を非回転領域として回転させずに、前記回転対象領域として抽出した前記顔領域及び前記胴体領域のうちの一方を回転させる変形処理部と、を備え、
前記変形処理部は、
前記非回転領域と前記回転対象領域との間の領域を回転減衰領域として設定し、
前記回転対象領域側から前記非回転領域側にかけて回転量が低減するように当該回転減衰領域を回転させる画像処理装置。
【請求項2】
前記変形処理部は、前記顔の軸線及び前記撮影画像の基準線に基づいて、前記顔の傾きの度合いを算出し、
前記顔の傾きの度合いが所定の値以下である場合に、前記回転対象領域として抽出した前記顔領域及び前記胴体領域のうちの一方を回転させる処理を実行し、
前記顔の度合いが前記所定の角度以下ではない場合に、前記回転の処理を省略する、請求項１に記載の画像処理装置。
【請求項3】
前記変形処理部は、前記撮影画像の上下方向に延びる垂直線、前記撮影画像の左右方向に延びる水平線、及び前記胴体領域に写る前記人物の胴体の軸線のいずれかを前記撮影画像の基準線として取得する、請求項２に記載の画像処理装置。
【請求項4】
コンピュータが、被写体として人物を撮影することで得られた撮影画像を取得するステップと、
取得した前記撮影画像から、前記人物の顔が写る顔領域、及び当該顔領域よりも下側で、前記人物の両肩を含む胴体が写る胴体領域のうちのいずれか一方を回転対象領域として抽出するステップと、
前記顔領域及び前記胴体領域のうちの他方を非回転領域として回転させずに、前記回転対象領域として抽出した前記顔領域及び前記胴体領域のうちの一方を回転させるステップと、を実行し、
前記回転させるステップでは、
前記非回転領域と前記回転対象領域との間の領域を回転減衰領域として設定し、
前記回転対象領域側から前記非回転領域側にかけて回転量が低減するように当該回転減衰領域を回転させる画像処理方法。
【請求項5】
コンピュータに、被写体として人物を撮影することで得られた撮影画像を取得するステップと、
取得した前記撮影画像から、前記人物の顔が写る顔領域、及び当該顔領域よりも下側で、前記人物の両肩を含む胴体が写る胴体領域のうちのいずれか一方を回転対象領域として抽出するステップと、
前記顔領域及び前記胴体領域のうちの他方を非回転領域として回転させずに、前記回転対象領域として抽出した前記顔領域及び前記胴体領域のうちの一方を回転させるステップと、を実行させ、
前記回転させるステップでは、
前記非回転領域と前記回転対象領域との間の領域を回転減衰領域として設定し、
前記回転対象領域側から前記非回転領域側にかけて回転量が低減するように当該回転減衰領域を回転させる画像処理プログラム。
【請求項6】
被写体として人物を撮影することで得られた撮影画像を取得する画像取得部と、取得した前記撮影画像から、前記人物の顔が写る顔領域、及び当該顔領域よりも下側で、前記人物の両肩を含む胴体が写る胴体領域を抽出する抽出部と、
前記人物の顔の傾きの度合い及び胴体の傾きの度合いに基づいて、前記顔領域及び前記胴体領域をそれぞれ個別に回転させることにより、前記撮影画像における前記人物の顔及び胴体の傾きを低減する変形処理部と、を備える、画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【0002】
従来、人物を撮影した撮影画像を修正する様々な画像処理方法が提案されている。例えば、特許文献１には、原画像中の人物の両眼部に相当する位置を各々検出し、検出した人物の両眼部が、原画像に対して予め設定されている基準線又は当該基準線に直交する直線に平行な同一直線上に配置されるように、原画像全体を回転させる画像処理方法が提案されている。当該画像処理方法によれば、原画像中の顔の傾きを修正することができる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００３－３１９１６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本件発明者らは、特許文献１で提案されるような従来の画像処理方法では、次のような問題点があることを見出した。すなわち、従来の画像処理方法では、顔の傾きを修正するために、原画像全体を回転させる。しかしながら、撮影画像中に写る人物の姿勢は常に一定とは限られず、例えば、胴体が垂直方向に延びているのに対して顔が垂直方向から傾いている等、顔と胴体との傾きが相違するケースがあり得る。このようなケースに従来の画像処理方法を適用すると、顔の傾きを修正することはできても、胴体が垂直方向から傾いてしまうという不具合が生じ得る。つまり、従来の画像処理方法では、顔の傾きを修正することにより、原画像に比べて胴体が不自然に傾いてしまい、人物がバランス悪く写った見栄えの悪い画像が生成されてしまう可能性があった。
【0005】
本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、人物がバランスよく写る見栄えの良い画像を生成可能な技術を提供することである。
【課題を解決するための手段】
【0006】
本発明の一側面に係る画像処理装置は、被写体として人物を撮影することで得られた撮影画像を取得する画像取得部と、取得した前記撮影画像から、前記人物の顔が写る顔領域、及び当該顔領域よりも下側で、前記人物の両肩を含む胴体が写る胴体領域のうちのいずれか一方を回転対象領域として抽出する抽出部と、前記顔領域及び前記胴体領域のうちの他方を非回転領域として回転させずに、前記回転対象領域として抽出した前記顔領域及び前記胴体領域のうちの一方を回転させる変形処理部と、を備える。
【0007】
本発明の一側面に係る画像処理方法は、コンピュータが、被写体として人物を撮影することで得られた撮影画像を取得するステップと、取得した前記撮影画像から、前記人物の顔が写る顔領域、及び当該顔領域よりも下側で、前記人物の両肩を含む胴体が写る胴体領域のうちのいずれか一方を回転対象領域として抽出するステップと、前記顔領域及び前記胴体領域のうちの他方を非回転領域として回転させずに、前記回転対象領域として抽出した前記顔領域及び前記胴体領域のうちの一方を回転させるステップと、を実行する、情報処理方法である。
【0008】
本発明の一側面に係る画像処理プログラムは、コンピュータに、被写体として人物を撮影することで得られた撮影画像を取得するステップと、取得した前記撮影画像から、前記人物の顔が写る顔領域、及び当該顔領域よりも下側で、前記人物の両肩を含む胴体が写る胴体領域のうちのいずれか一方を回転対象領域として抽出するステップと、前記顔領域及び前記胴体領域のうちの他方を非回転領域として回転させずに、前記回転対象領域として抽出した前記顔領域及び前記胴体領域のうちの一方を回転させるステップと、を実行させるための、プログラムである。
【0009】
本発明の一側面に係る画像処理装置は、被写体として人物を撮影することで得られた撮影画像を取得する画像取得部と、取得した前記撮影画像から、前記人物の顔が写る顔領域、及び当該顔領域よりも下側で、前記人物の両肩を含む胴体が写る胴体領域を抽出する抽出部と、前記人物の顔の軸線及び胴体の軸線が合うように、前記顔領域及び前記胴体領域をそれぞれ個別に回転させる変形処理部と、を備える。
【発明の効果】
【0010】
本発明によれば、人物の顔の写る顔領域及び両肩を含む胴体の写る胴体領域の少なくとも一方を回転させることで、顔の軸線と胴体の軸線とが合うように撮影画像を修正（変形）することができるため、人物がバランスよく写る見栄えの良い画像を生成することができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、本発明に係る画像処理装置の一実施形態について、図面を参照しつつ説明する。本実施形態に係る画像処理装置は、証明写真等の撮影画像を生成し、生成した撮影画像の印刷を行うように構成された写真撮影装置である。また、本実施形態に係る画像処理装置は、その過程において、後述する撮影画像に対する編集処理を実施可能に構成される。
【0013】
＜１．全体構造＞
まず、図１及び図２を用いて、本実施形態に係る画像処理装置１００の全体構造について説明する。図１は、本実施形態に係る画像処理装置１００の側面図であり、図２は、図１の画像処理装置１００内部の前面パネルの正面図である。
まず、図１及び図２を用いて、本実施形態に係る画像処理装置１００の全体構造について説明する。図１は、本実施形態に係る画像処理装置１００の側面図であり、図２は、図１の画像処理装置１００内部の前面パネルの正面図である。
【0014】
図１に示されるとおり、本実施形態に係る画像処理装置１００は、直方体状の筐体１を備えており、この筐体１の側面には、内部の撮影空間１０に通じる出入口１１が形成されている。この出入口１１の上縁にはカーテンレール１２が取り付けられており、このカーテンレール１２には、図示を省略するカーテンが取り付けられている。これにより、ユーザが撮影を行う際には、カーテンを閉じることで、撮影空間１０を外部から見えないようにすると共に、外部から余計な光が撮影空間１０に入らないようにすることができる。また、筐体１の側面において、出入口１１の側方には、後述するプリンタによりプリントされた写真プリントの取出口１３が設けられている。
【0015】
撮影空間１０には、ユーザが座る、高さを調整可能な椅子１４が配置され、その前方には、カメラ、モニタなどが配置された前面パネル２が設けられている。一方、椅子１４の背後には、撮影時に、背景となる背面パネル３が設けられており、白色などの薄い色の単一色に着色されている。
【0016】
次に、前面パネル２について説明する。図２に示されるとおり、前面パネル２の中央には、モニタ２１が配置されており、このモニタ２１の上方にカメラ２２が配置されている。モニタ２１は、タッチパネル式の液晶モニタであり、撮影の手順を示したり、カメラ２２で撮影された静止画又は動画を表示したりするようになっている。また、ユーザは、モニタ２１をタッチすることで撮影画像及び撮影手順の選択操作を行うことができる。
【0017】
モニタ２１の右側には、ケーブル２３１を介して接続されたシャッターボタン２３が設けられている。ユーザは、このシャッターボタン２３を押下することで、シャッターを切ることができる。また、カメラ２２の上方及びモニタ２１の下方にはストロボユニット（２４、２５）がそれぞれ配置されており、被写体であるユーザに対し、上方及び下方から光を照射するようになっている。更に、モニタ２１の左側には、コイン投入口２６及びおつりの取出口２７が設けられている。
【0018】
＜２．画像処理装置のハードウェア構成＞
次に、図３を用いて、本実施形態に係る画像処理装置１００のハードウェア構成について説明する。図３は、画像処理装置１００のハードウェア構成の一例を示すブロック図である。
次に、図３を用いて、本実施形態に係る画像処理装置１００のハードウェア構成について説明する。図３は、画像処理装置１００のハードウェア構成の一例を示すブロック図である。
【0019】
図３に示されるとおり、本実施形態に係る画像処理装置１００は、制御部３１、記憶部３２、複数の外部インタフェース３３、及びドライブ３４が電気的に接続されたコンピュータを備えている。なお、図３では、外部インタフェース３３を「外部Ｉ／Ｆ」と記載している。
【0020】
制御部３１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行う。記憶部３２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部３１で実行される画像処理プログラム３２１、写真撮影から印刷までの過程で利用する各種データ３２２等を記憶する。画像処理プログラム３２１は、写真撮影及び撮影画像の編集を行うための処理を画像処理装置１００に実行させるためのプログラムである。各種データ３２２には、後述する撮影処理で利用する画面のデータ等が含まれる。詳細は後述する。
【0021】
外部インタフェース３３は、例えば、ＵＳＢ（Universal Serial Bus）ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース３３の種類は、接続する外部装置の種類に応じて適宜選択されてよい。また、外部インタフェース３３の数は、画像処理装置１００に接続する外部装置の数に応じて適宜決定されてよい。本実施形態では、画像処理装置１００は、各外部インタフェース３３を介して、タッチパネルが積層されたタッチ式モニタ２１、カメラ２２、シャッターボタン２３、各ストロボユニット（２４、２５）、コイン処理部２８、及びプリンタ２９と接続している。
【0022】
ドライブ３４は、例えば、ＣＤ（Compact Disk）ドライブ、ＤＶＤ（Digital Versatile Disk）ドライブ等であり、記憶媒体４に記憶されたプログラムを読み込むための装置である。ドライブ３４の種類は、記憶媒体４の種類に応じて適宜選択されてよい。上記画像処理プログラム３２１及び／又は各種データ３２２は、この記憶媒体４に記憶されていてもよい。
【0023】
記憶媒体４は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。ここで、図３では、記憶媒体４の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体４の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
【0024】
なお、画像処理装置１００の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部３１は、複数のプロセッサを含んでもよい。また、画像処理装置１００は、提供されるサービス専用に設計された情報処理装置の他、サーバ装置、汎用のＰＣ（Personal Computer）、タブレットＰＣ、スマートフォン、スマートフォン以外の携帯電話等であってもよい。
【0025】
次に、外部インタフェース３３に接続される各種装置について説明する。カメラ２２は、上述したように前面パネル２に配置されており、制御部３１による制御に従って撮影を行い、撮影によって得られた撮影画像を制御部３１のＲＡＭ又は記憶部３２に記憶する。この画像処理装置１００では、ユーザが座る椅子１４の位置が決まっているため、カメラ２２とユーザとの距離は概ね決まっている。そのため、カメラ２２の焦点距離は一定にされているが、必要に応じて制御部３１は、カメラ２２の焦点距離を適切なものとするように制御してもよい。
【0026】
モニタ２１には、カメラ２２で撮影された撮影画像が表示される。具体的には、シャッターボタン２３が押下されると、その信号に基づいて、制御部３１は、カメラにより被写体の静止画を撮影する。また、カメラ２２は、静止画を撮影する他に、リアルタイムに画像を取り込んで当該画像を表す画像信号を出力する。カメラ２２から出力された画像信号は、制御部３１のＲＡＭに一時的に記憶されると共にモニタ２１に送信される。これにより、モニタ２１では、カメラ２２により撮影された静止画の他、当該画像信号に基づくライブ映像を表示することができる。また、モニタ２１には、上記画像処理プログラム３２１に基づいて、撮影手順を示す画像が表示される。更に、モニタ２１は、上述したようにタッチ式であるため、モニタ２１に対するユーザからのタッチが検出されると、制御部３１は、このタッチによる入力に応じた処理を行う。
【0027】
各ストロボユニット（２４、２５）は、電灯（蛍光灯等）を内部に備えており、制御部３１に制御されて、この電灯の発光量を調節することで、ユーザの撮影処理の段階に応じて撮影空間１０内の明るさを調節する。
【0028】
コイン処理部２８は、各種センサによりコイン投入口２６に対するコインの投入を検出する。コイン処理部２８が、撮影に要する金額分のコインが投入されたことを検出した場合、そのことを表す起動信号を制御部３１に出力する。なお、コイン処理部２８は、電子マネー又はクレジットカードによる料金の支払を受け付け、当該起動信号を制御部３１に出力するように構成されてもよい。
【0029】
プリンタ２９は、筐体１に内蔵されており、制御部３１による制御に従って、撮影された撮影画像又は編集後の編集画像をプリントし、プリントした画像を上述した筐体１側面の取出口１３に排出する。
【0030】
【0031】
画像処理装置１００の制御部３１は、記憶部３２に記憶された画像処理プログラム３２１をＲＡＭに展開する。そして、制御部３１は、ＲＡＭに展開された画像処理プログラム３２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図４に示すように、本実施形態に係る画像処理装置１００は、撮影処理部５１、画像取得部５２、画像編集部５３、表示処理部５４、及び出力部５５を備えるコンピュータとして機能する。なお、画像編集部５３は、検出部５３１、抽出部５３２、及び変形処理部５３３を備えている。
【0032】
撮影処理部５１は、撮影の手順を示す画像をモニタ２１に表示すると共に、モニタ２１に対するタッチ操作を介してユーザの指示を受け付けて、その指示に応じた処理を実施する。画像取得部５２は、被写体であるユーザ（人物）をカメラ２２により撮影することで、ユーザの写る撮影画像を取得する。
【0033】
画像編集部５３は、取得された撮影画像の編集処理を実施する。この編集処理において、検出部５３１は、顔検出処理を実行することで、撮影画像内において人物の顔を検出する。抽出部５３２は、顔検出の結果に基づいて、人物の顔の写る顔領域を回転対象領域として抽出する。変形処理部５３３は、顔領域よりも下側で、人物の両肩を含む胴体の写る胴体領域を非回転領域として回転させず、回転対象領域として抽出した顔領域を回転させる画像処理を実行する。
【0034】
表示処理部５４は、撮影処理及び編集処理の過程で得られた画像をモニタ２１に表示する。出力部５５は、プリンタ２９により、最終的に得られた画像を紙媒体に印刷し、印刷した画像を取出口１３に出力する。
【0035】
画像処理装置１００の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、画像処理装置１００の各機能がいずれも汎用のＣＰＵにより実現される例について説明している。しかしながら、以上の機能の一部又は全部が、１又は複数の専用のハードウェアプロセッサにより実現されてもよい。また、画像処理装置１００の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。
【0036】
＜４．画像処理装置の動作例＞
＜４－１．撮影の処理手順＞
次に、図５～図２０を用いて、本実施形態に係る画像処理装置１００による写真撮影の処理手順について説明する。図５は、本実施形態に係る画像処理装置１００による写真撮影の処理手順を示すフローチャートである。図６～図２０は、撮影処理においてモニタ２１に表示される各画面を例示する。
＜４－１．撮影の処理手順＞
次に、図５～図２０を用いて、本実施形態に係る画像処理装置１００による写真撮影の処理手順について説明する。図５は、本実施形態に係る画像処理装置１００による写真撮影の処理手順を示すフローチャートである。図６～図２０は、撮影処理においてモニタ２１に表示される各画面を例示する。
【0037】
画像処理装置１００の制御部３１は、撮影処理部５１として機能し、図６～図２０に例示する各画面をモニタ２１に表示しつつ、図５に示す処理手順で撮影処理を進めていく。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
【0038】
（ステップＳ１）
まず、ステップＳ１では、制御部３１は、図６に例示されるように、証明写真の種類を選択させる画面をモニタ２１に表示する。図６の画面例では、履歴書用写真、運転免許証用写真、パスポート／マイナンバー用写真、及び大型／中型写真を示す４種類のボタン６１１がモニタ２１に表示される。ユーザは、モニタ２１をタッチすることで、この中のいずれかを選択する。
まず、ステップＳ１では、制御部３１は、図６に例示されるように、証明写真の種類を選択させる画面をモニタ２１に表示する。図６の画面例では、履歴書用写真、運転免許証用写真、パスポート／マイナンバー用写真、及び大型／中型写真を示す４種類のボタン６１１がモニタ２１に表示される。ユーザは、モニタ２１をタッチすることで、この中のいずれかを選択する。
【0039】
ユーザによりいずれかのボタン６１１がタッチされると、制御部３１は、図７に例示する選択の確認用の画面をモニタ２１に表示する。ここで、「はい」のボタン６１２がタッチされると、制御部３１は、選択した種類の写真の撮影処理を開始する。一方、「選び直す」のボタン６１３が選択されると、制御部３１は、モニタ２１の表示を１つ前の画面（図６）に戻し、再度の選択を受け付ける。
【0040】
図７の画面の「はい」のボタン６１２がタッチされた後、制御部３１は、図８に例示する料金表示用の画面をモニタ２１に表示する。この画面の表示に応じて、ユーザにより指定の料金がコイン投入口２６に投入されると、コイン処理部２８は、そのことを示す起動信号を制御部３１に出力する。この起動信号に応じて、制御部３１は、次にステップＳ２に処理を進める。
【0041】
なお、図７のような選択の確認用の画面は、本実施形態の撮影処理において、ユーザが何らかの選択を行う場合に概ね表示されるが、手順は同じであるため、以下では、この画面の説明を省略する。また、モニタ２１に表示される画面の下端部には、「１つ前に戻る」、「最初からやり直す」、及び「次に進む」のボタン６１４～６１６のうちのいくつかが適宜表示されることがあり、ユーザは、これらのボタン６１４～６１６を操作することで、適宜撮影処理を進めたり、戻ったりすることができる。
【0042】
（ステップＳ２）
指定の料金分のコインが適切に投入されると、制御部３１は、次のステップＳ２として、図９に例示されるように、ユーザの性別を選択する画面をモニタ２１に表示する。「男性」及び「女性」のいずれかのボタン６１７がユーザによりタッチされると、制御部３１は、次のステップＳ３に処理を進める。
指定の料金分のコインが適切に投入されると、制御部３１は、次のステップＳ２として、図９に例示されるように、ユーザの性別を選択する画面をモニタ２１に表示する。「男性」及び「女性」のいずれかのボタン６１７がユーザによりタッチされると、制御部３１は、次のステップＳ３に処理を進める。
【0043】
（ステップＳ３）
次のステップＳ３では、制御部３１は、撮影前準備に関する注意事項を記載した画面をモニタ２１に表示する。まず、制御部３１は、図１０に例示されるように、撮影前の準備画面をモニタ２１に表示する。この準備画面には、ステップＳ２で選択された男女別に撮影前に注意すべき点が表示される。
次のステップＳ３では、制御部３１は、撮影前準備に関する注意事項を記載した画面をモニタ２１に表示する。まず、制御部３１は、図１０に例示されるように、撮影前の準備画面をモニタ２１に表示する。この準備画面には、ステップＳ２で選択された男女別に撮影前に注意すべき点が表示される。
【0044】
図１０は、ステップＳ２で「男性」が選択された場合の注意事項が例示されている。図１０に例示される準備画面には、男女の共通の注意事項の他に、ネクタイに関する注意事項等の男性特有の注意事項が表示されている。この点、ステップＳ２で「女性」が選択された場合にも同様であり、ジャケット又はブラウスの襟が髪の毛で隠れていないか等の女性特有の注意事項が準備画面に表示されてよい。
【0045】
なお、このステップＳ３では、モニタ２１に注意事項を単に表示する他、図１０に示すように、各注意事項にチェックを入れるためにモニタ２１をタッチ操作させたり、注意事項が履行されていない場合に、撮影処理が先に進まないようにしたりすることもできる。例えば、カーテンを閉めていないことをセンサにより検知した場合には、制御部３１は、「次に進む」ボタン６１６がタッチされても処理を進めず、カーテンを閉めることを促す画面をモニタ２１に表示するようにしてもよい。制御部３１は、全ての注意事項が履行されるまで「次に進む」ボタン６１６を無効又は非表示にしてもよい。なお、注意事項の履行をチェックする場合には、カーテンの開閉、荷物の置き場所等を検知するセンサ（不図示）を別途設け、画像処理装置１００は、制御部３１によりこれらを制御するように適宜構成されてよい。
【0046】
図１０に示す注意事項の画面において「次に進む」ボタン６１６がタッチされると、制御部３１は、次に、図１１に示すように、椅子の高さの調整方法を示す画面をモニタ２１に表示する。これに続いて、ユーザが「次に進む」ボタン６１６をタッチすると、制御部３１は、次に、図１２に例示される撮影のポイントに関する画面をモニタ２１に表示する。図１２の画面には、撮影のポイントの一例として、姿勢、口角、及び目力の３つのポイントが表示されており、「次に進む」ボタン６１６をユーザがタッチすると、制御部３１は、各ポイントの注意点を示す画像を順に表示する。例えば、図１３の画面例では、姿勢に関するポイント及びそれを説明する説明文が表示されている。この説明は、説明用の静止画又は動画で行われてもよい。また、各ポイントに関して、男女別に応じて異なる説明を行うようにしてもよい。これらの撮影のポイントに関する画面をユーザがすべて見終わると、制御部３１は、次のステップＳ４に処理を進める。
【0047】
（ステップＳ４）
次のステップＳ４では、制御部３１は、カメラ２２を制御することで、ユーザの写真撮影を実行する。この写真撮影の前には、制御部３１は、図１４に例示される撮影開始を説明する画面をモニタ２１に表示する。図１４の画面例では、シャッターボタン２３を押すことで、カメラ２２のシャッターを切られることが説明されている。この画面において、ＯＫボタン６２７をユーザがタッチすると、制御部３１は、図１５に例示される撮影用の画面をモニタ２１に表示する。
次のステップＳ４では、制御部３１は、カメラ２２を制御することで、ユーザの写真撮影を実行する。この写真撮影の前には、制御部３１は、図１４に例示される撮影開始を説明する画面をモニタ２１に表示する。図１４の画面例では、シャッターボタン２３を押すことで、カメラ２２のシャッターを切られることが説明されている。この画面において、ＯＫボタン６２７をユーザがタッチすると、制御部３１は、図１５に例示される撮影用の画面をモニタ２１に表示する。
【0048】
図１５の画面例には、カメラ２２で撮影されたライブ画像を表示する矩形状の撮影画像領域６２１と、撮影位置の説明６２２と、カウントダウン用の数字６２９とが表示されている。撮影画像領域６２１には、目の高さの概ねの位置を示す帯状の目配置領域６２３と、撮影画像領域６２１の左右の中心を上下方向に延びる垂直ガイド線６２４と、概ね被写体の肩の位置付近を左右に延びる水平ガイド線６２５と、が表示されている。なお、目配置領域６２３は、ライブ画像が透けて見える程度の半透明で色を付けてもよい。
【0049】
制御部３１は、表示処理部５４として機能して、カメラ２２から得られる画像を撮影画像領域６２１に表示する。撮影位置の説明６２２では、椅子１４の高さを調整して、目を目配置領域６２３に配置すること、顔の中心を垂直ガイド線６２４に合わせること、等が表示される。これに対して、ユーザは、撮影画像領域６２１のライブ画像を見ながら、背筋を伸ばしたり、椅子１４の高さを再度調整したりして、自身の目が目配置領域６２３に配置されるように調整する。また、ユーザは、垂直ガイド線６２４及び水平ガイド線６２５に合わせて、体の傾きを調整する。
【0050】
そして、ユーザがシャッターボタン２３を押下すると、制御部３１は、３、２、１のカウントダウンを行い、カメラ２２のシャッターを切る。これにより、制御部３１は、画像取得部５２として機能して、被写体としてユーザ（人物）を撮影することで得られた撮影画像（写真）を取得する。制御部３１は、この写真撮影を合計３回実施し、３枚の撮影画像を取得する。３回の写真撮影が完了すると、制御部３１は、次のステップＳ５に処理を進める。
【0051】
（ステップＳ５）
次のステップＳ５では、制御部３１は、図１６に例示されるように、３回の撮影で得られた撮影画像のうち印刷対象とする撮影画像をどれにするかを選択するための写真選択画面をモニタ２１に表示して、撮影画像の選択を受け付ける。
次のステップＳ５では、制御部３１は、図１６に例示されるように、３回の撮影で得られた撮影画像のうち印刷対象とする撮影画像をどれにするかを選択するための写真選択画面をモニタ２１に表示して、撮影画像の選択を受け付ける。
【0052】
図１６の写真選択画面の例には、３回の撮影で生成された各撮影画像のサムネイルを表示するサムネイル領域６３１と、選択された撮影画像を表示する選択画像領域６３２とが含まれている。制御部３１は、表示処理部５４として機能して、各領域（６３１、６３２）に対応する画像を表示する。また、いずれかのサムネイル領域６３１がタッチされると、制御部３１は、そのサムネイル領域６３１に対応する撮影画像を選択画像領域６３２に表示する。そして、ＯＫボタン６３３がタッチされると、制御部３１は、選択されている撮影画像を以降の編集及びプリントの対象に設定し、次のステップＳ６に処理を進める。
【0053】
（ステップＳ６）
次のステップＳ６では、制御部３１は、画像編集部５３として機能し、顔検出処理を実行することで、選択された撮影画像内において人物の顔を検出し、顔検出の結果に基づいて、当該撮影画像から、人物の顔が写る顔領域を回転対象領域として抽出する。そして、制御部３１は、顔領域よりも下側で、人物の両肩を含む胴体の写る胴体領域を非回転領域として回転させず、回転対象領域として抽出した顔領域を回転させる画像処理（以下、「回転処理」とも称する）を実行する。当該顔領域の回転処理については、後述で詳細に説明する。顔領域の回転処理が完了すると、制御部３１は、次のステップＳ７に処理を進める。
次のステップＳ６では、制御部３１は、画像編集部５３として機能し、顔検出処理を実行することで、選択された撮影画像内において人物の顔を検出し、顔検出の結果に基づいて、当該撮影画像から、人物の顔が写る顔領域を回転対象領域として抽出する。そして、制御部３１は、顔領域よりも下側で、人物の両肩を含む胴体の写る胴体領域を非回転領域として回転させず、回転対象領域として抽出した顔領域を回転させる画像処理（以下、「回転処理」とも称する）を実行する。当該顔領域の回転処理については、後述で詳細に説明する。顔領域の回転処理が完了すると、制御部３１は、次のステップＳ７に処理を進める。
【0054】
（ステップＳ７）
次のステップＳ７では、制御部３１は、画像編集部５３として機能し、編集画面をモニタ２１に表示し、選択された撮影画像の編集を受け付ける。まず、制御部３１は、撮影画像のトリミングを行うために、図１７に例示されるトリミング用の画面をモニタ２１に表示する。図１７の画面例には、回転処理後の画像を表示するための撮影画像領域６４８が含まれている。撮影画像領域６４８には、顔の中心を指定するための垂直ガイドライン６４５と、頭の頂点を指定するための第１水平ガイドライン６４６と、顎の先を指定するための第２水平ガイドライン６４７と、が表示されている。垂直ガイドライン６４５は、撮影画像領域６４８の上下方向（垂直方向）に延びており、各水平ガイドライン（６４６、６４７）は、撮影画像領域６４８の左右方向（水平方向）に延びている。
次のステップＳ７では、制御部３１は、画像編集部５３として機能し、編集画面をモニタ２１に表示し、選択された撮影画像の編集を受け付ける。まず、制御部３１は、撮影画像のトリミングを行うために、図１７に例示されるトリミング用の画面をモニタ２１に表示する。図１７の画面例には、回転処理後の画像を表示するための撮影画像領域６４８が含まれている。撮影画像領域６４８には、顔の中心を指定するための垂直ガイドライン６４５と、頭の頂点を指定するための第１水平ガイドライン６４６と、顎の先を指定するための第２水平ガイドライン６４７と、が表示されている。垂直ガイドライン６４５は、撮影画像領域６４８の上下方向（垂直方向）に延びており、各水平ガイドライン（６４６、６４７）は、撮影画像領域６４８の左右方向（水平方向）に延びている。
【0055】
上記ステップＳ６では、制御部３１は、顔領域を抽出する際に、撮影画像内において顔検出処理を実行している。そこで、制御部３１は、顔検出の結果に基づいて、撮影画像領域６４８に表示する画像の範囲及び各ガイドライン６４５～６４７の配置を決定してもよい。例えば、顔検出の結果、頭の頂点の位置が検出されている場合、制御部３１は、頭の頂点が含まれるように撮影画像領域６４８に表示する画像の範囲を決定し、検出された頭の頂点の位置に合わせて、第１水平ガイドライン６４６を配置する。また、顔検出の結果、顎の先の位置が検出されている場合、制御部３１は、顎の先が含まれるように撮影画像領域６４８に表示する画像の範囲を決定し、検出された顎の先の位置に合わせて、第２水平ガイドライン６４７を配置する。更に、後述するとおり、ステップＳ６では、制御部３１は、顔の軸線を画像の垂直線に合わせるように顔領域を回転させる。そのため、制御部３１は、撮影画像領域６４８の左右方向の中央に垂直ガイドライン６４５を配置し、垂直ガイドライン６４５に顔の軸線を合わせるように撮影画像領域６４８に表示する画像の範囲を決定する。
【0056】
なお、顔検出の結果が正確ではない場合、各ガイドライン６４５～６４７の位置が所望の位置からずれる可能性がある。そこで、図１７の画面例では、垂直ガイドライン６４５の位置を調節するための操作ボタン６４１、第１水平ガイドライン６４６の位置を調節するための操作ボタン６４２、及び第２水平ガイドライン６４７の位置を調節するための操作ボタン６４３が含まれている。ユーザは、各操作ボタン６４１～６４３をタッチしながら、垂直ガイドライン６４５が顔の中心に配置し、第１水平ガイドライン６４６を頭の頂点に配置し、第２水平ガイドライン６４７を顎の先に配置する。このとき、制御部３１は、ユーザの各操作ボタン６４１～６４３の操作に応じて、撮影画像の移動、拡大、又は縮小の画像処理を行ってもよいし、各ガイドライン６４５～６４７を撮影画像領域６４８上で移動させてもよい。
【0057】
各ガイドライン６４５～６４７が顔の中心、頭の頂点、及び顎の先を指示するように配置された後、ユーザが「次に進む」ボタン６１６をタッチすると、制御部３１は、各ガイドライン６４５～６４７の位置に基づいて、回転処理後の撮影画像からトリミングする範囲を決定する。そして、制御部３１は、回転処理後の撮影画像のうち決定した範囲を以降の処理に利用する撮影画像としてトリミングし、トリミングした撮影画像をＲＡＭ又は記憶部３２に記憶する。トリミングが完了すると、制御部３１は、次の肌の明るさを調節するための編集処理に遷移する。
【0058】
肌の明るさを調節する編集処理では、制御部３１は、肌の明るさの指定を受け付けるため、図１８に例示される画面をモニタ２１に表示する。図１８の画面例では、トリミングが完了した撮影画像を表示する画像領域６５１と、肌の明るさを調節するための５つの調節ボタン６５２と、編集を完了するためのＯＫボタン６５３とが含まれている。図１８の例では、ユーザは、５つの調節ボタン６５２のいずれかを選択してタッチすることで、５段階で肌の明るさを選択することができる。ただし、肌の明るさの選択方法は、このような例に限られなくてもよく、実施の形態に応じて適宜変更されてよい。
【0059】
５つの調節ボタン６５２のいずれかがタッチされると、制御部３１は、公知の画像処理により、撮影画像から肌の部分を抽出し、抽出した肌の部分の明るさを変化させる。そして、肌の明るさを変化させた後の撮影画像を画像領域６５１に表示する。これにより、画像領域６５１に表示される撮像画像内に写るユーザ（人物）の肌の明るさが変化する。一方、ＯＫボタン６５３がタッチされると、制御部３１は、編集処理を完了し、次のステップＳ８に処理を進める。
【0060】
（ステップＳ８）
次のステップＳ８では、制御部３１では、出力部５５として機能し、編集完了後の撮影画像のプリント処理を実施する。まず、制御部３１は、図１９に例示されるように、プリントを開始した旨を示す画面をモニタ２１に表示する。プリント中、制御部３１は、アンケート、広告等をモニタ２１に表示してもよい。そして、プリントが完了すると、制御部３１は、図２０に例示されるように、筐体１の側面の取出口１３から写真を取り出すことを促す画面をモニタ２１に表示する。これに応じて、ユーザは、筐体１から外に出て、取出口１３からプリント写真を取り出す。これによって、本実施形態に係る画像処理装置１００による写真撮影が完了する。
次のステップＳ８では、制御部３１では、出力部５５として機能し、編集完了後の撮影画像のプリント処理を実施する。まず、制御部３１は、図１９に例示されるように、プリントを開始した旨を示す画面をモニタ２１に表示する。プリント中、制御部３１は、アンケート、広告等をモニタ２１に表示してもよい。そして、プリントが完了すると、制御部３１は、図２０に例示されるように、筐体１の側面の取出口１３から写真を取り出すことを促す画面をモニタ２１に表示する。これに応じて、ユーザは、筐体１から外に出て、取出口１３からプリント写真を取り出す。これによって、本実施形態に係る画像処理装置１００による写真撮影が完了する。
【0061】
＜４－２．顔領域の回転処理＞
次に、図２１を用いて、本実施形態に係る画像処理装置１００による顔領域の回転処理（上記ステップＳ６）の処理手順について説明する。図２１は、本実施形態に係る顔領域の回転処理の処理手順の一例を示すフローチャートである。以下で説明する処理手順は、本発明の「画像処理方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
次に、図２１を用いて、本実施形態に係る画像処理装置１００による顔領域の回転処理（上記ステップＳ６）の処理手順について説明する。図２１は、本実施形態に係る顔領域の回転処理の処理手順の一例を示すフローチャートである。以下で説明する処理手順は、本発明の「画像処理方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
【0062】
（ステップＳ６０１）
まず、ステップＳ６０１では、制御部３１は、検出部５３１として機能し、ステップＳ５で選択された撮影画像に対して顔検出処理を実行することで、当該撮影画像内において人物の顔を検出する。この顔検出処理により、撮影画像内において、人物の顔の輪郭、各器官等のパーツの位置が適宜検出される。なお、顔検出処理は、公知の画像処理により行われてもよい。また、顔検出処理により検出対象となる顔のパーツは、以降のステップＳ６０２の処理に応じて適宜選択されてよい。顔検出処理が完了すると、制御部３１は、次のステップＳ６０２に処理を進める。
まず、ステップＳ６０１では、制御部３１は、検出部５３１として機能し、ステップＳ５で選択された撮影画像に対して顔検出処理を実行することで、当該撮影画像内において人物の顔を検出する。この顔検出処理により、撮影画像内において、人物の顔の輪郭、各器官等のパーツの位置が適宜検出される。なお、顔検出処理は、公知の画像処理により行われてもよい。また、顔検出処理により検出対象となる顔のパーツは、以降のステップＳ６０２の処理に応じて適宜選択されてよい。顔検出処理が完了すると、制御部３１は、次のステップＳ６０２に処理を進める。
【0063】
（ステップＳ６０２）
次のステップＳ６０２では、図２２に例示されるとおり、制御部３１は、抽出部５３２として機能し、ステップＳ５で選択された撮影画像７０から、人物の顔７００が写る顔領域７０３を回転対象領域として抽出する。図２２は、ステップＳ５で選択された撮影画像７０の一例を示す。また、制御部３１は、顔領域７０３よりも下側で、人物の両肩を含む胴体の写る胴体領域７０４を非回転領域として抽出する。顔領域７０３及び胴体領域７０４を抽出すると、制御部３１は、次のステップＳ６０３に処理を進める。
次のステップＳ６０２では、図２２に例示されるとおり、制御部３１は、抽出部５３２として機能し、ステップＳ５で選択された撮影画像７０から、人物の顔７００が写る顔領域７０３を回転対象領域として抽出する。図２２は、ステップＳ５で選択された撮影画像７０の一例を示す。また、制御部３１は、顔領域７０３よりも下側で、人物の両肩を含む胴体の写る胴体領域７０４を非回転領域として抽出する。顔領域７０３及び胴体領域７０４を抽出すると、制御部３１は、次のステップＳ６０３に処理を進める。
【0064】
なお、顔領域７０３及び胴体領域７０４を抽出する方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。本実施形態では、ステップＳ６０１の処理により、撮影画像７０内において人物の顔７００の検出が行われている。そのため、制御部３１は、ステップＳ６０１の検出結果に基づいて、顔領域７０３及び胴体領域７０４を抽出する。
【0065】
具体的に、本実施形態では、制御部３１は、撮影画像７０において、顔７００の下端よりも上側の領域全体を顔領域７０３として抽出する。顔７００の下端は、適宜決定されてよい。例えば、制御部３１は、ステップＳ６０１の顔検出処理により顎先７０１の位置を検出してもよい。この場合、本ステップＳ６０２では、制御部３１は、顎先７０１の位置を顔７００の下端の位置として取得してもよい。また、例えば、制御部３１は、ステップＳ６０１の顔検出処理により顔７００の輪郭を検出してもよい。この場合、本ステップＳ６０２では、制御部３１は、検出された輪郭上の最も低い位置を顔７００の下端の位置として取得してもよい。
【0066】
また、本実施形態では、制御部３１は、撮影画像７０において、顔領域７０３の下端から所定の距離Ｌだけ下側の領域全体を胴体領域７０４として抽出する。所定の距離Ｌは、適宜決定されてよい。例えば、所定の距離Ｌは、人物の顔７００の２つのパーツ間の距離、又はその距離と所定値との積に基づいて決定されてもよい。一例として、制御部３１は、ステップＳ６０１の顔検出処理により顎先７０１及び下唇それぞれの位置を検出してもよい。この場合、制御部３１は、顎先７０１と下唇との間の距離を算出し、算出した距離を所定の距離Ｌに設定してもよい。
【0067】
（ステップＳ６０３）
次のステップＳ６０３では、制御部３１は、変形処理部５３３として機能し、顔７００の軸線７０８及び撮影画像７０の基準線に基づいて、顔７００の傾きの度合いＡを算出する。
次のステップＳ６０３では、制御部３１は、変形処理部５３３として機能し、顔７００の軸線７０８及び撮影画像７０の基準線に基づいて、顔７００の傾きの度合いＡを算出する。
【0068】
制御部３１は、撮影画像７０から顔７００の軸線７０８を適宜抽出する。顔７００の軸線７０８は、顔７００の中央を通り、上下方向に延びる軸を示す。例えば、図２２に例示されるとおり、制御部３１は、ステップＳ６０１の顔検出処理により顎先７０１及び眉間７０２それぞれの位置を検出してもよい。この場合、制御部３１は、顎先７０１と眉間７０２とを結ぶ線を顔７００の軸線７０８として抽出してもよい。なお、眉間７０２の位置は、直接検出されてもよいし、両目の位置から間接的に検出されてもよい。また、例えば、制御部３１は、ステップＳ６０１の顔検出処理により上唇及び下唇それぞれの中心の位置を検出してもよい。この場合、制御部３１は、上唇及び下唇それぞれの中心を結ぶ線を顔７００の軸線７０８として抽出してもよい。また、例えば、制御部３１は、ステップＳ６０１の顔検出処理により顎先７０１及び鼻先それぞれの位置を検出してもよい。この場合、制御部３１は、顎先７０１と鼻先とを結ぶ線を顔７００の軸線７０８として抽出してもよい。顔７００の軸線７０８を抽出する方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。
【0069】
また、制御部３１は、撮影画像７０から基準線を適宜取得する。例えば、制御部３１は、撮影画像７０の上下方向（垂直方向）に延びる垂直線７１、撮影画像７０の左右方向（水平方向）に延びる水平線、及び胴体領域７０４に写る人物の胴体の軸線のいずれかを撮影画像７０の基準線として取得してもよい。垂直線７１及び水平線は、撮影画像７０から適宜取得可能である。垂直線７１は、撮影画像７０の中心を通るように設定されてもよいし、水平線は、顔７００の下端を通るように設定されてもよい。一方、胴体の軸線は、胴体領域７０４から適宜抽出可能である。胴体の軸線は、胴体の中央を通り、上下方向に延びる軸を示す。例えば、制御部３１は、エッジ検出等の公知の画像処理により胴体領域７０４において人物の両肩を検出し、両肩を結ぶ直線の中点を通る垂直線を胴体の軸線として抽出してもよい。なお、撮影画像７０の基準線は、顔７００の傾きの度合いＡを算出可能であれば、特に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。図２２は、撮影画像７０の垂直線７１を基準線として採用した例を示す。以下、撮影画像７０の垂直線７１を基準線として採用した例について説明するが、以下の内容は、その他の種類の基準線についても同様に適用可能である。
【0070】
制御部３１は、抽出した顔７００の軸線７０８と撮影画像７０の垂直線７１とがなす角度を顔７００の傾きの度合いＡとして算出する。顔７００の傾きの度合いＡを算出すると、制御部３１は、次のステップＳ６０４に処理を進める。
【0071】
（ステップＳ６０４）
次のステップＳ６０４では、制御部３１は、変形処理部５３３として機能し、ステップＳ６０３で算出した顔７００の傾きの度合いＡが所定の値以下であるか否かを判定する。判定基準となる所定の値は、実施の形態に応じて適宜設定されてよく、例えば、５度と設定されてよい。
次のステップＳ６０４では、制御部３１は、変形処理部５３３として機能し、ステップＳ６０３で算出した顔７００の傾きの度合いＡが所定の値以下であるか否かを判定する。判定基準となる所定の値は、実施の形態に応じて適宜設定されてよく、例えば、５度と設定されてよい。
【0072】
顔７００の傾きの度合いＡが所定の値以下である場合、制御部３１は、次のステップＳ６０５及びＳ６０６に処理を進めることで、顔領域７０３を回転させる処理を実行する。一方、顔７００の傾きの度合いＡが所定の値以下ではない場合、制御部３１は、次のステップＳ６０５及びＳ６０６による回転の処理を省略し、本動作例に係る回転処理を終了する。
【0073】
（ステップＳ６０５）
次のステップＳ６０５では、制御部３１は、変形処理部５３３として機能し、各領域の回転量を規定する回転強度マップを作成する。
次のステップＳ６０５では、制御部３１は、変形処理部５３３として機能し、各領域の回転量を規定する回転強度マップを作成する。
【0074】
具体的には、図２３に例示されるとおり、制御部３１は、回転強度マップ７２として撮影画像７０と同一サイズの画像を用意する。図２３は、回転強度マップ７２の一例を示す。制御部３１は、回転強度マップ７２において、回転対象領域である顔領域７０３に対応する領域７２１内の各画素に、当該回転対象領域の回転量に応じた第１画素値（例えば、「１」）を設定する。一方、制御部３１は、回転強度マップ７２において、非回転領域である胴体領域７０４に対応する領域７２２内の各画素に、回転しないことに応じた第２画素値（例えば、「０」）を設定する。
【0075】
また、本実施形態では、制御部３１は、非回転領域（胴体領域７０４）と回転対象領域（顔領域７０３）との間の領域を回転減衰領域７０５として設定する。これに応じて、制御部３１は、回転強度マップ７２において、回転減衰領域７０５に対応する領域７２３内の各画素の画素値を、回転対象領域に対応する領域７２１側から非回転領域に対応する領域７２２側にかけて第１画素値から第２画素値に近付くように設定する。
【0076】
例えば、領域７２１の画素値を１に設定し、領域７２２の画素値を０に設定した場合、制御部３１は、領域７２３の画素値を１から０の間の値に設定する。具体的には、図２３に例示されるとおり、領域７２３の画素値は、領域７２１側から領域７２２側にかけて１から０に徐々に変化するように設定される。図２３の例では、白色の領域内の画素値が「１」であり、黒色の領域内の画素値が「０」である。そのため、領域７２３では、上側の部分から下側の部分にかけて白色から黒色に徐々に変化している。なお、領域７２１側から領域７２２側にかけて領域７２３の画素値の変化は、一定でなくてもよく、滑らかであればよい。これにより、回転強度マップ７２を作成すると、制御部３１は、次のステップＳ６０６に処理を進める。
【0077】
（ステップＳ６０６）
次のステップＳ６０６では、制御部３１は、変形処理部５３３として機能し、胴体領域７０４を非回転領域として回転させず、回転対象領域として抽出した顔領域を回転させる。本実施形態では、制御部３１は、ステップＳ６０５の処理により作成した回転強度マップ７２の各画素の画素値に基づいて、撮影画像７０において回転対象領域を回転させる。
次のステップＳ６０６では、制御部３１は、変形処理部５３３として機能し、胴体領域７０４を非回転領域として回転させず、回転対象領域として抽出した顔領域を回転させる。本実施形態では、制御部３１は、ステップＳ６０５の処理により作成した回転強度マップ７２の各画素の画素値に基づいて、撮影画像７０において回転対象領域を回転させる。
【0078】
回転強度マップ７２を利用した回転処理の一例として、図２４に例示されるとおり、制御部３１は、顎先７０１を基点にして、顔領域７０３の回転処理を行う。具体的には、顎先７０１の座標を（ｘchin、ｙchin）とし、移動先の絶対座標を（ｘ、ｙ）とすると、顎先を基点とした移動先の相対座標（ｘrel、ｙrel）は、以下の数１の式で表すことができる。そこで、制御部３１は、以下の数２の式に従って、画素の移動処理を行う。
【0079】
【数1】
【数2】
【0080】
制御部３１は、移動先の座標（画素）の画素値を移動元の座標（画素）の画素値に置き換えることで、画素の移動処理を行う。これにより、図２４に例示されるとおり、制御部３１は、顎先７０１を基点に顔領域７０３を回転させる。このとき、ステップＳ６０３で算出した顔７００の傾きの度合いＡを上記数式のθに代入することで、制御部３１は、顔７００の軸線７０８を撮影画像７０の垂直線７１に合わせるように顔領域７０３を回転させることができる。一方、胴体領域７０４に対応する領域７２２の画素値は０であるため、胴体領域７０４では、移動元の座標と移動先の座標とが一致する。よって、胴体領域７０４では、回転が生じない。
【0081】
また、回転減衰領域７０５に対応する領域７２３の画素値は、領域７２１側から領域７２２側にかけて１から０に徐々に変化するように設定されている。そのため、制御部３１は、顔領域７０３側から胴体領域７０４側にかけて回転量が低減するように回転減衰領域７０５を回転させる。
【0082】
図２５は、回転処理後に得られる画像７３の一例を示す。図２５に例示されるように、上記画素の移動処理により、顔領域７０３では顎先７０１を基点に軸線７０８を撮影画像７０の垂直線７１に合わせるような回転が生じ、胴体領域７０４は原画像（撮影画像７０）のままである画像７３を得ることができる。これにより、制御部３１は、本動作例に係る回転処理を終了する。
【0083】
なお、本実施形態では、制御部３１は、撮影画像７０を複製し、複製した画像に対して当該回転処理を適用する、すなわち、複製した画像上で上書きしながら上記画素の移動処理を行う。これによって、画像処理装置１００は、回転処理前の画像（撮影画像７０）及び回転処理後の画像（画像７３）の両方を保持し、ユーザの操作により回転処理前に上記撮影処理を戻すことができる。
【0084】
＜５．特徴＞
以上のように、本実施形態によれば、顔の傾いた状態で写真撮影が行われたとしても、上記ステップＳ６０１～Ｓ６０６の処理により、顔領域７０３を回転させ、胴体領域７０４を回転させないようにすることで、顔の軸線と胴体の軸線とが合うように撮影画像を修正することができる。したがって、人物がバランスよく写る見栄えの良い画像を生成することができる。
以上のように、本実施形態によれば、顔の傾いた状態で写真撮影が行われたとしても、上記ステップＳ６０１～Ｓ６０６の処理により、顔領域７０３を回転させ、胴体領域７０４を回転させないようにすることで、顔の軸線と胴体の軸線とが合うように撮影画像を修正することができる。したがって、人物がバランスよく写る見栄えの良い画像を生成することができる。
【0085】
また、本実施形態では、回転対象領域である顔領域７０３と非回転領域である胴体領域７０４との間に、回転対象領域側から非回転領域側にかけて回転量が低減する回転減衰領域が設けられる。これにより、回転処理により得られる画像が、顔領域７０３と胴体領域７０４との間で不自然になるのを防止することができる。
【0086】
また、回転対象領域を大きく回転させると、回転処理後に得られる画像が、回転対象領域と非回転領域との間で不自然になってしまう可能性が高くなる。これに対して、本実施形態では、ステップＳ６０４の判定結果に基づき、顔７００の傾きの度合いＡが所定の値以下ではない場合には、ステップＳ６０５及びＳ６０６による回転の処理は省略される。これにより、回転対象領域（顔領域７０３）を大きく回転させないようにすることができ、回転処理により不自然な画像が形成されてしまうのを防止することができる。
【0087】
＜６．変形例＞
以上、本発明の一実施形態について説明したが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
以上、本発明の一実施形態について説明したが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
【0088】
＜６．１＞
上記実施形態では、顔領域７０３が回転対象領域に設定され、胴体領域７０４が非回転領域に設定されている。しかしながら、回転対象領域及び非回転領域の対応関係は、このような例に限定されなくてもよく、入れ替わってもよい。抽出部５３２は、顔領域７０３及び胴体領域７０４のうちのいずれか一方を回転対象領域として撮影画像７０から抽出するように構成されてよい。また、変形処理部５３３は、顔領域７０３及び胴体領域７０４のうちの他方を非回転領域として回転させずに、回転対象領域として抽出した顔領域７０３及び胴体領域７０４のうちの一方を回転させるように構成されてよい。
上記実施形態では、顔領域７０３が回転対象領域に設定され、胴体領域７０４が非回転領域に設定されている。しかしながら、回転対象領域及び非回転領域の対応関係は、このような例に限定されなくてもよく、入れ替わってもよい。抽出部５３２は、顔領域７０３及び胴体領域７０４のうちのいずれか一方を回転対象領域として撮影画像７０から抽出するように構成されてよい。また、変形処理部５３３は、顔領域７０３及び胴体領域７０４のうちの他方を非回転領域として回転させずに、回転対象領域として抽出した顔領域７０３及び胴体領域７０４のうちの一方を回転させるように構成されてよい。
【0089】
胴体領域７０４を回転させる場合、上記ステップＳ６０２では、制御部３１は、顔領域７０３を非回転領域として抽出し、胴体領域７０４を回転対象領域として抽出する。その他の処理は、上記回転強度マップ７２の領域７２１の画素値と領域７２２の画素値とを入れ替えることで、上記実施形態と同様に実施可能である。また、胴体領域７０４の回転角度及び回転の基点は、実施の形態に応じて適宜設定されてよい。
【0090】
図２６は、本変形例に係る回転処理前の撮影画像７０の一例を示す。また、図２７は、本変形例に係る回転処理後の画像７５の一例を示す。図２６及び図２７に例示されるように、制御部３１は、胴体領域７０４において人物の胴体の軸線７４を抽出し、抽出した動体の軸線７４と顔７００の軸線７０８とのなす角度を算出し、算出した角度を胴体領域７０４の回転角度θに設定してもよい。また、制御部３１は、軸線７４の上端７４１を回転の基点に設定してもよい。これにより、制御部３１は、ステップＳ６０６の処理により、胴体の軸線７４を顔７００の軸線７０８に合わせるように胴体領域７０４を回転させることができる。
【0091】
この場合、顔７００の軸線７０８が撮影画像７０の垂直線に対して傾いていると、図２７に例示されるように、顔７００の軸線７０８の傾きと胴体の軸線７４の傾きとが一致しているものの、人物（ユーザ）が垂直線に対して傾いた画像７５が得られる。この場合、ステップＳ７の処理に移行する際に、制御部３１は、人物の傾き（顔７００の軸線７０８の傾き）が画像の垂直線となるようにトリミングの範囲７６を決定してもよい。つまり、制御部３１は、顔７００の軸線７０８の傾きと一致するようにトリミングの範囲７６の傾きを設定してもよい。これにより、画像の垂直線に沿って人物が写る画像を得ることができる。
【0092】
なお、非回転領域は、明示的に抽出されなくてもよい。すなわち、上記ステップＳ６０２では、制御部３１は、回転対象領域のみを抽出するようにしてもよい。この場合、制御部３１は、顔領域及び胴体領域のうちの一方を回転対象領域として抽出した後、回転対象領域以外の領域を非回転領域として設定することで、顔領域及び胴体領域のうちの他方が結果的に非回転領域に含まれるようにしてもよい。「顔領域及び胴体領域のうちの他方を非回転領域とする」ことは、顔領域及び胴体領域のうちの他方を明示的に抽出することの他、このように顔領域及び胴体領域のうちの他方が結果的に非回転領域となることを含む。上記実施形態のように回転減衰領域を設定する場合には、制御部３１は、回転対象領域の近傍に回転減衰領域を設定し、回転減衰領域の外側に非回転領域を設定してもよい。
【0093】
＜６．２＞
上記実施形態では、画像処理装置１００は、回転強度マップ７２を利用して、回転処理を実行している。しかしながら、回転処理を行う方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、制御部３１は、上記ステップＳ６０５の処理を省略して、上記ステップＳ６０６において、公知の画像処理によって顔領域７０３の回転処理を行ってもよい。
上記実施形態では、画像処理装置１００は、回転強度マップ７２を利用して、回転処理を実行している。しかしながら、回転処理を行う方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、制御部３１は、上記ステップＳ６０５の処理を省略して、上記ステップＳ６０６において、公知の画像処理によって顔領域７０３の回転処理を行ってもよい。
【0094】
また、上記実施形態では、制御部３１は、ステップＳ６０４により、顔７００の傾きの度合いＡが所定の値以下であるか否かを判定し、顔７００の傾きの度合いＡが所定の値以下ではない場合に、ステップＳ６０５及びＳ６０６による回転の処理を省略している。しかしながら、ステップＳ６の回転処理は、このような形態に限定されなくてもよく、本ステップＳ６０４は、省略されてもよい。
【0095】
＜６．３＞
上記実施形態では、画像処理装置１００は、顔領域７０３及び胴体領域７０４のうちの一方を回転対象領域に設定し、他方を非回転領域に設定している。しかしながら、ステップＳ６の回転処理は、このような形態に限定されなくてもよく、画像処理装置１００は、顔領域７０３及び胴体領域７０４の両方を回転させてもよい。この場合、上記ステップＳ６０２では、制御部３１は、顔領域７０３及び胴体領域７０４の両方を抽出する。そして、上記ステップＳ６０６では、制御部３１は、顔領域７０３及び胴体領域７０４をそれぞれ個別に回転させる。
上記実施形態では、画像処理装置１００は、顔領域７０３及び胴体領域７０４のうちの一方を回転対象領域に設定し、他方を非回転領域に設定している。しかしながら、ステップＳ６の回転処理は、このような形態に限定されなくてもよく、画像処理装置１００は、顔領域７０３及び胴体領域７０４の両方を回転させてもよい。この場合、上記ステップＳ６０２では、制御部３１は、顔領域７０３及び胴体領域７０４の両方を抽出する。そして、上記ステップＳ６０６では、制御部３１は、顔領域７０３及び胴体領域７０４をそれぞれ個別に回転させる。
【0096】
このとき、顔領域７０３及び胴体領域７０４それぞれの回転角度は、実施の形態に応じて適宜設定されてよい。例えば、制御部３１は、上記実施形態と同様に、顔７００の軸線７０８と撮影画像７０の垂直線７１とのなす角度を顔領域７０３の回転角度に設定してもよい。また、制御部３１は、胴体の軸線と撮影画像７０の垂直線７１とのなす角度を胴体領域７０４の回転角度に設定してもよい。これにより、制御部３１は、人物の顔の軸線と胴体の軸線とが合うように、顔領域７０３及び胴体領域７０４をそれぞれ個別に回転させることができる。
【0097】
＜６．４＞
上記実施形態及び変形例では、制御部３１は、人物の顔の軸線の傾きと胴体の軸線の傾きとが合うように、顔領域７０３及び胴体領域７０４の少なくとも一方を回転させる。このとき、回転処理後に得られる画像において、顔の軸線と胴体の軸線とが左右方向（水平方向）にずれている可能性がある。そこで、上記ステップＳ６０６の後、制御部３１は、顔の軸線と胴体の軸線とが一直線上に配置されるように、顔領域７０３及び胴体領域７０４の少なくとも一方を左右方向（水平方向）に移動（変形）させてもよい。顔領域７０３及び胴体領域７０４の少なくとも一方を左右方向に移動させる方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。当該方法には、例えば、公知の画像処理が採用されてもよい。
上記実施形態及び変形例では、制御部３１は、人物の顔の軸線の傾きと胴体の軸線の傾きとが合うように、顔領域７０３及び胴体領域７０４の少なくとも一方を回転させる。このとき、回転処理後に得られる画像において、顔の軸線と胴体の軸線とが左右方向（水平方向）にずれている可能性がある。そこで、上記ステップＳ６０６の後、制御部３１は、顔の軸線と胴体の軸線とが一直線上に配置されるように、顔領域７０３及び胴体領域７０４の少なくとも一方を左右方向（水平方向）に移動（変形）させてもよい。顔領域７０３及び胴体領域７０４の少なくとも一方を左右方向に移動させる方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。当該方法には、例えば、公知の画像処理が採用されてもよい。
【0098】
＜６．５＞
上記実施形態では、制御部３１は、ステップＳ５により印刷対象の撮影画像の選択を受け付けた後に、ステップＳ６によって選択された撮影画像の回転処理を実行している。しかしながら、ステップＳ６による回転処理を実行するタイミングは、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、ステップＳ５とステップＳ６とは入れ替わってもよい。この場合、制御部３１は、ステップＳ４で得た３枚の撮影画像それぞれに回転処理を適用してもよい。そして、制御部３１は、回転処理を適用した３枚の撮影画像それぞれをモニタ２１に表示して、３枚の撮影画像のうちで印刷対象とする撮影画像をどれにするかの選択を受け付けてもよい。
上記実施形態では、制御部３１は、ステップＳ５により印刷対象の撮影画像の選択を受け付けた後に、ステップＳ６によって選択された撮影画像の回転処理を実行している。しかしながら、ステップＳ６による回転処理を実行するタイミングは、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、ステップＳ５とステップＳ６とは入れ替わってもよい。この場合、制御部３１は、ステップＳ４で得た３枚の撮影画像それぞれに回転処理を適用してもよい。そして、制御部３１は、回転処理を適用した３枚の撮影画像それぞれをモニタ２１に表示して、３枚の撮影画像のうちで印刷対象とする撮影画像をどれにするかの選択を受け付けてもよい。
【0099】
また、上記実施形態の図２２～図２５に示す例では、ステップＳ６の回転処理により、顔領域７０３を反時計回りに回転させている。しかしながら、回転処理の回転方向は、このような例に限定されなくてもよい。上記ステップＳ６の回転処理は、対象の領域を時計回りに回転させてもよい。
【0100】
また、上記実施形態では、制御部３１は、ステップＳ６０１により撮影画像７０内に人物の顔の検出を行った後に、当該顔の検出結果を利用して、回転対象領域として顔領域７０３を撮影画像７０から抽出している。そのため、ステップＳ６０１において、人物の顔が正確に検出できない場合（例えば、顔の器官が検出できない）、及び人物の顔が複数検出される場合には、制御部３１は、ステップＳ６０２以降の処理を省略して、回転処理を実行しないようにしてもよい。
【符号の説明】
【0101】
１００…画像処理装置、
３１…制御部、３２…記憶部、３３…外部インタフェース、
３４…ドライブ、
５１…撮影処理部、５２…画像取得部、
５３…画像編集部、
５３１…検出部、５３２…抽出部、５３３…変形処理部、
５４…表示処理部、５５…出力部
３１…制御部、３２…記憶部、３３…外部インタフェース、
３４…ドライブ、
５１…撮影処理部、５２…画像取得部、
５３…画像編集部、
５３１…検出部、５３２…抽出部、５３３…変形処理部、
５４…表示処理部、５５…出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】