特開 2024-74302 画像処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024074302

(43)【公開日】2024-05-31

(54)【発明の名称】画像処理装置及びプログラム

(51)【国際特許分類】

   H04N 1/387 20060101AFI20240524BHJP

   H04N 1/393 20060101ALI20240524BHJP

   G06T 11/60 20060101ALI20240524BHJP

   H04N 23/60 20230101ALI20240524BHJP

   H04N 23/69 20230101ALI20240524BHJP

   H04N 23/61 20230101ALI20240524BHJP

【ＦＩ】

H04N1/387

H04N1/393

H04N1/387 200

G06T11/60 100D

H04N23/60 500

H04N23/69

H04N23/61

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022178347

(22)【出願日】2022-11-07

(11)【特許番号】

(45)【特許公報発行日】2024-05-23

(71)【出願人】

【識別番号】517301830

【氏名又は名称】株式会社バリューブリッジ

(74)【代理人】

【識別番号】110002103

【氏名又は名称】弁理士法人にじいろ特許事務所

(72)【発明者】

【氏名】岡本 朋樹

【テーマコード（参考）】

5B050

5C076

5C122

【Ｆターム（参考）】

5B050AA09

5B050BA12

5B050CA01

5B050DA01

5B050EA03

5B050EA12

5B050EA13

5B050EA19

5B050FA02

5C076AA02

5C076AA19

5C076AA21

5C076AA22

5C076BA03

5C076BB01

5C076CA10

5C076CB02

5C122EA42

5C122FH09

5C122FH11

5C122FH18

5C122FK41

5C122GA01

5C122GA23

5C122HA13

5C122HA35

5C122HB01

(57)【要約】      （修正有）

【課題】フォトブック等の枠に画像を嵌め込む際、枠に対する画像の位置設定処理の自動化又はその処理の省力化を実現する画像処理装置及びプログラムを提供する。
【解決手段】フォトブック作成システムにおいて、印刷端末及びユーザ端末と複数のネットワーク４を介して接続する画像処理装置１は、画像枠がレイアウトされたテンプレートに関するデータと、人物が写っている画像のデータとを記憶する記憶装置と、画像枠内に余白が生じないように画像の縦横の一方の画素数を画像枠の縦横の一方の画素数に揃えるために縦横比を維持しながら画像を拡大・縮小する処理、画像内の顔領域を検出し顔領域を囲む顔枠を画像上に設定する処理、画像枠に対する画像の縦横の他方に関する位置を初期的に設定する処理及び初期的に設定された画像上の顔枠が画像枠からはみ出ているとき画像枠に対する画像の縦横の他方に関する位置を修正する処理を実行するプロセッサと、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

少なくとも一の画像枠がレイアウトされたテンプレートに関するデータと、少なくとも一の人物が写っている画像のデータとを記憶する記憶部と、
前記画像枠内に余白が生じないように前記画像の縦横の一方の画素数を前記画像枠の縦横の一方の画素数に揃えるために、縦横比を維持しながら前記画像を拡大・縮小する拡大・縮小処理部と、
前記画像内の顔領域を検出し、前記顔領域を囲む顔枠を前記画像上に設定する顔枠設定部と、
前記画像枠に対する前記画像の縦横の他方に関する位置を初期的に設定する位置設定処理部と、
前記初期的に設定された画像上の前記顔枠が前記画像枠からはみ出ているとき、前記画像枠に対する前記画像の縦横の他方に関する位置を修正する位置修正処理部とを具備する画像処理装置。

【請求項2】

前記位置設定処理部は、前記画像枠の中心を通り、縦横の一方に平行な中心線に、前記拡大・縮小された画像の中心を通り、縦横の一方に平行な中心線を揃える請求項１記載の画像処理装置。

【請求項3】

前記位置修正処理部は、前記画像枠の中心を通り、縦横の一方に平行な中心線に、前記顔枠の中心を通り、縦横の一方に平行な中心線を揃える請求項１記載の画像処理装置。

【請求項4】

前記位置修正処理部は、前記画像枠から前記拡大・縮小された画像がはみ出した距離だけ、はみ出した方向と逆方向に前記初期的に設定された画像を前記画像枠に対してシフトする請求項１記載の画像処理装置。

【請求項5】

前記位置修正処理部は、前記顔枠の高さに対する、前記画像枠の上縁と前記顔枠の上縁との間隙の割合が所定値になるように、前記画像枠に対する前記初期的に位置設定された画像の位置を修正する請求項１記載の画像処理装置。

【請求項6】

前記画像内の人物領域を検出し、前記人物領域を囲む人物枠を前記画像上に設定する人物枠設定部をさらに備え、
前記位置修正処理部は、前記画像枠の中心線が、前記人物枠の高さの所定割合だけ前記人物枠の上縁から下がった位置に一致するように前記初期的に設定された画像の位置を修正する請求項１記載の画像処理装置。

【請求項7】

前記顔枠設定部は、前記画像に複数の人物が写っており、前記画像内に複数の顔領域を検出したとき、前記複数の顔領域を包囲するように前記顔枠を設定する請求項１記載の画像処理装置。

【請求項8】

少なくとも一の画像枠がレイアウトされたテンプレートに関するデータと、少なくとも一の人物が写っている画像のデータとを記憶する記憶部と、
前記画像枠内に余白が生じないように前記画像の縦横の一方の画素数を前記画像枠の縦横の一方の画素数に揃えるために、縦横比を維持しながら前記画像を拡大・縮小する拡大・縮小処理部と、
前記画像内の顔領域を検出し、前記顔領域を囲む顔枠を前記画像上に設定する顔枠設定部と、
前記顔枠が前記画像枠に収まるように前記画像枠に対する前記画像の縦横の他方に関する位置を設定する位置設定処理部とを具備する画像処理装置。

【請求項9】

テンプレートにレイアウトされた少なくとも一の画像枠内に余白が生じないように前記画像の縦横の一方の画素数を前記画像枠の縦横の一方の画素数に揃えるために、縦横比を維持しながら前記画像を拡大・縮小する手段と、
前記画像内の顔領域を検出し、前記顔領域を囲む顔枠を前記画像上に設定する手段と、
前記画像枠に対する前記画像の縦横の他方に関する位置を初期的に設定する手段と、
前記初期的に設定された画像上の前記顔枠が前記画像枠からはみ出ているとき、前記画像枠に対する前記画像の縦横の他方に関する位置を修正する手段とをコンピュータに実現させるためのプログラム。

【請求項10】

テンプレートにレイアウトされた少なくとも一の画像枠内に余白が生じないように前記画像の縦横の一方の画素数を前記画像枠の縦横の一方の画素数に揃えるために、縦横比を維持しながら前記画像を拡大・縮小する手段と、
前記画像内の顔領域を検出し、前記顔領域を囲む顔枠を前記画像上に設定する手段と、
前記顔枠が前記画像枠に収まるように前記画像枠に対する前記画像の縦横の他方に関する位置を設定する手段とをコンピュータに実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及びプログラムに関する。

【背景技術】

【0002】

人生において、死去、さらに結婚、退職、卒業等の人生の節目に際して、アルバムやフォトブックを作成することがある。近年では、デジタルカメラの普及に伴って、フォトブックのテンプレートに所望の画像データをコンピュータ上で貼り付け、デジタルデータとして印刷所に入稿することにより、印刷され、製本されたフォトブックを手軽に入手することができるようになっている。フォトブックの作成用の様々なエディタが提供されており、作成作業の省力化が進んでいる。

【0003】

ここで、テンプレートの画像枠の縦横比と、そこに貼り付ける画像の縦横比とは必ずしも一致しない。そこで編集者は、画像枠に合わせて画像を適宜拡大し又は縮小しながら、さらに画像枠に対して画像の位置を適当に設定する必要がある。

【0004】

この画像の拡大・縮小処理、さらに画像枠に対する画像の位置設定処理は、画像の構図やそこに写っている対象、典型的には人物像の配置や大きさなどを個別に判断する必要があり、非常に手間であった。

【発明の概要】

【発明が解決しようとする課題】

【0005】

そこでフォトブックなどのテンプレートの画像枠に対する画像の拡大・縮小処理、画像枠に対する画像の位置設定処理の自動化又はその処理の省力化の実現が望まれている。

【課題を解決するための手段】

【0006】

本実施形態に係る画像処理装置は、少なくとも一の画像枠がレイアウトされたテンプレートに関するデータと、少なくとも一の人物が写っている画像のデータとを記憶する記憶部と、前記画像枠内に余白が生じないように前記画像の縦横の一方の画素数を前記画像枠の縦横の一方の画素数に揃えるために、縦横比を維持しながら前記画像を拡大・縮小する拡大・縮小処理部と、前記画像内の顔領域を検出し、前記顔領域を囲む顔枠を前記画像上に設定する顔枠設定部と、前記画像枠に対する前記画像の縦横の他方に関する位置を初期的に設定する位置設定処理部と、前記初期的に設定された画像上の前記顔枠が前記画像枠からはみ出ているとき、前記画像枠に対する前記画像の縦横の他方に関する位置を修正する位置修正処理部とを具備する。

【図面の簡単な説明】

【0007】

【図1】本実施形態に係る画像処理装置を含むフォトブック作成システムを示す図である。

【図2】図１の画像処理装置の構成図である。

【図3】図２のプロセッサにより実行されるフォトブックの作成処理を示すフローチャートである。

【図4】図３の工程Ｓ１３の処理を示すフローチャートである。

【図5】画像、画像枠の一例を示す図である。

【図6】図４の工程Ｓ２１の補足説明図である。

【図7】図４の図４の工程Ｓ２１において、画像上に複数の顔領域、複数の人物領域が検出された場合の顔枠、人物枠の設定処理に関する補足説明図である。

【図8】図４の図４の工程Ｓ２１において、画像上に複数の被写体が写っている場合のターゲットの抽出処理及び顔領域の設定処理に関する補足説明図である。

【図9】図４の工程Ｓ２２の補足説明図である。

【図10】図４の工程Ｓ２３の補足説明図である。

【図11】図４の工程Ｓ２５の補足説明図である。

【図12】図４の工程Ｓ２５の補足説明図である。

【図13】図４の工程Ｓ２５の補足説明図である。

【図14】図４の工程Ｓ２５の補足説明図である。

【発明を実施するための形態】

【0008】

以下、本発明の具体的な実施の形態について添付の図面を参照しながら説明する。本実施形態においては、画像を貼り付ける対象として典型的にはフォトブックを例に以下説明するが、当該対象としてはフォトブックに限定されることはなく、アルバム、１枚又は二つ折り等のシートで構成されるフォトカード、年賀状などのポストカード、カレンダー、ポスター等であってもよい。なお、狭義には、フォトブックとは、主に画像をインクにより印刷した用紙を冊子に製本したものであり、一方、アルバムとは、主に画像を銀塩ラボ機により印画した印画紙を冊子に製本したものであると定義される。フォトブック及びアルバムは、広義には、画像を含む複数のページを冊子に纏めたものであると定義される。ここでは広義の定義を採用する。以下ではフォトブックを適用する。フォトブックにはアルバムが含まれる。フォトブックの各ページには、画像を貼り付けるための１又は複数の画像枠が予めレイアウトされているテンプレート（枠組み）が設定されている。

【0009】

図１に示す本実施形態に係る画像処理装置１には、インターネット回線（電子的公衆通信回線網）４を介して、フォトブックを発注する注文主により操作されるユーザ端末２、画像処理装置１からフォトブックの入稿データを受信し、印刷機に転送する印刷端末３が接続される。ユーザ端末２から画像処理装置１に、ユーザが選択した複数の画像のデータが、ユーザが選定したフォトブックを識別するコードとともに送信される。画像処理装置１では、複数の画像を、フォトブックの各ページのテンプレート上の画像枠に合わせて拡大・縮小し、拡大・縮小された画像の画像枠に対する位置を設定するとともに、画像枠からはみ出た画像の部分をトリミングし、トリミングされた画像をテンプレートの画像枠に貼り付けた各ページに関するｐｄｆ．等のイメージフォーマットで構築される入稿データを生成し、印刷端末３に送信する。

【0010】

図２に示すように、画像処理装置１は、プロセッサ１１を有する。プロセッサ１１には制御／データバス１８を介して、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、キーボード、マウスやタッチパネル等のポインティングデバイス等の入力デバイス１４と、ＬＣＤ（Liquid Crystal Display）等のディスプレイ１５と、記憶装置１６、インターネット回線４を介してユーザ端末２、印刷端末３との通信を実現する通信装置１７が接続される。

【0011】

記憶装置１６は、例えば、ハードディスク（HDD: Hard Disk Drive）、ソリッドステートドライブ（SSD: Solid State Drive）と不揮発性性記憶装置として実装され、ＢＩＯＳ（Basic Input Output System）、オペレーティングシステムプログラム（ＯＳ）の他に、画像処理プログラム等の各種アプリケーションが予め記憶され、さらに各ページに少なくとも一の画像枠がレイアウトされた複数の種類のフォトブックテンプレートに関するデータと、ユーザ端末２から受信された少なくとも一の人物が写っている複数の画像のデータを記憶する。

【0012】

ＲＡＭ１２は、プロセッサ１１の主メモリ、ワークエリア等として機能する。プロセッサ１１は、ＢＩＯＳ、ＯＳ、画像処理プログラム等を記憶装置１６からＲＡＭ１２にロードされた各種プログラムを実行する。

【0013】

画像処理プログラムは、
画像枠内に余白が生じないように画像の縦横の一方の画素数を画像枠の縦横の一方の画素数に揃えるために、縦横比を維持しながら画像を拡大・縮小する拡大・縮小処理手段（拡大・縮小処理部）１１１と、
画像内の人物の顔領域と身体領域とを検出し、顔領域を囲む顔枠、顔領域及び身体領域を囲む人物枠を画像上に設定する顔枠・人物枠設定手段（顔枠・人物枠設定部）１１２と、
画像枠に対する画像の縦横の他方に関する位置を初期的に設定する画像位置設定手段（画像位置設定部）１１３と、
画像の初期的に設定された位置が画像枠に対して適正か否か、例えば初期的に設定された画像上の顔枠が画像枠からはみ出ているか否かを判定する適正位置判定手段（適正位置判定部）１１４と、
画像の初期的に設定された位置が画像枠に対して不適正であると判定されたとき、画像枠に対する画像の縦横の他方に関する位置を修正する画像位置修正手段（画像位置修正部）１１５と、
位置が初期的に設定又は修正された画像における画像枠からはみ出た部分をトリミングするトリミング処理手段（トリミング処理部）１１６と、
トリミングされた画像をテンプレートの画像枠に貼り付けるとともに、各ページに関するｐｄｆ．等の所定のイメージフォーマットで構築される入稿データを生成する入稿データ生成手段（入稿データ生成部）１１７と、
をコンピュータ（プロセッサ１１）に実現させるためのプログラムである。

【0014】

以上のように構成された画像処理装置１の動作について以下に説明する。
図３は画像処理装置１により実行されるフォトブックデータの作成処理を示すフローチャートである。ユーザはユーザ端末２を介して、複数のフォトブックテンプレートから所望のフォトブックテンプレートを選定し、またフォトブックに掲載する複数の画像を指定する。 ステップＳ１１において、画像処理装置１のプロセッサ１１は、ユーザ端末２から、選定されたフォトブックテンプレートを特定する識別番号と、フォトブックに掲載する複数の画像のデータとを通信装置１７を介して受信する。受信された複数の画像のデータはプロセッサ１１の制御のもと記憶装置１６に書き込まれる。選定されたフォトブックテンプレートの識別番号に対応するフォトブックテンプレートデータがプロセッサ１１の制御のもと記憶装置１６からＲＡＭ１２にロードされる（ステップＳ１２）。

【0015】

ステップＳ１３において、プロセッサ１１は画像処理プログラムを実行し、フォトブックテンプレートの画像枠各々に対して、画像枠に対して個々に指定された画像の位置を初期的に設定する。

【0016】

ステップＳ１４において、画像枠とその画像枠に対して配置された画像とがディスプレイ１５に表示される。

【0017】

ステップＳ１５において、編集者は画像枠とその画像枠に対して配置された画像とを視認して、画像枠に対する画像の位置の訂正の必要性を判断し、入力デバイス１４を操作して、訂正必要又は訂正不必要の指示を入する。

【0018】

ステップＳ１７において、ステップＳ１５で訂正不必要の指示が入力されたとき（ステップＳ１５；ＮＯ）、画像枠からはみ出た画像の部分がトリミングされる。

【0019】

ステップＳ１８において、トリミングされた画像はフォトブックテンプレートの画像枠にそれぞれ嵌め込まれるとともに、ページ単位でｐｄｆ．等のイメージフォーマットに変換される。それにより入稿データ（フォトブックデータ）が生成される。

【0020】

ステップＳ１９において、生成された入稿データは、通信装置１７を介して印刷端末３に送信される。入稿データは印刷機により指定用紙に印刷され、製本機により製本される。それによりフォトブックが完成し、指定された宛先に郵送等により届けられる。

【0021】

話しを戻り、ステップＳ１５において訂正必要の指示が入力されたとき（ステップＳ１５；ＹＥＳ）、ステップＳ１６において、編集者は入力デバイス１４を操作して、画面上で画像枠に対して画像を例えばドラッグアンドドロップ処理により移動する。ステップＳ１４にリターンし、画像枠と位置訂正後の画像とがディスプレイ１５に表示される。

【0022】

図４は、図３の画像位置設定工程Ｓ１３の処理手順を示している。
ここで、図５（ａ）に例示するように、テンプレート３１には１シートあたり１又は複数の画像枠３２がレイアウトされている。当該処理で扱う画像として、一人の人物が写っている画像（図５（ｂ））、２人の人物が写っている画像（図５（ｃ））、さらに３人以上の多数の人物が写っている画像（図５（ｄ））など様々な画像が対象とされる。また画像枠として、縦横比（横画素数：縦画素数）が１：１である正方形（図５（ｅ））、縦横比がＭ：Ｎ（Ｍ＜Ｎ）である縦長矩形（図５（ｆ））、縦横比がＭ：Ｎ（Ｍ＞Ｎ）である横長矩形（図５（ｇ））が適宜組み合わされる。画像枠それぞれの横の画素数、縦の画素数も予め設定されている。

【0023】

ステップＳ２１において、図６に示すように、画像内の人物の顔領域を囲む矩形の顔枠と、人物の顔及び身体の全体領域を囲む矩形の人物枠とが特定される。この処理は典型的には、人工知能（ＡＩ）、特に脳の神経回路の構造及び仕組みを模したニューラルネットワークを多層に重ねて、学習能力を高めた機械学習、ディープラーニング（Deep Learning）が活用される。なお、図７（ａ）に示すように、画像に複数、ここでは２人の人物が写っており、２つの顔領域が検出されたとき、２つの顔領域を包囲するように単一の顔枠が設定される。また図７（ｂ）に示すように、画像に２人の人物が写っており、２つの人物領域が検出されたとき、２つの人物領域を包囲するように単一の人物枠が設定される。

【0024】

さらに画像に３人以上の多数の人物が写っていて、３以上の顔領域、３以上の人物領域が検出されたとき、主たる被写体としてターゲット（人物）を抽出する処理が実行される。図８（ａ）に示すように、画像から全ての人物枠１－７が特定される。そして図８（ｂ）に示すように、これら人物枠１－７から、人物枠の縦の長さ（縦の画素数）又は人物枠の面積（画素数）が最小の人物枠、例えば人物枠５が選択され、最小の人物枠５に対して所定％、例えば１５０％超の縦の長さ又は面積を示す人物枠としてここでは人物枠１，２がターゲットとして抽出される。

【0025】

なお、ターゲットが単独の場合、そのターゲットの顔領域を囲むように顔枠が設定され、そのターゲットの顔領域および身体領域を囲むように人物枠が設定される。ターゲットが複数の場合、それら複数のターゲットの顔領域を囲むように単一の顔枠が設定され、それら複数のターゲットの顔領域および身体領域を囲むように単一の人物枠が設定される。また、上記条件を満たす人物枠が存在しない場合は、ターゲットが存在しないものとして、全ての顔領域を包囲するように単一の顔枠が設定され、同様に全ての人物領域を包囲するように単一の人物枠が設定される。

【0026】

なお、編集者が画像をテンプレートの画像枠に割り付ける作業が必要とされる場合があり、この場合、全ての画像を受信した段階で割り付ける作業前又はそれと並行して、顔枠・人物枠を特定する処理を実行し、顔枠・人物枠の座標情報を画像に対応付けた状態にしておくことで、編集者が画像をテンプレートの画像枠に割り付ける際に、顔枠・人物枠を特定する処理を待機する必要がなく又はその待機時間を少なくとも短縮することができるので、作業の効率化を図ることができる。

【0027】

次にステップＳ２２において、図９に示すように、画像枠内に余白が生じないように、縦横比を維持しながら、画像サイズ(ｍ×ｎ)の縦横の一方の方向の画素数を、画像枠(Ｍ×Ｎ)の縦横の一方の方向の画素数に揃えるように、画像を拡大又は縮小する処理が実行される。例えば図９（ａ）に示すように、縦長の画像の縦方向の画素数を正方形の画像枠や横長の画像枠の縦方向の画素数に揃えるように画像を拡大・縮小した場合、画像枠内には横方向に余白が生じてしまうので、好適ではない（ＮＧ）とされる。従ってこの例では、図９（ｂ）に示すように、画像の横方向の画素数を画像枠の横方向の画素数に合わせるように画像を拡大・縮小することにより、画像枠内には余白が生じず、画像枠の全域に画像が満たされることになるので、好適である（ＧＯＯＤ）とされる。

【0028】

また、図９（ｃ）に示すように、横長の画像の縦方向の画素数を正方形の画像枠や横長の画像枠の縦方向の画素数に揃えるように画像を拡大・縮小した場合、画像枠内には余白が生じず、画像枠の全域に画像が満たされることになるので、好適である（ＧＯＯＤ）とされる。一方、図９（ｄ）に示すように、画像の横方向の画素数を画像枠の横方向の画素数に合わせるように画像を拡大・縮小した場合、画像枠内には縦方向に余白が生じてしまうので、好適ではない（ＮＧ）とされる。

【0029】

このように画像枠内に余白が生じないように画像を拡大又は縮小することにより、画像が画像枠よりも大きくなり、そのままでは画像枠から画像がはみ出してしまう。そのため画像枠に対して画像の位置を適正に設定し、その位置ではみ出した画像部分をトリミングする必要がある。

【0030】

ステップＳ２３において、図１０（ａ）乃至図１０（ｃ）に示すように、画像枠の中心を通り、縦横の一方の方向、つまり画像拡大縮小処理に際して画像の画素数を画像枠のそれに対して揃えた方向に平行な中心線（画像枠中心線）に、画像の中心を通り、縦横の一方に平行な中心線（画像中心線）が一致するように、画像枠に対する画像の位置が初期的に設定される。

【0031】

ステップＳ２４において、画像枠に対して初期的に設定された画像の位置が適正か否かが判定される。典型的には、図１０（ａ）、図１０（ｂ）に示すように、初期的に位置設定された画像上の顔枠が、画像枠からはみ出ているとき、画像枠に対する画像の位置が不適正であると判定される。

【0032】

ここで、不適正の他の例として、画像からターゲット（人物）が抽出されたとき、図１０（ｃ）に示すように、ターゲットの顔枠が画像枠内に収まっているとしても、ターゲットではない人物（非ターゲット人物）の顔枠が、画像枠で見切れる、つまり画像枠の枠線が非ターゲット人物の顔枠を横断又は縦断している状態も、画像枠に対する画像の位置が不適正（適正でない）であると判定される。

【0033】

ステップＳ２４において画像枠に対する画像の位置が適正であると判定されたとき（ＹＥＳ）、位置設定処理は終了する。ステップＳ２４において画像枠に対する画像の位置が不適正（適正でない）であると判定され（ＮＯ）、且つステップＳ２５による「全ての位置修正手法を適用したか否かの判定」で否定（ＮＯ）されたとき、ステップＳ２６による「画像枠に対する画像の位置の修正処理」が実行される。ステップＳ２５による「全ての位置修正手法を適用したか否かの判定」で肯定（ＹＥＳ）されたとき、顔枠が画像枠からはみ出ている等の不適正の状態で画像位置の設定処理が終了する。

【0034】

修正処理の手法としては複数、ここでは６種類の図１１、図１２、図１３、図１４に示すように位置修正処理（１）乃至（６）が予め用意されている。位置修正処理（１）乃至（５）は、ステップＳ２４において、位置設定された画像上の顔枠が、画像枠からはみ出ているとして位置不適正であると判定されたときに適用される。位置修正処理（６）はステップＳ２４において、非ターゲット人物の顔枠が画像枠で見切れているとして不適正と判断されたときに適用される。

【0035】

位置修正処理（１）乃至（５）に対して予め優先順位が設定されていて、優先順位の高い位置修正処理が適用され、その位置修正処理で位置修正された画像枠に対する画像の位置がステップＳ２４において不適正であると判定されたときに、次に高い優先順位の位置修正処理に切り替えられ適用される。

【0036】

なお、位置修正処理（１）乃至（５）の選択、切り替えは、編集者の入力デバイス１４による操作に従って行うようにしてもよい。

【0037】

位置修正処理（１）において、図１１（ａ）に示すように、画像枠の中心線に、顔枠の中心線を合わせるように画像の位置が修正される。画像枠の中心線は、画像枠の中心を通り、且つ縦横の一方の方向、つまり画像拡大縮小処理に際して画像の画素数を画像枠のそれに対して揃えた方向に平行な線である。同様に、画像の中心線は、画像の中心を通り、且つ縦横の一方の方向、つまり画像拡大縮小処理に際して画像の画素数を画像枠のそれに対して揃えた方向に平行な線である。

【0038】

位置修正処理（２）において、図１１（ｂ）に示すように、画像上の顔枠が、画像枠からはみ出ている長さＥと事前設定された調整長αとの合計長だけ、はみ出た方向と逆方向に画像がシフトされる。調整長αとしては、例えば顔枠の画素数の１０％に設定される。

【0039】

位置修正処理（３）において、図１２（ａ）に示すように、顔枠の高さ、つまり縦方向の画素数Ｆｈに対する、画像枠の上縁と顔枠の上縁との間の間隙Ｇの割合Ｒ(＝Ｆｈ／Ｇ)が所定値、例えば２０%になるように、画像の位置が修正される。

【0040】

位置修正処理（４）において、図１２（ｂ）に示すように、画像枠の中心線が、人物枠の高さＰｈの所定割合、例えば３０％だけ人物枠の上縁から下がった位置に一致するように画像の位置が修正される。

【0041】

位置修正処理（５）において、図１３に示すように、画像枠の中心線が、人物枠の中心線に一致するように画像の位置が修正される。

【0042】

このように様々な位置修正処理が用意されていることにより、人物の数や構図等が様々な画像に対して、画像枠に対して画像を適正な位置に配置させることができる可能性を向上させることができる。

【0043】

位置修正処理（６）は、ステップＳ２４において、非ターゲット人物の顔枠が画像枠で見切れているとして不適正と判断されたときに適用される。位置修正処理（６）において、図１４に示すように、非ターゲット人物の顔枠が、画像枠からはみ出ている長さＦだけ、はみ出た方向と逆方向に画像がシフトされる。

【0044】

位置修正処理（１）乃至（６）のいずれかが適用された後、ステップＳ２４にリターンし、画像枠に対する画像の位置が適正であるか否かが再び判定される。

【0045】

以上のように、本実施形態によれば、画像枠内に余白が生じないように、縦横比を維持しながら、画像サイズ(ｍ×ｎ)の縦横の一方の方向の画素数を、画像枠(Ｍ×Ｎ)の縦横の一方の方向の画素数に揃えるように画像を拡大又は縮小することにより、画像枠(Ｍ×Ｎ)より大きくなる縦横の他方の方向に関してのみ、画像枠に対する画像の位置を調整すればよく、画像枠の全域に画像を充足させながら、画像位置設定の自動化を図る又は少なくとも画像位置を適正化する可能性を高めることができる。また、画像から検出した顔枠を用いることにより、顔枠が画像枠に収まるように画像枠に対して画像の位置を適正化することができる。また位置修正手法の異なる複数の位置修正処理を順次適用することにより、画像枠に対して画像を適正な位置に配置させることができる可能性を向上させることができる。これら位置修正処理は、人物の数や構図等の違いに応じて各別な修正原理により構築されているので、自動化の可能性をさらに高めることができる
このように本実施形態によれば、フォトブックなどのテンプレートの画像枠に対する画像の拡大・縮小処理、画像枠に対する画像の位置設定処理を自動化することができ、又はその処理を少なくとも省力化することができるようになる。

【0046】

なお、上述の位置修正（１）乃至（５）のいずれかをステップＳ２３の初期的な位置の設定処理に適用してもよい。

【0047】

また、初期的な位置設定と位置修正との区別を排除し、上述のステップＳ２３の初期的な位置の設定処理と位置修正処理（１）乃至（５）とを順次切り替えながら適用するようにしてもよい。

【0048】

上記本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0049】

１…画像処理装置、２…ユーザ端末、３…印刷端末、１１…プロセッサ、１２…ＲＡＭ、１３…ＲＯＭ、１４…入力デバイス、１５…ディスプレイ、１６…記憶装置、１７…通信装置、１１１…拡大・縮小処理手段、１１２…顔枠・人物枠特定手段、１１３…画像位置設定手段、１１４…適正位置判定手段、１１５…画像位置修正手段、１１６…トリミング処理手段、１１７…入稿データ生成手段。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】