特許 7329303 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-08-09

(45)【発行日】2023-08-18

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 11/80 20060101AFI20230810BHJP

【ＦＩ】

G06T11/80 E

【請求項の数】 11

(21)【出願番号】P 2023060315

(22)【出願日】2023-04-03

【審査請求日】2023-04-12

(31)【優先権主張番号】P 2022067250

(32)【優先日】2022-04-14

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】717001444

【氏名又は名称】奥野 修二

(74)【代理人】

【識別番号】100167818

【弁理士】

【氏名又は名称】蓑和田 登

(72)【発明者】

【氏名】奥野 修二

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２００３－３２３２４１（ＪＰ，Ａ）

【文献】米国特許第０８０８１１９７（ＵＳ，Ｂ１）

【文献】井村克也，「Ｐｈｏｔｏｓｈｏｐ スーパーリファレンス」，初版，株式会社ソーテック社，2019年，p.132-133

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／６０ － １１／８０

Ｈ０４Ｎ １／３８ － １／３９３

(57)【特許請求の範囲】

【請求項1】

画像を伸縮変形、移動及び回転する画像処理装置であって、
前記画像全体を囲い、且つ伸縮変形、移動及び回転する際に用いる画像変形用 UI（User Interface）の傾斜角度を指定する傾斜角度指定手段と、
前記傾斜角度指定手段において指定された前記傾斜角度で傾けた画像変形用UIを生成するUI生成手段と、
少なくとも前記画像及び前記UI生成手段で生成された前記画像変形用UIを表示する表示手段と、
前記表示手段に表示された前記画像変形用UIを伸縮変形、移動及び回転することで前記画像全体を伸縮変形、移動及び回転させる操作手段と、を備えることを特徴とする画像処理装置。

【請求項2】

前記UI生成手段は、前記傾斜角度指定手段で指定された傾斜角度を有し、且つ前記画像全体を囲む最小の長方形を前記画像変形用UIとして生成する、ことを特徴とする請求項１記載の画像処理装置。

【請求項3】

前記画像処理装置は、さらに、
前記画像全体を囲み、且つ画像変形の際の初期位置となる長方形領域を決定する初期位置決定手段を備え、
前記傾斜角度指定手段は、前記傾斜角度として、前記初期位置決定手段において決定された前記長方形領域の傾斜角度を指定する、ことを特徴とする請求項１記載の画像処理装置。

【請求項4】

前記UI生成手段は、前記傾斜角度指定手段で指定された傾斜角度を有し、前記長方形領域の中心位置を中心とする条件を満たし、且つ前記画像全体を囲む最小の長方形を前記画像変形用UIとして生成する、ことを特徴とする請求項３記載の画像処理装置。

【請求項5】

前記画像処理装置は、さらに、
前記画像変形用UIの中心位置を指定するUI中心位置指定手段を備え、
前記UI生成手段は、前記傾斜角度指定手段で指定された傾斜角度を有し、前記UI中心位置指定手段において指定されたUI中心位置を中心とする条件を満たし、且つ前記画像全体を囲む最小の長方形を前記画像変形用UIとして生成する、ことを特徴とする請求項３記載の画像処理装置。

【請求項6】

前記UI生成手段は、さらに、前記傾斜角度指定手段で指定された傾斜角度を有し、且つ前記長方形領域の四隅に外接する最小の長方形を前記画像変形用UIとして生成する、ことを特徴とする請求項３記載の画像処理装置。

【請求項7】

前記傾斜角度指定手段は、前記長方形領域の四隅の何れかをドラックすること、前記表示手段として表示される回転ハンドルを回転すること、又は前記表示手段として表示されるスライダもしくは数値入力ボックスに傾斜角度を入力することで前記傾斜角度を指定する、ことを特徴とする請求項３乃至６の何れか一項に記載の画像処理装置。

【請求項8】

さらに、前記操作手段を介して、前記画像変形用UIに囲まれた前記画像全体を自由変形又はワープ変形させる、ことを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。

【請求項9】

前記画像には、ベクター画像又は画像操作のコントロールポイントを有する画像が含まれる、ことを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。

【請求項10】

画像を伸縮変形、移動及び回転する画像処理装置において機能するプログラムであって、
前記画像全体を囲い、且つ伸縮変形、移動及び回転する際に用いる画像変形用 UI（User Interface）の傾斜角度を指定する傾斜角度指定ステップと、
前記傾斜角度指定ステップにおいて指定された前記傾斜角度で傾けた画像変形用UIを生成するUI生成ステップと、
少なくとも前記画像及び前記UI生成ステップにおいて生成された前記画像変形用UIを表示する表示ステップと、
前記表示ステップにおいて表示された前記画像変形用UIを伸縮変形、移動及び回転することで前記画像全体を伸縮変形、移動及び回転させる操作ステップと、を前記画像処理装置に実行させることを特徴とするプログラム。

【請求項11】

画像を伸縮変形、移動及び回転する画像処理方法であって、
前記画像全体を囲い、且つ伸縮変形、移動及び回転する際に用いる画像変形用 UI（User Interface）の傾斜角度を指定する傾斜角度指定ステップと、
前記傾斜角度指定ステップにおいて指定された前記傾斜角度で傾けた画像変形用UIを生成するUI生成ステップと、
少なくとも前記画像及び前記UI生成ステップにおいて生成された前記画像変形用UIを表示する表示ステップと、
前記表示ステップにおいて表示された前記画像変形用UIを伸縮変形、移動及び回転することで前記画像全体を伸縮変形、移動及び回転させる操作ステップと、を含むことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタル画像データの変形処理を行う画像処理装置に関する。

【背景技術】

【0002】

従来より、パソコンなどを用いて、写真や動画などのデジタル画像のサイズを変更したり、変形したり、様々なエフェクトを加えるなどの画像編集が広く一般に行われている。例えば、元の画像の形状を変形させる画像変形においては、様々なUI（ユーザインタフェース）が用いられているが、例えば、図１３（ａ）に示すように、変形対象となる画像８０を、画像変形の初期位置となる長方形枠８１のUIで囲うことで変形範囲を指定する。その後、図１３（ｂ）に示すようにこの長方形枠８１を拡大縮小することで画像８０を拡大縮小したり、図１３（ｃ）に示すように長方形枠８１を回転させることで選択された画像８０を回転したり、図１３（ｄ）に示すように画像８０を回転させた状態からさらに長方形枠８１をその長手方向に伸縮させることで傾斜した画像８０を伸縮できる。

【0003】

そして、例えば、矩形画像を任意の四角形状に変形するに際して、遠近感の有無を任意に選択し、あるいは矩形画像を任意の変形画像に変形する場合には、遠近感を自動的に調整できる画像変形装置が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平7-44698号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、一般に広く用いられているMicrosoft（登録商標）社のWord（登録商標）やExcel（登録商標）など編集ソフトにおける画像変形において、斜めに表示された傾斜画像の変形処理において問題が生じることがある。このことを、図１４を用いて説明する。

【0006】

例えば、写真の一部を変形するような場面において、その変形対象となる画像が傾いた傾斜画像となる場合が多々ある。この場合、図１４（ａ）に示すように傾斜画像９０を囲む初期位置となる長方形枠９１を指定してから画像変形が行われるが、傾斜画像９０の傾斜角度を同じにした状態（ここでは正立した状態と呼ぶ）で上手く変形できないという問題が生じる。具体的には、傾斜画像９０の正立した状態の画像を得ようとして、図１４（ｂ）及び図１４（ｃ）に示すように、単に長方形枠９１を横方向や縦方向に引き伸ばすと、変形後の傾斜画像９０がかなり歪んでしまう。そして、この場合において、傾斜画像９０の正立した状態の画像を得ようとすると、図１４（ｄ）に示すように長方形枠９１の四隅の制御点を細かく動かして菱形のように配置しないと実現できず、変形作業が難しく且つ手間を要するという問題がある。

【0007】

本発明は、上記課題に鑑みてなされたものであり、画像変形の際において、傾斜画像などの画像を、容易に伸縮変形、移動及び回転するためのユーザインタフェースを生成して表示する画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために本発明は、画像を伸縮変形、移動及び回転する画像処理装置であって、前記画像全体を囲い、且つ伸縮変形、移動及び回転する際に用いる画像変形用 UI（User Interface）の傾斜角度を指定する傾斜角度指定手段と、前記傾斜角度指定手段において指定された前記傾斜角度で傾けた画像変形用UIを生成するUI生成手段と、少なくとも前記画像及び前記UI生成手段で生成された前記画像変形用UIを表示する表示手段と、前記表示手段に表示された前記画像変形用UIを伸縮変形、移動及び回転することで前記画像全体を伸縮変形、移動及び回転させる操作手段と、を備えることを特徴とするものである。

【0009】

この画像処理装置において前記UI生成手段は、前記傾斜角度指定手段で指定された傾斜角度を有し、且つ前記画像全体を囲む最小の長方形を前記画像変形用UIとして生成することが好ましい。

【0010】

この画像処理装置において前記画像処理装置は、さらに、前記画像全体を囲み、且つ画像変形の際の初期位置となる長方形領域を決定する初期位置決定手段を備え、前記傾斜角度指定手段は、前記傾斜角度として、前記初期位置決定手段において決定された前記長方形領域の傾斜角度を指定することが好ましい。

【0011】

この画像処理装置において前記UI生成手段は、前記傾斜角度指定手段で指定された傾斜角度を有し、前記長方形領域の中心位置を中心とする条件を満たし、且つ前記画像全体を囲む最小の長方形を前記画像変形用UIとして生成することが好ましい。

【0012】

この画像処理装置において前記画像処理装置は、さらに、前記画像変形用UIの中心位置を指定するUI中心位置指定手段を備え、前記UI生成手段は、前記傾斜角度指定手段で指定された傾斜角度を有し、前記UI中心位置指定手段において指定されたUI中心位置を中心とする条件を満たし、且つ前記画像全体を囲む最小の長方形を前記画像変形用UIとして生成することが好ましい。

【0013】

この画像処理装置において前記UI生成手段は、さらに、前記傾斜角度指定手段で指定された傾斜角度を有し、且つ前記長方形領域の四隅に外接する最小の長方形を前記画像変形用UIとして生成することが好ましい。

【0014】

この画像処理装置において前記傾斜角度指定手段は、前記長方形領域の四隅の何れかをドラックすること、前記表示手段として表示される回転ハンドルを回転すること、又は前記表示手段として表示されるスライダもしくは数値入力ボックスに傾斜角度を入力することで前記傾斜角度を指定することが好ましい。

【0015】

この画像処理装置においてさらに、前記操作手段を介して、前記画像変形用UIに囲まれた前記画像全体を自由変形又はワープ変形させることが好ましい。

【0016】

この画像処理装置において前記画像には、ベクター画像又は画像操作のコントロールポイントを有する画像が含まれることが好ましい。

【0017】

また、上記目的を達成するために本発明は、画像を伸縮変形、移動及び回転する画像処理装置において機能するプログラムであって、前記画像全体を囲い、且つ伸縮変形、移動及び回転する際に用いる画像変形用 UI（User Interface）の傾斜角度を指定する傾斜角度指定ステップと、前記傾斜角度指定ステップにおいて指定された前記傾斜角度で傾けた画像変形用UIを生成するUI生成ステップと、少なくとも前記画像及び前記UI生成ステップにおいて生成された前記画像変形用UIを表示する表示ステップと、前記表示ステップにおいて表示された前記画像変形用UIを伸縮変形、移動及び回転することで前記画像全体を伸縮変形、移動及び回転させる操作ステップと、を前記画像処理装置に実行させることを特徴とするものである。

【0018】

また、上記目的を達成するために本発明は、画像を伸縮変形、移動及び回転する画像処理方法であって、前記画像全体を囲い、且つ伸縮変形、移動及び回転する際に用いる画像変形用 UI（User Interface）の傾斜角度を指定する傾斜角度指定ステップと、前記傾斜角度指定ステップにおいて指定された前記傾斜角度で傾けた画像変形用UIを生成するUI生成ステップと、少なくとも前記画像及び前記UI生成ステップにおいて生成された前記画像変形用UIを表示する表示ステップと、前記表示ステップにおいて表示された前記画像変形用UIを伸縮変形、移動及び回転することで前記画像全体を伸縮変形、移動及び回転させる操作ステップと、を含むことを特徴とするものである。

【発明の効果】

【0019】

本発明は、画像を伸縮変形、移動及び回転する画像処理装置であって、画像全体を囲い、且つ伸縮変形、移動及び回転する際に用いる画像変形用 UI（User Interface）の傾斜角度を指定する傾斜角度指定手段と、当該傾斜角度で傾けた画像変形用UIを生成するUI生成手段と、少なくとも対象画像及び画像変形用UIを表示する表示部と、画像変形用UIを伸縮変形、移動及び回転することで対象画像全体を伸縮変形、移動及び回転させる操作部と、を備える。この構成により、本発明では、画像変形の際において、変形対象となる画像を、容易に伸縮変形、移動及び回転するためのユーザインタフェースを生成・表示できる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。

【図2】（ａ）同上画像処理装置を用いて生成・表示される画像変形用UIの第一例を示す図、（ｂ）同上画像変形用UIの第二例を示す図である。

【図3】（ａ）同上画像変形用UIの第三例を示す図、（ｂ）同上画像変形用UIの第四例を示す図である。

【図4】（ａ）及び（ｂ）同上第四例で生成された画像変形用UIを用いて実際に変形した傾斜画像の参考図である。

【図5】同上画像処理装置の動作手順を示すフローチャートである。

【図6】（ａ）同上画像処理装置に備わる傾斜角度指定部における傾斜角度を指定するための回転ハンドルの参考図、（ｂ）同上傾斜角度指定部における傾斜角度を指定するためのスライダの参考図、（ｃ）同上傾斜角度指定部における傾斜角度を指定するための数値入力ボックスの参考図である。

【図7】（ａ）及び（ｂ）本発明の実施の形態１の変形例に係る画像処理装置における画像変形例を示す参考図である。

【図8】本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。

【図9】同上画像処理装置を用いて生成・表示される画像変形用UIの第五例を示す図である。

【図10】同上画像処理装置の動作手順を示すフローチャートである。

【図11】ベクター画像を示す参考図である。

【図12】画像操作のコントロールポイントを有する画像を示す参考図である。

【図13】（ａ）乃至（ｄ）従来の画像変形処理の一例を示す参考図である。

【図14】（ａ）乃至（ｄ）従来の傾斜画像を含む画像変形処理の問題点を説明するための図である。

【発明を実施するための形態】

【0021】

（実施の形態１）
本発明の実施の形態１に係る画像処理装置について図１乃至図６を参照して説明する。本実施の形態１に係る画像処理装置は、写真や動画などのデジタル画像中で斜めに表示された傾斜画像などの画像全体を囲い、且つ伸縮変形、移動及び回転するための画像変形用UI（User Interface）生成して表示するものである。なお、画像の傾斜角度とは、例えば傾斜画像が四角形状の場合には、その底辺の水平に対する傾斜角のことである。

【0022】

最初に、画像処理装置１に備わる各処理部に関して図１を参照しながら説明する。画像処理装置１は、図１に示すように、制御部１０、画像処理部１１、記憶部１２、通信部１３、表示部１４、操作部１５及び読取部１６を備える。なお、画像処理装置１及び画像処理装置１における動作について以下では、１台のコンピュータとして説明するが、複数のコンピュータによって処理を分散するようにして構成されてもよい。

【0023】

制御部１０は、ＣＰＵなどのプロセッサやメモリを用いて、画像処理装置１の構成部を制御して各種機能を実現する。この制御部１０は、本実施の形態１においては例えば記憶部１２に記憶してある画像処理プログラム１Ｐの実行によって画像変形用UIの表示や画像変形処理を行う。すなわち、制御部１０は、入力される対象画像データ（対象データ）に対して所定のUI表示・変形処理を実行すると共に、当該UI表示・変形処理のための演算を行う。

【0024】

画像処理部１１は、ＧＰＵ又は専用回路等のプロセッサ及びメモリを用い、制御部１０からの制御指示に応じて画像処理を実行する。なお、制御部１０及び画像処理部１１は、ＣＰＵ，ＧＰＵ等のプロセッサ、メモリ、さらには記憶部１２及び通信部１３を集積した１つのハードウェア（ＳｏＣ：System on a Chip）として構成されていてもよい。

【0025】

記憶部１２は、ハードディスクやフラッシュメモリを用いる。記憶部１２には、画像処理プログラム１Ｐ、表示部１４に表示される画像データ１Ｄなどが記憶されている。この画像データ１Ｄは、例えば通信部１３を介してネットワークから取得した画像データや読取部１６から読み込んだ画像データである。

【0026】

通信部１３は、インターネット等の通信網への通信接続を実現する通信モジュールである。通信部１３には、例えばネットワークカード、無線通信デバイス又はキャリア通信用モジュールを用いる。

【0027】

表示部１４は、液晶パネル又は有機ＥＬ（Electro Luminescence）ディプレイ等を用いる。表示部１４は、制御部１０の指示による画像処理部１１での処理によって画像を表示すると共に、画像変形用UIを表示することが可能である。この表示部１４は画面を構成する各画素における一般的なRGB形式のデータに従って画像データを表示する。

【0028】

操作部１５は、キーボード又はマウス等のユーザインタフェースを含む。筐体に設けられた物理的ボタンを用いてもよいし、表示部１４に表示されるソフトウェアボタン等を用いてもよい。操作部１５は、ユーザによる操作情報を制御部１０へ通知する。

【0029】

読取部１６は、例えばディスクドライブを用い、光ディスク等を用いた記録媒体２（光ディスク、磁気ディスクや光磁気ディスクなど）に記憶してある画像処理プログラム２Ｐを読み取ることが可能である。また、読取部１６は、表示部１４への表示対象のカラー画像の動画や静止画の画像データを記録媒体２などから読み込むときに用いても良い。なお、記憶部１２に記憶してある画像処理プログラム１Ｐは、通信部１３を介してネットワークから取得したものや、記録媒体２から読取部１６が読み取った画像処理プログラム２Ｐを制御部１０が記憶部１２に複製したものであってもよい。

【0030】

次に、画像処理装置１の操作部１５に備わる機能に関して説明する。本実施の形態１において、操作部１５は、初期位置決定部（初期位置決定手段）１５ａ、傾斜角度指定部（傾斜角度指定手段）１５ｂ及びUI中心位置指定部（UI中心位置指定手段）１５ｃを備える。画像処理装置１は、斜めに表示された傾斜画像などの画像全体を囲い、且つ伸縮変形、移動及び回転するための画像変形用UIを生成・表示する。初期位置決定部１５ａは、ユーザからの指示を受け、この画像全体を囲み、且つ画像変形の際の初期位置となる長方形領域（長方形枠）を決定する。傾斜角度指定部１５ｂは、ユーザからの指示を受けて初期位置決定部１５ａにおいて決定された長方形領域の傾斜角度を指定する。UI中心位置指定部１５ｃは、ユーザからの指示を受けて画像変形用UIの中心位置を指定する。なお、ここでは初期位置として長方形領域を用いて説明するが、正方形など他の矩形領域や多角形領域を用いても良い。

【0031】

制御部１０はUI生成部１０ａを備え、このUI生成部１０ａは、傾斜角度指定部１５ｂにおいて指定された傾斜角度で傾けた画像変形用UIを生成する。表示部１４は、少なくとも対象となる画像及びこの画像全体を囲む画像変形用UIをディスプレイに表示する。操作部１５は、表示部１４に表示された画像変形用UIを伸縮変形、移動及び回転することで対象となる画像全体を伸縮変形、移動及び回転させる際に使用される。

【0032】

次に、生成・表示される画像変形用UI生成の具体例に関して図２及び図３を参照しながら説明する。なお、ここでは第一例から第四例を用いて説明し、これら第一例から第四例までの編集対象となる画像には典型例として傾斜画像を用い、特にこの傾斜画像の傾斜角度を維持した状態で伸縮変形する場合を説明する。

【0033】

図２（ａ）に示す第一例の場合、最初に、ユーザが初期位置決定部１５ａを介して少なくとも傾斜画像Ｓを囲み、且つ傾斜画像Ｓを、傾斜角度を維持した状態で伸縮変形するための初期位置となる長方形領域Ｌを指定する。なお、長方形領域Ｌは例えば傾斜画像Ｓが四角形状の場合には、その四隅に外接する長方形枠である。次に、ユーザは傾斜角度指定部１５ｂを介して傾斜角度（本図の例では約２０度）を指定する。なお、ここでは傾斜角度を、長方形領域Ｌが水平状態から半時計方向の回転する際の角度として説明する。

【0034】

そして、傾斜角度指定部１５ｂから傾斜角度の指令を受けたUI生成部１０ａは、当該傾斜角度を有して、且つ傾斜画像Ｓを囲む最小の長方形を画像変形用UI（１ａ）として生成し、表示部１４に表示する。その後、ユーザは操作部１５を介して画像変形用UI（１ａ）を伸縮することで、傾斜画像Ｓが正立した状態で伸縮変形される。なお、傾斜画像Ｓを傾斜角度を維持した状態で伸縮変形する画像変形は、例えば、傾斜画像を構成する座標点の縦横比率を固定した変換式、射影変換における座標点の変換式など所謂一般的に用いられている元の四角形から別の四角形に伸縮する技術などを適用すればよい。また、正立画像とは、一般的に上下方向が正しい向き（文字や画像が反転していない向き）で表示される画像、すなわち、上下（左右）が逆転していない画像を指すが、本実施の形態１の説明においては上下が逆転せず、且つ傾斜角度が同じ伸縮画像を含むものとする。

【0035】

図２（ｂ）に示す第二例の場合には、最初に、ユーザが初期位置決定部１５ａを介して少なくとも傾斜画像Ｓを囲み、且つ傾斜画像Ｓを傾斜角度を維持した状態で伸縮変形するための初期位置を示す長方形領域Ｌを指定する。次に、ユーザは傾斜角度指定部１５ｂを介して傾斜角度（本図の例では約２０度）を指定する。そして、傾斜角度指定部１５ｂから傾斜角度の指令を受けたUI生成部１０ａは、当該傾斜角度を有し、長方形領域の中心位置Ｃ１を中心とする条件を満たし、且つ傾斜画像Ｓを囲む最小の長方形を画像変形用UI（１ｂ）として生成して、表示部１４に表示する。この第二例においては、ユーザが傾斜角度のみ指定すると、長方形領域Ｌの中心を固定したままで、指定された傾斜角度と当該中心Ｃ１を中心とする条件を満たした最小の長方形が画像変形用UI（１ｂ）として生成・表示される。その後、ユーザは操作部１５を介して画像変形用UI（１ｂ）を伸縮変形することで、傾斜画像Ｓが正立した状態で伸縮変形される。

【0036】

図３（ａ）に示す第三例の場合には、最初に、ユーザが初期位置決定部１５ａを介して少なくとも傾斜画像Ｓを囲み、且つ傾斜画像Ｓを傾斜角度を維持した状態で伸縮変形するための初期位置を示す長方形領域Ｌを指定する。次に、ユーザは傾斜角度指定部１５ｂを介して傾斜角度（本図の例では約２０度）を指定すると共に、UI中心位置指定部１５ｃを介して画像変形用UIの中心位置Ｃ２を指定する。すると、傾斜角度指定部１５ｂから傾斜角度の指令及びUI中心位置指定部１５ｃから画像変形用UIの中心位置Ｃ２の指定を受けたUI生成部１０ａは、当該傾斜角度を有して、UI中心位置指定部１５ｃにおいて指定され中心位置Ｃ２を中心とする条件を満たし、且つ傾斜画像Ｓを囲む最小の長方形を画像変形用UI（１ｃ）として生成して、表示部１４に表示する。その後、ユーザは操作部１５を介して画像変形用UI（１ｃ）を伸縮することで、傾斜画像Ｓが正立した状態で伸縮変形される。

【0037】

図３（ｂ）に示す第四例の場合には、最初に、ユーザが初期位置決定部１５ａを介して少なくとも傾斜画像Ｓを囲み、且つ傾斜画像Ｓを傾斜角度を維持した状態で伸縮変形するための初期位置を示す長方形領域Ｌを指定する。次に、ユーザは傾斜角度指定部１５ｂを介して傾斜角度（本図の例では約２０度）を指定する。すると、傾斜角度指定部１５ｂから傾斜角度の指令を受けたUI生成部１０ａは、傾斜角度指定部１５ｂで指定された傾斜角度を有し、且つ長方形領域Ｌの四隅に外接する最小の長方形を画像変形用UI（１ｄ）として生成して、表示部１４に表示する。その後、ユーザは操作部１５を介して画像変形用UI（１ｄ）を伸縮することで、傾斜画像Ｓが正立した状態で伸縮変形される。なお、図４（ａ）は、この第四例における画像変形用UI（１ｄ）を生成・表示した状態で、画像変形用UI（１ｄ）を引き伸ばすことで図４（ｂ）に示すように傾斜画像Ｓを正立した状態で引き延ばすことができる。

【0038】

次に、本実施の形態１に係る画像処理装置１の動作手順に関して図５に示すフローチャートを参照しながら説明する。ここでは、上述の第三例の場合における動作手順に関して説明する。

【0039】

最初に、ユーザが初期位置決定部１５ａを介して少なくとも傾斜画像を囲み、且つ傾斜画像を伸縮変形、移動及び回転するための初期位置を示す長方形領域（長方形枠）を指定する（Ｓ５１）。次に、ユーザは傾斜角度指定部１５ｂを介して長方形領域の傾斜角度を指定することで生成される画像変形用UIの傾斜角度を指定する（Ｓ５２）。そして、画像変形用UIの中心位置の指定をするか否かを決定する（Ｓ５３）。ここで、画像変形用UIの中心位置を指定する場合には（Ｓ５３でＹｅｓ）、UI生成部１０ａは、指定された傾斜角度を有して、UI中心位置指定部１５ｃにおいて指定された中心位置を中心とする条件を満たし、且つ傾斜画像を囲む最小の長方形を画像変形用UIとして生成して表示部１４に表示する（Ｓ５４）。一方、画像変形用UIの中心位置を必要としない場合には（Ｓ５３でＮｏ）、UI生成部１０ａは、指定された傾斜角度を有して、且つ傾斜画像を囲む最小の長方形を画像変形用UIとして生成して、表示部１４に表示する（Ｓ５５）。

【0040】

次に、傾斜角度指定部１５ｂを介して傾斜角度の具体例な指定方法に関して図６を参照しながら説明する。傾斜角度指定部１５ｂは、表示部１４に表示される長方形領域Ｌの四隅の何れかをドラックすることで傾斜角度を指定しても良い。また、図６（ａ）に示すように、例えば表示部１４に表示される長方形領域Ｌに一体又は別体の回転ハンドル６１を用いて傾斜角度を指定しても良い。なお、ここでは長方形領域Ｌに一体化された回転ハンドル６１を示している。さらに、図６（ｂ）に示すように、表示部１４に回転角を指定するスライダ６２を表示しても良く、図６（ｃ）に示すようなコントロールウインドウ６３を表示してその中の傾斜角度の数値入力ボックス６３ａに傾斜角度を入力して決定用ボタン６３ｂを用いて決定しても良い。即ち、傾斜角度指定部１５ｂは、長方形領域につける傾斜角度を指定できる形態であれば良い。同様に、UI中心位置指定部１５ｃは、移動可能な十字ポインタをドラッグすることで画像変形用UIの中心位置を指定しても良い。

【0041】

以上の説明のように、本実施の形態１は、画像を伸縮変形、移動及び回転する画像処理装置１であって、この画像全体を囲み、且つ画像変形の際の初期位置となる長方形領域を決定する初期位置決定部１５ａと、初期位置決定部１５ａにおいて決定された長方形領域の傾斜角度を指定する傾斜角度指定部１５ｂと、傾斜角度指定１５ｂにおいて指定された傾斜角度で傾けた画像変形用UIを生成するUI生成部１０ａと、少なくとも当該画像及びUI生成部１０ａで生成された画像変形用UIを表示する表示部１４と、表示部１４に表示された画像変形用UIを伸縮変形、移動及び回転することで対象となる画像全体を伸縮変形、移動及び回転させる操作部１５と、を備える。この構成により、画像処理装置１では、画像変形の際において、初期位置となる長方形領域に囲まれた傾斜画像などの画像を、容易に伸縮変形、移動及び回転するためのユーザインタフェースを生成して表示できる。

【0042】

（変形例）
本発明の実施の形態１に係る画像処理装置１の変形例に関して図７を参照しながら説明する。図７（ａ）では、変形対象となる画像７１の初期位置となる長方形領域を確定させ、この傾斜角度で傾けた画像変形用UI（１ｄ）を生成・表示し、その後、操作部１５を用いて変形対象となる画像７１の一部を自由変形（ここでは一例として歪み変形を示す）している。同様に、図７（ｂ）では、制御点とハンドルを追加し、変形対象となる画像７２をメッシュワープ変形している。本変形例では、画像変形用UIを用いて画像を編集する際において、画像変形用UI（１ｄ）に垂直もしくは水平方向の伸縮以外の変形（例えば上記の自由変形、ワープ変形など）を実現可能とする。

【0043】

（実施の形態２）
以下、本発明に係る画像処理装置１の実施の形態２に関して図８乃至図１０を参照して説明する。なお、本実施の形態２に係る画像処理装置１の構成において、上記実施の形態１に係る画像処理装置１と同様の構成には同じ符号を付して、その詳細な説明を省略する。

【0044】

図８に示す画像処理装置１の操作部１５は、初期位置決定部１５ａが無く、画像を伸縮変形、移動及び回転する際に用いる画像変形用 UI の傾斜角度を指定する傾斜角度指定部１５及びUI中心位置指定部（UI中心位置指定手段）１５ｃを備える。

【0045】

本実施の形態２においては、図９の第五例に示すように、画像変形の際の初期位置となる長方形領域を決定するステップを省略し、傾斜角度指定部１５ｂから傾斜角度の指令を受けたUI生成部１０ａは、当該傾斜角度を有して、且つ対象画像Ｓを囲む最小の長方形を画像変形用UI（１ａ）として生成し、表示部１４に表示する。その後は、上記実施の形態１と同様に、ユーザは操作部１５を介して画像変形用UI（１ａ）を伸縮などすることで、傾斜画像Ｓが正立した状態で伸縮変形される。

【0046】

次に、本実施の形態２に係る画像処理装置１の動作手順に関して図１０に示すフローチャートを参照しながら説明する。最初に、ユーザは傾斜角度指定部１５ｂを介して傾斜角度を指定することで生成される画像変形用UIの傾斜角度を指定する（Ｓ１０１）。そして、UI生成部１０ａは、指定された傾斜角度を有して、且つ対象画像を囲む最小の長方形を画像変形用UIとして生成して、表示部１４に表示する（Ｓ１０２）。なお、傾斜角度指定部１５ｂにおいて指定される傾斜角度は、絶対角度以外に、元画像から回転させる回転角度であっても良い。

【0047】

この構成により、本実施の形態２に係る画像処理装置１では、ユーザが初期位置の長方形領域を指定するステップを省略して、最初に画像変形の際に使用する画像変形用 UIの傾斜角度を指定する。その結果、傾斜画像などの画像を、容易に伸縮変形、移動及び回転するためのユーザインタフェースが表示される。

【0048】

なお、上記実施の形態の説明における画像は、画像をピクセルという点の集まりで表現するラスター画像、図１１に示すような自由変形ツールＴなどを用いて画像の２次元情報を数値化して記録して表現するベクター画像１１０や、図１２に示す画像操作の複数のコントロールポイントＰを有する画像１２０でも良い。また、図１１に示すように長方形領域Ｌが複数の画像を選択した状態でも良い。さらに、画像変形用UIの生成は、既に設定されている画像変形用UIを更新する形で設定されても良いし、既に指定の傾斜角度で傾いている画像変形用UIを更に回転させる形で生成しても良い。

【0049】

なお、本発明は、上記実施の形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。また、本発明の目的を達成するために、本発明は、画像処理装置１に含まれる特徴的な構成手段をステップとする画像処理方法としたり、それらの特徴的なステップを含むプログラムとして実現することもできる。そして、そのプログラムは、ＲＯＭ等に格納しておくだけでなく、ＵＳＢメモリ等の記録媒体や通信ネットワークを介して流通させることもできる。

【0050】

また、上述において初期位置決定部１５ａにおいて決定される領域を長方形領域として説明したが、その他の矩形領域や多角形領域でも良い。さらに、上記の実施の形態においては傾斜角度指定部１５ｂを介してユーザが手動で長方形領域の傾斜角度を指定しているが、例えば傾斜画像の底辺の傾斜角度と平行な角度を傾斜角度として自動指定することも考え得る。さらに、上記の実施の形態の説明では画像処理装置１の各機能をプログラムによって実現する例を記載したがハードウェア的に実現しても良い。

【0051】

さらに、本発明は、画像処理装置又はコンピュータプログラムに向けて入力データを送信し、画像処理装置又はコンピュータプログラムからの出力データを受信して利用するコンピュータシステムとしても実現できる。本システムに用いる装置（画像処理装置１に相当）は、表示部及び通信部を備えた画像処理装置又はコンピュータと情報を送受信できる情報処理装置などであり、例えば所謂ＰＣ、スマートフォン、携帯端末、ゲーム機器などである。

【符号の説明】

【0052】

１ 画像処理装置
１ａ～１ｄ 画像変形用UI
１０ 制御部
１０ａ UI生成部（UI生成手段）
１１ 画像処理部
１２ 記憶部
１３ 通信部
１４ 表示部（表示手段）
１５ 操作部（操作手段）
１５ａ 初期位置決定部（初期位置決定手段）
１５ｂ 傾斜角度指定部（傾斜角度指定手段）
１５ｃ UI中心位置指定部（UI中心位置指定手段）
１６ 読取部
Ｃ２ UI中心位置
Ｌ 長方形領域
Ｓ 傾斜画像

【要約】

【課題】画像変形の際において、傾斜画像などの画像を、容易に伸縮変形、移動及び回転するためのユーザインタフェースを生成して表示する画像処理装置を提供する。
【解決手段】画像処理装置１は、画像全体を囲い、且つ伸縮変形、移動及び回転する際に用いる画像変形用 UIの傾斜角度を指定する傾斜角度指定部１５ｂと、当該傾斜角度で傾けた画像変形用UIを生成するUI生成部１０ａと、少なくとも対象画像及び画像変形用UIを表示する表示部１４と、画像変形用UIを伸縮変形することで対象画像全体を伸縮変形、移動及び回転させる操作部１５と、を備える。この構成により、画像処理装置１では、画像変形の際において、変形対象となる画像を、容易に伸縮変形、移動及び回転するためのユーザインタフェースを生成・表示できる。
【選択図】図８

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】