特許 6570164 コンピュータプログラム、画像処理方法、及び画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6570164

(24)【登録日】2019年8月16日

(45)【発行日】2019年9月4日

(54)【発明の名称】コンピュータプログラム、画像処理方法、及び画像処理装置

(51)【国際特許分類】

   G06T 5/00 20060101AFI20190826BHJP

   H04N 1/387 20060101ALI20190826BHJP

【ＦＩ】

   G06T5/00 710

   H04N1/387 101

【請求項の数】6

【全頁数】9

(21)【出願番号】特願2018-222303(P2018-222303)

(22)【出願日】2018年11月28日

【審査請求日】2018年12月26日

【早期審査対象出願】

(73)【特許権者】

【識別番号】717001514

【氏名又は名称】株式会社ツバサファクトリー

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】奥野 修二

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１４−２２２４４２（ＪＰ，Ａ）

【文献】 特開２０１６−１９７８５７（ＪＰ，Ａ）

【文献】 特表２００７−５０４９１２（ＪＰ，Ａ）

【文献】 特開平０６−２１７１１２（ＪＰ，Ａ）

【文献】 特開２０１０−００８４３９（ＪＰ，Ａ）

【文献】 特開２００１−０６１１００（ＪＰ，Ａ）

【文献】 特開平０４−３２６１８３（ＪＰ，Ａ）

【文献】 橋上 英宜、延原 肇，“局所分散を考慮したバイラテラルバックプロジェクションと逆フィルタを用いた一枚超解像手法”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，２０１１年 ２月２４日，Vol.110, No.445，pp.31-36

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，３／００，５／００

Ｈ０４Ｎ １／３８７

(57)【特許請求の範囲】

【請求項1】

コンピュータに、
処理対象のデジタル画像に対する回転、移動又は歪みを含む編集を受け付け、
前記処理対象のデジタル画像の目標解像度を特定し、
前記デジタル画像に基づいて前記目標解像度の所定倍の解像度の暫定基準画像を記憶し、
受け付けた編集を前記暫定基準画像に対して実行し、
編集実行後の前記暫定基準画像に対し、前記目標解像度からの前記所定倍の倍率よりも高い倍率のサンプリングレートでサンプリングして前記目標解像度のデジタル画像を出力する
処理を実行させるコンピュータプログラム。

【請求項2】

前記コンピュータに、
編集実行後の前記暫定基準画像に対し、前記編集に応じてオーバーサンプルのレートを前記暫定基準画像の解像度以上で決定し、
決定されたレートでオーバーサンプリングを行ない、
オーバーサンプリングにより得られた画像を、前記目標解像度のデジタル画像へ変換する
処理を実行させる、請求項１に記載のコンピュータプログラム。

【請求項3】

前記所定倍は２倍であり、前記オーバーサンプルのレートは３倍である
請求項２に記載のコンピュータプログラム。

【請求項4】

前記処理対象のデジタル画像の解像度が前記目標解像度の前記所定倍未満である場合、
前記コンピュータに、
前記デジタル画像に基づいて前記所定倍の超解像画像を作成し、
作成された超解像画像を前記暫定基準画像とする
処理を実行させる、請求項１から３のいずれか１項に記載のコンピュータプログラム。

【請求項5】

処理対象のデジタル画像に対する回転、移動又は歪みを含む編集を受け付け、
前記処理対象のデジタル画像に対する目標解像度を特定し、
前記デジタル画像に基づいて前記目標解像度の所定倍の解像度の暫定基準画像を記憶し、
受け付けた編集を前記暫定基準画像に対して実行し、
編集実行後の前記暫定基準画像に対し、前記目標解像度からの前記所定倍の倍率よりも高い倍率のサンプリングレートでサンプリングして前記目標解像度のデジタル画像を出力する
処理を含む画像処理方法。

【請求項6】

処理対象のデジタル画像に対する回転、移動又は歪みを含む編集を受け付ける操作部と、
前記処理対象のデジタル画像に対し、特定された目標解像度の所定倍の解像度の暫定基準画像を記憶する画像処理部と
を備え、
前記画像処理部は、
前記操作部によって受け付けた編集を前記暫定基準画像に対して実行し、
編集実行後の前記暫定基準画像に対し、前記目標解像度からの前記所定倍の倍率よりも高い倍率のサンプリングレートでサンプリングして前記目標解像度のデジタル画像を出力する
画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、デジタル画像に対する自由変形による劣化を回避する画像処理をコンピュータに実行させるコンピュータプログラム、画像処理方法、及び画像処理装置に関する。

【背景技術】

【0002】

デジタル画像は、画素をマトリックス状に配置し、各画素の色及び輝度等の画素値によって画像を表現している。このため、デジタル画像を９０度の倍数以外の角度で回転させた場合、補間処理が必要になるため、ボケの発生等、画質が劣化する。

【0003】

これに対し従来、細部の劣化を許容できない場合は回転を禁止させるか、又は、９０度の倍数以外での角度で回転させたデジタル画像を用いて検出処理をする場合に、異なる角度で回転させた複数のデジタル画像を用いて処理を行なう等、できるだけ任意の角度の回転を回避する方法が提案されている（特許文献１，２等）。

【0004】

また画像の場合には音と異なり、デジタル画像は、画素値が急激に変化するステップエッジ等を含む可能性があり、この場合、サンプリング定理を超えるような高い周波成分が発生し得る。デジタル画像を画素の半分だけずらす場合、処理後の各画素の画素値は、処理前の周囲画素の画素値の平均等に基づいて求められるからボケの発生等により画質が劣化する。つまりデジタル画像はデジタル音声と異なり、シフト不変ではない。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１５−１８８７３８号公報

【特許文献2】特開２０１２−０６３９４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、デジタル画像に対する任意の角度の回転、又は任意の距離の移動を含む自由な変形を無劣化で実現することが望まれる。

【0007】

本開示は斯かる事情を鑑みてなされたものであり、デジタル画像に対する自由変形による劣化を回避するコンピュータプログラム、画像処理方法、及び画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示のコンピュータプログラムは、コンピュータに、処理対象のデジタル画像に対する拡縮、回転、移動又は歪みの編集を受け付け、前記処理対象のデジタル画像の目標解像度を特定し、前記デジタル画像に基づいて前記目標解像度の所定倍の解像度の暫定基準画像を作成し、受け付けた編集を前記暫定基準画像に対して実行し、編集実行後の前記暫定基準画像に対し、前記目標解像度に応じたレートでサンプリングして前記目標解像度のデジタル画像を出力する処理を実行させる。

【0009】

本開示の画像処理方法は、処理対象のデジタル画像に対する拡縮、回転、移動又は歪みの編集を受け付け、前記処理対象のデジタル画像に対する目標解像度を特定し、前記デジタル画像に基づいて前記目標解像度の所定倍の解像度の暫定基準画像を作成し、受け付けた編集を前記暫定基準画像に対して実行し、編集実行後の前記暫定基準画像に対し、前記目標解像度に応じたレートでサンプリングして前記目標解像度のデジタル画像を出力する。

【0010】

本開示の画像処理装置は、処理対象のデジタル画像に対する拡縮、回転、移動又は歪みの編集を受け付ける操作部と、前記処理対象のデジタル画像に対し、特定された目標解像度の所定倍の解像度の暫定基準画像を作成する画像処理部とを備え、前記画像処理部は、前記操作部によって受け付けた編集を前記暫定基準画像に対して実行し、編集実行後の前記暫定基準画像に対し、前記目標解像度に応じたレートでサンプリングして前記目標解像度のデジタル画像を出力する。

【発明の効果】

【0011】

本開示のコンピュータプログラム、画像処理方法、及び画像処理装置により、９０度の倍数以外の任意の角度での回転を含む自由変形を実現する画像処理が可能になる。

【図面の簡単な説明】

【0012】

【図1】本実施の形態における画像処理装置の構成を示すブロック図である。

【図2】画像処理装置の処理手順の一例を示すフローチャートである。

【図3】本実施形態の画像処理装置による処理の概要を示す説明図である。

【図4】本実施形態の画像処理装置による処理の概要を示す説明図である。

【図5】比較例における画像の編集処理の概要を示す説明図である。

【発明を実施するための形態】

【0013】

以下、本願に係る画像処理装置、画像処理方法及びコンピュータプログラムについて、実施の形態を示す図面を参照しつつ説明する。

【0014】

図１は、本実施の形態における画像処理装置１の構成を示すブロック図である。画像処理装置１は、制御部１０、画像処理部１１、記憶部１２、通信部１３、表示部１４及び操作部１５を備える。なお画像処理装置１及び画像処理装置１における動作について以下では、１台のコンピュータとして説明するが、複数のコンピュータによって処理を分散するようにして構成されてもよい。

【0015】

制御部１０は、ＣＰＵ（Central Processing Unit ）等のプロセッサ及びメモリ等を用い、装置の構成部を制御して各種機能を実現する。画像処理部１１は、ＧＰＵ（Graphics Processing Unit）又は専用回路等のプロセッサ及びメモリを用い、制御部１０からの制御指示に応じて画像処理を実行する。なお、制御部１０及び画像処理部１１は、一体のハードウェアであってもよい。また制御部１０及び画像処理部１１は、ＣＰＵ、ＧＰＵ等のプロセッサ、メモリ、更には記憶部１２及び通信部１３を集積した１つのハードウェア（ＳｏＣ：System On a Chip）として構成されていてもよい。

【0016】

記憶部１２は、ハードディスク又はフラッシュメモリを用いる。記憶部１２には、画像処理プログラム１Ｐが記憶されている。制御部１０及び画像処理部１１は、画像処理プログラム１Ｐに基づく処理（図２のフローチャート）によって汎用コンピュータを特定の画像処理装置１として機能させる。また記憶部１２には、超解像モデル１Ｍと、超解像モデル１Ｍに含まれるニューラルネットワークの重み係数等を含むパラメータ情報等とが記憶される。画像処理部１１は、記憶部１２に記憶されている超解像モデル１Ｍに基づいて、解像度を元の解像度よりも高くしたデジタル画像を出力することができる。

【0017】

通信部１３は、インターネット等の通信網への通信接続を実現する通信モジュールである。通信部１３は、ネットワークカード、無線通信デバイス又はキャリア通信用モジュールを用いる。

【0018】

表示部１４は、液晶パネル又は有機ＥＬ（Electro Luminescence）ディプレイ等を用いる。表示部１４は、制御部１０の指示による画像処理部１１での処理によって画像を表示することが可能である。

【0019】

操作部１５は、キーボード又はマウス等のユーザインタフェースを含む。筐体に設けられた物理的ボタンを用いてもよい。及び表示部１４に表示されるソフトウェアボタン等を用いてもよい。操作部１５は、ユーザによる操作情報を制御部１０へ通知する。

【0020】

読取部１６は、例えばディスクドライブを用い、光ディスク等を用いた記録媒体２に記憶してある画像処理プログラム２Ｐ、超解像モデル２Ｍを読み取ることが可能である。記憶部１２に記憶してある画像処理プログラム１Ｐ、超解像モデル１Ｍは、記録媒体２から読取部１６が読み取った画像処理プログラム２Ｐ、超解像モデル２Ｍを制御部１０が記憶部１２に複製したものであってもよい。

【0021】

画像処理装置１の制御部１０は、記憶部１２に記憶してある画像処理プログラム１Ｐに基づき、デジタル画像の画像データに対する画像処理を行なう。特に制御部１０は、画像処理プログラム１Ｐに基づいてユーザの操作を受け付け、デジタル画像の作成、又は編集を実現する。

【0022】

図２は、画像処理装置１の処理手順の一例を示すフローチャートである。制御部１０は、画像処理プログラム１Ｐに基づき以下の処理を実行する。

【0023】

制御部１０は、処理対象のデジタル画像（オリジナル）に対し、操作部１５により、拡縮、回転、移動又は歪みを含む自由変形の操作を受け付ける（ステップＳ１）。制御部１０は、受け付けた操作に基づき、処理後の目標解像度を特定する（ステップＳ２）。

【0024】

ステップＳ２において制御部１０は初期的に、処理前のデジタル画像（オリジナル）と同一の解像度を目標解像度として特定する。制御部１０は、ステップＳ１で受け付けた操作に拡縮が含まれている場合、拡縮後のデジタル画像の解像度を目標解像度として特定する。

【0025】

制御部１０は、他の例として、文書又は画像等のデジタルデータを作成するために、デジタル画像を１つのオブジェクト画像としてこのデジタルデータに取り込む場合、この１つのオブジェクト画像を画像処理の対象のデジタル画像とする。この場合制御部１０は、ステップＳ２において、取り込まれたオブジェクト画像に対して初期的に、元のデジタル画像（オリジナル）の解像度を目標解像度として特定する。また制御部１０は、画像処理プログラム１Ｐに基づいてデジタル画像を作成する場合、作成するデジタル画像の解像度（キャンバスサイズ）の設定を受け付け、受け付けた解像度を目標解像度として特定してもよい。

【0026】

制御部１０は、ステップＳ２における他の例として、デジタル画像を回転又は変形させるアニメーション画像を作成する場合には、元のデジタル画像（オリジナル）の解像度の半分程度を目標解像度として特定してもよい。その他、処理後のデジタル画像が動画であるのか否か、元のデジタル画像の種類、写真（映像）、イラスト又は漫画であるか等の種別、元のデジタル画像の階調数等に応じて目標解像度を特定してもよい。

【0027】

制御部１０は、元のデジタル画像（オリジナル）の解像度と、ステップＳ１で決定した目標解像度とに基づき、元のデジタル画像（オリジナル）の解像度が目標解像度の第１の所定倍（例えば２倍、√２倍、１．５倍等）以上であるか否かを判断する（ステップＳ３）。第１の所定倍以上であると判断された場合（Ｓ３：ＹＥＳ）、制御部１０は、元のデジタル画像（オリジナル）の解像度が目標解像度の第２の所定倍（第１の所定倍よりも大きい）以下であるか否かを判断する（ステップＳ４）。ステップＳ４にて第２の所定倍以下であると判断された場合（Ｓ４：ＹＥＳ）、制御部１０は元のデジタル画像（オリジナル）を元の解像度のまま、暫定基準画像として一時的に内蔵メモリ又は記憶部１２に記憶する（ステップＳ５）。

【0028】

ステップＳ３にて第１の所定倍未満であると判断された場合（Ｓ３：ＮＯ）、制御部１０は、超解像モデル１Ｍに基づく画像処理部１１の処理により、元のデジタル画像（オリジナル）に対し第１の所定倍の超解像画像を作成する（ステップＳ６）。制御部１０は、作成された超解像画像を暫定基準画像として一時的に内蔵メモリ又は記憶部１２に記憶する（ステップＳ７）。

【0029】

ステップＳ３にて第２の所定倍よりも大きいと判断された場合（Ｓ４：ＮＯ）、制御部１０は、元のデジタル画像（オリジナル）に対し、画像処理部１１によりＬＰＦ（Low Pass Filter）を施すか、単純に第２の所定倍の解像度への縮小処理を施して（ステップＳ８）。制御部１０は、ステップＳ８の処理後の画像を暫定基準画像として一時的に内蔵メモリ又は記憶部１２に記憶する（ステップＳ９）。なおステップＳ８は省略し、目標解像度の第２の所定倍を超える解像度であってもそのまま暫定基準画像とし、後のステップＳ１０にてサンプルレートを調整してもよい。

【0030】

次に制御部１０は、回転又は歪みの大きさに応じて、暫定基準画像へのオーバーサンプルレートを決定する（ステップＳ１０）。サンプリングレートは、例えば暫定基準画像の解像度よりも高く、概ね√２倍までである。暫定基準画像が目標解像度の２倍である場合、サンプリングレートは３倍とすることで演算を簡素化することができる。

【0031】

制御部１０は、内蔵メモリ又は記憶部１２に記憶してある暫定基準画像に対し、画像処理部１１によってステップＳ１で受け付けた編集における回転又は歪みの処理を施す（ステップＳ１１）。制御部１０は、ステップＳ１０で決定したオーバーサンプルレートでオーバーサンプリングする（ステップＳ１２）。制御部１０は、オーバーサンプリング後の画像を目標解像度の画像へ変換して内蔵メモリ又は記憶部１２に記憶する（ステップＳ１３）。

【0032】

制御部１０は、対象のデジタル画像に対する処理が確定したか否かを判断する（ステップＳ１４）。確定していないと判断された場合（Ｓ１４：ＮＯ）、制御部１０は処理をステップＳ１へ戻し、確定したと判断された場合（Ｓ１４：ＹＥＳ）、処理後のデジタル画像を記憶部１２に出力結果として記憶し（ステップＳ１５）、処理を終了する。ステップＳ１５では制御部１０は、記憶しておいた暫定基準画像を消去する。

【0033】

図２のフローチャートに示した画像処理装置１による画像処理を、図を参照して説明する。図３及び図４は、本実施形態の画像処理装置１による処理の概要を示す説明図である。図５は、比較例における画像の編集処理の概要を示す説明図である。

【0034】

図５に示すように、９０度ではない任意の角度の回転（図では４５度）の編集処理に対し、暫定基準画像の作成もオーバーサンプリングも実行しない場合には、サンプリング方向が元のデジタル画像のサンプリング方向とずれるためにエイリアシング及びボケが発生する。同様にして０．５画素分のずらしの編集処理に対し、暫定基準画像の作成もオーバーサンプリングも実行しない場合には、シフト不変でないことからボケが発生する。

【0035】

これに対し、本実施形態の画像処理装置１による処理では、図３では回転操作、図４では０．５画素分のずらしの操作に対し、各々√２又は２倍程度の適切な解像度の暫定基準画像を作成し、暫定基準画像の解像度より高い２〜３倍程度の適切なレートでオーバーサンプリング処理を行なってから、目標解像度のデジタル画像へ変換する。これにより、オーバーサンプリング時に、回転によるサンプリング方向のずれによるエイリアシングを回避し、周辺画素の画素値を用いた演算処理によって発生するボケを軽減して劣化を抑止することが可能になる。

【0036】

なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0037】

１ 画像処理装置
１０ 制御部
１０１ 画像処理実行部
１１ 画像処理部
１２ 記憶部
１Ｐ 画像処理プログラム

【要約】

【課題】デジタル画像に対する自由変形による劣化を回避するコンピュータプログラム、画像処理方法、及び画像処理装置を提供する。
【解決手段】コンピュータプログラムは、コンピュータに、処理対象のデジタル画像に対する拡縮、回転、移動又は歪みの編集を受け付け、前記処理対象のデジタル画像の目標解像度を特定し、前記デジタル画像に基づいて前記目標解像度の所定倍の解像度の暫定基準画像を作成し、受け付けた編集の内の回転、移動、又は歪みを前記暫定基準画像に対して実行し、編集実行後の前記暫定基準画像に対し、前記目標解像度に応じたレートでサンプリングして前記目標解像度のデジタル画像を出力する処理を実行させる。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】