(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-171406(P2016-171406A)
(43)【公開日】2016年9月23日
(54)【発明の名称】デジタル画像における画像処理方法
(51)【国際特許分類】
H04N 9/04 20060101AFI20160826BHJP
H04N 1/46 20060101ALI20160826BHJP
G06T 1/00 20060101ALI20160826BHJP
H04N 1/60 20060101ALI20160826BHJP
H04N 9/64 20060101ALI20160826BHJP
【FI】
H04N9/04 B
H04N1/46 Z
G06T1/00 510
H04N1/40 D
H04N9/64 R
【審査請求】未請求
【請求項の数】9
【出願形態】OL
【全頁数】11
(21)【出願番号】特願2015-48901(P2015-48901)
(22)【出願日】2015年3月11日
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 〔公開年月〕 平成26年12月15日 〔掲載アドレス〕https://appsto.re/jp/K4RU4.i 〔公開アプリ名〕 Artic.
(71)【出願人】
【識別番号】715001792
【氏名又は名称】関谷 拓治
(72)【発明者】
【氏名】関谷 拓治
【テーマコード(参考)】
5B057
5C065
5C066
5C077
5C079
【Fターム(参考)】
5B057BA24
5B057CA01
5B057CA08
5B057CA12
5B057CB01
5B057CB02
5B057CB08
5B057CB12
5B057CC03
5B057CE09
5B057CE17
5C065AA01
5C065AA03
5C065BB01
5C065BB12
5C065CC01
5C065CC09
5C065FF11
5C065GG17
5C065GG18
5C065GG22
5C066AA11
5C066CA27
5C066GA01
5C066KD06
5C066KE02
5C077LL19
5C077MP08
5C077NP01
5C077PP32
5C077PP35
5C077PP37
5C077PQ08
5C079HB01
5C079HB06
5C079LA02
5C079LA23
5C079LA31
5C079LB11
5C079NA01
5C079PA05
(57)【要約】
【課題】個々の画像が持つ特徴に応じた色変換処理を、簡便な作業を用いて実現する方法を提供する。
【解決手段】デジタル画面上の任意点を指定し、指定された点が保持する色情報を取得する情報処理手段Aと、デジタル画像上の各ピクセルが保持する色情報を取得・保存する情報処理手段Bと、情報処理手段Aにより取得した色情報と、情報処理手段Bにより取得した色情報の差分を計算し、その値によって、画像処理1もしくは画像処理2のどちらの処理を行うかを判断し、画像処理1もしくは画像処理2の少なくとも1つに対し色変換処理を行うことを特徴とする。
【選択図】
図1
【特許請求の範囲】
【請求項1】
デジタル画面上の任意点の指定手段と、
指定手段により指定された点が保持する色情報を取得・保持する情報処理手段Aと、
デジタル画像上の各ピクセルが保持する色情報を取得・保持する情報処理手段Bと、
情報処理手段Aにより取得した色情報と、情報処理手段Bにより取得した色情報の差分を計算する演算処理手段と、
演算処理手段で得られた値によって、任意点を含むピクセル群に対して行う画像処理1もしくは任意点を含まないピクセル群に対して行う画像処理2のどちらの処理を行うか判断する判断処理手段と、
画像処理1もしくは画像処理2の少なくとも1つに対し色変換処理を行う画像処理手段と、
を有することを特徴とする画像処理方法。
【請求項2】
前記指定手段は、タッチパネルを用いた任意点の指定であることを特徴とする請求項1に記載の画像処理方法。
【請求項3】
前記指定手段は、カメラの焦点位置が前記任意点であることを特徴とする請求項1に記載の画像処理方法。
【請求項4】
前記判断処理手段は、演算処理手段により得られた差分が、プログラムにより予め指定された値の範囲内に含まれるか否かによって、画像処理1、画像処理2のうちどちらの処理を行うか判断することを特徴とする請求項1に記載の画像処理方法。
【請求項5】
前記請求項4の予め指定された値は、ユーザによる変更が可能であることを特徴とする請求項1に記載の画像処理方法。
【請求項6】
前記判断処理手段は、情報処理手段Bにおいて色情報と合わせて位置情報も取得・保存する情報処理手段と、
取得した色情報及び位置情報と、前記情報処理手段Aによって取得した色情報及び位置情報との分析により任意点の属する物体を判断する判断処理手段と、
判断された対象物に対応する形状上方、色範囲情報から、該当対象物と判断すべき指定点からの位置範囲又は色範囲情報を決定し、情報処理手段Bにより取得した色情報、位置情報が前記位置範囲又は色範囲情報に含まれるか否かによってどちらの処理を行うか判断する判断処理手段と、
を有することを特徴とする請求項1に記載の画像処理方法。
【請求項7】
画面が更新される度に前記情報処理手段B、演算処理手段、判断処理手段、画像処理手段を行うことを特徴とする請求項1に記載の画像処理方法。
【請求項8】
前記色変換処理は、少なくとも任意点へ施す画像処理と異なる画像処理に関して、グレースケール化処理を行うことを特徴とする請求項1に記載の画像処理方法。
【請求項9】
デジタル画像上において表示画像より小さい、任意の範囲を指定する指定手段Cと、
前記情報処理手段Bにおいて、前記色情報に加え位置情報を取得・保存する情報処理手段と、
前記取得した位置情報が前記指定手段Cにおける指定範囲に含まれない場合、請求項1に記載の画像処理2を行うことを特徴とする請求項1に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタル画像を対象とする画像処理方法に関するものである。
【背景技術】
【0002】
画像処理の一つにデジタルフィルタ処理がある。画像全体に対して、例えばグレースケール化やセピア調化等を行う処理である。このようなフィルタ処理は画像への適用が非常に容易であり、かつ画像の雰囲気を変化させることができるため多くの人に受け入れられている技術である。
【0003】
しかしながら、このような方法においてはどのような画像に対しても全体に一定の法則に基づいた処理を行うため、各画像内に表現されている物体の特徴を生かした、複雑な色変換処理を行うことは困難であった。
【0004】
一方、特許文献1のような方法において、画像内の一部の領域内の画像を、他の領域内の画像を残したまま、強調して表示する方法が提案されている。この方法を応用すれば、画像の特徴に合わせた高度な色変換処理が可能となる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2002‐52496号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1のような方法においては処理を意とする画像に対しポインティングデバイスを用いて境界線を描画する作業が必要となり、非常に作業負荷の高く、また精度よく仕上げる為には技術を要するものであった。故に、多くの一般ユーザにとっては使いづらい手法であった。
【0007】
特に小型化された画面における画像加工作業において、操作性の向上は解決すべき重要な課題である一方、これらの問題が未解決のままとなっている。
【0008】
本発明は、個々の画像が持つ特徴に応じた色変換処理を、簡便な作業を用いて実現することを目的とするものである。
【課題を解決するための手段】
【0009】
上記課題を解決するため、この方法では、デジタル画面上の任意点を指定し、指定された点が保持する色情報を取得する情報処理手段Aと、デジタル画像上の各ピクセルが保持する色情報を取得・保存する情報処理手段Bと、情報処理手段Aにより取得した色情報と、情報処理手段B により取得した色情報の差分を計算し、その値によって、画像処理1もしくは画像処理2のどちらの処理を行うか判断し、画像処理1もしくは画像処理2の少なくとも1つに対し色変換処理を行うことを特徴とする。
【0010】
本発明に係る前記記載の色情報は3つ以上の独立した色パラメータで表され、ある色と他の色との色の違いをその色パラメータによって規定される数値の差として表したものをいう。例えば、RGB表示系、HSV表示系、HLS表示系などである。また、色情報は、3つのパラメータに加え、透過率情報を含む場合もある。
【0011】
本発明に係る前記記載の任意点とは、特定の位置を意味するものであって、必ずしもデジタル画像が持つピクセル1つに限られるわけではなく、例えば特定範囲内の色情報を平均化処理した値等、ある程度幅を持っていても良い。また、この任意点は複数指定しても良い。
【0012】
本発明に係る前記記載の任意点の指定は、画像上の特定位置を指定することを目的とするものであって、その指定方法はタッチパネルを有するデバイスにおける画面のタッチや、パソコンにおけるマウスクリック等、必ずしもユーザが自らのアクションによるものに限られるわけではなく、例えばカメラの焦点や、画面の端等、予め決められた法則に基づき自動的に決められても良い。
【0013】
本発明に係る色変換処理は、色情報のうち少なくとも1つのパラメータに対し予め決められた式に応じた値の変換を行うことを意味するものであって、このような処理は例えばグレースケール化やセピア調化、トーンカーブ処理やガンマ補正処理、透過処理、ぼかし処理、色反転処理等が挙げられる。
【0014】
本発明に係る請求項4に記載の予め指定された値は、請求項1に記載の判断処理手段前に指定されていることを意味するものであって、必ずしも常に同じ値である必要はなく、例えば処理前にユーザがバーを用いてこれらの値を調整する作業等により、遅くとも判断処理手段前にこれらの値が決まっていればよい。
【発明の効果】
【0015】
請求項1に記載されている方法によれば、ユーザは各画像が持つ色情報に応じた画像処理を、任意点の指定という非常に簡便な作業のみで実行することが可能となり、各画像の特徴を生かした画像加工処理に要する作業負荷を軽減することができる。
【0016】
また、請求項2に記載されている方法によれば、タッチパネルを介して処理又は強調を意とする対象物上の1点を指定するのみの作業で任意点の指定が可能となり、この任意点を基準とした色変換処理が行われるため、各画像の特徴を生かした画像加工処理に要する作業負荷を軽減することができる。
【0017】
また、請求項3に記載されている方法によれば、任意点はカメラ機能を使用した際に自動的に決まるため、ユーザからの任意点の指定作業が必要なく、従来のカメラ撮影方法と同様の使用動作において上記記載の色変換処理が可能となり、また、画像処理後の画像を確認しながら撮影することが可能となり、よりユーザの期待する処理が施された画像が撮影できると同時に、画像加工処理に要する作業負荷を軽減することができる。
【0018】
また、請求項5に記載されている方法によれば、ユーザが所期した処理と異なる処理が行われた場合、これらの値を変更することによって加工処理結果を変化させることができ、これによりユーザが所期した処理を実行することが出来る。
【0019】
また、請求項6に記載されている方法によれば、画像認証結果と、任意点の位置、色情報からその任意点が属する物体が何であるかをプログラム的に判断し、該当物体が本来持つ色範囲・位置に応じて処理対象範囲を決定し、色変換処理を行うことにより、より正確な色変換処理が可能となる。例えば、画像認証結果から、処理を意図する画像が人物の顔を含む画像であると判断でき、その顔と判断された領域に対して指定位置の相対的距離及び色情報に応じて、任意点が属する物体が唇であると判断された場合、唇が持つ形状、色に応じた条件を満たす処理対象群を唇とし、それ以外とを区別した処理を行うことによりユーザが意とする物体範囲に対する色変換処理をより正確に実行することが可能となる。
【0020】
また、請求項7に記載されている方法によれば、上述の効果をカメラ機能使用時又は動画へ適用することができる。
【0021】
また、請求項8に記載されている方法によれば、ユーザは強調を意とする対象物上の任意点の押下によって、対象物以外の領域がグレースケール化され、これにより、相対的に対象物を強調した画像加工が可能となる。
【0022】
また、請求項9に記載されている方法によれば、対象物が持つ色情報と同様の色情報を持つ異なる物体が存在した場合、範囲指定によってこれを取り除くことができ、ユーザが所期する対象物への処置が可能となる。
【図面の簡単な説明】
【0023】
【
図1】画像処理に関する一連のプロセスをフローチャートにした図である。
【
図2】画像認証技術を組み合わせた際の、画像処理に関する一連のプロセスをフローチャートにした図である。
【
図3】画像処理に関する一連の処理プロセスを、ユーザによる入力を必要としない形態でカメラ機能へ適用させた時のフローチャート図である。
【
図4】画像処理に関する一連の処理プロセスを、ユーザによる入力を必要としない形態で動画撮影機能へ適用させた時のフローチャート図である。
【
図5】画像処理に関する一連の処理プロセスを、ユーザによる入力を必要とする形態でカメラ機能へ適用させた時のフローチャート図である。
【
図6】画像処理に関する一連の処理プロセスを、ユーザによる入力を必要とする形態で動画へ適用させた時のフローチャート図である。
【
図7】画像認証技術を組み合わせた際の、画像処理に関する一連のプロセスをカメラ機能へ適用させた時のフローチャート図である。
【
図8】画像認証技術を組み合わせた際の、画像処理に関する一連のプロセスを動画へ適用させた時のフローチャート図である。
【発明を実施するための形態】
【0024】
本発明の実施の形態を、実施例に基づき以下の順序で説明する。
A.第一実施例:
B.第二実施例:
C.第三実施例:
D.第四実施例:
E.第五実施例:
F.第六実施例:
G.第七実施例:
H.第八実施例:
I.第九実施例:
【0025】
図1は、第一実施例の処理を表す概略フローチャートである。なお、この第一実施例はタッチパネルと演算機能を有する機器、例えばスマートフォン、タブレット機器、携帯電話、PC等によって実現できる。
【0026】
デジタル画像を表示した状態において、ユーザは画像上の任意位置を、タッチパネルを介した押下により指定する(A2)。
なお、ここではタッチパネルを有する機器におけるタッチ動作によって任意点の指定を行うが、必ずしもこれに限られるわけではなく、タッチパネルを有さない機器においては、例えばマウスを使用したクリック動作等で代替してもよい。
【0027】
任意点の指定後、任意点が持つ色相、彩度、輝度を取得する(A3)。なお、ここでは色情報として色相、彩度、輝度の3つのパラメータを指定しているが、必ずしもこれに限られるわけではなく、RGBA座標系やHSV表示系等を使用しても類似の効果を得ることが可能である。また、ここでの色相、彩度、輝度は必ずしもピクセル1つを指しているわけではなく、ある範囲の領域の平均値を採用してもよい。例えば画素数と表示デバイスの比率が比較的小さい場合等は、目視により認識している色と、1点のピクセルが保持する色情報の乖離が大きいケースが考えられ、このような場合においては周辺領域の平均値を採用することにより、よりユーザの意とする処理が可能となることもある。
【0028】
前記処理終了後、対象画像のピクセルを取得する(A4)。ここでは左上から処理を開始し、順次x、y方向に走査することにより各ピクセルが保持する色相、彩度、輝度を取得する(A5)。なお、ここでの走査は画像が保持する全てのピクセル情報の取得を目的としており、必ずしも左上からの開始し、X、Y方向に順次行わなくてもよく、例えば任意点から放射上に走査する等、画面上どの地点からスタートし、どの方向に走査しても同様の効果が得られる。
【0029】
A5により取得した色相、彩度、輝度と、A3により取得した色相、彩度、輝度の、各パラメータ間における差分を計算し、その結果を取得する(A6)。このとき、色相は360度で表現されるため、必要に応じて正しく計算されるよう補正する必要がある。
【0030】
前記で取得した各パラメータの差分が、予め決められた範囲内に全て包含される場合は処理を行わず(A8)、それ以外の場合はグレースケール化(A9)処理を行う。これにより、ユーザがタッチした物体及び色を含む一部の対象物は色が保持され、それ以外はグレースケール化される。この結果、一部の色合いもしくは物体を強調した画像を作ることができる。
なお、ここでの画像処理はグレースケール化に限られるわけではなく、トーンカーブ処理やセピア調化、ガンマ補正、透過処理、ぼかし処理、色反転処理等の、予め決められた計算方法によって色情報パラメータの値を変更する処理であればよい。また必要がなければ画像処理1もしくは画像処理2の色変換処理は行わなくとも良い。
【0031】
前記記載の予め指定された値とは、A7の分岐ロジック前に指定されていることを意味するものであり、故に常に同じ値である必要はなく、例えばユーザがスケールバーを用いて値を調整する等の作業により、A7の分岐ロジック前であれば変更してもよい。
【0032】
また個々の画像が持つ特徴に応じた色変換処理を、簡便な作業を用いて実現する方法は必ずしも対象とする画像に対して色変換処理を行う方法に限ったものではない。例えば、表示画像の背面にさらに画像を表示し、最前面に表示している画像へ透過処理を実行した場合においても、類似の効果が得られる。
【0033】
ここで、A5からA10までの処理は1ピクセルに対して行う処理であり、未走査のピクセルがなくなるまでこれらの処理を行う(A11、12)。
【0034】
上述の実施例1の形態によれば、ユーザは画像上の任意の位置をタッチパネルを介してタッチする動作のみで、タッチした点が属する色範囲以外をグレースケール化することにより、画像の特徴に応じ、雰囲気を大きく変化させることができる。故に、従来よりも簡便な動作により、個々の画像が持つ特徴に応じた色変換処理ができる。
【0035】
次に、第二実施例について説明する。
図2は、第二実施例の処理を表す概略フローチャートである。第二実施例は第一実施例を応用した実施形態であるため、以降は差分についてのみ説明する。
【0036】
第二実施例においては、対象画像に対し画像認証分析を行い、画像上に存在する物体を識別可能であればその物体に準じた範囲、色情報に対して画像処理1を、それ以外に対しては画像処理2を行い、認識不可能であれば第一実施例と同様の処理を行う。例えば対象画像に対して画像認証を行い、処理対象画像の一部が顔として認識された場合において、任意点がこの顔として認識された領域内に存在し、かつその位置が顔の下部であると判断され、かつその色相が0度に近い場合は、それが"唇"であると判断し、これにより唇が本来持つ形状及び色範囲情報から唇として処理すべき対象の位置、色範囲を決定し、その条件を満たすピクセルに対して画像処理1を、それ以外には画像処理2を実行することによって、ユーザが処理を意とする物体をより正確に判断した画像加工処理が可能となる。
【0037】
上述の実施例2の形態によれば、ユーザが処理を意とする物体をより正確に判断することが可能となり、故にユーザが所期する画像変換処理を、画面のタッチという非常に簡便な動作のみで実現できる。これにより任意の対象物のみへの処理を意とする加工作業に要する労力、時間を大幅に削減することができる。
【0038】
次に、第三実施例について説明する。
図3は、第三実施例の処理を表す概略フローチャートである。第三実施例は第一実施例をカメラ機能に適用した実施形態であるため、以降は差分についてのみ説明する。第三実施例においては、ユーザによる任意点の指定を必ずしも必要としないため、タッチパネルを有さない、カメラ機能を有する機器においても当発明方法の適用が可能である。
【0039】
第三実施例における任意点は、カメラの焦点位置とする(C2)。カメラ機能使用時、カメラの焦点位置に変更があれば(C10がYES)、再度焦点位置を取得し、再処理を行う。
【0040】
また、カメラ使用時は画面が更新されるため(C11)、その都度、端のピクセルから走査し直す(C4)。
【0041】
全てのピクセル走査及び画像処理が完了している場合(C12がYES)、焦点位置の変更もしくは画面の更新があるまで処理を待機する。
【0042】
上述の実施例3の形態によれば、実施例1の形態をカメラ撮影時に使用でき、故に加工後の画像を確認しながらの撮影が可能となる。また撮影後の画像加工による手間も削減可能となる。また、ユーザは対象物をレンズ越しに捉えるのみの作業で、その対象物及び色を生かした色変換処理が可能となる。
【0043】
次に、第四実施例について説明する。
図4は、第四実施例の処理を表す概略フローチャートである。
第四実施例は第三実施例を動画へ適用した実施形態である。第三実施例C1のカメラ機能起動が、第四実施例では動画撮影機能起動(D1)となる点以外は第三実施と同様の処理であるため説明を省略する。
【0044】
上述の実施例4の形態によれば、実施例1の形態を静止画だけでなく動画へ適用できる。これにより実施例1で述べた効果を動画に対しても適用可能となる。
【0045】
次に、第五実施例について説明する。
図5は、第五実施例の処理を表す概略フローチャートである。第五実施例は第一実施例をカメラ機能に適用した実施形態であるため、以降は差分についてのみ説明する。
【0046】
カメラ使用時は画面が更新されるため(E11)、その都度、端のピクセルから走査し直す(E4)。
【0047】
また画像がタッチされた場合(E10がYES)、再度タッチした場所の色相、彩度、輝度を取得し(E3)、再処理を行う。
【0048】
全てのピクセル走査及び画像処理が完了している場合(E12がYES)、焦点位置の変更もしくは画面の更新があるまで処理を待機する。
【0049】
また、カメラ機能を有する、かつタッチパネルを有する機器においては、第三実施例と第五実施例は必ずしもどちらか一方のみしか適用できないわけではなく、これらを組み合わせたもの、つまり、任意点の指定を焦点位置もしくは画面のタッチいずれかによって行う実施形態もある。
【0050】
次に、第六実施例について説明する。
図6は、第六実施例の処理を表す概略フローチャートである。第六実施例は第五実施例を動画へ適用した実施形態である。第五実施例E1のカメラ機能起動が、第六実施例では動画撮影機能起動(F1)となる点以外は第五実施と同様の処理であるため説明を省略する。
【0051】
また、動画撮影機能を有する、かつタッチパネルを有する機器においては第四実施例と第六実施例は必ずしもいずれか一方しか適用できないわけではなく、第四実施例と第六実施例を組み合わせたもの、つまり、任意点の指定を焦点位置もしくは画面のタッチいずれかによって決定する実施形態もある。
【0052】
次に、第七実施例について説明する。
図7は、第七実施例の処理を表す概略フローチャートである。
第七実施例は第二実施例をカメラ機能に適用した実施形態であるため、以降は差分についてのみ説明する。
【0053】
カメラ使用時は画面が更新されるため(G14、G24)、その都度、端のピクセルから走査し直す(G9、G19)。
【0054】
また画像がタッチされた場合(G13またはG23がYES)、再度タッチした場所の色相、彩度、輝度を取得し(G3)、処理を行う。
【0055】
全てのピクセル走査及び画像処理が完了している場合(G15またはG25がYES)、焦点位置の変更もしくは画面の更新があるまで処理を待機する。
【0056】
なお、第七実施例においては任意点の指定をタッチとしているが、必ずしもこれに限られるわけではなく、第三実施例のように焦点位置としても良い。
【0057】
次に、第八実施例について説明する。
図8は、第八実施例の処理を表す概略フローチャートである。
第八実施例は第七実施例を動画撮影機能に適用した実施形態である。第七実施例G1のカメラ機能起動が、第八実施例では動画撮影機能起動(H1)となる点以外は第七実施と同様の処理であるため説明を省略する。
【0058】
次に、第九実施例について説明する。第九実施例は、前記第一実施例から前記第八実施例の画像処理1に関する応用例である。以降では、差分のみ説明する。第九実施例では、画像処理前に予め特定の色相を指定する。画像処理1では、対象とするピクセルの持つ色情報パラメータのうち色相のみを、前記色相に置き換えた処理を行う。
【0059】
上述の第九実施例の形態によれば、画像処理後の色を違和感なく変更することが可能である。例えば、予め色相0度(赤色)を指定した状態において、青色のTシャツが含まれる画像に対し、Tシャツ上の任意点を選択した場合、色相のみ0度へ変更した値を画像処理の結果として出力するため、変更後の画像は赤色のTシャツとなる。この画像においては、元々のTシャツが持っていた影やしわの情報等を色相以外のパラメータに引き継ぐことができ、自然な色変換が可能である。
【符号の説明】
【0060】
A2・・・任意位置をタッチにより指定するプロセス
A3・・・指定場所の色相、彩度、輝度を取得するプロセス
A6・・・差分を計算するプロセス
A7・・・処理分岐プロセス
A8,9・・・画像処理プロセス
B5・・・画像認識プロセス
C2・・・焦点位置取得プロセス