特開2015-149595(P2015-149595A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社メガチップスの特許一覧

<>
  • 特開2015149595-画像処理装置 図000003
  • 特開2015149595-画像処理装置 図000004
  • 特開2015149595-画像処理装置 図000005
  • 特開2015149595-画像処理装置 図000006
  • 特開2015149595-画像処理装置 図000007
  • 特開2015149595-画像処理装置 図000008
  • 特開2015149595-画像処理装置 図000009
  • 特開2015149595-画像処理装置 図000010
  • 特開2015149595-画像処理装置 図000011
  • 特開2015149595-画像処理装置 図000012
  • 特開2015149595-画像処理装置 図000013
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2015-149595(P2015-149595A)
(43)【公開日】2015年8月20日
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
   H04N 11/20 20060101AFI20150724BHJP
   H04N 7/01 20060101ALI20150724BHJP
   G06T 1/00 20060101ALI20150724BHJP
   H04N 1/60 20060101ALI20150724BHJP
   H04N 1/46 20060101ALI20150724BHJP
【FI】
   H04N11/20
   H04N7/01 G
   G06T1/00 510
   H04N1/40 D
   H04N1/46 Z
【審査請求】未請求
【請求項の数】3
【出願形態】OL
【全頁数】17
(21)【出願番号】特願2014-21260(P2014-21260)
(22)【出願日】2014年2月6日
(71)【出願人】
【識別番号】591128453
【氏名又は名称】株式会社メガチップス
(74)【代理人】
【識別番号】100088672
【弁理士】
【氏名又は名称】吉竹 英俊
(74)【代理人】
【識別番号】100088845
【弁理士】
【氏名又は名称】有田 貴弘
(72)【発明者】
【氏名】岡本 彰
【テーマコード(参考)】
5B057
5C057
5C063
5C077
5C079
【Fターム(参考)】
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE17
5B057DC25
5C057AA11
5C057BB00
5C057DA06
5C057EA02
5C057GD04
5C057GJ01
5C057GJ03
5C057GJ04
5C057GJ05
5C063BA03
5C063CA03
5C077LL17
5C077MP08
5C077PP34
5C077PQ12
5C079HB04
5C079LA02
5C079MA11
5C079NA27
(57)【要約】
【課題】装置構成の簡略化を図りながら、スケーリング処理を施した後の複数のYUVフォーマットの画像データを並行して出力する画像処理装置を得る。
【解決手段】垂直スケーラー15は所定のスケーリング条件を満足させるスケーリング処理を行い、1ライン毎に変換後画像データS−YUV422を得る。垂直スケーラー25は垂直スケーラー15から直接受けるUV成分データUV422(15)と、ラインメモリ24を介して受けるUV成分データUV422(24)とを内部の加算器252により加算することにより、変換後UデータS−U420あるいは変換後VデータS−V420を得る。これら変換後UデータS−U420及び変換後VデータS−V420が、変換後画像データS−YUV422と同じスケーリング条件を満足するYUVフォーマットであるYUV420のU成分及びV成分となる。
【選択図】図1
【特許請求の範囲】
【請求項1】
第1のYUVフォーマットの入力画像データを受け、垂直方向における所定のスケーリング条件でスケーリング処理して前記第1のYUVフォーマットのYUV成分を規定した出力画像データを、垂直方向に沿って水平方向単位に順次出力する第1の画像データ出力回路と、
前記出力画像データ内のUV成分を規定するUV成分データを順次受け、前記所定のスケーリング条件を満足し、前記第1のYUVフォーマットからUV成分が間引かれた第2のYUVフォーマットのUV成分を規定したUV画像データを出力する第2の画像データ出力回路と備え、
前記第2の画像データ出力回路は、
垂直方向に連続する2つの前記UV成分データである一対の加算用UV成分データを加算して前記UV画像データを得る加算器を有することを特徴とする、
画像処理装置。
【請求項2】
請求項1記載の画像処理装置であって、
前記UV成分データを順次受け、1水平方向単位の前記UV成分データを格納するUV成分データ記憶部をさらに備え、
前記一対の加算用UV成分データの一方は前記第1の画像データ出力回路より直接受ける前記UV成分データであり、他方は前記UVデータ記憶部に格納された前記UV成分データである、
画像処理装置。
【請求項3】
請求項1または請求項2記載の画像処理装置であって、
前記第1のフォーマットはYUV422であり、
前記第2のフォーマットはYUV420である、
画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、スケーリング処理を施した後のYUVフォーマットの画像データを出力する画像処理装置に関する。
【背景技術】
【0002】
携帯電話機や、デジタルスチルカメラなど各種マルチメディア機器では、画像の解像度変換処理(画像平均化処理,スケーリング処理等)や、RGBからYUV、あるいはその逆のYUVからRGBへのフォーマット変換処理、YUVフォーマット間のフォーマット変換処理など様々な画像処理が行われている。
【0003】
画像の解像度変換処理やフォーマット変換処理を行う画像処理装置として、例えば、特許文献1に開示された画像処理装置がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第4397242号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、解像度変換処理の一つであるスケーリング処理を行った後に、異なる2つのYUVフォーマットの画像データを並行して出力する画像処理は一般的に行われておらず、仮に実現する場合は、異なる2つのYUVフォーマット用のフォーマット変換処理部を独立して設けることになり、装置構成が複雑化するという問題点があった。
【0006】
この発明は上記問題点を解決するためになされたもので、装置構成の簡略化を図りながら、スケーリング処理を施した複数のYUVフォーマットの画像データを並行して出力する画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【0007】
この発明に係る請求項1記載の画像処理装置は、第1のYUVフォーマットの入力画像データを受け、垂直方向における所定のスケーリング条件でスケーリング処理して前記第1のYUVフォーマットのYUV成分を規定した出力画像データを、垂直方向に沿って水平方向単位に順次出力する第1の画像データ出力回路と、前記出力画像データ内のUV成分を規定するUV成分データを順次受け、前記所定のスケーリング条件を満足し、前記第1のYUVフォーマットからUV成分が間引かれた第2のYUVフォーマットのUV成分を規定したUV画像データを出力する第2の画像データ出力回路と備え、前記第2の画像データ出力回路は、垂直方向に連続する2つの前記UV成分データである一対の加算用UV成分データを加算して前記UV画像データを得る加算器を有している。
【発明の効果】
【0008】
請求項1記載の本願発明である画像処理装置は、第1の画像データ出力回路により出力される出力画像データにより所定のスケーリング条件を満足する第1のYUVフォーマットの画像データを得ている。
【0009】
さらに、請求項1記載の画像処理装置は、上記出力画像データで規定されるY成分と、第2の画像データ出力回路より出力されるUV画像データで規定されるUV成分との組合せにより、所定のスケーリング条件を満足する第2のYUVフォーマットの画像データを第1のYUVフォーマットの画像データと並行して得ることができる。
【0010】
加えて、請求項1記載の本願発明は、第2のYUVフォーマットの画像データを得るために設けた第2の画像データ出力回路を加算器で構成することにより、回路規模の拡大を最小限に抑えることができる。
【図面の簡単な説明】
【0011】
図1】この発明の実施の形態である画像処理装置の構成を示すブロック図である。
図2図1で示した水平平均化フィルタ、水平スケーラー、垂直平均化フィルタ及び垂直スケーラーによる処理例を模式的に示した説明図である。
図3図1で示したYUV422用の垂直スケーラーの内部構成を示すブロック図である。
図4図1で示したYUV420のUV成分用の垂直スケーラーの内部構成を示すブロック図である。
図5】YUV422用の変換後画像データと、YUV420用の変換後Uデータ及びVデータとの関係を模式的に示す説明図である。
図6】YUV422用の変換後画像データ、並びにYUV420用の変換後Uデータ及びVデータの第1の出力例を示す説明図である。
図7】YUV422用の変換後画像データ、並びにYUV420用の変換後Uデータ及びVデータの第2の出力例を示す説明図である。
図8】本実施の形態の画像処理装置との比較用の従来の画像処理装置の構成を示すブロック図である。
図9図8で示したYUV422用の垂直スケーラーの内部構成を示すブロック図である。
図10図8で示したYUV420用の垂直スケーラーの内部構成を示すブロック図である。
図11】YUV422用の変換後画像データ、並びにYUV420用の変換後Uデータ及びVデータの従来の想定出力例を示す説明図である。
【発明を実施するための形態】
【0012】
(全体構成)
図1はこの発明の実施の形態である画像処理装置の構成を示すブロック図である。同図に示すように、本実施の形態の画像処理装置は、コントローラ10、水平平均化フィルタ11、水平スケーラー12、垂直平均化フィルタ13、ラインメモリ14、垂直スケーラー15(第1の画像データ出力回路)、ラインメモリ24(UV成分データ記憶部)及び垂直スケーラー25(第2の画像データ出力回路)を備えて構成される。
【0013】
コントローラ10は各種制御信号(平均化係数K11、重み係数K12、平均化係数K13、制御信号C14、重み係数K15、及び制御信号C24)を出力することにより、各構成部11〜15及び24を制御している。
【0014】
水平平均化フィルタ11は元画像データO−YUV422を受け、コントローラ10からの平均化係数K11に従い、水平方向における平均化処理を行って水平平均化後画像データS11を得る。
【0015】
水平スケーラー(水平bi-linear回路)12は、水平平均化フィルタ11から出力される水平平均化後画像データS11を受け、コントローラ10からの重み係数K12に従い、水平方向におけるスケーリング処理(bi-linear処理)を行って水平スケール変換後画像データS12を得る。なお、本明細書中において、スケーリング処理(bi-linear処理)とは、変換座標に基づき、水平方向あるいは垂直方向に連続する2画素を使って距離に比例した重み付け処理を行うことを意味する。
【0016】
垂直平均化フィルタ13は、水平スケーラー12から出力される水平スケール変換後画像データS12を受け、コントローラ10からの平均化係数K13に従い、垂直方向における平均化処理を行って垂直平均化後画像データS13を1ライン単位で得る。なお、1ライン単位の画像データとは同一垂直位置における水平方向単位の画像データを意味する。
【0017】
ラインメモリ14は、垂直平均化フィルタ13から1ライン単位で出力される垂直平均化後画像データS13を受け、合計2ライン分の垂直平均化後画像データS13を格納する。ラインメモリ14は、各々が1ライン分の垂直平均化後画像データS13を格納可能な2つのラインメモリLM10及びLM11により構成され、コントローラ10から制御信号C14に従い、垂直方向に連続する2ライン分の垂直平均化後画像データS13を連続して格納する。ここで、ラインメモリLM10に格納する垂直平均化後画像データS13を格納画像データS140とし、ラインメモリLM11に格納する垂直平均化後画像データS13を格納画像データS141とする。
【0018】
垂直スケーラー(垂直bi-linear回路)15は、ラインメモリ14に格納された格納画像データS140及びS141を受け、コントローラ10からの重み係数K15に従い、垂直方向におけるスケーリング処理(bi-linear処理)を行って変換後画像データS−YUV422(出力画像データ)を得る。変換後画像データS−YUV422は外部に出力されるとともに、そのUV成分を規定するUV成分データが後述するようにラインメモリ24及び垂直スケーラー25に出力される。
【0019】
(変換後画像データS−YUV422を得るための処理内容)
図2は水平平均化フィルタ11、水平スケーラー12、垂直平均化フィルタ13及び垂直スケーラー15による処理例を模式的に示した説明図である。
【0020】
同図において、元画像データO−YUV422は1ラインが1920画素で構成されている。
【0021】
水平平均化フィルタ11は4画素の平均化を指示する平均化係数K11に従い、水平方向に連続する4画素単位(画素“0”〜“3”,画素“4”〜“7”…)で平均化処理を行い、1ラインが480画素の水平平均化後画像データS11を得る。
【0022】
水平スケーラー12は水平平均化後画像データS11の水平方向に隣接する2画素単位(水平平均化後画像データS11の画素“0”,“1”、画素“1”,“2”、画素“3”,“4”等)でスケーリング処理(bi-linear処理)を行い、水平方向に{2/3}圧縮して1ラインが320画素の水平スケール変換後画像データS12を得る。
【0023】
垂直平均化フィルタ13は平均化係数K13に従いラインメモリLM10及びLM11を利用して、垂直方向に連続する2ライン単位(Line0,1、Line2,3、Line4,5、Line6,7)で平均化処理を行い、2ラインを1ラインに圧縮した垂直平均化後画像データS13を得る。
【0024】
具体的には、Line0,1の水平スケール変換後画像データS12それぞれに1/2を乗算しながら蓄積加算されるようにラインメモリLM10内に格納することにより、1ライン分の垂直平均化後画像データS13を得ることができる。そして、Line2,3の水平スケール変換後画像データS12それぞれに1/2を乗算しながら蓄積加算されるようにラインメモリLM11内に格納することにより、2ライン分の水平スケール変換後画像データS12から1ライン分の垂直平均化後画像データS13を得ることができる。
【0025】
同様にして、Line4,5の水平スケール変換後画像データS12に1/2を乗算しながら蓄積加算されるようにラインメモリLM10内に格納することにより、1ライン分の垂直平均化後画像データS13を得るとともに、Line6,7の水平スケール変換後画像データS12に1/2を乗算しながら蓄積加算されるようにラインメモリLM11内に格納することにより、1ライン分の垂直平均化後画像データS13を得ることができる。
【0026】
なお、ラインメモリ14は、制御信号C14により、図2に示したように垂直方向に2ライン連続して同一のラインメモリLM10(LM11)が格納するように制御される。
【0027】
垂直スケーラー15はラインメモリ14に格納された、垂直方向に連続する(隣接する)垂直平均化後画像データS13である格納画像データS140及びS141を入力画像データとして受ける。そして、垂直スケーラー15は重み係数K15に従い、垂直方向に所定のスケーリング条件を満足させるスケーリング処理(bi-linear処理)を行い、1ライン毎(水平方向単位)に変換後画像データS−YUV422(出力画像データ)を得る。
【0028】
(垂直スケーラー15)
図3は垂直スケーラー15の内部構成を示すブロック図である。同図に示すように、垂直スケーラー15は乗算器150,151及び加算器152により構成される。
【0029】
乗算器150は格納画像データS140と、重み係数K15に含まれる重み係数K15(0)とを乗算した乗算結果M150を加算器152に出力する。乗算器151は格納画像データS141と、重み係数K15に含まれる重み係数K15(1)とを乗算した乗算結果M151を加算器152に出力する。
【0030】
加算器152は乗算結果M150と乗算結果M151とを加算することにより、1ライン分の変換後画像データS−YUV422を得る。この変換後画像データS−YUV422が垂直平均化後画像データS13を垂直方向に所定のスケーリング条件でスケーリング処理した、YUV422フォーマットにおけるYUV成分を規定したデータとなる。
【0031】
UV成分データ記憶部であるラインメモリ24(図1参照)は1ライン分の変換後画像データS−YUV422におけるUV成分を規定したUV成分データの格納領域を有し、最新の変換後画像データS−YUV422のUV成分データの格納動作に並行して、格納済みの1ライン前のUV成分データを垂直スケーラー25に出力する。
【0032】
したがって、垂直スケーラー15から出力される変換後画像データS−YUV422に含まれるUV成分データをUV成分データUV422(15)、ラインメモリ24から出力されるUV成分データをUV成分データUV422(24)とすると、UV成分データUV422(15)が最新のUV成分データ、UV成分データUV422(24)が最新から1ライン前のUV成分データとなり、両者は垂直方向に連続する変換後画像データS−YUV422における一対の加算用UV成分データとなる。
【0033】
(垂直スケーラー25)
図4はU垂直スケーラー25の内部構成を示すブロック図である。同図に示すように、第2の画像データ出力回路である垂直スケーラー25は加算器252のみで構成される。
【0034】
加算器252は垂直スケーラー15から直接受ける、変換後画像データS−YUV422に含まれるUV成分データUV422(15)と、ラインメモリ24から受けるUV成分データUV422(24)とを加算することにより、変換後UデータS−U420あるいは変換後VデータS−V420をUV画像データとして得る。これら変換後UデータS−U420及び変換後VデータS−V420が、変換後画像データS−YUV422と同じスケーリング条件を満足するYUVフォーマットであるYUV420(第2のYUVフォーマット)のU成分及びV成分となる。
【0035】
図5は変換後画像データS−YUV422と、変換後UデータS−U420及び変換後VデータS−V420との関係を模式的に示す説明図である。
【0036】
同図に示すように、UV成分データUV422(15)及びUV422(24)を含んでいた変換後画像データS−YUV422(15)及びS−YUV422(24)はそれぞれ1ライン分の画素P(0),P(1),P(2),…により構成される。YUV422は水平方向に隣接する2画素で1つのU成分と1つのV成分を共有するフォーマットであるため、図5(a) に示すように、画素P(0),P(1),P(2),…は全てY成分を有し、画素P(0),P(1),P(2),…間で交互にU成分及びV成分のうちの一方成分を有する構成が一般的である。
【0037】
したがって、画素P(0)のUV成分データUV422(15)及びUV422(24)は共にU成分となり、画素P(1)のUV成分データUV422(15)及びUV422(24)は共にV成分となり、以下、水平方向に沿ってこの関係を繰り返す。
【0038】
その結果、図5(b) に示すように、垂直スケーラー25の加算器252によって画素P(0)のUV成分データUV422(15)及びUV422(24)を加算することにより、2画素×2ライン分のブロックB01に対応した変換後UデータS−U420を得ることができる。同様に、加算器252より画素P(1)のUV成分データUV422(15)及びUV422(24)を加算することにより、ブロックB01に対応した変換後VデータS−V420を得ることができる。
【0039】
YUV420は、2画素×2ラインの4画素のブロックで1つのU成分と1つのV成分とを共有するフォーマットであるため、上述のように、画素P(0)及びP(1)それぞれにおいて垂直方向に隣接する2ライン間のUV成分データUV422(15)及びUV422(24)を加算して得られた変換後UデータS−U420及び変換後VデータS−V420がブロックB01におけるYUV420フォーマットのU成分及びV成分となる。すなわち、YUV420フォーマットは、YUV422フォーマットからUV成分が間引かれたYUVフォーマットとなる。
【0040】
一方、YUV420フォーマットのY成分はYUV422フォーマットのY成分と同一であるため、変換後画像データS−YUV422に含まれるY成分を規定した変換後YデータS−Y422をそのまま、YUV420用の変換後YデータS−Y420として利用することができる。
【0041】
したがって、図5(b) に示すように、ブロックB01における変換後UデータS−U420及び変換後VデータS−V420と変換後YデータS−Y420(=S−Y422)とを組合せることにより、ブロックB01におけるYUV420フォーマットの画像データを得ることができる。
【0042】
このように、垂直スケーラー25の加算器252を用いた加算処理により2×2単位で変換後UデータS−U420及び変換後VデータS−V420を得ながら、対応するブロックの変換後YデータS−Y420と組み合わせることにより、変換後画像データS−YUV422に並行して、変換後画像データS−YUV420(変換後UデータS−U420+変換後VデータS−V420+変換後YデータS−Y420(=S−Y422))を得ることができる。
【0043】
その結果、変換後画像データS−YUV422をライブビュー表示用に用い、変換後画像データS−YUV420(UV画像データ)をH.264やJPEGなどのコード処理用に用いる等の多様な使用を実現することができる。
【0044】
(スケーリング処理例)
(第1の出力例)
図6は変換後画像データS−YUV422、並びに変換後UデータS−U420及び変換後VデータS−V420の第1の出力例を模式的に示す説明図である。
【0045】
同図において、変換後422データS(0)〜S(6)は、1ライン毎の変換後画像データS−YUV422であり、S()内の数字がライン番号を示している。そして、変換後420データT(0)〜T(2)は、1ライン毎の変換後UデータS−U420及び変換後VデータS−V420であり、T()内の数字がライン番号を示している。なお、T()内で示すライン番号は垂直方向に連続する2ラインを代表するライン番号であり、T(0)はS(0)及びS(1)に対応し、T(1)はS(2)及びS(3)に対応し、T(2)はS(4)及びS(5)に対応する。すなわち、変換後422データS(i)(i=0,1,2,…),S(i+1)と変換後420データT(j)(j=0,1,2,…)との間にライン数の増減はない。
【0046】
また、図6において、L0〜L8はラインメモリ14に格納された1ライン毎の垂直平均化後画像データS13を示しており、ラインデータL0,L2,L4,L6,L8はラインメモリ14のラインメモリLM10に格納された格納画像データS140に相当し、ラインデータL1,L3,L5,L7はラインメモリ14のラインメモリLM11に格納された格納画像データS141に相当する。
【0047】
以下、図6(a) に示す変換後画像データS−YUV422の演算内容について説明する。変換後422データS(0)はラインデータL0をそのまま用いる。この場合、図3に示す垂直スケーラー15に対し、格納画像データS140及びS141がラインデータL0及びL1となり、“3/3(=1.0)”を指示する重み係数K15(0)と、“0”を指示する重み係数K15(1)が付与される。
【0048】
次に、変換後422データS(1)はラインデータL1,L2間で重み付けを変え、{S(1)=L1・2/3+L2・1/3}として得る。この場合、図3に示す垂直スケーラー15に対し、格納画像データS140及びS141がラインデータL2及びL1となり、“1/3”を指示する重み係数K15(0)と、“2/3”を指示する重み係数K15(1)が付与される。
【0049】
以下、同様にして、変換後422データとして、{S(2)=L2・1/3+L3・2/3}、{S(3)=L4・3/3}、{S(4)=L5・2/3+L6・1/3}、{S(5)=L6・1/3+L7・2/3}、及び{S(6)=L8・3/3}を得る。
【0050】
このように、4ライン(L0〜L3,L4〜L7)分の垂直平均化後画像データS13から、3ライン(S(0)〜S(2),S(3)〜S(5))分の変換後画像データS−YUV422を得ることにより、入力画像データである垂直平均化後画像データS13に対し、{3/4}に圧縮するスケーリング条件を満足する変換後画像データS−YUV422を得ることができる。
【0051】
一方、図6(b) に示すように、変換後420データT(0)は変換後422データS(0)のUV成分と変換後422データS(1)のUV成分とを加算する加算処理を実行した後、“2”で除算することにより得られる。上述した加算処理が、UV成分データUV422(15)とUV成分データUV422(24)との加算器252による加算処理に相当する。
【0052】
この際、変換後420データT(0)は垂直方向に3連続するラインデータL0〜L2から得ることができる。なお、正確には、変換後422データS(0)及びS(1)のUV成分が加算対象であるが、説明の都合上、図6(b) では、S(0)〜S(5)をそのまま図示している。
【0053】
同様にして、変換後420データT(1)は変換後422データS(2)及びS(3)のUV成分を加算して“2”で除算することにより得られる。この際、変換後420データT(1)は垂直方向に3連続するラインデータL2〜L4から得ることができる。
【0054】
同様にして、変換後420データT(2)は変換後422データS(4)及びS(5)のUV成分を加算して“2”で除算することにより得られる。この際、変換後420データT(2)は垂直方向に3連続するラインデータL5〜L7から得ることができる。
【0055】
このように、変換後420データT(j)から構成される変換後UデータS−U420及び変換後VデータS−V420(UV画像データ)を得ることにより、変換後YデータS−Y420(=S−Y422)と組み合わせて、垂直平均化後画像データS13に対し、{3/4}に圧縮するスケーリング条件を満足する変換後画像データS−YUV420を得ることができる。
【0056】
この際、変換後420データT(0)〜T(2)は、全て3ライン分のラインデータに基づき得られているため、2ライン分のラインデータに基づく場合に比べ、画像精度の向上を図ることができる。
【0057】
なお、“2”で除算する処理は、ビットデータを1ビットシフトする処理で代用することができるため、変換後UデータS−U420及び変換後VデータS−V420の出力データ線の組合せを変更する等により簡単に対応可能である。したがって、垂直スケーラー25に除算器(あるいは乗算器)を設ける必要はない。また、変換後UデータS−U420及び変換後VデータS−V420と変換後YデータS−Y420との組合せも信号配線により簡単に行える。
【0058】
(第2の出力例)
図7は変換後画像データS−YUV422、並びに変換後UデータS−U420及び変換後VデータS−V420の第2の出力例を模式的に示す説明図である。
【0059】
同図において、変換後422データS(0)〜S(6)は、変換後420データT(0)〜T(2)、及びL0〜L8は、図6と同様なデータを意味する。
【0060】
以下、図7(a) に示す変換後画像データS−YUV422の演算内容について説明する。変換後422データS(0)はラインデータL0をそのまま用いる。この場合、図3に示す垂直スケーラー15に対し、格納画像データS140及びS141がラインデータL0,L1となり、“4/4(=1.0)”を指示する重み係数K15(0)と、“0”を指示する重み係数K15(1)が付与される。
【0061】
次に、変換後422データS(1)はラインデータL1,L2間で重み付けを変え、{S(1)=L0・1/4+L1・3/4}として得られる。この場合、図3に示す垂直スケーラー15に対し、格納画像データS140及びS141がラインデータL0及びL1となり、“1/4”を指示する重み係数K15(0)と、“3/4”を指示する重み係数K15(1)が付与される。
【0062】
以下、同様にして、変換後422データとして、{S(2)=L1・2/4+L2・2/4}、{S(3)=L2・3/4+L3・1/4}、{S(4)=L3・4/4}、{S(5)=L3・1/4+L4・3/4}、{S(6)=L4・2/4+L5・2/4}、{S(7)=L5・3/4+L6・1/4}、及び{S(8)=L6・4/4}を得る。
【0063】
このように、実質的に3ライン(L0〜L2,L3〜L5)分の垂直平均化後画像データS13から、4ライン(S(0)〜S(3),S(4)〜S(7))分の変換後画像データS−YUV422を得ることにより、入力画像データである垂直平均化後画像データS13に対し、{4/3}に拡大するスケーリング条件を満足する変換後画像データS−YUV422を得ることができる。
【0064】
一方、図7(b) に示すように、変換後420データT(0)は変換後422データS(0)のUV成分と変換後422データS(1)のUV成分とを加算する加算処理後、“2”で除算することにより得られる。上述した加算処理が、UV成分データUV422(15)とUV成分データUV422(24)との加算器252による加算処理に相当する。
【0065】
同様にして、変換後420データT(1)を変換後422データS(2)及びS(3)のUV成分を加算して“2”で除算することにより得ている。この際、変換後420データT(1)を垂直方向に3連続するラインデータL1〜L3から得ることができる。
【0066】
同様にして、変換後420データT(2)を変換後422データS(4)及びS(5)のUV成分を加算して“2”で除算することにより得ている。
【0067】
同様にして、変換後420データT(3)を変換後422データS(6)及びS(7)のUV成分を加算して“2”で除算することにより得ている。この際、変換後420データT(3)を垂直方向に3連続するラインデータL4〜L6から得ることができる。
【0068】
このように、変換後420データT(j)から構成される変換後UデータS−U420及び変換後VデータS−V420(UV画像データ)を得ることにより、変換後YデータS−Y420(=S−Y422)と組み合わせて、垂直平均化後画像データS13に対し、{4/3}に拡大するスケーリング条件を満足する変換後画像データS−YUV420を得ることができる。
【0069】
この際、変換後420データT(1),T(3)は、全て3ライン分のラインデータに基づき得られているため、2ライン分のラインデータに基づく場合に比べ、画像精度の向上を図ることができる。
【0070】
(効果)
このように、本実施の形態の画像処理装置は、第1の画像データ出力回路である垂直スケーラー15により出力される変換後画像データS−YUV422(出力画像データ)により所定のスケーリング条件(3/4の圧縮(図6)、4/3拡大(図7)等)を満足するYUV422フォーマット(第1のYUVフォーマット)の画像データを得ている。
【0071】
さらに、本実施の形態の画像処理装置は、変換後画像データS−YUV422で規定されるY成分である変換後YデータS−Y420(=YデータS−Y422)と、第2の画像データ出力回路である垂直スケーラー25より出力される変換後UデータS−U420及び変換後VデータS−V420(UV画像データ)との組合せにより、変換後画像データS−YUV420を得ている。
【0072】
その結果、本実施の形態の画像処理装置は、共に上記所定のスケーリング条件を満足する、変換後画像データS−YUV422(第1のYUVフォーマットの画像データ)、及び変換後画像データS−YUV420(第2のYUVフォーマットの画像データ)を並行して得ることができる。
【0073】
加えて、本実施の形態の画像処理装置は、YUV420フォーマットの画像データを得るために設けた垂直スケーラー25を加算器252のみで構成することにより、回路規模の拡大を最小限に抑えることができる。
【0074】
また、本実施の形態の画像処理装置は、他の構成要素として、1水平方向単位のUV成分データを格納するラインメモリ24(UV成分データ記憶部)を設けることにより、回路規模の拡大を最小限に抑えて、垂直方向に連続するUV成分データである一対の加算用UV成分データを垂直スケーラー25に付与することができる。この際、一対の加算用UV成分データの一方は垂直スケーラー15から直接されるUV成分データであり、他方はラインメモリ24の格納データである1ライン分前のUV成分データとなる。
【0075】
上述したように、本実施の形態の画像処理装置は、垂直スケーラー15、ラインメモリ24及び垂直スケーラー25を主要構成要素とすることにより、回路規模の拡大を最小限に抑えて、共に所定のスケーリング条件を満足するYUVフォーマットがYUV422及びYUV420の画像データ(変換後画像データS−YUV422及び変換後画像データS−YUV420)を並行して得ることができる。
【0076】
(従来構成との比較)
図8は本実施の形態の画像処理装置との比較用の従来の画像処理装置の構成を示すブロック図である。同図に示すように、従来の画像処理装置は、例えば、水平スケーラー32、ラインメモリ34、垂直スケーラー35、選択回路36及び垂直スケーラー45を備えて構成される。
【0077】
図1で示した実施の形態との関係において、水平スケーラー32が水平スケーラー12に対応し、ラインメモリ34がラインメモリ14に対応し、垂直スケーラー35が垂直スケーラー15に対応し、垂直スケーラー45が垂直スケーラー25に対応している。これらの構成部32,34〜36,45も図1で示したコントローラ10相当の制御部(図示せず)によって処理内容が制御される。
【0078】
水平スケーラー(水平bi-linear回路)32は元画像データO−YUV422を受け、水平方向におけるスケーリング処理(bi-linear処理)を行って水平スケール変換後画像データS32を得る。
【0079】
ラインメモリ34は、1ライン単位の垂直平均化後画像データS13を格納可能な3つのラインメモリLM10〜LM12により構成され、水平スケーラー32から出力される水平スケール変換後画像データS32を受け、垂直方向に連続する3ライン分の水平スケール変換後画像データS32を格納する。ここで、ラインメモリLM10〜LM12に格納する水平スケール変換後画像データS32を画像データL(0)〜L(2)とする。
【0080】
選択回路36はラインメモリ34に格納された画像データL(0)〜L(2)のうち、変換後422データS(i)の演算に必要な垂直方向に2連続する画像データを選択画像データSL(0)及びSL(1)として垂直スケーラー35に出力している。
【0081】
垂直スケーラー(垂直bi-linear回路)35は選択画像データSL(0)及びSL(1)を受け、垂直方向におけるスケーリング処理(bi-linear処理)を行って変換後画像データS−YUV422を得る。
【0082】
垂直スケーラー(垂直bi-linear回路)45は、画像データL(0)〜L(2)を受け、垂直スケーラー25と同内容で垂直方向におけるスケーリング処理(bi-linear処理)を行って変換後画像データS−YUV420を得る。
【0083】
(垂直スケーラー35)
図9は垂直スケーラー35の内部構成を示すブロック図である。同図に示すように、垂直スケーラー35は乗算器350,351及び加算器352により構成され、選択回路36から選択画像データSL(0)及びSL(1)を受ける。
【0084】
乗算器350は選択画像データSL(0)と重み係数K35(0)とを乗算した乗算結果M350を加算器352に出力する。乗算器351は選択画像データSL(1)と重み係数K35(1)とを乗算した乗算結果M351を加算器352に出力する。
【0085】
加算器352は乗算結果M350と乗算結果M351とを加算することにより、1ライン分の変換後画像データS−YUV422を得る。
【0086】
(垂直スケーラー45)
図10は垂直スケーラー45の内部構成を示すブロック図である。同図に示すように、垂直スケーラー45は乗算器450〜452、加算器453,454により構成される。
【0087】
乗算器450は画像データL(0)のUV成分と、重み係数K45(0)とを乗算した乗算結果M450を加算器453に出力する。乗算器451は画像データL(1)のUV成分と重み係数K45(1)とを乗算した乗算結果M451を加算器453に出力する。乗算器452は画像データL(2)のUV成分と重み係数K45(2)とを乗算した乗算結果M452を加算器454に出力する。なお、正確には、画像データL(0)〜L(2)のUV成分が加算対象であるが、説明の都合上、図10では、画像データL(0)〜L(2)をそのまま図示している。
【0088】
加算器453は乗算結果M450と乗算結果M451とを加算した加算結果M453を加算器454に出力する。加算器454は加算結果M453と乗算結果M452とを加算して変換後UデータS−U420及び変換後VデータS−V420を得る。
【0089】
その結果、変換後UデータS−U420及び変換後VデータS−V420と、変換後YデータS−Y420(=S−Y422)とを組み合わせて、変換後画像データS−YUV420を得ることができる。
【0090】
(スケーリング処理例)
図11は変換後画像データS−YUV422、並びに変換後UデータS−U420及び変換後VデータS−V420の従来の出力例を模式的に示す説明図である。
【0091】
同図において、変換後422データS(0)〜S(6)、変換後420データT(0)〜T(2)は、実施の形態で示した図6及び図7と同様なデータを意味する。
【0092】
また、図11において、L0〜L8は1ライン毎の水平スケール変換後画像データS32を示しており、ラインメモリ34に格納される画像データL(0)〜L(2)、あるいは選択回路36から出力される選択画像データSL(0)及びSL(1)が相当する。
【0093】
なお、ラインデータL0,L3,L6はラインメモリ34のラインメモリLM10に格納された画像データL(0)に相当し、ラインデータL1,L4,L7はラインメモリ34のラインメモリLM11に格納された画像データL(1)に相当し、ラインデータL2,L5,L8はラインメモリLM12に格納された画像データL(2)に相当する。
【0094】
以下、図11(a) に示す変換後画像データS−YUV422の演算内容について説明する。変換後422データS(0)はラインデータL0をそのまま用いる。この場合、図9に示す垂直スケーラー35に対し、選択画像データSL(0)及びSL(1)がラインデータL0及びL1となり、“3/3(=1.0)”を指示する重み係数K35(0)と、“0”を指示する重み係数K35(1)が付与される。
【0095】
次に、変換後422データS(1)はラインデータL1,L2間で重み付けを変え、{S(1)=L1・2/3+L2・1/3}として得られる。この場合、図9に示す垂直スケーラー35に対し、選択画像データSL(0)及びSL(1)がラインデータL2,L1となり、“1/3”を指示する重み係数K35(0)と、“2/3”を指示する重み係数K35(1)が付与される。
【0096】
以下、同様にして、変換後422データS(i)として、{S(2)=L2・1/3+L3・2/3}、{S(3)=L4・3/3}、{S(4)=L5・2/3+L6・1/3}、{S(5)=L6・1/3+L7・2/3}、及び{S(6)=L8・3/3}が得られる。
【0097】
このように、4ライン(L0〜L3,L4〜L7)分の水平スケール変換後画像データS32から、3ライン(S(0)〜S(2),S(3)〜S(5))分の変換後画像データS−YUV422を得ることにより、入力画像データである水平スケール変換後画像データS32に対し、{3/4}に圧縮するスケーリング条件を満足する変換後画像データS−YUV422を得ている。
【0098】
一方、図11(b) で示すように、変換後420データT(0)はラインデータL0〜L2を用いて、{T(0)=L0・3/6+L1・2/6+L2・1/6}として得られる。この場合、図10に示す垂直スケーラー45に対し、画像データL(0)〜L(2)がラインデータL0〜L2となり、“3/6”を指示する重み係数K45(0)と、“2/6”を指示する重み係数K45(1)と、“1/6”を指示する重み係数K45(2)とが付与される。
【0099】
次に、変換後420データT(1)はラインデータL2〜L4を用いて、{T(1)=L2・1/6+L3・2/6+L4・3/6}として得られる。この場合、図9に示す垂直スケーラー45に対し、画像データL(0)〜L(2)がラインデータL3,L4,L2となり、“2/6”を指示する重み係数K45(0)と、“3/6”を指示する重み係数K45(1)と、“1/6”を指示する重み係数K45(2)とが付与される。
【0100】
次に、変換後420データT(2)はラインデータL5〜L7を用いて、{T(2)=L5・2/6+L6・2/6+L7・2/6}として得られる。この場合、図9に示す垂直スケーラー45に対し、画像データL(0)〜L(2)がラインデータL6,L7,L5となり、“2/6”を指示する重み係数K45(0)と、“2/6”を指示する重み係数K45(1)と、“2/6”を指示する重み係数K45(2)とが付与される。
【0101】
このように、変換後420データT(j)から構成される変換後画像データS−YUV420を得ることにより、水平スケール変換後画像データS32に対し、{3/4}に圧縮するスケーリング条件を満足する変換後画像データS−YUV420を得ることができる。なお、正確には、変換後422データS(0)及びS(1)のUV成分が加算対象であるが、説明の都合上、図11(b) では、S(0)〜S(5)をそのまま図示している。
【0102】
このように、同一のスケーリング条件を満足する変換後画像データS−YUV422及び変換後画像データS−YUV420を並行して出力する場合、図8図11で示した構成及び動作が従来構成で想定される構成及び動作として考えられる。
【0103】
図4で示す本実施の形態の垂直スケーラー25の構成と、図10で示す垂直スケーラー45との比較から明らかなように、一つの加算器252のみにより構成される垂直スケーラー25に対し、垂直スケーラー45は、3つの乗算器450〜452と、一つの加算器453(454)を余分に必要としている。
【0104】
すなわち、本実施の形態の垂直スケーラー25は、従来構成によって想定される垂直スケーラー45に比べ、大幅に回路構成の簡略化を図れていることが分かる。
【0105】
加えて、図1で示す本実施の形態の全体構成と、図8で示す従来の全体構成との比較から明らかなように、従来構成では、3ライン分のラインメモリ34を設けることが不可欠になると共に、垂直スケーラー35,45への入力画像データ(水平スケール変換後画像データS32)を適切に付与すべく、ラインメモリ34,垂直スケーラー35間に選択回路36を余分に設ける必要がある。
【0106】
すなわち、本実施の形態の画像処理装置は、従来構成によって想定される等価な動作を行う画像処理装置に比べ、ラインメモリの格納容量を2ライン分で済ませ、選択回路36を必要としない分、回路構成の簡略化を図れていることが分かる。特に、本実施の形態の画像処理装置は、ラインメモリの格納容量を少なくすることにより、従来構成からの回路規模の削減を図っている点が優れている。
【0107】
なお、水平平均化フィルタ11、垂直平均化フィルタ13に相当する構成は、説明の都合により図8で示す従来構成から除外したにすぎない。従来構成においても、実施の形態と同様な水平平均化処理、垂直平均化処理が必要な場合、水平平均化フィルタ11及び垂直平均化フィルタ13相当の構成も設ける必要があることは勿論である。
【0108】
<その他>
本実施の形態では、YUV422フォーマットを第1のYUVフォーマットとし、YUV420フォーマットを第2のYUVフォーマットとし、YUV422フォーマットの画像データ(変換後画像データS−YUV422)に基づきYUV420フォーマットの画像データ(変換後画像データS−YUV420)を得る画像処理装置を示した。
【0109】
この考え方を応用して、例えば、YUV444フォーマットを第1のYUVフォーマットとし、YUV422フォーマットを第2のYUVフォーマットとし、YUV444フォーマットの画像データに基づきUV成分を間引くことによりYUV422フォーマットの画像データを得る画像処理装置の変形例を構成しても良い。なぜなら、YUV422フォーマットとYUV420フォーマットとの関係と同様に、YUV444フォーマットとYUV422フォーマットとの違いは、UVの画素数が異なるだけであるからである。さらに、上記変形例を拡張して、本実施の形態の画像処理装置のように、YUV422フォーマットの画像データに基づきYUV420フォーマットの画像データをさらに得ることにより、3つのYUVフォーマットの画像データを並行して出力するようにしても良い。
【0110】
また、水平平均化フィルタ11、水平スケーラー12、垂直平均化フィルタ13、垂直スケーラー15及び垂直スケーラー25は、例えば、ソフトウェアに基づくCPUを用いたプログラム処理によって実行しても良い。
【0111】
なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。
【符号の説明】
【0112】
10 コントローラ
11 水平平均化フィルタ
12 水平スケーラー
13 垂直平均化フィルタ
14 ラインメモリ
15,25,35,45 垂直スケーラー
24 ラインメモリ
150,151 乗算器
152,252 加算器
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11