特許 6247927 撮影装置及び画像補間装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6247927

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】撮影装置及び画像補間装置

(51)【国際特許分類】

   H04N 9/09 20060101AFI20171204BHJP

【ＦＩ】

   H04N9/09 A

【請求項の数】7

【全頁数】20

(21)【出願番号】特願2013-266313(P2013-266313)

(22)【出願日】2013年12月25日

(65)【公開番号】特開2015-122679(P2015-122679A)

(43)【公開日】2015年7月2日

【審査請求日】2016年11月1日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】添野 拓司

(72)【発明者】

【氏名】山下 誉行

(72)【発明者】

【氏名】林田 哲哉

(72)【発明者】

【氏名】船津 良平

(72)【発明者】

【氏名】中村 友洋

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開２０１２−１２９９２７（ＪＰ，Ａ）

【文献】 特開２００４−０２３４４５（ＪＰ，Ａ）

【文献】 特開２０１３−２１９６２１（ＪＰ，Ａ）

【文献】 特開平０８−０５１６２２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／１４−５／２５７

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ ９／００−９／１１

Ｈ０４Ｎ ９／４３−９／７８

Ｈ０４Ｎ１１／００−１１／２４

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

被写体からの光を、３原色のうち予め定めた基準原色と、前記基準原色以外の第２原色と、前記基準原色及び前記第２原色以外の第３原色とに分光し、前記被写体を撮影する３板式の撮影装置であって、
前記基準原色の撮影画像に第１注目画素を１画素間隔で設定し、前記第１注目画素と前記第１注目画素の隣接画素とに基づいて、前記第１注目画素に対応する第１対応画素の画素値を算出し、前記第１対応画素で構成される基準原色第１圧縮画像を生成し、前記第１注目画素を基準とした隣接画素の相関を表す付加情報を、前記第１対応画素毎に付加する基準原色第１圧縮画像生成部と、
前記基準原色の撮影画像に前記第１注目画素が水平及び垂直に１画素シフトした位置で第２注目画素を設定し、前記第２注目画素と前記第２注目画素の隣接画素とに基づいて、前記第２注目画素に対応する第２対応画素の画素値を算出し、前記第２対応画素で構成される基準原色第２圧縮画像を生成し、前記第２注目画素を基準とした隣接画素の相関を表す付加情報を、前記第２対応画素毎に付加する基準原色第２圧縮画像生成部と、
前記第２原色の撮影画像に前記第１注目画素が水平に１画素シフトした位置で第３注目画素を設定し、前記第３注目画素と前記第３注目画素の隣接画素とに基づいて、前記第３注目画素に対応する第３対応画素の画素値を算出し、前記第３対応画素で構成される第２原色圧縮画像を生成し、前記第３注目画素を基準とした隣接画素の相関を表す付加情報を、前記第３対応画素毎に付加する第２原色圧縮画像生成部と、
前記第３原色の撮影画像に前記第１注目画素が垂直に１画素シフトした位置で第４注目画素を設定し、前記第４注目画素と前記第４注目画素の隣接画素とに基づいて、前記第４注目画素に対応する第４対応画素の画素値を算出し、前記第４対応画素で構成される第３原色圧縮画像を生成し、前記第４注目画素を基準とした隣接画素の相関を表す付加情報を、前記第４対応画素毎に付加する第３原色圧縮画像生成部と、
前記基準原色第１圧縮画像と、前記基準原色第２圧縮画像と、前記第２原色圧縮画像と、前記第３原色圧縮画像とを画像補間装置に送信する画像送信部と、
を備えることを特徴とする撮影装置。

【請求項2】

前記基準原色第１圧縮画像生成部は、
前記第１注目画素の画素値の１／２と、前記第１注目画素の上下左右に隣接する隣接画素の画素値の１／８とを加算して、前記第１対応画素の画素値を算出し、
前記第１注目画素と、前記第１注目画素の上下左右に隣接する隣接画素との画素値が近似する順位により、上下方向相関、左右方向相関又は相関方向無を示す付加情報を生成し、
前記基準原色第２圧縮画像生成部は、
前記第２注目画素の画素値の１／２と、前記第２注目画素の上下左右に隣接する隣接画素の画素値の１／８とを加算して、前記第２対応画素の画素値を算出し、
前記第２注目画素と、前記第２注目画素の上下左右に隣接する隣接画素との画素値が近似する順位により、上下方向相関、左右方向相関又は相関方向無を示す付加情報を生成することを特徴とする請求項１に記載の撮影装置。

【請求項3】

前記第２原色圧縮画像生成部は、
前記第３注目画素の画素値の１／２と、前記第３注目画素に上下左右斜めに隣接する隣接画素の画素値の１／１６とを加算して、前記第３対応画素の画素値を算出し、
前記第３注目画素と、前記第３注目画素に上下左右斜めに隣接する隣接画素との画素値が近似する順位により、上下方向相関、左右方向相関、右斜め方向相関又は左斜め方向相関を示す付加情報を生成し、
前記第３原色圧縮画像生成部は、
前記第４注目画素の画素値の１／２と、前記第４注目画素に上下左右斜めに隣接する隣接画素の画素値の１／１６とを加算して、前記第４対応画素の画素値を算出し、
前記第４注目画素と、前記第４注目画素に上下左右斜めに隣接する隣接画素との画素値が近似する順位により、上下方向相関、左右方向相関、右斜め方向相関又は左斜め方向相関を示す付加情報を生成することを特徴とする請求項１又は請求項２に記載の撮影装置。

【請求項4】

請求項１に記載の撮影装置から受信した画像を補間する画像補間装置であって、
３原色のうち予め定めた基準原色の撮影画像から抽出した第１対応画素で構成される基準原色第１圧縮画像と、前記基準原色の撮影画像から抽出した第２対応画素で構成される基準原色第２圧縮画像と、前記基準原色以外の第２原色の撮影画像から抽出した第３対応画素で構成される第２原色圧縮画像と、前記基準原色及び前記第２原色以外の第３原色の撮影画像から抽出した第４対応画素で構成される第３原色圧縮画像とを、前記撮影装置から受信する画像受信部と、
前記第１対応画素及び前記第２対応画素を１画素間隔で展開し、前記第１対応画素及び前記第２対応画素の付加情報を参照し、前記第１対応画素と前記第２対応画素とに囲まれた補間対象画素を補間することで、前記基準原色の撮影画像を生成する基準原色撮影画像補間部と、
前記第３対応画素を１画素間隔で展開し、前記第３対応画素の付加情報を参照し、前記第３対応画素の間に位置する補間対象画素を補間することで、前記第２原色の撮影画像を生成する第２原色撮影画像補間部と、
前記第４対応画素を１画素間隔で展開し、前記第４対応画素の付加情報を参照し、前記第４対応画素の間に位置する補間対象画素を補間することで、前記第３原色の撮影画像を生成する第３原色撮影画像補間部と、
前記基準原色の撮影画像と、前記第２原色の撮影画像と、前記第３原色の撮影画像とを合成することで、被写体が撮影された被写体画像を生成する画像合成部と、
を備えることを特徴とする画像補間装置。

【請求項5】

前記基準原色撮影画像補間部は、
前記補間対象画素の上下左右に隣接する第１対応画素及び第２対応画素を、上下方向相関、左右方向相関又は相関方向無を示す前記付加情報の分類毎に集計し、
前記分類毎の画素数に応じた重みを用いて、前記第１対応画素及び前記第２対応画素の画素値を重み付け加算することで、前記基準原色の撮影画像における補間対象画素の画素値を算出することを特徴とする請求項４に記載の画像補間装置。

【請求項6】

前記第２原色撮影画像補間部は、
前記補間対象画素の斜めに位置する第３対応画素を、前記付加情報が上下方向相関又は左右方向相関のときに無相関の分類に集計し、前記付加情報が右斜め方向相関又は左斜め方向相関のとき、前記第３対応画素から見た補間対象画素の方向と前記付加情報の方向とが一致すれば正相関の分類に集計し、一致しなければ逆相関の分類に集計し、
前記分類毎の画素数に応じた重みを用いて、前記第３対応画素の画素値を重み付け加算することで、前記第２原色の撮影画像における補間対象画素を補間し、
前記第３原色撮影画像補間部は、
前記補間対象画素の斜めに位置する第４対応画素を、前記付加情報が上下方向相関又は左右方向相関のときに無相関の分類に集計し、前記付加情報が右斜め方向相関又は左斜め方向相関のとき、前記第４対応画素から見た補間対象画素の方向と前記付加情報の方向とが一致すれば正相関の分類に集計し、一致しなければ逆相関の分類に集計し、
前記分類毎の画素数に応じた重みを用いて、前記第４対応画素の画素値を重み付け加算することで、前記第３原色の撮影画像における補間対象画素を補間することを特徴とする請求項４又は請求項５に記載の画像補間装置。

【請求項7】

前記第２原色撮影画像補間部は、
前記補間対象画素の上下又は左右に隣接する第３対応画素の対について、前記付加情報の組み合わせに応じた重みを用いて、前記第３対応画素の画素値を重み付け加算することで、前記第２原色の撮影画像における補間対象画素を補間し、
前記第３原色撮影画像補間部は、
前記補間対象画素の上下又は左右に隣接する第４対応画素の対について、前記付加情報の組み合わせに応じた重みを用いて、前記第４対応画素の画素値を重み付け加算することで、前記第３原色の撮影画像における補間対象画素を補間することを特徴とする請求項４から請求項６の何れか一項に記載の画像補間装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、撮影した画像のデータ量を圧縮する３板式の撮影装置、及び、この撮影装置で圧縮された画像を補間する画像補間装置に関する。

【背景技術】

【0002】

近年、ハイビジョンを上回る解像度を持つ高精細映像システムの研究開発が進められている（例えば、特許文献１，２及び非特許文献１）。高精細映像システムは、高解像度の信号をカメラヘッドで撮影し、信号伝送部で信号を伝送する。また、高精細映像システムは、高解像度の信号をカメラコントロールユニットの信号受信部で受信する。

【0003】

この高解像度の信号は、情報量が非常に多いため、カメラヘッドでデータ量を圧縮して送信することが有効である。例えば、このデータ圧縮手法として、カメラヘッドで単純に画素を間引く手法、又は、４画素を１画素にまとめる手法が知られている。このようにデータ量が低減することで、高精細映像システムは、信号伝送部及び信号受信部の低消費電力化を図ることができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５２７１２４３号公報

【特許文献2】米国特許第３９７１０６５号明細書

【非特許文献】

【0005】

【非特許文献1】B.K.Gunturk,et al.“Demosaicking: Color Filter Array Interpolation”,IEEE signal processing magazine,pp.44-54,January 2005.

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、前記した高精細映像システムは、データ量の圧縮に伴って、解像度が劣化してしまう。そこで、高精細映像システムにおいて、データ量の低減と、解像度劣化の抑制との両立に強い要望がある。

【0007】

本願発明は、前記した課題に鑑みて、データ量の低減と、解像度劣化の抑制とを両立できる撮影装置及び画像補間装置を提供することを課題とする。

【課題を解決するための手段】

【0008】

前記した課題に鑑みて、本願発明に係る撮影装置は、被写体からの光を、３原色のうち予め定めた基準原色と、基準原色以外の第２原色と、基準原色及び第２原色以外の第３原色とに分光し、被写体を撮影する３板式の撮影装置であって、基準原色第１圧縮画像生成部と、基準原色第２圧縮画像生成部と、第２原色圧縮画像生成部と、第３原色圧縮画像生成部と、画像送信部と、を備えることを特徴とする。

【0009】

かかる構成によれば、撮影装置は、基準原色第１圧縮画像生成部によって、基準原色の撮影画像に第１注目画素を１画素間隔で設定し、第１注目画素と第１注目画素の隣接画素とに基づいて、第１注目画素に対応する第１対応画素の画素値を算出し、第１対応画素で構成される基準原色第１圧縮画像を生成し、第１注目画素を基準とした隣接画素の相関を表す付加情報を、第１対応画素毎に付加する。
つまり、基準原色第１圧縮画像は、４画素のうちの１画素を第１注目画素として抽出して付加情報を加えているので、基準原色の撮影画像に比べてデータ量が約１／４に低減している。

【0010】

また、撮影装置は、基準原色第２圧縮画像生成部によって、基準原色の撮影画像に第１注目画素が水平及び垂直に１画素シフトした位置で第２注目画素を設定し、第２注目画素と第２注目画素の隣接画素とに基づいて、第２注目画素に対応する第２対応画素の画素値を算出し、第２対応画素で構成される基準原色第２圧縮画像を生成し、第２注目画素を基準とした隣接画素の相関を表す付加情報を、第２対応画素毎に付加する。
つまり、基準原色第２圧縮画像は、基準原色第１圧縮画像と同様、基準原色の撮影画像に比べてデータ量が約１／４に低減している。

【0011】

また、撮影装置は、第２原色圧縮画像生成部によって、第２原色の撮影画像に第１注目画素が水平に１画素シフトした位置で第３注目画素を設定し、第３注目画素と第３注目画素の隣接画素とに基づいて、第３注目画素に対応する第３対応画素の画素値を算出し、第３対応画素で構成される第２原色圧縮画像を生成し、第３注目画素を基準とした隣接画素の相関を表す付加情報を、第３対応画素毎に付加する。
つまり、第２原色圧縮画像は、基準原色第１圧縮画像と同様、第２原色の撮影画像に比べてデータ量が約１／４に低減している。

【0012】

また、撮影装置は、第３原色圧縮画像生成部によって、第３原色の撮影画像に第１注目画素が垂直に１画素シフトした位置で第４注目画素を設定し、第４注目画素と第４注目画素の隣接画素とに基づいて、第４注目画素に対応する第４対応画素の画素値を算出し、第４対応画素で構成される第３原色圧縮画像を生成し、第４注目画素を基準とした隣接画素の相関を表す付加情報を、第４対応画素毎に付加する。
つまり、第３原色圧縮画像は、基準原色第１圧縮画像と同様、第３原色の撮影画像に比べてデータ量が約１／４に低減している。

【0013】

そして、撮影装置は、画像送信部によって、基準原色第１圧縮画像、基準原色第２圧縮画像、第２原色圧縮画像及び第３原色圧縮画像からなる圧縮画像を、カメラコントロールユニット（画像補間装置）に送信する。
このように、撮影装置は、３原色の撮影画像のデータ量が大幅に低減された圧縮画像を生成し、圧縮画像の補間に必要な付加情報を付加して、カメラコントロールユニットに送信する。

【0014】

また、前記した課題に鑑みて、本願発明に係るカメラコントロールユニットは、前記した撮影装置より受信した画像を補間するカメラコントロールユニットであって、画像受信部と、基準原色撮影画像補間部と、第２原色撮影画像補間部と、第３原色撮影画像補間部と、画像合成部と、を備えることを特徴とする。

【0015】

かかる構成によれば、カメラコントロールユニットは、画像受信部によって、３原色の撮影画像のデータ量が大幅に低減され、補間に必要な付加情報が付加された圧縮画像を撮影装置から受信する。

【0016】

また、カメラコントロールユニットは、基準原色撮影画像補間部によって、第１対応画素及び第２対応画素を１画素間隔で展開し、第１対応画素及び第２対応画素の付加情報を参照し、第１対応画素と第２対応画素とに囲まれた補間対象画素を補間することで、基準原色の撮影画像を生成する。

【0017】

なお、展開とは、圧縮信号の対応画素を、この対応画素に対応する注目画素と同じ画素位置に配置することである。言い換えるなら、展開とは、圧縮信号の対応画素を撮影画像で元の画素位置に配置することである。

【0018】

また、カメラコントロールユニットは、第２原色撮影画像補間部によって、第３対応画素を１画素間隔で展開し、第３対応画素の付加情報を参照し、第３対応画素の間に位置する補間対象画素を補間することで、第２原色の撮影画像を生成する。そして、カメラコントロールユニットは、第３原色撮影画像補間部によって、第４対応画素を１画素間隔で展開し、第４対応画素の付加情報を参照し、第４対応画素の間に位置する補間対象画素を補間することで、第３原色の撮影画像を生成する。このように、カメラコントロールユニットは、圧縮画像に付加された付加情報を用いて、隣接画素の相関を考慮した補間により、３原色の撮影画像を生成する。
その後、カメラコントロールユニットは、画像合成部によって、基準原色の撮影画像と、第２原色の撮影画像と、第３原色の撮影画像とを合成することで、被写体画像を生成する。

【発明の効果】

【0019】

本願発明によれば、以下のような優れた効果を奏する。
本願発明に係る撮影装置は、３原色の撮影画像のデータ量が大幅に低減された圧縮画像を生成し、圧縮画像の補間に必要な付加情報を付加して、カメラコントロールユニットに送信する。そして、本願発明に係るカメラコントロールユニットは、圧縮画像に付加された付加情報を用いて、隣接画素の相関を考慮した補間により、被写体画像を生成する。これによって、本願発明に係る撮影装置及びカメラコントロールユニットは、データ量の低減と、解像度劣化の抑制とを両立できるので、低消費電力化を図りつつ、高品質な撮影画像を提供することができる。

【図面の簡単な説明】

【0020】

【図1】本願発明の実施形態に係る撮影カメラシステムの概略図である。

【図2】図１のカメラヘッド及びカメラコントロールユニットの構成を示すブロック図である。

【図3】（ａ）はＧ１信号の生成を説明する説明図であり、（ｂ）はＧ２信号の生成を説明する説明図である。

【図4】（ａ）はＧ１信号の隣接画素を説明する説明図であり、（ｂ）はＧ１信号の付加情報を説明する説明図である。

【図5】（ａ）は赤信号の生成を説明する説明図であり、（ｂ）は青信号の生成を説明する説明図である。

【図6】赤信号の隣接画素を説明する説明図である。

【図7】（ａ）及び（ｂ）は赤信号の付加情報を説明する説明図である。

【図8】（ａ）はＧ１信号、Ｇ２信号、赤信号及び青信号の位置関係を説明する説明図であり、（ｂ）は３原色の撮影画像を示した説明図である。

【図9】（ａ）は緑撮影画像を説明する説明図であり、（ｂ）は緑撮影画像の補間を説明する説明図である。

【図10】緑信号補間部の補間で利用するテーブルを説明する説明図である。

【図11】赤撮影画像を説明する説明図である。

【図12】赤撮影画像における第１の補間手法を説明する説明図である。

【図13】第１の補間手法で利用するテーブルを説明する説明図である。

【図14】赤撮影画像における第２の補間手法を説明する説明図である。

【図15】第２の補間手法で利用するテーブルを説明する説明図である。

【図16】（ａ）はカメラヘッドの動作を示すフローチャートであり、（ｂ）はカメラコントロールユニットの動作を示すフローチャートである。

【発明を実施するための形態】

【0021】

［撮影カメラシステムの概略］
以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１を参照し、本願発明の実施形態に係る撮影カメラシステム１の概略について、説明する。
図１に示すように、撮影カメラシステム１は、被写体（不図示）を撮影するものであり、カメラヘッド（撮影装置）１０と、カメラコントロールユニット（画像補間装置）２０と、ケーブル３０とを備える。

【0022】

カメラヘッド１０は、被写体を撮影する３板式のカメラヘッドである。このカメラヘッド１０は、３原色それぞれの撮影画像を圧縮した圧縮画像を生成し、後記する付加情報を付加する。そして、カメラヘッド１０は、ケーブル３０を介して、付加情報が付加された圧縮画像を、カメラコントロールユニット２０に送信する。

【0023】

例えば、カメラヘッド１０は、一般的なカメラヘッドと同様に撮影レンズ１１を備え、三脚１２に搭載されている。以下、カメラヘッド１０の一般的機能は、その説明を省略する。

【0024】

カメラコントロールユニット２０は、カメラヘッド１０から受信した圧縮画像を補間して、被写体が撮影された被写体影画像を生成する。このとき、カメラコントロールユニット２０は、付加情報を用いて、圧縮画像を補間することになる。
ここで、カメラコントロールユニット２０は、一般的なカメラコントロールユニットと同様、カメラヘッド１０の各種制御機能及び各種画像処理機能を備えるが、その説明を省略する。

【0025】

ケーブル３０は、カメラヘッド１０及びカメラコントロールユニット２０を接続する信号ケーブルである。ここで、ケーブル３０は、その長さが特に制限されない。

【0026】

［カメラヘッドの構成］
図２を参照し、カメラヘッド１０の構成について、説明する（適宜図１参照）。
図２に示すように、カメラヘッド１０は、分光手段１３と、撮像素子１４と、信号生成部１５と、信号送信部（画像送信部）１６とを備える。

【0027】

分光手段１３は、被写体から出射して撮影レンズ１１を通過した光を、緑色、赤色及び青色の３原色に分光する光学ブロック（例えば、色分解プリズム）である。そして、分光手段１３は、分光した３原色の光を、撮像素子１４に出射する。
本実施形態では、３原色のうち緑色が基準原色として設定され、赤色が第２原色として設定され、青色が第３原色として設定されていることとする。

【0028】

撮像素子１４は、分光手段１３で分光された３原色の光により、３原色それぞれの撮影画像を生成するものであり、緑撮像素子１４Ｇと、赤撮像素子１４Ｒと、青撮像素子１４Ｂとを備える。例えば、撮像素子１４としては、ＣＭＯＳ又はＣＣＤ等の固体撮像素子をあげることができる。

【0029】

緑撮像素子１４Ｇは、分光手段１３から入射した緑色の光により、緑色の撮影画像（緑撮影画像）を生成するものである。そして、緑撮像素子１４Ｇは、生成した緑撮影画像を緑信号生成部１５Ｇに出力する。

【0030】

赤撮像素子１４Ｒは、分光手段１３から入射した赤色の光により、赤色の撮影画像（赤撮影画像）を生成するものである。そして、赤撮像素子１４Ｒは、生成した赤撮影画像を赤信号生成部１５Ｒに出力する。

【0031】

青撮像素子１４Ｂは、分光手段１３から入射した青色の光を撮影により、青色の撮影画像（青撮影画像）を生成するものである。そして、青撮像素子１４Ｂは、生成した青撮影画像を青信号生成部１５Ｂに出力する。
なお、緑撮影画像、赤撮影画像及び青撮影画像は、同一画素数であることとする。

【0032】

信号生成部１５は、撮像素子１４が生成した３原色の撮影画像を圧縮するものであり、緑信号生成部１５Ｇと、赤信号生成部（第２原色圧縮画像生成部）１５Ｒと、青信号生成部（第３原色圧縮画像生成部）１５Ｂとを備える。

【0033】

ここで、人間の目は、赤色及び青色よりも緑色の方が高感度なことが知られている。そこで、信号生成部１５は、人間の目の感度に合わせて、１つの緑撮影画像からＧ１信号，Ｇ２信号という２つの信号を生成するため、Ｇ１信号生成部（基準原色第１圧縮画像生成部）１５Ｇａと、Ｇ２信号生成部（基準原色第２圧縮画像生成部）１５Ｇｂとを備える。
なお、赤信号生成部１５Ｒは、１つの赤撮影画像から１つの赤信号を生成する（青色も同様）。

【0034】

Ｇ１信号生成部１５Ｇａは、緑撮影画像に第１注目画素を１画素間隔で設定し、第１注目画素と第１注目画素の隣接画素とに基づいて、第１注目画素に対応する第１対応画素の画素値を算出し、第１対応画素で構成されるＧ１信号（基準原色第１圧縮画像）を生成するものである。そして、Ｇ１信号生成部１５Ｇａは、第１注目画素を基準とした隣接画素の相関を表す付加情報を第１対応画素に付加して、信号送信部１６に出力する。

【0035】

Ｇ２信号生成部１５Ｇｂは、緑撮影画像に第１注目画素が水平及び垂直に１画素シフトした位置で第２注目画素を設定し、第２注目画素と第２注目画素の隣接画素とに基づいて、第２注目画素に対応する第２対応画素の画素値を算出し、第２対応画素で構成されるＧ２信号（基準原色第２圧縮画像）を生成するものである。そして、Ｇ２信号生成部１５Ｇｂは、第２注目画素を基準とした隣接画素の相関を表す付加情報を、第２対応画素毎に付加して、信号送信部１６に出力する。

【0036】

＜Ｇ１信号及びＧ２信号の生成＞
図３，図４を参照し、Ｇ１信号及びＧ２信号の生成について、詳細に説明する（適宜図２参照）。
図３では、説明を簡易にするため、緑撮影画像が縦横５画素であることとする。

【0037】

図３（ａ）に示すように、Ｇ１信号生成部１５Ｇａは、例えば、緑撮影画像の左上を基準として、第１注目画素Ｇ１を１画素間隔で設定する。ここで、第１注目画素Ｇ１の上下左右に位置する隣接画素に着目する（図３（ａ）のハッチング）。

【0038】

図４（ａ）に示すように、Ｇ１信号生成部１５Ｇａは、第１注目画素Ｇ１の画素値を１／２にした値と、上下左右の隣接画素ａ〜ｄの画素値を１／８にした値とを加算し、第１注目画素Ｇ１に対応する第１対応画素の画素値を求める。そして、Ｇ１信号生成部１５Ｇａは、第１対応画素で構成されるＧ１信号を生成する。言い換えるなら、Ｇ１信号生成部１５Ｇａは、緑撮影画像の４画素のうち１画素を抽出し、抽出した画素を隣接配置したＧ１信号を生成する。

【0039】

なお、第１注目画素Ｇ１が緑撮影画像の周辺部に位置し、上下左右の何れか１以上の隣接画素が存在しない場合も考えられる。この場合、Ｇ１信号生成部１５Ｇａは、存在する隣接画素のみを用いて、Ｇ１信号の各画素の画素値を求める。例えば、左上の第１注目画素Ｇ１であれば、Ｇ１信号生成部１５Ｇａは、左上の第１注目画素Ｇ１の画素値を１／２にした値と、右側の隣接画素ｃの画素値を１／４にした値と、下側の隣接画素ｄの画素値を１／４にした値とを加算する。このように、第１注目画素Ｇ１の画素値に乗じる分数と、存在する隣接画素の画素値に乗じる分数との和が、‘１’になることが好ましい。

【0040】

次に、Ｇ１信号生成部１５Ｇａは、付加情報を生成して第１対応画素に付加する。具体的には、Ｇ１信号生成部１５Ｇａは、第１注目画素Ｇ１の画素値に、隣接画素ａ〜ｄの画素値が近似する順位を求める。そして、Ｇ１信号生成部１５Ｇａは、求めた順位に応じて付加情報を生成する。

【0041】

図４（ｂ）に示すように、Ｇ１信号生成部１５Ｇａは、第１注目画素Ｇ１から見て、順位が１番目及び２番目となる隣接画素の方向を示す付加情報を生成する。
例えば、Ｇ１信号生成部１５Ｇａは、隣接画素ａ，ｃが１番目及び２番目の場合、隣接画素ａ，ｃが第１注目画素Ｇ１の左右に位置するので、左右方向相関を示す付加情報を生成する（例えば、‘０１’）。
また、例えば、Ｇ１信号生成部１５Ｇａは、隣接画素ｂ，ｄが１番目及び２番目の場合、隣接画素ｂ，ｄが第１注目画素Ｇ１の上下に位置するので、上下方向相関を示す付加情報を生成する（例えば、‘１０’）。
また、Ｇ１信号生成部１５Ｇａは、１番目及び２番目の隣接画素が前記以外の組み合わせの場合、相関方向無を示す付加情報を生成する（例えば、‘００’）。
このように、Ｇ１信号生成部１５Ｇａは、付加情報を２ビットで表すため、付加情報の付加によるデータ量の増加を最小限に抑えることができる。

【0042】

図３（ｂ）に示すように、Ｇ２信号生成部１５Ｇｂは、第１注目画素Ｇ１が水平及び垂直に１画素シフトした位置に第２注目画素Ｇ２を設定する。その後、Ｇ２信号生成部１５Ｇｂは、Ｇ１信号生成部１５Ｇａと同様、第２注目画素Ｇ２を基準としてＧ２信号を生成し、付加情報をＧ２信号に付加する。

【0043】

この結果、Ｇ１信号及びＧ２信号は、緑撮影画像の１／４の画素数を有し、緑撮影画像で隣接画素の相関を表す付加情報が各画素に付加されている。従って、緑撮影画像は、データ量が約半分のＧ１信号及びＧ２信号に変換されたと言える。

【0044】

図２に戻り、カメラヘッド１０の構成について、説明を続ける。
赤信号生成部１５Ｒは、赤撮影画像に第１注目画素が水平に１画素シフトした位置で第３注目画素を設定し、第３注目画素と第３注目画素の隣接画素とに基づいて、第３注目画素に対応する第３対応画素の画素値を算出し、第３対応画素で構成される赤信号（第２原色圧縮画像）を生成するものである。そして、赤信号生成部１５Ｒは、第３注目画素を基準とした隣接画素の相関を表す付加情報を第３対応画素毎に付加して、信号送信部１６に出力する。

【0045】

青信号生成部１５Ｂは、青撮影画像に第１注目画素が垂直に１画素シフトした位置で第４注目画素を設定し、第４注目画素と第４注目画素の隣接画素とに基づいて、第４注目画素に対応する第４対応画素の画素値を算出し、第４対応画素で構成される青信号（第３原色圧縮画像）を生成するものである。そして、青信号生成部１５Ｂは、第４注目画素を基準とした隣接画素の相関を表す付加情報を、第４対応画素毎に付加して、信号送信部１６に出力する。

【0046】

＜赤信号及び青信号の生成＞
図５〜図７を参照し、赤信号及び青信号の生成について、詳細に説明する（適宜図２参照）。
図５では、説明を簡易にするため、赤色及び青撮影画像が縦横５画素であることとする。

【0047】

図５（ａ）に示すように、赤信号生成部１５Ｒは、第１注目画素Ｇ１（図３）が水平に１画素シフトした位置に第３注目画素Ｒを設定する。ここで、第３注目画素Ｒの上下左右斜めに位置する隣接画素に着目する（図５（ａ）のハッチング）。

【0048】

図６に示すように、赤信号生成部１５Ｒは、第３注目画素Ｒの画素値を１／２にした値と、上下左右斜めの隣接画素ａ〜ｈの画素値を１／１６にした値とを加算し、第３注目画素Ｒに対応する第３対応画素の画素値を求める。そして、赤信号生成部１５Ｒは、第３対応画素で構成される赤信号を生成する。

【0049】

なお、第３注目画素Ｒが赤撮影画像の周辺部に位置し、上下左右斜めの何れか１以上の隣接画素が存在しない場合も考えられる。この場合、赤信号生成部１５Ｒは、存在する隣接画素のみを用いて、赤信号の各画素の画素値を求める。例えば、上端の第３注目画素Ｒであれば、赤信号生成部１５Ｒは、上端の第３注目画素Ｒの画素値を１／２にした値と、隣接画素ｄ〜ｈの画素値を１／１０にした値とを加算する。このように、第３注目画素Ｒの画素値に乗じる分数と、存在する隣接画素の画素値に乗じる分数との和が、‘１’になることが好ましい。

【0050】

次に、赤信号生成部１５Ｒは、付加情報を生成して赤信号の各画素に付加する。具体的には、赤信号生成部１５Ｒは、第３注目画素Ｒの画素値に、隣接画素ａ〜ｈの画素値が近似する順位を求める。そして、赤信号生成部１５Ｒは、求めた順位に応じて付加情報を生成する。

【0051】

まず、赤信号生成部１５Ｒは、８つの隣接画素ａ〜ｈの画素値が近似する順位を１番目から５番目まで求める。図７（ｂ）に示すように、赤信号生成部１５Ｒは、１番目から５番目までの隣接画素に、順位に応じた係数を与える。この係数は、順位が高い程に値が大きく、順位が低い程に値が小さくなるように予め設定される。

【0052】

また、赤信号生成部１５Ｒは、第３注目画素Ｒを挟んだ２つの隣接画素の係数合計値を算出する。つまり、赤信号生成部１５Ｒは、第３注目画素Ｒの左右に位置する隣接画素ｄ，ｅの係数合計値と、第３注目画素Ｒの上下に位置する隣接画素ｂ，ｇの係数合計値とを算出する。また、赤信号生成部１５Ｒは、第３注目画素Ｒの左斜めに位置する隣接画素ａ，ｈの係数合計値と、第３注目画素Ｒの右斜めに位置する隣接画素ｃ，ｆの係数合計値とを算出する。

【0053】

そして、赤信号生成部１５Ｒは、２つの隣接画素の係数合計値が最大になる方向を示す付加情報を生成する。
例えば、赤信号生成部１５Ｒは、隣接画素ｄ，ｅの係数合計値が最大の場合、隣接画素ｄ，ｅが第３注目画素Ｒの左右に位置するので、左右方向相関を示す付加情報を生成する（例えば、‘０１’）。
また、例えば、赤信号生成部１５Ｒは、隣接画素ｂ，ｇの係数合計値が最大の場合、隣接画素ｂ，ｇが第３注目画素Ｒの上下に位置するので、上下方向相関を示す付加情報を生成する（例えば、‘００’）。
また、例えば、赤信号生成部１５Ｒは、隣接画素ａ，ｈの係数合計値が最大の場合、隣接画素ａ，ｈが第３注目画素Ｒの左斜めに位置するので、左斜め方向相関を示す付加情報を生成する（例えば、‘１０’）。
また、赤信号生成部１５Ｒは、隣接画素ｃ，ｆの係数合計値が最大の場合、隣接画素ｃ，ｆが第３注目画素Ｒの右斜めに位置するので、右斜め方向相関を示す付加情報を生成する（例えば、‘１１’）。
このように、赤信号生成部１５Ｒは、付加情報を２ビットで表すため、付加情報の付加によるデータ量の増加を最小限に抑えることができる。

【0054】

図５（ｂ）に示すように、青信号生成部１５Ｂは、第１注目画素Ｇ１（図３）が垂直に１画素シフトした位置に第４注目画素Ｂを設定する。その後、青信号生成部１５Ｂは、赤信号生成部１５Ｒと同様、第４注目画素Ｂを基準として青信号を生成し、付加情報を青信号に付加する。

【0055】

図２に戻り、カメラヘッド１０の構成について、説明を続ける。
信号送信部１６は、Ｇ１信号生成部１５Ｇａから入力されたＧ１信号と、Ｇ２信号生成部１５Ｇｂから入力されたＧ２信号と、赤信号生成部１５Ｒから入力された赤信号と、青信号生成部１５Ｂから入力された青信号とを、カメラコントロールユニット２０に送信するものである。
以下、Ｇ１信号、Ｇ２信号、赤信号及び青信号を圧縮信号と呼ぶことがある。

【0056】

図８（ａ）に示すように、圧縮信号は、３原色の撮影画像からベイヤー配列で注目画素Ｇ１，Ｇ２，Ｒ，Ｂを抽出して画素値を計算し、注目画素Ｇ１，Ｇ２，Ｒ，Ｂに付加情報を付加したものである。従って、信号送信部１６は、図８（ｂ）に示すように、３原色の撮影画像９０Ｇ，９０Ｒ，９０Ｂを送信する場合に比べ、大幅に少ないデータ量で圧縮信号を送信することができる。

【0057】

[カメラコントロールユニットの構成]
図２に戻り、カメラコントロールユニット２０の構成について、説明する（適宜図１参照）。
図２に示すように、カメラコントロールユニット２０は、信号受信部（画像受信部）２１と、信号補間部２２と、画像合成部２３とを備える。

【0058】

信号受信部２１は、カメラヘッド１０から圧縮信号を受信するものである。また、信号受信部２１は、受信したＧ１信号及びＧ２信号を緑信号補間部２２Ｇに出力する。また、信号受信部２１は、受信した赤信号を赤信号補間部２２Ｒに出力し、受信した青信号を青信号補間部２２Ｂに出力する。

【0059】

信号補間部２２は、信号受信部２１から入力された圧縮信号を補間し、３原色の撮影画像を生成するものである。このため、信号補間部２２は、緑信号補間部（基準原色撮影画像補間部）２２Ｇと、赤信号補間部（第２原色撮影画像補間部）２２Ｒと、青信号補間部（第３原色撮影画像補間部）２２Ｂとを備える。

【0060】

緑信号補間部２２Ｇは、信号受信部２１からＧ１信号及びＧ２信号が入力される。そして、緑信号補間部２２Ｇは、Ｇ１信号の第１対応画素及びＧ２信号の第２対応画素を１画素間隔で展開するものである。そして、緑信号補間部２２Ｇは、第１対応画素及び第２対応画素の付加情報を参照し、第１対応画素と第２対応画素とに囲まれた補間対象画素を補間することで、緑撮影画像を生成する。さらに、緑信号補間部２２Ｇは、生成した、緑撮影画像を画像合成部２３に出力する。

【0061】

＜緑撮影画像の生成＞
図９，図１０を参照し、緑撮影画像の生成について、説明する（適宜図２参照）。
図９（ａ）では、説明を簡易にするため、緑撮影画像が縦横４画素であることとする。また、図９（ｂ）は、図９（ａ）の太枠部分に対応する。

【0062】

図９（ａ）に示すように、緑信号補間部２２Ｇは、第２対応画素Ｇ２の位置を第１対応画素Ｇ１の位置から水平及び垂直に１画素シフトさせて、第１対応画素Ｇ１及び第２対応画素Ｇ２を１画素間隔で展開する。つまり、第１対応画素Ｇ１及び第２対応画素Ｇ２は、互いに斜めに位置する。この状態では、第１対応画素Ｇ１と第２対応画素Ｇ２とに囲まれた補間対象画素は、画素値が定まっていない。なお、図９（ａ）では、補間対象画素が空白となっている。

【0063】

このため、緑信号補間部２２Ｇは、図９（ｂ）に示すように、補間対象画素Ｇ’の上下左右に位置する第１対応画素Ｇ１及び第２対応画素Ｇ２の付加情報を抽出し、抽出した付加情報を用いて補間対象画素Ｇ’の画素値を補間する。

【0064】

なお、補間対象画素Ｇ’は、上下左右を第１対応画素Ｇ１及び第２対応画素Ｇ２に挟まれることになる。図９（ｂ）では、画素Ｇａ，Ｇｃが第２対応画素Ｇ２に相当し、画素Ｇｂ，Ｇｄが第１対応画素Ｇ１に相当する。

【0065】

具体的には、緑信号補間部２２Ｇは、補間対象画素Ｇ’の上下左右に隣接する画素Ｇａ〜Ｇｄについて、画素Ｇａ〜Ｇｄの付加情報が上下方向相関、左右方向相関又は相関方向無を示す分類毎に集計する。

【0066】

例えば、緑信号補間部２２Ｇは、画素Ｇａの付加信号が相関方向無（例えば、‘００’）の場合、画素Ｇａを相関なし（無相関）として集計する。
また、例えば、緑信号補間部２２Ｇは、画素Ｇａの付加信号が左右方向相関（例えば、‘０１’）の場合、画素Ｇａを相関あり（正相関）として集計する。
また、例えば、緑信号補間部２２Ｇは、画素Ｇａの付加信号が上下方向相関（例えば、‘１０’）の場合、画素Ｇａを逆相関として集計する。

【0067】

さらに、緑信号補間部２２Ｇは、画素Ｇａと同様、画素Ｇｂ〜Ｇｄも相関なし、相関あり又は逆相関の何れかとして集計する。つまり、緑信号補間部２２Ｇは、相関なし、相関あり又は逆相関という付加情報の分類毎に、画素Ｇａ〜Ｇｄの画素数を集計する。

【0068】

ここで、緑信号補間部２２Ｇは、図１０に示すように、重み付け加算の規則を示したテーブルが予め設定される。図１０のテーブルでは、相関なし、相関あり及び逆相関の３列は、付加情報の分類毎に集計された画素Ｇａ〜Ｇｄの画素の個数を表している。

【0069】

また、図１０のテーブルでは、最右列（画素Ｇ’の求め方）は、分類毎の画素数に応じた重み付け加算の規則を表している。すなわち、この最右列において、‘１／２’、‘１／３’、‘１／６’といった分数が、画素Ｇａ〜Ｇｄの画素値に乗算する重みを表している。画素Ｇａ〜Ｇｄの重みは、任意の値で設定可能であり、合計が‘１’となるように設定することが好ましい。また、‘４画素の平均’は、画素Ｇａ〜Ｇｄの重みが全て等しいことを表す。

【0070】

そして、緑信号補間部２２Ｇは、分類毎の画素Ｇａ〜Ｇｄの画素数が図１０のテーブルに一致する行を検索し、検索した行の最右列が示す重み付け加算の規則を読み出す。さらに、緑信号補間部２２Ｇは、読み出した規則に従って、画素Ｇａ〜Ｇｄの画素値を重み付け加算し、補間対象画素Ｇ’の画素値を算出する。つまり、緑信号補間部２２Ｇは、分類毎の画素数に応じた重みを用いて、画素Ｇａ〜Ｇｄの画素値を重み付け加算している。その後、緑信号補間部２２Ｇは、補間対象画素Ｇ’の画素値が定まった緑撮影画像を、画像合成部２３に出力する。

【0071】

例えば、画素Ｇａ〜Ｇｄが全て相関なしに集計された場合を考える。この場合、画素Ｇａ〜Ｇｄの分類毎の画素数は、相関なしで４画素、相関ありで０画素、逆相関で０画素となる。従って、画素Ｇａ〜Ｇｄの画素数が図１０のテーブルの上１行目に一致する。このため、緑信号補間部２２Ｇは、画素Ｇａ〜Ｇｄの画素値を平均して、補間対象画素Ｇ’の画素値を算出する。

【0072】

また、例えば、画素Ｇａ〜Ｇｃが相関なし、画素Ｇｄが相関ありに集計された場合を考える。この場合、画素Ｇａ〜Ｇｄの分類毎の画素数は、相関なしで３画素、相関ありで１画素、逆相関で０画素となる。従って、画素Ｇａ〜Ｇｄの画素数が図１０のテーブルの上２行目に一致する。このため、緑信号補間部２２Ｇは、画素Ｇａ〜Ｇｃの画素値をそれぞれ１／６にした値と、画素Ｇｄの画素値を１／２にした値とを加算して、補間対象画素Ｇ’の画素値を算出する。

【0073】

また、例えば、画素Ｇａ〜Ｇｃが相関なし、画素Ｇｄが逆相関に集計された場合を考える。この場合、画素Ｇａ〜Ｇｄの分類毎の画素数は、相関なしで３画素、相関ありで０画素、逆相関で１画素となる。従って、画素Ｇａ〜Ｇｄの画素数が図１０のテーブルの上３行目に一致する。このため、緑信号補間部２２Ｇは、画素Ｇａ〜Ｇｃの画素値をそれぞれ１／３にした値を加算して、補間対象画素Ｇ’の画素値を算出する。

【0074】

なお、画素Ｇｄは、逆相関に集計されているが、補間対象画素Ｇ’の画素値の算出に利用されていない。つまり、緑信号補間部２２Ｇは、補間対象画素Ｇ’の画素値の算出に、全ての画素Ｇａ〜Ｇｄの画素値を利用せずともよい。

【0075】

図２に戻り、カメラコントロールユニット２０の構成について、説明を続ける。
赤信号補間部２２Ｒは、信号受信部２１から入力された赤信号の付加情報を参照して、第３対応画素Ｒの間に位置する補間対象画素Ｒ１’，Ｒ２’を補間することで、赤撮影画像を生成するものである。そして、赤信号補間部２２Ｒは、生成した赤撮影画像を画像合成部２３に出力する。

【0076】

図１１に示すように、赤信号補間部２２Ｒは、赤信号の第３対応画素Ｒを１画素間隔で展開する。この状態では、第３対応画素Ｒが上下左右１つおきに存在しているため、補間手法を２種類検討する必要がある。

【0077】

第１の補間手法は、補間対象画素Ｒ１’の斜めに位置する第３対応画素Ｒの画素値を用いて、補間対象画素Ｒ１’を補間するものである。言い換えるなら、第１の補間手法は、第３対応画素Ｒの斜めに位置する補間対象画素Ｒ１’に適用される。

【0078】

第２の補間手法は、補間対象画素Ｒ２’を上下又は左右に挟んだ第３対応画素Ｒの画素値を用いて、補間対象画素Ｒ２’を補間するものである。言い換えるなら、第２の補間手法は、第３対応画素Ｒの上下左右に位置する補間対象画素Ｒ２’に適用される。

【0079】

なお、図１１では、一部の補間対象画素のみ符号Ｒ１’，Ｒ２’を図示した。当然、赤信号補間部２２Ｒは、全ての補間対象画素Ｒ１’に第１の補間手法を適用し、全ての補間対象画素Ｒ２’に第２の補間手法を適用する。

【0080】

＜第１の補間手法＞
図１２，図１３を参照し、第１の補間手法について、説明する（適宜図２参照）。
図１２では、補間対象画素Ｒ’の斜めに位置する第３対応画素Ｒを符号Ｒａ〜Ｒｄで図示した。この補間対象画素Ｒ’は、図１１の補間対象画素Ｒ１’に相当する。

【0081】

図１２に示すように、赤信号補間部２２Ｒは、第３対応画素Ｒａの付加情報が上下方向相関（例えば、‘００’）の場合、又は、左右方向相関（例えば、‘０１’）の場合、相関なし（無相関）の分類に集計する。

【0082】

また、赤信号補間部２２Ｒは、第３対応画素Ｒａの付加情報が左斜め方向相関（例えば、‘１０’）の場合、又は、右斜め方向相関（例えば、‘１１’）の場合、第３対応画素Ｒａと補間対象画素Ｒ’との位置関係に応じて、相関あり（正相関）又は逆相関の分類に集計する。

【0083】

つまり、赤信号補間部２２Ｒは、補間対象画素Ｒ’から見た第３対応画素Ｒａの方向が、第３対応画素Ｒａの付加情報が示す方向に一致する場合、正相関の分類に集計する。
例えば、赤信号補間部２２Ｒは、第３対応画素Ｒａの付加情報が左斜め方向相関（例えば、‘１０’）の場合、第３対応画素Ｒａが補間対象画素Ｒ’の左斜め上方向なので、正相関の分類に集計する。

【0084】

一方、赤信号補間部２２Ｒは、補間対象画素Ｒ’から見た第３対応画素Ｒａの方向が、第３対応画素Ｒａの付加情報が示す方向に一致しない場合、逆相関の分類に集計する。例えば、赤信号補間部２２Ｒは、第３対応画素Ｒａの付加情報が右斜め方向相関（例えば、‘１１’）の場合、第３対応画素Ｒａが補間対象画素Ｒ’の左斜め上方向なので、逆相関の分類に集計する。
さらに、赤信号補間部２２Ｒは、第３対応画素Ｒａと同様、第３対応画素Ｒｂ〜Ｒｄも相関なし、相関あり又は逆相関の何れかの分類に集計する。

【0085】

次に、赤信号補間部２２Ｒは、分類毎の画素数に対応した重みを用いて、第３対応画素Ｒａ〜Ｒｄの画素値を重み付け加算することで、補間対象画素Ｒ’の画素値を算出する。
ここで、赤信号補間部２２Ｒは、図１３に示すように、重み付け加算の規則を示したテーブルが予め設定される。
なお、テーブルは、図１０と同様のものであるため、説明を省略する。また、赤信号補間部２２Ｒは、緑信号補間部２２Ｇと同様に重み付け加算を行うため、説明を省略する。

【0086】

＜第２の補間手法＞
図１４，図１５を参照し、第２の補間手法について、説明する（適宜図２参照）。
図１４では、補間対象画素Ｒ’の左右に隣接する第３対応画素Ｒを符号Ｒａ，Ｒｂで図示した。この補間対象画素Ｒ’は、図１１の補間対象画素Ｒ２’に相当する。
図１４に示すように、第３対応画素Ｒａ，Ｒｂに付加情報が付加されているので、この付加情報から、補間対象画素Ｒ’が第３対応画素Ｒａ，Ｒｂにどの程度相関するか分かる。

【0087】

赤信号補間部２２Ｒは、図１５に示すように、重み付け加算の規則を示したテーブルが予め設定される。図１５のテーブルでは、左列が第３対応画素Ｒａの付加情報を表し、中央列が第３対応画素Ｒｂの付加情報を表している。

【0088】

また、図１５のテーブルでは、右列（画素Ｒ’の求め方）は、第３対応画素Ｒａ，Ｒｂの付加情報に対応した重み付け加算の規則を表している。すなわち、この右列において、‘１／２’、‘１／３’、‘１／５’といった分数が、第３対応画素Ｒａ，Ｒｂの画素値に乗算する重みを表している。第３対応画素Ｒａ，Ｒｂの重みは、任意の値で設定可能であり、合計が‘１’となるように設定することが好ましい。

【0089】

まず、赤信号補間部２２Ｒは、第３対応画素Ｒａ，Ｒｂの付加情報の組み合わせが、図１５のテーブルに一致する行を検索し、検索した行の右列が示す重み付け加算の規則を読み出す。そして、赤信号補間部２２Ｒは、読み出した規則に従って重み付け加算を行い、補間対象画素Ｒ’の画素値を算出する。

【0090】

例えば、第３対応画素Ｒａ，Ｒｂの付加情報が相関方向無（例えば、‘００’）の場合を考える。この場合、第３対応画素Ｒａ，Ｒｂの付加情報の組み合わせが、図１５のテーブルの上１行目に一致する。このため、赤信号補間部２２Ｒは、第３対応画素Ｒａの画素値の１／２と、第３対応画素Ｒｂの画素値の１／２とを加算して、補間対象画素Ｒ’の画素値を算出する。

【0091】

つまり、図１５のテーブルの上１行目において、重み付け加算の規則は、第３対応画素Ｒａ，Ｒｂの両方とも補間対象画素Ｒ’に相関が無いため、第３対応画素Ｒｂ，Ｒｂの重みが等しいことを示す。

【0092】

また、例えば、第３対応画素Ｒａの付加情報が相関方向無（例えば、‘００’）、第３対応画素Ｒｂの付加情報が左右方向相関（例えば、‘０１’）、の場合を考える。この場合、第３対応画素Ｒａ，Ｒｂの付加情報の組み合わせが、図１５のテーブルの上２行目に一致する。このため、赤信号補間部２２Ｒは、第３対応画素Ｒａの画素値の１／５と、第３対応画素Ｒｂの画素値の４／５とを加算して、補間対象画素Ｒ’の画素値を算出する。

【0093】

つまり、図１５のテーブルの上２行目において、重み付け加算の規則は、以下のことを表す。第３対応画素Ｒａの付加情報が相関方向無のため、補間対象画素Ｒ’と第３対応画素Ｒａとの相関が低くなる。一方、第３対応画素Ｒｂと補間対象画素Ｒ’との位置関係が水平であり、第３対応画素Ｒｂの付加情報も左右方向相関である。このように、両画素の位置関係と付加情報が示す方向とが一致すると、補間対象画素Ｒ’と第３対応画素Ｒｂとの相関が高くなる。従って、第３対応画素Ｒｂの重みが、第３対応画素Ｒａの重みに比べて大きくなっている。

【0094】

また、例えば、第３対応画素Ｒａの付加情報が左右方向相関（例えば、‘０１’）、第３対応画素Ｒｂの付加情報が左斜め方向相関（例えば、‘１１’）、の場合を考える。この場合、第３対応画素Ｒａ，Ｒｂの付加情報の組み合わせが、図１５のテーブルの上８行目に一致する。このため、赤信号補間部２２Ｒは、第３対応画素Ｒａの画素値の３／４と、第３対応画素Ｒｂの画素値の１／４とを加算して、補間対象画素Ｒ’の画素値を算出する。

【0095】

つまり、図１５のテーブルの上８行目において、重み付け加算の規則は、以下のことを表す。第３対応画素Ｒａと補間対象画素Ｒ’との位置関係が水平であり、第３対応画素Ｒｂの付加情報も左右方向相関である。このように、両画素の位置関係と付加情報が示す方向とが一致するので、第３対応画素Ｒａと補間対象画素Ｒ’との相関が高くなる。

【0096】

一方、第３対応画素Ｒｂと補間対象画素Ｒ’との位置関係が水平に対し、第３対応画素Ｒｂの付加情報が左斜め方向相関である。このように、両画素の位置関係と付加情報が示す方向とが離れているので、第３対応画素Ｒａに比べて、第３対応画素Ｒｂと補間対象画素Ｒ’との相関が低くなる。従って、第３対応画素Ｒａの重みが、第３対応画素Ｒｂの重みに比べて大きくなっている。

【0097】

図２に戻り、カメラコントロールユニット２０の構成について、説明を続ける。
青信号補間部２２Ｂは、信号受信部２１から入力された青信号の付加情報を参照して、第４注目画素Ｂの間に位置する補間対象画素を補間することで、青撮影画像を生成するものである。

【0098】

ここで、青信号補間部２２Ｂは、青信号の第４注目画素を１画素間隔で展開することで、補正前の青撮影画像を生成する。その後、青信号補間部２２Ｂは、赤信号補間部２２Ｒと同様、第１，第２の補間手法を用いて補間対象画素を補間し、青撮影画像を生成する。その後、青信号補間部２２Ｂは、生成した青撮影画像を画像合成部２３に出力する。

【0099】

画像合成部２３は、緑信号補間部２２Ｇから入力された緑撮影画像と、赤信号補間部２２Ｒから入力された赤撮影画像と、青信号補間部２２Ｂから入力された青撮影画像とを合成することで、被写体画像を生成するものである。例えば、画像合成部２３は、緑撮影画像と、赤撮影画像と、青撮影画像とを重ね合わせて、被写体画像を生成する。そして、画像合成部２３は、合成した被写体画像を外部に出力する。

【0100】

［カメラヘッドの動作］
図１６（ａ）を参照し、カメラヘッド１０の動作について、説明する（適宜図２参照）。
図１６（ａ）に示すように、カメラヘッド１０は、分光手段１３によって、被写体からの光を３原色に分光し、撮像素子１４によって、３原色それぞれの撮影画像を生成する（ステップＳ１）。

【0101】

カメラヘッド１０は、信号生成部１５によって、３原色それぞれの撮影画像から、圧縮信号を生成する（ステップＳ２）。
カメラヘッド１０は、信号生成部１５によって、付加情報を生成し、付加情報を圧縮信号に付加する（ステップＳ３）。
カメラヘッド１０は、信号送信部１６によって、圧縮信号をカメラコントロールユニット２０に送信する（ステップＳ４）。

【0102】

［カメラコントロールユニットの動作］
図１６（ｂ）を参照し、カメラコントロールユニット２０の動作について、説明する（適宜図２参照）。
図１６（ｂ）に示すように、カメラコントロールユニット２０は、信号受信部２１によって、カメラヘッド１０から圧縮信号を受信する（ステップＳ１１）。

【0103】

カメラコントロールユニット２０は、信号補間部２２によって、圧縮信号から、付加情報を抽出する（ステップＳ１２）。
カメラコントロールユニット２０は、信号補間部２２によって、付加情報を用いて、圧縮信号を補間し、３原色の撮影画像を生成する（ステップＳ１３）。
カメラコントロールユニット２０は、画像合成部２３によって、３原色の撮影画像を合成し、被写体画像を生成する（ステップＳ１４）。

【0104】

[作用・効果]
以上のように、本願発明の実施形態に係るカメラヘッド１０は、３原色の撮影画像のデータ量が大幅に低減されたＧ１信号、Ｇ２信号、赤信号及び青信号を生成し、付加情報をＧ１信号、Ｇ２信号、赤信号及び青信号に付加し、カメラコントロールユニット２０に送信する。そして、本願発明の実施形態に係るカメラコントロールユニット２０は、Ｇ１信号、Ｇ２信号、赤信号及び青信号に付加された付加情報を用いて、隣接画素の相関を考慮した補間を行って３原色の撮影画像を生成及び合成して、被写体画像を生成する。これによって、カメラヘッド１０及びカメラコントロールユニット２０は、データ量の低減と、解像度劣化の抑制とを両立することができる。

【0105】

なお、前記した実施形態では、緑色が基準原色であり、赤色が第２原色であり、青色が第３原色であることとして説明したが、本願発明は、これに限定されない。
例えば、本願発明は、赤色が基準原色であり、青色が第２原色であり、緑色が第３原色であってもよい。
また、例えば、本願発明は、青色が基準原色であり、赤色が第２原色であり、緑色が第３原色であってもよい。

【符号の説明】

【0106】

１ 撮影カメラシステム
１０ カメラヘッド（撮影装置）
１１ 撮影レンズ
１２ 三脚
１３ 分光手段
１４ 撮像素子
１４Ｇ 緑撮像素子
１４Ｒ 赤撮像素子
１４Ｂ 青撮像素子
１５ 信号生成部
１５Ｇ 緑信号生成部
１５Ｇａ Ｇ１信号生成部（基準原色第１圧縮画像生成部）
１５Ｇｂ Ｇ２信号生成部（基準原色第２圧縮画像生成部）
１５Ｒ 赤信号生成部（第２原色圧縮画像生成部）
１５Ｂ 青信号生成部（第３原色圧縮画像生成部）
１６ 信号送信部（画像送信部）
２０ カメラコントロールユニット（画像補間装置）
２１ 信号受信部（画像受信部）
２２ 信号補間部
２２Ｇ 緑信号補間部（基準原色撮影画像補間部）
２２Ｒ 赤信号補間部（第２原色撮影画像補間部）
２２Ｂ 青信号補間部（第３原色撮影画像補間部）
２３ 画像合成部
３０ ケーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】