特開 2024-145997 受信装置、送信装置、通信システム、受信方法、送信方法、および、通信方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024145997

(43)【公開日】2024-10-15

(54)【発明の名称】受信装置、送信装置、通信システム、受信方法、送信方法、および、通信方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20241004BHJP

   H04N 21/234 20110101ALI20241004BHJP

   H04N 21/44 20110101ALI20241004BHJP

   G09G 5/02 20060101ALI20241004BHJP

   G09G 5/10 20060101ALI20241004BHJP

   G09G 5/37 20060101ALI20241004BHJP

【ＦＩ】

G09G5/00 530M

H04N21/234

H04N21/44

G09G5/00 555D

G09G5/00 555G

G09G5/00 555A

G09G5/02 B

G09G5/10 B

G09G5/37 100

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023058651

(22)【出願日】2023-03-31

(71)【出願人】

【識別番号】500112146

【氏名又は名称】サイレックス・テクノロジー株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(72)【発明者】

【氏名】奥間 啓二

【テーマコード（参考）】

5C164

5C182

【Ｆターム（参考）】

5C164SB01P

5C164UB01P

5C182AC43

5C182BA03

5C182BA06

5C182BA14

5C182BC01

5C182BC22

5C182BC25

5C182BC26

5C182BC29

5C182BC43

5C182CA01

5C182CA12

5C182CA22

5C182CA36

5C182CB52

5C182DA04

5C182DA14

(57)【要約】

【課題】ネットワークを通じて伝送される画像の表示における遅延を抑制する。
【解決手段】受信装置２０は、ベイヤ配列画像データであるＲＡＷ画像データがプレーンごとに分離された、複数の分離画像データを受信する受信部２１と、バッファ２３１を有する表示制御部２３であって、受信部２１が受信した複数の分離画像データを含む画像データをバッファ２３１に格納し、格納した画像データをバッファ２３１から取り出して表示装置へ出力する表示制御部２３と、バッファ２３１に格納されている画像データに含まれる複数の分離画像データを合成する合成処理と、合成処理により生成されたＲＡＷ画像データからＲＧＢ画像データへの変換処理とを含む画像処理を行う画像処理部２４とを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

ベイヤ配列画像データであるＲＡＷ画像データがプレーンごとに分離された、複数の分離画像データを受信する受信部と、
バッファを有する表示制御部であって、前記受信部が受信した前記複数の分離画像データを含む画像データを前記バッファに格納し、格納した前記画像データを前記バッファから取り出して表示装置へ出力する表示制御部と、
前記バッファに格納されている前記画像データに含まれる前記複数の分離画像データを合成する合成処理と、前記合成処理により生成された前記ＲＡＷ画像データからＲＧＢ画像データへの変換処理とを含む画像処理を行う画像処理部とを備える
受信装置。

【請求項2】

前記受信装置は、
前記受信部が受信した前記複数の分離画像データに対して伸張処理を行う伸張部を備え、
前記表示制御部は、
前記伸張部によって前記伸張処理が施された前記複数の分離画像データを含む前記画像データを前記バッファに格納する
請求項１に記載の受信装置。

【請求項3】

前記画像処理は、さらに、
前記ＲＧＢ画像データに対するブラックレベル調整処理、ガンマ補正処理およびカラーマトリクス変換処理の少なくとも１つを含む
請求項１に記載の受信装置。

【請求項4】

各画素に所定色の画素値のみが設定された、ベイヤ配列画像データであるＲＡＷ画像データを取得する取得部と、
前記取得部が取得した前記ＲＡＷ画像データをプレーンごとに分離することで複数の分離画像データを生成する分離部と、
前記分離部が生成した前記複数の分離画像データを受信装置へ送信する送信部とを備える
送信装置。

【請求項5】

前記送信装置は、さらに、
前記分離部が生成した前記複数の分離画像データに対して圧縮処理を行う圧縮部を備え、
前記送信部は、
前記圧縮部によって前記圧縮処理が施された前記複数の分離画像データを前記受信装置へ送信する
請求項４に記載の送信装置。

【請求項6】

前記取得部は、カメラが繰り返し撮影することで生成した複数のＲＡＷ画像データに含まれる一のＲＡＷ画像データを順次に、前記ＲＡＷ画像データとして取得する
請求項４に記載の送信装置。

【請求項7】

請求項４に記載の送信装置と、
請求項１に記載の受信装置とを備え、
前記受信装置は、前記送信装置が送信した前記複数の分離画像データを受信する
通信システム。

【請求項8】

ベイヤ配列画像データであるＲＡＷ画像データがプレーンごとに分離された、複数の分離画像データを受信する受信ステップと、
前記受信ステップが受信した前記複数の分離画像データを含む画像データをバッファに格納し、格納した前記画像データを前記バッファから取り出して表示装置へ出力する表示制御ステップと、
前記バッファに格納されている前記画像データに含まれる前記複数の分離画像データを合成する合成処理と、前記合成処理により生成された前記ＲＡＷ画像データからＲＧＢ画像データへの変換処理とを含む画像処理を行う画像処理ステップとを含む
受信方法。

【請求項9】

各画素に所定色の画素値のみが設定された、ベイヤ配列画像データであるＲＡＷ画像データを取得する取得ステップと、
前記取得ステップで取得した前記ＲＡＷ画像データをプレーンごとに分離することで複数の分離画像データを生成する分離ステップと、
前記分離ステップで生成した前記複数の分離画像データを受信装置へ送信する送信ステップとを含む
送信方法。

【請求項10】

請求項９に記載の送信方法と、
請求項８に記載の受信方法とを含み、
前記受信方法の前記受信ステップでは、前記送信方法の前記送信ステップで送信した前記複数の分離画像データを受信する
通信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、受信装置、送信装置、通信システム、受信方法、送信方法、および、通信方法に関する。

【背景技術】

【0002】

高解像度の映像をネットワークを通じて低遅延で伝送する技術がある。

【0003】

例えば、特許文献１には、外部装置からの映像信号を、ネットワークを介して送信する送信機が示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－０５３８０４号公報

【非特許文献】

【0005】

【非特許文献1】ＩＴＵ－Ｒ ＢＴ．６０１、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ

【非特許文献2】ＩＴＵ－Ｒ ＢＴ．７０９、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ

【発明の概要】

【発明が解決しようとする課題】

【0006】

カメラが対象物を撮影することにより生成した画像データをネットワークを介して伝送して表示する場合、画像データに対してさまざまな画像処理が施される。画像処理には、一般に、複雑な演算が多く含まれるので、画像処理には比較的長い時間を要する。そのため、カメラが対象物を撮影してからその画像データがネットワークを通じて伝送され、表示されるまでに比較的長い時間を要し、言い換えれば、比較的大きな遅延が発生するという問題がある。このような大きな遅延が発生する要因の１つは、例えば、デジタルカメラなどで撮影された画像データをネットワークを介して伝送する場合、当該デジタルカメラのイメージセンサから出力されるＲＡＷ画像データに対して、レンズなど光学系の補正処理、または、イメージセンサのばらつき補正などを行う画像処理（ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）とも呼ばれる）が送信装置側で行われることである。

【0007】

本発明は、上記問題を解決するためになされたものであり、ネットワークを通じて伝送される画像の表示における遅延を抑制する受信装置、送信装置および通信システムなどを提供することを目的とする。

【課題を解決するための手段】

【0008】

以下、本明細書の開示内容から得られる発明を例示し、その発明から得られる効果等を説明する。

【0009】

（１）ベイヤ配列画像データであるＲＡＷ画像データがプレーンごとに分離された、複数の分離画像データを受信する受信部と、バッファを有する表示制御部であって、前記受信部が受信した前記複数の分離画像データを含む画像データを前記バッファに格納し、格納した前記画像データを前記バッファから取り出して表示装置へ出力する表示制御部と、前記バッファに格納されている前記画像データに含まれる前記複数の分離画像データを合成する合成処理と、前記合成処理により生成された前記ＲＡＷ画像データからＲＧＢ画像データへの変換処理とを含む画像処理を行う画像処理部とを備える、受信装置。

【0010】

上記態様によれば、受信装置は、表示装置へ出力する前に画像データをバッファに格納してから、バッファに格納されている画像データに対して画像処理を行うので、画像データを受信してから表示するまでの時間に、専ら画像処理を行う時間が含まれない。そのため、受信装置は、画像データを受信してから表示するまでに専ら画像処理を行う時間を含む場合に比べて、画像データを受信してから表示するまでの時間を短くすることができる。さらに、受信装置は、画像データの表示にあたり表示装置と同期を取る必要があるが、表示装置へ出力する前に画像データをバッファに格納することで当該同期による待ち時間を吸収することができる。よって、受信装置は、ネットワークを通じて伝送される画像の表示における遅延を抑制することができる。

【0011】

（２）前記受信装置は、前記受信部が受信した前記複数の分離画像データに対して伸張処理を行う伸張部を備え、前記表示制御部は、前記伸張部によって前記伸張処理が施された前記複数の分離画像データを含む前記画像データを前記バッファに格納する、（１）に記載の受信装置。

【0012】

上記態様によれば、受信装置は、ＲＡＷ画像データがプレーンごとに分離された複数の分離画像データに対して伸張処理を行うので、伸張処理の対象であるデータ量が、ＲＡＷ画像データのデータ量と同じである。例えば、仮に、ＲＡＷ画像データに対してデモザイク処理がなされた後に伸張処理をするとすれば、伸張処理の対象であるデータ量が、ＲＡＷ画像データのデータ量より多くなることがある。上記態様に係る受信装置は、伸張処理の対象であるデータ量を、ＲＡＷ画像データのデータ量より多くすることなく維持することにより、ネットワークを通じて伝送される画像の表示における遅延の増大を抑制することができる。よって、受信装置は、ネットワークを通じて伝送される画像の表示における遅延を抑制することにさらに寄与する。

【0013】

（３）前記画像処理は、さらに、前記ＲＧＢ画像データに対するブラックレベル調整処理、ガンマ補正処理およびカラーマトリクス変換処理の少なくとも１つを含む、（１）に記載の受信装置。

【0014】

上記態様によれば、受信装置は、ＲＧＢ画像データに対するブラックレベル調整処理、ガンマ補正処理およびカラーマトリクス変換処理の少なくとも１つを含むので、より適切な画像を表示することができる。よって、受信装置は、ネットワークを通じて伝送される画像をより適切に表示しながら、その表示における遅延を抑制することができる。

【0015】

（４）各画素に所定色の画素値のみが設定された、ベイヤ配列画像データであるＲＡＷ画像データを取得する取得部と、前記取得部が取得した前記ＲＡＷ画像データをプレーンごとに分離することで複数の分離画像データを生成する分離部と、前記分離部が生成した前記複数の分離画像データを受信装置へ送信する送信部とを備える、送信装置。

【0016】

上記態様によれば、送信装置は、取得したＲＡＷ画像データを分離した分離画像データを受信装置に送信するので、ＲＡＷ画像データに対するデモザイク処理などの画像処理を行わない。言い換えれば、仮に、ＲＡＷ画像データに対するデモザイク処理などの画像処理を行うとすれば、上記画像処理を行うための時間を経た後に画像データを送信することになり、言い換えれば、その画像データの撮影から送信までの時間に上記画像処理を行うための時間が含まれる。上記態様に係る送信装置は、ＲＡＷ画像データに対するデモザイク処理などの画像処理を行わないので、画像データを早期に送信することができる。よって、送信装置は、ネットワークを通じて伝送される画像の表示における遅延を抑制することができる。

【0017】

（５）前記送信装置は、さらに、前記分離部が生成した前記複数の分離画像データに対して圧縮処理を行う圧縮部を備え、前記送信部は、前記圧縮部によって前記圧縮処理が施された前記複数の分離画像データを前記受信装置へ送信する、（４）に記載の送信装置。

【0018】

上記態様によれば、送信装置は、ＲＡＷ画像データがプレーンごとに分離された複数の分離画像データに対して圧縮処理を行うので、圧縮処理の対象であるデータ量が、ＲＡＷ画像データのデータ量と同じである。例えば、仮に、ＲＡＷ画像データに対してデモザイク処理がなされた後に圧縮処理をするとすれば、圧縮処理の対象であるデータ量が、ＲＡＷ画像データのデータ量より多くなることがある。上記態様に係る送信装置は、圧縮処理の対象であるデータ量を、ＲＡＷ画像データのデータ量より多くすることなく維持することにより、ネットワークを通じて伝送される画像の表示における遅延の増大を抑制することができる。よって、送信装置は、ネットワークを通じて伝送される画像の表示における遅延を抑制することにさらに寄与する。

【0019】

（６）前記取得部は、カメラが繰り返し撮影することで生成した複数のＲＡＷ画像データに含まれる一のＲＡＷ画像データを順次に、前記ＲＡＷ画像データとして取得する、（４）に記載の送信装置。

【0020】

上記態様によれば、送信装置は、動画を構成する複数のＲＡＷ画像データを順次に取得することで、ネットワークを通じて伝送される動画の表示における遅延を抑制することができる。

【0021】

（７）（４）に記載の送信装置と、（１）に記載の受信装置とを備え、前記受信装置は、前記送信装置が送信した前記複数の分離画像データを受信する、通信システム。

【0022】

上記態様によれば、通信システムは、上記受信装置および上記送信装置と同様に、ネットワークを通じて伝送される画像の表示における遅延を抑制することができる。

【0023】

（８）ベイヤ配列画像データであるＲＡＷ画像データがプレーンごとに分離された、複数の分離画像データを受信する受信ステップと、前記受信ステップが受信した前記複数の分離画像データを含む画像データをバッファに格納し、格納した前記画像データを前記バッファから取り出して表示装置へ出力する表示制御ステップと、前記バッファに格納されている前記画像データに含まれる前記複数の分離画像データを合成する合成処理と、前記合成処理により生成された前記ＲＡＷ画像データからＲＧＢ画像データへの変換処理とを含む画像処理を行う画像処理ステップとを含む、受信方法。

【0024】

上記態様によれば、受信方法は、上記受信装置と同様の効果を奏する。

【0025】

（９）各画素に所定色の画素値のみが設定された、ベイヤ配列画像データであるＲＡＷ画像データを取得する取得ステップと、前記取得ステップで取得した前記ＲＡＷ画像データをプレーンごとに分離することで複数の分離画像データを生成する分離ステップと、前記分離ステップで生成した前記複数の分離画像データを受信装置へ送信する送信ステップとを含む、送信方法。

【0026】

上記態様によれば、送信方法は、上記送信装置と同様の効果を奏する。

【0027】

（１０）（９）に記載の送信方法と、（８）に記載の受信方法とを含み、前記受信方法の前記受信ステップでは、前記送信方法の前記送信ステップで送信した前記複数の分離画像データを受信する、通信方法。

【0028】

上記態様によれば、通信方法は、上記通信システムと同様の効果を奏する。

【0029】

なお、本発明は、装置として実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

【発明の効果】

【0030】

本発明により、受信装置等は、ネットワークを通じて伝送される画像の表示における遅延を抑制することができる。

【図面の簡単な説明】

【0031】

【図1】実施の形態に係る通信システムの構成を示す模式図である。

【図2】実施の形態に係る送信装置の構成を示すブロック図である。

【図3】実施の形態に係る受信装置の構成を示すブロック図である。

【図4】実施の形態に係る送信装置の処理を示すフロー図である。

【図5】実施の形態に係るベイヤ配列画像の例を示す説明図である。

【図6】実施の形態に係る分離部が生成する分離画像データの例を示す説明図である。

【図7】実施の形態に係る受信装置の処理を示すフロー図である。

【図8】比較例に係る送信装置の構成を示すブロック図である。

【図9】比較例に係る受信装置の構成を示すブロック図である。

【図10】比較例に係る送信装置の処理を示すフロー図である。

【図11】比較例に係る受信装置の処理を示すフロー図である。

【発明を実施するための形態】

【0032】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0033】

以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。なお、同一の構成要素には同一の符号を付し、説明を省略する場合がある。

【0034】

（実施の形態）
本実施の形態において、ネットワークを通じて伝送される画像の表示における遅延を抑制することができる受信装置、送信装置および通信システムなどについて説明する。

【0035】

図１は、本実施の形態に係る通信システム１の構成を示す模式図である。

【0036】

図１に示されるように、通信システム１は、送信装置１０と受信装置２０とを備える。

【0037】

送信装置１０と受信装置２０とは、ネットワークＮを通じて通信可能に接続されている。ネットワークＮは、広域のネットワーク（例えば、インターネット等）を含んでもよいし、ローカルエリアネットワーク（例えば、特定の地域内、または、特定の企業内のネットワーク等）を含んでもよい。また、ネットワークＮは、有線ネットワークを含んでもよいし、無線ネットワークを含んでもよい。送信装置１０と受信装置２０とは、ネットワークＮを通じて、例えばＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）による通信をすることができ、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）またはＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）による通信をすることができてもよい。

【0038】

送信装置１０は、カメラ２と処理装置３とに接続されている。送信装置１０は、カメラ２から提供された画像を受信装置２０に送信するとともに、受信装置２０から送信された操作情報を処理装置３に送信する。

【0039】

カメラ２は、周囲を撮影し、カメラ２の周囲の光景が撮影された画像データを生成する撮影装置である。カメラ２と送信装置１０との接続は、映像伝送規格に従う接続であってもよいし、有線ＬＡＮまたは無線ＬＡＮの通信規格（例えばＥｔｈｅｒｎｅｔ（登録商標）またはＷｉ－Ｆｉ（登録商標）等）に従う接続であってもよい。ここで、映像伝送規格に従う接続は、例えば、モバイル機器または組み込み機器などで用いられるＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）規格、または、映像および音声などを１本のケーブルにまとめて送れるＨＤＭＩ（登録商標）等であり得る。

【0040】

カメラ２は、生成した画像データを送信装置１０に提供する。上記画像データは、送信装置１０、ネットワークＮおよび受信装置２０を通じて表示装置５に送信され、表示される。なお、カメラ２が生成する画像データが動画の画像データである場合を例として説明するが、静止画の画像データであってもよい。動画の画像データは、時間的に連続して生成された静止画の画像データの集合である。カメラ２は、例えば、処理装置３がワークＷに対する処理を行っている様子を動画として撮影して動画を構成する複数の画像データを生成し、送信装置１０に提供する。

【0041】

処理装置３は、ワークＷに対して処理を行う装置である。処理装置３がワークＷに対して行う処理は、例えば、ワークＷの移載、梱包または加工などを含み得る。処理装置３は、操作情報を受信した場合には、操作情報に従って動作することができる。操作情報は、例えば、ユーザＵの入力に基づいて生成される操作情報である。処理装置３は、上記操作情報を操作装置６から、送信装置１０、ネットワークＮおよび受信装置２０を介して受信することができる。

【0042】

受信装置２０は、表示装置５と操作装置６とに接続されている。

【0043】

表示装置５は、画像を表示する表示装置である。表示装置５が表示する画像は、カメラ２が生成した画像データに係る画像であり、送信装置１０、ネットワークＮおよび受信装置２０を介して表示装置５が受信して表示する。

【0044】

表示装置５と受信装置２０との接続は、映像伝送規格（例えばＭＩＰＩ等）に従う接続であってもよいし、有線ＬＡＮまたは無線ＬＡＮの通信規格（例えばＥｔｈｅｒｎｅｔまたはＷｉ－Ｆｉ等）に従う接続であってもよい。

【0045】

操作装置６は、ユーザＵによる操作を受け付ける装置である。操作装置６は、入力装置（例えばボタンまたはスティック型の入力装置等）を備える。操作装置６は、具体的には、上記画像を視認したユーザＵが行う処理装置３に対する操作を受け付けて、上記操作の内容を示す操作情報を受信装置２０に提供する。上記操作情報は、受信装置２０、ネットワークＮおよび送信装置１０を通じて処理装置３に送信され、処理装置３の動作に用いられる。

【0046】

なお、通信システム１は、送信装置１０と受信装置２０とに加えて、カメラ２、処理装置３、表示装置５および操作装置６の少なくとも１つを備えて構成されてもよい。例えば、通信システム１は、送信装置１０と受信装置２０とに加えて、カメラ２および表示装置５を備えて構成されてもよい。この場合、通信システム１は、カメラ２が撮影により生成した画像をネットワークＮを通じて伝送して表示装置５に表示させる画像伝送システムとして構成され得る。

【0047】

また、例えば、通信システム１は、送信装置１０と受信装置２０とに加えて、カメラ２、処理装置３、表示装置５および操作装置６の全部を備えて構成されてもよい。この場合、通信システム１は、カメラ２が撮影により生成した画像をネットワークＮを通じて伝送して表示装置５に表示させながら、上記画像を視認したユーザＵが行う処理装置３に対する操作を操作装置６により受け付けて、処理装置３の動作を制御する画像伝送システム（言い換えれば、遠隔制御システム）として構成され得る。なお、この場合、表示装置５および操作装置６が一体の装置として構成されてもよい。例えば、表示装置５および操作装置６が、画像を表示しつつ、ユーザＵによる操作を受け付けることができる装置として構成されてもよい。上記装置は、例えばタッチパネル式のパーソナルコンピュータ端末により実現され得る。さらには、受信装置２０も、後述する具体的な機能を損なうことなく、表示装置５および操作装置６と一体化されてもよい。

【0048】

以降では、送信装置１０と受信装置２０との画像データの送受信処理および画像処理について主に説明する。

【0049】

図２は、本実施の形態に係る送信装置１０の構成を示すブロック図である。

【0050】

図２に示されるように、送信装置１０は、取得部１１と、分離部１２と、圧縮部１３と、送信部１４とを備える。取得部１１と、分離部１２と、圧縮部１３とは、送信装置１０が備えるプロセッサ（例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等）がメモリを用いて所定のプログラムを実行することで実現される。

【0051】

取得部１１は、カメラ２が撮影によって生成した画像データ（ＲＡＷ画像データとよぶ）を取得する。ＲＡＷ画像データは、各画素に所定色の画素値のみが設定された画像データであり、ベイヤ配列画像である。ＲＡＷ画像データは、一般に、Ｒａｗ ｉｍａｇｅ ｆｏｒｍａｔまたはＲＡＷデータなどとも呼ばれる。ＲＡＷ画像データに含まれる画素数は、例えば、横１２８０画素×縦７２０画素、または、横１９２０画素×縦１０８０画素などである。また、取得部１１は、カメラ２の性能（または仕様）により定められるＲＧＢ特性データ（Ｒ（赤）、Ｇ（緑）、Ｂ（青）の割合を示す情報などを含む）を取得し、送信部１４およびネットワークＮを介して受信装置２０に提供する。ＲＧＢ特性データは、後述する受信装置２０の画像処理部２４で行う画像処理にて用いられ得る。

【0052】

取得部１１は、カメラ２が繰り返し撮影することで生成した複数のＲＡＷ画像データ、つまり、動画を構成する複数のＲＡＷ画像データに含まれる一のＲＡＷ画像データを、順次に取得する。

【0053】

分離部１２は、取得部１１が取得したＲＡＷ画像データをプレーン（後述する）ごとに分離することで複数の画像データ（分離画像データともいう）を生成する分離処理を行う。

【0054】

圧縮部１３は、分離部１２が生成した複数の分離画像データに対して圧縮処理を行う。なお、圧縮部１３は、必須の構成要素ではない。以降では、送信装置１０が圧縮部１３を備える場合を例として説明する。

【0055】

送信部１４は、複数の分離画像データを、ネットワークＮを介して受信装置２０へ送信する。送信部１４は、ネットワークＮに接続可能である通信インタフェースを有し、通信インタフェースを用いて複数の分離画像データを受信装置２０へ送信する。送信部１４が送信する複数の分離画像データは、分離部１２が生成した複数の分離画像データであって、圧縮部１３により圧縮処理が施された複数の分離画像データである。なお、送信装置１０が圧縮部１３を備えない場合は、送信部１４が送信する複数の分離画像データは、分離部１２が生成した複数の分離画像データである。

【0056】

図３は、本実施の形態に係る受信装置２０の構成を示すブロック図である。

【0057】

図３に示されるように、受信装置２０は、受信部２１と、伸張部２２と、表示制御部２３と、画像処理部２４とを備える。

【0058】

受信部２１は、複数の分離画像データを、送信装置１０からネットワークＮを介して受信する。受信部２１は、ネットワークＮに接続可能である通信インタフェースを有し、通信インタフェースを用いて複数の分離画像データを送信装置１０から受信する。受信部２１が受信する複数の分離画像データは、送信装置１０により生成された複数の分離画像データであり、ベイヤ配列画像であるＲＡＷ画像データがプレーンごとに分離された、複数の分離画像データである。

【0059】

伸張部２２は、受信部２１が受信した複数の分離画像データに対して伸張処理を行う。なお、伸張部２２は、必須の構成要素ではない。伸張部２２は、送信装置１０が圧縮部１３を備えている場合に必要であり、そうでない場合には不要である。

【0060】

表示制御部２３は、画像データを表示装置５に出力する制御をする。表示制御部２３は、バッファ２３１を有する。表示制御部２３は、受信部２１が受信した複数の分離画像データを含む画像データをバッファ２３１に格納する。また、表示制御部２３は、格納した画像データをバッファ２３１から取り出して表示装置５へ出力する。なお、バッファ２３１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性記憶装置でもよいし、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の不揮発性記憶装置でもよい。

【0061】

画像処理部２４は、バッファ２３１に格納されている画像データに対して画像処理を行う。画像処理部２４が行う画像処理は、少なくとも、バッファ２３１に格納されている画像データに含まれる複数の分離画像データを合成する合成処理と、合成処理により生成されたＲＡＷ画像データからＲＧＢ画像データへの変換処理とを含む。ＲＧＢ画像データは、当該画像データに含まれる画素の画素値が、赤、緑および青の各成分で示されている画像データである。

【0062】

言い換えれば、画像処理部２４は、少なくとも、合成部２４１とデモザイク部２４２とを有する。

【0063】

合成部２４１は、表示制御部２３が伸張処理を行った後の画像データに含まれる複数の分離画像データを合成する合成処理を行うことでＲＡＷ画像データを取得する。

【0064】

デモザイク部２４２は、合成部２４１が取得したＲＡＷ画像データに対してデモザイク処理を行う。デモザイク処理は、ＲＡＷ画像データからＲＧＢ画像データへ変換する処理である。デモザイク処理では、ＲＡＷ画像データにおける、赤、緑または青の画素値を有しない画素の当該画素値を、当該画素の周囲の画素の画素値から補間することで設定する。デモザイク処理は、周知のデモザイク処理と同様である。

【0065】

なお、画像処理部２４は、さらに、ブラックレベル調整部２４３、ガンマ補正部２４４およびカラーマトリクス調整部２４５の少なくとも１つを有してもよい。

【0066】

ブラックレベル調整部２４３は、ＲＧＢ画像データに対してブラックレベル調整処理を行う。ブラックレベル調整処理は、ＲＧＢ画像データにおける所定の輝度値を黒（つまり、Ｒ＝０、Ｇ＝０、Ｂ＝０）とするように、ＲＧＢ画像データの画素値を調整する処理である。ブラックレベル調整処理は、周知のブラックレベル調整処理と同様である。

【0067】

ガンマ補正部２４４は、ＲＧＢ画像データに対してガンマ補正処理を行う。ガンマ補正処理は、ＲＧＢ画像データにおける輝度値を、輝度値ごとに所定の係数（いわゆるガンマカーブで示される、入力値に対する出力値の割合）を乗ずることで変換する処理である。ガンマ補正処理は、周知のガンマ補正処理と同様である。

【0068】

カラーマトリクス調整部２４５は、ＲＧＢ画像データに対してカラーマトリクス調整処理を行う。カラーマトリクス調整処理は、ＲＧＢ画像データの画像の全体的な色合いを調整するように、ＲＧＢ画像データに含まれる画素の画素値を変換する処理である。カラーマトリクス調整処理は、周知のカラーマトリクス調整処理と同様である。

【0069】

なお、ブラックレベル調整部２４３によるブラックレベル調整処理、ガンマ補正部２４４によるガンマ補正処理、または、カラーマトリクス調整部２４５によるカラーマトリクス調整処理は、カメラ２のＲＧＢ特性データに基づいて、行われ得る。カメラ２のＲＧＢ特性データは、取得部１１が取得し、ネットワークＮを介して受信部２１が受信したものであり得る。

【0070】

以降では、画像処理部２４がブラックレベル調整部２４３、ガンマ補正部２４４およびカラーマトリクス調整部２４５の全部を有する場合を例として説明する。

【0071】

以上のように構成された通信システム１の処理について以降で説明する。

【0072】

図４は、本実施の形態に係る送信装置１０の処理を示すフロー図である。図５は、本実施の形態に係るベイヤ配列画像の例を示す説明図である。図６は、本実施の形態に係る分離部１２が生成する分離画像データの例を示す説明図である。図４～図６を参照しながら送信装置１０の処理を説明する。

【0073】

ステップＳ１０１において、取得部１１は、カメラ２からＲＡＷ画像データを取得する。ＲＡＷ画像は、各画素に所定色の画素値のみが設定された画像である。ＲＡＷ画像は、ベイヤ配列画像であり、その一例が図５に示されている。

【0074】

図５には、取得部１１がカメラ２から取得するＲＡＷ画像データのうちの横４画素×縦４画素のみが図示されている。図５において、Ｒは赤色に対応する画素値を有する画素であり、Ｇは緑色に対応する画素値を有する画素であり、Ｂは青色に対応する画素値を有する画素である。

【0075】

図５に示されるように、ベイヤ配列画像では、横２画素×縦２画素の４画素を含む画素群Ｓを１単位とし、画素群Ｓのうちの左上の隅にＲが含まれ、右上の隅と左下の隅とにＧが含まれ、右下の隅にＢが含まれている。図５に示されるベイヤ配列画像は、「ＲＧＧＢ」と呼ばれる配置パターンである。なお、ベイヤ配列画像の他の例として、「ＧＲＢＧ」、「ＧＢＲＧ」または「ＢＧＧＲ」と呼ばれる配置パターンもあり、利用可能である。

【0076】

ステップＳ１０２において、分離部１２は、ステップＳ１０１で取得部１１が取得したＲＡＷ画像データをプレーンごとに分離することで、複数の分離画像データを生成する。プレーンは、ベイヤ配列画像に含まれる画素のうち、画素群Ｓにおける当該画素の相対位置が同じ画素により構成されている。分離画像データの例を図６に示す。

【0077】

図６には、図５に示されるベイヤ配列画像をプレーンごとに分離することで生成される４つの分離画像データが示されている。

【0078】

図６の（ａ）は、図５の画素群Ｓの左上の隅のＲ画素信号を分離したプレーンを示している。同様に、（ｂ）は、図５の画素群Ｓの左上の隅のＧ画素信号を分離したプレーンを示しており、（ｃ）は、図５の画素群Ｓの左下の隅のＧ画素信号を分離したプレーンを示しており、（ｄ）は、図５の画素群Ｓの右下の隅のＢ画素信号を分離したプレーンを示している。

【0079】

なお、図６において、ドット埋めで示される位置には画素データが存在しない。言い換えれば、図５に示されるベイヤ配列画像に含まれる画素数と、図６の（ａ）～（ｄ）に示される分離画像データに含まれる画素数の合計とは、同じである。

【0080】

ステップＳ１０３において、圧縮部１３は、ステップＳ１０２で分離部１２が生成した複数の分離画像データをプレーンごとに圧縮する圧縮処理を行う。圧縮処理は、周知の画像圧縮規格（例えば、ＭＰＥＧまたはＭＪＰＥＧ（Ｍｏｔｉｏｎ ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ））等）に従う圧縮処理によりなされ得る。以降でも同様とする。

【0081】

ステップＳ１０４において、送信部１４は、ステップＳ１０３で圧縮部１３が圧縮した分離画像データを受信装置２０に送信する。送信部１４は、例えば、上記分離画像データをＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）パケットに含めて受信装置２０に送信する。

【0082】

図７は、本実施の形態に係る受信装置２０の処理を示すフロー図である。受信装置２０は、図７の（ａ）に示される処理と、図７の（ｂ）に示される処理とを並行して実行する。

【0083】

まず、図７の（ａ）の処理を説明する。図７の（ａ）の処理は、受信装置２０が送信装置１０から分離画像データを受信するときに実行する一連の処理を示している。

【0084】

ステップＳ２０１において、受信部２１は、複数の分離画像データを受信する。受信部２１が受信する複数の分離画像データは、ＲＡＷ画像データがプレーンごとに分離された複数の分離画像データであり、ステップＳ１０４（図４参照）で送信装置１０が送信した複数の分離画像データである。受信部２１は、上記複数の分離画像データを受信するまで待機し、上記複数の分離画像データを受信したらステップＳ２０２に進む。

【0085】

ステップＳ２０２において、伸張部２２は、ステップＳ２０１で受信部２１が受信した上記複数の分離画像データを伸張する伸張処理を行う。伸張処理は、送信装置１０が用いた画像圧縮規格（例えば、ＭＰＥＧまたはＭＪＰＥＧ等）に従う伸張処理によりなされ得る。以降でも同様とする。伸張処理は、ステップＳ１０３で圧縮部１３が行った圧縮処理と反対の処理であるといえる。

【0086】

ステップＳ２０３において、表示制御部２３は、ステップＳ２０２で伸張部２２が伸張処理を行った後の複数の分離画像データを含む画像データを、バッファ２３１に格納する。

【0087】

ステップＳ２０４において、画像処理部２４は、ステップＳ２０３でバッファ２３１に格納された画像データに対して画像処理を行う。ステップＳ２０４において画像処理部２４が行う画像処理を具体的に説明する。

【0088】

ステップＳ２０４において、合成部２４１は、表示制御部２３が伸張処理を行った後の画像データに含まれる複数の分離画像データを合成する合成処理を行うことでＲＡＷ画像データを取得する。合成部２４１は、具体的には、図６の（ａ）、（ｂ）、（ｃ）および（ｄ）に示される４つの分離画像データを合成することで、図５に示されるＲＡＷ画像データを取得する。合成処理は、分離部１２が行った分離処理と反対の処理であるといえる。

【0089】

また、ステップＳ２０４において、デモザイク部２４２は、合成部２４１が取得したＲＡＷ画像データに対してデモザイク処理を行うことでＲＧＢ画像データを取得する。また、ブラックレベル調整部２４３は、ＲＧＢ画像データに対してブラックレベル調整処理を行う。また、ガンマ補正部２４４は、ＲＧＢ画像データに対してガンマ補正処理を行う。また、カラーマトリクス調整部２４５は、ＲＧＢ画像データに対してカラーマトリクス調整処理を行う。

【0090】

受信装置２０は、ステップＳ２０４の処理を終えたら、ステップＳ２０１に進んで処理を継続する。

【0091】

次に、図７の（ｂ）の処理を説明する。図７の（ｂ）の処理は、受信装置２０が表示装置５に画像を表示させる処理を示している。

【0092】

ステップＳ２１１において、表示制御部２３は、バッファ２３１に格納されているＲＧＢ画像データを取り出して表示装置５へ出力する。上記ＲＧＢ画像データは、ステップＳ２０３でバッファ２３１に格納された後にステップＳ２０４で画像処理が施された画像データである。

【0093】

表示制御部２３は、ＲＧＢ画像データを表示装置５に出力する際には、表示装置５が表示画像を更新する速度（いわゆるリフレッシュレートであり、表示更新速度ともいう）で画像データを表示装置５に出力する。例えば、表示制御部２３が表示装置５に出力する垂直同期信号に同期して、画像データを表示装置５に出力する。

【0094】

また、表示制御部２３は、ステップＳ２１１を繰り返し実行する。これにより、表示制御部２３は、バッファ２３１に格納されている画像データを、その画像データが格納された順番で順次に表示装置５に出力して表示させる。

【0095】

以降において、比較例に係る送信装置９０および受信装置８０について説明する。比較例では、送信装置９０が画像処理を行った後の画像データを受信装置８０に送信し、受信装置８０が画像データに係る画像を表示する。言い換えれば、比較例に係る通信システムは、通信システム１における送信装置１０に代えて送信装置９０を用い、受信装置２０に代えて受信装置８０を用いる通信システムである。

【0096】

図８は、比較例に係る送信装置９０の構成を示すブロック図である。

【0097】

図８に示されるように、送信装置９０は、取得部９１と、画像処理部９２と、圧縮部９３と、送信部９４とを備える。

【0098】

取得部９１は、カメラ２が撮影によって生成したＲＡＷ画像データを取得する。取得部９１は、送信装置１０が備える取得部１１と同様である。また、取得部９１は、カメラ２のＲＧＢ特性データを取得する。カメラ２のＲＧＢ特性データは、後述する画像処理部９２で行う画像処理にて用いられ得る。

【0099】

画像処理部９２は、取得部９１が取得したＲＡＷ画像データに対して画像処理を行う。画像処理部９２が行う画像処理は、デモザイク処理、ブラックレベル調整処理、ガンマ補正処理、カラーマトリクス調整処理、および、ＹＵＶ変換処理を含む。

【0100】

画像処理部９２は、デモザイク部９２１と、ブラックレベル調整部９２２と、ガンマ補正部９２３と、カラーマトリクス調整部９２４と、ＹＵＶ変換部９２５とを有する。

【0101】

デモザイク部９２１は、取得部９１が取得したＲＡＷ画像データに対してデモザイク処理を行う。デモザイク処理は、受信装置２０が備えるデモザイク部２４２が行うデモザイク処理と同様である。

【0102】

ブラックレベル調整部９２２は、ＲＧＢ画像データに対してブラックレベル調整処理を行う。ブラックレベル調整処理は、受信装置２０が備えるブラックレベル調整部２４３が行うブラックレベル調整処理と同様である。

【0103】

ガンマ補正部９２３は、ＲＧＢ画像データに対してガンマ補正処理を行う。ガンマ補正処理は、受信装置２０が備えるガンマ補正部２４４が行うガンマ補正処理と同様である。

【0104】

カラーマトリクス調整部９２４は、ＲＧＢ画像データに対してカラーマトリクス調整処理を行う。カラーマトリクス調整処理は、受信装置２０が備えるカラーマトリクス調整部２４５が行うカラーマトリクス調整処理と同様である。

【0105】

なお、ブラックレベル調整部９２２によるブラックレベル調整処理、ガンマ補正部９２３によるガンマ補正処理、または、カラーマトリクス調整部９２４によるカラーマトリクス調整処理は、取得部９１が取得したカメラ２のＲＧＢ特性データに基づいて、行われ得る。

【0106】

ＹＵＶ変換部９２５は、ＲＧＢ画像データに対してＹＵＶ変換処理を行うことでＹＵＶ画像データを生成する。ＹＵＶ画像データは、当該画像データに含まれる画素の画素値が、ＹＵＶ形式の信号（つまり、輝度信号（Ｙ）および色差信号（ＵおよびＶ、または、ＣｂおよびＣｒ等））で示されている画像データである。ＹＵＶ変換処理は、ＲＧＢ画像データに含まれる画素の画素値をＹＵＶ形式の信号に変換する処理である。ＹＵＶ変換処理は、画像データに含まれる画素の画素値を所定の変換式（例えば非特許文献１または２参照）に代入することなされ得る。ＹＵＶ変換処理は、周知のＹＵＶ変換処理と同様である。

【0107】

圧縮部９３は、画像処理部９２により画像処理が施された後の画像データに対して圧縮処理を行う。なお、圧縮部９３は、必須の構成要素ではない。以降では、送信装置９０が圧縮部９３を備える場合を例として説明する。

【0108】

送信部９４は、画像データを受信装置８０へ送信する。送信部９４が送信する画像データは、画像処理部９２により画像処理が施された後の画像データであって、圧縮処理が施された画像データである。なお、送信装置９０が圧縮部９３を備えない場合には、送信部９４が送信する画像データは、画像処理部９２により画像処理が施された後の画像データである。

【0109】

図９は、比較例に係る受信装置８０の構成を示すブロック図である。

【0110】

図９に示されるように、受信装置８０は、受信部８１と、伸張部８２と、表示制御部８３とを備える。

【0111】

受信部８１は、画像データを送信装置９０からネットワークＮを介して受信する。受信部８１が受信する画像データは、送信装置９０により取得されて画像処理が施された画像データである。

【0112】

伸張部８２は、受信部８１が受信した画像データに対して伸張処理を行う。なお、伸張部８２は、必須の構成要素ではない。伸張部８２は、送信装置９０が圧縮部９３を備える場合に必要であり、そうでない場合には不要である。

【0113】

表示制御部８３は、画像データを表示装置５に出力する制御をする。表示制御部８３は、バッファ８３１を有する。表示制御部８３は、受信部８１が受信した画像データをバッファ８３１に格納する。また、表示制御部８３は、格納した画像データをバッファ８３１から取り出して表示装置５へ出力する。なお、バッファ８３１は、受信装置２０が備えるバッファ２３１と同様に、ＤＲＡＭなどの揮発性記憶装置でもよいし、ＨＤＤまたはＳＳＤ等の不揮発性記憶装置でもよい。

【0114】

図１０は、比較例に係る送信装置９０の処理を示すフロー図である。

【0115】

ステップＳ９０１において、取得部９１は、カメラ２からＲＡＷ画像データを取得する。ＲＡＷ画像は、上記ステップＳ１０１で取得部１１が取得するＲＡＷ画像と同じである。

【0116】

ステップＳ９０２において、画像処理部９２は、ステップＳ９０１で取得部９１が取得したＲＡＷ画像に対して画像処理を行う。ステップＳ９０２において画像処理部９２が行う画像処理を具体的に説明する。

【0117】

ステップＳ９０２において、デモザイク部９２１は、取得部９１が取得したＲＡＷ画像に対してデモザイク処理を行うことでＲＧＢ画像データを取得する。また、ブラックレベル調整部９２２は、ＲＧＢ画像データに対してブラックレベル調整処理を行う。また、ガンマ補正部９２３は、ＲＧＢ画像データに対してガンマ補正処理を行う。また、カラーマトリクス調整部９２４は、ＲＧＢ画像データに対してカラーマトリクス調整を行う。また、ＹＵＶ変換部９２５は、ＲＧＢ画像データに対してＹＵＶ変換処理を行うことでＹＵＶ画像データを生成する。

【0118】

ステップＳ９０３において、圧縮部９３は、ステップＳ９０２で画像処理部９２が画像処理を行った後のＹＵＶ画像データに対して、圧縮処理を行う。

【0119】

ステップＳ９０４において、送信部９４は、ステップＳ９０３で圧縮部９３が圧縮処理を行ったＹＵＶ画像データを受信装置８０に送信する。送信部９４は、例えば、上記ＹＵＶ画像データをＩＰパケットに含めて受信装置８０に送信する。

【0120】

図１１は、比較例に係る受信装置８０の処理を示すフロー図である。受信装置８０は、図１１の（ａ）に示される処理と、図１１の（ｂ）に示される処理とを並行して実行する。

【0121】

まず、図１１の（ａ）の処理を説明する。図１１の（ａ）の処理は、受信装置８０が送信装置９０からＹＵＶ画像データを受信するときに実行する一連の処理を示している。

【0122】

ステップＳ８０１において、受信部８１は、ＹＵＶ画像データを受信する。受信部８１が受信するＹＵＶ画像データは、ステップＳ９０４（図１０参照）で送信装置９０が送信したＹＵＶ画像データである。受信部８１は、上記ＹＵＶ画像データを受信するまで待機し、上記ＹＵＶ画像データを受信したらステップＳ８０２に進む。

【0123】

ステップＳ８０２において、伸張部８２は、ステップＳ８０１で受信部８１が受信した上記ＹＵＶ画像データを伸張する伸張処理を行う。伸張処理は、ステップＳ９０３で圧縮部９３が行った圧縮処理と反対の処理であるといえる。

【0124】

ステップＳ８０３において、表示制御部８３は、ステップＳ８０２で伸張部８２が伸張処理を行った後のＹＵＶ画像データを、バッファ８３１に格納する。

【0125】

受信装置８０は、ステップＳ８０３の処理を終えたら、ステップＳ８０１に進んで処理を継続する。

【0126】

次に、図１１の（ｂ）の処理を説明する。図１１の（ｂ）の処理は、受信装置８０が表示装置５に画像を表示させる処理を示している。

【0127】

ステップＳ８１１において、表示制御部８３は、バッファ８３１に格納されているＹＵＶ画像データを取り出して表示装置５へ出力する。上記ＹＵＶ画像データは、ステップＳ８０３でバッファ８３１に格納されたＹＵＶ画像データである。表示制御部８３がＹＵＶ画像データを表示装置５に出力する処理は、ステップＳ２１１（図７の（ｂ）参照）で表示制御部２３がＲＧＢ画像に対して実行する処理と同様である。これにより、表示制御部８３は、バッファ８３１に格納されているＹＵＶ画像データを、そのＹＵＶ画像データが格納された順番で順次に表示装置５に出力して表示させる。

【0128】

以上のようにして、本実施の形態における通信システム１は、比較例に係る通信システムに対して、ネットワークを通じて伝送される画像の表示における遅延を抑制することができる。このように通信システム１が、ネットワークを通じて伝送される画像の表示における遅延を抑制することができることについて説明する。

【0129】

本実施の形態における通信システム１では、画像の撮影から表示までに要する時間には、主に、圧縮部１３が行う圧縮処理に要する時間、および、表示制御部２３がＲＧＢ画像をバッファ２３１に格納してから取り出すまでの時間（表示待ち時間ともいう）が含まれ得る。

【0130】

一方、比較例に係る通信システムでは、画像の撮影から表示までに要する時間には、主に、圧縮部９３が行う圧縮処理に要する時間、および、表示制御部８３がＹＵＶ画像をバッファ８３１に格納してから取り出すまでの時間（表示待ち時間ともいう）に加えて、画像処理部９２が行う画像処理（ＹＵＶ変換処理を含む）に要する時間が含まれ得る。比較例に係る通信システムでは、一般に、ＭＰＥＧまたはＪＰＥＧのように、輝度信号（Ｙ成分）のデータ量を圧縮するアルゴリズムが主流であるので、輝度信号（Ｙ成分）に対して色差信号（ＵおよびＶ成分）の圧縮率が高めに設定されることがあり、静止画または動画の圧縮では、ＲＧＢ画像よりもＹＵＶ画像での圧縮が行われている。

【0131】

（１）まず、本実施の形態における通信システム１では、受信装置２０が、画像データの表示待ち時間内に当該画像に対する画像処理を行う。そのため、画像の撮影から表示までの時間に、専ら画像処理を行う時間が含まれないので、ネットワークを通じて伝送される画像の表示における遅延を抑制することができる。

【0132】

これに対して、比較例においては、画像処理部９２が行う画像処理のあとに、表示制御部８３における表示待ちがなされる。そのため、画像の撮影から表示までの時間に、画像処理部９２が専ら画像処理を行う時間が含まれる。

【0133】

このように、通信システム１では、ネットワークを通じて伝送される画像の表示における遅延を抑制することができる。

【0134】

（２）また、本実施の形態における通信システム１では、圧縮処理の対象である画像データのデータ量が小さいことにより、圧縮処理に要する時間が短い。圧縮部１３による圧縮処理の対象である画像データは、ＲＡＷ画像データが分離された複数の分離画像データであるので、ＲＡＷ画像データと同じ画素数（言い換えれば、カメラ２のイメージセンサの画素数と同じ画素数）分の画素値を有する。これに対して、比較例における画像処理部９２による圧縮処理の対象である画像データは、ＹＵＶ画像データである。ＹＵＶ画像は、ＹＵＶ４４４フォーマットである場合には、カメラ２のイメージセンサの画素数の３倍の画素数の画素値を有し、また、ＹＵＶ４２０フォーマットである場合には、カメラ２のイメージセンサの画素数の１．５倍の画素値を有する。ここで、「ＹＵＶ４４４フォーマット」は、色差信号のダウンサンプリングをしないフォーマットを意味し、「ＹＵＶ４２０フォーマット」は、輝度信号８ビットに対して色差信号を２ビットとするダウンサンプリングをするフォーマットを意味する。

【0135】

よって、圧縮部１３による圧縮処理の対象である画像データのデータ量が、比較例における画像処理部９２による圧縮処理の対象である画像データのデータ量の１／３倍（ＹＵＶ４４４フォーマットの場合）、または、１／１．５倍（ＹＵＶ４２０フォーマットの場合）と小さい。よって、通信システム１は、比較例に係る通信システムに対して、圧縮処理の要する時間が、１／３倍（ＹＵＶ４４４フォーマットの場合）、または、１／１．５倍（ＹＵＶ４２０フォーマットの場合）と短い。これにより、通信システム１は、ネットワークを通じて伝送される画像の表示における遅延を抑制することができる。

【0136】

（３）また、本実施の形態における通信システム１では、画像処理部２４が実行する画像処理に、ＹＵＶ変換処理が含まれないことにより、画像処理に要する時間が短い。これに対して、比較例による画像処理では、画像処理部９２が実行する画像処理に、ＹＵＶ変換部９２５によるＹＵＶ変換処理が含まれる。ＹＵＶ変換処理は、ＲＧＢ画像に含まれる画素値ごとの演算処理を含むので、処理量が比較的大きく、処理に時間を要する。

【0137】

そのため、本実施の形態における通信システム１は、比較例における画像処理と比較して処理量が小さく、処理に要する時間が短い。

【0138】

なお、ＹＵＶ画像データにおいて、色差信号のダウンサンプリングを行う場合には、色差信号のダウンサンプリングにより画像の画質が劣化する。そのため、本実施の形態における通信システム１は、比較例における画像処理と比較して、画像の画質を劣化させずに維持することができる効果もある。

【0139】

なお、本発明は、装置として実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

【0140】

以上、本発明の受信装置、送信装置および通信システム等について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

【産業上の利用可能性】

【0141】

本発明は、ネットワークを通じて画像を伝送して表示する通信システム等に利用可能である。

【符号の説明】

【0142】

１ 通信システム
２ カメラ
３ 処理装置
５ 表示装置
６ 操作装置
１０、９０ 送信装置
１１、９１ 取得部
１２ 分離部
１３、９３ 圧縮部
１４、９４ 送信部
２０、８０ 受信装置
２１、８１ 受信部
２２、８２ 伸張部
２３、８３ 表示制御部
２４、９２ 画像処理部
２３１、８３１ バッファ
２４１ 合成部
２４２、９２１ デモザイク部
２４３、９２２ ブラックレベル調整部
２４４、９２３ ガンマ補正部
２４５、９２４ カラーマトリクス調整部
９２５ ＹＵＶ変換部
Ｎ ネットワーク
Ｓ 画素群
Ｕ ユーザ
Ｗ ワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】