特許 7504803 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-14

(45)【発行日】2024-06-24

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   H04N 5/21 20060101AFI20240617BHJP

【ＦＩ】

H04N5/21

【請求項の数】 13

(21)【出願番号】P 2020559109

(86)(22)【出願日】2019-11-27

(86)【国際出願番号】 JP2019046463

(87)【国際公開番号】W WO2020116292

(87)【国際公開日】2020-06-11

【審査請求日】2022-10-21

(31)【優先権主張番号】P 2018229946

(32)【優先日】2018-12-07

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】佐藤 泰史

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】特開２０１１－０３４３４２（ＪＰ，Ａ）

【文献】特開２０１６－１４６１６２（ＪＰ，Ａ）

【文献】特開２０１０－０１１０７２（ＪＰ，Ａ）

【文献】特開２０１６－２１３７１４（ＪＰ，Ａ）

【文献】特開２０１０－１４７９８５（ＪＰ，Ａ）

【文献】特開２０１６－００１３７２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２１

(57)【特許請求の範囲】

【請求項1】

撮像画像に付与されるデータに基づいて該撮像画像における所定の領域を１以上検出する領域検出部と、
前記領域検出部が検出した前記所定の領域の画像に対してノイズ低減処理を実行する画像処理部と、
を備え、
前記画像処理部は、
過去の前記撮像画像から検出した前記所定の領域の画像に対して前記ノイズ低減処理を実行した第１の画像を変形させて、現在の前記撮像画像から検出した前記所定の領域の第２の画像とサイズを一致させ、
変形後の前記第１の画像と前記第２の画像との差分に基づき前記ノイズ低減処理を実行する、
画像処理装置。

【請求項2】

前記画像処理部は、前記過去の前記撮像画像から検出した前記所定の領域と、前記現在の前記撮像画像から検出した前記所定の領域とが一致しているかどうかを、前記データを参照して判断する、請求項１に記載の画像処理装置。

【請求項3】

前記領域検出部が検出した前記所定の領域の画像を前記撮像画像から抽出する領域抽出部をさらに備え、前記画像処理部は、前記領域抽出部が抽出した前記所定の領域の画像に対してノイズ低減処理を実行する、請求項１に記載の画像処理装置。

【請求項4】

前記画像処理部は、前記第２の画像と、前記第１の画像とを用いて、前記第１の画像を変形するためのパラメータを算出するパラメータ算出部を備える、請求項１に記載の画像処理装置。

【請求項5】

前記画像処理部は、さらに、前記パラメータ算出部が算出した前記パラメータに基づいて前記第１の画像の変形を行う変形部を備える、請求項４に記載の画像処理装置。

【請求項6】

前記画像処理部は、前記変形部による前記第１の画像に対する変形の前に、前記データに含まれる現在のフレームの前記所定の領域に関する情報を用いて前記第１の画像に対する変形処理を行うプリ変形部をさらに備える、請求項５に記載の画像処理装置。

【請求項7】

前記画像処理部は、前記撮像画像の全ての領域に対するノイズ低減処理をさらに実行し、前記全ての領域に対するノイズ低減処理の結果と、前記所定の領域の画像に対するノイズ低減処理の結果とを所定の比率で合成する、請求項１に記載の画像処理装置。

【請求項8】

前記画像処理部は、前記所定の比率を算出する係数算出部を備える、請求項７に記載の画像処理装置。

【請求項9】

前記係数算出部は、前記所定の領域におけるノイズ低減処理の結果の差分に基づいて前記所定の比率を算出する、請求項８に記載の画像処理装置。

【請求項10】

前記画像処理部は、前記撮像画像の全ての領域に対するノイズ低減処理を実行する際に手振れを考慮したノイズ低減処理を実行する、請求項７に記載の画像処理装置。

【請求項11】

前記領域検出部と、前記画像処理部とは、同一のチップに設けられる、請求項１に記載の画像処理装置。

【請求項12】

前記領域検出部と、前記画像処理部とは、異なるチップに設けられる、請求項１に記載の画像処理装置。

【請求項13】

撮像画像に付与されるデータに基づいて該撮像画像における所定の領域を１以上検出することと、
検出された前記領域に対してノイズ低減処理を実行することと、
を含み、
前記ノイズ低減処理を実行することは、
過去の前記撮像画像から検出した前記所定の領域に対して前記ノイズ低減処理を実行した第１の画像を変形させて、現在の前記撮像画像から検出した前記所定の領域の第２の画像とサイズを一致させ、
変形後の前記第１の画像と前記第２の画像との差分に基づき前記ノイズ低減処理を実行する、
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

画像のノイズ低減処理（ＮＲ：Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）として、連続撮影された複数枚の画像を利用した合成処理が有効であることが知られている。具体的には、連続撮影された複数の画像から同一被写体の撮影画素領域である対応画素を検出し、これら複数の対応画素の画素値を加算平均するなどの合成処理を行なうことで、ノイズを低減した画素値を算出する。

【0003】

このような連続撮影画像を適用してノイズ低減を行なう手法は、１つの画像の２次元領域のみだけではなく異なる撮影時間の複数画像、すなわち時間軸方向も加えた３次元（３Ｄｉｍｅｎｓｉｏｎｓ）データを利用した処理であることから、３Ｄノイズ低減処理、すなわち３ＤＮＲ（３Ｄｉｍｅｎｓｉｏｎａｌ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）と呼ばれる。３ＤＮＲについては、例えば特許文献１等に開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－１３８２９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、既存の３ＤＮＲはＮＲ処理の対象が限定されていないため、演算量が多く、かつ多くのメモリを必要としていた。また既存の３ＤＮＲは、動体が含まれている場合に、ブラーとのトレードオフでＳＮ比が低下していた。

【0006】

そこで、本開示では、画像に対して設定される領域を利用することで少ない演算で高精度かつ高画質のノイズ低減処理を実現することが可能な、新規かつ改良された画像処理装置及び画像処理方法を提案する。

【課題を解決するための手段】

【0007】

本開示によれば、撮像画像に付与されるデータに基づいて該撮像画像における所定の領域を１以上検出する領域検出部と、前記領域検出部が検出した前記所定の領域の画像に対してノイズ低減処理を実行する画像処理部と、を備え、前記画像処理部は、過去の前記撮像画像から検出した前記所定の領域の画像に対して前記ノイズ低減処理を実行した第１の画像を変形させて、現在の前記撮像画像から検出した前記所定の領域の第２の画像とサイズを一致させ、変形後の前記第１の画像と前記第２の画像との差分に基づき前記ノイズ低減処理を実行する、画像処理装置が提供される。

【0008】

また本開示によれば、撮像画像に付与されるデータに基づいて該撮像画像における所定の領域を１以上検出することと、検出された前記領域に対してノイズ低減処理を実行することと、を含み、前記ノイズ低減処理を実行することは、過去の前記撮像画像から検出した前記所定の領域に対して前記ノイズ低減処理を実行した第１の画像を変形させて、現在の前記撮像画像から検出した前記所定の領域の第２の画像とサイズを一致させ、変形後の前記第１の画像と前記第２の画像との差分に基づき前記ノイズ低減処理を実行する、画像処理方法が提供される。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る通信システム１０００の構成の一例を示す説明図である。

【図2】ＭＩＰＩ ＣＳＩ－２規格において定められるパケットのフォーマットを示す説明図である。

【図3】ＭＩＰＩ ＣＳＩ－２規格において定められるパケットのフォーマットを示す説明図である。

【図4】ＭＩＰＩ ＣＳＩ－２規格におけるパケットの送信に係る信号波形の一例を示す説明図である。

【図5】本開示の実施の形態に係る通信システムの機能構成例を示す説明図である。

【図6】ＲＯＩ領域の例を示す説明図である。

【図7】ＲＯＩ領域のデータフォーマットを示す説明図である。

【図8】本開示の実施の形態に係る通信システム１の機能構成例を示す説明図である。

【図9】本開示の実施の形態に係る通信システム１の機能構成例を示す説明図である。

【図10】本開示の実施の形態に係る通信システム１の機能構成例を示す説明図である。

【図11】本開示の実施の形態に係る通信システム１の機能構成例を示す説明図である。

【図12】本開示の実施の形態に係る通信システム１の機能構成例を示す説明図である。

【図13】本開示の実施の形態に係る通信システム１の機能構成例を示す説明図である。

【図14】３ＤＮＲを実現する撮像装置の構成例を示す説明図である。

【図15】差分絶対値と、乗算器１０４５の係数Ｋとの関係の一例を示す説明図である。

【図16】同実施形態に係る通信システムにおいて画像のデータの送信に利用されるパケットの構造の一例について説明するための説明図である。

【図17】パケットのヘッダに設けられる拡張領域について説明するための説明図である。

【図18】パケットのヘッダに設けられる拡張領域について説明するための説明図である。

【図19】送信されるデータのフォーマットについて説明するための説明図である。

【図20】パケットヘッダの構成の一例について説明するための説明図である。

【図21】本実施形態に係る画像センサ１００の構成の一例を示すハードウェアブロック図である。

【図22】本実施形態に係るプロセッサ２００の構成の一例を表した図である。

【発明を実施するための形態】

【0010】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0011】

なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．経緯
１．２．構成例
２．まとめ

【0012】

＜１．本開示の実施の形態＞
［１．１．経緯］
まず、本開示の実施の形態について詳細に説明する前に、本開示の実施の形態に至った経緯について説明する。

【0013】

上述したように、画像のノイズ低減処理として、連続撮影された複数枚の画像を利用した合成処理が有効であることが知られている。具体的には、連続撮影された複数の画像から同一被写体の撮影画素領域である対応画素を検出し、これら複数の対応画素の画素値を加算平均するなどの合成処理を行なうことで、ノイズを低減した画素値を算出する。

【0014】

このような連続撮影画像を適用してノイズ低減を行なう手法は、１つの画像の２次元領域のみだけではなく異なる撮影時間の複数画像、すなわち時間軸方向も加えた３次元データを利用した処理であることから、３Ｄノイズ低減処理、すなわち３ＤＮＲと呼ばれる。

【0015】

一般的な３ＤＮＲは、時間軸方向にＩＩＲ（Infinite Impulse Response）フィルタを掛けることでＳＮ比の改善を目指している。画像中に動体が存在するとブラーが発生するため、フレーム間の差分絶対値から動体を検出し、動体部分のＩＩＲフィルタの帰還率を下げることで動体のブラーを抑制する技術がある。図１４は、３ＤＮＲを実現する撮像装置の構成例を示す説明図である。図１４に示した撮像装置１０００は、レンズユニット１０１０、ＩＲカットフィルタ１０２０、撮像素子１０３０、ＩＩＲフィルタ１０４０を含んで構成される。ＩＩＲフィルタ１０４０は、差分絶対値計算部１０４２、フレームメモリ１０４４、乗算器１０４５、１０４６及び加算器１０４８を含んで構成される。

【0016】

レンズ１０１０を通って集光され、ＩＲカットフィルタ１０２０で赤外光がカットされた光は、撮像素子１０３０で電気信号に変換される。撮像素子１０３０から出力される電気信号はＩＩＲフィルタ１０４０を通る。ＩＩＲフィルタ１０４０は、撮像素子１０３０から出力される電気信号と、メモリ１０４４に蓄えられた、１フレーム前で処理された画像に相当する電気信号とを、加算器１０４８で加算する。ＩＩＲフィルタ１０４０は、２つの信号を加算器１０４８で加算する際に、乗算器１０４５、１０４６で設定される所定の比率で加算する。この比率は差分絶対値計算部１０４２において決定される。図１５は、差分絶対値と、乗算器１０４５の係数Ｋとの関係の一例を示す説明図である。図１５に示したように、差分絶対値が大きくなるほど係数Ｋが小さくなるように設定される。すなわち、ＩＩＲフィルタ１０４０は、差分絶対値が大きくなるほど現フレームの画像に対応する電気信号の比率が大きくなるように２つの電気信号を加算する。

【0017】

この方式では、画像中の一部の領域にのみ動体が存在した場合であっても、画像の全ての領域をフレームメモリ１０４４で記憶する必要がある。すなわち、フレームメモリ１０４４の容量を大きくする必要がある。また、画像の全ての領域について差分絶対値を計算する必要があるため、演算量が多くなってしまう。また動きが激しい動体が存在した場合は差分絶対値が大きくなるために係数Ｋが小さくなり、ＳＮ比が低下することとなる。

【0018】

そこで本件開示者は、少ない演算で高精度かつ高画質の３ＤＮＲを実現することが可能な技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、対象領域を限定することで少ない演算で高精度かつ高画質の３ＤＮＲを実現することが可能な技術を考案するに至った。

【0019】

以上、本開示の実施の形態に至った経緯について説明した。続いて、本開示の実施の形態について詳細に説明する。

【0020】

［１．２．構成例］
（１）本実施形態に係る送信方法を適用することが可能な通信システムの構成
まず、本実施形態に係る送信方法を適用することが可能な通信システムの構成の一例を説明する。

【0021】

以下では、本実施形態に係る通信システムを構成する装置間の通信方式が、ＭＩＰＩ（Mobile Industry Processor Interface） ＣＳＩ－２（Camera Serial Interface 2）規格に則った通信方式である場合を例に挙げる。なお、本実施形態に係る通信システムを構成する装置間の通信方式は、ＭＩＰＩ ＣＳＩ－２規格に則った通信方式に限られない。例えば、本実施形態に係る通信システムを構成する装置間の通信は、ＭＩＰＩ ＣＳＩ－３規格に則った通信方式や、ＭＩＰＩ ＤＳＩ（Display Serial Interface）に則った通信方式など、ＭＩＰＩアライアンスにおいて策定された他の規格であってもよい。また、本実施形態に係る送信方法が適用可能な通信方式が、ＭＩＰＩアライアンスにおいて策定された規格に係る通信方式に限られないことは、言うまでもない。

【0022】

図１は、本実施形態に係る通信システム１の構成の一例を示す説明図である。通信システム１としては、例えば、スマートフォンなどの通信装置や、ドローン（遠隔操作による動作、または、自律的な動作が可能な機器）、自動車などの移動体などが挙げられる。なお、通信システム１の適用例は、上記に示す例に限られない。通信システム１の他の適用例については、後述する。

【0023】

通信システム１は、例えば、画像センサ１００と、プロセッサ２００と、メモリ３００と、表示デバイス４００とを有する。

【0024】

画像センサ１は、撮像機能と送信機能とを有し、撮像により生成した画像を示すデータを送信する。プロセッサ２００は、画像センサ１００から送信されたデータを受信し、受信されたデータを処理する。つまり、通信システム１において、画像センサ１００は送信装置の役目を果たし、プロセッサ２００は受信装置の役目を果たす。

【0025】

なお、図１では、１つの画像センサ１００を有する通信システム１を示しているが、本実施形態に係る通信システムが有する画像センサ１００の数は、図１に示す例に限られない。例えば、本実施形態に係る通信システムは、２つ以上の画像センサ１００を有していてもよい。

【0026】

また、図１では、１つのプロセッサ２００を有する通信システム１を示しているが、本実施形態に係る通信システムが有するプロセッサ２００の数は、図１に示す例に限られない。例えば、本実施形態に係る通信システムは、２つ以上のプロセッサ２００を有していてもよい。

【0027】

画像センサ１００およびプロセッサ２００それぞれを複数有する通信システムでは、画像センサ１００とプロセッサ２００とが一対一に対応していてもよいし、１つのプロセッサ２００に複数の画像センサ１００が対応していてもよい。また、画像センサ１００およびプロセッサ２００それぞれを複数有する通信システムでは、１つの画像センサ１００に複数のプロセッサ２００が対応していてもよい。

【0028】

画像センサ１００およびプロセッサ２００それぞれを複数有する通信システムにおいても、図１に示す通信システム１と同様に、画像センサ１００とプロセッサ２００との間で通信が行われる。

【0029】

画像センサ１００とプロセッサ２００とは、データバスＢ１により電気的に接続される。データバスＢ１は、画像センサ１００とプロセッサ２００とを接続する、一の信号の伝送路である。例えば、画像センサ１００から送信される画像を示すデータ（以下、「画像データ」と示す場合がある。）は、画像センサ１００からプロセッサ２００へとデータバスＢ１を介して伝送される。

【0030】

通信システム１においてデータバスＢ１により伝送される信号は、例えば、ＭＩＰＩ ＣＳＩ－２規格などの所定の規格に則った通信方式で伝送される。

【0031】

図２、図３は、ＭＩＰＩ ＣＳＩ－２規格において定められるパケットのフォーマットを示す説明図である。図２は、ＭＩＰＩ ＣＳＩ－２規格において定められているショートパケット（Ｓｈｏｒｔ Ｐａｃｋｅｔ）のフォーマットを示しており、図３は、ＭＩＰＩ ＣＳＩ－２規格において定められているロングパケット（Ｌｏｎｇ Ｐａｃｋｅｔ）のフォーマットを示している。

【0032】

ロングパケットは、パケットヘッダ（図３に示す“ＰＨ”）、ペイロード（図３に示す“Ｐａｙｌｏａｄ Ｄａｔａ”）、およびパケットフッタ（図３に示す“ＰＦ”）からなるデータである。ショートパケットは、図２に示すようにパケットヘッダ（図３に示す“ＰＨ”）と同様の構造を有するデータである。

【0033】

ショートパケットとロングパケットとには、いずれもヘッダ部分にＶＣ（Virtual Channel）番号（図２、図３に示す“ＶＣ”。ＶＣ値）が記録され、パケットごとに任意のＶＣ番号が付与されうる。同一のＶＣ番号が付与されたパケットは、同じ画像データに属するパケットとして扱われる。

【0034】

また、ショートパケットとロングパケットとには、いずれもヘッダ部分にＤＴ（Data Type）値（図２、図３に示す“Ｄａｔａ Ｔｙｐｅ”）が記録される。そのため、ＶＣ番号と同様に、同一のＤＴ値が付与されたパケットを、同じ画像データに属するパケットとして取り扱うことも可能である。

【0035】

ロングパケットのヘッダ部分のＷｏｒｄ Ｃｏｕｎｔには、パケットの終わりがワード数で記録される。ショートパケットとロングパケットとのヘッダ部分のＥＣＣには、誤り訂正符号（Error Correcting Code）が記録される。

【0036】

ＭＩＰＩ ＣＳＩ－２規格では、データ信号を伝送する期間では高速差動信号が用いられ、また、データ信号のブランキング期間では低電力信号が用いられる。また、高速差動信号が用いられる期間は、ＨＰＳ（High Speed State）の期間と呼ばれ、低電力信号が用いられる期間は、ＬＰＳ（Low Power State）の期間と呼ばれる。

【0037】

図４は、ＭＩＰＩ ＣＳＩ－２規格におけるパケットの送信に係る信号波形の一例を示す説明図である。図４のＡは、パケットの伝送の一例を示しており、図４のＢは、パケットの伝送の他の例を示している。図４に示す“ＳＴ”、“ＥＴ”、“ＰＨ”、“ＰＦ”、“ＳＰ”、“ＰＳ”は、それぞれ下記を意味する。
・ＳＴ：Ｓｔａｒｔ ｏｆ Ｔｒａｎｓｍｉｓｓｉｏｎ
・ＥＴ：Ｅｎｄ ｏｆ Ｔｒａｎｓｍｉｓｓｉｏｎ
・ＰＨ：Ｐａｃｋｅｔ Ｈｅａｄｅｒ
・ＰＦ：Ｐａｃｋｅｔ Ｆｏｏｔｅｒ
・ＳＰ：Ｓｈｏｒｔ Ｐａｃｋｅｔ
・ＰＳ：Ｐａｃｋｅｔ Ｓｐａｃｉｎｇ

【0038】

図４に示すように、ＬＰＳの期間における差動信号（図４に示す“ＬＰＳ”）と、ＨＰＳの期間における差動信号（図４に示す“ＬＰＳ”以外）とでは、差動信号の振幅が異なることが分かる。そのため、伝送効率を向上させる観点からは、できる限りＬＰＳの期間が入らないことが望ましい。

【0039】

画像センサ１００とプロセッサ２００とは、例えば、データバスＢ１とは異なる制御バスＢ２により電気的に接続される。制御バスＢ２は、画像センサ１００とプロセッサ２００とを接続する、他の信号の伝送路である。例えば、プロセッサ２００から出力される制御情報が、プロセッサ２００から画像センサ１００へと制御バスＢ２を介して伝送される。

【0040】

制御情報には、例えば、制御のための情報と処理命令とが含まれる。制御のための情報としては、例えば、画像サイズを示すデータ、フレームレートを示すデータ、画像の出力命令が受信されてから画像を出力するまでの出力遅延量を示すデータのうちの１または２以上など、画像センサ１００における機能を制御するためのデータが、挙げられる。また、制御情報には、画像センサ１００を示す識別情報が含まれていてもよい。識別情報としては、例えば、画像センサ１００に設定されているＩＤなどの、画像センサ１００を特定することが可能な任意のデータが挙げられる。

【0041】

なお、制御バスＢ２を介してプロセッサ２００から画像センサ１００へと伝送される情報は、上記に示す例に限られない。例えば、プロセッサ２００は、画像における領域を指定する領域指定情報を、制御バスＢ２を介して伝送してもよい。領域指定情報としては、領域に含まれる画素の位置を示すデータ（例えば、領域に含まれる画素の位置が座標で表される座標データなど）など、領域を特定することが可能な任意の形式のデータが、挙げられる。

【0042】

図１では、画像センサ１００とプロセッサ２００とが制御バスＢ２により電気的に接続されている例を示しているが、画像センサ１００とプロセッサ２００とは、制御バスＢ２で接続されていなくてもよい。例えば、画像センサ１００とプロセッサ２００とは、任意の通信方式の無線通信によって、制御情報などを送受信してもよい。

【0043】

以下、図１に示す通信システム１を構成する各装置について、説明する。

【0044】

（１－１）メモリ３００
メモリ３００は、通信システム１が有する記録媒体である。メモリ３００としては、例えば、ＲＡＭ（Random Access Memory）などの揮発性メモリや、フラッシュメモリなどの不揮発性メモリなどが挙げられる。メモリ３００は、バッテリなどの通信システム１を構成する内部電源（図示せず）から供給される電力、または、通信システム１の外部電源から供給される電力によって、動作する。

【0045】

メモリ３００には、例えば、画像センサ１００から出力された画像が記憶される。メモリ３００への画像の記録は、例えばプロセッサ２００により制御される。

【0046】

（１－２）表示デバイス４００
表示デバイス４００は、通信システム１が有する表示デバイスである。表示デバイス４００としては、例えば、液晶ディスプレイや有機ＥＬディスプレイ（Organic Electro-Luminescence Display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode Display）ともよばれる。）などが挙げられる。表示デバイス４００は、バッテリなどの通信システム１を構成する内部電源（図示せず）から供給される電力、または、通信システム１の外部電源から供給される電力によって、動作する。

【0047】

表示デバイス４００の表示画面には、例えば、画像センサ１００から出力された画像や、プロセッサ２００において実行されるアプリケーションに係る画面、ＵＩ（User Interface）に係る画面など、様々な画像や画面が表示される。表示デバイス４００の表示画面への画像などの表示は、例えばプロセッサ２００により制御される。

【0048】

（１－３）プロセッサ２００（受信装置）
プロセッサ２００は、画像センサ１００から送信されたデータを受信し、受信されたデータを処理する。上述したように、プロセッサ２００は、通信システム１において受信装置の役目を果たす。画像センサ１００から送信されたデータの処理に係る構成（受信装置の役目を果たすための構成）の一例については、後述する。

【0049】

プロセッサ２００は、例えば、ＭＰＵ（Micro Processing Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成される。プロセッサ２００は、バッテリなどの通信システム１を構成する内部電源（図示せず）から供給される電力、または、通信システム１の外部電源から供給される電力によって、動作する。

【0050】

プロセッサ２００は、例えば、メモリ３００などの記録媒体への画像データの記録制御に係る処理、表示デバイス４００の表示画面への画像の表示制御に係る処理、任意のアプリケーションソフトウェアを実行する処理など、様々な処理を行う。記録制御に係る処理としては、例えば“記録命令を含む制御データと記録媒体に記録させるデータとを、メモリ３００などの記録媒体に伝達する処理”が、挙げられる。また、表示制御に係る処理としては、例えば“表示命令を含む制御データと表示画面に表示させるデータとを、表示デバイス４００などの表示デバイスに伝達する処理”が、挙げられる。

【0051】

また、プロセッサ２００は、例えば、画像センサ１００に対して制御情報を送信することによって、画像センサ１００における機能を制御してもよい。プロセッサ２００は、例えば、画像センサ１００に対して領域指定情報を送信することによって、画像センサ１００から送信されるデータを制御することも可能である。

【0052】

（１－４）画像センサ１００（送信装置）
画像センサ１００は、撮像機能と送信機能とを有し、撮像により生成した画像を示すデータを送信する。上述したように、画像センサ１００は、通信システム１において送信装置の役目を果たす。

【0053】

画像センサ１００は、例えば、“デジタルスチルカメラやデジタルビデオカメラ、ステレオカメラなどの撮像デバイス”や、“赤外線センサ”、“距離画像センサ”などの、画像を生成することが可能な任意の方式の画像センサデバイスを含み、生成された画像を送信する機能を有する。画像センサ１００において生成される画像は、画像センサ１００におけるセンシング結果を示すデータに該当する。画像センサ１００の構成の一例については、後述する。

【0054】

画像センサ１００は、後述する本実施形態に係る送信方法により、画像に対して設定される領域に対応するデータ（以下、「領域データ」と示す。）を送信する。領域データの送信に係る制御は、例えば、画像センサ１００における画像処理部として機能する構成要素（後述する）により行われる。画像に対して設定される領域は、ＲＯＩ（Region Of Interest）と呼ばれる場合がある。以下では、画像に対して設定される領域を「ＲＯＩ」と示す場合がある。

【0055】

画像に対する領域の設定に係る処理としては、例えば、“画像から物体を検出し、検出された物体を含む領域を設定する処理”、“任意の操作デバイスに対する操作などにより指定された領域を設定する処理”など、画像における一部の領域を特定することが可能な任意の処理（または、画像から一部の領域を切り出すことが可能な任意の処理）が、挙げられる。

【0056】

画像に対する領域の設定に係る処理は、画像センサ１００が行ってもよいし、プロセッサ２００などの外部装置において行われてもよい。画像センサ１００が画像に対する領域の設定に係る処理を行う場合、画像センサ１００は、画像に対する領域の設定に係る処理の結果に従って領域を特定する。また、例えば、画像に対する領域の設定に係る処理が外部装置において行われる場合、画像センサ１００は、外部装置から取得される領域指定情報に基づいて、領域を特定する。

【0057】

画像センサ１００が、領域データを送信すること、すなわち、画像の一部のデータを送信することによって、画像全体を伝送するよりも伝送に係るデータ量が小さくなる。よって、画像センサ１００が、領域データを送信することによって、例えば、伝送時間が短縮される、通信システム１における伝送に係る負荷が低減されるなど、データ量が低減されることにより奏される様々な効果が、奏される。

【0058】

なお、画像センサ１００は、画像全体を示すデータを送信することも可能である。

【0059】

画像センサ１００が、領域データを送信する機能、および画像全体を示すデータを送信する機能を有している場合、画像センサ１００は、領域データを送信することと、画像全体を示すデータを送信することとを、選択的に切り替えて行うことが可能である。

【0060】

画像センサ１００は、例えば、設定されている動作モードによって、領域データを送信し、または、画像全体を示すデータを送信する。動作モードの設定は、例えば、任意の操作デバイスに対する操作などにより行われる。

【0061】

また、画像センサ１００は、外部装置から取得される領域指定情報に基づいて、領域データを送信することと、画像全体を示すデータを送信することとを、選択的に切り替えてもよい。画像センサ１００は、例えば、外部装置から領域指定情報が取得されたときに、当該領域指定情報に対応する領域の領域データを送信し、外部装置から領域指定情報が取得されないときに、画像全体を示すデータを送信する。

【0062】

通信システム１は、例えば図１に示す構成を有する。なお、本実施形態に係る通信システムの構成は、図１に示す例に限られない。

【0063】

例えば、図１では、送信装置の役目を果たす装置として画像センサ１００を例に挙げたが、送信装置の役目を果たす装置は、画像センサ１００に限られない。例えば、本実施形態に係る通信システムが、撮像デバイスなどの画像センサデバイスと、画像センサデバイスと電気的に接続されている送信器とを有する構成である場合、当該送信器が送信装置の役目を果たしていてもよい。

【0064】

また、図１では、受信装置の役目を果たす装置として、プロセッサ２００を例に挙げたが、受信装置の役目を果たす装置は、プロセッサ２００に限られない。例えば、本実施形態に係る通信システムでは、データを受信する機能を有する任意のデバイスが、受信装置の役目を果たすことが可能である。

【0065】

また、通信システムの外部の記録媒体に画像センサ１００から送信される画像が記憶される場合、画像センサ１００から送信される画像が、プロセッサ２００に備えられるメモリに記憶される場合、あるいは、画像センサ１００から送信される画像が記録されない場合などには、本実施形態に係る通信システムは、メモリ３００を有していなくてもよい。

【0066】

また、本実施形態に係る通信システムは、図１に示す表示デバイス４００を有さない構成をとることが可能である。

【0067】

さらに、本実施形態に係る通信システムは、後述する本実施形態に係る通信システムが適用される電子機器が有する機能に応じた、任意の構成を有していてもよい。

【0068】

以上、本実施形態として、通信システムを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、スマートフォンなどの通信装置や、ドローン（遠隔操作による動作、または、自律的な動作が可能な機器）、自動車などの移動体、ＰＣ（Personal Computer）などのコンピュータ、タブレット型の装置、ゲーム機、監視カメラなど、様々な電子機器に適用することができる。

【0069】

このような通信システムにおいて、対象領域を限定することで少ない演算で高精度かつ高画質の３ＤＮＲを実現するための構成及び動作の概要を説明する。

【0070】

図５は、本開示の実施の形態に係る通信システムの機能構成例を示す説明図である。図５に示したように、本開示の実施の形態に係る通信システム１は、レンズユニット１１０、ＩＲカットフィルタ１２０、撮像素子１３０、ＩＩＲフィルタ１４０を含んで構成される。そしてＩＩＲフィルタ１４０は、ＲＯＩ領域検出部１４１、ＲＯＩ抽出部１４２、パラメータ算出部１４３、ＲＯＩメモリ１４４、ＲＯＩ変形部１４５、差分絶対値計算部１４６、乗算器１４７、１４８、及び加算器１４９を含んで構成される。

【0071】

レンズユニット１１０は、１つ以上のレンズで構成される光学系のユニットであり、被写体からの光を集光する。ＩＲカットフィルタ１２０は、レンズユニット１１０で集められた光から赤外光をカットする。撮像素子１３０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などで構成されるセンサであり、ＩＲカットフィルタ１２０を通過した光から電気信号を生成する。

【0072】

ＩＩＲフィルタ１４０は、撮像素子１３０から出力される電気信号と、１フレーム前の画像に相当する電気信号とを加算して出力する。本開示の実施の形態では、ＩＩＲフィルタ１４０は、画像中の動体の位置をＲＯＩ領域として検出し、そのＲＯＩ領域に対するフィルタ処理を実行する。これにより、本開示の実施の形態に係る通信システム１は、少ない演算で高精度かつ高画質の３ＤＮＲを実現することが可能となる。

【0073】

ＲＯＩ領域検出部１４１は、撮像素子１３０から出力される電気信号で得られる画像の中からＲＯＩ領域を検出する。ＲＯＩ領域検出部１４１は、ＲＯＩ領域を検出すると、そのＲＯＩ領域に関する情報をＲＯＩ抽出部１４２に送る。ＲＯＩ領域に関する情報としては、例えばＲＯＩ領域を識別するＩＤ、ＲＯＩ領域を特定するための情報（例えば座標情報）、ＲＯＩ領域のサイズ等が含まれうる。すなわち、ＲＯＩ領域検出部１４１が検出するＲＯＩ領域の数は１つに限定されるものではない。

【0074】

ＲＯＩ領域は、ＩＩＲフィルタ１４０の外部から指定されても良いし、ＲＯＩ領域検出部１４１が所定のルールに基づいて検出しても良い。

【0075】

ＲＯＩ抽出部１４２は、撮像素子１３０から出力される電気信号で得られる画像の中から、ＲＯＩ領域検出部１４１で検出されたＲＯＩ領域の画像を抽出する。ＲＯＩ抽出部１４２はＲＯＩ領域の画像の抽出に際し、ＲＯＩ領域検出部１４１から送られるＲＯＩ領域に関する情報を用いる。

【0076】

ＲＯＩ抽出部１４２は、ＲＯＩメモリ１４４に記憶されている、現在のＲＯＩ領域のＩＤを検出する。ＲＯＩ抽出部１４２は、ＲＯＩメモリ１４４に記憶されている過去のＲＯＩ領域の内容を参照し、「座標が近いもの」「大きさが近いもの」「形状や色が近いもの」等を確認しＩＤ番号を検出する。

【0077】

パラメータ算出部１４３は、ＲＯＩ抽出部１４２から出力されるＲＯＩ画像と、ＲＯＩメモリ１４４に記憶されている画像とを、アフィン変換等により一致させるための変形パラメータを算出する。ＲＯＩ抽出部１４２が抽出したＲＯＩ領域が複数存在する場合は、パラメータ算出部１４３はＩＤ番号が一致するＲＯＩ領域毎にパラメータを算出する。

【0078】

ＲＯＩ変形部１４５は、パラメータ算出部１４３が算出した変形パラメータに基づいて、ＲＯＩメモリ１４４に記憶されているＲＯＩ領域の画像を変形する。ＲＯＩ抽出部１４２が抽出したＲＯＩ領域が複数存在する場合は、ＲＯＩ変形部１４５は、ＲＯＩ領域毎に変形を行う。ここで、ＲＯＩ変形部１４５は以下の変換式に基づいて変形を行う。

【0079】

【数1】

【0080】

数式（１）において、ｘ、ｙは変換前のＲＯＩ領域の画像の横方向及び縦方向の長さ（すなわち、変換前の幅及び高さ）を示し、ｘ’、ｙ’は変換後のＲＯＩ領域の画像の横方向及び縦方向の長さ（すなわち、変換後の幅及び高さ）を示す。そして、数式（１）において、ａ、ｂ、ｃ、ｄ、ｔ_ｘ、ｔ_ｙは、アフィン変換のための変形パラメータであり、これらのパラメータはパラメータ算出部１４３で算出される。

【0081】

差分絶対値計算部１４６は、ＲＯＩ抽出部１４２から出力されるＲＯＩ画像と、ＲＯＩ変形部１４５から出力される、変換後のＲＯＩ画像とを比較し、差分絶対値を計算する。差分絶対値計算部１４６は、２つのＲＯＩ画像の差分絶対値に基づいて、乗算器１４７、１４８で用いる係数Ｋｉを決定する。差分絶対値と、係数Ｋｉとの関係は、例えば図１５で示したものと同じであっても良いが、異なるものであっても良い。しかし、差分絶対値と、係数Ｋｉとの関係は、差分絶対値が大きくなるほど係数Ｋｉが小さくなるような関係であるものとする。すなわち、過去フレームと現在フレームとの差分が大きい場所は、局所的な変化が発生した部分なので現在画像の適用を高めるよう、差分絶対値と、係数Ｋｉとの関係を定めるものとする。

【0082】

例えば、ＲＯＩ領域を何らかの物体が横切る等の場合は、そのまま３ＤＮＲを実行するとノイズ低減処理がうまく行かないエラーが発生する。本実施形態では、そのような場合は差分絶対値計算部１４６が計算する差分絶対値が大きくなる。この場合は係数Ｋｉが小さくなることにより、本実施形態に係る通信システム１は、３ＤＮＲの際のエラーに対する耐性を高めることができる。

【0083】

乗算器１４７は、ＲＯＩ抽出部１４２から出力されるＲＯＩ画像に係数（１－Ｋｉ）を乗じて出力する。乗算器１４８は、ＲＯＩ変形部１４５から出力されるＲＯＩ画像に係数Ｋｉを乗じて出力する。そして加算器１４９は、乗算器１４７の出力と、乗算器１４８の出力とを加算する。すなわち、乗算器１４７、１４８及び加算器１４９は、ＲＯＩ抽出部１４２から出力されるＲＯＩ画像と、ＲＯＩ抽出部１４２から出力されるＲＯＩ画像とを、（１－Ｋｉ）：Ｋｉの比率でブレンドする。加算器１４９から出力される画像は、後段のブロックに出力されると共に、ＲＯＩメモリ１４４に送られて、それまでＲＯＩメモリ１４４に記憶されていたＲＯＩ画像と置き換えられる。

【0084】

ここで、ＲＯＩ領域のデータフォーマットの一例を説明する。図６はＲＯＩ領域の例を示す説明図である。例えば、図６のようにＡ～Ｄの４つのＲＯＩ領域がＲＯＩ領域検出部１４１で検出されたとする。図７は、ＲＯＩ領域のデータフォーマットの一例を示す説明図である。

【0085】

“ＰＨ”はパケットヘッダを示す。“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”は伝送されるパケットに埋め込むことの可能なデータである。“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”には、少なくとも、ＲＯＩ領域を識別するＩＤ、ＲＯＩ領域の左上の座標の位置情報、ＲＯＩ領域の高さ及び幅が含まれうる。図７に示したフォーマットの３行目からは、実際のＲＯＩ領域のデータが格納される。ここで、図６の領域Ａと領域ＢのようにＲＯＩ領域が重なっている場合、重なっている領域は一度だけ格納される。

【0086】

図７に示したＲＯＩ領域のデータフォーマットの“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”は、ＲＯＩメモリ１４４にも格納される。

【0087】

本開示の実施の形態に係る通信システム１は、図５に示したような構成を有することで、ＲＯＩ領域のみに対する３ＤＮＲを実行することができる。本開示の実施の形態に係る通信システム１は、ＲＯＩ領域のみに対する３ＤＮＲを実行することで、少ない演算で高精度かつ高画質の３ＤＮＲを実現することが可能となる。また本開示の実施の形態に係る通信システム１は、少ない演算で３ＤＮＲを実行することで、画像の全てに対して３ＤＮＲを実行する場合と比較して消費電力を低減させることが可能となる。

【0088】

なお図６の領域Ａと領域ＢのようにＲＯＩ領域が重なっている場合、ＩＩＲフィルタ１４０は、過去のＲＯＩ領域の画像をホールドしたり、過去のＲＯＩ領域の画像の適用比率が高くなるような係数Ｋｉを設定したりしてもよい。

【0089】

本開示の実施の形態に係る通信システム１の別の機能構成例を示す。図８は、本開示の実施の形態に係る通信システム１の機能構成例を示す説明図である。図８に示した通信システム１は、図５に示したものから、ＩＩＲフィルタ１４０にプリ変形部１５１が追加されている。プリ変形部１５１は、ＲＯＩメモリ１４４に記憶されている過去のＲＯＩ領域の画像に対し、過去及び現在のＩＤが同一のＲＯＩ領域間で、“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”に記憶されているサイズ情報を使いプリ変形する。図８に示した例の場合、ＲＯＩ抽出部１４２から出力される、ＩＤが１のＲＯＩ画像の幅と高さが、過去のＲＯＩ領域から２倍に変化している。従って、プリ変形部１５１は、ＲＯＩメモリ１４４に記憶されている、ＩＤが１の過去のＲＯＩ領域の幅と高さを２倍する。プリ変形部１５１がプリ変形を行うことで、本開示の実施の形態に係る通信システム１は、ＲＯＩ領域の大きさの変化に対応することが可能となる。

【0090】

ここでＩＩＲフィルタ１４０の機能を通信システム１にどのように配置するかについて説明する。ＩＩＲフィルタ１４０の機能は、通信システム１の画像センサ１００に全て搭載されていても良い。またＩＩＲフィルタ１４０の機能のうち、ＲＯＩ領域検出部１４１、ＲＯＩ抽出部１４２のみが通信システム１の画像センサ１００に搭載され、残りの機能は別のチップ（例えばプロセッサ２００）に搭載されていても良い。また、ＩＩＲフィルタ１４０の機能は、通信システム１の画像センサ１００とは異なるチップ（例えばプロセッサ２００）に全て搭載されていても良い。

【0091】

図９は、本開示の実施の形態に係る通信システム１の機能構成例を示す説明図である。図９に示したのは、ＩＩＲフィルタ１４０の機能が全て画像センサ１００に搭載されている場合の例である。

【0092】

図１０は、本開示の実施の形態に係る通信システム１の機能構成例を示す説明図である。図１０に示したのは、ＩＩＲフィルタ１４０の機能のうち、ＲＯＩ領域検出部１４１、ＲＯＩ抽出部１４２のみが通信システム１の画像センサ１００に搭載され、残りの機能がプロセッサ２００に搭載されている場合の例である。

【0093】

図１１は、本開示の実施の形態に係る通信システム１の機能構成例を示す説明図である。図１１に示したのは、ＩＩＲフィルタ１４０の機能が全てプロセッサ２００に搭載されている場合の例である。

【0094】

もちろん図９～１１に示したのはＩＩＲフィルタ１４０の機能の配置の一例に過ぎないことは言うまでも無く、図９～１１に示した配置以外にも様々な配置を取りうるものである。

【0095】

本開示の実施の形態に係る通信システム１は、ＲＯＩ領域のみに対する３ＤＮＲ機能に、画像全体に対する３ＤＮＲ機能を組み合わせてもよい。

【0096】

図１２は、本開示の実施の形態に係る通信システム１の機能構成例を示す説明図である。図１２に示した通信システム１は、ＲＯＩ領域に対する３ＤＮＲを実行するＩＩＲフィルタ１４０に加え、画像全体に対する３ＤＮＲを実行するＩＩＲフィルタ２４０を含んで構成される。ＩＩＲフィルタ２４０は、差分絶対値計算部２４２、フレームメモリ２４４、乗算器２４５、２４６及び加算器２４８を含んで構成される。また、図１２に示した通信システム１は、αブレンド係数算出部２５２及び合成部２５４を含んで構成される。

【0097】

撮像素子１３０から出力される電気信号は、ＩＩＲフィルタ１４０とＩＩＲフィルタ２４０の両方に送られる。ＩＩＲフィルタ１４０では、上述したようなＲＯＩ領域に対する３ＤＮＲが実行される。一方、ＩＩＲフィルタ２４０では、撮像素子１３０から出力される電気信号からなる画像データ全体に対する３ＤＮＲが実行される。ＩＩＲフィルタ２４０は、撮像素子１３０から出力される電気信号と、フレームメモリ２４４に蓄えられた、１フレーム前で処理された画像に相当する電気信号とを、加算器２４８で加算する。ＩＩＲフィルタ２４０は、２つの信号を加算器２４８で加算する際に、乗算器２４５、２４６で設定される所定の比率で加算する。この比率は差分絶対値計算部２４２において決定される。

【0098】

そして、図１２に示した通信システム１は、ＩＩＲフィルタ１４０の出力と、ＩＩＲフィルタ２４０の出力とを、所定の比率で合成する。その際の合成比率はαブレンド係数算出部２５２が算出する。αブレンド係数算出部２５２は、例えば、ＲＯＩ領域検出部１４１から送られるＲＯＩ領域の情報（位置、幅、高さなどの情報）を取得し、その領域における２つの画像の差分絶対値を算出し、その差分絶対値に応じて合成比率を算出しても良い。この場合αブレンド係数算出部２５２は、ＲＯＩ領域外はＩＩＲフィルタ２４０から出力し、ＲＯＩ領域内は、２つの画像の差分絶対値が大きいほど、ＩＩＲフィルタ１４０が出力する画像の比率が高くなるように、合成比率を算出しても良い。

【0099】

本開示の実施の形態に係る通信システム１は、撮像素子１３０から出力される電気信号に手振れが含まれている場合は、その手振れを考慮した３ＤＮＲを実行しても良い。

【0100】

図１３は、本開示の実施の形態に係る通信システム１の機能構成例を示す説明図である。図１３に示した通信システム１は、ＲＯＩ領域に対する３ＤＮＲを実行するＩＩＲフィルタ１４０に加え、画像全体に対する３ＤＮＲを実行するＩＩＲフィルタ２４０を含んで構成される。ＩＩＲフィルタ２４０は、図１２に示した構成に加え、グローバルモーション計算部２４１及び動き補正部２４３を含んで構成される。

【0101】

グローバルモーション計算部２４１は、撮像素子１３０から出力される電気信号と、フレームメモリ２４４に蓄えられた、１フレーム前で処理された画像に相当する電気信号とを比較して、画像全体の動き（グローバルモーション）の量を計算する。動き補正部２４３は、グローバルモーション計算部２４１が計算した画像全体の量に基づいて、フレームメモリ２４４に蓄えられた画像の位置を合わせる補正処理を行う。差分絶対値計算部２４２は、撮像素子１３０から出力される電気信号に対応する画像と、動き補正部２４３が補正した、フレームメモリ２４４に蓄えられた画像との間で差分絶対値を計算する。

【0102】

このように、図１３に示した通信システム１は、手振れが発生していた場合には、その手振れを考慮した３ＤＮＲを実行することができる。

【0103】

続いて、本実施形態に係る通信システムにおいて、画像センサ１００（送信装置）からプロセッサ２００（受信装置）への画像の送信に利用されるパケットの構造の他の例について説明する。本実施形態に係る通信システムでは、画像センサ１００により撮像された画像が行単位の部分画像に分割され、行ごとの当該部分画像のデータが１以上のパケットを利用して送信される。これは、画像に対して設定される領域の領域データ（即ち、ＲＯＩが設定された部分の画像のデータ）についても同様である。

【0104】

例えば、図１６は、本実施形態に係る通信システムにおいて画像のデータの送信に利用されるパケットの構造の一例について説明するための説明図である。図１６に示すように、画像の送信に利用されるパケット（Packet）は、データストリーム中において、スタートコード（Start Code）で開始され、エンドコード（End Code）で終了する一連のデータとして規定される。また、当該パケットには、ヘッダ（Header）と、ペイロードデータ（Payload Data）とがこの順に配列されて含まれる。また、ペイロードデータの後ろに、フッタ（Footer）が付加されてもよい。ペイロードデータ（以下、単に「ペイロード」とも称する）は、行単位の部分画像のピクセルデータが含まれる。ヘッダには、ペイロードに含まれる部分画像に対応する行に関する各種情報が含まれる。フッタには、付加的な情報（オプション）が含まれる。

【0105】

ここで、ヘッダに含まれる情報について説明する。図１６に示すように、ヘッダには、「Frame Start」、「Frame End」、「Line Valid」、「Line Number」、「EBD Line」、「Data ID」、「Reserved」、及び「Header ECC」がこの順に含まれる。

【0106】

Frame Startは、フレームの先頭を示す１ビットの情報である。例えば、送信対象となる画像のデータのうち１行目の画素データの伝送に用いられるパケットのヘッダのFrame Startには１の値が設定され、他の行の画素データの伝送に用いられるパケットのヘッダのFrame Startには０の値が設定される。なお、Frame Startが、「フレームの開始を示す情報」の一例に相当する。

【0107】

Frame Endは、フレームの終端を示す１ビットの情報である。例えば、送信対象となる画像のデータのうち有効画素領域の終端ラインの画素データをペイロードに含むパケットのヘッダのFrame Endには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのFrame Endには０の値が設定される。なお、Frame Endが、「フレームの終了を示す情報」の一例に相当する。

【0108】

Frame StartとFrame Endとが、フレームに関する情報であるフレーム情報（Frame Information）の一例に相当する。

【0109】

Line Validは、ペイロードに格納されている画素データのラインが有効画素のラインであるのか否かを表す１ビットの情報である。有効画素領域内の行の画素データの伝送に用いられるパケットのヘッダのLine Validには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのLine Validには０の値が設定される。なお、Line Validが、「対応する行が有効か否かを示す情報」の一例に相当する。

【0110】

Line Numberは、ペイロードに格納されている画素データにより構成される行の行番号を表す１３ビットの情報である。

【0111】

EBD Lineは、埋め込まれたデータを有する行か否かを表す１ビットの情報である。即ち、EBD Lineが、「埋め込まれたデータを有する行か否かを示す情報」の一例に相当する。

【0112】

Data IDは、複数ストリームに分けてデータを転送する場合に、各データ（即ち、ペイロードに含まれるデータ）を識別するための４ビットの情報である。なお、Data IDが、「ペイロードに含まれるデータの識別情報」の一例に相当する。

【0113】

Line Valid、Line Number、EBD Line、及びData IDが、行に関する情報である行情報（Line Information）となる。

【0114】

Reservedは拡張用の２７ビットの領域である。なお、以降では、Reservedとして示された当該領域を「拡張領域」とも称する。また、ヘッダ情報全体のデータ量は６バイトになる。

【0115】

図１６に示すように、ヘッダ情報に続けて配置されるHeader ECCには、６バイトのヘッダ情報に基づいて計算された２バイトの誤り検出符号であるＣＲＣ（Cyclic Redundancy Check）符号が含まれる。即ち、Header ECCが、「ヘッダに含まれる情報の誤り訂正符号」の一例に相当する。また、Header ECCには、ＣＲＣ符号に続けて、ヘッダ情報とＣＲＣ符号の組である８バイトの情報と同じ情報が２つ含まれる。

【0116】

すなわち、１つのパケットのヘッダには、同じヘッダ情報とＣＲＣ符号の組が３つ含まれる。ヘッダ全体のデータ量は、１組目のヘッダ情報とＣＲＣ符号の組の８バイトと、２組目のヘッダ情報とＣＲＣ符号の組の８バイトと、３組目のヘッダ情報とＣＲＣ符号の組の８バイトとの、あわせて２４バイトになる。

【0117】

ここで、図１７及び図１８を参照して、パケットのヘッダに設けられる拡張領域（Reserved）について説明する。図１７及び図１８は、パケットのヘッダに設けられる拡張領域について説明するための説明図である。

【0118】

図１７に示すように、拡張領域は、先頭の３ビットに対して、ヘッダ情報の種別（Header Info Type）として、パケットで送信される情報に応じた種別を示す情報が設定される。このヘッダ情報の種別に応じて、拡張領域のうち、当該ヘッダ情報の種別が指定される３ビットを除いた残り２４ビットの領域に設定される情報のフォーマット（即ち、情報の種別や当該情報が設定される位置）が決定される。これにより、受信側は、ヘッダ情報の種別を確認することで、拡張領域のうち当該ヘッダ情報の種別が指定された領域以外の他の領域の、どの位置にどのような情報が設定されているかを認識し、当該情報を読み出すことが可能となる。

【0119】

例えば、図１８は、ヘッダ情報の種別の設定と、当該設定に応じた拡張領域の使用方法の一例として、パケットのペイロード長（換言すると、行の長さ）を可変とする場合の設定の一例について示している。具体的には、図１８に示す例では、ヘッダ情報の種別に対して、ペイロード長が可変とする場合の種別に応じた値が設定される。より具体的には、図１８に示す例では、ヘッダ情報の種別に対して、図１７に示す例において当該ヘッダ情報の種別設定された「０００」とは異なる値として、「００１」が設定されている。即ち、この場合には、ヘッダ情報の種別のうち「００１」に対応する種別は、ペイロード長が可変とする場合の種別を意味していることとなる。また、図１８に示す例では、拡張領域中の１４ビットが、「Line Length」に割り当てられている。「Line Length」は、ペイロード長を通知するための情報である。このような構成により、受信側は、ヘッダ情報の種別として設定された値に基づき、ペイロード長が可変であることを認識するとともに、拡張領域に「Line Length」として設定された値を読み出すことで、ペイロード長を認識することが可能となる。

【0120】

以上、図１６～図１８を参照して、本実施形態に係る通信システムにおいて、画像センサ１００（送信装置）からプロセッサ２００（受信装置）への画像の送信に利用されるパケットの構造の一例について説明した。

【0121】

続いて、本開示に係る通信システムの技術的特徴として、画像に対して設定される領域（ＲＯＩ）の領域データを送信するための送信方式の一例について説明する。

【0122】

画像センサ１００は、画像に設定される領域の領域データを、パケットのペイロードに格納して行ごとに送信させる。そこで、以降の説明では、画像に設定される領域のうち、各行に相当する部分を便宜上「部分領域」とも称する。

【0123】

（データのフォーマット）
まず、図１９は、送信されるデータのフォーマットについて説明するための説明図である。図１９において、参照符号Ａ１で示した一連のパケットは、画像に設定される領域の領域データが送信されるパケット（換言すると、有効画素領域のデータが送信されるパケット）を模式的に示している。また、参照符号Ａ２及びＡ３で示した一連のパケットは、領域データを送信するためのパケットとは異なるパケットに相当する。なお、以降の説明では、参照符号Ａ１、Ａ２、及びＡ３で示した各パケットを区別する場合には、便宜上、それぞれ「パケットＡ１」、「パケットＡ２」、及び「パケットＡ３」とも称する。即ち、１フレーム分のデータが送信される期間において、一連のパケットＡ１が送信される前に、一連のパケットＡ２が送信される。また、一連のパケットが送信された後に、一連のパケットＡ３が送信されてもよい。なお、パケットＡ２及びＡ３の少なくともいずれかが、「第１のパケット」の一例に相当する。また、パケットＡ１が、「第２のパケット」の一例に相当する。

【0124】

図１９に示す例では、一連のパケットＡ２のうち少なくとも一部が、Embedded Dataの送信に利用される。例えば、Embedded Dataは、パケットＡ２のペイロードに格納して送信されてもよい。また、他の一例として、Embedded Dataは、パケットＡ２のうちペイロードとは別の領域に格納して送信されてもよい。

【0125】

Embedded Dataは、画像センサ１００が付加的に送信される付加情報（換言すると、画像センサ１００により埋め込まれた情報）に相当し、例えば、画像の撮像条件に関する情報や、領域データが送信される領域（ＲＯＩ）に関する情報等が挙げられる。

【0126】

なお、図１９に示す例では、パケットＡ２のうち少なくとも一部がEmbedded Dataの送信に利用されているが、当該パケットＡ２に替えて、パケットＡ３の少なくとも一部がEmbedded Dataの送信に利用されてもよい。また、以降の説明では、Embedded Dataを「ＥＢＤ」とも称する。

【0127】

図１９において、「ＳＣ」は、「Start Code」を示しており、パケットの開始を示すシンボル群である。Start Codeは、パケットの前に付加される。Start Codeは、例えば、３種類のK Characterの組み合わせであるK28.5、K27.7、K28.2、及びK27.7の４シンボルで表される。

【0128】

「ＥＣ」は、「End Code」を示しており、パケットの終了を示すシンボル群である。End Codeは、パケットの後ろに付加される。End Codeは、例えば、３種類のK Characterの組み合わせであるK28.5、K27.7、K30.7、及びK27.7の４シンボルで表される。

【0129】

「ＰＨ」は、「パケットヘッダ（Packet Header）」を示しており、例えば、図２を参照して説明したヘッダが該当する。「ＦＳ」は、ＦＳ（Frame Start）パケットを示している。「ＦＥ」は、ＦＥ（Frame End）パケットを示している。

【0130】

「ＤＣ」は、「Deskew Code」を示しており、レーン間のData Skew、即ち、受信側の各レーンで受信されるデータの受信タイミングのずれの補正に用いられるシンボル群である。Deskew Codeは、例えば、K28.5及びAny**の４シンボルで表される。

【0131】

「ＩＣ」は、「Idle Code」を示しており、パケットデータの伝送時以外の期間に繰り返し送信されるシンボル群である。Idle Codeは、例えば、8B10B CodeであるD CharacterのD00.0（00000000）で表される。

【0132】

「ＤＡＴＡ」は、ペイロードに格納された領域データ（即ち、画像中に設定された領域に対応する部分のピクセルデータ）を示している。

【0133】

「ＸＹ」は、ペイロードに格納された領域データに対応する部分領域の左端の位置（画像中の位置）を、Ｘ座標及びＹ座標として示した情報に相当する。なお、以降では、「ＸＹ」で示された、部分領域の左端の位置を示すＸ座標及びＹ座標を、単に「部分領域のＸＹ座標」とも称する。

【0134】

部分領域のＸＹ座標は、パケットＡ１のペイロードの先頭に格納される。また、部分領域のＸＹ座標は、連続して送信されるパケットＡ１間において、それぞれに対応する部分領域のＸ座標に変更が無く、かつＹ座標が＋１だけされる場合には、後から送信されるパケットＡ１において省略されてもよい。なお、本制御については、具体的な例を挙げて別途後述する。

【0135】

また、この送信方式では、水平方向に互いに離間した複数の領域が設定された行について、当該複数の領域それぞれに対応する部分領域の領域データを送信する場合には、当該複数の領域それぞれについてのパケットＡ１が個別に生成されて送信される。即ち、水平方向に互いに離間した２つの領域が設定された行については、２つのパケットＡ１が生成及び送信されることとなる。

【0136】

続いて、図２０を参照して、画像に設定された領域（ＲＯＩ）の領域データを送信するパケットＡ１のパケットヘッダの構成の一例について、特に、拡張領域の構成に着目して説明する。図２０は、パケットヘッダの構成の一例について説明するための説明図である。

【0137】

図２０に示すように、この送信方式では、画像に設定された領域（ＲＯＩ）の領域データを送信する場合には、当該領域データの送信に利用するパケットＡ１のパケットヘッダにおいて、ヘッダ情報の種別として、領域の情報を送信することを示す情報（即ち、領域の情報の送信を想定した種別に対応する情報）が設定される。また、拡張領域の少なくとも一部に対して、ペイロードを利用して領域のデータ（即ち、部分領域の領域データ）を送信することを示す情報が設定される。また、ペイロードを利用して領域の座標（即ち、部分領域のＸＹ座標）が送信される場合には、拡張領域の少なくとも一部に対して、当該領域の座標を送信することを示す情報が設定される。なお、画像に設定された領域（ＲＯＩ）の領域データを送信する場合には、当該領域の水平方向の幅に応じて、パケットＡ１のペイロードの長さが変化し得る。そのため、拡張領域の一部には、図１８を参照して説明した例と同様に、ペイロード長を示す情報が設定されてもよい。

【0138】

（画像センサ１００）
続いて、本実施形態に係る画像センサ１００の構成例について説明する。図２１は、本実施形態に係る画像センサ１００の構成の一例を示すハードウェアブロック図である。画像センサ１００は、例えば、画像センサデバイス１０２と、ＩＣチップ１０４とを備える。図２１に示す画像センサ１００は、バッテリなどの通信システム１０００を構成する内部電源（図示せず）から供給される電力、または、通信システム１０００の外部電源から供給される電力によって、動作する。

【0139】

画像センサデバイス１０２は、例えば、“デジタルスチルカメラなどの撮像デバイス”や、“赤外線センサ”、“距離画像センサ”などの、画像を生成することが可能な任意の方式の画像センサデバイスである。

【0140】

一例を挙げると、画像センサデバイス１０２として機能する撮像デバイスは、レンズ／撮像素子と信号処理回路とを含んで構成される。

【0141】

レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子を複数用いたイメージセンサとで構成される。

【0142】

信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。

【0143】

また、信号処理回路は、画像に対する領域の設定に係る処理を行い、領域指定情報をＩＣチップ１０４へ伝達してもよい。さらに、信号処理回路は、露光情報やゲイン情報などの様々なデータを、ＩＣチップ１０４へ伝達してもよい。

【0144】

画像センサデバイス１０２により生成された画像を示す信号は、ＩＣチップ１０４へ伝達される。なお、画像センサデバイス１０２からＩＣチップ１０４へ伝達される画像を示す信号がアナログ信号である場合、ＩＣチップ１０４は、例えば、備えているＡＤＣにてアナログ信号をデジタル信号に変換し、変換により得られた画像データを処理する。以下では、画像センサデバイス１０２からＩＣチップ１０４へ画像データが伝達される場合を例に挙げる。

【0145】

ＩＣチップ１０４は、データの送信機能に係る回路が集積されたＩＣ（Integrated Circuit）がチップ状に形成されたものであり、画像センサデバイス１０２から伝達される画像データを処理し、生成された画像に対応するデータを送信する。画像に対応するデータとは、画像センサデバイス１０２から伝達される画像データ（すなわち、画像全体を示すデータ）、または、領域情報および領域データである。なお、データの送信機能に係る回路は、１つのＩＣチップの形態で実現されることに限られず、複数のＩＣチップで形成されていてもよい。

【0146】

ＩＣチップ１０４は、例えば、画像処理回路１０６と、ＬＩＮＫ制御回路１０８と、ＥＣＣ生成回路１１０と、ＰＨ生成回路１１２と、ＥＢＤ用バッファ１１４と、画像データバッファ１１６と、合成回路１１８と、送信回路１２０とを備える。

【0147】

画像処理回路１０６は、本実施形態に係る送信方法に係る処理を行う機能を有する一の回路である。本実施形態に係る送信方法に係る処理を行う場合、画像処理回路１０６は、領域情報を画像における行ごとに設定し、設定された領域情報と領域に対応する領域データとを、ＬＩＮＫ制御回路１０８、ＥＣＣ生成回路１１０、ＰＨ生成回路１１２、ＥＢＤ用バッファ１１４、画像データバッファ１１６、合成回路１１８、送信回路１２０により、行ごとに送信させる。また、画像処理回路１０６は、画像センサデバイス１０２から伝達される画像データ（すなわち、画像全体を示すデータ）を、行ごとに送信させることも可能である。

【0148】

画像処理回路１０６としては、例えばＭＰＵなどのプロセッサが、挙げられる。

【0149】

画像処理回路１０６が有する機能を、機能ブロックに分けて説明する。図２１に示すように、画像処理回路１０６は、例えば、領域切り出し部１２２と、画像処理制御部１２４と、エンコード部１２６とを有する。

【0150】

領域切り出し部１２２は、画像に対する領域の設定に係る処理を行う役目を果たし、画像センサデバイス１０２から伝達される画像データが示す画像に対して、領域（ＲＯＩ）を設定する。領域切り出し部１２２は、例えば、設定されている動作モードに応じて、画像に対する領域の設定に係る処理を行う。例えば、領域切り出し部１２２は、動作モードが領域データを送信する動作モードである場合に、画像に対する領域の設定に係る処理を行う。また、領域切り出し部１２２は、動作モードが画像全体を示すデータを送信する動作モードである場合には、画像に対する領域の設定に係る処理を行わない。

【0151】

領域切り出し部１２２は、例えば、画像に対して任意の物体検出処理を行って物体を検出し、検出された物体ごとに、検出された物体を含む領域を設定する。また、領域切り出し部１２２は、任意の操作デバイスに対する操作などにより指定された領域を、設定してもよい。

【0152】

領域が設定された場合、領域切り出し部１２２は、例えば、設定された領域を示す領域指定情報を、画像処理制御部１２４へ伝達する。また、領域が設定されない場合、領域切り出し部１２２は、領域指定情報を画像処理制御部１２４へ伝達しない。

【0153】

また、領域切り出し部１２２は、画像センサデバイス１０２から伝達される画像データを、エンコード部１２６へ伝達する。

【0154】

画像処理制御部１２４は、本実施形態に係る送信方法に係る処理を行う役目を果たし、領域情報を画像における行ごとに設定し、設定された領域情報を、エンコード部１２６とＰＨ生成回路１１２とへ伝達する。

【0155】

画像処理制御部１２４は、例えば、領域切り出し部１２２から取得される領域指定情報、または、外部装置から取得される領域指定情報（図示せず）に基づいて、画像における各行に含まれる領域を特定する。そして、画像処理制御部１２４は、特定された領域に基づいて、行ごとに領域情報を設定する。このとき、画像処理制御部１２４は、上述した例外処理に示すように、１つ前に送信させる行の領域情報に含まれる情報から変化しない情報は、領域情報に設定しなくてよい。

【0156】

また、領域指定情報が取得されない場合、画像処理制御部１２４は、領域情報を設定しない。

【0157】

なお、画像処理制御部１２４における処理は、上記に示す例に限られない。

【0158】

例えば、画像処理制御部１２４は、例えば、フレーム情報を生成し、生成したフレーム情報をＬＩＮＫ制御回路１０８へ伝達してもよい。フレーム情報としては、例えば、フレームごとに付与されるＶＣの番号が挙げられる。また、フレーム情報には、ＹＵＶデータ、ＲＧＢデータまたはＲＡＷデータなどのデータタイプを示すデータが含まれていてもよい。

【0159】

また、例えば、画像処理制御部１２４は、付加情報を設定する処理を行い、設定された付加情報をＥＢＤ用バッファ１１４へ伝達してもよい。

【0160】

付加情報を設定する処理としては、例えば付加情報を生成する処理が挙げられる。付加情報を生成する処理としては、例えば、領域のデータ量を示す情報を生成する処理、領域の大きさを示す情報を生成する処理、および領域の優先度を示す情報を生成する処理のうちの１または２以上が、挙げられる。

【0161】

なお、付加情報を設定する処理は、付加情報を生成する処理に限られない。例えば、画像処理制御部１２４は、露光情報やゲイン情報などの画像センサデバイス１０２から取得された情報を、付加情報として設定してもよい。また、画像処理制御部１２４は、例えば、物理領域長さを示すデータ、出力領域長さを示すデータ、画像フォーマットを示すデータ、データ総量を示すデータなどの、様々な領域に関するデータを、付加情報として設定してもよい。物理領域長さとしては、例えば画像センサデバイス１０２の画素数が挙げられる。出力領域長さとしては、例えば画像センサデバイス１０２から出力される画像の画素数（画像上の長さ）が挙げられる。

【0162】

エンコード部１２６は、例えば、画像センサデバイス１０２から伝達される画像データを、例えばＪＰＥＧ（Joint Photographic Experts Group）規格に対応する方式などの所定の方式でエンコードする。

【0163】

画像処理制御部１２４から領域情報が取得されない場合、エンコード部１２６は、エンコードされた画像データを、画像データバッファ１１６へ伝達する。以下では、エンコードされた画像データ、すなわち、エンコードされた画像全体を示すデータを「通常データ」と示す場合がある。

【0164】

また、画像処理制御部１２４から領域情報が取得される場合、エンコード部１２６は、取得された領域情報と、領域に対応するエンコードされた領域データとを、画像データバッファ１１６へ伝達する。

【0165】

画像処理回路１０６は、例えば、領域切り出し部１２２、画像処理制御部１２４、およびエンコード部１２６を有することによって、本実施形態に係る送信方法に係る処理を行う。なお、図２１に示す画像処理回路１０６の機能ブロックは、画像処理回路１０６が有する機能を便宜上切り分けたものであり、画像処理回路１０６における機能の切り分け方は、図２１に示す例に限られない。

【0166】

ＬＩＮＫ制御回路１０８は、例えば、フレーム情報を、行ごとにＥＣＣ生成回路１１０、ＰＨ生成回路１１２、および合成回路１１８に伝達する。

【0167】

ＥＣＣ生成回路１１０は、行ごとに誤り訂正符号を設定する。ＥＣＣ生成回路１１０は、例えば、フレーム情報における１行のデータ（例えば、ＶＣの番号、データタイプなど）に基づいて、その行の誤り訂正符号を生成する。ＥＣＣ生成回路１１０は、例えば、生成した誤り訂正符号をＰＨ生成回路１１２と合成回路１１８とに伝達する。また、ＥＣＣ生成回路１１０は、ＰＨ生成回路１１２と連携して誤り訂正符号を生成してもよい。

【0168】

ＰＨ生成回路１１２は、フレーム情報を用いて、行ごとにパケットヘッダを生成する。

【0169】

ＰＨ生成回路１１２は、画像処理回路１０６（図２１の例では、画像処理制御部１２４）から伝達される領域情報に基づいて、パケットヘッダを生成してもよい。具体的には、ＰＨ生成回路１１２は、領域情報に基づいて、上述したような“領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化しているか否かを示すデータ”（変化情報）を、パケットヘッダに設定する。

【0170】

ＥＢＤ用バッファ１１４は、画像処理回路１０６（図２１の例では、画像処理制御部１２４）から伝達される付加情報を一時的に保持するバッファである。ＥＢＤ用バッファ１１４は、所定のタイミングで付加情報を“ＥｍｂｅｄｄｅｄＤａｔａ”として合成回路１１８に出力する。なお、ＥＢＤ用バッファ１１４から出力される“ＥｍｂｅｄｄｅｄＤａｔａ”は、後述する画像データバッファ１１６を経由して合成回路１１８に伝達されてもよい。また、受信装置であるプロセッサ２００が送信される付加情報（ＲＯＩ情報）を把握している場合においては、レジスタ設定等によって、後述する送信回路１２０から前記付加情報に相当するＥＢＤデータを送信することを省略してもよい。

【0171】

画像データバッファ１１６は、画像処理回路１０６（図２１の例では、エンコード部１２６）から伝達されるデータ（通常データ、または、領域情報および領域データ）を一時的に保持するバッファである。画像データバッファ１１６は、保持していているデータを、所定のタイミングで行ごとに合成回路１１８に出力する。

【0172】

合成回路１１８は、例えば、ＥＣＣ生成回路１１０、ＰＨ生成回路１１２、ＥＢＤ用バッファ１１４、および画像データバッファ１１６それぞれから取得されるデータに基づいて、伝送するパケットを生成する。

【0173】

送信回路１２０は、合成回路１１８から伝達されるパケットを、行ごとにデータバスＢ１（信号の伝送路の一例。以下、同様とする。）を介して、伝送データ１４７Ａとして送信する。例えば送信回路１２０は、図４に示すような高速差動信号によりパケットを送信する。

【0174】

（プロセッサ２００）
次に、プロセッサ２００について説明する。図２２は、本実施形態に係るプロセッサ２００の構成の一例を表したものである。プロセッサ２００は、画像センサ１００と共通の規格（例えば、ＭＩＰＩ ＣＳＩ－２規格、ＭＩＰＩ ＣＳＩ－３規格、もしくは、ＭＩＰＩ ＤＳＩ規格）で信号を受信する装置である。プロセッサ２００は、例えば、受信部２１０および情報処理部２２０を有している。受信部２１０は、画像センサ１００から出力された伝送データ１４７Ａを、データレーンＤＬを介して受信し、受信した伝送データ１４７Ａに対して所定の処理を行うことにより、種々のデータ（２１４Ａ，２１５Ａ，２１５Ｂ）を生成し、情報処理部２２０に出力する回路である。情報処理部２２０は、受信部２１０から受信した種々のデータ（２１４Ａ，２１５Ａ）に基づいて、ＲＯＩ画像２２３Ａを生成したり、受信部２１０から受信したデータ（２１５Ｂ）に基づいて、通常画像２２４Ａを生成したりする回路である。

【0175】

受信部２１０は、例えば、ヘッダ分離部２１１、ヘッダ解釈部２１２、Ｐａｙｌｏａｄ分離部２１３、ＥＢＤ解釈部２１４およびＲＯＩデータ分離部２１５を有している。

【0176】

ヘッダ分離部２１１は、伝送データ１４７Ａを、データレーンＤＬを介して画像センサ１００から受信する。つまり、ヘッダ分離部２１１は、画像センサ１００で撮像された画像において設定された領域ＲＯＩについてのＲＯＩ情報を含むとともに、各領域ＲＯＩの画像データをＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄ Ｄａｔａに含む伝送データ１４７Ａを受信する。ヘッダ分離部２１１は、受信した伝送データ１４７Ａをフレームヘッダ領域とパケット領域とに分離する。ヘッダ解釈部２１２は、フレームヘッダ領域に含まれるデータ（具体的にはＥｍｂｅｄｄｅｄＤａｔａ）に基づいて、パケット領域に含まれるＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａの位置を特定する。Ｐａｙｌｏａｄ分離部２１３は、ヘッダ解釈部２１２によって特定されたＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａの位置に基づいて、パケット領域に含まれるＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａを、パケット領域から分離する。また、ＥＢＤデータ、ＬｏｎｇＰａｃｋｅｔ等に含まれる付加情報（ＲＯＩ情報）をプロセッサが把握している場合においては、当該ＲＯＩ情報の一部または全部の送信を省略することも可能である。具体的には、プロセッサはＥＢＤデータに相当する情報をヘッダ解釈部２１２に保持しておくことによって、当該情報に基づいてパケット領域に含まれるＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａの位置を特定する。

【0177】

ＥＢＤ解釈部２１４は、ＥｍｂｅｄｄｅｄＤａｔａをＥＢＤデータ２１４Ａとして、情報処理部２２０に出力する。ＥＢＤ解釈部２１４は、さらに、ＥｍｂｅｄｄｅｄＤａｔａに含まれるデータタイプから、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａに含まれる画像データがＲＯＩの画像データの圧縮像データであるか、または、通常画像データの圧縮像データであるか判別する。ＥＢＤ解釈部２１４は、判別結果をＲＯＩデータ分離部２１５に出力する。

【0178】

ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａに含まれる画像データがＲＯＩの画像データの圧縮像データである場合、ＲＯＩデータ分離部２１５は、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａをＰａｙｌｏａｄＤａｔａ２１５Ａとして、情報処理部２２０（具体的にはＲＯＩデコード部２２２）に出力する。ＰａｙｌｏａｄＤａｔａに含まれる画像データが通常画像データの圧縮像データである場合、ＲＯＩデータ分離部２１５は、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａをＰａｙｌｏａｄＤａｔａ２１５Ｂとして、情報処理部２２０（具体的には通常画像デコード部２２４）に出力する。ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａにＲＯＩ情報が含まれている場合には、ＰａｙｌｏａｄＤａｔａ２１５Ａは、ＲＯＩ情報と、圧縮像データのうち１ライン分のピクセルデータとを含んでいる。

【0179】

情報処理部２２０は、ＥＢＤデータ２１４Ａに含まれるＥｍｂｅｄｄｅｄＤａｔａから、ＲＯＩ情報を抽出する。情報処理部２２０は、情報抽出部２２１で抽出したＲＯＩ情報に基づいて、受信部２１０で受信した伝送データに含まれるＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａから、撮像画像における各注目領域ＲＯＩの画像を抽出する。情報処理部２２０は、例えば、情報抽出部２２１、ＲＯＩデコード部２２２、ＲＯＩ画像生成部２２３、通常画像デコード部２２４及びメモリ２２５を有している。

【0180】

通常画像デコード部２２４は、ＰａｙｌｏａｄＤａｔａ２１５Ｂをデコードし、通常画像２２４Ａを生成する。ＲＯＩデコード部２２２は、ＰａｙｌｏａｄＤａｔａ２１５Ａに含まれる圧縮像データ１４７Ｂをデコードし、画像データ２２２Ａを生成する。この画像データ２２２Ａは、１または複数の伝送画像によって構成されている。

【0181】

情報抽出部２２１は、ＥＢＤデータ２１４Ａに含まれるＥｍｂｅｄｄｅｄＤａｔａから、ＲＯＩ情報を抽出する。情報抽出部２２１は、例えば、ＥＢＤデータ２１４Ａに含まれるＥｍｂｅｄｄｅｄＤａｔａから、例えば、撮像画像に含まれる注目領域ＲＯＩの数、各注目領域ＲＯＩの領域番号、各注目領域ＲＯＩのデータ長、および各注目領域ＲＯＩの画像フォーマットを抽出する。

【0182】

ＲＯＩ画像生成部２２３は、情報抽出部２２１で得られたＲＯＩ情報に基づいて、撮像画像における各注目領域ＲＯＩの画像を生成する。ＲＯＩ画像生成部２２３は、生成した画像をＲＯＩ画像２２３Ａとして出力する。

【0183】

メモリ２２５は、ＲＯＩ画像生成部２２３が生成したＲＯＩ画像を一時的に記憶する。ＲＯＩ画像生成部２２３は、ＲＯＩ画像の生成の際に、メモリ２２５に蓄えたＲＯＩ画像を用いて画像を合成する処理を行う。これにより、ＲＯＩ画像生成部２２３は、動きボケを抑えたＲＯＩ画像を生成することが出来る。

【0184】

図２２に示したプロセッサ２００の構成は、図１１に示した構成を有する場合、ＲＯＩ領域検出部１４１及びＲＯＩ抽出部１４２の機能を含みうる。

【0185】

＜２．まとめ＞
以上説明したように本開示の実施の形態によれば、ＲＯＩ領域を３ＤＮＲに利用することで、メモリ容量を削減し、メモリへの、及びメモリからのトラフィックを低減し、演算量を低減した３ＤＮＲを実行出来る通信システム１が提供される。本開示の実施の形態に係る通信システム１は、ＲＯＩ領域が時間と共に移動したり、変形したりした場合であっても、そのＲＯＩ領域の変化に追従することでＳＮ比の低下を抑えた、ＲＯＩ領域に対する３ＤＮＲを実行することが出来る。

【0186】

各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

【0187】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0188】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0189】

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像に付与されるデータに基づいて該撮像画像における所定の領域を１以上検出する領域検出部と、
前記領域検出部が検出した前記所定の領域の画像に対してノイズ低減処理を実行する画像処理部と、
を備える、画像処理装置。
（２）
前記画像処理部は、前記領域検出部が検出した領域が前記ノイズ低減処理を実行した領域と一致している場合に該ノイズ低減処理を実行する、前記（１）に記載の画像処理装置。
（３）
前記画像処理部は、領域が一致しているかどうかを、前記データを参照して判断する、前記（２）に記載の画像処理装置。
（４）
前記領域検出部が検出した前記所定の領域の画像を前記撮像画像から抽出する領域抽出部をさらに備え、前記画像処理部は、前記領域抽出部が抽出した前記所定の領域の画像に対してノイズ低減処理を実行する、前記（１）～（３）のいずれかに記載の画像処理装置。
（５）
前記画像処理部は、前記領域の画像と、直前のフレームで前記ノイズ低減処理が施された処理画像とを用いて、前記処理画像を変形するためのパラメータを算出するパラメータ算出部を備える、前記（１）～（４）のいずれかに記載の画像処理装置。
（６）
前記画像処理部は、さらに、前記パラメータ算出部が算出した前記パラメータに基づいて前記処理画像の変形を行う変形部を備える、前記（５）に記載の画像処理装置。
（７）
前記画像処理部は、前記変形部による前記処理画像変形の前に、現フレームの前記領域に関する情報を用いて前記処理画像に対する変形処理を行うプリ変形部をさらに備える、前記（３）に記載の画像処理装置。
（８）
前記画像処理部は、前記撮像画像の全ての領域に対するノイズ低減処理をさらに実行し、前記全ての領域に対するノイズ低減処理の結果と、前記所定の領域の画像に対する３次元ノイズ低減処理の結果とを所定の比率で合成する、前記（１）～（７）のいずれかに記載の画像処理装置。
（９）
前記画像処理部は、前記所定の比率を算出する係数算出部を備える、前記（８）に記載の画像処理装置。
（１０）
前記係数算出部は、前記所定の領域におけるノイズ低減処理の結果の差分に基づいて前記所定の比率を算出する、前記（７）に記載の画像処理装置。
（１１）
前記画像処理部は、前記撮像画像の全ての領域に対するノイズ低減処理を実行する際に手振れを考慮した３次元ノイズ低減処理を実行する、前記（８）に記載の画像処理装置。
（１２）
前記領域検出部及び前記領域抽出部と、前記画像処理部とは、同一のチップに設けられる、前記（１）～（１１）のいずれかに記載の画像処理装置。
（１３）
前記領域検出部及び前記領域抽出部と、前記画像処理部とは、異なるチップに設けられる、前記（１）～（１１）のいずれかに記載の画像処理装置。
（１４）
撮像画像における所定の領域を１以上検出することと、
検出された前記領域を前記撮像画像から抽出することと、
抽出された前記領域に対して３次元ノイズ低減処理を実行することと、
を含む、画像処理方法。

【符号の説明】

【0190】

１ 通信システム
１００ 画像センサ
２００ プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】