特許第6761964号(P6761964)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧
特許6761964通信システム、画像生成方法、及び通信装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6761964
(24)【登録日】2020年9月10日
(45)【発行日】2020年9月30日
(54)【発明の名称】通信システム、画像生成方法、及び通信装置
(51)【国際特許分類】
   H04N 7/18 20060101AFI20200917BHJP
   G06T 5/00 20060101ALI20200917BHJP
   G06T 5/50 20060101ALI20200917BHJP
   H04N 5/77 20060101ALI20200917BHJP
【FI】
   H04N7/18 D
   H04N7/18 U
   G06T5/00 705
   G06T5/50
   H04N5/77
【請求項の数】7
【全頁数】35
(21)【出願番号】特願2017-242024(P2017-242024)
(22)【出願日】2017年12月18日
(62)【分割の表示】特願2013-83532(P2013-83532)の分割
【原出願日】2013年4月12日
(65)【公開番号】特開2018-78613(P2018-78613A)
(43)【公開日】2018年5月17日
【審査請求日】2017年12月18日
【審判番号】不服-11306(P-11306/J1)
【審判請求日】2019年8月28日
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】特許業務法人栄光特許事務所
(72)【発明者】
【氏名】小林 正明
(72)【発明者】
【氏名】松尾 正克
【合議体】
【審判長】 千葉 輝久
【審判官】 曽我 亮司
【審判官】 樫本 剛
(56)【参考文献】
【文献】 特開2007−13394号公報(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
第1の通信装置と、第2の通信装置と、複数の記録装置と、がネットワークを介して接続される通信システムであって、
前記第1の通信装置は、
元画像データから低周波成分を抽出した低周波画像データを生成し、
前記元画像データと前記低周波画像データとの差分を示し、前記低周波画像データと比べて前記元画像データの詳細を確認可能な差分画像データを生成し、
前記差分画像データが符号化されたデータより複数の秘密分散データを生成し、
前記低周波画像データ及び前記複数の秘密分散データのそれぞれを前記複数の記録装置のいずれかに送信し、
前記複数の記録装置は、
前記低周波画像データまたは前記秘密分散データの少なくとも一つを記録し、
前記第2の通信装置は、
前記複数の秘密分散データのうちの少なくとも1つ及び前記低周波画像データを、それぞれ前記複数の記録装置のいずれかから受信し、
通常の再生時には前記低周波画像データを出力し、復元時には、前記秘密分散データを用いて、前記差分画像データを少なくとも復元して出力する、
通信システム。
【請求項2】
前記第1の通信装置は、
生成した前記低周波画像データ及び前記差分画像データを符号化し、それぞれを前記複数の記録装置のいずれかに送信する、
請求項1に記載の通信システム。
【請求項3】
前記第1の通信装置は、
所定領域の画素の平均を取って前記低周波画像データを生成する、
請求項1又は2に記載の通信システム。
【請求項4】
前記第1の通信装置は、
前記元画像データの一部の領域のみ低周波成分を抽出した前記低周波画像データを生成し、
前記低周波画像データと同じサイズの前記差分画像データを生成する、
請求項1〜3のうちいずれか一項に記載の通信システム。
【請求項5】
第1の通信装置と、第2の通信装置と、複数の記録装置と、がネットワークを介して接続される通信システムを用いた画像生成方法であって、
前記第1の通信装置は、
元画像データから低周波成分を抽出した低周波画像データを生成し、
前記元画像データと前記低周波画像データとの差分を示し、前記低周波画像データと比べて前記元画像データの詳細を確認可能な差分画像データを生成し、
前記差分画像データが符号化されたデータより複数の秘密分散データを生成し、
前記低周波画像データ及び前記複数の秘密分散データのそれぞれを前記複数の記録装置のいずれかに送信し、
前記複数の記録装置は、
前記低周波画像データまたは前記秘密分散データの少なくとも一つを記録し、
前記第2の通信装置は、
前記複数の秘密分散データのうちの少なくとも1つ及び前記低周波画像データを、前記複数の記録装置のいずれかから受信し、
通常の再生時には前記低周波画像データを出力し、復元時には、前記秘密分散データを用いて、前記差分画像データを復元して出力する、
画像生成方法。
【請求項6】
ネットワークを介しての通信装置及び複数の記録装置と接続される通信装置であって、
元画像データから低周波成分を抽出した低周波画像データを生成する低周波画像データ生成部と、
前記元画像データと前記低周波画像データとの差分を示し、前記低周波画像データと比べて前記元画像データの詳細を確認可能な差分画像データを生成する差分画像データ生成部と、
前記差分画像データが符号化されたデータより複数の秘密分散データを生成する秘密分散データ生成部と、
前記ネットワークを介して前記通信装置及び前記複数の記録装置と接続される前記他の通信装置において、通常の再生時には前記低周波画像データを出力し、復元時には前記秘密分散データを用いて、前記差分画像データを復元して出力するために、前記低周波画像データ及び前記複数の秘密分散データのそれぞれを前記複数の記録装置のいずれかに送信する送信部と、を備える、
通信装置。
【請求項7】
前記送信部が送信した、前記低周波画像データと、前記他の通信装置宛ての前記複数の秘密分散データのうちの少なくとも1つとを有するデータファイルは、前記低周波画像データが先頭に格納され、前記低周波画像データと当該通信装置宛ての前記複数の秘密分散データのうちの少なくとも1つとの間に、当該通信装置宛ての前記複数の秘密分散データのうちの少なくとも1つの先頭マーカが格納される、
請求項6に記載の通信装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視カメラ等の通信システム、画像生成方法、及び通信装置に関するものである。
【背景技術】
【0002】
従来、監視カメラシステムにおいて、マスクで一部の領域を隠すことでプライバシーの保護を図りつつ、犯罪時など非常時にマスクで隠れている部分を元に戻せるようにすることで、セキュリティとプライバシーの両立を図るものがあった(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−288744号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来の技術では、マスクで隠した部分の内容を確認することができず、例えば、店内に人がいるか否か等、プライバシーとは関わりのない内容についても画像を復元しなければ確認することができなかった。
【0005】
また、マスクで隠す場合に画像にノイズを重畳する等して処理した場合、非常時にマスクで隠した部分を確認したい時等、マスクで隠す前の画像が復元できない場合があった。
【0006】
そこで、本発明は、上記従来の課題に鑑みて、プライバシーを保護しつつ、画像の復元をしなくても、画像の内容を確認することができ、プライバシー保護した画像を元の画像に復元することができる通信システム、画像生成方法、及び通信装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は、第1の通信装置と、第2の通信装置と、複数の記録装置と、がネットワークを介して接続される通信システムであって、前記第1の通信装置は、元画像データから低周波成分を抽出した低周波画像データを生成し、前記元画像データと前記低周波画像データとの差分を示し、前記低周波画像データと比べて前記元画像データの詳細を確認可能な差分画像データを生成し、前記差分画像データが符号化されたデータより複数の秘密分散データを生成し、前記低周波画像データ及び前記複数の秘密分散データのそれぞれを前記複数の記録装置のいずれかに送信し、前記複数の記録装置は、前記低周波画像データまたは前記秘密分散データの少なくとも一つを記録し、前記第2の通信装置は、前記複数の秘密分散データのうちの少なくとも1つ及び前記低周波画像データを、それぞれ前記複数の記録装置のいずれかから受信し、通常の再生時には前記低周波画像データを出力し、復元時には、前記秘密分散データを用いて、前記差分画像データを少なくとも復元して出力する、通信システムを提供する。
【0008】
また、本発明は、第1の通信装置と、第2の通信装置と、複数の記録装置と、がネットワークを介して接続される通信システムを用いた画像生成方法であって、前記第1の通信装置は、元画像データから低周波成分を抽出した低周波画像データを生成し、前記元画像データと前記低周波画像データとの差分を示し、前記低周波画像データと比べて前記元画像データの詳細を確認可能な差分画像データを生成し、前記差分画像データが符号化されたデータより複数の秘密分散データを生成し、前記低周波画像データ及び前記複数の秘密分散データのそれぞれを前記複数の記録装置のいずれかに送信し、前記複数の記録装置は、前記低周波画像データまたは前記秘密分散データの少なくとも一つを記録し、前記第2の通信装置は、前記複数の秘密分散データのうちの少なくとも1つ及び前記低周波画像データを、前記複数の記録装置のいずれかから受信し、通常の再生時には前記低周波画像データを出力し、復元時には、前記秘密分散データを用いて、前記差分画像データを復元して出力する、画像生成方法を提供する。
【0009】
また、本発明は、ネットワークを介しての通信装置及び複数の記録装置と接続される通信装置であって、元画像データから低周波成分を抽出した低周波画像データを生成する低周波画像データ生成部と、前記元画像データと前記低周波画像データとの差分を示し、前記低周波画像データと比べて前記元画像データの詳細を確認可能な差分画像データを生成する差分画像データ生成部と、前記差分画像データが符号化されたデータより複数の秘密分散データを生成する秘密分散データ生成部と、前記ネットワークを介して前記通信装置及び前記複数の記録装置と接続される前記他の通信装置において、通常の再生時には前記低周波画像データを出力し、復元時には前記秘密分散データを用いて、前記差分画像データを復元して出力するために、前記低周波画像データ及び前記複数の秘密分散データのそれぞれを前記複数の記録装置のいずれかに送信する送信部と、を備える、通信装置を提供する。
【発明の効果】
【0010】
本発明の通信システム、画像生成方法、及び通信装置によれば、プライバシーを保護しつつ、画像の復元をしなくても、画像の内容を確認することができ、プライバシー保護した画像を元の画像に復元することができる。
【図面の簡単な説明】
【0011】
図1】本発明の実施例1における監視カメラシステムの全体構成を示す模式図
図2】本発明の実施例1における第1の通信装置のブロック図
図3】本発明の実施例1の第1の通信装置における処理のフロー図
図4】元画像、低周波画像、差分画像に含まれる空間周波数成分の説明図
図5】平滑化フィルタの説明図
図6】ブロック平均の説明図
図7】低周波画像の例示図
図8】差分画像の差分値の変換方法の説明図
図9】従来の受信装置のブロック図
図10】本発明の実施例1における第2の通信装置の再生時のブロック図
図11】本発明の実施例1の第2の通信装置における再生処理のフロー図
図12】本発明の実施例1における第2の通信装置の復元時のブロック図
図13】本発明の実施例1の第2の通信装置における復元処理のフロー図
図14】画像合成による復元画像作成の説明図
図15】復元画像の合成値の変換方法の説明図
図16】本発明の実施例2における第1の通信装置のブロック図
図17】本発明の実施例2の第1の通信装置における処理のフロー図
図18】マスク領域設定方法の例示図
図19】低周波画像と差分画像の例示図
図20】領域サイズ設定の例示図
図21】ブロックサイズと低周波画像の画質の例示図
図22】本発明の実施例3における監視カメラシステムの全体構成を示す模式図
図23】本発明の実施例3における第1の通信装置のブロック図
図24】本発明の実施例3の第1の通信装置における処理のフロー図
図25】しきい値秘密分散法の説明図
図26】本発明の実施例3における第2の通信装置のブロック図
図27】本発明の実施例3の第2の通信装置における処理のフロー図
図28】本発明の実施例4における監視カメラシステムの全体構成を示す模式図
図29】本発明の実施例4における第1の通信装置のブロック図
図30】本発明の実施例4の第1の通信装置における処理のフロー図
図31】結合ファイルの構成の例示図
図32】秘匿化に秘密分散を用いた場合の結合ファイルの構成の例示図
図33】本発明の実施例4における第2の通信装置の再生時のブロック図
図34】本発明の実施例4の第2の通信装置における再生処理のフロー図
図35】本発明の実施例4における第2の通信装置の復元時のブロック図
図36】本発明の実施例4の第2の通信装置における復元処理のフロー図
図37】暗号化データと復号鍵を用いた結合ファイルの構成の例示図
図38】データを分割した場合の結合ファイルの構成の例示図
【発明を実施するための形態】
【0012】
本発明の通信システムは、第1の通信装置から第2の通信装置へ画像を送信する通信システムであって、第1の通信装置は、所定の画像から低周波成分を抽出した低周波画像を生成する低周波画像生成部と、所定の画像と低周波画像との差分を差分画像として生成する差分画像生成部と、低周波画像および差分画像を送信する送信部と、を備え、第2の通信装置は、低周波画像と差分画像とを受信する受信部と、受信した低周波画像と差分画像を合成して所定の画像に復元する画像合成部と、を備える。
【0013】
これにより、プライバシーを保護しつつ、画像の復元をしなくても、画像の内容を確認することができ、プライバシー保護した画像を元の画像に復元することができる。また、プライバシー保護の程度を自由に調整することができる。
【0014】
また、第1の通信装置は、さらに、少なくとも低周波画像を符号化する画像符号化部を備え、第2の通信装置は、さらに、少なくとも符号化された低周波画像を復号する画像復号部を備え、低周波画像を復号した後に差分画像と合成する。
【0015】
これにより、復元した画像が劣化することなく、画像のデータサイズを削減することができる。
【0016】
また、低周波画像生成部は、所定領域の画素の平均を取って低周波画像を生成する。
【0017】
これにより、低周波画像を容易に生成することができる。
【0018】
また、低周波画像生成部は、所定の画像の一部の領域のみ低周波成分を抽出した低周波画像を生成し、差分画像生成部は、所定の画像と同じサイズの差分画像を生成する。
【0019】
これにより、プライバシーに関わる一部の領域のみ保護しつつ、一部の領域の位置を別途記憶することなく、元の画像に復元することができる。
【0020】
また、第1の通信装置は、さらに、差分画像を元に秘匿された複数のデータを生成する画像分割部と、低周波画像を複製し、複数のデータのうちの1つを複製したそれぞれの低周波画像に結合し分散データを生成する分散データ生成部と、を備え、送信部は、分散データを送信する。
【0021】
これにより、分散データを用いてプライバシーが保護された画像を確認することができ、必要に応じて分散データを集めることで元の画像を確認することができる。
【0022】
また、本発明の画像生成方法は、所定の画像から低周波成分を抽出した低周波画像を生成するステップと、所定の画像と低周波画像との差分を差分画像として生成するステップと、低周波画像と差分画像を合成して所定の画像に復元するステップと、を備える。
【0023】
これにより、プライバシーを保護しつつ、画像の復元をしなくても、画像の内容を確認することができ、プライバシー保護した画像を元の画像に復元することができる。
【0024】
また、本発明の通信装置は、他の通信装置に画像を送信する通信装置であって、所定の画像から低周波成分を抽出した低周波画像を生成する低周波画像生成部と、所定の画像と低周波画像との差分を差分画像として生成する差分画像生成部と、低周波画像および差分画像を送信する送信部と、を備える。
【0025】
これにより、プライバシーを保護しつつ、画像の復元をしなくても、画像の内容を確認することができ、プライバシー保護した画像を元の画像に復元可能な画像を生成することができる。
【実施例】
【0026】
本発明の通信システム、画像生成方法、及び通信装置の実施例について図面を用いて説明する。なお、本実施例では、監視カメラシステムを例に説明するが、他のシステムにも適宜適用可能である。
【0027】
(実施例1)
監視カメラシステムの構成について、図1を用いて説明する。図1は、本発明の実施例1における監視カメラシステムの全体構成を示す模式図である。
【0028】
図1において、101は撮像システムで、撮像システム101内において、102は監視カメラ、103は第1の通信装置、104は記録装置で、これらは内部ネットワーク(LAN等)で接続されている。
【0029】
また、105は再生システムで、再生システム105内において、106は受信装置、107は記録装置、108はモニタで、撮像システム101とは別の内部ネットワークに接続されている。
【0030】
また、109は復元システムで、復元システム109内において、110は第2の通信装置、111は記録装置、112はモニタで、復元システム109も撮像システム101とは別の内部ネットワークに接続されている。
【0031】
また、撮像システム101、再生システム105、復元システム109は、ネットワーク網113を介して外部接続されている。
【0032】
撮像システム101は、監視カメラ102で取得した画像から、プライバシーを保護した画像と、復元のためのデータを作成し、ネットワーク網113を介して、プライバシーを保護した画像を、再生システム105や復元システム109に送信する。また、復元のためのデータを内部接続された記録装置104に記録する。
【0033】
ここで、撮像システム101は、特定の内部ネットワーク内に構築されているため、ネットワーク網113を介して、再生システム105等の外部からのアクセスを抑止することができ、監視カメラ102で取得した画像のプライバシーを保護することができる。
【0034】
なお、撮像システム101の外でも、プライバシーが担保されるのであれば、復元のためのデータは記録装置104以外の場所に記録してもよい。
【0035】
再生システム105は、受信装置106でプライバシーを保護した画像を受信し、モニタ108で再生する。この画像データはプライバシーが保護されているため、再生時に画像の詳細を全て確認できるわけではない。また、必要に応じてプライバシーを保護した画像を内部接続された記録装置107に記録する。なお、このシステムはプライバシー情報まで必要のない、一般利用者が使用するシステムである。
【0036】
復元システム109は、第2の通信装置110でプライバシーを保護した画像を受信し、モニタ112で再生する。この画像データは、前述と同様、画像の詳細を全て確認できるわけではない。また、プライバシーを保護した画像を内部接続された記録装置111に記録する。
【0037】
また、画像の詳細を確認する必要が発生したときには、撮像システム101から第2の通信装置110で復元のためのデータを受信し、記録装置111に記録されたプライバシーを保護した画像と復元のためのデータを用いて元の画像を復元し、モニタ112で再生する。この画像はプライバシーを保護された部分が復元されるため、元の画像の詳細を全て確認できるようになる。このシステムは、必要時にはプライバシー情報を含む画像の詳細を確認することができるため、管理者が使用するシステムである。
【0038】
なお、本実施例では、再生システム105と復元システム109を分けて説明しているが、同じシステムで実現してもよく、この場合、例えばログインID等を用いてユーザー毎に復元システム109の使用権限を設定すればよい。
【0039】
次に、第1の通信装置103について、図2図3を用いて詳しく説明する。図2は本発明の実施例1における第1の通信装置のブロック図、図3は本発明の実施例1の第1の通信装置における処理のフロー図である。
【0040】
図2において、201は低周波画像生成部、202は差分画像生成部、203は画像符号化部、204は送信部、205はフレーム画像、206は低周波画像符号化データ、207は差分画像符号化データである。
【0041】
以下、図3のフロー図を用いて処理の流れを説明する。
【0042】
まず、監視カメラ102は、カメラ周辺の光信号を、レンズを用いてイメージセンサ上に結像させ、電気信号に変換することで、デジタルデータとしてフレーム画像205を取得する(S301)。
【0043】
そして、低周波画像生成部201は、フレーム画像205から低周波画像を作成する(S302)。
【0044】
さらに、差分画像生成部202は、監視カメラ102で取得したフレーム画像205と、低周波画像生成部201で作成した低周波画像との差分画像を作成する(S303)。
【0045】
画像符号化部203は、低周波画像生成部201で作成した低周波画像、及び差分画像生成部202で作成した差分画像を符号化する(S304)。
【0046】
送信部204は、画像符号化部203で符号化された低周波画像符号化データ206を、ネットワーク網113を介して、再生システム105や、復元システム109に送信する(S305)。また、画像符号化部203で符号化された差分画像符号化データ207を、記録装置104に記録する(S306)。
【0047】
ここで、各構成ブロックを説明する前に、低周波画像、及び差分画像について説明する。図4は、元画像、低周波画像、差分画像における空間周波数成分の説明図である。
【0048】
図4に示すように、ある画像(元画像)において、変換を行い、空間周波数を横軸に取って縦軸に振幅をとった場合、低周波画像とは、元画像に含まれる空間周波数成分のうち、空間周波数の低い成分を抽出した画像のことである。
【0049】
一方、差分画像は、元画像の空間周波数成分のうち、低周波画像に含まれる空間周波数成分を除いた、残りの周波数成分を含む画像である。
【0050】
低周波画像は、上述のように低周波成分を抜き出したものであるため、空間周波数の高い成分によって表現される輪郭等の画像の細かい部分は含まれておらず、焦点がボケたりモザイクをかけたような、詳細を確認できない画像となる。
【0051】
従って、低周波画像は、カメラに撮影された場所の大まかな状況は把握できるが、画像の詳細を確認することができないため、プライバシーは保護された画像となる。
【0052】
一方、差分画像は、含まれる空間周波数が高いため、輪郭などの細かい状況が確認できる画像となる。よって、顔や車両、ナンバープレートの輪郭などから、人物や車種、車両などのプライバシー情報を特定され得る画像となる。
【0053】
以下、各構成ブロックについて具体的に説明する。
【0054】
低周波画像生成部201は、フレーム画像から低周波画像を作成する。低周波画像は、画像を一旦空間周波数領域に変換し、空間周波数の低い成分を抽出することで作成することができる。例えばフーリエ変換、離散コサイン変換、ウェーブレット変換などの周波数変換を施し、空間周波数の低い成分を抽出し、逆変換することで、低周波画像を作成することができる。
【0055】
なお、空間周波数領域への変換はCPUの負荷が大きいため、ある程度処理能力を持った装置を使う必要があるが、より簡単に行うことができる。
【0056】
例えば、実空間上でフィルタ処理やブロックの平均化をすると、画像の詳細が分からなくなり、大まかな状況しか分からなくなる。
【0057】
つまり、平均化すると画像の空間周波数の高い成分が少なくなるため、空間周波数への変換を行わなくとも、画像の詳細が分からない低周波画像を作成することができ、プライバシーを十分に保護できる画像を作成することができる。
【0058】
そのため、空間周波数への変換不要で低周波画像を作成でき、負荷を減らすことができる。
【0059】
以下、図5図6を用いてそれぞれの作成方法を説明する。図5(a)は移動平均による平滑化フィルタ、図5(b)は加重平均による平滑化フィルタの説明図である。
【0060】
具体的には、図5のような9画素の平滑化フィルタを用いる場合、平滑化の対象となる画素を中心として、対象となる画素とその周りの8画素との合計を割ることによって、対象となる画素の平滑化を行い、この処理をすべての画素に対して行う。
【0061】
この場合、図5(a)の場合には、単に対象となる画素とその周りの8画素との平均を平滑化後の画素とするが、図5(b)の場合には、平滑化後の画素に対して対象となる画素の影響が大きくなるように予め重み付けを行った上で、平滑化後の画素を算出する。
【0062】
なお、図5の例では9画素を用いて平滑化しているが、用いる画素の数はこれに限らない。平滑化に用いる近傍画素の数や係数値を変えることで、ぼかし具合を調整することができる。また、画像データがRGBなどの複数プレーンで構成されている場合、これらの処理はそれぞれのプレーン(R、G、B)に対して実施しなければならない。
【0063】
図6はブロック平均の説明図である。ブロック平均では、上述した平滑化フィルタと異なり、それぞれの画素に対して行うのではなく、画像を4×4画素のブロックに分割し、各画素の値をブロックの平均値に置き換えることで、ブロックごとに平均化された低周波画像を作成することができる。
【0064】
図6における左上の4×4画素のブロックであれば、ブロックに含まれる16画素の平均値が117となるので、各画素の値を117に置き換える。ブロックごとに同様の処理を繰り返すことで、ブロック平均による低周波画像を作成することができる。
【0065】
また、画像データは近隣画素との相関が高く、隣接する画素の値は近いことが多いため、ブロック平均を行う際に、ブロックに含まれる全ての画素の平均値を求めなくても、その一部の画素の平均値をブロックの平均値として代用しても構わない。このようにすることで、より負荷の軽い処理を実現することができる。
【0066】
また、ブロックのサイズを変えることで、モザイクの強度を調整することができる。ブロックサイズが大きいほど、プライバシー保護の強度は高くなる。ブロック平均を用いて低周波画像を作成する場合も、画像データが複数プレーンで構成されているなら、これらの処理をそれぞれのプレーンに対して実施する必要がある。
【0067】
図7にフィルタ処理やブロック平均を用いて作成した低周波画像の例を示す。図7(a)は平滑化フィルタを用いた低周波画像の例示図、図7(b)はブロック平均を用いた低周波画像の例示図である。このように、実空間上でフィルタ処理やブロック平均を用いても、プライバシーを保護した低周波画像を作成することができる。
【0068】
差分画像生成部202は、フレーム画像と低周波画像との差分画像を作成する。この差分画像が、画像の詳細がわかる空間周波数の高い成分を含んだデータであり、プライバシーに関わる画像である。
【0069】
そして、この差分画像は、低周波画像と合成することで元のフレーム画像(プライバシーを含む画像)を復元するためのデータとなる。
【0070】
差分画像はフレーム画像と低周波画像の対応する画素の値を減算することで得られる。ここで、監視カメラ102で取得したフレーム画像が8ビットデータの場合、各画素の値は0〜255の範囲となる。一方、画素値を減算した差分画像の値は−255〜255の9ビットデータとなり、データ値の取り得る範囲が大きくなる。
【0071】
そこで、図8に示すような変換を用いて、8ビットデータに変換する。図8において、横軸はフレーム画像と低周波画像の差分値(差分画像の値)を、縦軸は変換後の差分画像の値を表している。図8に示すように、差分画像の値に128のオフセットを加え、0以下の値は0に、255以上の値は255にクリップすることで、−255〜255の値を0〜255の8ビットデータに変換している。
【0072】
8ビットデータへの変換方法としては、このようにクリップする以外にも、データの範囲全体を線形、あるいは非線形に量子化する方法でもよい。また、フレーム画像に対して復元時の復元画像のSN比を高めるために、9ビットデータのまま、差分データを保持してもよい。
【0073】
画像符号化部203は、低周波画像、及び差分画像を符号化する。本実施例では監視カメラで撮像された動画像を対象としているため、画像符号化の方法としては、圧縮標準であるMPEGやH.264/AVCなどが考えられる。また、静止画像が対象であればJPEGやJPEG2000なども適用できる。
【0074】
画像符号化の方法は、処理速度や符号化効率、汎用性の観点から標準方式が望ましいが、標準方式に限定するわけではなく、監視カメラシステムにおいて、再生システムや復元システムで再生可能な形式であれば、独自の符号化方式であっても構わない。
【0075】
また、本実施例では低周波画像と差分画像の両方を符号化しているが、符号化にかかる処理速度、記憶装置への書き込み速度、ネットワーク網における通信速度、記憶装置にかかるコストなどのトレードオフにより、低周波画像のみ符号化する構成や、低周波画像と差分画像のいずれも符号化しない構成も考えられる。符号化しない場合、画像データは非圧縮形式となる。この場合、非圧縮形式の画像データを監視カメラシステム内の再生システムや復元システムで表示、再生できなければならない。
【0076】
なお、本発明では、プライバシーを保護する画像として低周波画像、復元のためのデータとして差分画像を用いている。図4を用いて説明したように、低周波画像は、元画像に含まれる空間周波数成分から、空間周波数の低い成分を抽出した画像であり、差分画像は、低周波画像に含まれる空間周波数成分を除いた、残りの周波数成分を含む画像である。
【0077】
しかしながら、プライバシー保護を目的とする場合、図4のようにある空間周波数から低い成分、高い成分と完全に分ける必要はなく、低周波画像に空間周波数の低い成分の大部分が含まれ、かつ空間周波数の高い成分の大部分が含まれていなければ、輪郭が分からなくなるため上記のように、フィルタ処理やブロック平均を用いるだけでプライバシーは保護することができる。
【0078】
一方、プライバシーを保護した画像を作成する方法としては、低周波画像以外に、例えばフレーム画像にノイズを重畳するなど、その他の方法も考えられる。ノイズを重畳した場合でも、ノイズ画像においてプライバシーは保護される。
【0079】
しかし、このような方法を用いると、ノイズ画像や、元画像とノイズ画像の差分画像において、周波数特性そのものが変化してしまう。つまり、ノイズは空間周波数の高い成分を多く含むことから、元画像と比較して、ノイズ画像や差分画像の高周波成分の振幅が大きく異なってしまう。
【0080】
ここで、後段で実施する画像符号化について考えてみる。標準圧縮方式など、多くの画像符号化方式は、離散コサイン変換やウェーブレット変換などの周波数変換を行い、周波数ごとに異なる処理を実施する。具体的には、人間の視覚特性は高周波に鈍感であるため、情報量を削減するために、空間周波数の高い成分は、空間周波数の低い成分と比較して、粗く量子化される。従って、ノイズのような空間周波数の高い成分を重畳して符号化すると、量子化誤差が大きくなり、復元時に、重畳したノイズを上手く取り除くことが困難になってしまう。
【0081】
また、ノイズのように、通常の自然画像には含まれない、空間周波数の高い成分を画像に重畳すると、本来は発生していなかった、高周波成分を符号化データとして保有する必要が出てくるため、符号化効率が著しく低下するという問題もある。
【0082】
そこで、本発明で記載したように、元画像の空間周波数成分を観点に、2つの画像に分離することで、これらの問題を解決することができる。
【0083】
つまり、低周波画像と差分画像に分離して、それぞれの画像を個別に符号化する構成にすることで、復号後に合成された復元画像の画質は、元画像と比べ大きく劣化しない。また、個別に符号化された、それぞれのデータ量の総和は、元画像を符号化した場合と比較して、それほど大きくならない。
【0084】
従って、このような構成にすることで、従来とほぼ同程度のデータ量で、プライバシーを保護しつつ、画像の復元をしなくても、画像の概要を確認することができ、かつ、非常時には画像の詳細を復元できる監視カメラシステムが実現できるようになる。
【0085】
次に、受信装置106について、図9を用いて説明する。図9は、従来の受信装置のブロック図を表している。
【0086】
図9において、901は受信部、902は画像復号部、206は低周波画像符号化データ、903は低周波画像データである。受信装置106はプライバシーを保護した低周波画像を受信、再生するためのものである。受信部901は、低周波画像符号化データ206を受信する。また、あとで再生が必要な場合は、低周波画像符号化データ206を内部接続された記録装置111に記録する。画像復号部902は、低周波画像符号化データ206を復号する。そして、モニタ112は、得られた低周波画像データ903を表示、再生する。低周波画像符号化データ206は、第1の通信装置103の画像符号化部203で符号化されたデータであるため、画像復号部902は、このデータを復号できる必要がある。画像符号化部203が標準の圧縮形式であるなら、画像復号部902は標準方式の符号化データを復号できればよい。画像符号化部203が独自の符号化方式であるならば、画像復号部902も対応する独自の復号方式となる。
【0087】
次に、第2の通信装置110の処理について、詳細に説明する。第2の通信装置は、受信装置106と同じ再生処理と、受信装置106が行うことができない復元処理を行うことができる。
【0088】
まず、第2の通信装置110の再生処理について、図10図11を用いて詳細に説明する。図10は、本発明の実施例1における第2の通信装置の再生時のブロック図、図11は本発明の実施例1の第2の通信装置における再生処理のフロー図である。
【0089】
図10において、1001は受信部、902は画像復号部、1002は復号された低周波画像と差分画像を合成する画像合成部、206は低周波画像符号化データ、903は低周波画像データである。
【0090】
以下、図11のフロー図を用いて処理の流れを説明する。
【0091】
まず、受信部1001は、撮像システム101から、ネットワーク網113を介して低周波画像符号化データ206を受信する(S1101)。
【0092】
次に、受信部1001は、受信した低周波画像符号化データ206を、記録装置111に記録する(S1102)。このとき、画像の復元に必要となる、差分画像符号化データを特定するための情報も、合わせて記録する。具体的には、受信した低周波画像符号化データに対応する、差分画像符号化データのファイル名や、記録されている場所(ファイルパス等)を、テーブルなどを用いて管理、記録しておく。
【0093】
そして、画像復号部902は、低周波画像符号化データ206を復号し、1フレーム分の低周波画像データ903を作成する(S1103)。
【0094】
最後に、モニタ112は、作成されたフレーム画像である低周波画像データ903を表示する(S1104)。
【0095】
通常の再生時は、低周波画像データを復号するだけなので、プライバシーを保護した画像を表示するだけで、画像の詳細を全て確認できるわけではない。また、低周波画像符号化データ206は、復元時にも必要となるため、記録装置111に記録しておく。
【0096】
次に、第2の通信装置110の復元処理について、図12図13を用いて詳細に説明する。図12は、本発明の実施例1における第2の通信装置の復元時のブロック図、図13は本発明の実施例1の第2の通信装置における復元処理のフロー図である。
【0097】
図12において、1001は受信部、902は画像復号部、1002は復号された低周波画像と差分画像を合成する画像合成部、206は低周波画像符号化データ、207は差分画像符号化データ、1201は復元画像データを表している。
【0098】
以下、図13のフロー図を用いて処理の流れを説明する。
【0099】
まず、受信部1001は、記録装置111に記録された低周波画像符号化データ206を取得する(S1301)。
【0100】
次に、受信部1001は、撮像システム101から、ネットワーク網113を介して差分画像符号化データ207を受信する(S1302)。具体的には、復元したい低周波画像符号化データ206に対応する、差分画像符号化データを受信する。対応する差分画像符号化データは、再生処理で説明したテーブルなどで管理、記録された、ファイル名や、記録されている場所(ファイルパス等)から特定することができる。
【0101】
そして、画像復号部902は、低周波画像符号化データ206、及び差分画像符号化データ207を復号し、1フレーム分の低周波画像と差分画像のデータを作成する(S1303)。
【0102】
画像合成部1002は、低周波画像と差分画像を合成し、復元画像1201を作成する(S1304)。
【0103】
最後に、モニタ112は、作成されたフレーム画像である復元画像データ1201を表示する(S1305)。
【0104】
以下、画像合成部1002について具体的に説明する。
【0105】
画像合成部1002は、復号された低周波画像と差分画像を合成し、復元画像を作成する。図14は画像合成による復元画像作成の説明図である。差分画像は、第1の通信装置103の差分画像生成部202で、実際の差分値に対して128のオフセットを加えている。従って、差分画像の画素値からオフセットを減じて、−128〜127の値に変更し、対応する低周波画像の値に加算することで、復元画像の合成値が作成される。
【0106】
但し、低周波画像と差分画像は別々に符号化されているため、量子化誤差により、加算した復元画像の合成値が0〜255の範囲に収まらない場合がある。そこで、図15に示すような変換を用いて、復元画像の値を8ビットデータに変換する。図15において、横軸は復元のために低周波画像と差分画像を合成した値を、縦軸は合成値を変換した後の復元画像の値を表している。0以下の値は0に、255以上の値は255にクリップすることで、復元画像の値を8ビットデータに変換している。
【0107】
以上説明したような構成にすることで、従来とほぼ同程度のデータ量で、プライバシーを保護しつつ、画像の復元をしなくても、画像の概要を確認することができ、かつ、非常時には画像の詳細を復元できる監視カメラシステムが実現できるようになる。また、標準の画像符号化部、及び画像復号部を用いてシステムを構成することができるため、簡便かつ安価で、汎用性の高い監視カメラシステムを実現できるようになる。
【0108】
なお、本実施例では監視カメラ102から入力された画像を対象として説明しているが、監視カメラ102以外から取得した画像データや、予め保存されている画像データに対しても、本発明が適用可能であることは言うまでもない。
【0109】
また、本実施例における画像は、動画像、静止画像を問わず、監視カメラ102から受け取るフレーム画像もデジタルデータである必要はなく、アナログデータであってもよい。なお、この場合、デジタルデータに変更して、低周波画像と差分画像に分割する。
【0110】
また、本実施例で、撮像システム101は監視カメラ102、第1の通信装置103、記録装置104を内部ネットワークで接続する構成としているが、これらの一部、または全部を監視カメラ102内で実現しても、本発明が適用可能であることは言うまでもない。
【0111】
また、本実施例では、復元システム109は第2の通信装置110、記録装置111、モニタ112を内部ネットワークで接続する構成としているが、これらをパーソナルコンピュータとモニタなどで構成しても構わない。
【0112】
また、プライバシーが保護された画像として、空間周波数の低周波成分を用いているが低周波成分のすべてを含まなくともよい。
【0113】
また、本実施例では、空間周波数の低周波成分をプライバシーが保護された画像としているが、空間周波数の一部の周波数成分(例えば、周波数を低周波、中周波、高周波と3つに分けたときの中周波成分)を抜き出しても、元のフレーム画像の細部(詳細)が見えないのであれば、中周波成分をプライバシーが保護された画像としてもよい。
【0114】
(実施例2)
以下、本発明の実施例2について、図面を用いて説明する。なお、実施例1と同じ機能のものは同一番号を付し説明は省略する。
【0115】
図16は本発明の実施例2における第1の通信装置のブロック図、図17は本発明の実施例2の第1の通信装置における処理のフロー図である。
【0116】
図16において、1601は低周波画像の作成対象となる領域をマスク領域として設定するマスク領域設定部、1602は低周波画像生成に用いる所定領域のサイズを設定する領域サイズ設定部、201’は所定領域の画素の平均を用いて低周波画像を作成する低周波画像生成部、1603は低周波画像符号化データ、1604は差分画像符号化データである。
【0117】
以下、図17のフロー図を用いて処理の流れを説明する。
【0118】
まず、監視カメラ102は、カメラ周辺の光信号を、レンズを用いてイメージセンサ上に結像させ、電気信号に変換することで、デジタルデータとしてフレーム画像205を取得する(S1701)。
【0119】
次に、マスク領域設定部1601は、プライバシーを保護する領域として、マスク領域を設定する(S1702)。マスク領域のみ低周波画像に変換されるので、マスク領域の画像詳細が確認できなくなる。
【0120】
さらに、領域サイズ設定部1602は、低周波画像を作成する際に用いる、所定領域(領域サイズ)のサイズを設定する(S1703)。
【0121】
そして、低周波画像生成部201’は、設定されたマスク領域に対して、設定された領域サイズを用いて、フレーム画像から低周波画像を作成する(S1704)。低周波画像は、設定された領域サイズ内の画素ごとに平均値を算出する、ブロック平均を用いて作成される。
【0122】
さらに、差分画像生成部202は、監視カメラ102で取得したフレーム画像と、低周波画像生成部201’で作成した低周波画像との差分画像を作成する(S1705)。
【0123】
画像符号化部203は、低周波画像生成部201’で作成した低周波画像、及び差分画像生成部202で作成した差分画像を符号化する(S1706)。
【0124】
送信部204は、画像符号化部203で符号化された低周波画像符号化データ1603を、ネットワーク網113を介して、再生システム105や、復元システム109に送信する(S1707)。また、画像符号化部203で符号化された差分画像符号化データ1604を、記録装置104に記録する(S1708)。
【0125】
以下、各構成ブロックについて具体的に説明する。
【0126】
低周波画像生成部201’は、所定領域の画素の平均を用いて低周波画像を作成する。基本的な機能は実施例1で説明した低周波画像生成部201の、ブロック平均を用いた場合と同じであるが、本実施例における低周波画像生成部201’は、マスク領域設定部1601で設定された領域のみ、低周波画像に変換する。また、領域サイズ設定部1602で設定されたブロックのサイズで、ブロック平均を求める機能が加わっている。詳しくは後で述べるが、低周波画像生成部201’で作成した低周波画像は、図19(a)のような画像になる。
【0127】
マスク領域設定部1601は、プライバシーに関わる画像領域の詳細を確認できないようにするため、プライバシーを保護する領域として、マスク領域を設定する。低周波画像生成部は、設定されたマスク領域のみ、低周波画像に変換し、それ以外の領域は撮像されたフレーム画像のまま変換せずに、低周波画像を作成する。図18はマスク領域設定の説明図である。
【0128】
図18において、1801は一般的なフレーム画像、1802、1803はマスク領域を表している。図18は、検出された顔領域をマスク領域として設定する場合の例で、1802は画素単位に、1803はブロック単位にマスク領域を設定している。プライバシーに関わるマスク領域の対象としては、顔、人物、ナンバープレート、移動物体などが考えられる。
【0129】
対象領域の検出方法は、機械学習による物体検出を用いる方法、物体追跡を用いる方法、オプティカルフローや背景差分を用いる方法、あるいはこれらを組み合わせた方法などが考えられる。これらの方法を用いると、フレームごとに動的にマスク領域を設定することができる。
【0130】
また、固定された監視カメラでは、人物などプライバシーに関わる物体が映り込みやすい位置が、予め分かっている場合が多い。そのような場合、ユーザーが事前に手動でマスク領域を設定しておく方法も考えられる。また、マスク領域は1つに限定されるわけではない。画像内にプライバシーに関わる領域が複数あれば、マスク領域も複数設定できる。図19は、低周波画像と差分画像の例示図である。
【0131】
図19(a)はマスク領域として、人物の顔の部分が設定された場合の、低周波画像の例示図である。また、図19(b)はその差分画像の例示図である。低周波画像において、マスク領域以外の領域は、撮像されたフレーム画像のまま変換されない。そのため、差分画像を作成すると、マスク領域以外では低周波画像とフレーム画像の差分は生じない。
【0132】
つまり、差分画像におけるマスク領域以外の領域は、差分値0にオフセット128を加えた、画素値128の一定レベルの画像となる。従って、復元時には設定されたマスク領域の位置情報や、数の情報を記憶していなくても、低周波画像と差分画像をそのまま合成するだけで、元の画像を復元することができる。すなわち、本実施例のように差分画像を作成することで、マスク領域を設定した場合でも、フレーム画像全体を低周波画像に変換した実施例1の場合と同じように、差分画像を取り扱うことができる。
【0133】
領域サイズ設定部1602は、低周波画像を作成する際、画素の平均を算出する所定領域のサイズを設定する。図20は所定領域サイズ設定の説明図である。図20(a)は所定領域サイズを4×4画素とした場合の例で、この場合、4×4画素のブロック内の各画素の値を、ブロック内の画素の平均値とすることで、低周波画像を作成する。同様に図20(b)は6×6画素、図20(c)は8×8画素の場合の例示図である。
【0134】
ブロックのサイズを大きくすることは、低解像度の画像に変換することと等価であるため、画像の情報量が低下する。従って、プライバシーを保護する程度を強くしたい場合は、所定領域のサイズを大きく、弱くしたい場合は所定領域のサイズを小さくすることで、低周波画像のプライバシー保護の強度を自由に調整することができる。ブロックのサイズを任意に調整しても、フレーム画像に含まれる空間周波数成分のうち、空間周波数の低い成分が低周波画像に分離され、空間周波数の高い成分が差分画像に分離されることに変わりはない。そのため、後段で実施する画像符号化部の符号化効率が大きく低下することはない。
【0135】
また、顔などのプライバシー保護対象の物体は、カメラに近づくほど拡大された画像として取得される。拡大された画像では、同じブロックサイズで低周波画像を作成しても、プライバシー保護の効果が同じにはならない。図21は、ブロック平均を用いて低周波画像を作成した場合の、ブロックサイズと低周波画像の画質の例示図である。
【0136】
図21(a)と図21(b)は8×8画素のブロックで、図21(c)は16×16画素のブロックで低周波画像を作成した場合の例である。
【0137】
図21(a)と図21(b)を比較すると、図21(b)の方が、顔領域が拡大されているため、同じブロックサイズで低周波画像を作成すると、プライバシー保護の効果が低いことが分かる。このような拡大された画像の場合、図21(c)のように、ブロックサイズも大きくして低周波画像を作成したほうが効果的である。
【0138】
従って、マスク領域が大きいときは所定領域のサイズも大きく、マスク領域が小さいときは所定領域のサイズも小さくなるように、マスク領域のサイズと、所定領域のサイズを連動させることで、プライバシーを保護しつつ、概略を確認しやすい画像を得ることができる。顔検出などを用いて、マスク領域を動的に設定する場合、検出されたマスク領域のサイズに応じて、ブロックのサイズも動的に設定すれば、プライバシーを保護しつつ、撮影場所の大まかな状況を確認しやすい適切な低周波画像を作成することができるようになる。
【0139】
なお、本実施例では、低周波画像生成部でブロック平均を用いた場合を例に説明をしたが、平滑化フィルタを用いることも可能である。低周波画像生成部で平滑化フィルタを用いた場合は、領域サイズ設定部1602の代わりに、平滑化フィルタ設定部を設けることで、同様の効果を実現することができる。
【0140】
具体的には、平滑化フィルタ設定部で、平滑化フィルタに用いる近隣画素のサイズ、及びフィルタ係数を設定し、プライバシーを保護する程度を強くしたい場合は、平滑化に用いる近隣画素のサイズを大きく、弱くしたい場合は近隣画素のサイズを小さくすることで、低周波画像のプライバシー保護の強度を自由に調整することができるようになる。マスク領域のサイズに連動して、平滑化に用いる近隣画素のサイズを動的に設定すれば、ブロック平均を用いた場合と同様に、プライバシーを保護しつつ、撮影場所の大まかな状況を確認しやすい、適切な低周波画像を作成することができるようになる。
【0141】
なお、本実施例では、人物検知等でマスク領域を決定し、それにあわせて低周波画像を作成(画素の平均化)する領域サイズを決定しているが、マスク領域に連動しなくても良い。
【0142】
具体的には、人物の大きさを検知して、マスク領域を決定するとともに、人物の大きさに応じて、プライバシーが保護できるような領域サイズを決定する等、マスク領域とは独立して領域サイズを決定することが可能である。
【0143】
以上説明したような構成にすることで、プライバシーに関わる領域のみ、画像詳細を確認できないようにすることができる。また、プライバシーに関わる領域の数や位置情報を記憶する必要がなく、簡易な構成で復元が可能となる。従って、よりユーザーにとって利便性の高い監視カメラを提供することができるようになる。また、低周波画像を作成する所定領域のサイズを任意に変えることができるため、符号化効率の低下を最小限にしつつ、プライバシー保護の程度を自由に調整でき、カメラの用途や設置位置の自由度が格段に向上した監視カメラシステムを提供できるようになる。
【0144】
なお、実施例2において、第1の通信装置103は、上記のようになるが、その他の構成については、実施例1と同様である。
【0145】
なお、本実施例のように、マスク領域や領域サイズを変更できるのは、画像の空間周波数に着目し、画像の空間周波数成分を維持しつつ、低周波画像と差分画像に分けて画像符号化部203に送信しているためである。
【0146】
一般に、プライバシーが保護された画像を作成する場合、データ量の増加や画質の劣化が問題となるため、画像符号化部の内部で実施される。具体的には、画像符号化部における可変長符号データを、符号単位、ブロック単位などで入れ替えたり、変換したりして実現する。そのため、入れ替え方法や変換方法の自由度は、画像符号化部の構成に拘束されてしまい、マスク領域や領域サイズを自由に設定したプライバシー保護を実現することはできない。
【0147】
また、画像符号化部の内部でプライバシー保護画像を作成するには、標準方式ではなく特殊な構成の画像符号化部が必要となる。そのため、画像復元のための画像復号部も特殊な構成が必要となってしまい、対象となる機器が限られてしまう。
【0148】
その点、画像符号化部の前でプライバシーが保護された画像を作成できれば、画像符号化部は従来用いているものを用いるだけでよく、簡単に実現することができる。
【0149】
ただし、実施例1で説明したように、ノイズを使ってプライバシーを保護しようとすると、本来の画像が持つ空間周波数成分が変化してしまい、元のフレーム画像に戻せなくなったり、データ量が増大したりする。
【0150】
そのため、本実施例では、マスク領域、領域サイズを自由に設定でき、しかも元のフレーム画像に戻せるように、低周波画像と差分画像に分けるようにしている。
【0151】
(実施例3)
図22は本発明の実施例3における監視カメラシステムの全体構成を示す模式図である。なお、実施例1、2と同じ機能のものは同一番号を付し説明は省略する。
【0152】
図22において、101’は撮像システムで、撮像システム101’内において、102は監視カメラ、103’’は第1の通信装置で、これらは内部ネットワークで接続されている。
【0153】
また、105’は再生システムで、再生システム105’内において、106’は受信装置、108はモニタで、これらも撮像システム101’とは別の内部ネットワークで接続されている。
【0154】
また、109’は復元システムで、復元システム109’内において、110’は第2の通信装置で、モニタ112と、撮像システム101’とは別の内部ネットワークで接続されている。
【0155】
また、2201、2202、2203はクラウドなど、ネットワーク外部に設置された記録装置で、撮像システム101’、再生システム105’、復元システム109’は、ネットワーク網113を介して記録装置2201、2202、2203と外部接続されている。
【0156】
ここで、撮像システム101’における第1の通信装置103’’は、データを秘匿化する手段を備えている。また、復元システム109’における第2の通信装置110’は秘匿化されたデータを復元するための手段を備えている。このような手段を備えることで、プライバシーを保護した低周波画像データや、復元のための差分画像データを、内部ネットワークの記録装置ではなく、クラウドなどのネットワーク外部に接続された記録装置に、より安全に記録できるようになる。
【0157】
次に、第1の通信装置103’’について、図23図24を用いて詳しく説明する。図23は本発明の実施例3における第1の通信装置のブロック図、図24は本発明の実施例3の第1の通信装置における処理のフロー図である。
【0158】
図23において、201は低周波画像生成部、202は差分画像生成部、203は画像符号化部、2301はデータ秘匿部、2302は送信部、206は低周波画像符号化データ、2303は差分画像の秘匿データである。
【0159】
以下、図24のフロー図を用いて処理の流れを説明する。
【0160】
まず、監視カメラ102は、カメラ周辺の光信号を、レンズを用いてイメージセンサ上に結像させ、電気信号に変換することで、デジタルデータとしてフレーム画像を取得する(S2401)。
【0161】
そして、低周波画像生成部201は、フレーム画像から低周波画像を作成する(S2402)。
【0162】
さらに、差分画像生成部202は、監視カメラ102で取得したフレーム画像と、低周波画像生成部201で作成した低周波画像との差分画像を作成する(S2403)。
【0163】
画像符号化部203は、低周波画像生成部201で作成した低周波画像、及び差分画像生成部202で作成した差分画像を符号化する(S2404)。
【0164】
データ秘匿部2301は、画像符号化部203で符号化された差分画像符号化データを、暗号または秘密分散を用いて秘匿化する(S2405)。
【0165】
送信部2302は、画像符号化部203で符号化された低周波画像符号化データ206を、ネットワーク網113を介して送信する(S2406)。また、データ秘匿部2301で秘匿化された差分画像の秘匿データ2303を、ネットワーク網113を介して送信する(S2407)。送信されたデータは、それぞれクラウドなどの外部に設置された記録装置2201、2202、2203のいずれかに記録される。
【0166】
以下、データ秘匿部2301について具体的に説明する。
【0167】
データ秘匿部2301は、差分画像符号化データを、暗号または秘密分散を用いて秘匿化する。差分画像には人の顔など、プライバシーに関わる情報が含まれているため、データを暗号化したり、分散するなどして、秘匿化することが好ましいからである。
【0168】
秘匿化の方法としては暗号化を用いる方法が考えられる。暗号化としては、共通鍵暗号であるブロック暗号やストリーム暗号があり、ブロック暗号としては、トリプルDES、AESなどが、ストリーム暗号としてはRC4などが適用できる。暗号化を用いることで、プライバシー情報を含む差分画像符号化データを、第三者には理解できない情報に書き換えることができ、計算量的安全性を得ることができる。
【0169】
なお、暗号化の方法はこれらに限定するわけではなく、公開鍵暗号など、その他の方法であっても目的を達することは可能である。なお、暗号化を用いる場合、鍵の管理は別途実施する必要がある。
【0170】
暗号化以外の秘匿化の方法として、秘密分散を用いる方法も考えられる。秘密分散としては、しきい値秘密分散法がある。図25はしきい値秘密分散法の説明図である。しきい値秘密分散とは、秘密にしたいデータsを、n個の分散シェアに分散、保存し、k(k≦n)個の分散シェアを集めて復元することで、元の秘密データsが得られるというものである。分散シェアは第三者に理解できない情報に変換され、計算で解読不可能であることから、情報理論的安全性を得ることができる。ここで説明したしきい値秘密分散を、しきい値k、分散数nの(k,n)しきい値秘密分散法という。
【0171】
なお、秘密分散には、(k,n)しきい値秘密分散以外に、しきい値k、分割数L、分散数nの(k,L,n)ランプ型秘密分散、しきい値のない秘密分散、多項式秘密分散、排他的論理和を用いて高速化した秘密分散など、いくつものバリエーションがある。
【0172】
ここでは一例としてしきい値秘密分散を用いて説明したが、その他の秘密分散手法を用いても、本発明の目的を達することは可能である。複数のシェアで分散管理することで、冗長度をもたせることができるので、保存データの一部を損失した場合でも復元が可能となる。よって、秘密分散を用いることで、システムとしての信頼性も向上できるようになる。
【0173】
また、秘密分散を用いれば暗号化に必要な鍵の管理も不要となる。ランプ型秘密分散を用いれば、差分画像の秘匿データのデータ量を1/Lに小さくできるという効果もある。なお、秘密分散法を用いる場合、分散シェアが複数生成されることから、差分画像の符号化データは、複数に分散して記憶することになる。具体的には、分散数がnであれば、差分画像にかかるデータはn個出力されることになる。
【0174】
また、図23においては、データ秘匿部2301の出力である差分画像の秘匿データ2303は、複数の出力があるように記載しているが、秘匿化の方法に暗号を用いた場合、出力は1個である。また、秘匿化の方法に秘密分散を用いた場合、秘密分散の分散数がnなら、出力はn個となる。
【0175】
次に、第2の通信装置110’の復元処理について、図26図27を用いて詳細に説明する。図26は本発明の実施例3における第2の通信装置のブロック図、図27は本発明の実施例3の第2の通信装置における処理のフロー図である。
【0176】
図26において、2601は受信部、2602はデータ復元部、902は画像復号部、1002は復号された低周波画像と差分画像を合成する画像合成部、206は低周波画像符号化データ、2303は差分画像の秘匿データ、2603は差分画像符号化データである。
【0177】
以下、図27のフロー図を用いて処理の流れを説明する。
【0178】
まず、受信部2601は、クラウドなどの外部に設置された記録装置2201、2202、2203のいずれかから、ネットワーク網113を介して低周波画像符号化データ206を受信する(S2701)。
【0179】
次に、受信部2601は、同様に外部に設置された記録装置2201、2202、2203のいずれかから、ネットワーク網113を介して差分画像の秘匿データ2303を受信する(S2702)。
【0180】
そして、データ復元部2602は、差分画像の秘匿データ2303を復元する(S2703)。秘匿データを復元することで、差分画像符号化データ2603を得ることができる。
【0181】
さらに、画像復号部902は、低周波画像符号化データ206、及び差分画像符号化データ2603を復号し、1フレーム分の低周波画像と差分画像のデータを作成する(S2704)。
【0182】
画像合成部1002は、低周波画像と差分画像を合成し、復元画像を作成する(S2705)。
【0183】
最後に、モニタ112は、作成されたフレーム画像である復元画像データを表示する(S2706)。
【0184】
以下、データ復元部2602について具体的に説明する。
【0185】
データ復元部2602は、差分画像の秘匿データ2303を復元し、差分画像符号化データ2603を作成する。差分画像符号化データの秘匿化は、第1の通信装置103’’のデータ秘匿部2301で実施されているため、データ復元部2602は、データ秘匿部2301で適用された秘匿化手法を復元できるものでなければならない。秘匿化に暗号化を用いる方法や、秘密分散を用いる方法が考えられるため、これらに対応した復元方法を準備する必要がある。なお、秘匿化に秘密分散法を用いる場合、分散シェアが複数生成されることから、差分画像の秘匿データは、複数に分散して記憶されている。復元に必要なシェアの数(しきい値)がkであれば、差分画像にかかるデータはk個集める必要がある。
【0186】
また、図26において、受信部2601、及びデータ復元部2602の入力である差分画像の秘匿データ2303は、複数の入力があるように記載しているが、秘匿化の方法に暗号を用いた場合、入力は1個である。また、秘匿化の方法に秘密分散を用いた場合、秘密分散の復元に必要なシェアの数(しきい値)がkなら、入力はk個となる。
【0187】
以上説明したような構成にすることで、プライバシー情報を含む差分画像に関するデータを秘匿化することができ、機密性の高い監視カメラシステムを提供できるようになる。すなわち、低周波画像は画像詳細が確認できない画像であり、差分画像もプライバシーに関わる情報が全て秘匿化されるので、クラウド上の記録装置など外部サーバに、データをより安全に記録することもできるようになる。また、低周波画像と差分画像に変換してから符号化や秘匿化を行うので、特殊なエンコーダーを用いる必要がなく、汎用的なモジュールを用いて簡易な構成でシステムを構築できるようになる。すなわち、MPEG、H.264/AVCなどの標準符号化モジュールや、トリプルDES、AESなどの標準秘匿化モジュールを用いて、従来とほぼ同程度のデータ量で、かつ機密性の高い監視カメラシステムを実現できるようになる。
【0188】
なお、実施例3の第2の通信装置における再生処理は、実施例1の第2の通信装置において説明した再生処理と、同様の処理を実施することで実現可能である。
【0189】
また、本実施例では差分画像符号化データに対して、秘匿化を行っているが、符号化せずに、差分画像データを秘匿化しても構わない。符号化にかかる処理速度、記憶装置への書き込み速度、ネットワーク網における通信速度、記憶装置にかかるコストなどのトレードオフにより、差分画像を符号化しない構成であっても、本発明が適用可能であることは言うまでもない。
【0190】
また、本実施例で、撮像システム101’は監視カメラ102と第1の通信装置103’’を内部ネットワークで接続する構成としているが、これらを監視カメラ内で全て実現しても、本発明が適用可能であることは言うまでもない。
【0191】
また、低周波画像や差分画像を記録する場所は、本実施例に示す記録装置以外の場所であっても、本発明の目的を達成できることは言うまでもない。
【0192】
また、本実施例では差分画像に関するデータのみ、暗号化や秘密分散を用いて秘匿化を行ったが、低周波画像に関するデータの秘匿化は行っていない。低周波画像は、画像そのものがプライバシーを保護した画像となっているため秘匿化の必要がなく、また、秘匿化すると、汎用的な再生システムで復号、再生ができなくなるからである。本実施例のような構成にすることで、汎用的な再生システムで、プライバシーを保護しつつ概略を確認できる画像が再生でき、必要なときには、秘匿化を復元することで、画像詳細が確認できるようになる。
【0193】
(実施例4)
図28は本発明の実施例4における監視カメラシステムの全体構成を示す模式図である。なお、実施例1、2、3と同じ機能のものは同一番号を付し説明は省略する。
【0194】
図28において、101’’は撮像システムで、102は監視カメラ、103’’’は第1の通信装置で、これらは内部ネットワークで接続されている。また、109’’は復元システムで、110’’は第2の通信装置、111は記録装置、112はモニタで、これらも内部ネットワークで接続されている。また、撮像システム101’’と、複数の復元システム109’’が、ネットワーク網113を介して外部接続されている。
【0195】
撮像システム101’’における第1の通信装置103’’’は、低周波画像と差分画像のデータを1つのファイルに結合する手段を備えている。また、復元システム109’’における第2の通信装置110’’は結合ファイルから低周波画像と差分画像のデータを分離して取り出す手段を備えている。このような手段を備えることで、低周波画像と差分画像を別々に管理することなく、1つのファイルとして取り扱うことができるようになる。
【0196】
以下、本実施例では、第1の通信装置103’’’、及び第2の通信装置110’’について、データ秘匿、及びデータ復元に、分散数n、しきい値kの秘密分散法を用いた場合を例に説明する。
【0197】
まず、第1の通信装置103’’’について、図29図30を用いて詳しく説明する。図29は本発明の実施例4における第1の通信装置のブロック図、図30は本発明の実施例4の第1の通信装置における処理のフロー図である。
【0198】
図29において、201は低周波画像生成部、202は差分画像生成部、203は画像符号化部、2301はデータ秘匿部、2901はデータ結合部、2902は送信部、206は低周波画像符号化データ、2303は差分画像の秘匿データ、2903は低周波画像符号化データと差分画像の秘匿データが結合されたデータファイルである。
【0199】
以下、図30のフロー図を用いて処理の流れを説明する。
【0200】
まず、監視カメラ102は、カメラ周辺の光信号を、レンズを用いてイメージセンサ上に結像させ、電気信号に変換することで、デジタルデータとしてフレーム画像を取得する(S3001)。
【0201】
そして、低周波画像生成部201は、フレーム画像から低周波画像を作成する(S3002)。
【0202】
さらに、差分画像生成部202は、監視カメラ102で取得したフレーム画像と、低周波画像生成部201で作成した低周波画像との差分画像を作成する(S3003)。
【0203】
画像符号化部203は、低周波画像生成部201で作成した低周波画像、及び差分画像生成部202で作成した差分画像を符号化する(S3004)。
【0204】
データ秘匿部2301は、画像符号化部203で符号化された差分画像符号化データを、秘密分散を用いて秘匿化する(S3005)。
【0205】
そして、画像符号化部203で符号化された低周波画像符号化データ206と、データ秘匿部2301で作成された、差分画像の秘匿データ2303を、一時的なファイルとしてファイル出力する(S3006)。なお、秘匿化に秘密分散を用いているので、分散数がnであれば、差分画像の秘匿データはn個作成されることになる。
【0206】
データ結合部2901は、ファイル出力された低周波画像符号化データ206と、差分画像の秘匿データ2303を結合してデータファイル2903を作成する(S3007)。差分画像の秘匿データはn個作成されているので、データファイル2903もn個作成される。
【0207】
送信部2902は、データ結合部2901で結合されたデータファイル2903を、ネットワーク網113を介して、復元システム109’’に送信する(S3008)。n個のデータファイル2903は分散管理されるので、データファイル2903は複数の復元システム109’’に分散、送信される。
【0208】
以下、データ結合部2901について具体的に説明する。
【0209】
データ結合部2901は、一時的なファイルとして出力された低周波画像符号化データと、差分画像の秘匿データのファイルを結合する。図31は結合されたファイル構成の例示図である。図31において、結合されたファイルは、先頭から低周波画像符号化データが格納されている。低周波画像符号化データに続いて、差分画像データの先頭マーカーが格納され、続いて、秘匿化パラメータが格納される。秘匿化パラメータは、差分画像の秘匿データの復元に必要なパラメータである。
【0210】
しきい値秘密分散法を用いて秘匿化した場合、例えば分散数やしきい値、秘密分散処理前後のデータサイズなどが、秘匿化パラメータとして格納される。続いて差分画像の秘匿データが格納される。最後に、差分画像データの終端マーカーが格納され、続いて、ファイル終端から差分画像データの先頭マーカーまでのオフセットが格納される。
【0211】
図32は、データ秘匿部2301で秘密分散を用いた場合の、結合されたファイル構成の例示図である。分散数nの秘密分散を適用した場合、差分画像の秘匿データはn個作成される。従って、結合されたファイルもn個作成される。各ファイルの先頭に格納される低周波画像符号化データは全て同一であるが、それ以降に格納される差分画像の秘匿データは、それぞれ異なるn個の分散データとなる。
【0212】
なお、ここでは低周波画像符号化データと差分画像の秘匿データを結合する例を示したが、低周波画像が符号化されているか否かに関係なく、本発明が適用可能であることは言うまでもない。また、差分画像が符号化されているか否か、秘匿化されているか否かに関係なく、本発明が適用可能であることも言うまでもない。それぞれのファイルを結合したデータファイルを作成することで、本発明の目的を達することは可能である。
【0213】
また、結合ファイルの構成は、図31図32に示す例に限定されるわけではない。結合ファイルは、汎用的な再生システムで低周波画像として復号、再生できなければならないので、低周波画像に関するデータを先頭に格納する必要はある。しかし、差分画像に関するデータは、復元時にデータや必要なパラメータが取り出せる構成であれば、図31図32の構成でなくても、本発明の目的は達成可能である。
【0214】
また、図29において、差分画像の秘匿データ2303、及び結合ファイル2903は、複数の出力があるように記載している。秘匿化の方法に秘密分散を用いた場合、秘密分散の分散数がnなら、出力はn個となるからである。もし、秘匿化の方法に暗号を用いたならば、これらの出力は1個である。
【0215】
次に、第2の通信装置110’’の処理について、詳細に説明する。第2の通信装置は、実施例1の説明と同じように、再生処理と復元処理を行うことができる。
【0216】
まず、第2の通信装置110’’の再生処理について、図33図34を用いて詳細に説明する。図33は、本発明の実施例4における第2の通信装置の再生時のブロック図、図34は本発明の実施例4の第2の通信装置における再生処理のフロー図である。
【0217】
図33において、3301は受信部、3302はデータ分離部、2602はデータ復元部、902は画像復号部、1002は画像合成部、3303は低周波画像符号化データと差分画像の秘匿データが結合されたデータファイル、3304は低周波画像符号化データ、3305は低周波画像データである。
【0218】
以下、図34のフロー図を用いて処理の流れを説明する。
【0219】
まず、受信部3301は、撮像システム101から、ネットワーク網113を介して低周波画像符号化データと差分画像の秘匿データが結合されたデータファイル3303を受信する(S3401)。
【0220】
次に、受信部3301は、受信した結合ファイル3303を、記録装置111に記録する(S3402)。
【0221】
さらに、データ分離部3302は、結合ファイルから低周波画像符号化データ3304を取得する(S3403)。但し、低周波画像符号化データは、結合ファイルの先頭に格納されているため、特別な処理はしなくても、ファイル先頭からデータを読み込むだけで取得することができる。
【0222】
そして、画像復号部902は、低周波画像符号化データ3304を復号し、1フレーム分の低周波画像データ3305を作成する(S3404)。
【0223】
最後に、モニタ112は、作成されたフレーム画像である低周波画像データ3305を表示する(S3505)。
【0224】
通常の再生時は、低周波画像データを復号するだけなので、プライバシーを保護した画像が表示されるだけで、画像の詳細を全て確認できるわけではない。また、結合ファイル3303は、復元時にも必要となるため、記録装置111に記録しておく。
【0225】
また、この結合ファイル3303は、実施例1の再生システム105に示すような構成のシステムで受信しても、プライバシーを保護した画像として、再生可能である。
【0226】
次に、第2の通信装置110’’の復元処理について、図35図36を用いて詳細に説明する。図35は、本発明の実施例4における第2の通信装置の復元時のブロック図、図36は本発明の実施例4の第2の通信装置における復元処理のフロー図である。
【0227】
図35において、3301は受信部、3302はデータ分離部、2602はデータ復元部、902は画像復号部、1002は画像合成部、3303、3501は低周波画像符号化データと差分画像の秘匿データが結合されたデータファイル、3304は低周波画像符号化データ、3502は差分画像の秘匿データ、3503は差分画像符号化データ、3504は復元画像である。
【0228】
以下、図36のフロー図を用いて処理の流れを説明する。
【0229】
まず、受信部3301は、記録装置111に記録された低周波画像符号化データと差分画像の秘匿データが結合されたデータファイル3303を取得する。また、秘密分散の復元には、しきい値kの数だけ分散シェアであるデータファイルが必要となる。そのため、ネットワーク網113を介して、その他の復元システム109’’に記録されたデータファイル3501をk−1個受信、取得する(S3601)。
【0230】
次に、データ分離部3302は、データファイル3303、及び3501を、低周波画像符号化データと、差分画像の秘匿データに分離し、低周波画像符号化データ3304を取得する(S3602)。具体的には、データファイル3303から、低周波画像符号化データの先頭アドレスを取得する。本実施例で、データファイルは図32に示すような構成となっている。従って、低周波画像符号化データの先頭アドレスは、データファイル3303の先頭である。
【0231】
さらに、データ分離部3302で分離されたデータから、差分画像の秘匿データ3502を取得する(S3603)。具体的には、データファイル3303、及び3501から、差分画像の秘匿データの先頭アドレスを取得する。データファイル3303、及び3501の終端に、ファイル終端から差分画像データの先頭マーカーまでのオフセットが格納されている。従って、差分画像の秘匿データの先頭アドレスは、この値を用いてファイル終端からオフセット分移動することで取得できる。データ秘匿化に、しきい値kの秘密分散を用いているので、復元に必要な差分画像の秘匿データはk個ある。従って、k個のデータファイルから、k個の差分画像の秘匿データの先頭アドレスを取得する。
【0232】
さらに、データ復元部2602は、差分画像の秘匿データ3502を復元する(S3604)。秘匿データを復元することで、差分画像符号化データ3503を得ることができる。
【0233】
そして、画像復号部902は、低周波画像符号化データ3304、及び差分画像符号化データ3503を復号し、1フレーム分の低周波画像と差分画像のデータを作成する(S3605)。
【0234】
画像合成部1002は、低周波画像と差分画像を合成し、復元画像3504を作成する(S3606)。
【0235】
最後に、モニタ112は、作成されたフレーム画像である復元画像データ3504を表示する(S3607)。
【0236】
なお、図35において、受信部3301、及びデータ分離部3302の入力である結合ファイル3501は、複数の入力があるように記載している。秘匿化の方法に秘密分散を用いた場合、秘密分散の復元に必要なシェアの数(しきい値)がkなら、必要な差分画像の秘匿データ3502がk個となるからである。もし、秘匿化の方法に暗号を用いたならば、記録装置111に記録された結合ファイル3303だけで復元できるので、結合ファイル3501を受信する必要はなく、データ復元部2602の入力は1個である。
【0237】
また、本実施例では、差分画像の秘匿化に暗号化や秘密分散を用いた場合を例に説明したが、結合ファイルの作成方法には、いくつかのバリエーションが考えられる。例えば図37に示すように、差分画像を差分画像の暗号化データと復号鍵に分離し、それぞれを低周波画像符号化データと結合して、異なる結合ファイルとして記録することも考えられる。この場合、復号鍵を格納したファイルには、秘匿化パラメータを格納する代わりに、復号鍵であることを示す識別子を格納しておくとよい。
【0238】
あるいは、図38に示すように、差分画像符号化データをn個のファイルに分割し、それぞれの断片を低周波画像符号化データに結合して、記録することも考えられる。あるいは差分画像データをそのままn個のファイルに分割して、それぞれの断片を低周波画像符号化データと結合してもよいし、差分画像符号化データを暗号化してから、n個のファイルに分割して、それぞれの断片を低周波画像符号化データと結合してもよい。
【0239】
単純にデータを分割しただけでは、暗号化や秘密分散と比べ秘匿化の強度は弱くなるが、その分CPUの負荷を軽減することができ、プライバシーを保護しつつ、復元が可能であるという本発明の目的を達することはできるため、使用する端末、プライバシー保護の重要度の観点から適宜使い分けることができる。
【0240】
以上説明したような構成にすることで、プライバシーを保護した低周波画像データと、復元に必要な差分画像の秘匿データを1つのファイルとして記録できるようになる。このファイルは、通常の受信装置でプライバシーを保護した画像として再生可能であり、かつ、犯罪時など非常時には復元することができる。秘匿化に暗号化を用いた場合は鍵で復元できる。また、秘匿化に秘密分散を用いた場合は、必要な数の分散ファイルを集めることで復元できる。
【0241】
このため、低周波画像と差分画像を別々に記録することが不要となり、ファイル管理が容易になる。具体的には、低周波画像データに対応する、差分画像データのファイル名や、記録されている場所(ファイルパス等)を、テーブルなどを用いて管理、記録する必要がなくなる。
【0242】
また、ユーザーから見ると、暗号化や秘密分散されたバイナリデータと同じように取り扱うことができるようになる。具体的に説明すると、例えばデータを暗号化すると、暗号化データは意味のないバイナリデータであるが、鍵を用いて復号すると、意味あるデータファイルとなる。データを秘密分散すると、分散データは意味のないバイナリデータであるが、復元に必要な数の分散シェアを集めて復元すると、意味あるデータファイルとなる。
【0243】
同じように、画像データに本発明の暗号化を適用すると、暗号化データはプライバシーを保護した画像としてのみ再生可能であるが、鍵を用いて復号すると、詳細を全て確認可能な画像として再生できるようになる。また、画像データに本発明の秘密分散を適用すると、分散データはプライバシーを保護した画像としてのみ再生可能であるが、復元に必要な数の分散シェアを集めて復元すると、詳細を全て確認可能な画像として再生できるようになる。つまり、ユーザーから見ると通常の暗号化や秘密分散と同じようなインターフェースでファイルを取り扱うことができ、復元すると元の画像として再生することができ、なおかつ、復元しなくてもプライバシーを保護した画像データとして、概略を確認しながら再生ができるようになる。
【0244】
また、秘匿化に秘密分散を用いれば、機密性が高いだけでなく、バックアップとしても耐災害性、耐障害性の高いシステムを構築することができ、ユーザーにとって利便性の高い監視カメラシステムを実現できるようになる。
【産業上の利用可能性】
【0245】
本発明の通信システム、画像生成方法、及び通信装置は、通常はプライバシーを保護しつつ、必要なときに画像の詳細を確認したいシステムに有用であり、例えば監視カメラシステムに有用である。
【符号の説明】
【0246】
101 撮像システム
102 監視カメラ
103 第1の通信装置
104 記録装置
105 再生システム
106 受信装置
107 記録装置
108 モニタ
109 復元システム
110 第2の通信装置
111 記録装置
112 モニタ
113 ネットワーク網
201 低周波画像生成部
202 差分画像生成部
203 画像符号化部
204 送信部
901 受信部
902 画像復号部
1001 受信部
1002 画像合成部
1601 マスク領域設定部
1602 領域サイズ設定部
2201 記録装置
2202 記録装置
2203 記録装置
2301 データ秘匿部
2302 送信部
2601 受信部
2602 データ復元部
2901 データ結合部
2902 送信部
3301 受信部
3302 データ分離部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38