(58)【調査した分野】(Int.Cl.,DB名)
カメラ部、前記カメラ部で撮影して得られた個々の全体画像を複数の部分に分割して分割画像を得る画像分割装置、前記画像分割装置で分割された分割画像ごとにJPEG形式の分割画像に変換するエンコード装置、および前記JPEG形式の分割画像を無線で送信する無線送信装置を有するカメラ装置と、
前記無線送信装置により送信された前記JPEG形式の分割画像を受信する無線受信装置と、
画像を表示する画像表示装置と、
前記無線受信装置により受信された前記JPEG形式の分割画像をデコードするデコード装置と、
前記デコード装置でデコードされた分割画像を、前記画像表示装置のうち、前記画像分割装置で分割された前記全体画像における前記分割画像の位置に対応して表示させるように、前記画像表示装置を制御する画像表示制御装置と、を備え、
前記カメラ装置は、前記無線送信装置で送信される前記JPEG形式の分割画像を、時系列順に、前記全体画像の少なくとも2画像分格納する領域を有する送信バッファと、前記送信バッファの領域がフル状態となったときは、前記送信バッファの領域に蓄えられている前記分割画像のうち、時系列的に最新の全体画像に対応する分割画像を除いた他の分割画像を、前記全体画像の単位で廃棄するように、前記送信バッファを管理する送信バッファ管理部と、を備えたことを特徴とするカメラ画像表示システム。
前記無線受信装置で受信され、前記デコード装置でデコードされる前記JPEG形式の分割画像を、受信された時系列順に、前記全体画像の少なくとも2画像分格納する領域を有する受信バッファと、
前記受信バッファの領域がフル状態となったときは、前記受信バッファの領域に蓄えられている前記分割画像のうち、時系列的に最新の全体画像に対応する分割画像を除いた他の分割画像を、前記全体画像の単位で廃棄するように、前記受信バッファを管理する受信バッファ管理部と、を備えたことを特徴とする請求項1に記載のカメラ画像表示システム。
前記チャネル切替制御装置は、前記無線送信装置と前記無線受信装置とで使用する無線周波数帯域のチャネルを少なくとも3つのチャネルで順次切り替えるように制御するものであって、前記無線送信装置ごとに固有のMACアドレスに応じて、前記少なくとも3つのチャネルを切り替える順序を異ならせていることを特徴とする請求項4に記載のカメラ画像表示システム。
カメラ部、前記カメラ部で撮影して得られた個々の全体画像を複数の部分に分割して分割画像を得る画像分割装置、前記画像分割装置で分割された分割画像ごとにJPEG形式の分割画像に変換するエンコード装置、および前記JPEG形式の分割画像を無線で送信する無線送信装置を有するカメラ装置と、
前記無線送信装置により送信された前記JPEG形式の分割画像を受信する無線受信装置と、
画像を表示する画像表示装置と、
前記無線受信装置により受信された前記JPEG形式の分割画像をデコードするデコード装置と、
前記デコード装置でデコードされた分割画像を、前記画像表示装置のうち、前記画像分割装置で分割された前記全体画像における前記分割画像の位置に対応して表示させるように、前記画像表示装置を制御する画像表示制御装置と、を備え、
前記無線送信装置と前記無線受信装置との間での前記JPEG形式の分割画像の送受信の状況を検出する送受信状況検出部と、
前記送受信状況検出部により検出された前記送受信の状況に応じて、前記無線送信装置と前記無線受信装置とで使用する無線周波数帯域のチャネルを、予め定められた規定にしたがって切り替えるように、前記無線送信装置と前記無線受信装置とをそれぞれ制御するチャネル切替制御装置と、を備え、
前記チャネル切替制御装置は、前記無線送信装置と前記無線受信装置とで使用する無線周波数帯域のチャネルを少なくとも3つのチャネルで順次切り替えるように制御するものであって、前記無線送信装置ごとに固有のMACアドレスに応じて、前記少なくとも3つのチャネルを切り替える順序を異ならせていることを特徴とするカメラ画像表示システム。
【発明を実施するための形態】
【0017】
以下、本発明に係るカメラ画像表示システムの具体的な実施の形態について、図面を参照して説明する。
【0018】
[構成]
本実施形態の車載カメラ画像表示システム100(本発明に係るカメラ画像表示システムの一例)は、
図1に示すように、図示しない車両に搭載された車載カメラ装置11(カメラ装置の一例)と、無線受信装置31と、デコード装置41と、受信バッファ42と、受信バッファ管理部43と、画像表示制御装置51と、画像表示装置61とを備えている。
【0019】
車載カメラ装置11は、カメラ部12と、カメラ部12で撮影して得られた画像に対して種々の処理を施す画像処理部13と、送信バッファ20と、送信バッファ管理部21と、無線送信装置17とを、一体的に備えている。
【0020】
画像処理部13は、
図2に示すように、カメラ部12で撮影して得られた個々の全体画像P(1画面(フレーム)分の全体の画像を意味する。)を、例えば5つの部分に分割して
図3に示すように分割画像p1,p2,p3,p4,p5を得る画像分割装置14と、画像分割装置14で分割して得られた5つの分割画像p1〜p5ごとにJPEG形式の分割画像p1〜p5に変換するエンコード装置16と、後述する無線送信装置17の送受信状況検出部18により検出された送受信状況に応じて、分割画像p1〜p5の画像品質を調整する画像品質調整部15とを備えている。
【0021】
(ch切替え)
無線送信装置17は、無線受信装置31に対して、JPEG形式の分割画像p1〜p5を送信するが、無線受信装置31との間での、JPEG形式の分割画像p1〜p5の送受信状況を検出する送受信状況検出部18と、送受信状況検出部18により検出された送受信の状況に応じて、無線送信装置17と無線受信装置31とで使用する無線周波数帯域のチャネルCを、予め定められた規則にしたがって切り替えるように無線送信装置17を制御するチャネル切替制御装置19とを備えている。
【0022】
同様に、無線受信装置31は、無線送信装置17から送信されたJPEG形式の分割画像p1〜p5を受信するが、無線送信装置17との間での、JPEG形式の分割画像p1〜p5の送受信状況を検出する送受信状況検出部32と、送受信状況検出部32により検出された送受信の状況に応じて、無線送信装置17と無線受信装置31とで使用する無線周波数帯域のチャネルCを、予め定められた規則にしたがって切り替えるように無線受信装置31を制御するチャネル切替制御装置33とを備えている。
【0023】
ここで、送受信状況検出部32により検出された送受信の状況に応じて、チャネル切替制御装置33によりチャネルCを切り替える条件は、例えば、無線受信装置31が無線送信装置17からJPEG形式の分割画像p1〜p5を予め設定された時間内に受信できなかったときのように、送受信状況が非常に悪い状況のときであり、送受信状況検出部18により検出された送受信の状況に応じて、チャネル切替制御装置19によりチャネルCを切り替える条件は、例えば、無線送信装置17が無線受信装置31からJPEG形式の分割画像p1〜p5を受信した旨の通知がされなかったときである。
【0024】
なお、チャネル切替制御装置19が無線送信装置17のチャネルCを切り替えるタイミングと、チャネル切替制御装置33が無線受信装置31のチャネルCを切り替えるタイミングは、概略一致している。
【0025】
また、無線送信装置17のチャネル切替制御装置19によるチャネルCを切り替える規則と、無線受信装置31のチャネル切替制御装置33によるチャネルCを切り替える規則とが一致するように設定されている。
【0026】
なお、本実施形態の車載カメラ画像表示システム100は、車両に搭載されたカメラ(車載カメラ装置)によって撮影された画像を、同じ車両に搭載された画像表示装置に表示するシステムとして説明しているが、本発明のカメラ画像表示システムは、カメラ装置が車両に搭載されるものに限定されるものではない。
すなわち、無線送信装置17を含むカメラ装置が例えば自宅等の駐車場に設置され、無線受信装置31および画像表示装置61が車両に搭載されて、駐車場に設置されたカメラ装置で撮影された画像を、その駐車場に駐車しようとしている車両に設置された画像表示装置61で表示するシステムも、本発明に係るカメラ画像表示システムの一例となる。
【0027】
本実施形態の車載カメラ画像表示システム100は、切り替えるチャネル数を、例えば3つ備えている。
【0028】
具体的には、無線送信装置17および無線受信装置31が無線LAN(例えば、IEEE−802.11b)の規格にしたがったものであるときは、周波数帯域が相互に重ならない3つのチャネルCとして、1ch(チャネル)、6ch、11chが用意されていて、チャネル切替制御装置19,33は、無線送信装置17と無線受信装置31とで使用する無線周波数帯域のチャネルCを、1ch、6ch、11chの間で、無線送信装置17と無線受信装置31とを対応させて順次切り替えるように制御する。
【0029】
3つのチャネルC(1ch、6ch、11ch)を順次切り替える切替え順序(1ch→6ch→11ch→1ch→…または1ch→11ch→6ch→1ch→…)の規則は、無線送信装置17と無線受信装置31とで一致させる必要がある。
【0030】
本実施形態においては、チャネル切替制御装置19,33が、無線送信装置17のMACアドレスに応じて、チャネルCの切替え順序とチャネルCの初期値C0(1ch、6chまたは11ch)とを規定している。
【0031】
このチャネルCの初期値C0は、具体的には、無線送信装置17のMACアドレスの最下位バイトを3で除した剰余(0,1,2のうちいずれか)に5を乗じ、1を加える演算により規定される。
【0032】
この場合、剰余が0のとき演算結果は1となり、チャネルCの初期値C0は1chに設定される。剰余が1のとき演算結果は6となり、チャネルCの初期値C0は6chに設定され、剰余が2のとき演算結果は11となり、チャネルCの初期値C0は11chに設定される。
【0033】
また、チャネルCの切替え順序は、具体的には、無線送信装置17のMACアドレスの最下位バイトが偶数か、または奇数かによって設定され、MACアドレスの最下位バイトが偶数の場合はチャネルCの値が増加する昇順(1ch→6ch→11ch→1ch→…)で切り替え、MACアドレスの最下位バイトが奇数の場合は、チャネルの値が減少する降順(1ch→11ch→6ch→1ch→…)で切り替えるように設定される。
【0034】
(画像品質調整)
画像品質調整部15は、無線送信装置17の送受信状況検出部18により検出された送受信状況に応じて、その後に送信する分割画像p1〜p5の画像品質を調整するが、この画像品質を調整する条件としては、例えば、所定の時間内に、無線送信装置17から無線受信装置31へ送受信された全体画像P(1つの全体画像Pを構成する5つの分割画像p1〜p5の全てが揃っていないものも含む)のフレーム数の多少である。
【0035】
つまり、無線受信装置31が無線送信装置17から受信した所定時間内の全体画像Pの数(フレームレート[FPS])が所定数未満であれば、送受信の速度が低下している状況であり、画像品質調整部15は、この状況を受けて、無線送信装置17と無線受信装置31との間での分割画像p1〜p5の送受信の時間を短縮するために、その後に送受信の対象となる分割画像p1〜p5の画像品質を低下させる。
【0036】
なお、送受信の速度が低下している原因としては、例えば、カメラ部12で撮影した画像のデータ量が多くなった場合や、無線送信装置17のキャリアセンスが作動して画像データの送信を停止した場合などがある。
【0037】
このようにして送受信の対象となる分割画像p1〜p5の画像品質を低下させた状態で送受信を行っている間に、送受信の速度が向上してきた場合、すなわち、無線受信装置31が無線送信装置17から受信したJPEG形式の分割画像pのフレームレートが所定数以上であれば、送受信の速度が向上している状況であり、この状況を受けて、画像品質調整部15は、無線送信装置17と無線受信装置31との間でその後に送受信の対象となる分割画像p1〜p5の画像品質を向上させる。
【0038】
なお、画像品質調整部15によって調整する画像の品質としては、例えば、個々の分割画像p1〜p5の画質(JPEG形式にエンコードする際の圧縮率)、分割画像p1〜p5の大きさ、または分割画像p1〜p5のフレームレートなどである。
【0039】
画像品質調整部15が切り替える画像品質としては、例えば、高画像品質、中画像品質、低画像品質という3段階に設定することができる。
【0040】
高画像品質は、例えば、画質高(JPEG圧縮率70[%])、画像サイズ大(横320[画素]×縦240[画素])、フレームレート高(30[FPS])である。
【0041】
中画像品質は、例えば、画質中(JPEG圧縮率60[%])、画像サイズ中(横256[画素]×縦192[画素])、フレームレート中(15[FPS])である。
【0042】
低画像品質は、例えば、画質低(JPEG圧縮率50[%])、画像サイズ小(横192[画素]×縦144[画素])、フレームレート高(10[FPS])である。
【0043】
そして、画像品質調整部15による各画像品質の切替えは、
図4に示すように、元の高画像品質で送受信を行っているときに、送受信状況検出部18によって検出された送受信の状況が条件J1のとき、低画像品質に切替え、または中画像品質で送受信を行っているときに、送受信状況検出部18によって検出された送受信の状況が条件J2のとき、低画像品質に切り替える。
【0044】
一方、画像品質調整部15は、低画像品質で送受信を行っているときに、送受信状況検出部18によって検出された送受信の状況が条件J3のとき、中画像品質に切替え、中画像品質で送受信を行っているときに、送受信状況検出部18によって検出された送受信の状況が条件J4のとき、高画像品質に切り替える。
【0045】
条件J1としては、下記(1)または(2)のいずれかが満たされたときである。
(1)送受信状況検出部18によって、無線送信装置17と無線受信装置31との間の送受信が途切れたことが検出されたとき
(2)送受信状況検出部18によって検出された、無線送信装置17と無線受信装置31との間の送受信のフレームレートが、高画像品質で規定されたフレームレートFH(=30[FPS])を2[FPS]以上下回った(28[FPS]以下の)期間が2[秒間]以上継続したとき
【0046】
条件J2としては、下記(1)または(3)のいずれかが満たされたときである。
(1)送受信状況検出部18によって、無線送信装置17と無線受信装置31との間の送受信が途切れたことが検出されたとき
(3)送受信状況検出部18によって検出された、無線送信装置17と無線受信装置31との間の送受信のフレームレートが、中画像品質で規定されたフレームレートFM(=15[FPS])を2[FPS]以上下回った(13[FPS]以下の)期間が2[秒間]以上継続したとき
【0047】
条件J3としては、下記(4)が満たされたときである。
(4)送受信状況検出部18によって検出された、無線送信装置17と無線受信装置31との間の送受信のフレームレートが、低画像品質で規定されたフレームレートFL(=10[FPS])を1[FPS]未満で下回る期間が5[秒間]以上継続したとき、またはフレームレートFL以上である期間が5[秒間]以上継続したとき
【0048】
条件J4としては、下記(5)が満たされたときである。
(5)送受信状況検出部18によって検出された、無線送信装置17と無線受信装置31との間の送受信のフレームレートが、中画像品質で規定されたフレームレートFM(=15[FPS])を1[FPS]未満で下回る期間が5[秒間]以上継続したとき、またはフレームレートFM以上である期間が5[秒間]以上継続したとき
【0049】
なお、条件J1〜J4の具体的な内容については、上記(1)〜(5)のものに限定されるものではなく、送受信状況を判断するのに適した他の指標を用いて条件を設定することもできる。
【0050】
また、各画像品質を規定する特性の内容も、画質(JPEG圧縮率)、画像サイズ(横縦の画素数)およびフレームレートの3つの組み合わせに限定されるものではなく、これら3種類の特性のうち1つ、または2つの組み合わせであってもよい。
【0051】
さらに、各画像品質を規定する特性の内容として、画質(JPEG圧縮率)、画像サイズ(横縦の画素数)およびフレームレートという3種類の特性とは異なる、他の特性を単独もしくは複数で、または、他の特性と上述した3種類の特性のうちいずれか1つ以上とを組み合わせたものであってもよい。
【0052】
画像品質調整部15によって切り替える画像品質の段階としては、高画像品質と低画像品質との2段階であってもよい。この場合、上述した3段階の場合における中画像品質を除くか、または低画像品質を除いたものとすればよい。
【0053】
(送信バッファの管理)
送信バッファ20は、無線送信装置17で送信されるJPEG形式の分割画像p1〜p5を、時系列順に、全体画像Pの少なくとも2画像分格納する領域を有している。
【0054】
この実施形態における送信バッファ20は、分割画像p1〜p5の1枚単位で格納するバッファ領域mが設定されているため、全体画像Pの1画像分としては5つのバッファ領域mが必要となる。
【0055】
そして、送信バッファ20は、例えば
図5に示すように、全体画像Pの2画像分プラスアルファとして、14個(=5個×2画像分+4個(プラスアルファ分))のバッファ領域m(m0,m1,…,m13)を備えている。
【0056】
本実施形態における送信バッファ20は、送信に使用されるバッファ領域mの数は1つ、エンコードに使用されるバッファ領域mの数も1つに設定されている。
【0057】
また、バッファ領域mに格納されていてエンコードが終わったデータ(分割画像)は、送信待ちの状態となり、送信待ちのデータは、送信待ちの順に、無線送信装置17によって送信される。
【0058】
つまり、
図6に示すように、最初(時刻T1)、送信バッファ20の全てのバッファ領域m0〜m13は空いた状態となっていて、次の時刻T2において、最初の全体画像P1に対応した1枚目の分割画像p11がエンコード装置16によってエンコードされるデータとして、バッファ領域m0に格納される。
【0059】
次いで時刻T3において、最初の全体画像P1に対応した2枚目の分割画像p12がエンコードされるデータとしてバッファ領域m1に格納されるとともに、バッファ領域m0では、エンコードが終了した1枚目の分割画像p11のデータが送信待ちとなる。
【0060】
次いで時刻T4において、最初の全体画像P1に対応した3枚目の分割画像p13がエンコードされるデータとしてバッファ領域m2に格納されるとともに、バッファ領域m1では、エンコードが終了した2枚目の分割画像p12のデータが送信待ちとなり、バッファ領域m0では、送信待ちの1枚目の分割画像p11のデータが無線送信装置17によって送信される。
【0061】
以下、時刻T4からT15へと時間が経過していくが、この間に、
バッファ領域m3に最初の全体画像P1に対応した4枚目の分割画像p14、
バッファ領域m4に最初の全体画像P1に対応した5枚目の分割画像p15、
バッファ領域m5に2番目の全体画像P2に対応した1枚目の分割画像p21、
バッファ領域m6に2番目の全体画像P2に対応した2枚目の分割画像p22、
バッファ領域m7に2番目の全体画像P2に対応した3枚目の分割画像p23、
バッファ領域m8に2番目の全体画像P2に対応した4枚目の分割画像p24、
バッファ領域m9に2番目の全体画像P2に対応した5枚目の分割画像p25、
バッファ領域m10に3番目の全体画像P3に対応した1枚目の分割画像p31、
バッファ領域m11に3番目の全体画像P3に対応した2枚目の分割画像p32、
バッファ領域m12に3番目の全体画像P3に対応した3枚目の分割画像p33、
バッファ領域m13に3番目の全体画像P3に対応した4枚目の分割画像p34、
がそれぞれ格納される。
【0062】
ここで、送信が終了した各バッファ領域mのデータは送信バッファ管理部21によって廃棄されて、そのバッファ領域mは空になり、次のデータ(例えば、3番目の全体画像P3に対応した5枚目の分割画像p35)が格納されることになる。
【0063】
しかし、周囲の電波状況の影響により送信が滞ると、送信待ち状態の他のバッファ領域mのデータも送信されないためバッファ領域mに空きができず、送信バッファ20は全てのバッファ領域m0〜m13がデータで埋まったフル状態となる。
【0064】
送信バッファ管理部21は、送信バッファ20のフル状態を検出すると、
図6の時刻T16に示すように、全てのバッファ領域m0〜m13に格納されている分割画像p11〜p34のうち、時系列的に最新の全体画像P3に対応する分割画像p31,p32,p33,p34を除いた他の分割画像p11〜p25を、全体画像Pの単位で廃棄して、バッファ領域m0〜m9を空にするように、送信バッファ20を管理する。
【0065】
つまり、送信バッファ20からデータが送信されない状態が長く続いて送信待ちのデータで送信バッファ20がフル状態になったときは、送信バッファ管理部21は、送信バッファ20に格納された最新の全体画像Pに対応した分割画像pのみを残し、他の分割画像pを廃棄してバッファ領域mの空きを作る。
【0066】
そのようにして、空になったバッファ領域m0〜m9には、送信バッファ20への格納待ちとなっていた以後の分割画像p35,p41,…のデータが格納される。
【0067】
なお、送信バッファ管理部21は、送信バッファ20のバッファ領域mがフル状態となったときに、送信バッファ20から現に送信中の分割画像pがあるときは、
図7に示すように、現に送信中の分割画像p11に対応した全体画像P1の分のデータ(分割画像p11〜p15)は廃棄せずに、最新の全体画像P3の分割画像p31〜p34とともに残し、残りの1枚分の全体画像P2に対応する全ての分割画像p21〜p25を廃棄して、全体画像Pの1枚分の分割画像p1〜p5に対応する5つのバッファ領域mの空きを作る。
【0068】
(受信バッファの管理)
無線受信装置31の側に設けられている受信バッファ42、受信バッファ管理部43も、送信バッファ20、送信バッファ管理部21と同様である。
【0069】
すなわち、受信バッファ42は、無線受信装置31で受信されたJPEG形式の分割画像p1〜p5を、時系列順に、全体画像Pの少なくとも2画像分格納する領域を有している。
【0070】
この実施形態における受信バッファ42は、分割画像p1〜p5の1枚単位で格納するバッファ領域nが設定されているため、全体画像Pの1画像分としては5つのバッファ領域nが必要となる。
【0071】
そして、受信バッファ42は、例えば
図8に示すように、全体画像Pの2画像分プラスアルファとして、14個(=5個×2画像分+4個(プラスアルファ分))のバッファ領域n(n0,n1,…,n13)を備えている。
【0072】
本実施形態における受信バッファ42は、受信に使用されるバッファ領域nの数は1つ、デコードに使用されるバッファ領域nの数も1つに設定されている。
【0073】
また、無線受信装置31によって受信されてバッファ領域nに格納されたデータ(分割画像)は、デコード待ちの状態となり、デコード待ちのデータは、デコード待ちの順に、デコード装置41によってデコードされる。
【0074】
つまり、
図9に示すように、最初(時刻T1)、受信バッファ42の全てのバッファ領域n0〜n13は空いた状態となっていて、次の時刻T2において、最初の全体画像P1に対応した1枚目の分割画像p11が受信されたデータとして、バッファ領域n0に格納される。
【0075】
次いで時刻T3において、最初の全体画像P1に対応した2枚目の分割画像p12が受信されたデータとしてバッファ領域n1に格納されるとともに、バッファ領域n0では、受信後の1枚目の分割画像p11のデータがデコード待ちとなる。
【0076】
次いで時刻T4において、最初の全体画像P1に対応した3枚目の分割画像p13が受信されたデータとしてバッファ領域n2に格納されるとともに、バッファ領域n1では、受信後の2枚目の分割画像p12のデータがデコード待ちとなり、バッファ領域m0では、デコード待ちの1枚目の分割画像p11のデータがデコード装置41によりデコードされる。
【0077】
以下、時刻T4からT15へと時間が経過していくが、この間に、
バッファ領域n3に最初の全体画像P1に対応した4枚目の分割画像p14、
バッファ領域n4に最初の全体画像P1に対応した5枚目の分割画像p15、
バッファ領域n5に2番目の全体画像P2に対応した1枚目の分割画像p21、
バッファ領域n6に2番目の全体画像P2に対応した2枚目の分割画像p22、
バッファ領域n7に2番目の全体画像P2に対応した3枚目の分割画像p23、
バッファ領域n8に2番目の全体画像P2に対応した4枚目の分割画像p24、
バッファ領域n9に2番目の全体画像P2に対応した5枚目の分割画像p25、
バッファ領域n10に3番目の全体画像P3に対応した1枚目の分割画像p31、
バッファ領域n11に3番目の全体画像P3に対応した2枚目の分割画像p32、
バッファ領域n12に3番目の全体画像P3に対応した3枚目の分割画像p33、
バッファ領域n13に3番目の全体画像P3に対応した4枚目の分割画像p34、
がそれぞれ格納される。
【0078】
ここで、デコードが終了した各バッファ領域nのデータは受信バッファ管理部43によって廃棄されて、そのバッファ領域nは空になり、次のデータ(例えば、3番目の全体画像P3に対応した5枚目の分割画像p35)が格納されることになる。
【0079】
しかし、デコード装置41によるデコードの速度よりも無線受信装置31による受信速度が上回ったり、画像表示装置61での画像の表示規格の影響によりデコード装置41によるデコードのサイクルが制限されている場合などでは、デコードが滞り、デコード待ち状態の他のバッファ領域nのデータもデコードされないためバッファ領域nに空きができず、受信バッファ42は全てのバッファ領域n0〜n13がデータで埋まったフル状態となる。
【0080】
受信バッファ管理部43は、受信バッファ42のフル状態を検出すると、
図9の時刻T16に示すように、全てのバッファ領域n0〜n13に格納されている分割画像p11〜p34のうち、時系列的に最新の全体画像P3に対応する分割画像p31,p32,p33,p34を除いた他の分割画像p11〜p25を、全体画像Pの単位で廃棄して、バッファ領域n0〜n9を空にするように、受信バッファ42を管理する。
【0081】
つまり、デコード待ちのデータで受信バッファ42がフル状態になったときは、受信バッファ管理部43は、受信バッファ42に格納された最新の全体画像Pに対応した分割画像pのみを残し、他の分割画像pを廃棄してバッファ領域nの空きを作る。
【0082】
そのようにして、空になったバッファ領域n0〜n9には、受信バッファ42への格納待ちとなっていた以後の分割画像p35,p41,…のデータが格納される。
【0083】
なお、受信バッファ管理部43は、受信バッファ42のバッファ領域nがフル状態となったときに、受信バッファ42から現にデコード中の分割画像pがあるときは、
図10に示すように、現にデコード中の分割画像p11に対応した全体画像P1の分のデータ(分割画像p11〜p15)は廃棄せずに、最新の全体画像P3の分割画像p31〜p34とともに残し、残りの1枚分の全体画像P2に対応する全ての分割画像p21〜p25を廃棄して、全体画像Pの1枚分の分割画像p1〜p5に対応する5つのバッファ領域nの空きを作る。
【0084】
デコード装置41はエンコード装置16によってJPEG形式に圧縮された分割画像pを伸長するものである。
【0085】
画像表示装置61は、全体画像Pを画面全体に表示しうる表示面を有するものであり、画像表示制御装置51は、デコード装置41によって伸長された分割画像pを、画像表示装置61の表示面のうち、画像分割装置14で分割された全体画像Pにおける分割画像pの位置に対応して表示させるように、画像表示装置61を制御するものである。
【0086】
つまり、画像表示装置61が、例えば
図2に示した全体画像Pを表示面の全体に表示させ得るものであるとき、その全体画像Pに対応した、
図3に示した5つの分割画像p1〜p5のうち最上部の位置に対応した分割画像p1は、表示面に表示される全体画像Pのうち最上部の位置に対応して表示されるように、画像表示制御装置51が画像表示装置61を制御する。
【0087】
同様に、5つの分割画像p1〜p5のうち上から2番目の位置に対応した分割画像p2は、表示面に表示される全体画像Pのうち上から2番目の位置に対応して表示されるように、上から3番目の位置に対応した分割画像p3は、表示面に表示される全体画像Pのうち上から3番目の位置に対応して表示されるように、上から4番目の位置に対応した分割画像p4は、表示面に表示される全体画像Pのうち上から4番目の位置に対応して表示されるように、上から5番目(最下部)の位置に対応した分割画像p5は、表示面に表示される全体画像Pのうち上から5番目(最下部)の位置に対応して表示されるように、画像表示制御装置51が画像表示装置61を制御する。
【0088】
そして、画像制御表示装置51は、画像表示装置61の表示面に、例えば、以前の全体画像P3(分割画像p31〜p35の集まりとして表示された全体画像P3)が表示されているとき、時系列で後続する次の全体画像P4のうち1枚目の分割画像p41が受信され、デコードされて、画像表示装置61の最上部に表示されたとき、それよりも下方の位置(2番目、3番目、4番目、5番目の各位置)には、以前の全体画像P3の分割画像p32,p33,p34,p35が表示された状態で維持されている。
【0089】
したがって、その瞬間に表示面に表示されているのは、分割画像p41,p32,p33,p34,p35が接続された1つの全体画像となる。他の瞬間においても同様に、表示面に表示されている全体画像が、5つの分割画像p1〜p5に対応した特定の単一の全体画像Pを表示しているとは限らず、2以上の異なる全体画像の一部分(分割画像p)同士が接続された画像を表示している場合の方が多い。
【0090】
[作用]
以上のように構成された実施形態の車載カメラ画像表示システム100によれば、カメラ部12により、所定の時間間隔で画像(全体画像)P1,P2,P3,P4,…が順次撮影される。
【0091】
撮影された全体画像P1,P2,…は、画像処理部13の画像分割装置14に入力されて、それぞれ5つの分割画像p11〜p15,p21〜p25,…に分割される。
【0092】
分割画像pはそれぞれ、初期的には高画像品質に設定されている。
【0093】
各分割画像pは、送信バッファ20に順次格納されてエンコード装置16によりJPEG形式に順次変換され、エンコードされた分割画像pから順次、無線送信装置17によって送信される。
【0094】
送信された分割画像pは、無線受信装置31によって受信され、受信された順に、受信バッファ42に格納されていくとともに、受信バッファ42に格納された分割画像pは、デコード装置41によって順次伸長され、画像表示制御装置51の制御により、画像表示装置61の表示面のうち、分割画像pの対応した位置に表示される。
【0095】
このように、本実施形態の車載カメラ画像表示システム100は、全体画像PをJPEG形式に変換するのではなく、分割画像pの単位でJPEG形式への変換を行うため、一部のJPEG形式の分割画像pの送受信に遅れや失敗があった場合にも、正常に受信できた他のJPEG形式の分割画像pによって、全体画像Pのうち一部である分割画像pを画像表示装置61に表示し、全体画像Pの再送を待つことによって生じる表示の遅延を回避することができる。
【0096】
つまり、JPEG形式のデータは、そのデータの1バイトでも欠けると伸長できなくなり、画像として再構成することができない。
【0097】
従来、JPEG形式の画像をデータとして無線で送受信した場合、全てのデータを完全に送受信したときのみ、受信側で画像を再構成することができ、受信側でその画像のデータを1バイトでも受信できなかったときは、受信側が送信側に、画像全体のデータの再送信を要求し、受信側は、送信側からの画像全体のデータの再送信を待つ必要があり、仮にその画像全体の再送信を受信できた場合であっても、受信された画像は時間的に遅れたものとなり、リアルタイム性に欠けるものとなっている。
【0098】
これに対して、本実施形態の車載カメラ画像表示システム100は、分割画像pの単位でJPEG形式に変換されているため、画像を構成するデータ量が、全体画像のデータよりも少なくなり、送受信に失敗する確率を低減することができる。
【0099】
そして、送受信が成功した分割画像pを画像表示装置61に表示させることで、画像表示装置61への画像の表示のリアルタイム性を、従来よりも大幅に向上させることができる。
【0100】
なお、画像表示装置61に表示される画像は、既に表示されている画像に、新しい分割画像pを上書きするため、1つの全体画像Pから切り出された分割画像p同士を接続したものではないため、部分的に滑らかに接続されない。
【0101】
しかし、車載カメラ装置11の画像は、NTSC規格等の動画として表示される場合、瞬間的な表示であるため、そのような滑らかでない接続部分が存在していても、視認者に大きな違和感を与えることはなく、表示の遅延に比べて、影響は極めて小さい。
【0102】
なお、JPEG形式は、MPEG形式よりも、個々の画像の独立性が高いため、エンコード、デコードする場合の処理が簡易であり、出力時間を短縮する上で有利である。
【0103】
また、本実施形態の車載カメラ画像表示システム100は、無線送信装置17と無線受信装置31との間で分割画像pの送受信を行うが、送信が停滞して送信に用いられる送信バッファ20がフル状態になったとき、送信バッファ管理部21が、送信バッファ20に格納されている、時系列的に古い全体画像Pに対応した分割画像pを廃棄して、新しい全体画像Pの分割画像pを格納していくため、送信状態が良好に回復したとき、送信されるデータを新しいものとすることができる。
【0104】
したがって、送信待ち状態のままで長く送信バッファ20に格納されていた、時系列に古いデータが、時機を逸して送信されるのを防止することができ、この点からも、送受信状況が低下しても、画像表示装置61に表示される画像のリアルタイム性が低下するのを防止乃至抑制することができる。
【0105】
なお、受信バッファ42においても、受信バッファ42がフル状態となったとき、受信バッファ管理部43が受信バッファ42を、送信バッファ20の場合と同様の管理を行うことで、古いデータが時機を逸して出力されるのを防止することができ、この点からも、画像表示装置61に表示される画像のリアルタイム性が低下するのを防止乃至抑制することができる。
【0106】
本実施形態の車載カメラ画像表示システム100は、送信バッファ20が14個のバッファ領域mを備えたものであるが、送信バッファ20のバッファ領域mの数は14個に限るものではなく、全体画像で換算したとき少なくとも2画面分を格納できる数であればよい。
【0107】
したがって、本実施形態の場合は、全体画像Pを5つの分割画像pに分割し、分割画像pの単位で1つのバッファ領域mが割り当てられるため、全体画像Pの2画面分に換算したバッファ領域mの数は10個となる。
【0108】
よって、本実施形態の場合は、最小で10個のバッファ領域mを有するものであればよい。なお、全体画像Pを3つの分割画像に分割する形態であれば、最小で6個のバッファ領域mを備えたものとすればよく、全体画像Pを10個の分割画像に分割する形態であれば、最小で20個のバッファ領域mを備えたものとすればよい。
【0109】
同様に、受信バッファ42のバッファ領域nの数も、14個に限るものではなく、全体画像で換算したとき少なくとも2画面分を格納できる数であればよい。
【0110】
なお、送信バッファ20のバッファ領域mの数と受信バッファ42のバッファ領域nの数とは、必ずしも同じである必要はないが、データの管理の観点からは同一であるのが望ましい。
【0111】
また、本実施形態の車載カメラ画像表示システム100は、無線送信装置17の送受信状況検出部18により検出された送受信の状況が悪化したときは、画像品質調整部15が、その後送受信される分割画像pの画像品質を高画像品質から低画像品質に低下させて、無線送信装置17から無線受信装置31との間で送受信されるデータ量を少なくすることで、送受信に要する時間を短縮させる。
【0112】
これにより、送受信に要する時間が長くなることによる画像表示装置61への画像の表示の遅延を防止乃至抑制し、画像表示のリアルタイム性が低下するのを防止乃至抑制することができる。
【0113】
一方、無線送信装置17の送受信状況検出部18により検出された送受信の状況が回復して向上してきたときは、画像品質調整部15が、その後送受信される分割画像pの画像品質を低画像品質から中画像品質に向上させ、あるいは、中画像品質から高画像品質に向上させることで、画像表示装置61に表示される画像の品質を高め、使用者に見易い表示を提供することができる。
【0114】
また、本実施形態の車載カメラ画像表示システム100は、周囲の電波状況の影響によって、送受信状況検出部18により検出された送受信の状況が非常に悪い場合、例えば、上述した画像品質調整部15によって送受信される分割画像pの画像品質を低画像品質に切り替えたにも拘わらず、検出された宗純氏の状況が、低画像品質で規定されたフレームレート(10[FPS])を下回るような状況の場合、チャネル切替制御装置19,33が、無線送信装置17と無線受信装置31とで使用する無線周波数帯域のチャネルCを、予め定められた規則にしたがって切り替えるように無線送信装置17、無線受信装置31を制御するため、他のチャネルCでデータの送受信を行う。
【0115】
これにより、切り替えられた先のチャネルCでの電波状況が良好であれば、無線送信装置17と無線受信装置31との間でのデータの送受信を良好に行うことができ、画像表示のリアルタイム性が低下するのを防止乃至抑制することができる。
【0116】
なお、切り替えられた先のチャネルCにおいても、送受信状況が好転しないときは、さらに次のチャネルCに切り替えられる。
【0117】
一般的に、周波数帯域が互いに重ならない3つのチャネルCのうちいずれか1つのチャネルCにおいては、良好な送受信状況を得ることができる確率が高いため、本実施形態の車載カメラ画像表示システム100のように、切替えによる選択可能のチャネルCの数が3つ設定されていることで、いずれかのチャネルCで良好な送受信状況を得ることができる。
【0118】
なお、チャネル切替制御装置19,33によるチャネルCの初期値C0、チャネルCの切替え順序は、無線送信装置17のMACアドレスの最下位バイトに応じて前述したように規定されているが、例えば、同じ車載カメラ画像表示システムを搭載した車両が周囲に多数存在した場合、各車両における無線送信装置17、無線受信装置31間の送受信状況は、これら各車両に搭載された無線送信装置17、無線受信装置31の影響を相互に受けて、芳しくない状況となる可能性がある。
【0119】
この場合、各車両における無線送信装置17、無線受信装置31のチャネルCの初期値C0やチャネルCの切替え順序が同一であると仮定すると、その送受信の状況を好転させるために各車両の無線送信装置17、無線受信装置31のチャネルCが略同時に切り替えられたとき、その切り替えられた先にチャネルCにおいても、送受信状況が悪い状況となり、チャネルCの切替えが有効に作用しなくなるおそれがある。
【0120】
しかし、本実施形態の車載カメラ画像表示システム100は、無線送信装置17および無線受信装置31に設定されているチャネルCの初期値C0が、MACアドレスに応じて3通りに分散され、しかも、チャネルCの切替え順序も2通りに分散されているため、同じ初期値C0および同じ切替え順序を有する車載カメラ画像表示システム100を搭載した車両が多数近接する確率を大幅に低減させることができる。
【0121】
これにより、周囲に同じ車載カメラ画像表示システムを搭載した車両が存在している場合にも、本発明によるチャネルCの切替えを有効に作用させることができる。
【0122】
本実施形態の車載カメラ画像表示システム100は、チャネルCの切替えを、無線送信装置17に備えられたチャネル切替制御装置19と無線受信装置31に備えられたチャネル切替制御装置33との両者がそれぞれ独自のタイミングで行うものとしている。
【0123】
そして、送信側でのチャネルCの切替えのタイミングと受信側でのチャネルCの切替えのタイミングとは、概ね一致するように予め設定されているが、完全に一致しないこともあり得る。
【0124】
したがって、送信側のチャネル切替制御装置19および受信側のチャネル切替制御装置33のうち一方から他方に対して、チャネルCの切替えの指令を出力するようにし、両者のチャネルCの切替えのタイミングを一致させるようにしてもよい。
【0125】
この場合、受信側のチャネル切替制御装置33から、送信側のチャネル切替制御装置19に対して、チャネルCの切替えの指令を出力するのが好ましい。
【0126】
ただし、上述した実施形態のように、両チャネル切替制御装置19,33がそれぞれ、予め規定された条件にしたがってチャネルCの切替えを行うものでは、チャネルCの切替えの指令自体も相手側に到達しないような送受信状況のときにも、送信側と受信側とで概ね同じタイミングでチャネルCを切り替えることができる。
【0127】
本実施形態の車載カメラ画像表示システム100は、予め用意されているチャネルCの数が3つであるが、本発明の車載カメラ画像表示システムでは3つに限定されるものではなく、2つであっても4つ以上であってもよい。
【0128】
ただし、予め用意されているチャネルCの数が2つの場合は、チャネルCの切替え順序が1通りに限定されるため、3つ以上の方が好ましい。
【0129】
また、例えばIEEE−802.11bの規格にしたがった電波を用いるものでは、4つ以上のチャネル数では、必ず一部の周波数帯域で重複が生じるため、周波数帯域が互いに重ならないチャネル数として3つを適用するのが好ましい。
【0130】
この場合、具体的なチャネルCの組み合わせとしては、1ch,6ch,11chの組み合わせの他、2ch,7ch,12chの組み合わせや、3ch,8ch,13chの組み合わせなども可能である。
【0131】
ただし、IEEE−802.11bの規格では、1ch〜11chを使うのが一般的であるため、世界各国での使用を前提とした場合には、1ch,6ch,11chの組み合わせを適用するのが好ましい。
【0132】
本実施形態の車載カメラ画像表示システム100は、送信側の、無線送信装置17や送信バッファ20および送信バッファ管理部21が、カメラ部12および画像処理部13と一体的に車載カメラ装置11を構成したものであるが、本発明に係る車載カメラ画像表示システムは、これら無線送信装置17、送信バッファ20および送信バッファ管理部21が、カメラ部12および画像処理部13と別体であってもよい。
【0133】
受信側については、これとは反対に、無線受信装置31、受信バッファ42および受信バッファ管理部43、デコード装置41、画像表示制御装置51並びに画像表示装置61の全部または一部を一体的に構成したものであってもよい。
【0134】
[変形例]
上述した実施形態の車載カメラ画像表示システム100は、無線送信装置17と無線受信装置31との間でのデータの送受信状況に応じて、送受信に用いられる周波数帯域のチャネルCを切り替えるものであるが、電波状況(送受信状況)が芳しくないことが予め分かっている特定の場所乃至地域(以下、単に、特定の場所等という。)があり、車載カメラ画像表示システム100が搭載された車両が、その特定の場所等に居ることが検出されたときは、送受信状況検出部18,32によって実際に検出された送受信状況に拘わらず、無線送信装置17と無線受信装置31との間で用いられる電波の周波数帯域のチャネルCを、他のチャネルCに自動的に切り替えるようにしてもよい。
【0135】
このような変形例の車載カメラ画像表示システム200では、その特定の場所等(位置)と、切り替える先のチャネルCの番号(例えば、6chなど)とを、ルックアップテーブルなどによって予め対応づけておく。
【0136】
そして、
図11に示すように、車載カメラ画像表示システム200は、
図1に示した車載カメラ画像表示システム100の構成に加えて、車両の現在位置を検出する現在位置検出装置71と、上述したルックアップテーブル72,72とを備えたものとするとともに、チャネル切替制御装置19′,33′が、現在位置検出装置71によって検出された車両の現在位置がチャネルCを切り替えるべき特定の場所等であるか否かを、無線送信装置17も無線受信装置31もそれぞれ備えられたルックアップテーブル72,72を参照して判定し、チャネルCを切り替える特定の場所であると判定したときは、ルックアップテーブル72において、その特定の場所に対応づけられた番号のチャネルに、無線送信装置17、無線受信装置31が使用する電波のチャネルCを切り替えるものとする。
【0137】
現在位置検出装置71としては、近年、車両に搭載されることが多くなっているカーナビゲーションシステム等で用いられる全地球測位システム(GPS:Global Positioning System)などを利用することができる。
【0138】
この車載カメラ画像表示システム200は、送信側と受信側とでそれぞれ同じルックアップテーブル72,72を備え、送信側のチャネル切替制御装置19は送信側に備えられたルックアップテーブル72を参照することで、特定の場所等であるかを判定し、受信側のチャネル切替制御装置33は受信側に備えられたルックアップテーブル72を参照することで、特定の場所等であるかを判定するものであるが、例えば、送信側または受信側のみでこの判定を行い、一方のチャネル切替制御装置で得られたこの判定結果を他方のチャネル切替制御装置に送ることで、チャネル切替制御装置19が無線送信装置17のチャネルCを切り替え、チャネル切替制御装置33が無線受信装置31のチャネルCを切り替えるようにしてもよい。
【0139】
この車載カメラ画像表示システム200によれば、特定の場所等における電波状況が芳しくないことが予め分かっているときは、実際の送受信状況を検出するまでもなく、電波状況が良いことで予め分かっている周波数帯域のチャネルCに切り替えることができるため、処理の簡単化を図ることができる。
【0140】
したがって、例えば電波状況の悪い場所等を含む一定の経路を繰り返し走行するルート配送の車両に、このような車載カメラ画像表示システム200を搭載した場合に、特定の場所等では、チャネルCが、電波状況の良好な特定のチャネルCに常に切り替えられるため、特定の場所等における電波状況のばらつきを抑えることができる。
【0141】
なお、ルックアップテーブル72は、使用者が望むような対応関係に書き換え可能としたり、新たな対応関係を追加できるようにしてもよい。
【0142】
この変形例の車載カメラ画像表示システム200の他の構成、作用は、
図1の車載カメラ画像表示システム100と同様であるが、ルックアップテーブル72の対応関係に基づいてチャネルCを切り替えた上で、さらに、画像品質調整部15による画像品質の調整(分割画像pのフレームレートを上げ下げする等)を行うものとしてもよい。
【0143】
なお、この変形例の車載カメラ画像表示システム200も、車両に搭載されたカメラ(車載カメラ装置)によって撮影された画像を、同じ車両に搭載された画像表示装置に表示するシステムとして説明したが、この変形例についても
図1に示した実施形態と同様に、無線送信装置17を含むカメラ装置が例えば自宅等の駐車場に設置され、無線受信装置31および画像表示装置61が車両に搭載されて、駐車場に設置されたカメラ装置で撮影された画像を、その駐車場に駐車しようとしている車両に設置された画像表示装置61で表示するシステムとしてもよく、そのようなシステムも本発明に係るカメラ画像表示システムの一例となる。