(58)【調査した分野】(Int.Cl.,DB名)
前記低精細化処理部は、受信した災害情報に係る災害領域の少なくとも一部が前記監視画像の撮影領域に含まれる場合には、前記監視画像を前記低精細化処理しないことを特徴とする請求項1乃至請求項3の何れか一つに記載の画像取得装置。
【発明を実施するための形態】
【0019】
以下、本発明を実施するための形態について、
図1〜
図6を参照して説明する。
図1に示すように、本実施形態の監視システム1は、空中にある飛行装置としての飛行船2と、地上にあるセンタ装置3とを有している。飛行船2は、監視すべき領域(以下、監視領域と称する)又はその近傍の上空を飛行しながら当該監視領域を撮影し、監視領域の撮影で得た画像(以下、監視画像と称する)を地上のセンタ装置3に送る。センタ装置3では、必要に応じて監視画像を録画し、表示部23に表示した監視画像を監視員が目視することで監視領域の監視を行なっている。
【0020】
この監視システム1は、監視領域を確実に監視するとともに、監視画像に映り込んだ人物のプライバシーを保護するために、飛行装置の高度に応じて所定の精細度の監視画像を出力する制御部において、監視画像が撮影した監視画像を飛行装置の高度に応じて低精細化処理する「低精細化処理部」を備えている。
【0021】
(飛行船2の構成について)
本実施形態の飛行船2は、センタ装置3からの制御信号の指示によって移動制御が可能な移動型飛行船や、電源供給及び相互通信が可能となるように地上の制御設備とケーブルで接続されるとともに地上の係留装置に繋がれた係留型飛行船である。ただし、飛行装置は、前記飛行船2の他、無人飛行機、小型移動飛行ロボット、ドローン、人工衛星、さらにはこれら各種飛行装置の同種又は異種の組合せによって構成してもよい。
【0022】
図1に示すように、飛行船2は、カメラ部4、制御部5、推進部6、方向舵7、測位部8、姿勢検出部9、無線通信部10を備えている。
【0023】
カメラ部4は、撮像部11、方向制御部12、画像データ生成部13を有している。
撮像部11は、例えばCCD素子やC−MOS素子等の撮像素子や光学部品などを含んで構成されるものであり、予め定められた監視領域又はセンタ装置3から指示された監視領域を上空から所定時間おき又は連続的に撮影し、取得した監視画像を画像データ生成部13に順次出力している。
【0024】
尚、カメラ部4がパンチルトズームカメラである場合には、センタ装置3から送られる撮影指示のための制御信号に基づき、後述する制御部5が制御を行なうことにより、撮像部11のズーム位置が制御される。このズーム位置の焦点距離の情報は、画像データ生成部13に出力される。
【0025】
方向制御部12は、カメラ部4がパンチルトズームカメラである場合に必要な構成であり、センタ装置3から送られる撮影指示のための制御信号に基づき、後述する制御部5が制御を行なうことにより、撮像部11の水平方向及び垂直方向に関する撮影方向が制御される。この水平方向及び垂直方向に関する撮影方向の角度情報は、予め設定されたカメラ部31の撮影方向からの変位角度であり、画像データ生成部13に出力される。
【0026】
画像データ生成部13は、撮像部11が撮影した監視画像に、撮影時における焦点距離や水平方向及び垂直方向に関する角度情報、さらに後述する測位部8からの撮影時の位置情報、及び後述の姿勢制御部9にて得られた撮影時の姿勢情報から補正した撮影方向を必要に応じて付加した画像データを生成している。
【0027】
推進部6は、エンジンの動力をプロペラに伝達して回転させることにより飛行船2に推進力を与えるものであり、センタ装置3から送られる飛行指示のための制御信号に従って後述する制御部5により制御される。
【0028】
方向舵7は、飛行船2の操縦に用いる動翼であり、センタ装置3から送られる飛行指示のための制御信号に従って後述する制御部5により制御される。
【0029】
測位部8は、GPS(Global Positioning System )からなり、飛行船2に搭載された撮像部11の地球上における3次元的位置(現在位置)を示す位置情報(緯度情報、経度情報、高度情報)を後述する制御部5に出力している。この位置情報は画像データ生成部13へも出力する。
【0030】
姿勢検出部9は、例えばジャイロコンパスとサーボ加速度計を備え、飛行船2の方位角、ピッチ角、ロール角を計測して飛行船2の姿勢を検出し、この検出により得られる姿勢情報を後述する制御部5に出力している。この姿勢情報は画像データ生成部13へも出力する。
【0031】
無線通信部10は、後述する制御部5の制御により、センタ装置3との間で相互に無線通信を行い、必要な情報の送受信を行なうことができる。具体的には、画像データ生成部13が生成した画像データを適当なタイミングでセンタ装置3に送信する。また、撮像部11、方向制御部12、推進部6、方向舵7を制御するため、センタ装置3からの制御信号(撮影指示、飛行指示)を受信する。
【0032】
制御部5は、飛行制御部14とカメラ制御部15を有している。
飛行制御部14は、センタ装置3からの制御信号を無線通信部10を介して受信したときに、この制御信号の飛行指示に従って推進部6や方向舵7を制御する。また、カメラ制御部15は、センタ装置3からの制御信号を無線通信部10を介して受信したときに、この制御信号の撮影指示に従ってカメラ部4の撮像部11や方向制御部12を制御する。さらに制御部5は、カメラ部4の画像データ生成部13が生成した画像データを所定のフレーム周期で所定時間おきにセンタ装置3に送信するように、無線通信部10を制御する。
【0033】
(センタ装置3の構成について)
図1に示すように、センタ装置3は、無線通信部10、制御部21、記憶部22、表示部23、操作部24を備えており、飛行船2から送られる監視画像に対し必要に応じて画像処理を施す画像取得装置としての機能を備えている。画像取得装置としての機能については後に詳述する。
【0034】
無線通信部20は、後述する制御部21の制御により、飛行船2との間で相互に無線通信を行い、必要な情報の送受信を行なうことができる。具体的には、飛行船2から画像データを受信し、また飛行船2の撮像部11や方向制御部12を制御して撮影指示するための制御信号と、飛行船2の推進部6や方向舵7を制御して飛行指示するための制御信号を必要に応じて飛行船2に送信する。
【0035】
制御部21は、領域比較部25と、高度比較部26と、低精細化処理部27と、災害状態判定部28と、記録制御部29と、表示制御部30を有し、各部を制御している。
領域比較部25は、飛行船2の撮像部11が撮影した撮影領域がどこであるかを特定し、またその特定した撮影領域に非監視領域が含まれるか否かを判定する。具体的には、後述するように、センタ装置3は記憶部22を有しており、この記憶部22には、監視空間情報として三次元地図データ及び監視領域の位置に関するデータが記憶されている。領域比較部25は、まず、飛行船2から送られた画像データに含まれる焦点距離、撮影方向及び位置情報から監視空間情報における撮影領域を特定する。そして、領域比較部25は、特定した撮影領域のデータと、センタ装置3の記憶部22が保有している監視領域に関するデータを用いて比較・判断を行なうことにより、特定した撮影領域に非監視領域が含まれるか否かを判定する。
【0036】
高度取得部26は、飛行船2から送信された画像データに付加された飛行船2の位置情報に含まれる高度情報を取得する。
【0037】
低精細化処理部27は、監視画像に映り込んだ人物のプライバシーを保護するために、飛行装置の高度に応じて所定の精細度の監視画像を出力する。飛行船2から送られた監視画像を飛行装置の高度に応じて適切に低精細化処理して出力する機能を備えている。飛行船2から送られた監視画像に人物が存在する場合には、得られた監視画像の精細度によっては人物の特定が可能となり、プライバシーに配慮する必要がある。このため、本監視システム1では、そのような場合に、監視画像の精細度に影響する飛行船2の高度に応じて、低精細化処理部27が監視画像の精細度を低下させる画像処理を行なう。これにより、監視画像中の人物に関してプライバシーの問題が生じる可能性は少ない。低精細化処理部27は、後述する記憶部22の低精細化情報34を参照して低精細化処理を実行する。低精細化処理の詳細については後述する。
【0038】
災害状態判定部28は、震度や降水量、風速といった災害の強さを示すパラメータ(災害強度)を災害強度閾値として予め記憶部22に記憶し(図示せず)、無線通信部20にて災害強度閾値を上回る災害情報を受信したときに災害の発生を判定する。災害状態判定部28は、災害発生と判定したときに、受信した災害情報に含まれる災害発生地域の情報から、その地域についての災害フラグ(後述)をONとして記憶する。災害状態判定部28は、災害フラグをONにしてから所定期間が経過すると災害フラグをOFFにする。所定期間は、災害情報の災害強度に応じて予め設定された期間である。例えば、災害情報が緊急地震速報である場合、震度3のときには所定期間が1日に設定され、震度6のときには所定期間が1週間に設定される。
【0039】
また、災害状態判定部28は、飛行船2から送られた監視データに含まれる位置情報が、受信した災害情報に係る災害発生地域の一部が含まれるか否かを判定する。具体的には、監視画像の位置情報が災害フラグONとなっている地域に含まれているか否かを判定する。飛行船2から送られた監視画像の撮影領域に災害発生地域の一部が含まれる場合には、飛行船2の高度を考慮して被撮影者のプライバシー保護のために低精細化処理が必要とされる場合であっても、そのような画像処理をすることなく監視画像を表示、記録することを許容する。
【0040】
記録制御部29は、飛行船2から送られ、必要に応じて低精細化処理された監視画像の画像データを記録用画像として後述する記憶部22に出力して記録する。
【0041】
表示制御部30は、本実施形態の監視システム1が監視状態にあり、センタ装置3が表示モードにある場合には、飛行船2から所定時間おきに送信される画像データに含まれる最新の監視画像を、表示用画像として後述する表示部23に出力して表示させる。
【0042】
制御部21には操作部24が接続されている。操作部24は、例えばマウス、キーボード、後述する表示部23の表示画面上のソフトキーなどで構成される。操作部24は、後述する表示モードの設定等を行い、又はセンタ装置3と飛行船2の間で情報の送受信等を行なう際に監視員によって操作される。
【0043】
制御部21には表示部23が接続されている。表示部23は、例えば液晶表示器などで構成される。表示部23は、記録制御部30の制御により、操作画面の表示、飛行船2から取得した画像データに基づく監視画像の表示などを行なう。
【0044】
記憶部22には、監視空間情報31と、モード情報32と、災害フラグ33と、低精細化情報34と、画像データ35が記憶されている。
監視空間情報31は、前述したように、地形・建物・道路等の三次元地図データ及び監視対象である監視領域の位置に関するデータである。
【0045】
モード情報32は、センタ装置3に設定されている動作状態(モード)のフラグである。モードとしては、少なくとも、監視画像を表示部23に表示する表示モードがある。表示モードについては、センタ装置3の監視員が操作部24を操作して表示部23に監視画像をライブ表示(ストリーミングなどによるリアルタイム表示)している場合にはモード情報32の表示モードフラグはONとなり、表示部23を消せば表示モードフラグはOFFとなる。
【0046】
災害フラグ33は、災害状態判定部28による上述の判定によりON又はOFFに制御される。
【0047】
低精細化情報34は、低精細化処理部27が、飛行船2に搭載された撮像部11の高度Hに応じて監視画像を低精細化処理する際に用いる低精細化の度合C
0 を定めるためのデータであって、このデータの定め方の詳細は後述するが、例えば
図4に示すような形態のグラフで表される。なお、撮像部11の高度Hは、厳密には高度測定部である測位部8の高度であるが、ここでは同一と見なし、以下単に高度Hと称する。また、低精細化の度合C
0 は、以下単に低精細化度C
0 と称する。
【0048】
図4から分かるように、高度Hと低精細化度C
0 は反比例の関係にあり、高度Hが相対的に低い場合には低精細化度C
0 が大きくなり、監視画像の低精細化の程度を大きくする。逆に、高度Hが相対的に高い場合には低精細化度C
0 が小さくなり、監視画像の低精細化の程度は小さくてよい。これは、高度Hが相対的に低い場合には撮影した画像の精細度が相対的に高く、人物等が比較的特定しやすいので低精細化する必要性が大きいが、逆に、高度Hが相対的に高い場合には撮影した画像の精細度が相対的に低く、人物等が比較的特定しにくいのであまり低精細化しなくてもよいからである。
【0049】
低精細化処理部27は、上述したような低精細化情報34と、高度取得部26が取得した飛行船2の撮像部11の高度情報とを用いて低精細化の度合C
0 を定め、これによって監視画像を低精細化処理する。
【0050】
画像データ35は、飛行船2から所定のフレーム周期で所定時間おきに送信される監視画像を含むデータであり、後で監視員による操作によって監視画像を再生して確認できるように逐次蓄積される。
【0051】
(センタ装置3において行なわれる制御手順について)
図2に示すフロー図は、所定のフレーム周期で飛行船2から送信されてくる画像データをセンタ装置3で取得する度に、1フレームの画像データごとにセンタ装置3の制御部21により実行される画像処理等の制御手順である。
【0052】
図2に示すように、制御部21は、飛行船2から送信されてくる画像データをセンタ装置3が取得すると(S1)、記憶部22のモード情報32のフラグを参照してセンタ装置3が表示モードにあるか否かが判断され(S2)、表示モードである場合(S2、YES)には、表示制御部30は、当該監視画像を表示部23(モニタ)に出力し(S3)、表示モードでない場合(S2、NO)には当該監視画像を表示部23に表示しない。
【0053】
次に、災害状態判定部28が災害発生状態を判断する(S4)。より具体的には、災害状態判定部28は、監視データに含まれる位置情報が、受信した災害情報に係る災害発生地域に含まれるか否かを判定して、災害発生地域の少なくとも一部分が監視画像に含まれる場合には(S4、YES)、人命に係わる災害情報の取得がプライバシーへの配慮に優先するため、低精細化処理を行なうことなく、画像データを記憶して(S8)制御を終了する(S9)。
【0054】
災害発生地域の一部が監視画像の撮影領域に含まれない場合には(S4、NO)、領域比較部25が、飛行船2の撮像部11が撮影した監視画像の撮影領域がどこであるかを特定する(S5)。
【0055】
次に、領域比較部25は、その特定した撮影領域と、記憶部22に保有されている監視領域に関するデータとを比較し(S6)、撮影領域の全域が監視領域内にあるか否か、すなわち撮影領域に非監視領域が含まれるか否かを判定する(S7)。撮影された領域のすべてが監視領域内である場合、すなわち撮影領域に非監視領域が含まれない場合には(S7、NO)、プライバシーの問題は生じないので、低精細化処理を行なうことなく画像データを記憶部22に記憶して(S8)制御を終了する(S9)。
【0056】
撮影領域の少なくとも一部分が監視領域内に含まれない場合、すなわち撮影領域に非監視領域が含まれる場合には(S7、YES)、プライバシーへの配慮が必要となる。その場合、高度取得部26が、飛行船2から送信された画像データに付随する高度情報を取得しているので、低精細化処理部27がこれを参照するとともに(S10)、低精細化情報34をも参照して監視画像の低精細化処理を実行し(S11)、低精細化処理された画像データを記憶部22に記憶して(S8)制御を終了する(S9)。
【0057】
なお、監視画像の低精細化処理を実行する際(S11)には、監視画像の全体を低精細化してもよいし、監視画像内の監視領域の精細度はそのままとし、監視画像内の非監視領域の精細度のみを低精細化するものとしてもよい。このようにすれば、監視領域については比較的高い精細度の画像で監視することができる一方、非監視領域に人物が存在して監視画像に映り込んでいる場合でも、当該人物は特定できず、プライバシー上の問題が生じることはない。
【0058】
(低精細化情報34の定め方について)
次に、低精細化情報34である高度Hと低精細化度C
0 の関係を示すデータの定め方について
図3〜
図5を参照して説明する。
図3は、飛行船2の撮像部11で地上を撮像する際の画角αと、撮像部11の高度H(cm)と、撮像部11の1画面中に映り込む地上の長手方向の長さW(cm)との関係を示すとともに、この撮像部11で撮影した長手方向の画素数がU(pix)である監視画像の1画素が、長さD(cm)である地上の一部分に対応していることを示す模式図である。
【0059】
上記関係において、
長手方向の長さW=2H・tan(α/2) …(1)
1画素相当長さD=W/U …(2)
式(1) を式(2) に代入すると、
D=2H・tan(α/2)/U …(3)
ここで、目標とする1画素相当の長さをD’(cm)とすると、
低精細化度C
0 =D’/D …(4)
であるから、式(4) に式(3) を代入すると、
C
0 =D’/[2H・tan(α/2)/U]=[(D’・U)/2tan(α/2)]・(1/H)=β・(1/H)(但しβはD’、U、αにより決まる定数)…(5)
となる。
【0060】
この式(5) の関係をグラフにすると、
図4のようになる。すなわち、前述したように、高度Hと低精細化度C
0 は反比例の関係にあり、高度Hが相対的に低い場合には取得される監視画像の精細度が相対的に高く、人物等が比較的特定しやすいので、低精細化度C
0 を大きくして監視画像の低精細化の程度を大きくする。逆に、高度Hが相対的に高い場合には取得される監視画像の精細度が相対的に低く、人物等が比較的特定されにくいので、低精細化度C
0 を小さくして監視画像の低精細化の程度を小さくする。前述したセンタ装置3の制御部21の低精細化処理部27は、上述したような低精細化情報34と、高度取得部26が取得した飛行船2の撮像部11の高度情報とを用いて低精細化の度合C
0 を定め、これによって監視画像を低精細化処理する。なお、人物やその人物の身なりを判別できない程度に低精細にしたい場合には、例えば、目標とする1画素相当の長さD’=40とし、画像の画素数をU、画像データに含まれる焦点距離から求めた画角をαとすればよい。また、監視画像に対する低精細化処理は、画面の全体に対して行なってもよいし、次に説明するように必要に応じて画面の一部に対して行なってもよい。
【0061】
図5は、実施形態の監視システムで取得された監視画像において非監視領域のみに低精細化処理を加える場合の画像処理操作を説明する模式図である。
図5(a)に示すように、監視業務に要求される精細度等を考慮して定められた所定数のピクセル(長手方向のピクセル数U(px))からなる監視画像が得られたとする。
図5(b)に示すように、この監視画像から監視領域の画像だけを切り出して元の精細度のままで保存しておく。一方、
図5(c)に示すように、監視画像の縦横のピクセル数を低精細化度C
0 で除して非監視領域の画像の縦横のピクセル数の情報量を少なくし、さらに
図5(d)に示すように、この監視画像の縦横のピクセル数に低精細化度C
0 を乗じて画像のピクセル数を元に戻す。そして、
図5(e)に示すように、
図5(b)に示す保存しておいた監視領域の画像と、
図5(d)に示す低精細化処理した非監視領域の画像を組み合わせて合成する。これによって、非監視領域は低精細(図中、「低精細領域」と表示)であるが、監視領域については撮影時そのままの所定の精細度を保持した監視画像が得られる。
【0062】
以上説明した実施形態では、撮影された領域のすべてが監視領域内である場合、すなわち撮影領域に非監視領域が含まれない場合には(S7、NO)、プライバシーの問題が生じないので画像データを低精細化処理することなく記憶部22に記憶していた(S8)。また、災害発生状態にある場合、すなわち監視画像が災害発生領域を含んでいる場合には(S4、YES)画像データを低精細化処理することなく記憶部22に記憶していた(S8)。しかしながら、撮影領域に非監視領域が含まれるか否か、また監視画像に災害発生領域が含まれるか否かに係わらず、高度に応じて監視画像を低精細化処理して記憶部22に記憶するものとしてもよい。また、上記実施形態では、表示部23には撮影時の監視画像をそのまま表示していた(S3)。しかしながら、プライバシーへの配慮を重視して、表示する監視画像についても高度に応じて監視画像を低精細化処理して表示部23に表示するものとしてもよい。
【0063】
本実施形態の監視システム1は、空中の飛行船2と地上のセンタ装置3を有しており、飛行船2が監視画像を撮影し、この監視画像の低精細化処理はセンタ装置3において行なっていた。しかしながら、このような低精細化の画像処理を実行する機能部分は飛行船2の側に搭載してもよい。この場合、監視画像を記憶する記憶部22のうち、監視空間情報31、モード情報32、災害フラグ33及び低精細化情報34を飛行船2に搭載し、また制御部21のうち、監視画像の低精細化処理の実行又は不実行の判断に必要な領域比較部25、高度取得部26、低精細化処理部27及び災害状態判定部28を飛行船2に搭載してもよく、その場合には、必要な低精細化処理を行なった画像データを飛行船2からセンタ装置3に送信するものとすればよい。
【0064】
(第2実施形態)
次に、本発明の第2実施形態について、第1実施形態と異なる部分を説明する。
以上説明した第1実施形態では、監視画像に映り込んだ人物のプライバシーを保護するために、飛行装置の高度に応じた低精細の監視画像を出力する低精細化処理部27を設けていた。すなわち、撮像部11で得られた画像データを画像処理し、撮影高度に対応した必要な程度だけ精細度を低下させる等の処理を行なっていた。しかしながら、低精細化された画像を取得する手法についてはこれに限定されない。例えば次に説明するような手法を用いることもできる。すなわち、第2実施形態によれば、制御部21が、飛行船2の高度に応じた所定の低精細度となるようにカメラ部4(又は撮像部11)の画角を変更する制御信号を、飛行船2に対して、無線通信部20を介して出力(送信)する構成を採用することもできる。
【0065】
このような第2実施形態は、飛行装置2の高度が低いほど画角αを大きく設定し、より広い監視領域を撮影できるようにすることで達成できる。
図6は、このような機能を備えた第2実施形態のカメラ部4(又は撮像部11)における撮像部11の高度Hと撮像部11の画角αの関係を示すグラフである。
【0066】
図6に示すように、高度Hと画角αは反比例の関係にあり、高度Hが相対的に低い場合には画角αを大きくして写る範囲を大きくし、1画素あたりの長さを相対的に大きくして精細度を所望の程度以下にする。逆に、高度Hが相対的に高い場合には画角αを小さくして写る範囲を小さくし、1画素あたりの長さを相対的に小さくして精細度を所望の程度以下にする。この実施形態によれば、飛行装置に搭載したカメラ部によってプライバシーの問題が発生しない精細度の監視画像を撮影できる。