(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下、本発明に係る物品配送システムを具体的に開示した実施形態(以下、「本実施形態」という)について、図面を参照して説明する。本実施形態の物品配送システムは、動きのあるラインとして物品を運搬するベルトコンベアが設置された物流ラインや、動きの無いラインとして検査所等を監視する監視カメラシステムを備える。なお、以下の説明において、動きのあるラインはベルトコンベアが設置された物流ラインに限定されず、また、動きの無いラインは検査書に限定されない。
【0012】
図1は、本実施形態の監視カメラシステム5の構成を示すブロック図である。監視カメラシステム5は、監視カメラ10、レコーダ20、管理者用のPC30および一般ユーザ用のPC40を備える。
【0013】
監視カメラ10は、画角が固定された固定カメラであり、監視対象エリアにある地点(場所)の周囲の映像(静止画および動画を含む。以下同様。)を撮像する。監視カメラ10は、撮像された映像に含まれる人物をマスク(隠蔽)処理した映像(プライバシー配慮映像)、および撮像されたそのままの映像(非プライバシー配慮映像)を出力可能である。なお、監視カメラ10は、撮像するエリアを可変自在なパン・チルト・ズーム機能を有するPTZカメラであってもよいし、全方位画像を撮像可能な全方位カメラであってもよい。
【0014】
レコーダ20は、監視カメラ10から出力されるプライバシー配慮映像および非プライバシー配慮映像のデータを記録し、また、中継する。なお、監視カメラ10から出力されるプライバシー配慮映像および非プライバシー配慮映像のデータは、レコーダ20を経由せずに、直接PC30,40(つまり、管理者用のPC30,一般ユーザ用のPC40)のカメラおよびレコーダの運用管理用ソフトウェアに配信されてもよい。また、プライバシー配慮映像および非プライバシー配慮映像のデータの直接配信は、ユーザの権限管理により制限されてもよい。例えば、プライバシー配慮映像のデータは管理者用のPC30にのみ直接配信され、非プライバシー配慮映像のデータは管理者用のPC30および一般ユーザ用のPC40に直接配信される。
【0015】
管理者用のPC30は、例えば監視業務の責任者(管理者)により使用されるPC(Personal Computer)であって、監視カメラ10から出力される非プライバシー配慮映像およびプライバシー配慮映像のいずれも表示可能なディスプレイ30zを有し、カメラ・レコーダ管理運用ソフトウェアを実行して監視装置(モニタ)として機能する。
【0016】
一般ユーザ用のPC40は、例えば監視業務のスタッフ(一般ユーザ)により使用されるPCであって、監視カメラ10から出力されるプライバシー配慮映像を表示可能なディスプレイ40zを有し、カメラ・レコーダ管理運用ソフトウェアを実行して、管理者用のPC30と同様、監視装置(モニタ)として機能する。
【0017】
なお、PC30およびPC40は同一の仕様を有してもよいし、異なる仕様を有してもよい。例えば、一般ユーザ用のPC40と比べ、管理者用のPC30に備わるディスプレイの解像度を高くし、あるいは画面サイズを大きくし、非プライバシー配慮映像を注意深く閲覧可能な仕様を有してもよい。また、PC30とPC40は、同一のPCであって切り替えて使用可能であってもよい。この場合、非プライバシー配慮映像を表示する際には、管理者(権限者)等が所定の入力操作を行う必要がある。また、PC30,40は、1台の監視カメラの映像だけでなく、複数台の監視カメラの映像を多画面で表示することもできる。
【0018】
図2は、本実施形態の監視カメラ10の内部構成の一例を示すブロック図である。監視カメラ10は、撮像部11、映像符号化部12、データ送信部13、プライバシー配慮映像処理部14および制御部15を有する。撮像部11は、光学レンズを通して被写体からの光学像を撮像するCCD(Charged Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を有する。なお、撮像部は前面に魚眼レンズを装着し全方位画像を撮像可能なものであってもよい。
【0019】
映像符号化部12は、撮像部11およびプライバシー配慮映像処理部14からそれぞれ出力される非プライバシー配慮映像およびプライバシー配慮映像のデータを圧縮・符号化して出力する。映像データの圧縮符号化方式には、例えばMPEG(Moving Pictures Experts Group)4、H.264やJPEG(Joint Photographic Experts Group)等が用いられる。
【0020】
データ送信部13は、映像符号化部12で圧縮・符号化されたプライバシー配慮映像データおよび非プライバシー配慮映像データを、通信回線(例えば有線通信用の回線または無線通信用の回線)を介してレコーダ20に送信する。なお、データ送信部13は、映像データをパケットデータに変換し、IPネットワークを経由してレコーダ20に送信してもよい。
【0021】
画像処理部の一例としてのプライバシー配慮映像処理部14は、監視対象エリアにマスク処理しない所定の範囲(
図5のエリアAR1参照)を設定し、撮像部11によって撮像された映像データのうち、この所定の範囲に対応する第1特定領域の画像(
図6の画像GZ1参照)を抽出しそのまま出力する。ここで、所定の範囲に対応する画像が出力される第1特定領域は、制御部15によって設定される。
【0022】
また、プライバシー配慮映像処理部14は、プライバシー配慮処理を行う対象エリア(
図5のエリアAR2参照)に対応する第1特定領域以外の領域の画像を抽出し、撮像部11によって撮像された映像データに含まれる動きのある部分を例えば人物として検知し、この動きのある部分をマスク処理し、プライバシー配慮処理が行われた画像(
図6の画像GZ2参照)を出力する。
【0023】
また、プライバシー配慮映像処理部14は、監視対象エリアに人物が居続ける場所としてマスク処理する所定の範囲(
図9のエリアAR11参照)を設定し、この所定の範囲に対応する、マスク処理された第2特定領域の画像(
図10の画像GZ11参照)を出力する。ここで、所定の範囲に対応する画像が出力される第2特定領域は、制御部15によって設定される。
【0024】
制御部15は、監視カメラ10の各部の動作を統括的に制御する。また、制御部15は、プライバシー配慮映像処理部14に設定される、常にマスク処理しない第1特定領域および常にマスク処理する第2特定領域を記憶する特定領域記憶部15zを有する。
【0025】
なお、ここでは、人物を隠すあるいは特定されないようにするための画像加工処理として、人物全体を塗り潰すことによるマスク処理が行われたが、マスク処理に限らず、その他の処理が行われてもよい。また、人物が特定されない限り、人物の一部を隠すような画像加工処理が行われてもよい。例えば、マスク処理として、塗り潰しの代わりに、人物の顔に仮面を被せる、人物の画像を切り抜く、人物をアバタ―に置き換える等の処理が行われてもよい。また、マスク処理の代わりに、モザイク、渦巻き、ぼかし、ドット化等のエフェクト処理が行われてもよい。
【0026】
上記構成を有する監視カメラシステム5の動作を説明する。
【0027】
監視カメラシステム5では、監視カメラ10からプライバシー配慮映像データおよび非プライバシー配慮映像データが出力される。レコーダ20は、これらの映像データを時系列に記憶する。レコーダ20は、PC30またはPC40からの要求を受け付けると、監視カメラ10から送られた映像データをリアルタイムにあるいは一旦記憶した後の任意のタイミングでPC30またはPC40に出力する。この時、監視カメラ10は、撮像部11で撮像された映像データをそのまま非プライバシー配慮映像として、あるいは、撮像部11で撮像された映像データに対しマスク処理を行ったプライバシー配慮映像として映像データを出力する。
【0028】
管理者用のPC30は、レコーダ20を介してプライバシー配慮映像データまたは非プライバシー配慮映像データを入力すると、表示の設定に従い、プライバシー配慮映像または非プライバシー配慮映像をディスプレイ30zに表示する。一方、一般ユーザ用のPC40は、レコーダ20からプライバシー配慮映像データを入力すると、プライバシー配慮映像をディスプレイ40zに表示する。
【0029】
(監視対象エリアが動きのあるラインとして物流ラインである場合)
始めに、例えば物品を運搬するベルトコンベア(以下、単に「コンベア」と略記する)等が設置された、動きのある物流ラインを含むエリアを監視する場合を示す。
図3は、動きのあるラインとしての物流ライン(第1エリアの一例)を監視する際の映像処理手順の一例を示すフローチャートである。この映像処理は監視カメラ10内のプライバシー配慮映像処理部14によって行われる。
【0030】
図4は、撮像部11によって撮像された物流ラインを含む監視対象エリアAR0の元画像GZ0を示す図である。この元画像GZ0には、中央にコンベア51が設置され、その両脇に立つ作業員52がコンベア51で運ばれた荷物55をピックアップする様子が映っている。コンベア51は、例えば午前中には飛行機(図示せず)から搬入された荷物55を手前側(図中下側)から奥側(図中上側)へと流すように運搬し、午後以降にはトラック53から運搬された荷物55を奥側(図中上側)から手前側(図中下側)へと流すように運搬する。また、元画像GZ0の右側および左側には、例えば多数のトラック53が整列しており、コンベア51で運ばれた荷物55は、作業員52によってトラック53の内部に開放されたリアゲートから積み込まれる。
【0031】
プライバシー配慮映像処理部14は、まず、撮像部11によって撮像された映像から物流ライン以外の映像(
図5参照)を抽出する(S1)。物流ライン以外の映像とは、プライバシー配慮処理を行うエリアAR2の画像である。一方、物流ラインの映像は、プライバシー配慮処理(マスク処理)を行わないエリアAR1の画像である。
図5は撮像部11によって撮像された元画像GZ0に対し、監視対象エリアAR0内でマスク処理を行わないエリアAR1およびプライバシー配慮処理を行うエリアAR2を示す図である。マスク処理を行わないエリアAR1は、コンベア51を囲むように台形枠57で描画された範囲である。一方、プライバシー配慮処理を行うエリアAR2は、監視対象エリアAR0中、例えば台形枠57で描画された範囲以外の部分である。
【0032】
プライバシー配慮映像処理部14は、撮像部11によって撮像された映像のうち、プライバシー配慮処理を行うエリアAR2の画像に動きがあるか否かを判断する(S2)。つまり、プライバシー配慮映像処理部14は、背景画像と今回撮像された画像との差分を演算し、差分が生じている画像部分を抽出する。ここで、背景画像は、監視カメラ10によって繰り返し(例えば1秒間に10回)撮像され、学習された画像である。従って、撮像された画像に、人物が検知された場合でも、その人物が静止したままだと、学習効果によってやがて背景として埋もれていく場合があり得る。または、背景画像は、人物が不在の場合に監視カメラ10により一度撮像された画像でもよい。
【0033】
プライバシー配慮映像処理部14は、ステップS2で差分が生じた結果として動きがあると判断された画像部分を塗り潰す(いわゆる、加工処理の一例としてのマスク処理)を行う(S3)。一方、プライバシー配慮映像処理部14は、ステップS2で差分が生じておらず動きが無いと判断された画像部分を、塗り潰すことなく、そのまま用いる(S4)。
【0034】
ステップS3、S4の処理後、プライバシー配慮映像処理部14は、撮像部11によって撮像された映像から物流ラインの映像(
図5参照)を抽出する(S5)。物流ラインの映像は、前述したようにプライバシー配慮処理(マスク処理)を行わないエリアAR1の画像である。プライバシー配慮映像処理部14は、抽出したエリアAR1の画像を塗り潰すことなく、そのまま用いる(S6)。
【0035】
そして、プライバシー配慮映像処理部14は、ステップS3、S4およびS6の処理後の各画像を合成して出力する(S7)。この後、プライバシー配慮映像処理部14は本動作を終了する。
【0036】
図6は、
図4の元画像GZ0に対してプライバシー配慮処理が行われた後の合成画像GZ3を示す図である。合成画像GZ3のうち、エリアAR2に対応する、プライバシー配慮を行う画像GZ2では、作業員52に当たる画像がマスク処理されている。この画像は塗り潰されているので、作業員52を特定することはできない。また、作業員52以外の画像においても、背景画像と差がある部分(図中、符号a参照)は、僅かであるがマスク処理されている。
【0037】
このように、監視対象エリアとして動きのあるライン(物流ライン)を監視する場合、プライバシー配慮映像処理部14は、ディスプレイ40zに対し、監視対象エリアAR0内の物流ラインのエリアAR1(所定の範囲)に常時マスク処理しない第1特定領域の画像GZ1を出力するので、常に監視し続ける必要のある範囲の画像がマスク処理されることで阻害されることは無くなる。
【0038】
また、プライバシー配慮映像処理部14は、ディスプレイ40zに出力される画像中、プライバシー配慮処理が行われる第1特定領域以外の領域で、検知された人物をマスク処理するので、第1特定領域以外の領域の人物のプライバシーを害することなく多くのユーザがディスプレイ40zの画像を見ることができる。従って、本実施形態の監視カメラシステム5が適用された物品搬送システムにおいて、荷物の紛失や破損等のアクシデントがあった場合、多くのスタッフがその映像を見ることで、効率的かつ迅速に対応することができる。このように、エリアに設定された範囲を撮像した画像が阻害されること無く、プライバシーの保護を図り、多くの人間が映像を見ることで効率的かつ迅速に映像を確認できる。また、マスク処理した映像をレコーダに記憶しておくことができ、リアルタイムでなく撮像後に映像を確認できる。
【0039】
(監視対象エリアが動きの無いラインとして検査所である場合)
次に、監視対象エリアが動きの無いラインとして、例えば検査所である場合を示す。検査所では、作業員が荷物の発送ラベル等の有無を確認したり、荷物の内部をX線で調べること等が行われる。荷物はデスクの上に置かれ、作業員は座ったまま検査するので、荷物および作業員の動きは少ない。
【0040】
図7は、動きの無いラインとして検査所(第2エリアの一例)を監視する際の映像処理手順を示すフローチャートである。この映像処理は、監視カメラ10内のプライバシー配慮映像処理部14によって行われる。
図8は、撮像部11によって撮像された検査所を含む監視対象エリアAR10の元画像GZ10を示す図である。この元画像GZ10には、中央にL字形のデスク71が置かれ、その内側で作業員72が座ったまま、デスク71の上に置かれた荷物75を検査している様子が映っている。
【0041】
プライバシー配慮映像処理部14は、まず、撮像部11によって撮像された映像(元画像GZ10)から常に人物(作業員)が居続ける場所(常時マスク処理を行うエリアAR11)の映像(
図9参照)を抽出する(S11)。
図9は、撮像部11によって撮像された元画像GZ10に対し、監視対象エリアAR10内で常時マスク処理を行うエリアAR11を示す図である。常時マスク処理を行うエリアAR11は、前述したように人物(作業員)が居続ける場所であり、ここでは元画像GZ10に対し内側が網点で描画された5角形枠81で示される。一方、監視対象エリアAR10のうちエリアAR11を除く部分は、プライバシー配慮処理を行うエリアAR12である。
【0042】
プライバシー配慮映像処理部14は、エリアAR11の映像をマスク処理し、マスク処理した画像(
図10の第2特定領域の画像GZ11参照)を得る(S12)。ここでは、エリアAR11に対応する第2特定領域の画像GZ11は、エリアAR11を覆うように多角形(例えば5角形)に塗り潰されている。また、プライバシー配慮映像処理部14は、マスク処理の結果として、例えば作業員72の頭の一部が塗り潰された部分からはみ出るようにすることで、この場所に作業員72が居ることが分からせることができる。
【0043】
この後、プライバシー配慮映像処理部14は、撮像部11によって撮像された映像から常に人物(作業員)が居続ける場所以外の場所、つまり、プライバシー配慮処理を行うエリアAR12の映像を抽出する(S13)。そして、プライバシー配慮映像処理部14は、以下に示すステップS14、S15、S16において、前述したステップS2、S3、S4と同様の処理を行う。
【0044】
プライバシー配慮映像処理部14は、撮像部11によって撮像された映像のうち、プライバシー配慮処理を行うエリアAR12の画像に動きがあるか否かを判断する(S14)。プライバシー配慮映像処理部14は、背景画像と今回撮像された画像との差分を演算し、差分が生じている画像部分を抽出する。
【0045】
プライバシー配慮映像処理部14は、ステップS14で差分が生じた結果として動きがあると判断された画像部分を塗り潰す(いわゆる、加工処理の一例としてのマスク処理)を行う(S15)。一方、プライバシー配慮映像処理部14は、ステップS14で差分が生じておらず動きが無いと判断された画像部分を、塗り潰すことなく、そのまま用いる(S16)。
【0046】
そして、プライバシー配慮映像処理部14は、ステップS12、S15およびS16の処理後の各画像を合成して出力する(S17)。
図10は、
図8の元画像GZ10に対して常時マスク処理が行われた画像(第2特定領域の画像GZ11)を含む合成画像GZ13を示す図である。この合成画像GZ13では、プライバシー配慮処理を行うエリアAR12には、人物がいないので、プライバシー配慮処理を行う画像GZ12に対しマスク処理は行われない。この後、プライバシー配慮映像処理部14は本動作を終了する。
【0047】
このように、例えば監視対象エリアとして動きの無いラインである検査所を監視する場合、監視対象エリアAR10内の人物(作業員)が居続けるエリアAR11(所定の範囲)に対し、常時マスク処理した第2特定領域の画像GZ11が出力されるので、この範囲に存在することがあらかじめ分かっている人物のプライバシーを確実に保護できる。
【0048】
(監視対象エリアが動きのあるラインと動きの無いラインとが混在する場所である場合)
例えば、前述したように、監視対象エリアが、動きのあるラインとして物流ラインと、動きの無いラインとして検査所とが混在する場所である場合を示す。この場合、撮像部11によって撮像される監視対象エリアの元画像には、物流ラインであり常時マスク処理を行わないエリアの画像(第1特定領域の画像)と、人物(作業員)が居続ける場所であり常時マスク処理を行うエリアの画像(第2特定領域の画像)と、これら以外のプライバシー配慮処理を行うエリアの画像とが含まれる。
【0049】
図11は、動きのあるラインと動きの無いラインとが混在する場所を監視する際のプライバシー配慮映像処理部14による映像処理手順の一例を示すフローチャートである。この場合、プライバシー配慮映像処理部14は、前述した動きのあるラインとして物流ラインを監視する際の映像処理と、前述した動きの無いラインとして検査所を監視する際の映像処理とを組み合わせた映像処理を行う。
【0050】
即ち、プライバシー配慮映像処理部14は、前述した
図3のステップS5、S6と同様の処理を行い、プライバシー配慮処理を行わないエリアの画像(第1特定領域の画像)を出力する(S21、S22)。続いて、プライバシー配慮映像処理部14は、前述した
図7のステップS11、S12と同様の処理を行い、常時マスク処理を行うエリアの画像(第2特定領域の画像)を出力する(S23、S24)。
【0051】
さらに、プライバシー配慮映像処理部14は、第1特定領域および第2特定領域を除く領域の画像に対し、前述した
図3のステップS2、S3、S4と同様の処理を行い、プライバシー配慮処理を行った画像を出力する(S26、S27、S28)。そして、プライバシー配慮映像処理部14は、ステップS22、S24、S27およびS28の処理後の各画像を合成して出力する(S29)。この後、プライバシー配慮映像処理部14は本動作を終了する。
【0052】
このように、常時マスク処理しない第1特定領域の画像と、常時マスク処理した第2特定領域の画像と、これら以外の領域で検知された人物をマスク処理した画像とを合成した画像を1つの映像として出力できる。これにより、物流ラインと常駐する人物とが混在する場所であっても、それぞれに適した画像を出力することができ、荷物の紛失や破損等のアクシデントがあった場合、多くのスタッフがその映像を見ることで、効率的かつ迅速に対応することができる。言い換えると、荷物の紛失や破損等のアクシデントがあった場合でも、アクシデント発生時の映像を見る人が特定の人(例えば責任者又は責任のある相応の権限者)に限定されなくなり、アクシデント発生時の状況の早期確認が可能となる。このように、監視対象エリア内で常時監視が必要な範囲の映像が阻害されること無く、プライバシーの保護を図り、多くの人間が映像を見ることで効率的かつ迅速に映像を確認できる。
【0053】
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0054】
例えば、上記実施形態では、映像中の人物を検知する場合、前回までに学習された画像と今回の撮像画像との差を表す差分画像を用いていたが、人物の検知の方法はこれに限られず、例えばあらかじめ人物の特徴を表すデータ(顔画像、特徴量)を登録しておき、撮像画像中に人物の特徴を表すデータが検知された場合、人物を特定してもよい。