(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0014】
以下、本発明の実施形態について説明する。
まず、本実施形態の概要を説明する。
本実施形態では、撮影側装置である車両側装置10において、列車内に設置されたカメラで、列車内を撮影し、該撮影した画像データから、人物の特徴量データ(例えば、顔の特徴量データ)を抽出し、該抽出した特徴量データを、列車外であって地上に設置された地上側装置20へ送信する。なお、撮影画像は、静止画であっても動画であってもよい。動画撮影の場合は、撮影された動画の各フレーム(つまり静止画)から、人物の特徴量データを抽出する。
【0015】
照合側装置である地上側装置20では、受信した特徴量データと、地上側装置20に記憶していた監視対象の特徴量データ(監視対象である人物の顔の特徴量データ)とを比較する。そして、両者が類似している場合に、地上側装置20は、顔の画像データ(静止画)を、車両側装置10へ要求し、車両側装置10から受信する。次に、地上側装置20では、受信した顔の画像データと、監視対象の顔の画像データとを照合し、受信した顔の人物が監視対象の人物であるか否かを判定する。なお、本明細書では、類似の特徴量データは、同一の特徴量データも含むものとする。
【0016】
このように、列車内で撮影した顔の特徴量データが、監視対象の顔の特徴量データに類似している場合に、列車内で撮影した顔の画像データを、車両側装置10から地上側装置20へ送信し、類似していない場合には画像データを送信しない。これにより、車両側装置10から地上側装置20へのデータ送信量を抑制できる。つまり、より多くの顔の特徴量データを、車両側装置10から地上側装置20へ送信できる。
【0017】
次に、本実施形態の監視システムの構成を説明する。
図1は、本発明の実施形態に係る車両側装置の機能構成図である。本実施形態の車両側装置10は、複数の車両からなる列車に搭載され、車両側処理部11と、車両側記憶部12と、車両側無線部13と、複数の撮像部14とを含むように構成される。車両側記憶部12と車両側無線部13と撮像部14は、それぞれ、車両側処理部11に信号接続され、車両側処理部11により制御される。
【0018】
図1では、n個の撮像部14(1)〜14(n)が、車両側処理部11に信号接続されている。n個の撮像部14(1)〜14(n)は、本実施形態では、複数の車両に分けて設置される。また、1つの車両内において、複数の撮像部14が、座席や通路や乗降口等に設置される。撮像部14(1)〜14(n)を総称するときは撮像部14と称す。
【0019】
撮像部14は、光を電気信号へ変換するCCD(Charge-Coupled Device)等を備え、対象物(例えば、人物の顔)を撮影し、当該対象物の画像データを生成するカメラである。撮像部14は、本実施形態では、生成した画像データを記憶する記憶部を有し、車両側処理部11からの要求に応じて、上記記憶部に記憶した画像データを、車両側処理部11へ送信するように構成されている。しかし、撮像部14を、記憶部を有さず、画像データを撮影し生成する度に車両側処理部11へ送信するカメラとして構成することも可能である。
【0020】
車両側記憶部12には、車両側装置10が搭載されている列車を特定する識別子である列車番号、撮像部14が配置されている車両を特定する識別子である車両番号、撮像部14を特定する識別子であるカメラ番号が、互いに対応付けられ記憶されている。つまり、各撮像部14のカメラ番号は、当該撮像部14が配置されている車両の車両番号、当該撮像部14が搭載されている列車の列車番号と対応付けられ記憶されている。列車番号と車両番号は、撮像部14を除く車両側装置10を特定する装置番号として機能する。
【0021】
車両側処理部11は、撮像部14から画像データとして1枚の静止画を受信すると、その画像データと、そのときの時刻とカメラ番号と車両番号と列車番号とを対応付けて、車両側記憶部12へ記憶させる。そのときの時刻とカメラ番号と車両番号と列車番号は、後述するように、画像データ特定情報として用いられる。そして、車両側処理部11は、記憶させた1枚の画像データ内の複数の人物について、それぞれの顔の画像データから特徴量データを抽出し、抽出元の画像データと対応付けて、車両側記憶部12へ記憶させる。
【0022】
次に、車両側処理部11は、抽出した特徴量データのうち、所定の選別条件(フィルタリング条件)を満たす特徴量データを、車両側無線部13へ送信し、車両側無線部13から地上側装置20へ無線送信させる。選別条件とは、例えば、直近の所定時間内に同一人物の特徴量データを、車両側無線部13へ送信していないことである。選別条件の詳細は後述する。
【0023】
また、車両側処理部11は、地上側装置20からの要求に応じて、撮影した顔の画像データを、地上側装置20へ無線送信する。また、車両側処理部11は、地上側装置20からの要求に応じて、追跡対象人物が写り、録画時刻の異なる画像データを、複数、送信する。これらの詳細は後述する。
【0024】
車両側処理部11を詳しく説明する。本実施形態では、車両側処理部11は、特徴量抽出部11aと、選別部11bと、画像データ分割部11cと、追跡部11dとを含むように構成される。なお、選別部11bと、画像データ分割部11cの画像データ分割機能と、追跡部11dは、本発明に必須の構成ではなく、これらの一部又は全部を削除することもできる。
【0025】
特徴量抽出部11aは、撮像部14で撮影した人物の画像データ(例えば、顔の画像データ)から、その人物の特徴となる特徴量を示す特徴量データ(例えば、顔の特徴量データ)を抽出して生成する。そして、特徴量抽出部11aは、該生成した特徴量データを、その特徴量データに対応する画像データ(つまり、その特徴量データの抽出元の画像データ)、及び該画像データを特定する画像データ特定情報と対応付けて、車両側記憶部12へ記憶させる。顔の特徴量データとは、例えば、目や鼻や口の位置等を計測し、数値化したものである。
【0026】
なお、特徴量抽出部11aは、人物の顔以外の部分の画像データから、例えば着衣の画像データから、その人物の特徴となる特徴量データを抽出し、上記顔の特徴量データとともに、車両側記憶部12へ記憶させるように構成してもよい。着衣の特徴量データとは、例えば、着衣の色や形状を計測し、数値化したものである。
【0027】
図1に示すように、本実施形態においては、特徴量抽出部11aは、人物の特徴量データ12a、該特徴量データ12aが抽出された人物の画像データ12b、該画像データ12bを撮影した撮像部14を特定するカメラ番号12c、該画像データ12bの録画時刻12d、該画像データ12bを撮影した撮像部14が搭載されている列車を特定する列車番号12e、該画像データ12bを撮影した撮像部14が配置されている車両を特定する車両番号12fを、互いに対応付けて、車両側記憶部12へ記憶させる。なお、送信時刻12gは、後述するように、選別部11bにより車両側記憶部12へ記憶される。
【0028】
列車番号12eと車両番号12fとカメラ番号12cと録画時刻12dは、上述したように、画像データ12bを特定する画像データ特定情報として機能する。なお、列車番号12eと車両番号12fとカメラ番号12cと録画時刻12dの代わりに、画像データ12bを特定する識別子である画像IDを用いることも可能である。画像IDは、例えば、列車番号と列車毎に付与される連続番号とで構成できる。また、
図1には図示していないが、特徴量データを特定する識別子である特徴量IDを各特徴量データに付与し、画像データ12bと対応付けて車両側記憶部12に記憶させることで、特徴量IDを画像データ特定情報として用いることも可能である。
【0029】
なお、撮像部14が動画を撮影する場合は、撮影された動画の各フレーム毎に、特徴量データ12aと、画像データ12bと、カメラ番号12cと、録画時刻12dと、列車番号12eと、車両番号12fと、送信時刻12gとが、互いに対応付けられて、車両側記憶部12へ記憶される。
【0030】
ここで、録画時刻12dは、特徴量抽出部11aが画像データ12bを車両側記憶部12へ記憶させた時刻の情報であり、年月日の情報を含んでもよい。なお、録画時刻12dは、撮像部14が、対象物を撮影し画像データを生成して当該撮像部14の記憶部に記憶した時刻としてもよい。この場合、撮像部14は、画像データとともに録画時刻情報を、車両側処理部11へ送信する。
【0031】
また、送信時刻12gは、特徴量データ12aが地上側装置20へ送信された時刻を示すが、選別部11bが特徴量データ12aを車両側無線部13へ送信した時刻を用いてもよい。本実施形態では、送信時刻12gとして、選別部11bが特徴量データ12aを車両側無線部13へ送信した時刻を用いる。
【0032】
選別部11bは、特徴量抽出部11aが抽出した特徴量データ12aの中から、車両側装置10から地上側装置20へ送信すべき特徴量データ12aを選別して、該選別した特徴量データ12aと、該選別した特徴量データ12aに対応する画像データ特定情報とを車両側無線部13へ送信する。特徴量データ12aに対応する画像データ特定情報とは、特徴量データ12aが含まれる画像データ12bを特定する情報である。また、選別部11bは、特徴量データ12aを車両側無線部13へ送信した時刻を、送信時刻12gとして車両側記憶部12へ記憶させる。このように、車両側装置10は、撮像部14で撮影した人物の画像データから抽出した特徴量データを、全て地上側装置20へ送信するのではなく、所定の選別条件を満たす特徴量データを、地上側装置20へ送信する特徴量データとして選別するフィルタリングを行う。
【0033】
この選別条件は、直近の所定時間内に同一人物の特徴量データを送信していないこと、つまり、直近の所定時間(例えば30秒間)内に、選別対象の特徴量データと近似する特徴量データを送信していないことである。なお、本明細書では、近似の特徴量データとは、同一の特徴量データを含むものとする。
【0034】
図2は、本発明の実施形態に係る選別処理を説明する図である。
図2に示すように、選別処理が開始されると、まず、第1の選別条件がチェックされる(
図2のステップS1)。
【0035】
第1の選別条件は、時間的条件であり、直近の所定時間内に近似する特徴量データを地上側装置20へ送信していないこと(本実施形態では、車両側無線部13へ送信していないこと)である。具体的には、第1の選別条件は、選別対象である第1の特徴量データと近似する特徴量データを送信済みの場合に、該送信済みの特徴量データを送信した時刻が、直近の所定時間以内でないこと、つまり、選別対象の第1の特徴量データに近似する送信済みの特徴量データに対応する送信時刻12gが、選別部11bが選別を行おうとしている現在時刻から所定時間内でないことである。
【0036】
換言すると、第1の選別条件は、選別対象である第1の特徴量データと、第1の特徴量データを生成する前に生成した送信済みの特徴量データとの差が、所定の範囲内であり、かつ、該送信済みの特徴量データを地上側装置20へ無線送信(本実施形態では、車両側無線部13へ送信)してからの経過時間が所定の時間以内でないことである。
【0037】
なお、第1の選別条件は、選別対象と近似する送信済みの特徴量データを車両側記憶部12に記憶した時刻と、選別対象の第1の特徴量データを車両側記憶部12に記憶した時刻との差が、所定時間以内でないこととすることもできる。このような場合も、選別対象の第1の特徴量データに近似する送信済みの特徴量データに対応する送信時刻12gが、選別部11bが選別を行おうとしている現在時刻から所定時間内でないことという第1の選別条件に含まれる。
【0038】
第1の選別条件に合致する場合は(ステップS1でYes)、選別部11bが選別を行おうとしている特徴量データ(上記第1の特徴量データ)は、地上側装置20への通知対象、つまり送信対象とされる(ステップS3)。第1の選別条件に合致しない場合は(ステップS1でNo)、第2の選別条件がチェックされる(ステップS2)。
【0039】
第2の選別条件は、空間的条件であり、特徴量データを検知した場所が異なることである。具体的には、選別対象と近似する送信済みの特徴量データが抽出された画像データが、他の車両で撮影されたものであること、つまり、選別対象の特徴量データ(第1の特徴量データ)に対応する車両番号12fと、近似する送信済みの特徴量データに対応する車両番号12fとが、異なることである。
【0040】
第2の選別条件に合致する場合は(ステップS2でYes)、選別部11bが選別を行おうとしている特徴量データは、地上側装置20への通知対象とされる(ステップS3)。第2の選別条件に合致しない場合は(ステップS2でNo)、選別部11bが選別を行おうとしている特徴量データは、地上側装置20への通知対象とされない(ステップS4)。
【0041】
本実施形態では、上記第1の選別条件と第2の選別条件のいずれか一方が成立する場合に、特徴量データを地上側装置20へ送信する。すなわち、上記第1の選別条件が成立しない場合であっても、第1の特徴量データと対応する画像データが撮影された撮像部14が配置された第1の車両が、送信済みの近似特徴量データと対応する画像データが撮影された撮像部14が配置された第2の車両と異なる場合は、第1の特徴量データと第1の画像データ特定情報とを、地上側装置20へ無線送信し、第1の車両と第2の車両とが同じ場合は、第1の特徴量データと第1の画像データ特定情報とを、地上側装置20へ無線送信しない。
【0042】
このように、異なる車両において互いに類似する特徴量データを検知した場合に、該互いに類似する特徴量データを、異なる人物の特徴量データであると判断して、地上側装置20へ無線送信する。したがって、無線送信すべき特徴量データの選別漏れ(つまり、送信漏れ)を抑制できる。
【0043】
以上説明したように、特徴量データを選別して地上側装置20へ送信することにより、車両側装置10から地上側装置20へ送信する特徴量データの通信量を抑えることができる。つまり、異なる特徴量データを、より多く、車両側装置10から地上側装置20へ送信することができ、より多くの人物を監視することができる。
【0044】
画像データ分割部11cは、地上側装置20から送信要求のあった画像データを、車両側無線部13を介して地上側装置20へ送信させる。このとき、画像データ分割部11cは、複数の画像データに分割して、車両側無線部13へ送信する。詳しくは、画像データ分割部11cは、画像データ要求情報と画像データ特定情報を、地上側装置20から受信すると、画像データ特定情報に対応する画像データを、撮影側記憶部12から取出し、複数の画像データに分割して、地上側装置20へ無線送信させる。画像データ特定情報は、データ量が小さいので、分割しなくてもよい。
【0045】
画像データを分割送信することにより、車両側装置10から地上側装置20へ送信するときの通信容量が小さい場合にも、撮像部14で撮影された人物の画像データを、地上側装置20へ送信することができる。なお、車両側装置10から地上側装置20へ送信するときの通信容量が大きい場合には、画像データ分割部11cの画像データ分割機能は、設けなくても構わない。
【0046】
また、画像データ分割部11cは、撮像部14で撮影された人物の画像データを、車両側記憶部12に記憶するときに、複数の画像データに分割するよう構成することも可能である。この場合、撮像部14で撮影された人物の画像データは、複数の画像データに分割された状態で、車両側記憶部12に記憶される。
【0047】
追跡部11dは、第1の画像データが地上側装置20へ送信された後、地上側装置20から、追跡対象の特徴量データを含む追跡要求情報を受信すると、第1の画像データを記憶した後に新たに車両側記憶部12に記憶された画像データのうち、追跡対象の特徴量データと類似する特徴量データを含む画像データを検索して取出し、該取出した画像データを、画像データ特定情報とともに、地上側装置20へ無線送信させる。
【0048】
この動作(追跡対象と類似する特徴量データを含む画像データを検索して取出し、地上側装置20へ無線送信)を追跡部11dが繰り返すことにより、追跡対象の特徴量データと類似する特徴量データに対応する画像データが、録画時間の順に、複数、地上側装置20へ無線送信される。こうして、追跡対象の特徴量データと類似する特徴量データを有する人物が追跡され、該人物の位置と様子が監視される。
【0049】
このとき、追跡対象の特徴量データが、顔の特徴量データだけでなく着衣の特徴量データを含むように構成すると、追跡部11dが、追跡対象の特徴量データと類似する特徴量データを含む画像データを検索することが容易になる。
【0050】
車両側記憶部12は、上述したように、人物の特徴量データ12aと、特徴量データ12aが抽出された画像データ12bと、画像データ特定情報(画像データ12bを撮影した撮像部14のカメラ番号12cと、画像データ12bの録画時刻12dと、画像データ12bを撮影した撮像部14が搭載されている列車の列車番号12eと、画像データ12bを撮影した撮像部14が配置されている車両の車両番号12f)と、送信時刻12gとを、互いに対応付けて記憶し蓄積する。
【0051】
なお、画像データ12bを撮影した撮像部14の撮影方向と画角を、カメラ番号12cと対応付けて、車両側記憶部12に記憶するよう構成してもよい。このようにすると、撮影対象の人物がいた場所をより特定できる。
【0052】
これら特徴量データ12aと関連するデータ(12b〜12g)は、その量が膨大になるので、本実施形態では、車両側装置10を搭載する車両が、例えば、出発点から出発したときに蓄積を開始され、終点に着いたときにリセットされる。このリセットは、例えば、地上側装置20からのリセット指示を、車両側装置10が受信し、該受信した車両側装置10の車両側処理部11により実行される。このリセットは、上記データの消去や、上記データを車両側処理部11が無効データと見なすことを含む。
【0053】
車両側無線部13は、地上側装置20との間で、無線通信を行う。例えば、車両側無線部13は、車両側処理部11から、人物の特徴量データ12aや画像データ特定情報や画像データ12b等を受信すると、直ぐに地上側装置20へ無線送信する。また、地上側装置20から、画像データ要求情報や追跡要求情報や追跡停止要求情報等を受信すると、直ぐに車両側処理部11へ送信する。
【0054】
図3は、本発明の実施形態に係る地上側装置の機能構成図である。本実施形態の地上側装置20は、地上側処理部21と、地上側記憶部22と、地上側無線部23と、入出力部24とを含むように構成される。地上側記憶部22と地上側無線部23と入出力部24は、それぞれ、地上側処理部21に信号接続され、地上側処理部21から制御される。
【0055】
地上側無線部23は、車両側装置10との間で、無線通信を行う。例えば、地上側無線部23は、車両側装置10から、人物の特徴量データ12aや画像データ特定情報や画像データ12bを受信すると、直ぐに地上側処理部21へ送信する。また、地上側処理部21から、画像データ要求情報や追跡要求情報や追跡停止要求情報を受信すると、直ぐに車両側装置10へ無線送信する。
【0056】
入出力部24は、操作者(利用者)からの指示を受け付ける入力部と、各種情報を出力する出力部とを有する。この出力部は、LCD(Liquid Crystal Display)等の表示部やスピーカ等の音声出力部を含む。
【0057】
地上側記憶部22は、特徴量基準データ22aと、画像基準データ22bと、受信データ22cとを含むように構成される。
【0058】
特徴量基準データ22aは、車両側装置10から無線送信される特徴量データ12aとの比較に用いられる基準データであり、監視対象の人物の顔の特徴量データである。特徴量基準データ22aは、入出力部24から入力されて記憶されるか、あるいは、入出力部24から入力された人物の画像データ(画像基準データ22b)から、地上側処理部21により抽出され、地上側記憶部22に記憶される。特徴量基準データ22aは、複数あってもよい。
【0059】
画像基準データ22bは、車両側装置10から無線送信される画像データ12bとの比較に用いられる基準データであり、入出力部24から入力されて記憶される。画像基準データ22bは、例えば、監視対象の人物の、加工していない顔の生画像データである。画像基準データ22bは、複数あってもよい。
【0060】
受信データ22cは、車両側装置10から無線受信した特徴量データ12aと、該特徴量データ12aに対応する画像データ特定情報と、該画像データ特定情報で特定される画像データ12bとを、1組又は複数組、含むように構成される。画像データ特定情報とは、上述したように、本実施形態では、列車番号12eと車両番号12fとカメラ番号12cと録画時刻12dである。上記1組を構成する特徴量データ12aと画像データ特定情報と画像データ12bとは、互いに対応付けられて記憶される。
【0061】
地上側処理部21は、車両側装置10から受信した特徴量データ12aと、地上側記憶部22に記憶された特徴量基準データ22aとが類似している場合は、その旨を、入出力部24に表示させる。次に、特徴量データ12aに対応する画像データ12bを要求するための画像要求を、操作者(利用者)から入出力部24で受け付けると、画像データ要求情報と画像データ特定情報とを車両側装置10へ無線送信させる。そして、車両側装置10から分割送信されてきた画像データを、結合させて、入出力部24に表示させる。
【0062】
また、地上側処理部21は、画像データ12bと画像基準データ22bとを入出力部24に表示し、操作者からの追跡指示を入出力部24で受け付けると、追跡対象の特徴量データを含む追跡要求情報を、車両側装置10へ無線送信させる。また、地上側処理部21は、操作者からの追跡停止指示を入出力部24で受け付けると、追跡停止要求情報を車両側装置10へ無線送信させる。
【0063】
車両側装置10は、追跡要求情報を受信すると、上述したように、新たに車両側記憶部12に記憶された画像データのうち、追跡対象の特徴量データと類似する特徴量データを含む画像データを取出し、該取出した画像データ(追跡用画像データ)を、地上側装置20へ無線送信する。また、車両側装置10は、追跡停止要求情報を受信すると、追跡用画像データの無線送信を停止する。
【0064】
詳しく説明すると、地上側処理部21は、特徴量比較部21aと、画像データ要求部21bと、画像データ結合部21cと、追跡要求部21dとを含むように構成される。なお、画像データ結合部21cの画像データ結合機能と、追跡要求部21dは、本発明に必須の構成ではなく、削除することもできる。
【0065】
特徴量比較部21aは、車両側装置10から受信した特徴量データ12a(詳しくは、特徴量データ12aの顔の部分の特徴量データ)と、地上側記憶部22に記憶された特徴量基準データ22aとを比較し、その差が所定の類似範囲(第1の類似範囲)内であるか否か(つまり類似するか否か)を判定する。
【0066】
こうして、人物Aに関する複数種類の特徴量データ12aについて特徴量基準データ22aと比較し、両者の差が所定の類似範囲内である(つまり、両者が類似する)と判定した場合、特徴量比較部21aは、特徴量データ12aと、該特徴量データ12aに対応する画像データ特定情報(列車番号12eと車両番号12fとカメラ番号12cと録画時刻12d)とを、互いに対応付けて、受信データ22cとして、地上側記憶部22に記憶させる。また、特徴量比較部21aは、上記人物Aの特徴量データ12aと特徴量基準データ22aとが類似している旨を、入出力部24に映像や音等により出力させる。
【0067】
なお、人物Aの特徴量データ12aと特徴量基準データ22aとの類似判定において、例えば、人物Aに関する複数種類の特徴量データ12a全てについて、特徴量基準データ22aを満足する場合に類似と判定することも可能であるし、複数種類の特徴量データ12aの全てでなくても特定の重要データについて、特徴量基準データ22aを満足する場合に類似と判定することも可能である。
【0068】
次に、上記人物Aの画像データ12b(つまり、特徴量データ12aに対応する画像データ12b)を要求するための画像要求を、操作者から入出力部24で受け付ける。すると、画像データ要求部21bは、画像データ要求情報と、画像データ12bを特定する画像データ特定情報とを、地上側無線部23から車両側装置10へ無線送信させる。
【0069】
なお、特徴量データ12aと特徴量基準データ22aとが類似すると、特徴量比較部21aが判定した場合、画像データ要求部21bが、画像データ要求情報と画像データ特定情報とを、自動的に、地上側無線部23から車両側装置10へ無線送信させるよう構成することも可能である。このように構成した場合、特徴量比較部21aは、特徴量データ12aと特徴量基準データ22aとが類似している旨を、入出力部24に出力させる必要はない。
【0070】
また、画像データ要求部21bは、画像データ要求情報と画像データ特定情報とを、物理的に別な情報として無線送信させてもよいが、物理的に1つの情報として無線送信させることもできる。この場合、例えば、画像データ特定情報を無線送信させることにより、この画像データ特定情報に、画像要求の意味を含ませる。つまり、画像データ特定情報が、画像データ要求情報を兼ねるようにする。
【0071】
画像データ結合部21cは、車両側装置10から分割送信されてきた画像データ12bを、結合させて復元し、入出力部24に表示させるとともに、該結合させて復元した画像データ12bを、該画像データ12bを特定する画像データ特定情報と対応付けて、受信データ22cとして、地上側記憶部22に記憶させる。なお、画像データ結合部21cは、車両側装置10から受信した画像データ12bと画像基準データ22bとを、同一画面に表示させるのが好ましい。
【0072】
また、画像データ結合部21cは、画像データ12bとともに、画像データ特定情報を表示させるのが好ましい。画像データ特定情報は、列車番号12eと車両番号12fとカメラ番号12cと録画時刻12dとを含むので、その画像データ12bに写っている人物が、どの時刻に、どの位置にいたかを知ることができる。
【0073】
追跡要求部21dは、車両側装置10から受信した画像データ12bを表示しているときに、操作者からの追跡指示を入出力部24で受け付けると、表示中の画像データ12bから、追跡対象の人物の特徴量データを抽出し、該抽出した特徴量データを含む追跡要求情報を、車両側装置10へ無線送信させる。また、追跡要求部21dは、追跡処理中に、操作者からの追跡停止指示を入出力部24で受け付けると、追跡停止要求情報を、車両側装置10へ無線送信させる。
【0074】
撮像部14、車両側処理部11、車両側無線部13、地上側無線部23、地上側処理部21、入出力部24は、例えば、それぞれ、CPU(Central Processing Unit)と、それぞれの動作プログラム等を格納するメモリで構成することができる。CPUは、それぞれの動作プログラムに従って動作する。
【0075】
車両側記憶部12、地上側記憶部22は、半導体メモリ(フラッシュメモリ、RAM(Random Access Memory)、ROM(read only memory)等)や磁気ディスク等により構成される。
【0076】
(第1実施例)
次に、本実施形態における第1実施例を説明する。
図4は、第1実施例に係る監視システムの装置構成図である。
【0077】
図4に示すように、第1実施例では、監視システムは、車両側装置10と地上側装置20とを含むように構成される。第1実施例の車両側装置10は、複数の車両からなる列車に搭載され、複数のカメラ34(1)、34(2)・・・と、複数のNDR(ネットワークデジタルレコーダ)32(1)、32(2)・・・と、1台の中央装置31と、1台の車両無線装置33とを含むように構成される。カメラ34(1)、34(2)・・・を総称するときは、カメラ34と称し、NDR32(1)、32(2)・・・を総称するときは、NDR32と称する。
【0078】
カメラ34は、各車両にそれぞれ複数配置され、それぞれ、NDR32と有線により信号接続される。なお、カメラ34は、NDR32と無線接続することも可能である。カメラ34は、対象物を撮像して当該対象物の画像データを生成し、該生成した画像データから、特徴量データを抽出する撮像装置である。カメラ34は、生成した画像データと特徴量データとを対応付けて、当該カメラ34の記憶部に記憶し、NDR32からの要求に応じて、NDR32へ送信する。
【0079】
このように、第1実施例のカメラ34は、
図1の撮像部14と車両側処理部11の一部(特徴量抽出部11a)を構成する。
【0080】
NDR32は、各車両に1台配置され、当該車両に配置された複数のカメラ34、及び中央装置31と、それぞれ、有線により信号接続される。なお、NDR32は、カメラ34及び中央装置31と無線接続することも可能である。NDR32は、カメラ34で生成した画像データと特徴量データを、カメラ34から受信すると、該受信した画像データと特徴量データを、当該NDR32の記憶部に記憶し、中央装置31へ送信する。
【0081】
NDR32は、カメラ34から受信した画像データと特徴量データを当該NDR32の記憶部に記憶するときに、該画像データを特定する画像データ特定情報(列車番号12eと車両番号12fとカメラ番号12cと録画時刻12d)と対応付けて記憶する。
【0082】
つまり、NDR32は、人物の特徴量データ12aと、該特徴量データ12aが抽出された人物の画像データ12bと、該画像データ12bを撮影したカメラ34のカメラ番号12cと、該画像データ12bの録画時刻12dと、該画像データ12bを撮影したカメラ34が搭載されている列車の列車番号12eと、該画像データ12bを撮影したカメラ34が配置されている車両の車両番号12fとを、互いに対応付けて、記憶する。
【0083】
なお、NDR32で、特徴量データ12aと、画像データ12bと、カメラ番号12cと、録画時刻12dとを、互いに対応付けて記憶し、中央装置31で、列車番号12eと車両番号12fとを、特徴量データ12aと対応付けて記憶するように構成してもよい。
【0084】
また、録画時刻12dは、カメラ34で撮影し生成した画像データを、当該カメラ34の記憶部に記憶したときの時刻としてもよいし、NDR32で、画像データ12bを、当該NDR32の記憶部に記憶したときの時刻としてもよい。
【0085】
NDR32は、カメラ34から受信した特徴量データと、該特徴量データに対応する画像データ特定情報(列車番号12eと車両番号12fとカメラ番号12cと録画時刻12d)とを、中央装置31へ送信する。
【0086】
このように、第1実施例のNDR32は、
図1の車両側処理部11の一部の機能(各種データの書き込み及び読み出し機能)と、車両側記憶部12の一部の機能(送信時刻12g以外を記憶)とを有する。つまり、NDR32は、
図1の車両側処理部11と車両側記憶部12を構成する。
【0087】
中央装置31は、列車に1台搭載され、車両無線装置33と有線で信号接続され、また、各車両に配置されたNDR32と、それぞれ有線で信号接続される。中央装置31は、NDR32から受信した特徴量データ12aと画像データ特定情報(列車番号12eと車両番号12fとカメラ番号12cと録画時刻12d)とを、中央装置31の記憶部に記憶する。そして、地上側装置20へ無線送信すべき特徴量データ12aを選別し、該選別した特徴量データ12aと、画像データ特定情報とを、車両無線装置33を介して地上側装置20へ無線送信する。選別条件は、選別部11bの説明で述べた通りである。中央装置31は、特徴量データ12aを車両無線装置33へ送信したときの時刻を、送信時刻12gとして、送信した特徴量データ12aと対応付けて、中央装置31の記憶部に記憶する。
【0088】
また、中央装置31は、地上側装置20から画像データの送信要求があると、つまり、画像データ要求情報と画像データ特定情報とを、地上側装置20から受信すると、受信した画像データ特定情報で特定される画像データを、NDR32から読み出し、複数のデータに分割して、画像データ特定情報とともに、車両無線装置33へ送信する。
【0089】
車両無線装置33は、
図1の車両側無線部13と同様の動作を行う。つまり、車両無線装置33は、例えば、中央装置31から受信した人物の特徴量データ12aや画像データ特定情報や画像データ12b等を、地上側装置20へ無線送信する。また、地上側装置20から無線送信された画像データ要求情報等を受信し、車両側処理部11へ送信する。
【0090】
このように、第1実施例の中央装置31は、
図1の車両側処理部11の一部の機能(特徴量データ選別機能と画像データ分割機能)と、車両側記憶部12の機能とを有する。つまり、中央装置31は、
図1の車両側処理部11と車両側記憶部12とを構成する。また、車両無線装置33は、
図1の車両側無線部13を構成する。
【0091】
こうして、第1実施例では、
図1の撮像部14の機能は、カメラ34の一部で構成され、
図1の車両側処理部11と車両側記憶部12の機能は、カメラ34の一部とNDR32と中央装置31で構成され、
図1の車両側無線部13の機能は、車両無線装置33で構成される。このように、
図1の車両側処理部11と車両側記憶部12は、それぞれ、複数の装置で構成してもよい。
図1の車両側無線部13も、複数の装置で構成してもよい。
【0092】
また、
図4に示すように、第1実施例の地上側装置20は、地上無線装置43と、特徴量管理装置41と、端末44とを含むように構成される。特徴量管理装置41は、地上無線装置43及び端末44と、それぞれ有線で信号接続される。なお、特徴量管理装置41を、地上無線装置43及び端末44と、それぞれ無線接続することも可能である。
【0093】
地上無線装置43は、車両側装置10との間で、無線通信を行うもので、
図3の地上側無線部23を構成する。地上無線装置43は、例えば、車両側装置10から無線送信された特徴量データ12aや画像データ12b等を受信し、特徴量管理装置41へ送信する。また、特徴量管理装置41から受信した画像データ要求情報等を、車両側装置10へ無線送信する。
【0094】
端末44は、操作者からの指示を受け付ける入力部と、各種情報を出力する出力部とを有する。この出力部は、LCD等の表示部やスピーカ等の音声出力部を含む。
【0095】
特徴量管理装置41は、
図3の地上側処理部21と地上側記憶部22を構成する。特徴量管理装置41は、地上側記憶部22と同様に、特徴量基準データ22aと、画像基準データ22bと、受信データ22cとを含むように構成される。
【0096】
特徴量基準データ22aは、前述したように、車両側装置10から無線送信される特徴量データ12aとの比較に用いられる基準データであり、端末44から入力されて記憶される。あるいは、端末44から入力された顔の画像データ(画像基準データ22b)から、特徴量管理装置41により抽出され、特徴量管理装置41に記憶される。
【0097】
画像基準データ22bは、前述したように、車両側装置10から無線送信される画像データ12bとの比較に用いられる基準データで、端末44から入力されて記憶される。
【0098】
受信データ22cは、前述したように、車両側装置10から無線受信した特徴量データ12aと、該特徴量データ12aに対応する画像データ特定情報と、該画像データ特定情報で特定される画像データ12bとを、1組又は複数組、含むように構成される。
【0099】
また、特徴量管理装置41は、地上側処理部21と同様に、車両側装置10から受信した顔の特徴量データ12aと、特徴量管理装置41に記憶された特徴量基準データ22aとを比較し、その差が所定の範囲内であった場合は、特徴量データ12aと特徴量基準データ22aとが類似している旨を、端末44に表示させるとともに、該特徴量データ12aと、該特徴量データ12aに対応する画像データ特定情報とを、受信データ22cとして、特徴量管理装置41に記憶する。
【0100】
特徴量データ12aに対応する画像データ12bを要求するための画像要求を、操作者から端末44で受け付けると、特徴量管理装置41は、その画像要求を、地上無線装置43から車両側装置10へ送信させる。そして、車両側装置10から分割送信されてきた画像データ12bを、結合させて、端末44に表示させる。
【0101】
こうして、第1実施例では、
図3の地上側処理部21と地上側記憶部22の機能は、特徴量管理装置41で構成され、地上側無線部23の機能は、地上無線装置43で構成され、入出力部24の機能は、端末44で構成される。このように、
図3の地上側処理部21と地上側記憶部22を、1つの装置で構成してもよい。
【0102】
カメラ34、NDR32、中央装置31、車両無線装置33、地上無線装置43、特徴量管理装置41、端末44は、ハードウエア構成としては、それぞれ、CPU(Central Processing Unit)と、それぞれの動作プログラム等を格納するメモリとを備えており、CPUは、この動作プログラムに従って動作する。
【0103】
次に、第1実施例における照合シーケンスを説明する。
図5は、第1実施例に係る照合シーケンス図である。
【0104】
まず、カメラ34(1)が、例えば周期的に、車両内を撮影し、画像データを生成し、該生成した画像データから、特徴量データを抽出する(
図5のステップS11)。カメラ34(1)は、該生成した画像データと、特徴量データとを対応付けて、当該カメラ34(1)の記憶部に記憶する。カメラ34が、車両内を撮影し画像データを生成する撮影間隔は、例えば、約5秒とすることができる。カメラ34は、生成した画像データと特徴量データとを、NDR32へ送信するまで、当該カメラ34の記憶部に保存する。
【0105】
例えば、1枚の画像データに、A,B,C,Dの4人の人物の顔が写っている場合、カメラ34(1)は、この1枚の画像データから、A,B,C,Dの特徴量データを、それぞれ、特徴量データ(A),特徴量データ(B),特徴量データ(C),特徴量データ(D)として抽出し、画像データに対応付けて、当該カメラ34(1)の記憶部に記憶する。
【0106】
NDR32(1)は、当該NDR32(1)に接続されている複数のカメラ34に対し、例えば周期的に、順次、画像データ取得要求を送信し(ステップS12)、各カメラ34が記憶している画像データと特徴量データを、順次、受信して取得し(ステップS13)、NDR32(1)の記憶部に記憶し蓄積する(ステップS14)。このとき、NDR32(1)は、画像データ及び特徴量データとともに、該画像データを特定する画像データ特定情報(列車番号12eと車両番号12fとカメラ番号12cと録画時刻12d)を、NDR32(1)の記憶部に記憶し蓄積する。
【0107】
例えば、NDR32(1)は、カメラ34(1)から、A,B,C,Dの4人の人物が写った1枚の画像データと、A,B,C,Dの4つの特徴量データ(特徴量データ(A),特徴量データ(B),特徴量データ(C),特徴量データ(D))とを取得し、該画像データ及び特徴量データと対応付けて、該画像データを特定する画像データ特定情報を、NDR32(1)の記憶部に記憶する。
【0108】
NDR32がカメラ34へ画像データ取得要求を送信する間隔、つまり、カメラ34から画像データと特徴量データを取得する間隔は、例えば、約10秒とすることができる。この画像データ取得間隔は、上述したカメラ34の撮影間隔と同じか、又は、該撮影間隔より長い。
【0109】
そして、NDR32(1)は、各カメラ34から取得した特徴量データ又はNDR32(1)の記憶部に蓄積した特徴量データを、該特徴量データに対応する画像データ特定情報とともに中央装置31へ送信する(ステップS15)。このとき、NDR32は、1枚の画像データに含まれる特徴量データを、カメラ34から取得する都度、該取得した特徴量データを中央装置31へ送信する。なお、NDR32は、複数の画像データに含まれる複数の特徴量データを取得した後、該取得した複数の特徴量データをまとめて中央装置31へ送信するようにしてもよい。
【0110】
例えば、NDR32(1)は、1枚の画像データから抽出された、特徴量データ(A),特徴量データ(B),特徴量データ(C),特徴量データ(D)を、これら4つの特徴量データに対応する画像データ特定情報とともに、中央装置31へ送信する。
【0111】
中央装置31は、中央装置31に接続されている複数のNDR32から特徴量データと画像データ特定情報とを受信して、中央装置31の記憶部に記憶する。また、中央装置31は、上述した選別処理(フィルタリング)を行い(ステップS16)、選別した特徴量データを、車両無線装置33を介して地上側装置20へ無線送信する(ステップS17)。このとき、中央装置31は、1枚の画像データについて、選別した特徴量データが発生する都度、地上側装置20へ無線送信する。なお、中央装置31は、選別した特徴量データを1つずつ地上側装置20へ無線送信してもよいし、あるいは、複数の画像データに関する特徴量データを、まとめて地上側装置20へ無線送信するようにしてもよい。また、このとき、中央装置31は、選別した特徴量データとともに、該選別した特徴量データに対応する画像データ特定情報も、地上側装置20へ無線送信する。
【0112】
例えば、中央装置31は、カメラ34(1)から取得した1枚の画像データに対応する特徴量データ(A),特徴量データ(B),特徴量データ(C),特徴量データ(D)から、特徴量データ(A),特徴量データ(B),特徴量データ(C)を選別し、特徴量データ(A),特徴量データ(B),特徴量データ(C)に対応する1つの画像データ特定情報とともに、車両無線装置33を介して地上側装置20へ無線送信する。
【0113】
地上側装置20の特徴量管理装置41は、地上無線装置43を介して、特徴量データと、該特徴量データに対応する画像データ特定情報とを受信すると、該受信した特徴量データと画像データ特定情報とを、特徴量管理装置41の記憶部に記憶する。
【0114】
また、特徴量管理装置41は、上記受信した特徴量データ(又は、記憶した特徴量データ)と、特徴量管理装置41の記憶部に記憶していた特徴量基準データとを比較し照合する(ステップS18)。そして、車両側装置10から受信した特徴量データの中に、特徴量基準データと類似するものがある場合、類似している旨のマッチング通知を、端末44へ行う(ステップS19)。
【0115】
例えば、特徴量管理装置41は、車両側装置10から受信した特徴量データ(A),特徴量データ(B),特徴量データ(C)のうち、いずれかと、特徴量基準データが類似していた場合、例えば、特徴量データ(A)と特徴量データ(B)が、それぞれ、人物A,Bの特徴量基準データ(A)及び特徴量基準データ(B)と類似していた場合、特徴量データ(A)と特徴量データ(B)が特徴量基準データに類似している旨のマッチング通知を、端末44へ行う。
【0116】
端末44は、マッチング通知の内容を表示又は音声等で出力することにより、利用者(つまり、端末44の操作者)に対し通知確認をさせる(ステップS20)。通知確認した利用者が、特徴量データ(A)と特徴量データ(B)に対応する画像データを要求する画像要求を、端末44へ入力すると(ステップS21)、端末44は、その画像要求を特徴量管理装置41へ送信する(ステップS22)。
【0117】
特徴量管理装置41は、特徴量データ(A)と特徴量データ(B)に対応する画像要求を、端末44から受信すると、特徴量データ(A)及び特徴量データ(B)に対応する画像データ特定情報を、特徴量管理装置41の記憶部から抽出して取出す(ステップS23)。そして、特徴量管理装置41は、該取出した画像データ特定情報と、画像データの送信を要求する画像データ要求情報とを、地上無線装置43を介して車両側装置10へ無線送信する(ステップS24)。このとき、画像データ要求情報に、利用者から類似指定された特徴量データ(特徴量データ(A)と特徴量データ(B))を含ませるのが好ましい。
【0118】
中央装置31は、画像データ要求情報と画像データ特定情報を、車両無線装置33を介して地上側装置20から受信すると、該受信した画像データ特定情報を解析し、該受信した画像データ要求情報が、当該中央装置31を含む車両側装置10宛てのものか否かを判定する。具体的には、地上側装置20から受信した画像データ特定情報に含まれる列車番号12eが、当該中央装置31が搭載されている列車の列車番号と一致する場合に、当該車両側装置10宛てのものであると判定する。
【0119】
列車番号が一致した場合、中央装置31は、受信した画像データ特定情報に含まれる車両番号12fにより、画像データ要求情報の宛先のNDR32を判定する。そして、その宛先のNDR32へ、受信した画像データ要求情報と画像データ特定情報とを転送する(ステップS25)。
【0120】
NDR32(1)は、画像データ要求情報と画像データ特定情報を、中央装置31から受信すると、該受信した画像データ特定情報に基づき、地上側装置20へ送信すべき画像データ12bを特定する。具体的には、NDR32(1)は、画像データ特定情報のカメラ番号12cと録画時刻12dとに基づき、地上側装置20へ送信すべき画像データ12bを特定する。そして、NDR32(1)は、該特定した画像データ12bを、NDR32(1)の記憶部から取出し、該取出した画像データ12bと画像データ特定情報とを、中央装置31へ送信する(ステップS26)。例えば、NDR32(1)は、A,B,C,Dの4人の人物の顔が写っている1枚の画像データ12bと画像データ特定情報とを、中央装置31へ送信する。
【0121】
このとき、NDR32(1)は、画像データ要求情報から、地上側装置20から類似指定された特徴量データ(特徴量データ(A)と特徴量データ(B))を取出し、画像データ12b内の、上記類似指定された特徴量データと対応する対象物に、類似していることを示すマーキング(印)を施すことが好ましい。例えば、NDR32(1)は、A,B,C,Dの4人の人物の顔が写っている1枚の画像データ12bにおいて、特徴量データ(A)及び特徴量データ(B)に対応するA,Bの人物の顔に、丸印等のマーキングを施すことが好ましい。このマーキングは、画像データとともに端末44に表示されるので、注目すべき人物が利用者に分かり易い。
【0122】
中央装置31は、NDR32(1)から受信した画像データ12bを、例えば3つに分割し(ステップS27)、画像データ特定情報とともに、車両無線装置33を介して地上側装置20へ無線送信する(ステップS28)。
【0123】
なお、上述したように、地上側装置20から、A及びBの顔の画像データの送信要求があった場合に、A,B,C,Dの4人の人物の顔が写っている1枚の画像データをそのまま地上側装置20へ送信するのでなく、Aの顔の画像データとBの顔の画像データとを、A,B,C,Dの4人の人物の顔が写っている1枚の画像データから抽出して、地上側装置20へ送信するようにしてもよい。しかし、A,B,C,Dの4人の人物の顔が写っている1枚の画像データをそのまま送信することにより、画像データの抽出処理時間を省略できる。
【0124】
特徴量管理装置41は、画像データ特定情報と、分割された画像データ12bを、地上無線装置43を介して、例えば3回に分けて受信すると、該分割された画像データ12bを、1つに結合し(ステップS29)、画像データ特定情報とともに、端末44へ送信する(ステップS30)。
【0125】
端末44は、結合された画像データ12bと、監視対象の人物の画像(画像基準データ22b)とを、例えば、同一画面に表示することにより、利用者に対し画像確認をさせる(ステップS31)。このとき、端末44は、画像データ12bとともに、画像データ特定情報を表示するのが好ましい。このようにすると、画像データ12b中の人物がいる列車や車両や、撮影したカメラを、利用者が確認できる。
【0126】
利用者は、画像データ12bの人物が、監視対象の人物であると判断した場合、必要に応じ、画像データ12bの人物の位置を、例えば第2実施例の追跡シーケンスにより追跡する。
【0127】
なお、上述した第1実施例では、カメラ34で特徴量データを抽出するように構成したが、NDR32又は中央装置31で特徴量データを抽出するように構成することもできる。
【0128】
また、第1実施例では、地上側装置20へ送信する特徴量データは、顔の特徴量データだけを用い、着衣の特徴量データを除外したものでもよい。後述の第2実施例では、地上側装置20へ送信する特徴量データは、顔の特徴量データだけでなく、着衣の特徴量データを含むことが好ましい。
【0129】
また、第1実施例では、車両とNDR32とカメラ34がそれぞれ複数あるように構成したが、それぞれ1つであるように構成することも可能である。
【0130】
第1実施例によれば、少なくとも次の効果を奏する。
(A1)撮影側装置(車両側装置)は、第1の特徴量データと、該第1の特徴量データに対応する第1の画像データ特定情報とを、照合側装置(地上側装置)へ無線送信し、照合側装置は、第1の特徴量データと特徴量基準データとの差が、第1の類似範囲内である場合は、画像データ要求情報と第1の画像データ特定情報とを、撮影側装置へ無線送信し、撮影側装置は、第1の画像データ特定情報で特定される第1の画像データを、照合側装置へ無線送信するよう構成したので、撮影画像と監視対象の画像との照合を効率的に行うことができる。また、照合側装置で特徴量基準データを一元管理することにより、撮影側装置で特徴量基準データを管理する必要がないため、特徴量基準データの更新を容易に行うことができる。
(A2)第1の特徴量データを無線送信する前に無線送信した送信済みの特徴量データと、第1の特徴量データとの差が、所定の範囲内であり、かつ、前記送信済みの特徴量データを照合側装置へ無線送信してからの経過時間が所定の時間以内である場合は、第1の特徴量データと第1の画像データ特定情報とを、照合側装置へ無線送信しないよう構成したので、車両側装置から地上側装置へ送信する特徴量データの通信量を抑えることができる。
(A3)前記送信済みの特徴量データと第1の特徴量データとの差が所定の範囲内であり、かつ、前記経過時間が所定の時間以内である場合において、第1の特徴量データと対応する第1の画像データが撮影された撮像部が配置された第1の車両が、前記送信済みの特徴量データと対応する画像データが撮影された撮像部が配置された第2の車両と同じ場合は、第1の特徴量データと第1の画像データ特定情報とを、照合側装置へ無線送信せず、第1の車両と第2の車両とが異なる場合は無線送信するよう構成した。したがって、異なる車両において互いに類似する特徴量データを検知した場合に、該互いに類似する特徴量データを、異なる人物の特徴量データであると判断して、照合側装置へ無線送信することができる。つまり、無線送信すべき特徴量データの送信漏れを抑制できる。
(A4)照合側装置は、第1の特徴量データと特徴量基準データとの差が第1の類似範囲内である場合は、その旨を示す表示を出力部に行い、操作者からの画像要求を入力部で受け付けると、画像データ要求情報と第1の画像データ特定情報とを、撮影側装置へ無線送信するよう構成したので、操作者の判断により、撮影側装置へ画像要求を行うことができる。
(A5)照合側装置は、第1の特徴量データと特徴量基準データとの差が第1の類似範囲内である場合は自動的に、画像データ要求情報と第1の画像データ特定情報とを、撮影側装置へ無線送信するよう構成したので、操作者が関与しなくても、撮影側装置へ画像要求を行うことができる。
(A6)撮影側装置は、画像データを複数に分割して照合側装置へ無線送信し、照合側装置は、受信した画像データを結合して表示するように構成したので、撮影側装置から照合側装置へ送信するときの通信容量が小さい場合にも、画像データを照合側装置へ送信することができる。
(A7)画像データ特定情報を、撮像部以外の撮影側装置を特定する装置番号と、撮像部を特定する撮像部番号と、画像データを記憶したときの時刻を示す録画時刻とを含むように構成したので、画像データ特定情報を簡単に構成できる。また、照合側装置において、画像データ特定情報により、その画像データに写っている人物が、どの時刻に、どの位置にいたかを知ることができる。
(A8)1つの画像データ中に複数の対象物がある場合、照合側装置は、第1の特徴量データに含まれる複数の特徴量データのいずれかと特徴量基準データとの差が、第1の類似範囲内であった場合は、画像データ要求情報と画像データ特定情報とを、撮影側装置へ無線送信するように構成したので、1つの画像データ中に複数の対象物がある場合にも、本発明を適用できる。
(A9)撮影側装置は、画像データを照合側装置へ無線送信する前に、画像データ内の、特徴量データと対応する対象物に、類似していることを示す印を施すように構成したので、注目すべき人物を、操作者に分かり易く表示することができる。
【0131】
(第2実施例)
次に、本実施形態における第2実施例として、第1実施例において地上側装置20で画像が照合された人物を追跡する追跡シーケンスを説明する。
図6は、第2実施例に係る追跡シーケンス図であり、第1実施例の照合シーケンスの続きのシーケンスである。なお、第2実施例は、第1実施例に続けて実施するようにしてもよいし、あるいは、第1実施例に関係なく、単独で実施するようにしてもよい。
【0132】
第2実施例に係る監視システムの装置構成は、第1実施例に係る監視システムの装置構成(
図4)と概略同様であるが、第2実施例の監視システムは、第1実施例の監視システムの機能に加え、車両側装置10が、前述した追跡部11dの機能を有し、地上側装置20が、前述した追跡要求部21dの機能を有する。
【0133】
まず、第1実施例のステップS31(
図5)で述べたように、車両側装置10から受信した第1の画像データと、監視対象の人物の画像(画像基準データ22b)とを、端末44において同一画面に表示した状態で、利用者が画像確認を行う。そして、利用者は、表示されている第1の画像データ中の人物が、監視対象の人物と同一であると判断すると、第1の画像データ中の人物を特定し、この人物の追跡要求を、端末44へ入力する(ステップS51)。
【0134】
例えば、端末44に表示された第1の画像データに、A,B,C,Dの4人の人物の顔が写っている場合、利用者は、A,Bの2人を特定し、A,Bの追跡指示を端末44へ入力する。A,Bの特定は、公知技術により、端末44の表示画面上で、マウスやタッチパネルを用いて行うことができる。すると、端末44は、特徴量管理装置41へ、A,Bの特定情報が含まれる追跡要求を送信する(ステップS52)。
【0135】
特徴量管理装置41は、端末44から追跡要求を受信すると、該受信した追跡要求に基づき、端末44へ送信済みの第1の画像データ(つまり、端末44で表示していた直近の画像データ)に対応する特徴量データ(A,B,C,Dの特徴量データ)から、追跡対象の人物の特徴量データ(Aの特徴量データである特徴量データ(A)、及びBの特徴量データである特徴量データ(B))を抽出する。そして、特徴量管理装置41は、追跡対象の特徴量データ(特徴量データ(A)及び特徴量データ(B))を含む追跡要求情報を生成、つまり、追跡対象の特徴量データを特定する追跡要求情報を生成し、該生成した追跡要求情報を、地上無線装置43を介して車両側装置10へ無線送信する(ステップS53)。
【0136】
中央装置31は、車両無線装置33を介して地上側装置20から、追跡要求情報を受信すると、該受信した追跡要求情報に基づき、追跡対象の特徴量データ(特徴量データ(A)又は特徴量データ(B))に類似し、かつ、上記第1の画像データの録画時刻よりも新しい録画時刻の第2の画像データに対応する第2の特徴量データを、中央装置31の記憶部に蓄積した特徴量データの中から検索し抽出する(ステップS54)。つまり、中央装置31は、追跡対象の特徴量データとの差が第2の類似範囲内であり、かつ、追跡対象の特徴量データよりも新しい第2の特徴量データを抽出する。第2の画像データと第2の特徴量データは、それぞれ、複数あってもよい。
【0137】
この第2の類似範囲は、上記特徴量比較部21aの説明で述べた第1の類似範囲よりも狭いことが好ましい。第1の類似範囲は、車両側装置10から受信した特徴量データ12aと、特徴量基準データ22aとの比較に用いるものなので、その類似範囲を比較的広く設定する。その理由は、特徴量データ12aと特徴量基準データ22aは、それらの抽出元の画像データの撮影日が異なるので、類似度が比較的低いからである。これに対し、第2の類似範囲は、追跡対象の特徴量データと上記第2の特徴量データとの比較に用いるものである。そして、追跡対象の特徴量データと第2の特徴量データは、それらの抽出元の画像データの撮影日が同じ(又は近接)なので、当然、類似度が高い。したがって、第2の類似範囲を第1の類似範囲よりも狭くすることにより、追跡対象の人物を正確に追跡できる。つまり、追跡対象に少し似ているだけの人物を追跡することを抑制できる。
【0138】
例えば、中央装置31は、特徴量データ(A)に類似する特徴量データa1と特徴量データa2、特徴量データ(B)に類似する特徴量データb1を、中央装置31の記憶部から抽出する。特徴量データa1,a2,b1は、上記第1の画像データの録画時刻よりも新しい録画時刻の第2の画像データに対応する第2の特徴量データである。
【0139】
次に、中央装置31は、該抽出した特徴量データa1,a2,b1を含む画像要求情報を生成し、該生成した画像要求情報を、各車両のNDR32に送信する(ステップS55)。
【0140】
各車両のNDR32は、特徴量データa1,a2,b1を含む画像要求情報を受信すると、該受信した画像要求情報に基づき、特徴量データa1又は特徴量データa2又は特徴量データb1に対応する画像データを、各NDR32の記憶部に蓄積した画像データの中から抽出し、中央装置31へ送信する(ステップS56)。このとき、各車両のNDR32は、画像データとともに、各画像データを特定する画像データ特定情報(列車番号12eと車両番号12fとカメラ番号12cと録画時刻12d)を、中央装置31へ送信する。
【0141】
例えば、車両AのNDR32は、特徴量データa1に対応する画像データga1と、特徴量データa2に対応する画像データga2とを抽出し、各画像データを特定する画像データ特定情報とともに、中央装置31へ送信する。また、車両BのNDR32は、特徴量データb1に対応する画像データgb1を抽出し、該画像データを特定する画像データ特定情報とともに、中央装置31へ送信する。
【0142】
中央装置31は、各NDR32から受信した画像データを、それぞれ分割し(ステップS57)、各NDR32から受信した画像データ特定情報とともに、車両無線装置33を介して地上側装置20へ無線送信する(ステップS58)。
【0143】
特徴量管理装置41は、画像データ特定情報と分割された画像データとを、地上無線装置43を介して受信すると、該分割された画像データを、それぞれ分割前の画像データとなるように結合し(ステップS59)、該結合した画像データと画像データ特定情報とを端末44へ送信する(ステップS60)。
【0144】
端末44は、結合された画像データと、各画像データを特定する画像データ特定情報(列車番号12eと車両番号12fとカメラ番号12cと録画時刻12d)とを、例えば、同一画面に表示することにより、利用者に対し画像確認をさせる(ステップS61)。利用者は、列車番号12eと車両番号12fとカメラ番号12cと録画時刻12dとにより、追跡対象の人物が、どの列車の、どの車両の、どの位置に、どの時刻にいたのかを知ることができる。
【0145】
各車両のNDR32は、ステップS56で、画像データを中央装置31へ送信した後、所定時間後に、追跡対象の特徴量データに類似する特徴量データを含む画像データを抽出し、中央装置31へ送信する(ステップS71)。つまり、ステップS56で画像データを抽出した後に、新たに各NDR32の記憶部に蓄積した画像データの中から、特徴量データa1又は特徴量データa2又は特徴量データb1に対応する画像データを抽出し、それらの特徴量データに対応する画像データ特定情報とともに中央装置31へ送信する。
【0146】
中央装置31と地上側装置20は、ステップS71により画像データを受信すると、ステップS57〜ステップS61と同様の処理を行う。こうして、各車両のNDR32は、ステップS71と同様の処理を、所定時間毎に繰り返し、中央装置31と地上側装置20は、ステップS57〜ステップS61と同様の処理を、所定時間毎に繰り返す。
【0147】
ステップS58の画像データを、車両側装置10から地上側装置20へ繰り返し送信するときの間隔は、例えば1秒であり、ステップS13の画像データを、カメラ34からNDR32へ送信する間隔(例えば5秒)よりも短い。こうすることにより、追跡対象の位置や様子を、より詳しく監視することができる。
【0148】
その後、利用者からの追跡停止指示を端末44で受け付けると(ステップS81)、端末44は、実行中の追跡処理を停止する追跡停止要求を、特徴量管理装置41へ送信する(ステップS82)。
【0149】
特徴量管理装置41は、端末44から追跡停止要求を受信すると、該受信した追跡停止要求に基づき、追跡停止要求情報を生成し、該生成した追跡停止要求情報を、地上無線装置43を介して車両側装置10へ無線送信する(ステップS83)。
【0150】
中央装置31は、車両無線装置33を介して地上側装置20から、追跡停止要求情報を受信すると、該受信した追跡停止要求情報を、各車両のNDR32に送信する(ステップS84)。
【0151】
各車両のNDR32は、追跡停止要求情報を受信すると、該受信した追跡停止要求情報に基づき、実行中の類似画像抽出処理及び送信処理を停止する。
【0152】
このように、第2実施例においては、地上側装置20において、第1の画像データを端末44に表示し、操作者からの追跡指示を端末44で受け付けると、追跡対象の特徴量データを含む追跡要求情報を、車両側装置10へ無線送信する。そして、車両側装置10では、追跡要求情報を地上側装置20から受信すると、車両側装置10に記憶した特徴量データのうち、追跡対象の特徴量データとの差が第2の類似範囲内であり、かつ、第2の画像データ(第2の画像データの録画時刻は、第1の画像データの録画時刻よりも新しい)に対応する第2の特徴量データを抽出し、該第2の特徴量データに対応する第2の画像データを、対応する画像データ特定情報とともに、地上側装置20へ無線送信する。
【0153】
その後、所定時間が経過すると、車両側装置10は、追跡対象の特徴量データとの差が第2の類似範囲内であり、かつ、第3の画像データ(第3の画像データの録画時刻は、第2の画像データの録画時刻よりも新しい)に対応する第3の特徴量データを抽出し、該第3の特徴量データに対応する第3の画像データを、対応する画像データ特定情報とともに、地上側装置20へ無線送信する。こうして、追跡対象と類似し、かつ、新たに録画された画像データを、地上側装置20へ、複数回、無線送信する。
【0154】
このように、地上側装置20から指示を繰り返し行わなくても、追跡対象と類似した新たな画像データを、車両側装置10から地上側装置20へ、繰り返し無線送信するので、追跡対象の位置や様子を、容易に監視することができる。
【0155】
なお、第2実施例においては、特徴量データに、顔の特徴量データと着衣の特徴量データとが含まれるのが好ましい。このようにすると、中央装置31が、追跡対象の人物の特徴量データに類似する特徴量データを検索する際に、顔の特徴量データだけでなく着衣の特徴量データを用いることができる。したがって、中央装置31が、追跡対象に類似する特徴量データを抽出することが容易になる。
【0156】
また、上述した第2実施例では、地上側装置20からの追跡要求情報に基づき、中央装置31で、追跡対象の特徴量データに類似する類似特徴量データを抽出して、NDR32へ送信し、NDR32で、類似特徴量データに対応する画像データを抽出するように構成した。しかし、NDR32で、類似特徴量データを抽出し、該抽出した類似特徴量データに対応する画像データを抽出するように構成することもできる。
【0157】
また、上述した第2実施例では、NDR32で、類似特徴量データに対応する画像データを抽出するように構成した。しかし、NDR32から類似特徴量データをカメラ34へ送信し、該類似特徴量データに対応する画像データを、カメラ34で撮影して、NDR32を介し中央装置31へ送信するように構成することもできる。
【0158】
また、上述した第2実施例では、ステップS53において、追跡対象の特徴量データ(特徴量データ(A)及び特徴量データ(B))を含む追跡要求情報を、特徴量管理装置41で生成し、車両側装置10へ無線送信するように構成した。しかし、追跡対象の特徴量データに対応する画像データ特定情報に基づき、追跡対象の特徴量データを撮影したカメラ34のカメラ番号を特定し、該特定したカメラ番号を含む追跡要求情報を、特徴量管理装置41で生成し、車両側装置10へ無線送信するように構成することもできる。
【0159】
この場合、中央装置31は、NDR32を介して、上記特定したカメラ番号のカメラ34へ追跡要求情報を送信する。カメラ34は、該追跡要求情報を中央装置31から受信すると、通常(ステップS11)よりも高い頻度で撮影し、画像データを生成して、NDR32へ送信する。NDR32は、上記追跡要求情報を中央装置31から受信すると、通常(ステップS12)よりも高い頻度で、画像取得要求を行い、カメラ34から画像データを取得し、中央装置31へ送信する。このようにすると、追跡対象の位置や様子を、頻繁に監視することができる。
【0160】
また、画像データ特定情報として特徴量データを特定するための特徴量IDを用いた場合、
図6のS53で特徴量管理装置41から送信される追跡要求情報は、特徴量データの代わりに特徴量IDが送信される。特徴量IDは特徴量データを特定できるものであればよく、順に付与される番号でもよいし、送信時刻や特徴量抽出時刻など時刻に基づく識別情報であってもよい。これにより、画像データに複数の人物の顔が写っている場合でも、特徴量IDによってどの人物の特徴量を追跡するかを管理することが可能となる上に、追跡要求情報に特徴量データを用いるよりもデータ量を削減することが可能となる。
【0161】
また、上述した第2実施例では、中央装置31とNDR32を、別の装置としたが、中央装置31とNDR32を1つの装置とし、該1つの装置が、中央装置31とNDR32の機能を備えるように構成することもできる。
【0162】
また、上述した第2実施例では、端末44に表示された画像データ12bに、複数の人物の顔が写っている場合を説明したが、端末44に表示された画像データ12bに、1人の人物の顔が写っている場合にも、第2実施例の追跡シーケンスは適用できる。この場合を、第3実施例として後述する。
【0163】
第2実施例によれば、少なくとも次の効果を奏する。
(B1)照合側装置は、撮影側装置から受信した第1の画像データと、画像基準データとを表示し、操作者からの追跡要求を受け付けると、追跡対象の特徴量データを特定する追跡要求情報を、撮影側装置へ無線送信し、撮影側装置は、追跡要求情報を受信すると、追跡対象の特徴量データとの差が第2の類似範囲内であり、かつ、第1の画像データよりも新しい録画時刻の第2の画像データに対応する第2の特徴量データを抽出し、該第2の特徴量データに対応する第2の画像データを、照合側装置へ無線送信するよう構成したので、追跡対象の位置や様子を監視することができる。
(B2)撮影側装置は列車に搭載され、撮像部は、複数存在し列車を構成する複数の車両に配置され、撮影側装置は、上記第2の画像データを無線送信する際に、該第2の画像データを生成した撮像部が配置された車両を特定する車両番号を、照合側装置へ無線送信し、その後、追跡対象の特徴量データとの差が第2の類似範囲内であり、かつ、第2の画像データよりも新しい録画時刻の第3の画像データに対応する第3の特徴量データを抽出し、第3の特徴量データに対応する第3の画像データと、該第3の画像データを生成した撮像部が配置された車両の車両番号とを、照合側装置へ無線送信するよう構成したので、追跡対象のいる車両や、追跡対象の様子を容易に知ることができる。また、撮像部の撮影方向と画角が固定されている場合であっても、各車両に配置された複数の撮像部を用いて、追跡することができる。
(B3)上記第2の類似範囲は、撮影側装置から受信した特徴量データと特徴量基準データとの比較に用いられる第1の類似範囲よりも狭くなるよう構成したので、追跡対象の人物を正確に追跡できる。つまり、追跡対象に少し似ているだけの人物を追跡することを抑制できる。
(B4)撮影側装置が上記第2の画像データを無線送信した後、上記第3の画像データを無線送信するまでの間隔は、撮影側装置が第1の画像データを無線送信するときの間隔よりも短いよう構成したので、追跡対象の位置や様子を、より詳しく監視することができる。
(B5)特徴量データを、人の顔の特徴量データと、着衣の特徴量データとを含むように構成したので、追跡対象の特徴量データと類似する特徴量データを含む画像データを検索することが容易になる。
(B6)画像データ特定情報として、特徴量データを特定するための特徴量IDを用い、追跡要求情報として特徴量データの代わりに特徴量IDを送信する構成にした場合、画像データに複数の人物の顔が写っている場合でも、各人物の特徴量を特徴量IDによって特定することが可能となる。また、追跡要求情報に特徴量データを用いるよりもデータ量を削減することが可能となる。
【0164】
(第3実施例)
本実施形態における第3実施例は、第2実施例において、端末44に表示された画像データに、写っている人物が1人の場合である。その他の構成やシーケンスは、第2実施例と同様であるので、第2実施例の
図6を用いて説明する。
【0165】
第2実施例では、追跡対象の特徴量データを特定する追跡要求情報として、追跡対象の特徴量データを含む追跡要求情報を用いて、特徴量管理装置41から無線送信した。第3実施例では、追跡対象の特徴量データを特定する追跡要求情報として、追跡対象の特徴量データを含む追跡要求情報、又は、画像データ特定情報を含む追跡要求情報を用いることができる。ここでは、画像データ特定情報を含む追跡要求情報を用いる例を説明する。なお、画像データ特定情報を含む追跡要求情報を用いることができる理由は、特徴量データと画像データとが、1対1で対応している(つまり、画像データに1人しか写っていない)ためである。
【0166】
まず、利用者は、車両側装置10から受信した第1の画像データ中の人物Aが、監視対象の人物と同一であると判断すると、この人物Aの追跡要求を、端末44へ入力する(
図6のステップS51)。
【0167】
端末44は、特徴量管理装置41へ、人物Aの特定情報が含まれる追跡要求を送信する(ステップS52)。特徴量管理装置41は、端末44から受信した追跡要求に基づき、追跡対象Aの特徴量データ(A)を特定する追跡要求情報として、画像データ特定情報を含む追跡要求情報を、車両側装置10へ無線送信する(ステップS53)。
【0168】
中央装置31は、特徴量管理装置41から受信した画像データ特定情報に基づき、該画像データ特定情報に対応する特徴量データ(A)を抽出する。そして、中央装置31は、該抽出した特徴量データ(A)に基づき、特徴量データ(A)に類似し、かつ、特徴量データ(A)よりも新しく記憶された特徴量データ(a)を、中央装置31の記憶部に蓄積した特徴量データの中から抽出する(ステップS54)。中央装置31は、該抽出した特徴量データ(a)を含む画像要求情報を、各車両のNDR32に送信する(ステップS55)。
【0169】
各車両のNDR32は、中央装置31から画像要求情報を受信すると、該画像要求情報に含まれる特徴量データ(a)に対応する画像データを、各NDR32の記憶部から抽出し、画像データ特定情報とともに、中央装置31へ送信する(ステップS56)。
【0170】
中央装置31は、各NDR32から受信した画像データと画像データ特定情報を、地上側装置20へ無線送信する(ステップS58)。地上側装置20は、中央装置31から受信した画像データと、画像データ特定情報(列車番号12eと車両番号12fとカメラ番号12cと録画時刻12d)を、端末44へ表示する(ステップS60)。
【0171】
このように、第3実施例においては、地上側装置20において、第1の画像データを端末44に表示した状態で、操作者からの追跡指示を端末44で受け付けると、追跡対象の特徴量データを特定する追跡要求情報として、画像データ特定情報を含む追跡要求情報を、車両側装置10へ無線送信する。そして、車両側装置10では、追跡要求情報を地上側装置20から受信すると、受信した画像データ特定情報から、追跡対象の特徴量データを特定し、車両側記憶部12に記憶した特徴量データのうち、追跡対象の特徴量データとの差が第2の類似範囲内であり、かつ、第1の画像データよりも新しい第2の画像データに対応する第2の特徴量データを抽出し、該第2の特徴量データに対応する第2の画像データを、地上側装置20へ無線送信する。
【0172】
なお、上述の説明では、中央装置31において、画像データ特定情報から追跡対象の特徴量データを抽出したが、NDR32において追跡対象の特徴量データを抽出するように構成してもよい。
【0173】
第3実施例によれば、少なくとも次の効果を奏する。
(C1)画像データに写っている人物が1人の場合に、追跡対象の特徴量データを特定する追跡要求情報として、画像データ特定情報を含む追跡要求情報を用いることができる。
【0174】
なお、本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々に変更が可能であることはいうまでもない。
【0175】
上記実施形態では、列車と地上間で画像データを送信する監視システムの例を説明した。しかし、本発明は、そのような監視システムに限られるものではなく、撮影側装置と照合側装置との間で画像データを送信する監視システムであれば適用可能である。
また、上記実施形態では地上側が画像データを要求する際に画像データ特定情報を用いる場合を例に挙げたが、本発明はこれに限定されるものではなく、列車側は画像データ特定情報を含めずに特徴量データを地上側に送信し、地上側が画像データを要求する際には画像データを指定するために当該特徴量データ自体を送信してもよい。これによっても上述した実施形態と同様の作用効果を得ることができる。
【0176】
また、本発明は、本発明に係る処理を実行するシステムや装置としてだけでなく、方法として把握することができる。或いは、このような方法を実現するためのプログラムや当該プログラムを記録する記録媒体などとして把握することができる。