(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-08
(45)【発行日】2022-12-16
(54)【発明の名称】侵入検知システムおよび侵入検知方法
(51)【国際特許分類】
G08B 13/181 20060101AFI20221209BHJP
G08B 13/196 20060101ALI20221209BHJP
G08B 25/00 20060101ALI20221209BHJP
H04N 7/18 20060101ALI20221209BHJP
G01S 13/86 20060101ALI20221209BHJP
【FI】
G08B13/181
G08B13/196
G08B25/00 510M
H04N7/18 D
H04N7/18 U
G01S13/86
(21)【出願番号】P 2018070954
(22)【出願日】2018-04-02
【審査請求日】2021-03-05
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成29年度、総務省、ICTを活用した次世代ITSの確立のうちインフラレーダーシステム技術に関する研究開発の委託事業、産業技術力強化法第19条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000005821
【氏名又は名称】パナソニックホールディングス株式会社
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】安木 慎
(72)【発明者】
【氏名】横山 洋児
【審査官】馬場 慎
(56)【参考文献】
【文献】特開2011-175597(JP,A)
【文献】特開2017-152804(JP,A)
【文献】特開2009-017416(JP,A)
【文献】特開2003-315450(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08B 13/00 ー 15/02
G08B 19/00 ー 31/00
G01S 13/86
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
監視エリアを撮影し、画像データを生成するカメラと、
前記監視エリアに含まれる走査エリアを走査し、ミリ波データを生成するミリ波レーダと、
前記カメラ及び前記ミリ波レーダと接続し、前記画像データ及び前記ミリ波データを取得する情報処理サーバと、
を備える侵入検知システムであって、
前記情報処理サーバは、
前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図るデータ同期部と、
前記データ同期部によって同期が図られた前記画像データと前記ミリ波データを蓄積するデータ蓄積部と、
前記データ蓄積部に蓄積された前記ミリ波データを用いて、前記走査エリアに含まれる検知エリアへ侵入する物体が存在するか否か、を判定する判定部と、
前記データ蓄積部に蓄積された前記画像データと前記ミリ波データを用いて、前記判定部による判定結果を示す監視画面を生成する画面生成部と、
を備える、
侵入検知システム。
【請求項2】
前記データ蓄積部は、前記検知エリアへ過去に侵入した物体の履歴を示す履歴情報を蓄積する、
請求項1に記載の侵入検知システム。
【請求項3】
前記画面生成部は、前記履歴情報に基づき、前記検知エリアへ侵入した物体が時系列で表示されるログ情報を生成する、
請求項2に記載の侵入検知システム。
【請求項4】
前記画面生成部は、前記監視エリアを含むエリアを上方から見た図において、前記判定結果を示す情報を示す天頂図を生成する、
請求項1に記載の侵入検知システム。
【請求項5】
前記監視画面には、前記検知エリアへ侵入する物体を示す情報と、前記検知エリアへ侵入しない物体を示す情報とが、異なる表示態様を用いて示される、
請求項1に記載の侵入検知システム。
【請求項6】
前記監視画面には、前記検知エリアへ侵入する物体の信頼度に応じて、前記検知エリアへ侵入した物体を示す情報が示される、
請求項1に記載の侵入検知システム。
【請求項7】
前記検知エリアへ侵入する物体が存在する場合、前記監視画面に発報情報を表示する、
請求項1に記載の侵入検知システム。
【請求項8】
前記画面生成部は、前記走査エリアに対応するミリ波データを、前記監視エリアに対応するように変換を行う、
請求項1に記載の侵入検知システム。
【請求項9】
監視エリアを撮影し、生成された画像データをカメラから取得し、
前記監視エリアに含まれる走査エリアを走査し、生成されたミリ波データをミリ波レーダから取得し、
前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図り、
前記同期が図られた前記画像データと前記ミリ波データを蓄積し、
前記蓄積された前記ミリ波データを用いて、前記走査エリアに含まれる検知エリアへ侵入する物体が存在するか否か、を判定し、
前記蓄積された前記画像データと前記ミリ波データを用いて、判定結果を示す監視画面を生成する、
侵入検知方法
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、侵入検知システムおよび侵入検知方法に関する。
【背景技術】
【0002】
従来、高速道路または駅のホームといった場所において、セキュリティの観点から監視カメラを用いて、人物などの侵入禁止エリアへの侵入を検知する侵入検知システムの導入が検討されている。
【0003】
例えば、特許文献1には、撮影装置(監視カメラ)が高速道路などの道路を撮影し、撮影した画像に現れる被写体を検知し、検知した被写体の所定エリアへの侵入が、予め決められた複数の侵入パターンのいずれかに該当する場合、被写体が所定エリアへ侵入したと検知する方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、監視カメラが撮影した画像を用いて侵入を検知する場合、侵入検知の精度が、検知対象となる人物までの距離、侵入検知を行う場所の日照変動および天候などの影響を受けやすいため、十分な検知精度が保障されないおそれがある。
【0006】
本開示の非限定的な実施例は、カメラとレーダという2つのセンサデバイスを融合させ、精度の良い侵入検知を行う侵入検知システムおよび侵入検知方法の提供に資する。
【課題を解決するための手段】
【0007】
本開示の一態様に係る侵入検知システムは、監視エリアを撮影し、画像データを生成するカメラと、前記監視エリアに含まれる走査エリアを走査し、ミリ波データを生成するミリ波レーダと、前記カメラ及び前記ミリ波レーダと接続し、前記画像データ及び前記ミリ波データを取得する情報処理サーバと、を備える侵入検知システムであって、前記情報処理サーバは、前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図るデータ同期部と、前記データ同期部によって同期が図られた前記画像データと前記ミリ波データを蓄積するデータ蓄積部と、前記データ蓄積部に蓄積された前記ミリ波データを用いて、前記走査エリアに含まれる検知エリアへ侵入する物体が存在するか否か、を判定する判定部と、前記データ蓄積部に蓄積された前記画像データと前記ミリ波データを用いて、前記判定部による判定結果を示す監視画面を生成する画面生成部と、を備える。
【0008】
本開示の一態様に係る侵入検知方法は、監視エリアを撮影し、生成された画像データをカメラから取得し、前記監視エリアに含まれる走査エリアを走査し、生成されたミリ波データをミリ波レーダから取得し、前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図り、前記同期が図られた前記画像データと前記ミリ波データを蓄積し、前記蓄積された前記ミリ波データを用いて、前記走査エリアに含まれる検知エリアへ侵入する物体が存在するか否か、を判定し、前記蓄積された前記画像データと前記ミリ波データを用いて、判定結果を示す監視画面を生成する。
【0009】
なお、これらの包括的または具体的な態様は、システム、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0010】
本開示の一態様によれば、カメラとレーダという2つのセンサデバイスを融合させ、精度の良い侵入検知を行う侵入検知システムおよび侵入検知方法の提供に資する。
【0011】
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【0012】
【
図1】本開示の一実施の形態に係る侵入検知システムの構成の一例を示す図
【
図2】本開示の一実施の形態に係る情報処理サーバの構成の一例を示す図
【
図3】本開示の一実施の形態に係る情報処理サーバの処理の一例を示すフローチャート
【
図4】本開示の一実施の形態における設定モード時の表示画面の例を示す図
【
図5】
図4にて示した各領域に表示される画面の一例を示す図
【
図6】本開示の一実施の形態における侵入検知モード時の表示画面の例を示す図
【
図7】
図6にて示した各領域に表示される画面の一例を示す図
【
図8】本開示の一実施の形態における過去侵入検知情報確認モード時の表示画面の例を示す図
【
図9】
図8にて示した各領域に表示される画面の一例を示す図
【発明を実施するための形態】
【0013】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0014】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0015】
(一実施の形態)
<侵入検知システムの構成>
図1は、本実施の形態に係る侵入検知システム1の構成の一例を示す図である。侵入検知システム1は、複数のカメラ2と、複数のミリ波レーダ3と、情報処理サーバ(制御装置)4と、遠隔監視PC(Personal Computer)5と、を備える。本実施の形態では、車両、歩行者などが通行する道路に設定される所定エリアへの人の侵入を検知する侵入検知システムを一例に挙げて説明する。
【0016】
なお、侵入の検知を行う場所は、道路に限られず、例えば、駐車場、踏切、駅のホーム、公共施設、工場、港湾、空港、河川敷といった場所であってもよい。また、侵入を検知する対象は、人に限られず、車両、船、航空機、動物などであってもよい。また、以下では、侵入検知を行う地点は、適宜、監視地点と記載されてもよい。
【0017】
カメラ2およびミリ波レーダ3は、ネットワークN1を介して、情報処理サーバ4と接続する。ネットワークN1は、無線ネットワークであってもよいし、有線ネットワークであってもよいし、無線と有線とを含むネットワークであってもよい。
【0018】
情報処理サーバ4は、ネットワークN2を介して、遠隔監視PC5と接続する。ネットワークN2は、無線ネットワークであってもよいし、有線ネットワークであってもよいし、無線と有線とを含むネットワークであってもよい。
【0019】
カメラ2は、例えば、道路周辺の構造物(例えば、道路標識を設置するポール)の上方に設けられる。カメラ2は、道路を含む道路周辺のエリアを撮影する。なお、カメラ2の撮影範囲であって、道路を含む道路周辺のエリアを監視エリアと記載してもよい。
【0020】
カメラ2は、撮影した画像のデータ(画像データ)を生成し、撮影した画像データを情報処理サーバ4へ送信する。送信される画像データには、画像データを生成したタイミング(例えば、時刻)を示す時刻情報が含まれる。なお、時刻情報が示す時刻は、カメラ2が撮影を行った時刻であってもよい。また、カメラ2は、例えば、フレーム単位で画像データを情報処理サーバ4へ送信してもよい。また、カメラ2によって撮影された画像は、カメラ画像と記載されてもよい。また、例えば、カメラ画像の横方向と縦方向を規定する座標系は、カメラ座標系と記載されてもよい。カメラ座標系は、例えば、カメラ2の設置位置、カメラ2の向きおよびカメラの画角に基づいて規定される。
【0021】
ミリ波レーダ3は、例えば、道路周辺の構造物の上方に設けられる。ミリ波レーダ3は、道路周辺に対してミリ波帯のレーダ信号を送信し、レーダ信号が道路周辺の物体によって反射した反射信号を受信する。なお、ミリ波レーダ3は、複数の方向へ、順次、レーダ信号を送信することによって、道路周辺を走査する。ミリ波レーダ3がレーダ信号を走査する範囲を走査エリアと記載してもよい。
【0022】
ミリ波レーダ3は、例えば、レーダ信号を送信した時刻と反射信号を受信した時刻との間の時間、レーダ信号を送信した方向、反射信号の受信強度、及び、反射信号のドップラー周波数の少なくとも1つの情報に基づいて、ミリ波データを生成する。
【0023】
ミリ波データは、例えば、レーダ信号を反射した道路周辺の物体(以下、反射物と記載)を示す情報を含む。例えば、ミリ波データは、ミリ波レーダ3の位置を基準に規定した座標系における、反射物の位置を示す点(以下、反射点と記載)の集合を含むデータである。ミリ波レーダ3の位置を基準に規定した座標系とは、例えば、ミリ波レーダ3の位置からの距離と、ミリ波レーダ3が走査する方位角とによる、極座標系である。なお、ミリ波レーダ3の位置を基準に規定した座標系は、ミリ波レーダ座標系と記載されてもよい。ミリ波レーダ座標系は、例えば、ミリ波レーダ3の設置位置、ミリ波レーダ3の向きおよびミリ波レーダ3の走査エリア(検知範囲)に基づいて規定される。
【0024】
なお、反射点は1つの反射物に対して1つに限られない。ミリ波データでは、1つの反射物が複数の反射点によって表されてもよい。
【0025】
また、反射物には、例えば、道路周辺を移動する車両及び歩行者(以下、移動体と記載する)と、道路周辺に設けられた構造物(道路標識、信号など、以下、静止物と記載する)とが含まれる。ミリ波データには、移動体の位置を示す反射点と、静止物の位置を示す反射点とが含まれていてもよい。
【0026】
ミリ波レーダ3は、ミリ波データを情報処理サーバ4に送信する。送信されるミリ波データには、ミリ波データを生成したタイミング(例えば、時刻)を示す時刻情報が含まれる。なお、時刻情報が示す時刻は、ミリ波データを生成するためのレーダ信号を送信した時刻であってもよいし、レーダ信号を受信した時刻であってもよい。また、ミリ波レーダ3は、設定された周期で走査エリアを走査し、ミリ波データを情報処理サーバ4へ送信してもよい。
【0027】
カメラ2が画像データを生成するタイミングと、ミリ波レーダ3がミリ波データを生成するタイミングとは、一致していなくてもよく、各々のタイミングであってもよい。またカメラ2が画像データを送信するタイミングと、ミリ波レーダ3がミリ波データを送信するタイミングとは、一致していなくてもよく、各々のタイミングであってもよい。例えば、カメラ2が画像データを生成する頻度は、ミリ波レーダ3がミリ波データを生成する頻度よりも多い。
【0028】
なお、カメラ2とミリ波レーダ3は、同一の構造物に設置されてもよいし、互いに異なる構造物に設置されてもよい。また、カメラ2とミリ波レーダ3は、同一の筐体に設けられてもよいし、別々の筐体に設けられてもよい。
【0029】
また、カメラ2とミリ波レーダ3の設置する方法、場所、および、相対的な位置関係は、限定されない。また、カメラ2の監視エリアとミリ波レーダ3の走査エリアの位置関係は限定されない。本開示は、カメラ2の監視エリアにミリ波レーダ3の走査エリアが含まれるように設置されるのが好ましい。
【0030】
例えば、少なくとも1つのカメラ2と少なくとも1つのミリ波レーダ3が組となり、1つの監視地点に設けられる。なお、1つの監視地点には、2つ以上のカメラ2が設けられてもよいし、2つ以上のミリ波レーダ3が設けられてもよい。
【0031】
情報処理サーバ4は、ネットワークN1を介して、複数の監視地点にそれぞれ設けられるカメラ2およびミリ波レーダ3と接続する。情報処理サーバ4は、カメラ2から画像データを取得し、ミリ波レーダ3からミリ波データを取得する。そして、情報処理サーバ4は、画像データ及びミリ波データに基づき、監視地点における侵入検知の結果を示す監視画面を生成する。情報処理サーバ4は、ネットワークN2を介して、生成した監視画面のデータを遠隔監視PC5へ送信する。
【0032】
なお、情報処理サーバ4は、侵入検知に関する設定および/または監視地点に関する指示を含む指示情報を、遠隔監視PC5から受信してもよい。この場合、情報処理サーバ4は、指示情報に基づき、監視画面を生成する。
【0033】
遠隔監視PC5は、ネットワークN2を介して、情報処理サーバ4から、監視画面のデータを受信する。遠隔監視PC5は、監視画面のデータの処理を行い、表示部(図示せず)に監視画面を表示する。
【0034】
なお、遠隔監視PC5は、例えば、操作部(図示せず)を介して、侵入検知に関する設定および/または監視地点に関する指示を、ユーザから受け付けてもよい。この場合、遠隔監視PC5は、侵入検知に関する設定および/または侵入検知の対象監視地点に関する指示を含む指示情報を情報処理サーバ4へ送信してもよい。
【0035】
なお、
図1では、1台の遠隔監視PC5が示されるが、遠隔監視PC5は、複数であってもよい。また、
図1では、ネットワークN1とネットワークN2が示されるが、ネットワークN1とネットワークN2は、同一のネットワークであってもよいし、異なるネットワークであってもよい。また、情報処理サーバ4が、ネットワークN1を介して、カメラ2およびミリ波レーダ3と接続する例を示したが、情報処理サーバ4は、カメラ2および/またはミリ波レーダ3と、ネットワークN1を介さずに、直接、有線接続または無線接続してもよい。また、遠隔監視PC5は、情報処理サーバ4と、ネットワークN2を介さずに、直接、有線接続または無線接続してもよい。
【0036】
以上説明した侵入検知システム1では、例えば、侵入の監視を行うユーザが、遠隔監視PC5の操作部を介して、特定の監視地点を入力した(または選択した)場合、遠隔監視PC5はその入力された(または選択された)監視地点を示す指示情報を、情報処理サーバ4へ送信する。
【0037】
情報処理サーバ4は、指示情報が示す監視地点における道路状況に関する監視画面を生成する。そして、情報処理サーバ4は、生成した監視画面のデータを、指示情報の送信元の遠隔監視PC5へ送信する。
【0038】
<情報処理サーバの構成>
次に、情報処理サーバ4の構成の一例について説明する。
図2は、本実施の形態に係る情報処理サーバ4の構成の一例を示す図である。
【0039】
例えば、情報処理サーバ4は、通信部41と、データ同期部42と、データ蓄積部43と、判定部44と、画面生成部45と、モード設定部46と、を備える。
【0040】
通信部41は、ネットワークN1を介したカメラ2およびミリ波レーダ3との通信のインタフェースである。また、通信部41は、ネットワークN2を介した遠隔監視PC5との通信のインタフェースである。
【0041】
データ同期部42は、通信部41を介して、カメラ2から画像データを取得する。また、データ同期部42は、通信部41を介して、ミリ波レーダ3からミリ波データを取得する。
【0042】
データ同期部42は、画像データとミリ波データとの同期を図る。例えば、データ同期部42は、画像データに含まれる時刻情報とミリ波データに含まれる時刻情報に基づき、画像データが生成されたタイミングとミリ波データが生成されたタイミングとを調整する。
【0043】
例えば、データ同期部42は、1フレームの画像データに対して、画像データに含まれる時刻情報が示す時刻との時間差が所定値以下の時刻を示す時刻情報を含むミリ波データを選択し、選択したミリ波データを当該1フレームの画像データに対応づける。あるいは、データ同期部42は、1フレームの画像データに対して、画像データに含まれる時刻情報が示す時刻に最も近い時刻を示す時刻情報を含むミリ波データを選択し、選択したミリ波データを1フレームの画像データに対応づけてもよい。
【0044】
なお、例えば、カメラ2が画像データを生成する頻度と、ミリ波レーダ3がミリ波データを生成する頻度とが異なる場合、データ同期部42は、1つの画像データを2つの異なるミリ波データに対応づけるように、データの同期を図ってもよい。あるいは、データ同期部42は、1つのミリ波データを2つの異なる画像データに対応づけるように、データの同期を図ってもよい。データ同期部42は、それぞれの時刻情報が示す時刻が所定の時間内に含まれる、画像データとミリ波データを対応づける。
【0045】
データ同期部42は、同期を図ったデータをデータ蓄積部43へ出力する。また、データ同期部42は、同期を図ったデータを判定部44へ出力する。
【0046】
データ蓄積部43は、データ同期部42によって同期が図られた画像データとミリ波データとを対応付けて蓄積する。データ蓄積部43には、例えば、時刻情報に基づいて、画像データとミリ波データが時系列で蓄積される。また、データ蓄積部43には、複数の監視地点それぞれの画像データとミリ波データが蓄積されてもよい。
【0047】
判定部44は、データ同期部42から、同期が図られた(タイミングが調整された)画像データとミリ波データを取得する。また、画面生成部45は、通信部41を介して、遠隔監視PC5から侵入検知に関する設定および/または監視地点に関する指示を含む指示情報を取得してもよい。
【0048】
判定部44は、取得したミリ波データに基づいて、走査エリアに含まれる侵入検知エリアへ侵入する人が存在するか否か、を判定する。判定部44における処理は、侵入検知処理と記載されてもよい。
【0049】
侵入検知エリアは、例えば、監視を行うユーザが、遠隔監視PC5の操作部を介して、設定してもよい。侵入検知エリアが、監視を行うユーザによって設定される場合、遠隔監視PC5は、情報処理サーバ4へ、侵入検知エリアを示す情報を含む指示情報を送信する。あるいは、侵入検知エリアは、例えば、監視地点に対して、予め設定されていてもよい。
【0050】
例えば、判定部44は、監視地点に設けられたミリ波レーダ3のミリ波データに対して信号処理(例えば、クラスタリング処理)を行い、反射物に対応する領域を推定する。そして、判定部44は、反射物に対応する領域が侵入検知エリアに含まれるか否かを判定する。そして、判定部44は、推定した領域が侵入検知エリアに含まれる場合、その推定した領域に対応する反射物が人であるか否かを推定する。判定部44は、推定した領域が侵入検知エリアに含まれ、かつ、推定した領域に対応する反射物が人である場合、侵入検知エリアへ侵入する人が存在すると判定する。なお、判定部44は、反射物に対応する領域それぞれについて、反射物が何であるかを推定することによって、走査エリア内の人の位置を推定してもよい。
【0051】
ここで、判定部44は、侵入検知エリアでの人の存在の有無だけを判定結果とするのではなく、反射物(例えば、人)の検知判定ごとに、侵入検知エリアと反射物の位置関係等に基づいて信頼度を算出し、算出した信頼度を含む判定結果を出力するようにしてもよい。例えば、信頼度は、侵入検知エリアと反射物との距離を示す値であってもよいし、侵入検知エリアと反射物との距離および反射物の移動速度に基づく値であってもよい。信頼度は、侵入検知エリアへ侵入してくる可能性を示す指標であってもよい。
【0052】
判定部44は、データ同期部42から取得した、画像データとミリ波データを、画面生成部45へ出力する。判定部44は、判定結果を示す情報を画面生成部45へ出力する。また、判定部44は、判定結果を示す情報をデータ蓄積部43へ出力する。
【0053】
判定部44は、モード設定部46によって指示されるモードに応じた信号処理を行い、モードに応じた判定処理を生成してもよい。
【0054】
データ蓄積部43は、判定部44から、判定結果を示す情報を取得した場合、判定結果を示す情報を、画像データとミリ波データに対応付けて蓄積する。データ蓄積部43には、例えば、画像データとミリ波データと判定結果を示す情報が時系列で蓄積される。この場合、判定結果を示す情報は、侵入検知エリアへ侵入した人物の履歴を示す履歴情報に相当する。また、データ蓄積部43には、複数の監視地点それぞれの画像データとミリ波データと判定結果を示す情報とが蓄積されてもよい。
【0055】
画面生成部45は、判定部44から、同期が図られた(タイミングが調整された)画像データとミリ波データを取得する。画面生成部45は、判定部44から、判定結果を示す情報を取得する。また、画面生成部45は、通信部41を介して、遠隔監視PC5から侵入検知に関する設定および/または監視地点に関する指示を含む指示情報を取得してもよい。
【0056】
そして、画面生成部45は、同期が図られた(タイミングが調整された)画像データとミリ波データとを対応づけて、判定結果を示す監視画面を生成する。
【0057】
例えば、画面生成部45は、ミリ波レーダ座標系によって規定されるミリ波データの情報を、カメラ座標系へ変換する座標変換処理を行ってもよい。画面生成部45は、座標変換後のミリ波データを、画像データが示すカメラ画像に重畳する。
【0058】
そして、画面生成部45は、判定結果を示す情報を、画像データが示すカメラ画像に重畳する。例えば、画面生成部45は、侵入検知エリアへ侵入する人を示す枠をカメラ画像に重畳する。なお、画面生成部45は、ミリ波データの情報の一例として、または、判定結果を示す情報の一例として、反射物(例えば、人)に対応する領域が含まれる場合、反射物それぞれに対応する領域を示す枠をカメラ画像に重畳してもよい。
【0059】
なお、画面生成部45は、判定結果が信頼度を含む場合、信頼度に応じた情報をカメラ画像に重畳してもよい。例えば、画面生成部45は、信頼度の値に対応して、侵入検知エリアに侵入する人の枠を含む走査エリア内の人の位置を示す枠の表示態様を段階的に変化させて、カメラ画像に重畳してもよい。この場合、監視画面には、侵入検知エリアの周囲の人の信頼度に応じて、侵入検知エリアへ侵入する人を示す情報(例えば、人の位置を示す枠)が示される。
【0060】
また、画面生成部45は、監視地点の天頂図に対して、判定結果を示す情報を重畳し、判定結果を含む天頂図のデータを生成してもよい。この場合、画面生成部45は、ミリ波レーダ座標系によって規定されるミリ波データの情報(判定結果を示す情報)を、天頂図を規定する座標系へ変換する座標変換処理を行ってもよい。なお、天頂図は、監視エリアを含むエリアを上方から見て模した図である。天頂図のデータは、例えば、監視地点毎に予め決められ、データ蓄積部43に蓄積される。
【0061】
また、画面生成部45は、モード設定部46によって指示されるモードに応じた信号処理を行い、モードに応じた監視画面を生成する。
【0062】
そして、画面生成部45は、生成した監視画面のデータを遠隔監視PC5へ送信する。また、画面生成部45は、判定結果を含む天頂図のデータを生成した場合、天頂図のデータを遠隔監視PC5へ送信してもよい。
【0063】
モード設定部46は、通信部41を介して、指示情報を取得する。モード設定部46は、指示情報に含まれる、監視画面に関する設定モードを、判定部44および画面生成部45へ指示する。
【0064】
なお、モードとモードに応じて生成される監視画面の例については後述する。
【0065】
なお、上記では、侵入検知システムが、単体の情報処理サーバ4を有する構成の例を記載したが、本開示はこれに限定されない。例えば、侵入検知システムは、上記の情報処理サーバ4によって行われる処理を分担して実行する複数の情報処理サーバを有する構成であってもよい。この場合、例えば、情報処理サーバ4で行う処理を複数の情報処理サーバで分担し、IP(Internet Protocol)ネットワークおよび/またはLAN(Local Area Network)などの通信媒体を介して、複数の情報処理サーバの間で情報(例えば、ミリ波データ、画像データ、および/または、判定結果の情報)を受け渡すようにしてもよい。例えば、上記のデータ蓄積部43に対応するデータ蓄積専用の情報処理サーバを設けるとよい。
【0066】
また、侵入検知システムは、情報処理サーバ4で行う処理のうち少なくとも一部の処理を行うクラウドコンピュータを有してもよい。例えば、情報処理サーバ4で行う処理のうち、演算量が大きな処理、例えば、判定部44による判定処理を、高速処理が可能なクラウドコンピュータに行わせるようにし、残りの処理を他の情報処理サーバに行わせる構成を採用してもよい。
【0067】
<情報処理サーバにおける処理フロー>
次に、情報処理サーバ4において実行される処理フローの一例について
図3を参照して説明する。
【0068】
図3は、本実施の形態に係る情報処理サーバ4において実行される処理の一例を示すフローチャートである。なお、
図3に示すフローチャートは、1つの監視地点に設けられたカメラ2およびミリ波レーダ3から取得するデータに対する処理を示す。情報処理サーバ4は、各監視地点に設けられたカメラ2およびミリ波レーダ3から取得するデータに対して、
図3に示す処理を並行して行ってもよい。
【0069】
データ同期部42は、カメラ2から画像データを取得する(S101)。
【0070】
データ同期部42は、ミリ波レーダ3からミリ波データを取得する(S102)。
【0071】
なお、S101とS102の順は、これに限定されない。また、S101の処理は、カメラ2が画像データを送信する毎に実行され、S102の処理は、ミリ波レーダ3がミリ波データを送信する毎に実行される。
【0072】
データ同期部42は、画像データとミリ波データとの同期を図るデータ同期処理を行う(S103)。
【0073】
データ同期部42は、同期を図ったデータをデータ蓄積部43に蓄積するデータ蓄積処理を行う(S104)。
【0074】
判定部44は、ミリ波データに対してクラスタリング処理を行う(S105)。
【0075】
クラスタリング処理とは、ミリ波データに含まれる、1つの反射物に対応する複数の反射点をグルーピングする処理である。グルーピングする処理によって、反射物のサイズ、形状、色といった反射物に関する情報が取得されてもよい。なお、以下では、クラスタリング処理後の1つの反射物に対応する複数の反射点のグループを包含する領域を、反射領域と記載する。
【0076】
なお、クラスタリング処理では、判定部44は、データ蓄積部43に蓄積された、現時点よりも前のミリ波データを用いてもよい。判定部44は、現時点よりも前のミリ波データを用いてミリ波データを時系列で処理することによって、例えば、移動体に対応する反射点と、静止物に対応する反射点を区別してもよい。
【0077】
次に、判定部44は、侵入検知処理を行う(S106)。
【0078】
なお、判定部44は、モード設定部46から指示を受けて、モードに応じた処理を行ってもよい。
【0079】
次に、画面生成部45は、侵入検知の監視画面の生成処理を行う(S107)。そして、画面生成部45は、画像データとミリ波データとを対応付けて、判定部44による判定結果を示す監視画面のデータを生成する。
【0080】
例えば、画面生成部45は、画像データが示すカメラ画像に、ミリ波データを重畳する処理を行う。この処理において、画面生成部45は、カメラ座標系とミリ波レーダ座標系が揃うように、判定結果を示す情報を座標変換してもよい。そして、画面生成部45は、判定結果を示す情報の一例として、例えば、侵入検知エリアに侵入する人を特定する情報(例えば、侵入する人を囲む枠)を重畳する。
【0081】
画面生成部45は、生成した監視画面のデータを送信する処理を行う(S108)。
【0082】
次に、本実施の形態において設定されるモードの一例と、モードに基づいて表示される画面の一例について説明する。
【0083】
<設定モード>
設定モードは、監視を行うユーザが、設定を行うモードである。
図4は、本実施の形態における設定モード時の表示画面の例を示す図である。
【0084】
図4の上部には、「侵入検知」ボタン、「過去侵入検知情報確認」ボタン、および「設定」ボタンが示される。
図4は、設定モード時において遠隔監視PC5の表示部に表示される画面であるため、設定ボタンが押下された状態で表示される、
図4には、「侵入検知エリアカメラ画面」の領域V1、「侵入検知エリア天頂図」の領域V2および「レーダ情報画面」の領域V3の3つの領域が示される。
【0085】
「侵入検知エリアカメラ画面」の領域V1は、カメラ画像を表示する領域を示す。遠隔監視PC5は、画像データに基づいて、「侵入検知エリアカメラ画面」の領域V1にカメラ画像を表示する。
【0086】
「侵入検知エリア天頂図」の領域V2は、情報処理サーバ4によって生成される天頂図を表示する領域を示す。遠隔監視PC5は、天頂図のデータに基づいて、「侵入検知エリアカメラ画面」の領域V2に天頂図を表示する。天頂図に対して、ユーザは、遠隔監視PC5の操作部を介して、侵入検知エリアを設定する。例えば、ユーザは、マウス操作によって、天頂図の一部のエリアを選択し、選択したエリアを侵入検知エリアに設定する。
【0087】
なお、ユーザは、侵入検知を行わないエリア(侵入検知エリアフィルタ)を設定してもよい。設定した侵入検知エリア(または侵入検知エリアフィルア)の情報は、指示情報に含まれ、情報処理サーバ4へ送信される。
【0088】
「レーダ情報画面」の領域V3は、情報処理サーバ4から取得するミリ波データを表示する領域を示す。遠隔監視PC5は、ミリ波データに基づいて、ミリ波レーダ3の位置を基準とし、ミリ波レーダ3からの距離とミリ波レーダ3が走査する方位角方向とから規定される扇形の座標系に反射点が点在する画面を、「レーダ情報画面」の領域V3に表示する。
【0089】
情報処理サーバ4は、「設定モード」を示す指示情報を遠隔監視PC5から取得した場合、同期が図られた画像データおよびミリ波データを遠隔監視PC5へ送信する。また、情報処理サーバ4は、予めデータ蓄積部43に保持された天頂図のデータを遠隔監視PC5へ送信する。遠隔監視PC5は、受信したデータに基づいて、表示部の各領域に表示を行う。
【0090】
ユーザによって設定された侵入検知エリアの情報は指示情報に含まれ、情報処理サーバ4へ送信される。情報処理サーバ4の判定部44は、侵入検知エリアの情報に基づいて、ミリ波レーダ座標系における侵入検知エリアを設定する。この場合、判定部44は、天頂図における侵入検知エリアを、ミリ波レーダ座標系における侵入検知エリアへ変換する座標変換を行ってもよい。天頂図を規定する座標系とミリ波レーダ座標系との対応関係は、既知である。判定部44は、既知の対応関係に基づいて、天頂図における侵入検知エリアを、ミリ波レーダ座標系における侵入検知エリアへ変換してもよい。
【0091】
図5は、
図4にて示した各領域に表示される画面の一例を示す図である。
【0092】
領域V1には、カメラ画像が表示される。領域V2には、天頂図が表示される。領域V3には、レーダ情報が表示される。
【0093】
領域V2の天頂図において、カメラ2の位置は「C」、ミリ波レーダ3の位置は「R」である。また、領域V2の天頂図には、カメラ2の監視エリアを示す補助線と、ミリ波レーダ3の走査エリアを示す補助線とが示される。ユーザは、補助線を参照し、監視エリアと走査エリアの双方に含まれるエリアに侵入検知エリアDを設定する。
【0094】
<侵入検知モード>
侵入検知モードは、設定モードによって設定された侵入検知エリアに侵入する人を検知するモードである。
図6は、本実施の形態における侵入検知モード時の表示画面の例を示す図である。
【0095】
図6の上部には、「侵入検知」ボタン、「過去侵入検知情報確認」ボタン、および「設定」ボタンが示される。
図6は、侵入検知モード時において遠隔監視PC5の表示部に表示される画面であるため、侵入検知ボタンが押下された状態で表示される。
図6には、「侵入検知エリアカメラ画面」の領域V1、「侵入検知エリア天頂図」の領域V2、「侵入検知ログ画面」の領域V4および「発報画面」の領域V5の4つの領域が示される。
【0096】
「侵入検知エリアカメラ画面」の領域V1は、情報処理サーバ4によって生成された監視画面を表示する領域を示す。遠隔監視PC5は、監視画面のデータに基づいて、「侵入検知エリアカメラ画面」の領域V1に監視画面を表示する。監視画面には、カメラ画像に、ミリ波データに基づいた侵入検知処理の判定結果が重畳される。
【0097】
「侵入検知エリア天頂図」の領域V2は、情報処理サーバ4によって生成され、侵入検知処理の判定結果を含む天頂図を表示する領域を示す。遠隔監視PC5は、侵入検知処理の判定結果を含む天頂図のデータに基づいて、「侵入検知エリアカメラ画面」の領域V2に天頂図を表示する。
【0098】
「侵入検知ログ画面」の領域V4は、情報処理サーバ4によって生成された、侵入検知処理によって得られる侵入者のログ情報が表示される領域を示す。
【0099】
「発報画面」の領域V5は、侵入検知処理の判定結果に基づいて、侵入者が存在した場合に、警告を表示する領域を示す。
【0100】
情報処理サーバ4は、「侵入検知モード」を示す指示情報を遠隔監視PC5から取得した場合、判定部44は、設定された侵入検知エリアに対する侵入検知処理を実行する。そして、画面生成部45は、侵入検知処理の判定結果を示す情報をカメラ画像に重畳した監視画面のデータ、侵入検知処理の判定結果を示す情報を含む天頂図のデータを送信する。また、画面生成部45は、監視画面に基づいて、侵入者のログ情報を生成し、遠隔監視PC5へ送信する。遠隔監視PC5は、受信したデータに基づいて、表示部の各領域に表示を行う。
【0101】
図7は、
図6にて示した各領域に表示される画面の一例を示す図である。
【0102】
領域V1には、情報処理サーバ4によって生成された監視画面が表示される。なお、領域V1には、侵入者の位置を示す枠r1と、侵入者ではない人(侵入検知エリアに入っていない人)の位置を示す枠r2が示される。枠r1と枠r2は、例えば、異なる表示態様(例えば、異なる色)によって示される。
【0103】
なお、判定結果が、信頼度を含む場合には、侵入者の位置を示す枠r1および侵入者ではない人の位置を示す枠r2が、信頼度に対応した表示態様で表示されてもよい。例えば、侵入検知エリア外にいた人物が、侵入検知エリアに徐々に近づき、侵入検知エリア内に移動した場合、侵入検知エリアとその人物との距離に基づく信頼度に応じて、枠の色が白色から赤色に徐々に変化するように、グラデーション効果を用いて枠の表示を変化させる。また、例えば、緑色、黄色、赤色の順に複数の色を用いて、枠の表示を変化させるようにしてもよい。さらに、信頼度に応じて、枠線の太さ、種類、色調、明るさおよびコントラストの少なくとも1つを変化させたり、あるいは、枠を点滅表示させ、信頼度に応じて、点滅の間隔(時間)を変化させたりしてもよい。
【0104】
信頼度に対応した表示態様で枠を表示することによって、侵入検知エリアへ侵入してくる可能性が高いか否かを視覚的に示すことができる。
【0105】
ここで、ミリ波データを用いて検出される侵入者の位置を示し、カメラ画像に表示される枠r1の決定方法の一例を説明する。枠r1は、判定部44において侵入検知処理が実行された場合に決定される。
【0106】
判定部44がミリ波データを用いて、侵入者に対応する反射点を推定する。反射点は、ミリ波データを規定する2次元の座標系における点である。
【0107】
次に、画面生成部45は、カメラ座標系における、反射点に対応する点(以下、カメラ画像反射点と記載する)を算出する。例えば、画面生成部45は、カメラ2のカメラ設置位置情報を用いて、カメラ画像反射点を算出する。
【0108】
カメラ設置位置情報は、ミリ波レーダ座標系におけるカメラ2の設置位置を示す2次元座標と、カメラ2の設置方向とを含む。設置方向は、カメラ2が撮影したカメラ画像の中心の方向に相当する。
【0109】
次に、画面生成部45は、反射点とカメラ設置位置との距離を算出し、カメラの設置方向に対する反射点の方向を算出する。
【0110】
例えば、カメラ2を路面に対して水平に設置した場合、カメラ画像反射点のX座標(水平位置)は、カメラ2の設置方向に対する反射点の方向と、予め決められたカメラ2の画角の情報とに基づいて決定される。また、カメラ画像反射点のY座標(垂直方向)は、カメラ画像の垂直方向の中心に設定される。
【0111】
例えば、カメラ2を、路面に対して水平ではなく、俯角をつけて設置した場合、カメラ画像反射点のX座標とY座標は、カメラ2の設置方向に対する反射点の方向と、カメラ2の設置位置の高さと、カメラ2の俯角と、カメラ2の画角とに基づいて算出される。
【0112】
画面生成部45は、カメラ画像反射点を基準にした矩形の枠を決定する。例えば、矩形の幅および高さは、カメラ画像反射点とカメラ設置位置との距離に基づいて、予め基準となる幅および高さを拡大または縮小して設定される。例えば、カメラ画像反射点とカメラ設置位置との距離に反比例して、基準となる矩形の幅および高さを拡大または縮小して設定される。
【0113】
画面生成部45は、設定した幅および高さを有する矩形の枠を、カメラ画像反射点を中心に重畳し、監視画面を生成する。
【0114】
領域V2には、天頂図が表示される。領域V2の天頂図には、領域V1の枠r1が示す侵入者に対応する侵入者の位置を示す点P1と、その侵入者の移動の軌跡L1が示される。また、領域V1の枠r2が示す侵入者ではない人の位置を示す点P2と、その人の移動の軌跡L2が示される。位置P1と位置P2は、例えば、異なる表示態様(例えば、異なる色)によって示される。軌跡L1と軌跡L2は、例えば、異なる表示態様(例えば、異なる色)によって示される。
【0115】
なお、領域V1および領域V2において、侵入者では無い人に関する情報(枠r2、点P2および軌跡L2)は表示されなくてもよい。
【0116】
領域V4には、侵入者のログ情報が表示される。侵入者のログ情報は、例えば、領域V1の枠r1から切り取った侵入者を示す画像を含む。また、侵入者のログ情報は、侵入者が侵入検知エリアへ侵入を開始した時刻および侵入者が侵入検知エリアから外れた時刻を含む。また、侵入者には、侵入を検知した後に、識別子(ID:Identification)が付される。
【0117】
領域V5には、侵入者を検知したことを示す文字情報(発報情報)が表示される。発報情報を見た監視員は、侵入者の存在を把握することができる。なお、発報情報の表示と、他の報知装置(例えば、ランプおよび/またはブザー)とを、連動させてもよく、更には、外部の警報システムおよび/または監視システムと連動させてもよい。例えば、警戒地区全体の監視システムへ発報情報を配信することによって、外部の監視者に対しても報知することができる。
【0118】
<過去侵入検知情報確認モード>
過去侵入検知情報確認モードは、過去に検知された侵入者の情報を確認するモードである。
図8は、本実施の形態における過去侵入検知情報確認モード時の表示画面の例を示す図である。
【0119】
図8の上部には、「侵入検知」ボタン、「過去侵入検知情報確認」ボタン、および「設定」ボタンが示される。
図8は、過去侵入検知情報確認モード時において遠隔監視PC5の表示部に表示される画面であるため、過去侵入検知情報確認ボタンが押下された状態で表示される。
図8には、「侵入検知エリアカメラ画面」の領域V1、「侵入検知エリア天頂図」の領域V2、「侵入検知ログ画面」の領域V4および「発報画面」の領域V5の4つの領域が示される。
【0120】
なお、
図8の表示画面の例は、過去侵入検知情報確認ボタンが押下されている点を除いて、
図6に示した表示画面の例と同様であるので、詳細な説明は省略する。
【0121】
過去侵入検知情報確認モードは、
図6および
図7にて説明した侵入検知モードと、侵入検知ログ画面の領域V4に表示される情報が異なる。以下、この点について、
図9を用いて説明する。
【0122】
図9は、
図8にて示した各領域に表示される画面の一例を示す図である。
【0123】
領域V1、領域V2および領域V5の表示例は、
図7と同様であるので、詳細な説明は省略する。
【0124】
領域V4には、侵入者のログ情報が表示される。侵入者のログ情報は、例えば、領域V1の枠r1から切り取った侵入者を示す画像を含む。また、侵入者のログ情報は、侵入者が侵入検知エリアへ侵入を開始した時刻および侵入者が侵入検知エリアから外れた時刻を含む。また、侵入者には、侵入を検知した後に、識別子(ID:Identification)が付される。
【0125】
また、過去侵入検知情報確認モードでは、侵入検知エリアに過去に侵入した侵入者の情報が領域V4に表示される。
【0126】
図9の領域V4では、現在、侵入検知エリアに侵入している侵入者、すなわち、領域V1の枠r1が示す侵入者のログ情報の他に、2人の侵入者のログ情報が示される。2人の侵入者には、それぞれ、「123-2」および「123-1」というIDが付されている。2人の侵入者は、検知時刻に示すように、過去に検知された侵入者である。
【0127】
なお、ユーザが領域V4の表示を操作する(例えば、クリックする)ことによって、侵入者に対する情報が呼び出されてもよい。例えば、領域V4に表示された侵入者を選択する(クリックする)ことによって、選択された侵入者が侵入検知エリアに侵入していた間のカメラ画像が、領域V1または他の領域に表示されてもよい。
【0128】
また、ユーザが領域V4の表示を操作する(例えば、クリックする)ことによって、侵入者に対する設定を変更してもよい。例えば、領域V4に表示された侵入者を選択する(クリックする)ことによって、選択された侵入者に対して、侵入検知エリアへの侵入を許可する設定(フィルタ登録)が行われてもよい。侵入検知エリアへの侵入を許可された侵入者は、以後、侵入検知エリアへの侵入が検知されても、検知されたことを示す情報は表示されない。
【0129】
なお、上述した操作方法は一例であり、本開示はこれに限定されない。例えば、領域V4に表示された侵入者を選択する(クリックする)ことによって、メニューが表示されてもよい。ユーザは、表示されたメニューにおいてカメラ画像の表示および侵入を許可する設定を行ってもよい。
【0130】
以上説明したように、本実施の形態に係る情報処理サーバ4は、カメラが撮影した画像データと、ミリ波レーダが取得するミリ波データとの同期を図り(タイミングを調整し)、ミリ波データに基づいて、侵入する物体の存在を検知する侵入検知処理を行う。そして、本実施の形態に係る情報処理サーバ4は、同期を図った(タイミングを調整した)画像データとミリ波データとを対応づけて、侵入検知処理の判定結果を示す監視画面を生成する。本実施の形態によれば、カメラとレーダという2つのセンサデバイスを融合させ、精度の良い侵入検知を行うことができる。
【0131】
例えば、カメラのデータから得られるカメラ画像は、監視するユーザに対して視覚的に有効な情報を提供でき、ミリ波レーダのデータは、監視するユーザに対して、カメラ画像からは得られない詳細な情報を提供できる。そのため、本実施の形態では、ミリ波レーダから得られる侵入検知の結果をカメラ画像に対応付けることによって、精度の良い侵入検知を行うことができる。
【0132】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
【0133】
上記各実施の形態では、本開示はハードウェアを用いて構成する例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。
【0134】
また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。集積回路は、上記実施の形態の説明に用いた各機能ブロックを制御し、入力と出力を備えてもよい。これらは個別に1チップ化されてもよいし、各機能ブロックの一部又は全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
【0135】
また、集積回路化の手法にはLSIに限らず、専用回路または汎用プロセッサを用いて実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、又は、LSI内部の回路セルの接続、設定が再構成可能なリコンフィグラブル・プロセッサーを利用してもよい。
【0136】
更には、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、別技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【0137】
なお、本開示は、無線通信装置、または制御装置において実行される制御方法として表現することが可能である。また、本開示は、かかる制御方法をコンピュータにより動作させるためのプログラムとして表現することも可能である。更に、本開示は、かかるプログラムをコンピュータによる読み取りが可能な状態で記録した記録媒体として表現することも可能である。すなわち、本開示は、装置、方法、プログラム、記録媒体のうち、いずれのカテゴリーにおいても表現可能である。
【0138】
また、本開示は、部材の種類、配置、個数等は前述の実施の形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更することができる。
【産業上の利用可能性】
【0139】
本開示は、特定のエリアへの侵入を検知するのに好適である。
【符号の説明】
【0140】
1 侵入検知システム
2 カメラ
3 ミリ波レーダ
4 情報処理サーバ(制御装置)
5 遠隔監視PC
41 通信部
42 データ同期部
43 データ蓄積部
44 判定部
45 画面生成部
46 モード設定部