(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-25
(45)【発行日】2024-11-05
(54)【発明の名称】会議室監視システム
(51)【国際特許分類】
H04N 7/18 20060101AFI20241028BHJP
G08B 21/24 20060101ALI20241028BHJP
G08B 25/00 20060101ALI20241028BHJP
【FI】
H04N7/18 D
G08B21/24
G08B25/00 510M
(21)【出願番号】P 2020174270
(22)【出願日】2020-10-15
【審査請求日】2023-07-28
【新規性喪失の例外の表示】特許法第30条第2項適用 令和2年6月11日に、ウェブサイト(https://www.nri.com/jp/news/newsrelease/lst/2020/cc/0611_1)にて公開。
【新規性喪失の例外の表示】特許法第30条第2項適用 令和2年6月11日に、ウェブサイト(https://www.nri.com/-/media/Corporate/jp/Files/PDF/news/newsrelease/cc/2020/200611_1.pdf)にて公開。
【新規性喪失の例外の表示】特許法第30条第2項適用 令和2年7月31日に、ウェブサイト(https://www.nri.com/-/media/Corporate/jp/Files/PDF/news/info/cc/2020/200731_1.pdf)にて公開。
(73)【特許権者】
【識別番号】000155469
【氏名又は名称】株式会社野村総合研究所
(74)【代理人】
【識別番号】110002354
【氏名又は名称】弁理士法人平和国際特許事務所
(72)【発明者】
【氏名】岩永 耕太
(72)【発明者】
【氏名】内山 剛志
(72)【発明者】
【氏名】浅辺 公彦
【審査官】武田 悟
(56)【参考文献】
【文献】特開2019-79408(JP,A)
【文献】中国特許出願公開第111382719(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G08B 21/24 , 25/00
(57)【特許請求の範囲】
【請求項1】
複数の区画にそれぞれ1人以内が位置するように定められた会議室内の撮像画像を取得する撮像部と、
制御部とを備え、
前記制御部は、
前記撮像部を制御することにより、会議室の撮像画像を継続して取得し、
撮像画像から人の画像を抽出し、
抽出した人の画像に基づいて会議室内の状態を判定し、異常であると判定した場合に、異常であることを報知する報知処理を行
い、
前記制御部は、
撮像画像から人の画像である頭部画像を抽出し、頭部画像の画像サイズに基づいて、頭部画像と区画とを対応付け、
1つの区画と、2以上の頭部画像とが対応付けられた場合に、1つの区画に2以上の人が存在していると判定して、前記報知処理を行う
ことを特徴とする会議室監視装置。
【請求項2】
前記制御部は、撮像画像から抽出した人の画像をカウントし、カウント数が、会議室の定員を超えた場合に、前記報知処理を行う
ことを特徴とする請求項
1に記載の会議室監視装置。
【請求項3】
前記制御部は、撮像画像から抽出した人の画像である頭部画像を解析することにより、頭部画像にマスクが含まれないと判定した場合に、前記報知処理を行う
ことを特徴とする請求項1
又は2に記載の会議室監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像画像を利用して会議を監視する会議室監視システムに関するものである。
【背景技術】
【0002】
従来、監視カメラの映像を解析することにより、特定の人物を検出する監視システムがあった。例えば、特許文献1に記載のシステムは、カメラ映像を解析することにより、対象者を検出し、この対象者に対して情報を提供するものである。
ところで、感染症が流行している時期において、複数の人が会議室等に集まることは、これらの人の間での感染リスクを高めるおそれがある。
しかし、従来の監視システムは、会議室等における感染症の感染リスクを低減できるものではなかった。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の課題は、会議室等における感染症の感染リスクを低減できる監視システムを提供することである。
【課題を解決するための手段】
【0005】
本発明の一形態は、複数の区画にそれぞれ1人以内が位置するように定められた会議室内の撮像画像を取得する撮像部と、制御部とを備え、前記制御部は、前記撮像部を制御することにより、会議室の撮像画像を継続して取得し、撮像画像から人の画像を抽出し、抽出した人の画像に基づいて会議室内の状態を判定し、異常であると判定した場合に、異常であることを報知する報知処理を行い、前記制御部は、撮像画像から人の画像である頭部画像を抽出し、頭部画像の画像サイズに基づいて、頭部画像と区画とを対応付け、1つの区画と、2以上の頭部画像とが対応付けられた場合に、1つの区画に2以上の人が存在していると判定して、前記報知処理を行うことを特徴とする会議室監視装置の構成にした。
【発明の効果】
【0006】
本発明によれば、会議室等における感染症の感染リスクを低減できる監視システムを提供できる。
【図面の簡単な説明】
【0007】
【
図1】第1実施形態の会議室(1号室)の平面図、モニタ、監視装置を示す図である。
【
図2】第1実施形態の会議室監視システムのブロック図である。
【
図4】第1実施形態の監視装置が記憶する許容時間-定員テーブル、区画-顔画像初期設定テーブルを説明する図である。
【
図5】第1実施形態の監視装置が記憶する画像解析履歴記憶部を説明する図である。
【
図6】第1実施形態の監視装置が記憶する区画-顔画像監視テーブルを説明する図である。
【
図7】第1実施形態のサーバが記憶する許容時間-定員テーブル、予約情報記憶部を説明する図である。
【
図8】第1実施形態の初期設定処理のフローチャートである。
【
図9】第1実施形態の監視処理のフローチャートである。
【
図10】第1実施形態の会議室(1号室)の正常時の撮像画像を示す図である。
【
図11】第1実施形態の会議室(1号室)の異常時の平面図を示す図である。
【
図12】第1実施形態の会議室(1号室)の異常時の撮像画像を示す図である。
【
図13】第1実施形態の報知処理のフローチャートである。
【
図14】第1実施形態のスケジュール管理処理のフローチャートである。
【
図15】第1実施形態の予約繰り下げ処理のフローチャートである。
【
図16】第1実施形態の会議時間延長処理のフローチャートである。
【
図17】第2実施形態の会議室の平面図を示す図である。
【
図18】第3実施形態のモニタリング画面を説明する図である。
【発明を実施するための形態】
【0008】
(実施形態)
以下、図面等を参照して、本発明の実施形態について説明する。
(第1実施形態)
図1は、第1実施形態の会議室1(1号室)の平面図、モニタ2、監視装置40を示す図である。
図2は、第1実施形態の会議室監視システム10のブロック図である。
図3は、第1実施形態の管理端末11を示す図である。
図4は、第1実施形態の監視装置40が記憶する許容時間-定員テーブル45b、区画-顔画像初期設定テーブル45cを説明する図である。
図5は、第1実施形態の監視装置40が記憶する画像解析履歴記憶部45dを説明する図である。
図6は、第1実施形態の監視装置40が記憶する区画-顔画像監視テーブル45eを説明する図である。
図7は、第1実施形態のサーバ60が記憶する許容時間-定員テーブル65b、予約情報記憶部65hを説明する図である。
【0009】
会議室監視システム10は、会議室内に滞在する人を監視することにより、人から人への感染症の感染リスクを低減するものである。
本実施形態では、同一施設内の複数の会議室1に関するシステムについて説明する
図2等に示すように、実施形態の会議室監視システム10は、一例として3つの会議室1(1~3号室)に関するものである。
【0010】
図1(A)に示すように、実施形態の会議室1(1号室)の平面図は、
図1(A)の縦方向Yに細長い長方形であり、また、会議室1(1号室)の中央には縦方向Yに細長い長方形のテーブル3が配置されている。会議室1(1号室)の定員は、8人である。テーブル3の左右には、それぞれ4人が位置することができる区画L1~L4,R1~R4が定められている。
会議室1(1~3号室)の定員は、部屋の大きさ、テーブル3等に応じて、会議室毎に異なり、それぞれ8,10,12人である。以下の説明では、主に、会議室1(1号室)を例にして説明する。なお、会議室監視システム10は、後述する初期設定によって、定員が8,10,12人以外であったり、席の配置が
図1(A)とは異なる種々の会議室に対応することができる。
【0011】
なお、席の配置は、例えば、1つの席が1つの机及び1つの椅子を備える形態では、複数の席が全て一方向に向いているレイアウト(いわゆるスクール形成)でもよく、また、この形態では、席が2列以上(例えば3列(右、中央、左)等)に配列されていてもよい。
また、本システムは、会議室に限定されず、複数の人が定められた区画に位置して話しをする空間に適用することができ、例えば、教室、打ち合わせに利用される部屋、応接室等に適用することができる。
【0012】
図1に示すように、会議室1には、モニタ2が設置されていてもよい。
モニタ2は、例えば、会議室1に存在する全ての人が視聴可能な大型の表示装置であり、市場で広く流通しているものでもよい。モニタ2は、例えば、会議室1の壁に固定されている。モニタ2は、例えば、会議室1の利用時において、利用者が所有する端末の画面等を表示するために利用される。
【0013】
(会議室監視システム10の構成)
図2に示すように、会議室監視システム10は、管理端末11、利用者端末12、ルータ13、部屋システム30、サーバ60を備える。
管理端末11、ルータ13、部屋システム30は、会議室1が設置された施設のシステムを構成する。
管理端末11、利用者端末12、ルータ13、部屋システム30は、LAN(無線LANを一部に含んでいてもよい)等の施設内の通信網15に接続されており、必要に応じて通信することができる。また、会議室監視システム10は、会議室1の異常報知の処理に関して、クラウドコンピューティングのシステムを利用するようになっている。施設の部屋システム30の各装置40,50,59と、サーバ60とは、インターネット等の通信網16を介して、必要に応じて通信することができる。
【0014】
なお、実施形態において、コンピュータとは、記憶装置、制御装置、演算装置等を備えた電子計算機をいい、本システムを構成する各装置11,12,40,50,59,60は、記憶部、制御部等を備え、コンピュータの概念に含まれる。また、各装置11,12,40,50,59,60は、単体の電子計算機によって構成される形態に限定されず、必要に応じて複数の電子計算機から構成されていてもよい。
記憶部は、各装置11,12,40,50,59,60の動作に必要なプログラム、情報等を記憶するハードディスク、半導体メモリ素子等の記憶装置である。
制御部は、各装置11,12,40,50,59,60の動作に必要な演算処理をしたり、各装置11,12,40,50,59,60を統括的に制御するための装置である。制御部は、例えば、CPU(中央処理装置)等から構成される。制御部は、記憶部に記憶された各種プログラムを適宜読み出して実行することにより、実施形態の各種機能を実現している。
【0015】
管理端末11は、会議室1の管理者等が操作する端末である。管理端末11は、システム専用のコンピュータでも、汎用のパーソナルコンピュータ(デスクトップ型、ラップトップ型、タブレット型等)でもよい。管理端末11は、主に、監視装置40の初期設定をするために利用される。
管理端末11は、操作部11a、表示部11b、記憶部11c、制御部11dを備える。
図2、
図3に示すように、操作部11aは、マウス、キーボード等の入力装置である。
表示部11bは、液晶表示装置等の表示装置である。
【0016】
利用者端末12は、会議室1の利用者が操作する端末である。利用者端末12は、例えば、管理端末11と同様なパーソナルコンピュータ等や、多機能型携帯電話機等である。利用者端末12は、インストールされているアプリケーションを起動したり、WEBサーバに接続することにより、主に、会議室1の利用を予約する際に利用される。なお、管理者等が所有する利用者端末12は、管理端末11の機能を有していてもよい。
利用者端末12は、操作部12a、表示部12b、記憶部12c、制御部12dを備える。
操作部12a、表示部12bは、管理端末11の操作部11a、表示部11bと同様な部材である。
【0017】
(部屋システム30)
部屋システム30は、各会議室1に配置される装置によるシステムである。
部屋システム30は、監視装置40(撮像装置)、スマートスピーカ50(音声出力装置)、扉タブレット59を備える。同一の会議室1に配置されたこれらの装置40,50,59は、予めペアリングすることにより、対応付けられている。これらの装置40,50,59間は、施設内の通信網15を介して、必要に応じて通信可能である。
監視装置40は、会議室監視システム10の主要な機能に関する制御、処理を行う端末である。監視装置40は、カメラ43を内蔵した各種コンピュータ、カメラ43を接続したコンピュータを用いることができる。実施形態では、監視装置40は、カメラ43を内蔵したコンピュータである例を説明する。また、実施形態では、監視装置40は、専用の入力装置、表示装置を備えず、利用者端末12等によって操作される例を示すが、これに限定されず、監視装置40自体が、入力装置、表示装置等を備えていてもよい。例えば、監視装置40及びモニタ2は、1台のモニタ一体型コンピュータ(例えば、Surface Hub(登録商標)(販売者:日本マイクロソフト株式会社)等)であってもよい。
図1(B)に示すように、監視装置40は、モニタ2の直下に取り付けられている。監視装置40の取付形態は、限定されず、例えば、両面テープ、取付具等を利用することができる。また、監視装置40の配置は、モニタ2の直下に限定されず、カメラ43の撮影画角θ43内に全ての区画が含まれていればよく、例えば、モニタ2の直上に取り付けてもよく、モニタ2から離れた位置に配置してもよい。
【0018】
図1、
図2に示すように、監視装置40は、通信部42、カメラ43(撮像部)、記憶部45、制御部46を備える。
通信部42は、外部機器との間で、各種情報を通信するためのインターフェースであり、例えば、有線LANのケーブル接続端子、無線LANの通信装置等を備える。
カメラ43は、会議室内の撮像画像を取得する撮像装置である。カメラ43は、撮影画角θ43内に8つの区画が含まれるように配置されている。実施形態では、カメラ43は、撮像画像内において左右の区画が左右対称になるように、配置されている。
【0019】
記憶部45は、会議室監視システム10の主要な機能に関するプログラムである監視プログラム45a、許容時間-定員テーブル45b、区画-顔画像初期設定テーブル45c、画像解析履歴記憶部45d、区画-顔画像監視テーブル45eを有し、また、各種処理をする際に必要な情報を一時記憶等したりする。
監視プログラム45aは、会議室監視システム10の導入時等に予め記憶したものでもよく、デジタルコンテンツの配信サーバ等からダウンロードしたものでもよい。
許容時間-定員テーブル45b、区画-顔画像初期設定テーブル45c、画像解析履歴記憶部45dは、初期設定の処理(
図8参照)によって作成される。また、画像解析履歴記憶部45d、区画-顔画像監視テーブル45eは、監視処理(
図9参照)によって作成される。これらのテーブルの詳細は、後述する。
制御部46は、会議室監視システム10の動作に関する各種制御、処理を行う。
【0020】
スマートスピーカ50は、AIスピーカとも称されるスピーカ装置である。
スマートスピーカ50は、マイク51(音声入出力部)、通信部52、スピーカ53(音声出力部)、記憶部55、制御部56を備える。
スマートスピーカ50は、対話型の音声操作に対応したAIアシスタント機能を有し、また、内蔵されているマイク51で音声を認識することにより操作可能な装置である。これにより、会議室内の利用者は、音声を利用して、スマートスピーカ50、監視装置40を操作できるので利便性がよい。
通信部52は、通信部42と同様に、外部機器との間で通信するための装置である。
【0021】
扉タブレット59は、会議室1の扉4に設置されたブレット型コンピュータ等である。
扉タブレット59の表示部59bは、会議室1の使用状態、使用予定等の情報を表示する。
【0022】
(サーバ60)
サーバ60は、クラウドコンピューティングサービスを提供するサーバである。なお、サーバ60は、サーバーレスコンピューティングのシステムで運用されるサーバを含む概念である。
サーバ60は、記憶部65、制御部66を備える。
なお、実施形態では、サーバ60が会議室1の監視に関する処理(つまり会議室1の異常に関する処理)、会議室1の予約に関する処理を兼用する例を示すが、これらの処理は、独立したサーバが行ってもよい。この場合には、会議室1の監視に関するサーバと、会議室1の予約に関するサーバとが、必要に応じて、通信すればよい。
【0023】
記憶部65は、許容時間-定員テーブル65b、区画-顔画像初期設定テーブル65c、画像解析履歴記憶部65d(解析結果記憶部)、区画-顔画像監視テーブル65e、報知音声記憶部65g、予約情報記憶部65hを有する。
図7(A)に示すように、許容時間-定員テーブル65bは、全会議室1(1~3号室)について、定員、許容時間を対応付けて記憶する。許容時間-定員テーブル65bが記憶する情報と、各部屋システム30の各会議室1の監視装置40が記憶する許容時間-定員テーブル45bとは、同じである。
図示は省略するが、区画-顔画像初期設定テーブル65c、画像解析履歴記憶部65d、区画-顔画像監視テーブル65eも、同様に、各部屋システム30の監視装置40が記憶する区画-顔画像初期設定テーブル45c、画像解析履歴記憶部45d、区画-顔画像監視テーブル45eと同じ情報を記憶する。
【0024】
報知音声記憶部65gは、会議室1の異常を報知する報知音声を記憶する。
図7(B)に示すように、予約情報記憶部65hは、各会議室1の予約情報を記憶する。
予約情報は、会議室1の部屋番号(1~3号)、予約開始時刻、予約終了時刻、予約IDを対応付けた情報である。
予約IDは、各予約情報の識別情報である。
詳細な説明は省略するが、サーバ60の制御部46は、利用者端末12等から予約を受け付けて、予約IDを予約情報に付与して、予約情報記憶部65hに記憶する。
なお、サーバ60が複数の会議室1の予約情報を管理する構成は、例えば、WEBブラウザを利用したスケージューラー、スケジュール管理用のアプリケーションを用いることにより、利用者端末12等から、会議室1の予約情報の管理(予約情報の登録等)をできるようにしてもよい。
【0025】
(会議室監視システム10の動作)
会議室監視システム10の動作について説明する。
図8は、第1実施形態の初期設定処理のフローチャートである。
図9は、第1実施形態の監視処理のフローチャートである。
図10は、第1実施形態の会議室1(1号室)の正常時の撮像画像を示す図である。
図11は、第1実施形態の会議室1(1号室)の異常時の平面図を示す図である。
図12は、第1実施形態の会議室1(1号室)の異常時の撮像画像を示す図である。
図13は、第1実施形態の報知処理のフローチャートである。
なお、
図10、
図12に示す撮像画像71,72内の文字情報等は、説明の便宜上、表示したものである。
また、会議室監視システム10の動作の説明は、主に、会議室1(1号室)について説明し、また、部屋番号の付記を適宜省略する。
【0026】
(初期設定処理)
会議室監視システム10を利用する前提として、会議室1の管理者等は、管理端末11を操作することにより、監視装置40の初期設定を行う。また、会議室1の管理者等は、初期設定時には、会議室1の区画に配置された椅子に、人を座らせる。
実施形態では、会議室1の定員である8人が、区画L1~L4、R1~R4に配置された椅子に座る。なお、ここでいう定員とは、システム運用上において、会議室の運営者等が設定した定員をいう。システム運用上の定員は、人同士の間隔を広くするために、平時の使用時(感染症の感染リスクの警戒等が不要である際の会議室の使用時)よりも、少なく設定することができ、例えば、平時の使用時の50%以下に設定できる。各図は、システム運用上の定員に対応した、会議室の配置等を図示する。
図3に示すように、初期設定時には、管理端末11の表示部11bには、初期設定画面11fが表示される。会議室1の管理者等は、初期設定画面11fに従って操作部23を操作する。
【0027】
S1において、監視装置40の制御部46は、初期設定の情報の入力を受け付ける。
この場合、監視装置40は、管理端末11の入力情報を、サーバ60を介して取得する。
図3に示すように、初期設定の処理では、管理端末11の制御部11dは、初期設定画面11fを表示する。
初期設定画面11fは、初期設定を行う部屋システム30が設置された会議室1の部屋番号11g、会議の許容時間11h、定員11iの入力を受け付ける画面である。許容時間は、会議を継続できる時間である。会議室1の定員は、区画数に等しい。許容時間、会議室1の定員は、例えば、会議室1の管理者等が会議室1の大きさ等を考慮することにより、定めることができる。
【0028】
図3は、部屋番号11g、許容時間11h、定員11iが、それぞれ1号室、60分、8人と入力された例である。
そして、会議室1の管理者等は、これらの入力情報を決定する際には、決定ボタン11jを操作すればよい。
これにより、管理端末11の制御部11dは、部屋番号、許容時間、定員の入力情報をサーバ60に送信する。
サーバ60の制御部66は、部屋番号、許容時間、定員の入力情報を受信すると、これらの情報を許容時間-定員テーブル65bに記憶する。そして、制御部66は、これらの入力情報を監視装置40に送信する。
監視装置40の制御部46は、部屋番号、許容時間、定員の入力情報を受信すると、これらの情報を許容時間-定員テーブル45b(
図4参照)に記憶する。
【0029】
サーバ60の制御部66は、部屋番号、許容時間、定員の初期設定を、3つの会議室1(1~3号室)について、それぞれ受け付ける。
図7(A)の許容時間-定員テーブル65bに示すように、このため、サーバ60の制御部66は、3つの会議室1(1~3号室)について、定員、許容時間を対応付けて記憶する。
また、許容時間-定員テーブル45bに示すように、各会議室1に設置されている監視装置40の制御部46は、各会議室1の定員、許容時間を対応付けて記憶する。
【0030】
S2において、監視装置40の制御部46は、許容時間、定員の入力情報をサーバ60から受信することに応じて(S1)、カメラ43を制御することにより、会議室1の撮像画像を取得する。
S3において、監視装置40の制御部46は、この取得した撮像画像に対して、画像認識の処理を行うことにより、人の顔の画像である顔画像(頭部画像)を抽出する。画像認識の処理は、公知の手法を用いることができ、例えば、撮像画像のなかから動きのある領域を抽出することにより人を検出後、さらに、顔のパーツ(目、鼻、口等)の画像に基づいて、人の顔を認識することができる。
実施形態では、8つの顔画像FL1~FL4,FR1~FR4(
図10参照)が、撮像画像71から抽出される。
なお、初期設定時の撮像画像は、後述する監視処理時(正常時)の撮像画像71とは異なるが、実施形態では、適宜流用して説明する。
【0031】
S4において、監視装置40の制御部46は、8つ顔画像FL1~FL4,FR1~FR4と、区画L1~L4,R1~R4とを対応付ける処理を行う。
この場合、制御部46は、撮像画像71内における8つの顔画像FL1~FL4,FR1~FR4を、左右の位置に応じて、左側の顔画像FL1~FL4、右側の顔画像FR1~FR4に振り分ける。
そして、制御部46は、カメラ43の撮像画像71に基づいて、顔画像FL1~FL4,FR1~FR4の画像サイズを取得する。画像サイズは、例えば、顔画像FL1~FL4,FR1~FR4の最大外形(縦及び横方向の大きさ)を、ピクセル等の単位で表すことができる。
図4(D)の区画-顔画像初期設定テーブル45cに示すように、実施形態では、説明の便宜上、最も大きい顔画像FL1の最大外形の「縦サイズ×横サイズ」を「100×100」に設定し、最も小さい顔画像FL4の最大外形の「横サイズ×縦サイズ」を「25×25」に設定した(以下、「横サイズ×縦サイズ」の記載を省略し、単に「25×25」等ともいう)。そして、これらの比率と、顔画像FL1~FL4の画像サイズの比率に基づいて、顔画像FL2,FL3の画像サイズを、それぞれ「37.5×37.5」、「75×75」と算出することにより取得した。
同様に、制御部46は、顔画像FR1~FR4についても、画像サイズを取得する。
但し、
図1(A)等の例では、区画L1~L4の各区画と、区画R1~R4の各区画とは、縦方向Y(カメラ43の光軸方向)において、同じ位置である。このため、左右で対応する2つの顔画像(例えば、顔画像FL1,FR1)は、通常、同じサイズである。そのため、制御部46は、顔画像FR1~FR4の画像取得を省略し、顔画像FR1~FR4の画像サイズを、顔画像FL1~FL4と同じ画像サイズに設定してもよい。
【0032】
図10等に示すように、人及びカメラ43間の距離が小さい程、顔画像の大きさは小さくなる。また、左側の区画L1~L4に存在する人の顔画像FL1~FL4は、撮像画像71内の左側に位置し、一方、右側の区画R1~R4に存在する人の顔画像FR1~FR4は、撮像画像71内の右側に位置する。
このため、区画-顔画像初期設定テーブル45cは、撮像画像71内の左側に位置する顔画像FL1,FL2,FL3,FL4が、大きい順に、区画-顔画像初期設定テーブル45cの区画L1,L2,L3,L4に配置されている。同様に、区画-顔画像初期設定テーブル45cは、右側の顔画像FR1,FR2,FR3,FR4についても、区画R1,R2,R3,R4の順に配置されている。これにより、区画-顔画像初期設定テーブル45cは、会議室1の人の配置に対応して情報を記憶することができる。
以上の処理によって、各区画L1~L4,R1~R4と、各顔画像FL1~FL4,FR1~FR4とが、画像サイズ、左右の位置に基づいて、対応付けられる。
【0033】
S5において、監視装置40の制御部46は、閾値を設定する。
図4(D)の区画-顔画像初期設定テーブル45cに示すように、制御部46は、顔画像のサイズ間の中央のサイズを算出し、これを閾値に設定する。
なお、
図4(D)の例では、最も大きい顔画像FL1の最大値112.5、最も小さい顔画像FL4の最小値12.5も、他の閾値を勘案することにより、算出した。また、説明を簡略するために、左右の顔画像のサイズ、縦横のサイズを、同じ数値とした。
閾値は、後述する密接判定処理において、利用される。
【0034】
制御部46は、以上により、初期設定処理を終了する。
制御部46は、初期設定により、許容時間-定員テーブル45b、区画-顔画像初期設定テーブル45cを作成し、これらの情報を記憶部45に記憶する。
【0035】
初期設定は、原則として、会議室監視システム10の導入時等に実行すれば、その後は、行う必要がない。但し、テーブル3の配置の変更等にともない、会議室内の区画の配置が変更されたり、定員が変更された場合、監視装置40の配置を変更した場合等には、初期設定が再度必要となる。
【0036】
(監視処理)
監視処理は、会議室1で会議を行う際の処理であり、主に、監視装置40によって行われる。
図9に示すように、S10において、監視装置40の制御部46は、会議が開始したか否かを判定する。この判定は、「撮像画像を取得して、撮像画像から人画像、顔画像等を抽出する処理」(
図8のS2,S3参照)と同様な処理を行うことにより、人画像等が抽出された場合に、会議開始と判定すればよい。つまり、会議開始により、会議室1が在室になった場合には、撮像画像から人画像等が抽出されるためである。
制御部46は、会議開始と判定した場合には(S10:YES)、S11に進み、一方、会議開始ではないと判定した場合には(S10:NO)、このS10の処理を繰り返す。
【0037】
S11において、監視装置40の制御部46は、S2,S3と同様に、カメラ43を制御することにより会議室1の撮像画像を取得し、また、人画像、顔画像等を抽出する。そして、制御部46は、撮像画像内における各顔画像の位置、サイズを取得する。
【0038】
(人数をカウント(密集情報の取得))
S12において、監視装置40の制御部46は、初期設定時のS3と同様に、S11で取得した撮像画像を解析することにより、会議室内に存在する人数をカウントする。カウントした人数が会議室1の定員よりも多い状態は、会議室1内に、複数の人が密集した状態とみなすことができる。制御部46は、会議室内に存在する人数の情報を画像解析履歴記憶部45dに記憶する。
図示は省略するが、監視装置40の制御部46は、カウントした人数の情報をサーバ60に送信し、サーバ60の制御部66は、これを受信すると画像解析履歴記憶部65dに記憶する。
【0039】
(区画-顔画像監視テーブル45eの作成(密接情報の取得))
S13において、監視装置40の制御部46は、抽出した顔画像と、区画と対応付ける処理を行うことにより、区画-顔画像監視テーブル45eを作成しこれを記憶部45に記憶する。図示は省略するが、監視装置40の制御部46は、区画-顔画像監視テーブル45eの情報をサーバ60に送信し、サーバ60の制御部66は、これを受信すると、区画-顔画像監視テーブル65eとして記憶部65に記憶する。
【0040】
この処理では、制御部46は、区画-顔画像初期設定テーブル45cの閾値を参照することにより、顔画像のサイズに対応する区画を選択する。
図6(A)の区画-顔画像監視テーブル45e(D10300)は、
図10に示す撮像画像71に基づいて作成されたものである。
例えば、撮像画像71から抽出した顔画像FL3は、画像サイズ「40×40」である。この画像サイズは、区画-顔画像初期設定テーブル45cの区画L3の顔画像の画像サイズ「(37.5~62.5)×(37.5~62.5)」の範囲内である。このため、制御部46は、この顔画像FL3と、区画L3と対応付ける。同様に、制御部46は、他の左側の顔画像FL1,FL2,FL4と、区画L1,L2,L4とを、それぞれ対応付ける。
同様に、制御部46は、右側の4つの顔画像FR1~FR4と、顔画像FR1~FR4とを、画像サイズに基づいて、それぞれ対応付ける。
制御部46は、このような処理によって、区画-顔画像監視テーブル45e(D10300)を作成し、これを記憶部45に記憶する。
【0041】
一方、
図6(B)の区画-顔画像監視テーブル45e(D11050)は、会議室内の人の配置が
図11に示す状態であり、
図12に示す撮像画像72に基づいて作成されたものである。
この例では、撮像画像72から抽出した顔画像FL3は、画像サイズ「65×65」である。この画像サイズは、区画-顔画像初期設定テーブル45cの区画L2の顔画像の画像サイズ「(62.5~87.5)×(62.5~87.5)」の範囲内である。このため、制御部46は、この顔画像FL2と、区画L3と対応付ける。
また、顔画像FL2は、画像サイズ「70×71」であり、この画像サイズも区画-顔画像初期設定テーブル45cの区画L2の顔画像の画像サイズ「(62.5~87.5)×(62.5~87.5)」の範囲内である。このため、制御部46は、この顔画像FL2も、区画L2と対応付ける。
このため、区画-顔画像監視テーブル45e(D11050)は、顔画像FL2,FL3の2つが、同じ区画L2に対応付けられた情報を記憶する。
ここで、1つの区画に2つ以上の顔画像が対応付けられている状態は、1つの区画に2人以上が存在する状態である。このため、この状態は、2人以上の距離が密接した状態(例えば、人同士の距離が1~2m以内等)とみなすことができる。
【0042】
(マスク未着用情報の取得)
S14において、監視装置40の制御部46は、S11で取得した各顔画像のパーツを解析することにより、顔画像内にマスクの画像が含まれるか否かを判定する。この判定方法は、種々の方法があり、例えば、複数のマスク画像を記憶部45に記憶しておき、各顔画像のパーツと、マスク画像との一致度合いを判定する方法がある。
ここで、マスク画像が含まれないことは、そのマスク画像に対応する人がマスク未着用(マスクを着用してない状態)とみなすことができる。
図4(D)に示すように、制御部46は、マスク未着用である顔画像に対応付いた区画の情報を、画像解析履歴記憶部45dに記憶する。
図示は省略するが、監視装置40の制御部46は、マスク未着用である顔画像に対応付いた区画の情報をサーバ60に送信し、サーバ60の制御部66は、これを受信すると記憶部65に記憶する。
【0043】
S15において、監視装置40の制御部46は、前回のS15の判定がYESであった時点から1分が経過した否かを判定する。制御部46は、1分が経過したと判定した場合には(S15:YES)、S16に進み、一方、1分が経過していないと判定した場合には(S15:NO)、S11からの処理を繰り返す。
【0044】
このS15の処理により、監視装置40の制御部46は、1分間における会議室1の人数の情報、区画-顔画像監視テーブルの情報、マスク未着者の情報を記憶することができる。
監視装置40の制御部46は、S11~S15の一連の処理時間(つまり1回のループ時間)を、10秒で行う。つまり、制御部46は、S15の処理を、10秒間隔で行う。このため、制御部46は、1分間で、6つのレコードを取得する。
図5の画像解析履歴記憶部45dは、便宜上、時刻の秒単位が丁度00秒の時点で1回目のレコードを取得し、時刻の秒単位が丁度50秒の時点で6回目のレコードを取得した例を示す。
このため、監視装置40の制御部46は、時刻の秒単位が50秒を経過した時点で(S15:YES)、S16に進む。
なお、監視装置40は、S11~S14で取得した情報をサーバ60にも送信する。このため、サーバ60は、画像解析履歴記憶部45dと同様な情報と、会議室1の部屋番号とを対応付けて、画像解析履歴記憶部65dに記憶する。
【0045】
上記処理によって、S16以降の処理は、会議開始後、1分経過するごとに繰り返し行われる。
なお、S15までの処理と、S16以降の処理とは、シリアルとして両者を連続した処理によって実現してもよく、また、両者を独立して動作させデータベースを介した非同期処理によって実現してもよい。
【0046】
(密集判定処理)
S16において、監視装置40の制御部46は、画像解析履歴記憶部45dを参照することにより、密集状態であるか否かを判定する。この場合、制御部46は、1分間で取得した6つのカウント人数が、会議室1の定員を超過していたか否かを判定する。
制御部46は、カウント人数が、会議室1の定員を超えていた場合には(S16:YES)、S16aに進み、一方、定員を超えていないと判定した場合には(S16:NO)、S17に進む。
例えば、
図1(A)、
図10に示す場面に対応した10:30:00~10:30:50のレコードでは、6つのカウント人数が8人であり会議室1の定員以下であるので(S16:NO)、制御部46は、S17に進む。
一方、
図11、
図12に示す場面に対応した11:05:00~11:05:50では、5つのレコードのカウント人数が9人であり会議室1の定員を超えているので(S16:YES)、制御部46は、S16aに進む。
【0047】
S16aにおいて、監視装置40の制御部46は、密集状態報知処理を行う。
制御部46は、密集状態報知処理を、報知処理に従って行う(
図13参照)。
詳細は後述するが、密集状態報知処理では、スマートスピーカ50から「定員超過であり密集状態です」等の音声を出力する。
その後、制御部46は、S20に進む。
【0048】
(密接判定処理)
S17において、監視装置40の制御部46は、画像解析履歴記憶部45dを参照することにより、密接状態であるか否かを判定する。この場合、制御部46は、画像解析履歴記憶部45dに基づいて、さらに区画-顔画像監視テーブル45eを参照することにより、1つの区画に2つ以上の顔画像が対応付けられている密接状態であるか否かを判定する。そして、6つのレコードのうち、密接状態のレコードが30%以上存在するか否かを判定する。
このように30%といった割合を設定することにより、監視装置40は、密接情報の取得時(上記S13)の処理の誤りがあったとしも密接状態の有無を精度よく判定でき、また、短時間の密接状態を無視することできる。
なお、この割合は、管理者等が適宜設定できるようにしてもよい。
制御部46は、密接状態であると判定した場合には(S17:YES)、S17aに進み、一方、密接状態ではないと判定した場合には(S17:NO)、S18に進む。
【0049】
ここで、制御部46は、例えば、10:30:50の経過時には、10:30:10時点、10:30:20時点、・・・、10:30:50時点の6つのレコードに基づいて、密接状態を判定する。
図10の10:30:00時点の撮像画像71、
図6(A)の区画-顔画像監視テーブル45e(D10300)には、8つの区画L1~L4,R1~R4に1つずつ顔画像FL1~FL4,FR1~FR4が対応付いている。このため、10:30:50時点のレコードは、密接状態ではない。また、図示は省略するが、他の5つのレコードも同様に、密接状態ではない。このため、制御部46は、密接状態のレコードが30%未満であるので、密接状態ではないと判定する。
【0050】
また、制御部46は、例えば、11:05:50経過時には、11:05:10時点、11:05:20時点、・・・、11:05:50時点の6つのレコードに基づいて、密接状態を判定する。
11:05:10時点では、
図12の撮像画像72、
図6(B)の区画-顔画像監視テーブル45e(D11050)に示すように、区画L2に2つの顔画像FL2,FL3が対応付いているので(S17:YES)、密接状態である。また、図示は省略するが、他の5つのレコードは、密接状態ではないとする。この場合、制御部46は、密接状態のレコードが30%以上であるので、密接状態であると判定する。
【0051】
会議では、例えば、資料を2人以上で共有して見る場面、感情的な議論の場面等において、2人以上の距離が近づく場合がある。制御部46は、このS17 の処理によって、このような場面等において、2人以上の距離が近付いたことを、判定することができる。
【0052】
S17aにおいて、監視装置40の制御部46は、密接状態報知処理を行う。
詳細は後述するが、密接状態報知処理では、スマートスピーカ50から「人同士が密着している密接状態です」等の音声を出力する。その後、制御部46は、S20に進む。
【0053】
(マスク未着用判定)
S18において、監視装置40の制御部46は、画像解析履歴記憶部45dを参照することにより、マスク未着用状態であるか否か判定する。この場合、制御部46は、マスク未着用率が70%を超えている場合、つまり1分間で取得した6つのレコードのうち、マスク未着用のレコードが70%を超えている場合に、マスク未着用状態であると判定する。
このように70%といった割合を設定することにより、上記S16と同様に、マスク未着用状態を精度よく判定でき、また、短時間のマスク未着用状態を無視することできる。
制御部46は、マスク未着用状態であると判定した場合には(S18:YES)、S18aに進み、一方、マスク未着用状態ではないと判定した場合には(S18:NO)、S19に進む。
【0054】
制御部46は、例えば、10:30:50の経過時には、10:30:10時点、10:30:20時点、・・・、10:30:50時点の6つのレコードに基づいて、マスク未着用状態を判定する。これら6つのレコードうち5つのレコードがマスク未着用ではなく、1つのレコード(10:30:30)がマスク未着用であるので、マスク未着用率は、約17%である。このため、制御部46は、10:30:50の経過時には、マスク未着用状態ではないと判定する(S18:NO)。
【0055】
また、制御部46は、例えば、11:05:50の経過時には、11:05:10時点、11:05:20時点、・・・、11:05:50時点の6つのレコードに基づいて、マスク未着用状態を判定する。これら6つのレコードうち1つのレコード(11:05:20)がマスク未着用ではなく、5つのレコード(10:30:30)がマスク未着用であるので、マスク未着用率は、約83%である。このため、制御部46は、111:05:50の経過時には、マスク未着用状態であると判定する(S18:YES)。
【0056】
S18aにおいて、監視装置40の制御部46は、マスク未着用報知処理を行う。
詳細は後述するが、マスク未着用報知処理では、スマートスピーカ50から「会議室内にマスクを未着用の人がいます」等の音声を出力する。その後、制御部46は、S20に進む。
【0057】
(時間超過判定)
S19において、監視装置40の制御部46は、会議を開始してからの経過時間と、許容時間60分とを比較する。経過時間の開始起点は、仕様等に応じて、適宜設定することができ、例えば、1人目の顔画像を検出した時点、スケジュールで予定された会議の開始時点等に設定することができる。
ここで、仮に会議室内の人のなかに感染者が存在する場合において、許容時間を超過して会議を継続することは、会議室内の他の人への感染リスクが高くなる。
制御部46は、会議の経過時間が許容時間を経過したと判定した場合には(S19:YES)、S19aに進み、一方、許容時間を経過していない判定した場合には(S19:NO)、S20に進む。
例えば、
図10の会議の場面は、会議の経過時間が30分であるので、許容時間60分以内であるため(S19:NO)、制御部46は、S20に進む。一方、
図12の会議の場面は、会議の経過時間が65分であるので、許容時間60分を5分超過しているため(S19:YES)、制御部46は、S19aに進む。
【0058】
S19aにおいて、監視装置40の制御部46は、会議時間超過報知処理を行う。
詳細は後述するが、会議時間超過報知処理では、スマートスピーカ50から「会議時間を超過しています」等の音声を出力する。その後、制御部46は、S20に進む。
【0059】
(会議終了判定)
S17において、監視装置40の制御部46は、会議が終了したか否かを判定する。この判定は、「撮像画像から人画像等を抽出する処理」(
図8のS2,S3参照)を行うことにより、人画像等が抽出されない場合に、会議終了と判定すればよい。つまり、会議終了により、会議室1が不在になった場合には、撮像画像から人画像等が抽出されないためである。
制御部46は、会議終了と判定した場合には(S20:YES)、S10からの処理を繰り返し、一方、会議終了ではないと判定した場合には(S17:NO)、S11からの処理を繰り返す。
なお、制御部46は、S10からの処理を繰り返すことにより(S17:YES)、次の会議の開始を待機することになる。また、制御部46は、S11からの処理を繰り返すことにより(S17:NO)、進行中の会議の会議室内を継続して監視する。
【0060】
(報知処理)
図13に示すように、S30において、監視装置40の制御部46は、解析結果に関する情報(つまり会議室内が異常判定されたこと(「S16:YES」、「S17:YES」、「S18:NO」、「S19:YES」のいずれか)を、4つの異常種別を識別できる態様、かつ、撮像情報を含まない形態で、サーバ60に送信する。異常種別に関する情報は、異常種別に対応した識別信号等でもよく、また、異常種別に対応した音声のテキスト情報(例えば、定員超過(S16:YES)であれば「定員超過であり密集状態です」のテキスト情報等)でもよい。
【0061】
S31において、サーバ60の制御部66は、異常種別の情報を受信すると、解析結果を音声に変換した情報であり、また、異常種別に対応した報知音声の情報(解析結果音声情報)を、報知音声記憶部65gに記憶する。
異常種別に関する情報が識別信号等である仕様では、記憶部65が識別信号と報知音声とを対応付けてテーブルの形態で記憶しておけばよい。この場合には、制御部66は、監視装置40から受信した識別信号に対応した報知音声を、記憶部65の情報を参照することにより読み出し、これを報知音声記憶部65gに記憶すればよい。また、異常種別に関する情報が異常種別に対応した音声のテキスト情報である仕様では、制御部66は、テキスト情報を報知音声に変換し、これを報知音声記憶部65gに記憶すればよい。
【0062】
S32において、サーバ60の制御部66は、S31で記憶した報知音声を記憶場所のURI(解析結果記憶場所情報)、つまり解析結果のネットワーク上における記憶場所に関する情報を、監視装置40に送信する。
S33において、監視装置40の制御部46は、URIの情報をサーバ60から受信することに応じて、このURIの情報をスマートスピーカ50に送信する。
【0063】
S34において、スマートスピーカ50の制御部56は、URIの情報を監視装置40から受信することに応じて、サーバ60に対して、URIに記憶された報知音声の情報を送信するように要求する。
S35において、サーバ60の制御部66は、スマートスピーカ50からの要求に応じて、S31で記憶した報知音声の情報を読み出し、これをスマートスピーカ50に送信する。
S36において、スマートスピーカ50の制御部56は、報知音声の情報をサーバ60から受信したら、これをスピーカ53から出力する。
例えば、密集状態報知処理では、スマートスピーカ50から「定員超過であり密集状態です」等の音声を出力する。
その後、制御部46は、
図9の監視処理(S20)に戻る。
【0064】
以上の処理によって、会議室監視システム10は、感染症の感染リスクに関して、監視装置40が会議室内の異常を検知することにより、スマートスピーカ50から報知することができる。また、会議室監視システム10は、クラウドコンピューティングの構成を利用するものの、施設内の部屋システム30からサーバ60に対して異常判定の結果を送信しかつ撮像画像の情報を送信しない。これにより、会議室監視システム10は、会議室1の利用者の個人情報、会議内容の情報等の安全性を向上できる。
【0065】
また、密集判定処理、密接判定処理、マスク着用判定処理、時間超過判定処理において異常があった場合には、異常を示す警告(音声)がスマートスピーカ50から出力される。会議室内に存在する人は、これらの警告を聞くことにより、会議室内の人数を定員以下に減らしたり、密接している人同士を離したり、マスク着用を促したりといった対応をすることができる。また、会議室内に存在する人は、会議時間が許容時間を超過している場合には、会議を早急に終了するような対応をすることができる。
なお、繰り返すS11からの処理によって密集判定処理、密接判定処理、マスク着用判定処理、時間超過判定処理において異常な状態が継続している場合には、警告がスマートスピーカ50から出力される状態が継続する。会議室内にいる人は、継続して出力される警告を、上記対応をすることにより出力されない状態にすることで、感染症の感染リスクを低減することができる。
【0066】
以上説明したように、本実施形態の会議室監視システム10は、会議室1の撮像画像を解析することにより、感染症の感染リスクが高い状態であることを警告する。会議室1に存在する人は、この警告に応じて、感染リスクを低減するような対応をすることができる。
【0067】
なお、会議室1に在室する利用者は、任意のタイミングで、会議室1の状況を確認することもできる。この場合には、利用者は、「現在の状況を教えて」等といった命令を、スマートスピーカ50に音声入力すればよい。これに応じて、スマートスピーカ50は、画像解析履歴をサーバ60に要求する。サーバ60は、スマートスピーカ50からの要求に応じて、最新の画像解析履歴を画像解析履歴記憶部65dから読み出して、これを音声情報に変換して、スマートスピーカ50に送信する。そして、スマートスピーカ50は、この音声情報を、スピーカ53から出力すればよい。音声の内容は、例えば、「現在、1号室は、3名で利用されており、1名、マスク未着用を検出しています。密接検出はありません」等である。
【0068】
(スケジュール管理処理)
会議室監視システム10は、以上説明した基本的な処理に加えて、スケジュールの管理の処理等を行うことができる。
図14は、第1実施形態のスケジュール管理処理のフローチャートである。
図15は、第1実施形態の予約繰り下げ処理のフローチャートである。
図16は、第1実施形態の会議時間延長処理のフローチャートである。
【0069】
図14に示すように、S40において、監視装置40の制御部46は、管理端末11と通信することにより、監視装置40が設置されている会議室1の次の会議の予約情報を取得する。なお、
図14には、図示を省略するが、サーバ60の制御部66は、監視装置40からの要求に応じて、予約情報記憶部65hから、この会議室1の次の予約情報を読み出して、監視装置40に送信する。
【0070】
S41において、監視装置40の制御部46は、予約開始時刻に会議室1が在室か否か、つまり会議室内に人が存在するか否かを判定する。この判定は、「撮像画像から顔画像等を抽出する処理」(
図8のS3,S11参照)を行えばよい。
制御部46は、会議室1が在室であると判定した場合には(S41:YES)、S42に進み、一方、不在であると判定した場合には(S41:NO)、S41aに進む。
【0071】
S41aにおいて、監視装置40の制御部46は、予約開始時刻を15分経過したか否かを判定する。すなわち、会議が開始されない状態(S41a:NO)が、15分継続しているか否かを判定する。
制御部46は、予約開始時刻を15分経過したと判定した場合には(S41a:YES)、S41bに進み、一方、15分経過していないと判定した場合には(S41a:NO)、S41からの処理を繰り返す。
なお、この15分は、予約開始時刻に対して、会議室1の利用者が会議を実際に開始するまでの許容時間である。許容時間は、会議室監視システム10の管理者等が管理装置を操作することにより、会議室1の運用状況等に応じて適宜変更できるようにしてもよい。
S41bにおいて、監視装置40の制御部46は、予約繰り下げ処理を行った後(
図14参照)、S40からの処理を繰り返す。予約繰り下げ処理の詳細は、後述する。
【0072】
S42において、監視装置40の制御部46は、会議室1が在室であることを示す情報である在室情報を、扉タブレット59に送信する。
S43において、扉タブレット59は、
図1(C)に示すように、在室情報を受信したことに応じて、会議室1が在室であることを示す「使用中」等の表示(在室表示)を、表示部59bに表示する。
【0073】
S44において、監視装置40の制御部46は、会議室1が不在(人が存在しない状態)であるか否かを判定する。この判定は、S41と同様に行えばよい。制御部46は、このS44によって、会議が開始されたことにより在室になった後に(S41:YES)、会議が終了したことにより不在になったことを判定することができる。
制御部46は、会議室1が不在であると判定した場合には(S44:YES)、S45に進み、一方、在室であると判定した場合には(S44:NO)、S44aに進む。
【0074】
S44aにおいて、監視装置40の制御部46は、予約終了時刻を経過したか否かを判定する。制御部46は、このS44aによって、予約終了時刻を経過後において、人が会議室1に存在するか否かを判定することができる。
制御部46は、予約終了時刻を経過したと判定した場合には(S44a:YES)、S44bに進み、一方、経過していないと判定した場合には(S44a:NO)、S44からの処理を繰り返す。
S44bにおいて、監視装置40の制御部46は、会議時間延長処理を行う(
図15参照)。会議時間延長処理の詳細は、後述する。
【0075】
S45において、監視装置40の制御部46は、次の会議の予約情報をサーバ60から取得する。
S46において、監視装置40の制御部46は、次の会議の予約開始時刻を扉タブレット59に送信する。その後、制御部46は、S41からの処理を繰り返す。なお、繰り返すS41からの処理は、制御部46は、次の会議の予約開始時刻に基づいて行われる。
S47において、扉タブレット59は、次の会議の予約開始時刻を管理装置から受信すると、この開始時刻を表示部59bに表示する。表示内容は、例えば「次の会議の開始時刻は、15:00です」等である。
なお、扉タブレット59は、次の会議の予約開始時刻に加えて、次の会議の予約終了時刻を監視装置40から取得して、この予約終了時刻を表示部59bに表示するようにしてもよい。
【0076】
(予約繰り下げ処理(S41b))
図15に示すように、S50において、監視装置40の制御部46は、会議の予約開始時刻を超過していることを、会議室1を予約した利用者端末12に通知する。詳細な説明は省略するが、制御部46は、例えば、電子メール、スケジュールの管理のアプリケーション等によって、時刻超過していることを示す情報を、利用者端末12に対して送信する。スケジュールの管理のアプリケーションを用いる際には、制御部46は、サーバ60と連携することにより、時刻超過していることを示す情報を、利用者端末12に送信する。
会議室1を予約した利用者端末12の制御部12dは、会議の予約をキャンセルするか否かの選択操作を、利用者から受け付けて、予約キャンセルするか否かの操作情報をサーバ60に送信する。その後、サーバ60の制御部66は、利用者端末12の操作情報を、監視装置40に送信する。
【0077】
S51において、監視装置40の制御部46は、サーバ60から受信した利用者端末12の操作情報が、予約キャンセルであった場合には(S51:YES)、S51aに進み、一方、予約キャンセルではない場合には(S51:NO)、S52に進む。
S51a,S51bにおいて、監視装置40の制御部46、サーバ60の制御部66は、通信し合うことにより、会議の予約キャンセルの処理を行う。つまり、監視装置40の制御部46は、会議の予約キャンセルをサーバ60の制御部66に対して依頼し、これに応じてサーバ60の制御部66は、この会議の予約情報を予約情報記憶部65hから削除する。
これにより、会議室1の利用者は、会議の予約開始時刻を経過しても会議を開始できない事情等があった場合に、会議室1の予約をキャンセルすることができる。
【0078】
S52において、監視装置40の制御部46は、この会議の予約情報の繰り下げ、つまり、予約開始時刻、予約終了時刻の繰り下げを、サーバ60に要求する。
S53において、サーバ60の制御部66は、監視装置40からの要求に応じて、予約情報記憶部65hを参照することにより、この予約情報(つまり予約終了時刻)と、次の予約情報(つまり予約開始時刻)との間隔が、15分以上であるか否かを判定する。
サーバ60の制御部66は、両者の間隔が15分以上である場合には、この予約情報を15分繰り下げて、予約情報記憶部65hを更新する。なお、サーバ60の制御部66は、予約開始時刻を既に経過しているので、予約終了時刻のみを繰り下げ、予約開始時刻を繰り下げてもよく、繰り下げなくてよい。
一方、サーバ60の制御部66は、両者の間隔が15分未満である場合には、この予約情報を変更することなく維持する。
S54において、サーバ60の制御部66は、S53の判定結果(この予約を繰り下げるか、又は維持するかの情報)を、監視装置40に送信する。
【0079】
S55において、監視装置40の制御部46は、S50と同様な方法によって、S53の判定結果を利用者端末12に送信する。
図示は省略するが、利用者端末12の制御部12dは、この判定結果を受信すると、判定結果を表示部12bに表示等することにより、利用者に伝える。
【0080】
なお、制御部46は、S51a,S55の処理終了後、S40(
図14参照)に進む。このS40以降の処理は、予約キャンセルにともなう次の会議の予約情報、繰り下げられた予約情報、又は維持された予約情報に基づいて行われる。
【0081】
このように、会議室1の利用者は、会議の予約開始時刻を徒過してしまった場合でも、会議の繰り下げ、キャンセル等をする際の操作が容易である。
【0082】
(会議時間延長処理(S44b))
図16に示すように、S60において、監視装置40の制御部46は、この会議の会議時間の延長、つまり予定終了時刻の繰り下げを、サーバ60に要求する。
S61において、サーバ60の制御部66は、監視装置40からの要求に応じて、予約情報記憶部65hを参照することにより、現時刻と、次の予約情報(つまり予約開始時刻)と間隔が、15分以上であるか否かを判定する。
サーバ60の制御部66は、両者の間隔が15分以上である場合には、この予約情報の会議時間を15分延長し、つまり、予約終了時刻を15分延長し、予約情報を更新する。
一方、サーバ60の制御部66は、両者の間隔が15分未満である場合には、この予約情報の会議時間を変更することなく維持する。
【0083】
S62において、サーバ60の制御部66は、S62の判定結果(この会議時間を延長するか、又は維持するかの情報)を、監視装置40に送信する。
S63において、監視装置40の制御部46は、S55と同様な方法によって、S62の判定結果を利用者端末12に送信する。
図示は省略するが、利用者端末12の制御部12dは、この判定結果を受信すると、判定結果を表示等に表示することにより、利用者に伝える。
【0084】
なお、制御部46は、S63の処理終了後、S44(
図14参照)に進む。このS44以降の処理は、延長された会議時間に対応した予約終了時刻、又は維持された会議時間に対応した予約終了時刻に基づいて行われる。
【0085】
このように、会議室1の利用者は、次の会議の開始までの時間に余裕がある場合には、操作を要することなく、会議時間を延長できる。但し、監視装置40は、利用者端末12に対して、会議時間を延長するか否かの問い合わせ後、利用者端末12からの応答に応じて、会議時間を延長するようにしてもよい。この場合にも、会議時間を延長する際の操作が容易である。
【0086】
(第2実施形態)
次に、本発明の第2実施形態について説明する。
なお、以下の説明及び図面において、前述した第1実施形態と同様の機能を果たす部分には、同一の符号又は末尾(下2桁)に同一の符号を適宜付して、重複する説明を適宜省略する。
図17は、第2実施形態の会議室1の平面図を示す図である。
図17に示すように、本実施形態の会議室監視システム210は、監視装置240と区画L1,R1との距離が小さいために、カメラ243の撮影画角θ243の外側に区画L1,R1が位置している。
区画L2~L4,R2~R4は、カメラ243の撮影画角θ243内に位置しているので、監視装置240の制御部は、区画L2~L4,R2~R4の存在する人の顔画像については、第1実施形態と同様に処理することができる。
【0087】
監視装置240の制御部は、会議室1に入出した人の顔画像を追尾し、撮影画角θ243外に移動した場合に、その人が区画L1,R1に存在すると判定する。
例えば、人ML1は、会議室1の入口から入った後、区画L1に移動している。この場合、監視装置240の制御部は、会議室1の撮像画像から人ML1の顔画像を抽出し、人ML1の顔画像が撮像画像内に左側に位置すると判定する。そして、監視装置240の制御部は、人ML1の顔画像を追尾して、撮像画像外に移動した場合に、人ML1が区画L1内に存在すると判定する。また、監視装置240の制御部は、人MR1、区画R1についても、同様に判定する。
【0088】
監視装置240の制御部は、区画L1,R1について、上記処理することにより、第1実施形態と同様な監視処理を行うことができる。
すなわち、密集判定処理については、撮像画像に含まれる人の数をカウントし、これに区画L1,R1に移動した人数を加算すればよい。
【0089】
密接判定処理については、監視装置240の制御部は、区画L1に移動する人の顔画像を追尾し、これが2以上存在する場合には、区画L1に2以上の人が存在すると判定することができる。監視装置240の制御部は、区画R1についても同様に判定することができる。
マスク未着用判定については、監視装置240の制御部は、区画L2~L4,R2~R4の人の顔画像についてマスク画像が含まれるか否かを判定することに加えて、区画L1,R1に移動中の顔画像についても、マスク画像が含まれるか否かを判定すればよい。
【0090】
このように、本実施形態の会議室監視システム210は、カメラ243の撮影画角θ243外に人が存在する場合にも、会議室1について監視処理を行うことができる。
【0091】
(第3実施形態)
次に、本発明の第3実施形態について説明する。
図18は、第3実施形態のモニタリング画面375を説明する図である。
モニタリング画面375は、直近の会議室1の状況を示ために、サーバ60が画像解析履歴記憶部65dの直近の情報に基づいて作成する。
図18に示すように、モニタリング画面375は、会議室1の部屋番号を表示し、また、会議室1の模式
図375aと、会議室内の人の模式
図375bとを平面図で表示する。また、マスクをしていない利用者の模式図内には、マスクの模式図内に「×印」を表示する(区画R1の模式
図375b参照)。
【0092】
管理端末11等は、サーバ60に要求することにより、モニタリング画面375の情報を取得して、表示部11b等に表示することができる。
これにより、会議室1の管理者等は、ほぼリアルタイムで、会議室1の状況を確認することができる。
【0093】
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限定されるものではなく、例えば、後述する変形形態等のように種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、前述した実施形態及び後述する変形形態の構成は、それらの一部のみ用いること、又は適宜組み合わせて用いることもできるが、詳細な説明は省略する。
【0094】
(変形形態)
(1)実施形態において、監視装置は、撮像画像から頭部画像として顔画像を抽出する例を示したが、これに限定されない。例えば、監視装置は、顔画像を含む画像を抽出する形態であればよく、例えば、頭部全体の画像を抽出してもよい。
(2)実施形態において、監視装置は、詳細な解析情報を表示しない例を示したが、これに限定されない。監視装置は、例えば、
図10、
図12に示すような詳細な解析情報を含む撮像画像を、モニタ、管理端末等の表示部に表示してもよい。
【0095】
(3)実施形態において、会議室監視システムは、会議室の密集状態の場合に、密集状態報知処理をする例を示したが(
図9のS16,S16a参照)、これに限定されない。
会議室監視システムは、会議室が密集状態である場合には(S16:YES)、利用者に対して、他の会議室を案内してもよい。
例えば、
図7(B)の予約情報記憶部65hの予約ID1001では、定員8名の1号室の会議室で、10:00-11:00に会議が行われる。一方で、この時間には、定員10名の2号室の会議室では、会議が行われていない。
このため、予約ID1001で予約された会議が行われている場合に、会議室が密集状態であるときには(S16:YES)、監視装置は、会議室内が異常判定されたことを示す情報(定員超過情報)を送信することにより(
図13のS30参照)、利用中の会議室に在室している人数を収容可能な他の会議室の空き状況をサーバに問い合わせをし、これに応じて、サーバは、予約情報記憶部65hを参照すればよい。この場合にも、サーバが2号室の会議室が空いている情報をスマートスピーカに送信することにより、スマートスピーカが定員10名の2号室の会議室が空いていることを示す音声を出力すればよい。
【0096】
(4)予約情報は、リモート会議等の情報を含んでいてもよい。この場合には、監視装置は、会議開始されたと判定されたときに(
図9のS10参照)、リモート会議用のカメラ装置と、相手の情報端末とを接続するようにしてもよい。また、この場合には、スマートスピーカは、「相手の情報端末に接続します」といった音声を出力してもよい。
【0097】
(5)実施形態において、監視装置は、1つのカメラで会議室内の撮像画像を取得する例を示したが、これに限定されない。監視装置は、撮像範囲が異なる2以上のカメラで、会議室内の2以上の撮像画像を取得してもよい。この場合には、監視装置は、より広い面積の会議室を、監視することができる。この場合には、監視装置は、各撮像画像の個別の解析情報を統括して監視してもよく、また、2以上の撮像画像をパノラマ画像のようにして1つの撮像画像に合成し、この撮像画像を解析するようにしてもよい。
また、広角カメラ装置と、監視装置とを、施設内の通信網で接続することにより、より広い面積の会議室を監視できるようにしてもよい。
【0098】
(6)監視装置の制御部は、各判定で報知処理(すべての判定を対象としてもよいし、任意の判定を対象としてもよい)をした場合において、その判定タイミングの撮像情報を、記憶部に記憶してもよい。
この場合には、運用者は、記憶部に記憶された撮像情報を分析することにより、種々の対応をすることができる。例えば、本システムの判定が誤っている場合には、運用者は、設定を調整することにより、判定の精度を向上することができる。また、例えば、会議室の特定の使用者に関して異常判定が繰り返されている場合には、運用者は、その使用者に対して、感染症に関して、より警戒して行動ように指示することもできる。このような使用者の特定を円滑に行うために、監視装置の制御部は、撮像情報と、会議室の使用者とを、対応付けて記憶しておくことが好適である。
【0099】
(7)実施形態において、制御部は、会議終了か否かを判定後に(S20)、直ぐに、次の処理に進む例を示したが、これに限定されない。制御部は、一の種別の異常の報知処理後には、一定の時間経過するまでは、判定処理(S16~19)においていずれかの種別が異常であると判定しても、報知処理をスキップし、その一定時間経過に、新たな異常に関する報知処理を実行してもよい。これにより、会議室監視システムは、一の種別の異常判定に応じて、一定の時間経過するまで、会議室内に存在する人に対して、一の種別の異常(違反内容)を確実に報知できる。
【0100】
(8)実施形態において、会議室内の異常判定処理(S16~19)は、密集、密接、マスク着用、時間超過の順で行われる例を示したが、これに限定されない。これらの順序は、仕様等に応じて、適宜変更してもよく、また、適宜設定できるようにしてもよい。異常判定処理は、例えば、マスク着用、密集、密接、時間超過の順でもよい。
【0101】
(9)実施形態において、密接判定処理では、1つの区画に2以上の人(顔画像)が存在した場合に、密接状態であると判定する例を示したが、これに限定されない。
密接判定処理では、例えば、隣合う区画にそれぞれ人が存在すると判定した場合に、密接状態と判定してもよい。
また、1つの区画に2以上の人(顔画像)が存在した場合には、高密接状態と判定し、隣合う区画にそれぞれ人が存在すると判定した場合に低密接状態と判定するようにしてもよい。これにより、密接状態の度合いを、より詳細に確認できる。
さらに、会議室の管理者等が、感染症の警戒レベルに応じて、このような判定基準を、適宜、設定できるようにしてもよい。
【符号の説明】
【0102】
1:会議室
2:モニタ
4:扉
10,210:会議室監視システム
11:管理端末
12:利用者端末
30:部屋システム
40,240:監視装置
43,243:カメラ
50:スマートスピーカ
53:スピーカ
59:扉タブレット
60:サーバ