特許 7591727 在席情報管理システムおよび在席情報管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-21

(45)【発行日】2024-11-29

(54)【発明の名称】在席情報管理システムおよび在席情報管理方法

(51)【国際特許分類】

   G06Q 10/06 20230101AFI20241122BHJP

   G16H 20/00 20180101ALI20241122BHJP

   G06T 7/00 20170101ALI20241122BHJP

   G06T 1/00 20060101ALI20241122BHJP

【ＦＩ】

G06Q10/06

G16H20/00

G06T7/00 660A

G06T1/00 400H

【請求項の数】 9

(21)【出願番号】P 2020211007

(22)【出願日】2020-12-21

(65)【公開番号】P2022097829

(43)【公開日】2022-07-01

【審査請求日】2023-12-11

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】平澤 園子

(72)【発明者】

【氏名】久郷 紀之

【審査官】松浦 かおり

(56)【参考文献】

【文献】特開２０１８－１７３７８８（ＪＰ，Ａ）

【文献】特開２０１８－１８１２２３（ＪＰ，Ａ）

【文献】特開２０１９－１４４９１８（ＪＰ，Ａ）

【文献】特開２０２０－１４０７３２（ＪＰ，Ａ）

【文献】特開２０１２－０１７９３６（ＪＰ，Ａ）

【文献】国際公開第２０２０／０５０４１３（ＷＯ，Ａ１）

【文献】特開２００８－３１０６８０（ＪＰ，Ａ）

【文献】特開２００７－２９３７４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ －９９／００

Ｇ１６Ｈ １０／００ －８０／００

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １／６０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

執務エリアにおける人物の在席状況に関する在席情報を管理する処理をプロセッサにより実行する在席情報管理システムであって、
執務エリアの入口周辺を撮影する第１の入口カメラおよび第２の入口カメラと、
執務エリア内を撮影するエリア内カメラと、を備え、
前記プロセッサは、
前記第１の入口カメラにより撮影された撮影画像から抽出した執務エリアに入場する人物の顔特徴情報と登録済みの人物の顔特徴情報との顔照合処理を行うことで、執務エリアに入場した人物を特定すると共に、その特定された人物を撮影する前記第２の入口カメラの撮影画像から入場時の人物特徴情報を抽出し、
前記エリア内カメラによる撮影画像に基づき、在席検知エリアにおける人物の在席を検知すると、
前記エリア内カメラにより撮影された撮影画像から抽出した前記在席検知エリアにおける在席直前の人物の人物特徴情報と前記入場時の人物特徴情報との人物照合処理を行い、その人物照合処理により特定された人物に関する前記在席情報を生成することを特徴とする在席情報管理システム。

【請求項2】

前記第１の入口カメラと前記第２の入口カメラとが１台のカメラで構成されることを特徴とする請求項１に記載の在席情報管理システム。

【請求項3】

更に、執務エリア内を走行する情報収集ロボットと、を備え、
前記情報収集ロボットは、
執務エリア内の前記在席検知エリアに在席する人物の顔を撮影する顔カメラを有し、
前記人物照合処理が失敗した場合に、
前記情報収集ロボットが、在席が検知された前記在席検知エリアの近傍に移動して、その在席検知エリアに在席する人物の顔を撮影するように、前記情報収集ロボットを制御し、
前記顔カメラによる撮影画像を用いた顔照合処理を行い、その顔照合処理により特定された人物に関する前記在席情報を生成することを特徴とする請求項１に記載の在席情報管理システム。

【請求項4】

前記プロセッサは、
前記顔カメラによる撮影画像に基づき、前記在席検知エリアに在席する人物に関するマスクの着用の有無に関する情報を生成することを特徴とする請求項３に記載の在席情報管理システム。

【請求項5】

さらに、前記情報収集ロボットは、
バイタルセンサを有し、
前記プロセッサは、
前記在席検知エリアに在席する人物のバイタル情報を前記バイタルセンサにより測定する処理を実行させることを特徴とする請求項３に記載の在席情報管理システム。

【請求項6】

前記プロセッサは、
前記バイタル情報として、体温および心拍数の少なくともいずれかを測定することを特徴とする請求項５に記載の在席情報管理システム。

【請求項7】

前記プロセッサは、
前記在席検知エリアにおける人物の在席を検知した場合に、前記在席検知エリアが在席状態に変化する前の不在状態の継続時間が所定時間以内である場合は、前記在席情報を保持し、不在状態の継続時間が所定時間を超えた場合には、前記在席情報を削除することを特徴とする請求項１に記載の在席情報管理システム。

【請求項8】

前記プロセッサは、
前記執務エリアにおける人物の在席位置を表す在席マップを生成することを特徴とする請求項１に記載の在席情報管理システム。

【請求項9】

執務エリアにおける人物の在席状況に関する在席情報を管理する処理をプロセッサにより実行する在席情報管理方法であって、
執務エリアの入口周辺を撮影する第１の入口カメラおよび第２の入口カメラと、執務エリア内を撮影するエリア内カメラと、を設置し、
前記第１の入口カメラにより撮影された撮影画像から抽出した執務エリアに入場する人物の顔特徴情報と登録済みの人物の顔特徴情報との顔照合処理を行うことで、執務エリアに入場した人物を特定すると共に、その特定された人物を撮影する前記第２の入口カメラの撮影画像から入場時の人物特徴情報を抽出し、
前記エリア内カメラによる撮影画像に基づき、在席検知エリアにおける人物の在席を検知すると、
前記エリア内カメラにより撮影された撮影画像から抽出した前記在席検知エリアにおける在席直前の人物の人物特徴情報と前記入場時の人物特徴情報との人物照合処理を行い、その人物照合処理により特定された人物に関する前記在席情報を生成することを特徴とする在席情報管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、執務エリアにおける人物の在席状況に関する在席情報を管理する処理をプロセッサにより実行する在席情報管理システムおよび在席情報管理方法に関するものである。

【背景技術】

【0002】

近年、勤務者間のコミュニケーションの活性化や、部署や部門を超えたコラボレーションなどを目的として、利用者が執務席を自由に選択して執務を行うフリーアドレス制のオフィスが注目されている。

【0003】

このようなフリーアドレス制のオフィスでは、執務室を訪問した面会者が、面会相手の人物がどこに着席しているかわからず、面会相手の人物を探し出すのに時間を要する。そこで、だれがどこに着席しているかを面会者に提示する技術が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１４４９１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

さて、執務室の天井に設置された全方位カメラによる撮影画像に基づいて、執務席に人物が在席しているか否かを判定する人物検知は可能であるが、全方位カメラによる撮影画像では、執務席に在席している人物を特定する顔照合は難しい。このため、別途、在席する人物を特定するための設備が必要になる。

【0006】

そこで、従来の技術では、人物がフリーアドレスエリアへの入室後に、各人物の着席位置を特定するため、人物が所持する無線タグの受信機を執務席ごとに設置し、または、執務席に座った人物の顔を撮像するカメラを執務席ごとに設置し、または、人物が所持するＩＣカードを読み取るカードリーダーを執務席ごとに設置し、または、執務席マップ画面で、人物が、自分が利用する執務席の位置を入力する、などの手法が採られていた。

【0007】

しかしながら、このような在席する人物を特定するための設備を設けると、オフィスのレイアウト変更等が発生した場合に、その都度、設備の更新や調整に大きな手間がかかるという問題があった。

【0008】

また、新型コロナウイルス感染症（ＣＯＶＩＤ－１９）等の感染症の拡大防止の観点から、執務室に入室した人物の健康に関する情報、すなわち、健康管理に関する情報（例えばマスクの着用の有無）や健康状態に関する情報（体温の測定値）を収集することが望まれる。この場合、人物の在席状況に関する在席情報を収集する際に、同時に、在席する人物の健康に関する情報を収集できるようにすると、在席する人物の健康に関する情報を効率よく収集することができる。

【0009】

そこで、本発明は、フリーアドレス制のオフィスにおいて、人物の在席状況に関する在席情報を管理する場合に、オフィスのレイアウト変更等が発生しても、在席する人物を特定するための設備の更新や調整に大きな手間をかけずに済み、さらに、在席する人物の健康に関する情報などを効率よく収集することができる在席情報管理システムおよび在席情報管理方法を提供することを主な目的とする。

【課題を解決するための手段】

【0010】

本発明の在席情報管理システムは、執務エリアにおける人物の在席状況に関する在席情報を管理する処理をプロセッサにより実行する在席情報管理システムであって、執務エリアの入口周辺を撮影する第１の入口カメラおよび第２の入口カメラと、執務エリア内を撮影するエリア内カメラと、を備え、前記プロセッサは、前記第１の入口カメラにより撮影された撮影画像から抽出した執務エリアに入場する人物の顔特徴情報と登録済みの人物の顔特徴情報との顔照合処理を行うことで、執務エリアに入場した人物を特定すると共に、その特定された人物を撮影する前記第２の入口カメラの撮影画像から入場時の人物特徴情報を抽出し、前記エリア内カメラによる撮影画像に基づき、在席検知エリアにおける人物の在席を検知すると、前記エリア内カメラにより撮影された撮影画像から抽出した前記在席検知エリアにおける在席直前の人物の人物特徴情報と前記入場時の人物特徴情報との人物照合処理を行い、その人物照合処理により特定された人物に関する前記在席情報を生成する構成とする。

【0011】

また、本発明の在席情報管理方法は、執務エリアにおける人物の在席状況に関する在席情報を管理する処理をプロセッサにより実行する在席情報管理方法であって、執務エリアの入口周辺を撮影する第１の入口カメラおよび第２の入口カメラと、執務エリア内を撮影するエリア内カメラと、を設置し、前記第１の入口カメラにより撮影された撮影画像から抽出した執務エリアに入場する人物の顔特徴情報と登録済みの人物の顔特徴情報との顔照合処理を行うことで、執務エリアに入場した人物を特定すると共に、その特定された人物を撮影する前記第２の入口カメラの撮影画像から入場時の人物特徴情報を抽出し、前記エリア内カメラによる撮影画像に基づき、在席検知エリアにおける人物の在席を検知すると、前記エリア内カメラにより撮影された撮影画像から抽出した前記在席検知エリアにおける在席直前の人物の人物特徴情報と前記入場時の人物特徴情報との人物照合処理を行い、その人物照合処理により特定された人物に関する前記在席情報を生成する構成とする。

【発明の効果】

【0012】

本発明によれば、在席する人物を特定するための設備として、執務エリアの入口周辺を撮影する第１の入口カメラおよび第２の入口カメラと、執務エリア内を撮影するエリア内カメラと、が設置し、顔照合処理と人物照合処理とを行い在席の人物を特定して在席情報を生成する。このため、執務エリアのレイアウト変更等が発生した場合でも、設備の更新や調整に大きな手間をかけずに済む。

【図面の簡単な説明】

【0013】

【図1】第１実施形態に係る在席情報管理システムの全体構成図

【図2】第１実施形態に係る執務室のレイアウトと、室内カメラ１の設置状況と、在席検知エリアの設定状況を示す説明図

【図3】第１実施形態に係る情報収集ロボット２の概略構成を示す説明図

【図4】第１実施形態に係る在席管理サーバ３およびロボット制御サーバ４で行われる処理の概要を示す説明図

【図5】第１実施形態に係る在席管理サーバ３およびロボット制御サーバ４の概略構成を示すブロック図

【図6】第１実施形態に係るユーザ端末５に表示されるマップ表示モードの在席状況確認画面を示す説明図

【図7】第１実施形態に係るユーザ端末５に表示される部門別表示モードの在席状況確認画面を示す説明図

【図8】第１実施形態に係る在席管理サーバ３の動作手順を示すフロー図

【図9】第１実施形態に係るロボット制御サーバ４の動作手順を示すフロー図

【図10】第２実施形態に係る在席情報管理システムの全体構成図

【図11】第２実施形態に係る第１の入口カメラ６および第２の入口カメラ７の設置状況を示す説明図

【図12】第２実施形態に係る入室管理サーバ８、在席管理サーバ３、およびロボット制御サーバ４で行われる処理の概要を示す説明図

【図13】第２実施形態に係る入室管理サーバ８、在席管理サーバ３、およびロボット制御サーバ４の概略構成を示すブロック図

【図14】第２実施形態に係る入室管理サーバ８の動作手順を示すフロー図

【図15】第２実施形態に係る在席管理サーバ３の動作手順を示すフロー図

【図16】第２実施形態に係る在席管理サーバ３の動作手順を示すフロー図

【発明を実施するための形態】

【0014】

前記課題を解決するためになされた第１の発明は、執務エリアにおける人物の在席状況に関する在席情報を管理する処理をプロセッサにより実行する在席情報管理システムであって、執務エリアの入口周辺を撮影する第１の入口カメラおよび第２の入口カメラと、執務エリア内を撮影するエリア内カメラと、を備え、前記プロセッサは、前記第１の入口カメラにより撮影された撮影画像から抽出した執務エリアに入場する人物の顔特徴情報と登録済みの人物の顔特徴情報との顔照合処理を行うことで、執務エリアに入場した人物を特定すると共に、その特定された人物を撮影する前記第２の入口カメラの撮影画像から入場時の人物特徴情報を抽出し、前記エリア内カメラによる撮影画像に基づき、在席検知エリアにおける人物の在席を検知すると、前記エリア内カメラにより撮影された撮影画像から抽出した前記在席検知エリアにおける在席直前の人物の人物特徴情報と前記入場時の人物特徴情報との人物照合処理を行い、その人物照合処理により特定された人物に関する前記在席情報を生成する構成とする。

【0015】

これによると、在席する人物を特定するための設備として、執務エリアの入口周辺を撮影する第１の入口カメラおよび第２の入口カメラと、執務エリア内を撮影するエリア内カメラと、が設置し、顔照合処理と人物照合処理とを行い在席の人物を特定して在席情報を生成する。このため、執務エリアのレイアウト変更等が発生した場合でも、設備の更新や調整に大きな手間をかけずに済む。
また、第２の発明は、前記第１の入口カメラと前記第２の入口カメラとが１台のカメラで構成される。
これによると、顔照合と人物照合のためのカメラを兼用することができる。
また、第３の発明は、更に、執務エリア内を走行する情報収集ロボットと、を備え、 前記情報収集ロボットは、執務エリア内の前記在席検知エリアに在席する人物の顔を撮影する顔カメラを有し、前記人物照合処理が失敗した場合に、前記情報収集ロボットが、在席が検知された前記在席検知エリアの近傍に移動して、その在席検知エリアに在席する人物の顔を撮影するように、前記情報収集ロボットを制御し、前記顔カメラによる撮影画像を用いた顔照合処理を行い、その顔照合処理により特定された人物に関する前記在席情報を生成する構成とする。
これによると、在席する人物を特定するための設備として、更に、執務エリア内を自由に走行する情報収集ロボットが配置され、人物照合処理が失敗した場合に、在席検知エリアに在席する人物の顔照合処理を行う。このため、人物照合処理が失敗した場合にのみ、情報収集ロボットの顔カメラによる撮影画像を用いた顔照合処理を行うために情報収集ロボットが出動するため、始業時などでも、情報収集ロボットの出動が多くならずに済む。

【0016】

また、第４の発明は、前記プロセッサは、前記顔カメラによる撮影画像に基づき、前記在席検知エリアに在席する人物に関するマスクの着用の有無に関する情報を生成する構成とする。

【0017】

これによると、在席する人物の健康管理に関する情報として、マスクの着用の有無に関する情報を効率よく収集することができる。

【0018】

また、第５の発明は、さらに、前記情報収集ロボットは、バイタルセンサを有し、前記プロセッサは、前記在席検知エリアに在席する人物のバイタル情報を前記バイタルセンサにより測定する処理を実行させる構成とする。

【0019】

これによると、在席する人物の健康状態に関する情報として、バイタル情報を効率よく収集することができる。なお、顔カメラがバイタルセンサを兼用するサーモカメラである構成も可能である。

【0020】

また、第６の発明は、前記プロセッサは、前記バイタル情報として、体温および心拍数の少なくともいずれかを測定する構成とする。

【0021】

これによると、在席する人物のバイタル情報として体温や心拍数を収集することができる。

【0022】

また、第７の発明は、前記プロセッサは、前記在席検知エリアにおける人物の在席を検知した場合に、前記在席検知エリアが在席状態に変化する前の不在状態の継続時間が所定時間以内である場合は、前記在席情報を保持し、不在状態の継続時間が所定時間を超えた場合には、前記在席情報を削除する構成とする。

【0023】

これによると、過去に在席していた人物が一時的に退室して戻ってきた場合に、情報収集ロボットを出動させて顔照合処理をやり直す手間を省くことができる。

【0024】

また、第８の発明は、前記プロセッサは、前記執務エリアにおける人物の在席位置を表す在席マップを生成する構成とする。

【0025】

これによると、利用者が、執務エリアにおける人物の在席状況を即座に確認することができる。なお、在席マップに、在席する人物の健康管理や健康状態に関する情報が表示されるものとしてもよい。

【0028】

また、第９の発明は、執務エリアにおける人物の在席状況に関する在席情報を管理する処理をプロセッサにより実行する在席情報管理方法であって、執務エリアの入口周辺を撮影する第１の入口カメラおよび第２の入口カメラと、執務エリア内を撮影するエリア内カメラと、を設置し、前記第１の入口カメラにより撮影された撮影画像から抽出した執務エリアに入場する人物の顔特徴情報と登録済みの人物の顔特徴情報との顔照合処理を行うことで、執務エリアに入場した人物を特定すると共に、その特定された人物を撮影する前記第２の入口カメラの撮影画像から入場時の人物特徴情報を抽出し、前記エリア内カメラによる撮影画像に基づき、在席検知エリアにおける人物の在席を検知すると、前記エリア内カメラにより撮影された撮影画像から抽出した前記在席検知エリアにおける在席直前の人物の人物特徴情報と前記入場時の人物特徴情報との人物照合処理を行い、その人物照合処理により特定された人物に関する前記在席情報を生成する構成とする。

【0029】

これによると、第１の発明と同様に、在席する人物を特定するための設備として、執務エリアの入口周辺を撮影する第１の入口カメラおよび第２の入口カメラと、執務エリア内を撮影するエリア内カメラと、が設置し、顔照合処理と人物照合処理とを行い在席の人物を特定して在席情報を生成する。このため、執務エリアのレイアウト変更等が発生した場合でも、設備の更新や調整に大きな手間をかけずに済む。

【0032】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0033】

（第１実施形態）
図１は、第１実施形態に係る在席情報管理システムの全体構成図である。

【0034】

この在席情報管理システムは、フリーアドレス制の執務室（執務エリア）における人物の在席状況に関する在席情報を管理するものであり、在席検知用の室内カメラ１（エリア内カメラ）と、情報収集ロボット２と、在席管理サーバ３と、ロボット制御サーバ４と、ユーザ端末５（ユーザ装置）と、を備えている。

【0035】

室内カメラ１、在席管理サーバ３、およびユーザ端末５は第１のネットワークに接続されている。情報収集ロボット２、在席管理サーバ３、およびロボット制御サーバ４は第２のネットワークに接続されている。第２のネットワークでは、情報収集ロボット２が無線通信を行う。なお、各装置が単一のネットワークで接続されるものとしてもよい。

【0036】

室内カメラ１は、執務室内に設置され、執務室内に滞在する人物を撮影する。

【0037】

情報収集ロボット２は、自律走行可能であり、ロボット制御サーバ４の指示に応じて、執務室内の執務席に在席する人物の近傍に移動して、その人物に関する情報を収集する。

【0038】

在席管理サーバ３は、室内カメラ１による撮影画像と、情報収集ロボット２により収集された情報とに基づいて、執務室内の執務席に在席する人物を管理する処理を行う。また、在席管理サーバ３は、配信サーバの機能を有し、データベースに登録された管理情報に基づいて、執務室内における人物の在席状況に関する在席情報をユーザ端末５に配信する。

【0039】

ロボット制御サーバ４は、情報収集ロボット２の動作を制御する。

【0040】

ユーザ端末５は、在席管理サーバ３からの配信情報に基づいて、執務室内における人物の在席状況に関する在席情報を利用者に提示する。

【0041】

なお、在席管理サーバ３におけるデータベースを管理する機能や、在席情報を配信する機能を在席管理サーバ３から分離して、各々の機能を独立したデータベースサーバおよび配信サーバで実現する構成としてもよい。

【0042】

次に、第１実施形態に係る執務室のレイアウトと、室内カメラ１の設置状況と、在席検知エリアの設定状況について説明する。図２は、執務室のレイアウトと、室内カメラ１の設置状況と、在席検知エリアの設定状況を示す説明図である。

【0043】

執務室には、机および執務席（椅子）が並べて配置されている。この執務室は、フリーアドレス制が採用されているため、執務室に入室した人物は、空き状態のいずかの執務席を見つけて着席する。

【0044】

執務室の天井には、室内カメラ１が設置されており、執務室内に滞在する人物を撮影する。この室内カメラ１には、魚眼レンズを用いて３６０度の範囲を撮影する全方位カメラが採用される。なお、室内カメラ１に、所定の画角の範囲を撮影するボックスカメラを採用するようにしてもよい。また、室内カメラ１に、執務室内のＰＣに接続された簡易なカメラ（例えばＵＳＢカメラ）を採用するようにしてもよい。

【0045】

本実施形態では、室内カメラ１の撮影画像上に執務席ごとの在席検知エリアが予め設定され、この検知エリアの画像に基づいて、人物が執務席に座っているか否かを検知する。なお、図２に示す例では、執務室の平面図上に在席検知エリア（点線のエリア）を矩形で表しているが、実際には、室内カメラ１で撮影された全方位画像（魚眼画像）上に多角形で在席検知エリアが設定される。

【0046】

この在席検知エリアは、執務席に座った人物の身体が存在することが想定される位置に設定され、１つの在席検知エリアが１人の人物に対応するように、人物の身体の大きさを基準にして設定される。また、在席検知エリアは、室内カメラ１の撮影画像を表示した画面上で在席検知エリアの範囲を利用者が指定する操作を行うことで設定されるとよいが、室内カメラ１の撮影画像から物体（椅子および机）を検出して、その検出結果に基づいて在席検知エリアを設定するようにしてもよい。

【0047】

また、執務室には、情報収集ロボット２が配置されている。この情報収集ロボット２は、執務室内の所定の待機位置で待機し、ロボット制御サーバ４の指示に応じて、執務室内の執務席に在席する人物の近傍に移動して、その人物に関する情報を収集する。本実施形態では、在席管理サーバ３において、在席検知エリアにおける人物の在席が検知されると、その対象とする人物に関する情報収集を行うために、その対象とする人物の近傍に移動するようにロボット制御サーバ４に指示する。

【0048】

次に、第１実施形態に係る情報収集ロボット２の概略構成について説明する。図３は、情報収集ロボット２の概略構成を示す説明図である。

【0049】

情報収集ロボット２は、顔カメラ２１と、バイタルセンサ２２と、スピーカー２３と、走行部２４と、コントローラ２５と、を備えている。

【0050】

顔カメラ２１は、執務席に在席する対象とする人物の顔を撮影する。この顔カメラ２１の撮影画像から顔照合用の顔画像が得られる。顔カメラ２１は、執務席に座った人物の顔に対向する高さに配置されており、執務席に座った人物の顔を正面から近距離で撮影することができる。このため、顔照合に適した顔画像を取得することができる。

【0051】

バイタルセンサ２２は、執務席に在席する対象とする人物のバイタル情報、具体的には、体温、心拍数（脈拍）などを非接触で測定する。このバイタルセンサ２２は、例えばサーモカメラ（赤外線カメラ）である。なお、顔カメラ２１に温度画像とカラー画像とを出力可能なサーモカメラを採用して、顔カメラ２１がバイタルセンサ２２を兼用する構成としてもよい。

【0052】

スピーカー２３は、ロボット制御サーバ４の制御にしたがって、各種の依頼や案内や通知などの音声を出力する。例えば、人物の顔を正面から撮影できるように、情報収集ロボット２の方に顔を向けるように人物を促す音声が、スピーカー２３から出力される。また、体温が適切に測定されるように、頭髪などで額が隠れないように案内する音声が、スピーカー２３から出力される。また、顔照合結果としての人物の名前や、バイタル情報の測定結果（例えば体温の測定値）を通知する音声が、スピーカー２３から出力される。また、マスクを着用していない人物の場合に、マスクの着用を促す音声が、スピーカー２３から出力される。また、消毒液のディスペンサが情報収集ロボット２に搭載されている場合に、手指消毒を促す音声が、スピーカー２３から出力される。また、測定された体温が発熱の範囲内（例えば３７．５度以上）に入る場合に、発熱があることを通知すると共に帰宅を促す音声が、スピーカー２３から出力される。

【0053】

走行部２４は、車輪およびモータなどを備える。この走行部２４は、情報収集ロボット２が自律走行を行うようにコントローラ２５により制御される。

【0054】

コントローラ２５は、ロボット制御サーバ４と通信を行うための通信部と、制御プログラムなどを記憶する記憶部と、制御プログラムを実行するプロセッサと、を備えている。プロセッサは、例えば、走行制御処理を行い、顔カメラ２１の撮影画像や図示しない距離センサの検出結果などに基づいて障害物を回避する進路を決定する。

【0055】

次に、第１実施形態に係る在席管理サーバ３およびロボット制御サーバ４で行われる処理の概要について説明する。図４は、在席管理サーバ３およびロボット制御サーバ４で行われる処理の概要を示す説明図である。

【0056】

在席管理サーバ３は、室内カメラ１の撮影画像から在席検知エリア（執務席）の画像領域を切り出して在席検知エリア画像を取得し、その在席検知エリア画像から、在席検知エリアに人物が存在するか否かを判定して、その判定結果に応じて、在席検知エリアの状態を在席および空席（不在）のいずれかに設定する（在席検知処理）。この在席検知処理は定期的に実施される。

【0057】

また、在席管理サーバ３は、在席検知エリアにおける人物の在席を検知した場合に、その在席検知エリアに在席する人物に関する情報収集を情報収集ロボット２により実施するようにロボット制御サーバ４に指示する。

【0058】

ロボット制御サーバ４は、在席管理サーバ３からの情報収集の指示に応じて、情報収集ロボット２の動作を制御する。具体的には、対象となる在席検知エリアの近傍に移動するように情報収集ロボット２を制御する。また、対象となる在席検知エリアに座る人物の顔を顔カメラ２１で撮影するように情報収集ロボット２を制御する。

【0059】

また、ロボット制御サーバ４は、顔カメラ２１の撮影画像から人物の顔の画像領域を切り出して顔画像を取得し、その顔画像から、在席する人物の顔特徴情報を抽出する。そして、登録済みの人物ごとの顔特徴情報と、在席する人物の顔特徴情報とを比較して、在席する人物を特定する（顔照合処理）。この顔照合処理により、在席する人物と登録された人物とが紐付けられ、在席する人物が特定される。

【0060】

また、ロボット制御サーバ４は、在席する人物の顔画像に基づいて、在席する人物がマスクを着用しているか否かを判定する。また、ロボット制御サーバ４は、対象となる人物のバイタル情報をバイタルセンサ２２で測定するように情報収集ロボット２を制御して、バイタル情報の測定結果を取得する。

【0061】

ロボット制御サーバ４で取得した顔照合結果、マスク着用の判定結果、およびバイタル情報の測定結果は、在席管理サーバ３に送信されて、在席データベースに登録される。

【0062】

次に、第１実施形態に係る在席管理サーバ３およびロボット制御サーバ４の概略構成について説明する。図５は、在席管理サーバ３およびロボット制御サーバ４の概略構成を示すブロック図である。

【0063】

在席管理サーバ３は、通信部３１と、記憶部３２と、プロセッサ３３と、を備えている。

【0064】

通信部３１は、ロボット制御サーバ４と通信を行い、情報収集ロボット２の出動指示をロボット制御サーバ４に送信し、顔照合結果やバイタル情報の測定結果やマスク着用の判定結果をロボット制御サーバ４から受信する。また、通信部３１は、ユーザ端末５と通信を行い、執務室内における人物の在席状況に関する在席情報をユーザ端末５に送信する。また、通信部３１は、室内カメラ１と通信を行い、室内カメラ１から撮影画像を受信する。

【0065】

記憶部３２は、プロセッサ３３で実行されるプログラムなどを記憶する。また、記憶部３２は、エリア管理データベース、在席データベース、および人物データベースの登録情報を記憶する。エリア管理データベースには、在席検知エリアの管理情報、具体的には、在席検知エリアのエリアＩＤおよび位置情報などが登録される。在席データベースには、エリアＩＤと、在席検知時刻と、人物照合結果情報、具体的には、人物ＩＤ、および人物照合スコアなどの情報が登録される。人物データベースには、人物管理情報、具体的には、人物ＩＤ、人物の名前、所属、および役職などの情報が登録される。また、記憶部３２は、室内カメラ１の撮影画像を一時的に蓄積する。

【0066】

プロセッサ３３は、記憶部３２に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ３３が、在席検知処理、および在席情報配信処理などを行う。

【0067】

在席検知処理では、プロセッサ３３が、室内カメラ１の撮影画像内の在席検知エリアの画像領域に対して人物検出を行い、対象とする在席検知エリアに人物が存在するか否かを判定する。ここで、在席検知エリアに人物が存在する場合には、在席検知エリアの状態を在席に設定する。一方、在席検知エリアに人物が存在しない場合には、在席検知エリアの状態を空席（不在）に設定する。そして、在席検知結果情報（在席検知時刻、エリア数）と、在席検知結果詳細情報（在席検知時刻、エリアＩＤ、検知状態）とを記憶部３２に格納する。

【0068】

在席情報配信処理では、プロセッサ３３が、在席データベースおよび人物データベースの各々に登録された情報に基づいて、執務室内での人物の在席状況に関する情報（在席位置など）を生成して、その情報をユーザ端末５に配信する。本実施形態では、在席状況確認画面（図６，図７参照）の表示情報をユーザ端末５に配信する。

【0069】

ロボット制御サーバ４は、通信部４１と、記憶部４２と、プロセッサ４３と、を備えている。

【0070】

通信部４１は、情報収集ロボット２と通信を行い、制御情報を情報収集ロボット２に送信し、顔カメラ２１の撮影画像やバイタルセンサ２２の検出結果を情報収集ロボット２から受信する。また、通信部４１は、在席管理サーバ３と通信を行い、プロセッサ４３で取得した顔照合結果やバイタル情報の測定結果やマスク着用の判定結果を在席管理サーバ３に送信する。

【0071】

記憶部４２は、プロセッサ４３で実行されるプログラムなどを記憶する。また、記憶部４２は、エリア管理データベース、および顔データベースの登録情報を記憶する。エリア管理データベースには、在席検知エリアの管理情報、具体的には、在席検知エリアのエリアＩＤおよび位置情報などが登録される。顔データベースには、予め登録された人物ごとの顔照合情報、具体的には、人物ＩＤ、および顔特徴情報などの情報が登録される。

【0072】

プロセッサ４３は、記憶部４２に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ４３が、走行制御処理、顔照合処理、バイタル情報測定処理、およびマスク着用判定処理などを行う。

【0073】

走行制御処理では、プロセッサ４３が、対象となる在席検知エリア、すなわち、人物の在席が検知された在席検知エリアの近傍に目標位置を設定して、待機位置から目標位置に移動するように情報収集ロボット２を制御する。また、走行制御処理では、プロセッサ４３が、待機位置へ戻るように情報収集ロボット２を制御する。なお、複数の人物が続けて着席することで、目標位置が複数設定された場合には、在席が検知された順に目標位置に移動するのではなく、例えば情報収集ロボット２の現在位置に近い順番で目標位置に順次移動できる最適経路（最短経路）を設定する経路の最適化が、在席検知結果が更新される度に適宜に実行されるようにしてもよい。

【0074】

マスク着用判定処理では、プロセッサ４３が、情報収集ロボット２の顔カメラ２１の撮影画像に基づいて、対象となる人物がマスクを着用しているか否かを判定する。

【0075】

顔照合処理では、プロセッサ４３が、対象となる在席検知エリアに在席する人物の顔を顔カメラ２１で撮影するように情報収集ロボット２を制御する。次に、情報収集ロボット２から受信した顔カメラ２１の撮影画像から、対象となる人物の顔特徴情報を抽出する。そして、登録済みの人物ごとの顔特徴情報を記憶部４２から取得して、その登録済みの人物ごとの顔特徴情報と、対象となる人物の顔特徴情報とを照合して、対象となる在席検知エリアに在席する人物を特定する。なお、対象となる人物がマスクを着用している場合には、顔画像内のマスク領域を除外して照合が行われる。

【0076】

バイタル情報測定処理では、プロセッサ４３が、対象となる人物のバイタル情報（体温、心拍数など）をバイタルセンサ２２で測定するように情報収集ロボット２を制御して、情報収集ロボット２から受信したバイタルセンサ２２の検出結果に基づいて、バイタル情報の測定結果を取得する。このとき、例えば体温を測定する場合には、顔カメラ２１による撮影画像（カラー画像）における顔の検知結果に基づいて、バイタルセンサ２２としてのサーモカメラによる温度画像内の額などの位置を特定して、その額などの領域の温度を取得する。なお、体温の測定は、額などの位置を特定せず、顔の表皮温度の中で最も高い温度を示す温度値を体温として測定するようにしてもよい。また、顔カメラ２１の撮影画像に基づいて人物の顔の表情を判定して、バイタル情報の測定結果として、人物の顔の表情から推定される人物の体調に関する情報を取得するようにしてもよい。また、バイタル情報の測定結果として、心拍数から推定される人物の緊張度を取得するようにしてもよい。

【0077】

次に、第１実施形態に係るユーザ端末５に表示される在席状況確認画面について説明する。図６は、ユーザ端末５に表示されるマップ表示モードの在席状況確認画面を示す説明図である。図７は、ユーザ端末５に表示される部門別表示モードの在席状況確認画面を示す説明図である。

【0078】

在席管理サーバ３は、データベースに登録された情報に基づいて、執務室における人物の在席状況を提示する在席状況確認画面を生成して、その表示情報をユーザ端末５に配信し、ユーザ端末５において、図６に示すマップ表示モードの在席状況確認画面と、図７に示す部門別表示モード（一覧表示モード）の在席状況確認画面とが表示される。なお、所定の画面操作によりマップ表示モードと部門別表示モードを切り替えることができる。

【0079】

図６に示すように、マップ表示モードの在席状況確認画面（在席マップ）では、各執務席が描画された執務室の配置図５１（エリアマップ）が表示されており、配置図５１における各執務席の位置には、執務席に座る人物を表す人物アイコン５２（人物の着席位置を表す画像）が表示される。人物アイコン５２には、人物の顔画像が表示される。なお、人物アイコン５２に、人物の撮影画像から切り出した人物の顔画像の他に、人物の似顔絵や人物の名前を表す文字などが表示されるものとしてもよい。

【0080】

この在席状況確認画面では、人物アイコン５２をユーザが操作すると、吹き出し５３（人物情報表示部）が表示される。この吹き出し５３には、人物に関する詳細情報が表示される。図６に示す例では、吹き出し５３に、人物に関する詳細情報として、人物の名前と、在席検知エリア（執務席）の識別情報（エリア番号）と、体温の測定値と、マスクの着用の有無に関する情報としてのマスクアイコン５４とが表示される。マスクアイコン５４は、マスクの着用の有無に応じて形態が変化する。

【0081】

図７に示すように、部門別表示モードの在席状況確認画面では、在席中の人物に関する情報が部門（第１～第３の開発グループ）ごとに分かれて表示される。具体的には、部門別表示欄５５が設けられると共に、部門別表示欄５５に、人物別表示欄５６が設けられている。人物別表示欄５６には、人物の顔画像と、人物の名前と、在席検知エリア（執務席）の識別情報（エリア番号）と、体温の測定値と、マスクアイコン５４とが表示される。なお、図７に示す例では、不在の人物に関しては、人物の顔画像、および人物の名前のみが表示される。

【0082】

また、体温が発熱の範囲内（例えば３７．５度以上）に入る場合や、マスクを着用していない場合には、該当する人物別表示欄５６が強調表示されるようにしてもよい。図７に示す例では、体温の測定値が赤色の太字で表示される。なお、体温が発熱の範囲内に入る場合や、マスクを着用していない場合に、ポップアップ画面や音声などによるアラートを発報するようにしてもよい。

【0083】

次に、第１実施形態に係る在席管理サーバ３の動作手順について説明する。図８は、在席管理サーバ３の動作手順を示すフロー図である。

【0084】

在席管理サーバ３では、まず、プロセッサ３３が、在席検知処理を行う（ＳＴ１０１）。

【0085】

この在席検知処理では、プロセッサ３３が、室内カメラ１の撮影画像を取得して、その撮影画像内の在席検知エリアの画像領域に対して人物検出を行い、対象とする在席検知エリアに人物が存在するか否かを判定する。そして、プロセッサ３３が、対象とする在席検知エリアに人物が存在する場合には、対象とする在席検知エリアの状態を在席とし、対象とする在席検知エリアに人物が存在しない場合には、プロセッサ３３が、対象とする在席検知エリアの状態を空席（不在）として、その在席検知結果を記憶部３２に格納する。なお、対象とする在席検知エリアに人物が存在しないときでも、一時的に離席するなどして、人物の所持物が検知された場合は、在席検知エリアの状態を在席として取り扱うようにしてもよい。

【0086】

次に、プロセッサ３３が、在席検知エリアの状態が変化したか否かを判定する（ＳＴ１０２）。

【0087】

ここで、在席検知エリアの状態が変化した場合には（ＳＴ１０２でＹｅｓ）、次に、プロセッサ３３が、状態が変化した全ての在席検知エリアを対象にして、情報収集ロボット２を用いた情報収集処理（情報収集ループ）を行う（ＳＴ１０３～ＳＴ１１２）。

【0088】

この情報収集処理では、まず、プロセッサ３３が、在席検知エリアの状態が空席（不在）から在席に変化したか否かを判定する（ＳＴ１０４）。

【0089】

ここで、在席検知エリアの状態が空席から在席に変化した場合、すなわち、人物が着席した場合には（ＳＴ１０４でＹｅｓ）、次に、プロセッサ３３が、対象とする在席検知エリアが未チェック、すなわち、情報収集ロボット２による情報収集の指示が未だ行われていないか否かを判定する（ＳＴ１０５）。

【0090】

ここで、対象とする在席検知エリアが未チェックである場合には（ＳＴ１０５でＹｅｓ）、次に、プロセッサ３３が、対象とする在席検知エリアに在席する人物に関する情報収集を情報収集ロボット２に行わせる情報収集の指示を、通信部３１からロボット制御サーバ４に送信する（ＳＴ１０６）。

【0091】

次に、プロセッサ３３が、通信部３１によりロボット制御サーバ４から受信した在席人物情報、すなわち、顔照合結果、バイタル情報の測定結果、およびマスク着用の判定結果を取得する（ＳＴ１０７）。

【0092】

次に、プロセッサ３３が、在席データベースにおける人物に関する登録情報を更新する（ＳＴ１０８）。すなわち、対象となる在席検知エリアに対応付けられた人物に関する顔照合結果としての人物ＩＤ、バイタル情報の測定結果、およびマスク着用の判定結果を、在席データベースに登録する。また、プロセッサ３３が、在席データベースにおける対象エリアの状態に関する登録情報を在席に更新する（ＳＴ１０９）。そして、次の在席検知エリアの処理に進む。

【0093】

一方、対象となる在席検知エリアが未チェックでない場合、すなわち、情報収集ロボット２による情報収集の指示が既に行われている場合には（ＳＴ１０５でＮｏ）、次に、プロセッサ３３が、情報収集ロボット２による情報収集の指示が行われてから所定時間以上経過したか否かを判定する（ＳＴ１１０）。

【0094】

ここで、情報収集ロボット２による情報収集の指示が行われてから所定時間以上経過した場合には（ＳＴ１１０でＹｅｓ）、ＳＴ１０６に進み、情報収集ロボット２による情報収集の指示を再度行う。一方、情報収集ロボット２による情報収集の指示が行われてから所定時間以上経過していない場合には（ＳＴ１１０でＮｏ）、ＳＴ１０９に進む。

【0095】

また、在席検知エリアの状態が在席から空席に変化した場合には（ＳＴ１０４でＮｏ）、次に、プロセッサ３３が、在席データベースにおける対象となる在席検知エリアの状態に関する登録情報を空席に更新する（ＳＴ１１１）。そして、次の在席検知エリアの処理に進む。

【0096】

次に、第１実施形態に係るロボット制御サーバ４の動作手順について説明する。図９は、ロボット制御サーバ４の動作手順を示すフロー図である。

【0097】

ロボット制御サーバ４では、まず、通信部４１が、情報収集ロボット２による情報収集の指示を在席管理サーバ３から受信する（ＳＴ２０１）。

【0098】

次に、プロセッサ４３が、対象となる在席検知エリア、すなわち、在席が検知された在席検知エリアの近傍に目標位置を設定して、待機位置から目標位置に移動するように情報収集ロボット２を制御する（ＳＴ２０２）。

【0099】

次に、プロセッサ４３が、情報収集ロボット２が目標位置に到着すると、情報収集ロボット２の方に顔を向けるように人物を促す音声をスピーカー２３から出力するように情報収集ロボット２を制御する（ＳＴ２０３）。このとき、プロセッサ４３が、対象となる在席検知エリアに座る人物の顔を顔カメラ２１で撮影するように情報収集ロボット２を制御する。

【0100】

次に、プロセッサ４３が、マスク着用判定処理を行う（ＳＴ２０４）。このとき、プロセッサ４３が、情報収集ロボット２から受信した顔カメラ２１の撮影画像に基づいて、対象となる人物のマスクの着用の有無を判定する。

【0101】

次に、プロセッサ４３が、顔照合処理を行う（ＳＴ２０５）。このとき、顔カメラ２１の撮影画像から、対象となる人物の顔特徴情報を抽出する。そして、登録済みの人物ごとの顔特徴情報を記憶部４２から取得して、その登録済みの人物ごとの顔特徴情報と、対象となる人物の顔特徴情報とを比較して、顔照合スコアを取得する。

【0102】

次に、プロセッサ４３が、顔照合スコアに基づいて、顔照合が成功したか否か、すなわち、対象となる人物が登録済みの人物と一致するか否かを判定する（ＳＴ２０６）。

【0103】

ここで、顔照合が成功した場合には（ＳＴ２０６でＹｅｓ）、プロセッサ４３が、バイタル情報測定処理を行う（ＳＴ２０７）。このとき、プロセッサ４３が、対象となる人物のバイタル情報をバイタルセンサ２２で測定するように情報収集ロボット２を制御して、情報収集ロボット２から受信したバイタル情報の測定結果を取得する。

【0104】

次に、プロセッサ４３が、在席人物情報、すなわち、顔照合結果、バイタル情報の測定結果、およびマスク着用の判定結果を、通信部４１から在席管理サーバ３に送信する（ＳＴ２０８）。

【0105】

次に、プロセッサ４３が、対象となる人物に、情報収集が終了したことと、情報収集の結果、すなわち、顔照合結果としての人物の名前や、バイタル情報の測定結果（例えば体温の測定値）を通知する音声をスピーカー２３から出力するように情報収集ロボット２を制御する（ＳＴ２０９）。

【0106】

次に、プロセッサ４３が、所定の待機位置へ戻るように情報収集ロボット２を制御する（ＳＴ２１０）。

【0107】

（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１０は、第２実施形態に係る在席情報管理システムの全体構成図である。

【0108】

本実施形態に係る在席情報管理システムは、第１実施形態（図１参照）と同様に、室内カメラ１と、在席管理サーバ３と、情報収集ロボット２と、ロボット制御サーバ４と、ユーザ端末５（ユーザ装置）と、を備えているが、さらに、顔照合用の第１の入口カメラ６と、人物照合用の第２の入口カメラ７と、入室管理サーバ８と、を備えている。

【0109】

第１の入口カメラ６は、執務室の入口周辺に設置され、顔照合（顔認証）を受ける人物の顔を撮影する。第２の入口カメラ７は、執務室の入口周辺に設置され、執務室の入口から入室する人物を撮影する。

【0110】

入室管理サーバ８は、第１の入口カメラ６の撮影画像と第２の入口カメラ７の撮影画像とに基づいて、執務室に入室する人物を管理する処理を行う。

【0111】

室内カメラ１は、第１実施形態と同様に、執務室内に設置され、執務室内に滞在する人物を撮影する。この室内カメラ１は、本実施形態では、第１実施形態と同様に着席検知用として用いられる他に人物照合用として用いられる。

【0112】

在席管理サーバ３は、第１実施形態と同様に、室内カメラ１による撮影画像と、情報収集ロボット２により収集された情報とに基づいて、執務室内の執務席に在席する人物を管理する処理を行う。

【0113】

次に、第２実施形態に係る第１の入口カメラ６および第２の入口カメラ７の設置状況について説明する。図１１は、第１の入口カメラ６および第２の入口カメラ７の設置状況を示す説明図である。なお、執務室のレイアウト、室内カメラ１の設置状況、および在席検知エリアの設定状況は、第１実施形態（図２参照）と同様である。

【0114】

執務室の入口には第１の入口カメラ６および第２の入口カメラ７が設置されている。第１の入口カメラ６には、所定の画角の範囲を撮影するボックスカメラが採用される。この第１の入口カメラ６により、執務室に入室する人物の顔が撮影される。また、第２の入口カメラ７には、魚眼レンズを用いて３６０度の範囲を撮影する全方位カメラが採用される。この第２の入口カメラ７により、執務室に入室する人物の全身または上半身が撮影される。

【0115】

なお、図１１に示す例では、執務室の外側に第２の入口カメラ７が設置されているが、執務室の内側に第２の入口カメラ７が設置されて、入口から入室する最中の人物の全身または上半身が撮影されるようにしてもよい。

【0116】

次に、第２実施形態に係る入室管理サーバ８、在席管理サーバ３、およびロボット制御サーバ４で行われる処理の概要について説明する。図１２は、入室管理サーバ８、在席管理サーバ３、およびロボット制御サーバ４で行われる処理の概要を示す説明図である。

【0117】

入室管理サーバ８は、第１の入口カメラ６の撮影画像から人物の顔の画像領域を切り出して顔画像を取得し、その顔画像から、入室する人物の顔特徴情報を抽出する。そして、登録済みの人物ごとの顔特徴情報と、入室する人物の顔特徴情報とを比較して、入室する人物を特定する（顔照合処理）。この顔照合処理により、入室する人物と登録された人物とが紐付けられ、入室する人物が特定される。この入室する人物の人物ＩＤは、入室データベースに登録される。また、顔照合（顔認証）が成功すると、人物が執務室に入室することができる。なお、ここでは、人物識別処理として、顔認証を行う構成を示したが、カード認証やバイオメトリクス認証などにより人物識別処理を行うようにしてもよい。

【0118】

また、入室管理サーバ８は、顔照合が成功した場合に、その顔照合と同一時刻の第２の入口カメラ７の撮影画像から人物の全身または上半身の画像領域を切り出して人物画像（第１の人物画像）を取得し、その人物画像から、入室する人物の人物特徴情報を抽出する（人物検知処理）。この入室する人物の人物特徴情報は、入室データベースに登録される。

【0119】

なお、人物特徴情報は、人物の服装の色、人物が所持する荷物、人物の身体の骨格など、人物の全身または上半身の外観上の特徴を表すものである。

【0120】

また、本実施形態では、顔照合用の第１の入口カメラ６と人物照合用の第２の入口カメラ７とが設けられた構成としたが、１台のカメラ（例えば全方位カメラ）で顔照合と人物照合とを兼用する構成としてもよい。また、全方位カメラで撮影された全方位画像から顔照合用の顔画像を取得する場合、全方位画像をパノラマ展開したパノラマ画像から顔の画像領域を切り出して顔画像を取得すればよい。

【0121】

在席管理サーバ３は、第１実施形態と同様に、室内カメラ１の撮影画像から在席検知エリア（執務席）の画像領域を切り出して在席検知エリア画像を取得し、その在席検知エリア画像から、在席検知エリアに人物が存在するか否かを判定して、その判定結果に応じて、在席検知エリアの状態を在席および空席のいずれかに設定する（在席検知処理）。

【0122】

また、在席管理サーバ３は、在席検知エリアの状態が空席から在席に変化した場合、すなわち、人物が着席した場合に、その直前の室内カメラ１の撮影画像から人物の全身または上半身の画像領域を切り出して人物画像（第２の人物画像）を取得し、その人物画像から、着席直前の人物に関する人物特徴情報を抽出する。そして、入室管理サーバ８の入室データベースに登録された入室する人物の人物特徴情報と、着席直前の人物に関する人物特徴情報とを照合する（人物照合処理）。この人物照合処理により、入室データベースに登録された入室した人物と着席する人物とが紐付けられ、着席する人物が特定される。

【0123】

なお、人物が執務席に座った状態では、机や椅子で人物の身体の一部が隠れてしまうため、適切な人物特徴情報を抽出することができない場合がある。そこで、本実施形態では、人物が執務席に座る直前の立っている状態で撮影された画像から人物画像を取得し、その人物画像から人物特徴情報を抽出する。

【0124】

ここで、第１実施形態では、在席が検知された全ての人物を対象にして、情報収集ロボット２の顔カメラ２１の撮影画像を用いた顔照合が行われる。すなわち、在席検知エリア（執務席）における人物の在席が検知される度に情報収集ロボット２が出動して、顔カメラ２１の撮影画像を用いた顔照合が行われる。このため、始業時などでは、情報収集ロボット２の出動頻度が多くなる場合がある。

【0125】

一方、本実施形態では、在席管理サーバ３において、室内カメラ１の撮影画像を用いた人物照合が失敗した場合に、その人物を対象にして、情報収集ロボット２の顔カメラ２１の撮影画像を用いた顔照合が行われ、人物照合が成功した人物に関しては、情報収集ロボット２の顔カメラ２１の撮影画像を用いた顔照合が省略される。このため、情報収集ロボット２の出動頻度を低減することができる。

【0126】

なお、本実施形態では、室内カメラ１の撮影画像を用いた人物照合が失敗した場合に、在席検知エリア（執務席）に在席する人物を特定する顔照合のために、情報収集ロボット２が出動するものとしたが、室内カメラ１の撮影画像を用いた人物照合が成功した場合でも、バイタルセンサ２２によるバイタル情報の測定や、マスク着用判定のために、情報収集ロボット２が出動するものとしてもよい。

【0127】

次に、第２実施形態に係る入室管理サーバ８、在席管理サーバ３、およびロボット制御サーバ４の概略構成について説明する。図１３は、入室管理サーバ８、在席管理サーバ３、およびロボット制御サーバ４の概略構成を示すブロック図である。

【0128】

入室管理サーバ８は、通信部８１と、記憶部８２と、プロセッサ８３と、を備えている。

【0129】

通信部８１は、第１の入口カメラ６および第２の入口カメラ７と通信を行い、第１の入口カメラ６および第２の入口カメラ７から撮影画像を受信する。また、通信部８１は、在席管理サーバ３と通信を行う。

【0130】

記憶部８２は、プロセッサ８３で実行されるプログラムなどを記憶する。また、記憶部８２は、顔データベースの登録情報を記憶する。顔データベースには、予め登録された人物ごとの顔照合情報、具体的には、人物ＩＤ、および顔特徴情報などの情報が登録される。また、記憶部８２は、入室データベースの登録情報を記憶する。入室データベースには、顔照合結果情報、具体的には、顔照合時刻、カメラＩＤ、人物ＩＤ、および顔照合スコアなどの情報と、人物特徴情報とが登録される。また、記憶部８２は、第２の入口カメラ７の撮影画像を一時的に蓄積する。

【0131】

プロセッサ８３は、記憶部８２に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ８３が、顔照合処理、および人物検知処理などを行う。

【0132】

顔照合処理（顔認証処理）では、プロセッサ８３が、第１の入口カメラ６の撮影画像から、入室する人物の顔の画像領域を切り出して顔画像を取得し、その顔画像から、入室する人物の顔特徴情報を抽出する。そして、登録済みの人物ごとの顔特徴情報を記憶部８２から取得して、その登録済みの人物ごとの顔特徴情報と、入室する人物の顔特徴情報とを照合して、入室する人物を特定する。

【0133】

人物検知処理では、プロセッサ８３が、第２の入口カメラ７の撮影画像から人物を検出して、第２の入口カメラ７の撮影画像から人物の全身または上半身の画像領域を切り出して人物画像を取得し、その人物画像から、入室する人物の人物特徴情報を抽出する。この入室する人物の人物特徴情報は、入室管理サーバ８の入室データベースに登録される。なお、第２の入口カメラ７（全方位カメラ）の撮影画像（全方位画像）から直接人物画像を切り出すことができるが、パノラマ展開した上で、その撮影画像（パノラマ画像）から人物画像を切り出してもよい。

【0134】

ここで、顔照合処理で取得した顔照合結果情報と、人物検知処理で取得した人物特徴情報とは、同一人物として紐づけられた状態で、入室データベースに登録される。なお、顔照合処理の対象人物と人物検知処理の対象人物とが別人となることを避けるため、人物検知処理では、顔照合に用いた撮影画像と同一時刻またはその直後の撮影画像を用いるとよい。これにより、顔照合を受けている最中またはその直後の時点の人物画像から人物特徴情報を抽出することができる。

【0135】

在席管理サーバ３の構成は、第１実施形態（図５参照）と同様である。在席管理サーバ３のプロセッサ３３は、第１実施形態と同様に、在席検知処理、および在席情報配信処理を行うが、本実施形態では、さらに人物照合処理を行う。

【0136】

人物照合処理では、プロセッサ３３が、在席検知処理で取得した在席検知エリアの状態が空席から在席に変化した場合、すなわち、人物が着席した場合に、その直前の室内カメラ１の撮影画像から人物の全身または上半身の画像領域を切り出して人物画像を取得し、その人物画像から、着席直前の人物に関する人物特徴情報を抽出する。この人物照合処理により、入室データベースに登録された入室する人物と着席する人物とが紐付けられ、着席する人物が特定される。

【0137】

なお、着席直前の人物画像を取得する際には、人物の着席を検知したタイミングから所定のフレーム数分だけ過去に遡った時点における室内カメラ１の撮影画像を取得して、その撮影画像から人物画像を取得すればよい。また、室内カメラ１が全方位カメラである場合には、撮影画像をパノラマ展開したパノラマ画像から人物画像を取得するとよい。また、着席直前の人物に関する人物特徴情報を抽出する際には、室内カメラ１の撮影画像から検出された人物のうち、着席が検知された執務席の近傍に存在する人物を選択して、その人物に関する人物特徴情報を抽出すればよい。

【0138】

次に、第２実施形態に係る入室管理サーバ８の動作手順について説明する。図１４は、入室管理サーバ８の動作手順を示すフロー図である。

【0139】

入室管理サーバ８では、まず、プロセッサ８３が、通信部８１により第１の入口カメラ６から受信した撮影画像を取得する（ＳＴ３０１）。次に、プロセッサ８３が、第１の入口カメラ６の撮影画像から、入室する人物の顔特徴情報を抽出する（ＳＴ３０２）。次に、プロセッサ８３が、登録済みの人物ごとの顔特徴情報を記憶部８２から取得して、その登録済みの人物ごとの顔特徴情報と、入室する人物の顔特徴情報とを比較して、顔照合スコアを取得する（ＳＴ３０３）。

【0140】

次に、プロセッサ８３が、通信部８１により第２の入口カメラ７から受信した撮影画像を取得する（ＳＴ３０４）。このとき、第１の入口カメラ６の撮影画像と同一時刻または近接する時刻の第２の入口カメラ７の撮影画像を取得する。次に、プロセッサ８３が、第２の入口カメラ７の撮影画像から、入室する人物の人物特徴情報を抽出する（ＳＴ３０５）。

【0141】

次に、プロセッサ８３が、顔照合スコアが所定の閾値以上であるか否かを判定する（顔照合スコア判定）（ＳＴ３０６）。

【0142】

ここで、顔照合スコアが閾値以上である場合、すなわち、顔照合が成功した場合には（ＳＴ３０６でＹｅｓ）、プロセッサ８３が、入室する人物を特定して、その人物ＩＤと顔照合スコアとを含む顔照合結果情報を生成する（ＳＴ３０８）。一方、照合スコアが閾値未満である場合、すなわち、顔照合が失敗した場合には（ＳＴ３０６でＮｏ）、プロセッサ８３が、該当する人物がいないものとして、人物ＩＤを含まない顔照合結果情報を生成する（ＳＴ３０７）。

【0143】

次に、プロセッサ８３が、顔照合結果情報と人物特徴情報とを入室データベースに登録する（ＳＴ３０９）。

【0144】

次に、第２実施形態に係る在席管理サーバ３の動作手順について説明する。図１５，図１６は、在席管理サーバ３の動作手順を示すフロー図である。

【0145】

在席管理サーバ３では、まず、図１５（Ａ）に示すように、プロセッサ３３が、第１実施形態と同様に、在席検知処理を行う（ＳＴ４０１）。そして、プロセッサ３３が、在席検知結果情報を記憶部３２に格納する（ＳＴ４０２）。

【0146】

また、在席管理サーバ３では、図１５（Ｂ），図１６に示すように、プロセッサ３３が、在席検知結果情報を記憶部３２から取得する（ＳＴ５０１）。そして、プロセッサ３３が、在席が検知された全ての在席検知エリアを対象にして、情報収集処理（情報収集ループ）を行う（ＳＴ５０２～ＳＴ５１８）。

【0147】

この情報収集処理では、まず、プロセッサ３３が、在席検知エリアの状態が変化したか否かを判定する（ＳＴ５０３）。

【0148】

ここで、在席検知エリアの状態が変化した場合には（ＳＴ５０３でＹｅｓ）、次に、プロセッサ３３が、在席検知エリアの状態が空席（不在）から在席に変化したか否かを判定する（ＳＴ５０４）。

【0149】

ここで、在席検知エリアの状態が空席から在席に変化した場合、すなわち、人物が着席した場合には（ＳＴ５０４でＹｅｓ）、次に、プロセッサ３３が、在席状態に変化する前の空席状態の継続時間が所定時間（例えば３時間など）を越えたか否かを判定する（ＳＴ５０６）。

【0150】

ここで、在席状態に変化する前の空席状態の継続時間が所定時間以内である場合、すなわち、過去に在席検知エリアに在席していた人物が一時的に離席して戻ってきたものと想定される場合には（ＳＴ５０６でＮｏ）、次の在席検知エリアの処理に進む。

【0151】

一方、在席状態に変化する前の空席状態の継続時間が所定時間を越えた場合、すなわち、過去に在席検知エリアに在席していた人物が一時的に離席した場合でない場合には（ＳＴ５０６でＹｅｓ）、在席データベースにおける対象エリアの人物に関する登録情報を削除する（ＳＴ５０７）。

【0152】

次に、プロセッサ３３が、人物が着席したタイミングの直前の室内カメラ１の撮影画像を記憶部４２から取得する（ＳＴ５０８）。そして、室内カメラ１の撮影画像から、着席直前の人物に関する人物特徴情報を抽出する（ＳＴ５０９）。

【0153】

次に、プロセッサ３３が、入室管理サーバ８から入室データベースに登録された入室時の人物特徴情報を取得する（ＳＴ５１０）。そして、プロセッサ３３が、入室時の人物特徴情報と着席直前の人物特徴情報とを比較して、人物照合スコアを取得する（ＳＴ５１１）。

【0154】

次に、プロセッサ３３が、人物照合スコアが所定の閾値以上であるか否かを判定する（ＳＴ５１２）。

【0155】

ここで、人物照合スコアが閾値以上である場合、すなわち、人物照合が成功した場合には（ＳＴ５１２でＹｅｓ）、次に、プロセッサ３３が、在席する人物を特定して、その人物ＩＤと人物照合スコアとを含む人物照合結果情報を生成する（ＳＴ５１６）。

【0156】

一方、照合スコアが閾値未満である場合、すなわち、人物照合が失敗した場合には（ＳＴ５１２でＮｏ）、次に、プロセッサ３３が、対象とする在席検知エリアに在席する人物に関する情報収集をロボット制御サーバ４に行わせる情報収集の指示を通信部３１からロボット制御サーバ４に送信する（ＳＴ５１３）。

【0157】

次に、プロセッサ３３が、通信部３１によりロボット制御サーバ４から受信した在席人物情報、すなわち、顔照合結果としての人物ＩＤ、バイタル情報の測定結果、およびマスク着用の判定結果を取得する（ＳＴ５１４）。

【0158】

次に、プロセッサ３３が、人物ＩＤを含む人物照合結果情報を生成する（ＳＴ５１５）。

【0159】

次に、プロセッサ３３が、人物照合結果情報を在席データベースに登録する（ＳＴ５１７）。そして、次の在席検知エリアの処理に進む。なお、人物照合が成功して該当する人物の情報が在席データベースに登録されると、その人物の情報が入室データベースから削除される。

【0160】

一方、在席検知エリアの状態が在席から空席に変化した場合には（ＳＴ５０４でＮｏ）、次に、プロセッサ３３が、在席データベースにおける対象となる在席検知エリアの状態に関する登録情報を空席に更新する（ＳＴ５０５）。そして、次の在席検知エリアの処理に進む。

【0161】

なお、ロボット制御サーバ４の動作手順は、第１実施形態（図９参照）と同様である。

【0162】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0163】

本発明に係る在席情報管理システムおよび在席情報管理方法は、フリーアドレス制のオフィスにおいて、人物の在席状況に関する在席情報を取得する場合に、オフィスのレイアウト変更等が発生しても、在席する人物を特定するための設備の更新や調整に大きな手間をかけずに済み、さらに、在席する人物の健康に関する情報などを効率よく収集することができる効果を有し、執務エリアにおける人物の在席状況に関する在席情報を管理する処理をプロセッサにより実行する在席情報管理システムおよび在席情報管理方法などとして有用である。

【符号の説明】

【0164】

１ 室内カメラ（エリア内カメラ）
２ 情報収集ロボット
３ 在席管理サーバ
４ ロボット制御サーバ
５ ユーザ端末
６ 第１の入口カメラ
７ 第２の入口カメラ
８ 入室管理サーバ
２１ 顔カメラ
２２ バイタルセンサ
２３ スピーカー
２４ 走行部
２５ コントローラ
３１ 通信部
３２ 記憶部
３３ プロセッサ
４１ 通信部
４２ 記憶部
４３ プロセッサ
５１ 配置図
５２ 人物アイコン
５３ 吹き出し
５４ マスクアイコン
５５ 部門別表示欄
５６ 人物別表示欄
８１ 通信部
８２ 記憶部
８３ プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】