特許 7552444 情報処理システムおよび情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】情報処理システムおよび情報処理方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240910BHJP

   G06T 7/60 20170101ALI20240910BHJP

   F21V 23/00 20150101ALI20240910BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/60 110

F21V23/00 115

【請求項の数】 9

(21)【出願番号】P 2021034550

(22)【出願日】2021-03-04

(65)【公開番号】P2022134998

(43)【公開日】2022-09-15

【審査請求日】2023-11-09

(73)【特許権者】

【識別番号】000003757

【氏名又は名称】東芝ライテック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】加藤 俊也

(72)【発明者】

【氏名】井上 優

(72)【発明者】

【氏名】平松 拓朗

(72)【発明者】

【氏名】高原 雄一郎

(72)【発明者】

【氏名】西垣 英則

(72)【発明者】

【氏名】斎藤 靖弘

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０２０－１４５００５（ＪＰ，Ａ）

【文献】特開２０１７－８４０８３（ＪＰ，Ａ）

【文献】特開２０２０－１８４１９１（ＪＰ，Ａ）

【文献】特開２０２０－４５２４０（ＪＰ，Ａ）

【文献】特開２０２１－２８７５９（ＪＰ，Ａ）

【文献】国際公開第２０１８／１８０５８８（ＷＯ，Ａ１）

【文献】国際公開第２０１８／０１１９４４（ＷＯ，Ａ１）

【文献】特開２００６－１４６３７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｆ２１Ｖ ２３／００－９９／００

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

所定の空間に配置される照明装置であって、
前記空間を照らす照明部と、
前記空間を撮像範囲とする撮像部とを有する照明装置と；
前記空間に滞在したユーザの過去の滞在時間を取得する取得部と、
前記撮像部によって撮像された画像に基づいて、前記空間に滞在しているユーザを検出する検出部と、
前記検出部によって検出された前記ユーザのうち、複数の前記ユーザで行動するグループを特定する特定部と、
前記特定部による特定結果および前記取得部によって取得された前記過去の滞在時間に基づいて、前記空間における混雑状況を予測する予測部とを有する情報処理装置と；
を具備することを特徴とする情報処理システム。

【請求項2】

前記情報処理装置は、
前記空間に入室予定の前記ユーザを推定する推定部をさらに有し、
前記予測部は、
前記推定部の推定結果に基づいて前記混雑状況を予測すること
を特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記空間は、互いに出入り可能に連結された第１の個別空間および第２の個別空間を含み、
前記照明装置は、
前記第１の個別空間および前記第２の個別空間それぞれに配置され、
前記推定部は、
前記ユーザが前記第１の個別空間を退室して前記第２の個別空間に入室する場合に、前記第１の個別空間に配置された前記照明装置の前記撮像部によって撮像された画像に基づき推定した退室ユーザの数に基づいて、前記第２の個別空間へ入室予定のユーザの数を推定すること
を特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記情報処理装置は、
前記検出部によって検出された前記ユーザの数に基づいて、前記照明装置の前記照明部および前記撮像部を制御する機器制御部をさらに有すること
を特徴とする請求項１～３のいずれか１つに記載の情報処理システム。

【請求項5】

前記機器制御部は、
前記ユーザの数が所定の閾値未満である場合、前記撮像部によって撮像される前記画像のデータ量を低下させること
を特徴とする請求項４に記載の情報処理システム。

【請求項6】

前記機器制御部は、
前記画像のデータ量を低下させるタイミングにおいて、前記照明部の照明態様を変化させること
を特徴とする請求項５に記載の情報処理システム。

【請求項7】

前記特定部は、
前記画像に基づいて推定した前記ユーザの密集度に基づいて、前記グループを特定すること
を特徴とする請求項１～６のいずれか１つに記載の情報処理システム。

【請求項8】

前記空間には、所定の対象物体が配置されており、
前記予測部は、
前記グループの前記対象物体への関与時間に基づいて前記混雑状況を予測すること
を特徴とする請求項１～７のいずれか１つに記載の情報処理システム。

【請求項9】

所定の空間に滞在したユーザの過去の滞在時間を取得する取得工程と；
前記空間を撮像範囲とする撮像部によって撮像された画像に基づいて、前記空間に滞在しているユーザを検出する検出工程と；
前記検出工程によって検出された前記ユーザのうち、複数の前記ユーザで行動するグループを特定する特定工程と；
前記特定工程による特定結果および前記取得工程によって取得された前記過去の滞在時間に基づいて、前記空間における混雑状況を予測する予測工程と；
を含むことを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理システムおよび情報処理方法に関する。

【背景技術】

【0002】

従来、天井等の壁面に取付けるタイプのいわゆるベースライトと呼ばれる照明装置がある。近年、かかる照明装置に、付加デバイスとしてたとえばカメラを取付けて周囲を撮像可能とした照明装置から撮像画像を取得して各種処理を行うシステムが提案されている。このシステムは、防犯カメラの機能を有する街路灯、工場での生産ラインの監視、あるいはオフィス内での従業員の状態監視などの用途に導入されつつある。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１６９４５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、所定の空間におけるユーザの行動を高精度に検出する点で更なる改善の余地があった。

【0005】

本発明が解決しようとする課題は、所定の空間におけるユーザの行動を高精度に検出することができる情報処理システムおよび情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

実施形態に係る情報処理システムは、照明装置と、情報処理装置とを具備する。前記照明装置は、ユーザが存在する所定の空間に配置される照明装置であって、前記空間を照らす照明部と、前記空間を撮像範囲とする撮像部とを有する。前記情報処理装置は、前記撮像部の撮像画像に基づいて前記ユーザの骨格特徴を示す骨格情報を検出する骨格検出部と、前記骨格情報に基づいて前記ユーザを識別する識別部と、前記撮像画像に基づいて、識別した前記ユーザの前記空間における行動に関する行動情報を検出する行動検出部とを有する。

【図面の簡単な説明】

【0007】

【図1A】図１Ａは、実施形態に係る情報処理システムによって実行される処理の概要を示す図である。

【図1B】図１Ｂは、実施形態に係る情報処理システムによって実行される処理の概要を示す図である。

【図2】図２は、実施形態に係る情報処理システムの構成例を示すブロック図である。

【図3】図３は、実施形態に係る情報処理装置の構成例を示すブロック図である。

【図4】図４は、ユーザ情報の一例を示す図である。

【図5】図５は、第１処理部の機能構成例を示すブロック図である。

【図6】図６は、第２処理部の機能構成例を示すブロック図である。

【図7】図７は、識別部による識別処理を示す図である。

【図8】図８は、推定部による推定処理を示す図である。

【図9】図９は、実施形態に係る第１処理部において実行される処理の処理手順を示すフローチャートである。

【図10】図１０は、実施形態に係る第２処理部において実行される処理の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下で説明する情報処理システムＳは、照明装置１００と、情報処理装置１とを具備する。照明装置１００は、ユーザが存在する所定の空間ＳＰに配置される照明装置１００であって、空間ＳＰを照らす照明部１１０と、空間ＳＰを撮像範囲とする撮像部１２０とを有する。情報処理装置１は、撮像部１２０の撮像画像に基づいてユーザの骨格特徴を示す骨格情報を検出する骨格検出部３１２と、骨格情報に基づいてユーザを識別する識別部３１３と、撮像画像に基づいて、識別したユーザの空間ＳＰにおける行動に関する行動情報を検出する行動検出部３１４とを有する。

【0009】

以下で説明する情報処理装置１は、記憶部４を有する。記憶部４は、骨格情報およびユーザの識別情報を紐付けたユーザ情報４２を記憶する。識別部３１３は、骨格検出部３１２によって検出された骨格情報と、ユーザ情報４２とを照合することで、ユーザを識別する。

【0010】

以下で説明する情報処理装置１は、ユーザによって入力された属性情報を紐付けたユーザ情報４２を記憶部４に記憶する。

【0011】

以下で説明する空間ＳＰには、所定の対象物体が配置される。行動検出部３１４は、ユーザの対象物体への興味に関する情報を含む行動情報を検出する。

【0012】

以下で説明する行動検出部３１４は、ユーザの空間ＳＰにおける滞在時間に関する情報を含む行動情報を検出する。

【0013】

以下で説明する空間ＳＰは、複数の領域に区分けされる。行動検出部３１４は、領域毎の滞在時間に関する情報を含む行動情報を検出する。

【0014】

以下で説明する空間ＳＰは、互いに出入り可能に連結された第１の個別空間および第２の個別空間を含む。照明装置１００は、第１の個別空間および第２の個別空間それぞれに配置される。識別部３１３は、ユーザが第１の個別空間を退出して第２の個別空間に入室する場合に、第１の個別空間を退室した退室ユーザのユーザ情報に基づいて、入室ユーザを識別する。

【0015】

以下で説明する情報処理方法は、骨格検出工程と、識別工程と、行動検出工程とを含む。骨格検出工程は、ユーザが存在する所定の空間ＳＰを撮像範囲とする撮像部１２０の撮像画像に基づいてユーザの骨格特徴を示す骨格情報を検出する。識別工程は、骨格情報に基づいてユーザを識別する。行動検出工程は、撮像画像に基づいて、識別したユーザの空間ＳＰにおける行動に関する行動情報を検出する。

【0016】

以下で説明する情報処理システムＳは、照明装置１００と、情報処理装置１とを具備する。照明装置１００は、所定の空間ＳＰに配置される照明装置１００であって、空間ＳＰを照らす照明部１１０と、空間ＳＰを撮像範囲とする撮像部１２０とを有する。情報処理装置１は、空間ＳＰに滞在したユーザの過去の滞在時間を取得する取得部３２１と、撮像部１２０によって撮像された画像に基づいて、空間ＳＰに滞在しているユーザを検出する検出部３２２と、検出部３２２によって検出されたユーザのうち、複数のユーザで行動するグループを特定する特定部３２３と、特定部３２３による特定結果および取得部３２１によって取得された過去の滞在時間に基づいて、空間ＳＰにおける混雑状況を予測する予測部３２５とを有する。

【0017】

以下で説明する情報処理装置１は、空間ＳＰに入室予定のユーザを推定する推定部３２４をさらに有する。予測部３２５は、推定部３２４の推定結果に基づいて混雑状況を予測する。

【0018】

以下で説明する空間ＳＰは、互いに出入り可能に連結された第１の個別空間および第２の個別空間を含む。照明装置１００は、第１の個別空間および第２の個別空間それぞれに配置される。推定部３２４は、ユーザが第１の個別空間を退室して第２の個別空間に入室する場合に、第１の個別空間に配置された照明装置１００の撮像部１２０によって撮像された画像に基づき推定した退室ユーザの数に基づいて、第２の個別空間への入室予定のユーザの数を推定する。

【0019】

以下で説明する情報処理装置１は、検出部３２２によって検出されたユーザの数に基づいて、照明装置１００の照明部１１０および撮像部１２０を制御する機器制御部３２６をさらに有する。

【0020】

以下で説明する機器制御部３２６は、ユーザの数が所定の閾値未満である場合、撮像部１２０によって撮像される画像のデータ量を低下させる。

【0021】

以下で説明する機器制御部３２６は、画像のデータ量を低下させるタイミングにおいて、照明部１１０の照明態様を変化させる。

【0022】

以下で説明する特定部３２３は、画像に基づいて推定したユーザの密集度に基づいて、グループを特定する。

【0023】

以下で説明する空間ＳＰには、所定の対象物体が配置される。予測部３２５は、グループの対象物体への関与時間に基づいて混雑状況を予測する。

【0024】

以下で説明する情報処理方法は、取得工程と、検出工程と、特定工程と、予測工程とを含む。取得工程は、所定の空間ＳＰに滞在したユーザの過去の滞在時間を取得する。検出工程は、空間ＳＰを撮像範囲とする撮像部１２０によって撮像された画像に基づいて、空間ＳＰに滞在しているユーザを検出する。特定工程は、検出工程によって検出されたユーザのうち、複数のユーザで行動するグループを特定する。予測工程は、特定工程による特定結果および取得工程によって取得された過去の滞在時間に基づいて、空間ＳＰにおける混雑状況を予測する。

【0025】

以下、図面を参照して、実施形態に係る情報処理システムおよび情報処理方法について説明する。なお、以下に示す実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0026】

（実施形態）
まず、図１Ａおよび図１Ｂを用いて、実施形態に係る情報処理システムＳによって実行される処理の概要について説明する。図１Ａおよび図１Ｂは、実施形態に係る情報処理システムＳによって実行される処理の概要を示す図である。

【0027】

まず、図１Ａに示す処理の概要について説明する。

【0028】

図１Ａに示す例では、空間ＳＰに存在するユーザから検出される骨格情報を基に当該ユーザを識別することで、識別したユーザの行動を検出（分析）する。

【0029】

図１Ａに示すように、実施形態に係る情報処理システムＳは、少なくとも情報処理装置１と、照明装置１００とを含んで構成される。また、情報処理装置１および照明装置１００は、互いに通信可能に接続される。なお、情報処理システムＳの詳細なシステム構成については、図２で後述する。

【0030】

情報処理装置１は、例えば、照明装置１００を管理する管理者が扱う端末装置であり、実施形態に係る情報処理方法を実行する。照明装置１００は、例えば、空間ＳＰの天井に配置されるベースタイプやラウンドタイプの照明装置である。照明装置１００は、例えば、空間ＳＰ全体を照明可能、かつ、撮像可能な位置（例えば、空間ＳＰの中央部）や、空間ＳＰの出入り口（不図示）に配置される。

【0031】

図１Ａに示すように、照明装置１００は、照明部１１０と、撮像部１２０とを有する。照明部１１０は、例えば、ＬＥＤ（Light Emitting Diode）等の発光素子を有し、空間ＳＰを照らす。撮像部１２０は、撮像素子を有したカメラであり、空間ＳＰを撮像範囲として撮像する。

【0032】

実施形態に係る情報処理システムＳでは、まず、照明装置１００が撮像部１２０により空間ＳＰを撮像する（ステップＳ１）。

【0033】

つづいて、照明装置１００は、撮像した画像を情報処理装置１へ送信する（ステップＳ２）。

【0034】

つづいて、情報処理装置１は、取得した画像に基づいてユーザの骨格特徴を示す骨格情報を検出し、骨格情報に基づいてユーザを識別する（ステップＳ３）。具体的には、情報処理装置１は、ユーザＩＤと骨格情報とが紐付いたデータベースであるユーザ情報を予め記憶しており、検出した骨格情報について、ユーザ情報の骨格情報と照合することでユーザを識別する。より具体的には、情報処理装置１は、ユーザ情報の中に、検出した骨格情報と一致する骨格情報が含まれるかを探索し、一致した骨格情報に対応するユーザＩＤを特定する。なお、情報処理装置１は、ユーザ情報の中に一致する骨格情報が存在しない場合には、検出した骨格情報に新たなユーザＩＤを紐付けてユーザ情報に登録する。なお、骨格情報は、ユーザの身体的な特徴点を線で繋いだ情報であるが、かかる点の詳細については、図４で後述する。

【0035】

つづいて、情報処理装置１は、識別完了後、撮像部１２０によって撮像された画像に基づいて識別したユーザを追跡（空間ＳＰにおける位置を検出）することで、ユーザの空間ＳＰにおける行動検出を行う、詳細には、行動に関する行動情報を検出する（ステップＳ４）。例えば、情報処理装置１は、空間ＳＰにおける滞在時間や、空間ＳＰに存在する対象物体への興味に関する情報を行動情報として検出する。

【0036】

このように、実施形態に係る情報処理システムＳによれば、骨格情報を基に識別したユーザの行動情報を検出することで、空間ＳＰにおけるユーザの行動を高精度に検出することができる。

【0037】

次に、図１Ｂに示す処理の概要について説明する。

【0038】

図１Ｂに示すように、情報処理装置１は、照明装置１００の撮像部１２０によって撮像された画像を取得し、取得した画像に基づいて、空間ＳＰに滞在しているユーザを検出する（ステップＳ１１）。ユーザの検出は、例えば、パターンマッチング等の画像解析により検出してもよく、あるいは、上記した骨格情報を基に検出してもよい。

【0039】

つづいて、情報処理装置１は、検出したユーザのうち、複数のユーザで行動するグループを特定する（ステップＳ１２）。なお、グループの特定方法の詳細については、後述する。

【0040】

つづいて、情報処理装置１は、グループの特定結果と、空間ＳＰにおけるユーザ（退室済ユーザ）の過去の滞在時間とに基づいて、空間ＳＰにおける混雑状況を予測する（ステップＳ１３）。例えば、情報処理装置１は、特定したグループが同時に退室すると仮定して、空間ＳＰの現在の混雑状況や、所定時間後の混雑状況、現在の混雑している場合に混雑が解消する時間等を予測する。

【0041】

これは、複数のユーザがグループで行動している場合には、グループに含まれる各ユーザの滞在時間に関わらずグループで同時に退室する可能性が高いため、グループの行動によって混雑状況の予測が大きく変動するためである。そのため、実施形態に係る情報処理システムＳでは、空間ＳＰに存在するグループを特定して混雑状況を予測することで、高精度に混雑状況を予測することができる。

【0042】

なお、図１Ｂに示す例では、１つの空間ＳＰにおける混雑状況を予測する場合を示したが、例えば、空間ＳＰが複数の個別空間に分かれている場合には、個別空間毎の混雑状況を予測することができる。かかる場合には、隣接する個別空間の退室ユーザの数から対象の個別空間への入室ユーザの数を推定して混雑状況を予測できるが、かかる点については、図７で後述する。

【0043】

次に、図２を用いて、実施形態に係る情報処理システムＳの構成例について説明する。図２は、実施形態に係る情報処理システムＳの構成例を示すブロック図である。図２に示すように、情報処理システムＳは、情報処理装置１と、複数の照明装置１００と、読取端末２００とを有する。情報処理装置１、複数の照明装置１００および読取端末２００は、所定の通信ネットワークＮを介して互いに通信可能に接続される。

【0044】

情報処理装置１は、例えば、照明装置１００を管理する管理者によって利用される端末装置である。情報処理装置１は、例えば、デスクトップ型ＰＣ（Personal Computer）や、ノート型ＰＣ、スマートフォン、タブレット型端末、ＰＤＡ（Personal Digital Assistant）などを用いることができる。また、情報処理装置１は、クラウドコンピューティングや、サーバとして構成されてもよい。

【0045】

照明装置１００は、例えば、空間ＳＰの天井に取り付けられる照明装置である。照明装置１００は、例えば、バータイプやラウンドタイプの照明装置を用いることができる。なお、照明装置１００は、例えば、所定規格の電力を供給可能な通信ケーブルであるＰｏＥ（Power over Ethernet；登録商標）ケーブルにより情報処理装置１や、読取端末２００、他の照明装置１００と接続されてもよい。

【0046】

読取端末２００は、ユーザの属性情報が埋め込まれた情報コードを読み取る読取装置であり、カードリーダーとも呼ばれる。情報コードは、例えば、１次元バーコードや、２次元バーコードである。読取端末２００は、例えば、空間ＳＰの入口や、空間ＳＰの内部に配置され、情報コードが表示されたカードをユーザが所定位置にかざすことで読み取ることができる。

【0047】

次に、図３を用いて、情報処理装置１の構成について説明する。図３は、実施形態に係る情報処理装置１の構成例を示すブロック図である。図３に示すように、情報処理装置１は、通信部２と、制御部３と、記憶部４とを有する。通信部２は、無線通信処理や有線通信処理を行うための通信デバイスである。

【0048】

ここで、情報処理装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ、入出力ポートなどを有するコンピュータや各種の回路を含む。

【0049】

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部３の第１処理部３１および第２処理部３２を実行する。

【0050】

また、制御部３の第１処理部３１および第２処理部３２の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

【0051】

また、記憶部４は、たとえば、ＲＡＭやフラッシュメモリに対応する。ＲＡＭやフラッシュメモリは、画像情報４１や、ユーザ情報４２、各種プログラムの情報等を記憶することができる。なお、情報処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

【0052】

記憶部４に記憶された画像情報４１は、照明装置１００の撮像部１２０によって撮像された撮像画像の履歴である。

【0053】

ユーザ情報４２は、空間ＳＰに出入りしたユーザに関する情報であり、制御部３によって生成される情報である。図４は、ユーザ情報４２の一例を示す図である。

【0054】

図４に示すように、ユーザ情報４２は、「ユーザＩＤ」と、「骨格情報」と、「属性情報」と、「入室時刻」と、「退室時刻」と、「滞在時間」とが紐付いた情報である。

【0055】

「ユーザＩＤ」は、ユーザを識別する識別情報である。「骨格情報」は、ユーザの骨格特徴を示す骨格情報である。図４に示すように、「骨格情報」は、ユーザの身体的な特徴点（関節点等）を線で繋いだ情報である。図４に示す例では、「骨格情報」は、頭、首、肩、肘、手首、腰、臀部、膝、足の甲を特徴点とする情報である。「属性情報」は、ユーザの属性に関する情報であり、例えば、勤務先、部署、役職等の勤務先属性や、性別、年齢等といったユーザの人口統計学的な属性であるデモグラフィック属性、価値観や、ライフスタイル、性格、好み等といったユーザの心理学的な情報であるサイコグラフィック属性を含む。「入室時刻」は、空間ＳＰや後述する個別空間Ｉ１～Ｉ３（図７参照）、空間ＳＰを区分けした領域へ入室した時刻を示す情報である。「退室時刻」は、空間ＳＰや後述する個別空間Ｉ１～Ｉ３（図７参照）、領域を退室した時刻を示す情報である。「滞在時間」は、空間ＳＰや後述する個別空間Ｉ１～Ｉ３（図７参照）、領域に滞在した時間であり、「入室時刻」から「退室時刻」までの期間である。

【0056】

なお、図４では、「属性情報」、「入室時刻」、「退室時刻」および「滞在時間」を「＃１」、「＃２」、「＃３」および「＃４」として抽象的に示しているが、実際には上記した詳細な情報が含まれる。

【0057】

次に、制御部３の各機能（第１処理部３１および第２処理部３２）について説明する。

【0058】

まず、図５を用いて、第１処理部３１について説明する。図５は、第１処理部３１の機能構成例を示すブロック図である。第１処理部３１は、図１Ａに示す処理を行う処理部であり、図５に示すように、取得部３１１と、骨格検出部３１２と、識別部３１３と、行動検出部３１４とを有する。

【0059】

取得部３１１は、各種情報を取得する。取得部３１１は、例えば、照明装置１００の撮像部１２０によって撮像された撮像画像を取得する。また、取得部３１１は、読取端末２００によって読み取られたユーザの属性情報を取得する。

【0060】

骨格検出部３１２は、取得部３１１が取得した撮像画像に基づいてユーザの骨格特徴を示す骨格情報を検出する。具体的には、骨格検出部３１２は、撮像画像に基づいて、ユーザの身体的な特徴点を検出し、検出した特徴点を繋いだ骨格情報を検出する。なお、骨格情報は、図４に示すような特徴点および線の情報であってもよく、あるいは、特徴点を示す座標情報と、接続先の特徴点を示す接続先情報とが紐付いたリスト情報であってもよい。なお、接続先情報には、接続先の特徴点と、かかる特徴点までの距離とが含まれる。

【0061】

識別部３１３は、骨格検出部３１２によって検出された骨格情報に基づいてユーザを識別する。具体的には、識別部３１３は、骨格検出部３１２によって検出された骨格情報と、記憶部４に記憶されたユーザ情報４２の「骨格情報」とを照合することで、ユーザを識別する。

【0062】

例えば、識別部３１３は、ユーザ情報４２の中に、骨格検出部３１２によって検出された骨格情報と一致する「骨格情報」が存在する場合、かかる「骨格情報」に対応する「ユーザＩＤ」を特定することで、ユーザを識別する。

【0063】

また、識別部３１３は、骨格検出部３１２によって検出された骨格情報と一致する「骨格情報」が存在しない場合、骨格検出部３１２によって検出された骨格情報に新たなユーザＩＤを紐付けてユーザ情報４２に登録する。

【0064】

また、識別部３１３は、ユーザによって読取端末２００を介して属性情報が入力された場合には、入力された属性情報を紐付けたユーザ情報４２を記憶部４に記憶する。具体的には、識別部３１３は、取得部３１１が読取端末２００からユーザの属性情報を取得した場合には、かかるユーザに対応するユーザＩＤのユーザ情報４２に属性情報を紐付ける。

【0065】

例えば、識別部３１３は、撮像画像に基づいてユーザが読取端末２００に情報コードをかざす動作を検出し、かざす動作を行ったユーザのユーザＩＤに属性情報を紐付ける。

【0066】

また、識別部３１３は、例えば、空間ＳＰが複数の個別空間を含む場合に、隣接する個別空間の退室ユーザのユーザ情報４２に基づいて、対象の個別空間への入室ユーザを識別する。かかる点について、図７を用いて説明する。

【0067】

図７は、識別部３１３による識別処理を示す図である。図７では、空間ＳＰは、互いに出入り可能に連結された３つの個別空間Ｉ１～Ｉ３を含む場合を示している。図７に示す例では、ユーザは、個別空間Ｉ１、個別空間Ｉ２、個別空間Ｉ３の順に一方通行で移動可能な例を示している。また、各個別空間Ｉ１～Ｉ３には、それぞれ照明装置１００ａ～１００ｃが配置されることとする。

【0068】

図７では、個別空間Ｉ２へ入室するユーザ（入室ユーザ）を識別する場合について説明する。かかる場合、識別部３１３は、まず、照明装置１００ａから取得される撮像画像に基づいて、個別空間Ｉ１（以下、第１の個別空間）を退室するユーザを特定する。具体的には、識別部３１３は、時系列の撮像画像に基づいて、個別空間Ｉ１の出口（個別空間Ｉ２の入口でもある）を出たユーザや、かかる出口のドアを開けたユーザを退室ユーザとして特定するとともに、退室ユーザのユーザＩＤを識別する。なお、図７に示す例では、ユーザＩＤ「Ｕ０１」、「Ｕ０３」、「Ｕ０８」のユーザが退室ユーザであることとする。

【0069】

つづいて、識別部３１３は、個別空間Ｉ２（以下、第２の個別空間）に配置された照明装置１００ｂから取得した撮像画像に基づいて、第２の個別空間Ｉ２へ入室したユーザを特定する。具体的には、識別部３１３は、時系列の撮像画像に基づいて、個別空間Ｉ２の入口から入ってきたユーザを入室ユーザとして特定する。そして、識別部３1３は、骨格検出部３１２によって検出された入室ユーザの骨格情報と、ユーザ情報４２とを照合する場合に、退室ユーザのユーザ情報４２に限定して照合を行う。つまり、識別部３１３は、ユーザが第１の個別空間Ｉ１を退出して第２の個別空間Ｉ２に入室する場合に、第１の個別空間Ｉ１を退室した退室ユーザのユーザ情報４２に基づいて、入室ユーザを識別する。これにより、すべてのユーザ情報４２を用いて照合する必要がないため、制御部３の処理負荷を軽減することができるとともに、入室ユーザを高精度に識別することができる。

【0070】

行動検出部３１４は、照明装置１００の撮像部１２０によって撮像された撮像画像に基づいて、識別部３１３によって識別されたユーザの空間ＳＰにおける行動に関する行動情報を検出する。

【0071】

具体的には、行動検出部３１４は、時系列の撮像画像に基づいて、識別したユーザを追跡（空間ＳＰにおけるユーザの位置履歴を検出）し、追跡結果に基づいて行動情報を検出する。

【0072】

行動検出部３１４は、例えば、ユーザの空間ＳＰにおける滞在時間に関する情報を含む行動情報を検出する。また、行動検出部３１４は、空間ＳＰが複数の個別空間で区分けされる場合には、個別空間毎に滞在時間を検出してもよい。また、行動検出部３１４は、１つの空間ＳＰを仮想的に複数の領域に区分けして、領域毎の滞在時間を検出してもよい。これにより、例えば、展示会等の会場において、ユーザが空間ＳＰや各個別空間、各領域にどの程度滞在したかを高精度に把握することができる。

【0073】

また、行動検出部３１４は、空間ＳＰに所定の対象物体が配置される場合、ユーザの対象物体への興味に関する情報を含む行動情報を検出してもよい。例えば、行動検出部３１４は、ユーザの対象物体への接近回数や、対象物体付近での滞在時間に基づいて対象物体への興味を検出する。また、行動検出部３１４は、例えば、撮像画像に基づいて、パンフレット等の対象物体を取る動作を検出したか否かにより興味を検出してもよい。これにより、例えば、展示会等において、ユーザの展示物（対象物体の一例）への興味を高精度に把握することができる。なお、対象物体は、上記したように、例えば、展示場における展示物であるが、対象物体は、例えば、展示物について説明する説明員であってもよい。かかる場合、行動検出部３１４は、説明員に対応する展示物への興味を検出する。

【0074】

また、行動検出部３１４は、展示会における説明員を除いた来場者に限定して行動情報を検出してもよい。かかる場合、ユーザ情報４２に説明員か否かの情報を紐付けしておき、識別部３１３は、骨格情報およびユーザ情報４２に基づいて、ユーザが説明員であるか来場者であるかを識別する。そして、行動検出部３１４は、識別部３１３によって来場者として識別されたユーザの行動情報を検出する。

【0075】

これにより、行動情報の検出処理による制御部３の処理負荷を軽減することができる。

【0076】

なお、行動検出部３１４は、リアルタイムで行動情報を検出、すなわち、空間ＳＰに現在存在しているユーザの行動情報を検出してもよく、事後的に、過去の撮像画像から行動情報を検出してもよい。

【0077】

次に、図６を用いて、第２処理部３２について説明する。図６は、第２処理部３２の機能構成例を示すブロック図である。第２処理部３２は、図１Ｂに示す処理を行う処理部であり、図６に示すように、取得部３２１と、検出部３２２と、特定部３２３と、推定部３２４と、予測部３２５と、機器制御部３２６とを有する。

【0078】

取得部３２１は、各種情報を取得する。例えば、取得部３２１は、照明装置１００の撮像部１２０によって撮像された撮像画像を取得する。また、取得部３２１は、既に空間ＳＰを退室したユーザの過去の滞在時間を取得する。かかる滞在時間は、平均値であってもよく、滞在時間のヒストグラムにおける中央値や最頻値であってもよい。

【0079】

検出部３２２は、取得部３２１によって取得された撮像画像に基づいて、空間ＳＰに現在滞在しているユーザを検出する。具体的には、検出部３２２は、空間ＳＰに滞在しているユーザの数を検出する。

【0080】

特定部３２３は、検出部３２２によって検出されたユーザのうち、複数のユーザで行動するグループを特定する。例えば、特定部３２３は、各ユーザが読取端末２００に情報コードをかざした時間（属性情報を取得した時間）および属性情報に基づいてグループを特定する。具体的には、特定部３２３は、属性情報が類似（例えば、勤務先が同じ等）し、かつ、情報コードをかざした時間が所定時間以内である複数のユーザをグループとして特定する。

【0081】

また、特定部３２３は、撮像画像に基づいて複数のユーザの密集度を推定し、推定した密集度に基づいてグループを特定してもよい。密集度は、例えば、ユーザ間の距離や、所定範囲内に存在するユーザの数に基づき算出可能である。

【0082】

また、特定部３２３は、時系列の撮像画像に基づいて、所定範囲内で密集して（密集度が所定の閾値以上の状態で）移動する複数のユーザをグループとして特定する。具体的には、特定部３２３は、展示場等の空間ＳＰにおいて、所定の展示物へ密集して接近したり、密集して離れたりした複数のユーザをグループとして特定する。

【0083】

また、特定部３２３は、例えば、不図示のレーダ装置により検出されるユーザの体の向きが類似した方向で、かつ、所定範囲内にまとまっている複数のユーザをグループとして特定する。また、特定部３２３は、空間ＳＰに設置された不図示のマイクの集音結果に基づき、会話している複数のユーザをグループとして特定する。

【0084】

推定部３２４は、空間ＳＰに入室予定のユーザを推定する。具体的には、推定部３２４は、入室予定のユーザの数を推定する。例えば、推定部３２４は、空間ＳＰの入口に設置された読取端末２００に対して所定時間以内に情報コードをかざしたユーザを入室予定のユーザとして推定する。つまり、推定部３２４は、所定時間以内に読取端末２００から属性情報を取得したユーザを入室予定のユーザとして推定する。

【0085】

また、推定部３２４は、複数の個別空間が連結した空間ＳＰである場合、隣接する個別空間を退室した退室ユーザの数に基づいて、対象の個別空間へ入室予定のユーザの数を推定する。かかる点について、図８を用いて説明する。

【0086】

図８は、推定部３２４による推定処理を示す図である。図８では、空間ＳＰは、互いに出入り可能に連結された３つの個別空間Ｉ１～Ｉ３を含む場合を示している。図８に示す例では、ユーザは、個別空間Ｉ１、個別空間Ｉ２、個別空間Ｉ３の順に一方通行で移動可能な例を示している。また、各個別空間Ｉ１～Ｉ３には、それぞれ照明装置１００ａ～１００ｃが配置されることとする。

【0087】

推定部３２４は、例えば、ユーザが個別空間Ｉ１（以下、第１の個別空間）を退室して個別空間Ｉ２（以下、第２の個別空間）に入室する場合に、第１の個別空間Ｉ１に配置された照明装置１００ａから取得した撮像画像に基づいて推定した退室ユーザの数に基づいて、第２の個別空間Ｉ２への入室ユーザの数を推定する。

【0088】

具体的には、推定部３２４は、時系列の撮像画像に基づいて、個別空間Ｉ１の出口（個別空間Ｉ２の入口でもある）を出たユーザや、かかる出口のドアを開けたユーザを退室ユーザとして推定し、所定時間以内に退室した退室ユーザの数を計測する。

【0089】

つづいて、推定部３２４は、第１の個別空間Ｉ１の退室ユーザの数に基づいて、第２の個別空間Ｉ２の入室予定のユーザ（入室ユーザ）の数を推定する。具体的には、推定部３２４は、退室ユーザの数をそのまま入室ユーザの数として推定する。また、推定部３２４は、例えば、第２の個別空間Ｉ２に配置された照明装置３１００ｂから取得した撮像画像に基づいて、第２の個別空間Ｉ２へ入室したユーザの検出数を特定し、検出数と退室ユーザの数との比較結果に基づいて、入室ユーザを推定してもよい。かかる場合、推定部３２４は、検出数と退室ユーザの数とが一致する場合には、検出数をそのまま入室ユーザとして推定し、一致しない場合には、例えば、検出数および退出ユーザの数の平均値を入室ユーザの数として推定する。

【0090】

予測部３２５は、空間ＳＰにおける混雑状況を予測する。予測部３２５は、例えば、空間ＳＰにおけるユーザ数が所定の閾値以上である場合に、空間ＳＰが混雑していると予測する。また、予測部３２５は、空間ＳＰが混雑している場合に、空間ＳＰの過去の滞在時間に基づいて、混雑がどの程度継続するかを予測する。すなわち、予測部３２５は、各ユーザが過去の滞在時間と同じだけ滞在すると仮定し、各ユーザの現在の滞在時間と、過去の滞在時間との差分により、各ユーザがあとどの程度滞在するかを予測することで、混雑の継続時間（言い換えれば、混雑解消までの時間）を予測する。

【0091】

また、予測部３２５は、特定部３２３の特定結果および取得部３２１によって取得された過去の滞在時間に基づいて混雑状況を予測する。具体的には、予測部３２５は、空間ＳＰにグループが存在する場合、かかるグループを１ユーザとみなして混雑状況を予測する。すなわち、予測部３２５は、グループの現在の滞在時間と、ユーザの過去の滞在時間との差分により、グループがあとどの程度滞在するかを予測することで、混雑状況を予測する。かかる場合の混雑状況は、グループが存在している個別空間の混雑状況であってもよく、グループが存在している個別空間の次の個別空間の混雑状況であってもよい。なお、グループの現在の滞在時間は、グループに含まれるユーザの滞在時間の平均値や、最高値（最も長い滞在時間）、最低値（最も短い滞在時間）を用いることができる。また、グループの現在の滞在時間は、グループに含まれるユーザのうち、役職が最も高いユーザの滞在時間を用いてもよい。

【0092】

なお、上記では、グループがあとどの程度空間ＳＰに滞在するかの時間（滞在予定時間）は、現在の滞在時間および過去の滞在時間の差分により算出したが、例えば、空間ＳＰに所定の対象物体が存在する場合には、かかる対象物体への関与時間を考慮してもよい。すなわち、予測部３２５は、グループの対象物体への関与時間に基づいて混雑状況を予測する。関与時間とは、例えば、説明員と会話している時間（説明員付近に滞在している時間）や、展示物を見ている時間（展示物付近に滞在している時間）である。例えば、予測部３２５は、関与時間が所定の閾値（過去の関与時間等）以上である場合には、上記した差分で算出した滞在予定時間よりも長い時間となるような係数で補正する。

【0093】

また、予測部３２５は、推定部３２４の推定結果に基づいて、混雑状況を予測する。例えば、予測部３２５は、推定部３２４によって推定された入室予定のユーザの数に基づいて、所定時間後の混雑状況を予測する。例えば、予測部３２５は、所定時間後に所定数のユーザが入室を予定している場合に、現在の滞在しているユーザの数に入室予定のユーザの数を加えたユーザの数が所定の閾値以上であるか否かを判定することで混雑状況を予測する。

【0094】

機器制御部３２６は、検出部３２２によって検出されたユーザの数に基づいて、照明装置１００の照明部１１０および撮像部１２０を制御する。例えば、機器制御部３２６は、検出されたユーザの数が所定の閾値未満である場合、撮像部１２０によって撮像される撮像画像のデータ量を低下させる。より具体的には、機器制御部３２６は、ユーザの数が所定の閾値未満、すなわち、混雑していない場合、照明装置１００から情報処理装置１への撮像画像の送信間隔を広くする。これは、取得部３２１や検出部３２２が時系列の撮像画像の時間差分によりユーザを追跡して滞在時間を算出する場合に、ユーザの数が多ければ送信間隔を短くして詳細にユーザを追跡する必要があるが、ユーザの数が少なければ送信間隔が広くなったとしてもユーザの追跡を行えるためである。このため、機器制御部３２６の制御によれば、ユーザの追跡精度（滞在時間の算出精度）を保ちつつ、データ送信量を削減することができる。

【0095】

なお、機器制御部３２６は、送信間隔を広くする場合に限らず、撮像間隔（フレームレート）を広くしてもよい。あるいは、機器制御部３２６は、撮像画像の画質（解像度等）を低下させることで、データ量を低下させてもよい。

【0096】

また、機器制御部３２６は、撮像画像のデータ量を低下させるタイミングにおいて、照明部１１０の照明態様を変化させてもよい。例えば、機器制御部３２６は、照明部１１０の照度を変化させたり、点滅させたりしてもよい。これにより、照明装置１００を管理する管理者がデータ量を低下させるタイミングを把握することができる。また、事後的に時系列の撮像画像を確認する場合に、確認者がデータ量が低下していることを撮像画像を見ることで容易に把握することができる。

【0097】

次に、図９および図１０を用いて、実施形態に係る情報処理装置１において実行される処理の処理手順について説明する。図９は、実施形態に係る第１処理部３１において実行される処理の処理手順を示すフローチャートである。図１０は、実施形態に係る第２処理部３２において実行される処理の処理手順を示すフローチャートである。

【0098】

まず、図９を用いて、第１処理部３１の処理手順について説明する。

【0099】

図９に示すように、第１処理部３１は、まず、照明装置１００の撮像部１２０によって撮像された撮像画像を取得する（ステップＳ１０１）。

【0100】

つづいて、第１処理部３１は、取得した撮像画像に基づいて、ユーザの骨格特徴を示す骨格情報を検出する（ステップＳ１０２）。

【0101】

つづいて、第１処理部３１は、検出した骨格情報と、記憶部４に記憶されたユーザ情報４２とを照合する（ステップＳ１０３）。

【0102】

第１処理部３１は、照合処理において、ユーザ情報４２の中に、骨格情報が一致するユーザが存在するか否かを判定する（ステップＳ１０４）。

【0103】

第１処理部３１は、ユーザ情報４２の中に、骨格情報が一致するユーザが存在する場合（ステップＳ１０４：Ｙｅｓ）、ユーザの識別を完了し（ステップＳ１０５）、識別したユーザの行動情報を検出する（ステップＳ１０６）。

【0104】

一方、第１処理部３１は、ユーザ情報４２の中に、骨格情報が一致するユーザが存在しない場合（ステップＳ１０４：Ｎｏ）、検出した骨格情報に新たなユーザＩＤを付与してユーザ情報４２に登録する（ステップＳ１０７）。

【0105】

つづいて、第１処理部３１は、ステップＳ１０７において登録したユーザによって読取端末２００での情報の読取が行われたか否かを判定する（ステップＳ１０８）。

【0106】

第１処理部３１は、情報の読取があった場合（ステップＳ１０８：Ｙｅｓ）、読み取った情報をステップＳ１０７で登録したユーザＩＤのユーザ情報４２に紐付けて（ステップＳ１０９）、ステップＳ１０５に移行する。

【0107】

一方、第１処理部３１は、情報の読取が無かった場合（ステップＳ１０８：Ｎｏ）、ステップＳ１０５に移行する。

【0108】

次に、図１０を用いて、第２処理部３２の処理手順について説明する。

【0109】

図１０に示すように、第２処理部３２は、まず、照明装置１００の撮像部１２０によって撮像された撮像画像を取得する（ステップＳ２０１）。

【0110】

つづいて、第２処理部３２は、取得した撮像画像に基づいて、空間ＳＰに存在するユーザを検出する（ステップＳ２０２）。

【0111】

つづいて、第２処理部３２は、検出したユーザのうち、複数のユーザで行動するグループを特定する（ステップＳ２０３）。

【0112】

つづいて、第２処理部３２は、空間ＳＰに滞在したユーザの過去の滞在時間を取得する（ステップＳ２０４）。

【0113】

つづいて、第２処理部３２は、空間ＳＰに入室予定のユーザの数を推定する（ステップＳ２０５）。

【0114】

つづいて、第２処理部３２は、グループの情報と、過去の滞在時間と、入室予定のユーザ数とに基づいて空間ＳＰにおける混雑状況を予測し（ステップＳ２０６）、処理を終了する。

【0115】

上述したように、実施形態に係る情報処理システムＳは、照明装置１００と、情報処理装置１とを具備する。照明装置１００は、ユーザが存在する所定の空間ＳＰに配置される照明装置１００であって、空間ＳＰを照らす照明部１１０と、空間ＳＰを撮像範囲とする撮像部１２０とを有する。情報処理装置１は、撮像部１２０の撮像画像に基づいてユーザの骨格特徴を示す骨格情報を検出する骨格検出部３１２と、骨格情報に基づいてユーザを識別する識別部３１３と、撮像画像に基づいて、識別したユーザの空間ＳＰにおける行動に関する行動情報を検出する行動検出部３１４とを有する。これにより、空間ＳＰにおけるユーザの行動を高精度に検出することができる。

【0116】

また、実施形態に係る情報処理システムＳは、照明装置１００と、情報処理装置１とを具備する。照明装置１００は、所定の空間ＳＰに配置される照明装置１００であって、空間ＳＰを照らす照明部１１０と、空間ＳＰを撮像範囲とする撮像部１２０とを有する。情報処理装置１は、空間ＳＰに滞在したユーザの過去の滞在時間を取得する取得部３２１と、撮像部１２０によって撮像された画像に基づいて、空間ＳＰに滞在しているユーザを検出する検出部３２２と、検出部３２２によって検出されたユーザのうち、複数のユーザで行動するグループを特定する特定部３２３と、特定部３２３による特定結果および取得部３２１によって取得された過去の滞在時間に基づいて、空間ＳＰにおける混雑状況を予測する予測部３２５とを有する。これにより、高精度に混雑状況を予測することができる。

【0117】

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0118】

１ 情報処理装置
２ 通信部
３ 制御部
４ 記憶部
３１ 第１処理部
３２ 第２処理部
４１ 画像情報
４２ ユーザ情報
１００ 照明装置
１１０ 照明部
１２０ 撮像部
２００ 読取端末
３１１ 取得部
３１２ 骨格検出部
３１３ 識別部
３１４ 行動検出部
３２１ 取得部
３２２ 検出部
３２３ 特定部
３２４ 推定部
３２５ 予測部
３２６ 機器制御部
３１００ｂ 照明装置
Ｎ 通信ネットワーク
Ｓ 情報処理システム
ＳＰ 空間

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】