特開 2024-50037 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024050037

(43)【公開日】2024-04-10

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   H05B 47/125 20200101AFI20240403BHJP

   H05B 47/16 20200101ALI20240403BHJP

   H05B 47/165 20200101ALI20240403BHJP

   G01B 11/00 20060101ALI20240403BHJP

   G01B 11/26 20060101ALI20240403BHJP

【ＦＩ】

H05B47/125

H05B47/16

H05B47/165

G01B11/00 A

G01B11/26 H

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022156611

(22)【出願日】2022-09-29

(71)【出願人】

【識別番号】000003757

【氏名又は名称】東芝ライテック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】福田 勝海

【テーマコード（参考）】

2F065

3K273

【Ｆターム（参考）】

2F065AA04

2F065AA07

2F065AA37

2F065BB15

2F065CC16

2F065FF04

2F065JJ03

2F065MM26

2F065QQ03

2F065QQ24

2F065QQ25

2F065QQ28

2F065QQ31

2F065UU05

3K273PA03

3K273QA08

3K273QA11

3K273QA28

3K273QA30

3K273RA16

3K273SA21

3K273SA38

3K273SA46

3K273SA58

3K273SA60

3K273TA03

3K273TA05

3K273TA15

3K273TA22

3K273TA27

3K273TA41

3K273TA49

3K273TA52

3K273TA62

3K273TA68

(57)【要約】

【課題】会話の態様を精度良く推定すること。
【解決手段】実施形態に係る情報処理システムは、照明器具と、照明器具に備えられたカメラと、情報処理装置と、を有する。情報処理装置は、カメラによって撮像された画像を基に、カメラの撮像範囲において会話が行われているか否かを判定する判定部と、判定部によって会話が行われていると判定された場合、会話の態様を推定する推定部と、を具備する。
【選択図】図１

【特許請求の範囲】

【請求項1】

照明器具と、前記照明器具に備えられたカメラと、情報処理装置と、を有する情報処理システムであって、
前記情報処理装置は、
前記カメラによって撮像された画像を基に、前記カメラの撮像範囲において会話が行われているか否かを判定する判定部と、；
前記判定部によって会話が行われていると判定された場合、前記会話の態様を推定する推定部と、；
を具備する情報処理システム。

【請求項2】

前記判定部は、前記画像に写る複数の人間の頭の向きと、前記複数の人間の頭間の距離と、を基に会話が行われているか否かを判定する
請求項１に記載の情報処理システム。

【請求項3】

前記推定部は、前記照明器具の位置と、前記画像に写る人間の頭の位置と、を基に前記会話の発生源の位置を推定する
請求項１に記載の情報処理システム。

【請求項4】

前記会話の発生源の位置の分布状況を示す情報を出力する出力制御部；
をさらに有する請求項３に記載の情報処理システム。

【請求項5】

前記カメラによって撮像された画像と、前記画像に写る人間の頭の位置と、を時刻に対応付けたデータを出力する出力制御部；
をさらに有する請求項１に記載の情報処理システム。

【請求項6】

前記推定部は、前記画像に写る人間の頭の位置の変化を基に、前記会話の質を推定する
請求項１に記載の情報処理システム。

【請求項7】

前記質があらかじめ決められた範囲内にある場合、前記会話の発生源の位置の分布状況を示す情報を出力する出力制御部；
をさらに有する請求項６に記載の情報処理システム。

【請求項8】

前記質に応じて、前記照明器具の照明の態様を変化させる照明制御部；
をさらに有することを特徴とする請求項６に記載の情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理システムに関する。

【背景技術】

【0002】

昨今、オフィスのフリーアドレス化やＡＢＷ（Activity Based Working）化が進み、オフィス内に会話用のスペースが作られるようになった。これにより、どのような場所で会話が発生しているかという、会話発生源のデータがオフィスづくりの際に活用されている。

【0003】

その際、会話の発生源のデータを収集することが必要になる。従来、Bluetooth（登録商標） Low Energy（ＢＬＥ）を用いた位置特定技術を搭載したデバイスを用いて、人と人の接触を検出し、接触が検出された場所の位置情報から、会話の発生源を特定する技術が知られている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１６４５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、従来技術には、会話の態様を精度良く推定できない場合があるという問題がある。

【0006】

例えば、従来技術は、人間が持つデバイスの位置を特定するものであり、会話自体の発生位置を特定しているわけではない。

【0007】

本発明が解決しようとする課題は、会話の態様を精度良く推定することである。

【課題を解決するための手段】

【0008】

実施形態に係る情報処理システムは、照明器具と、照明器具に備えられたカメラと、情報処理装置と、を有する。情報処理装置は、カメラによって撮像された画像を基に、カメラの撮像範囲において会話が行われているか否かを判定する判定部と、判定部によって会話が行われていると判定された場合、会話の態様を推定する推定部と、を具備する。

【発明の効果】

【0009】

本発明によれば、会話の態様を精度良く推定することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態に係る情報処理システムの構成の一例を示すブロック図である。

【図2】図２は、実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。

【図3】図３は、分布情報の一例を示す図である。

【図4】図４は、情報処理装置の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照して、実施形態に係る情報処理システムを説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する情報処理システムは一例に過ぎず、実施形態を限定するものではない。なお、以下の各実施形態は、矛盾しない範囲内で適宜組み合わせてもよい。

【0012】

以下に説明する実施形態に係る判定部１３２は、画像に写る複数の人間の頭の向きと、複数の人間の頭間の距離と、を基に会話が行われているか否かを判定する。

【0013】

以下に説明する実施形態に係る推定部１３３は、照明器具の位置と、画像に写る人間の頭の位置と、を基に会話の発生源の位置を推定する。

【0014】

以下に説明する実施形態に係る出力制御部１３５は、会話の発生源の位置の分布状況を示す情報を出力する。

【0015】

以下に説明する実施形態に係る出力制御部１３５は、カメラによって撮像された画像と、画像に写る人間の頭の位置と、を時刻に対応付けたデータを出力する。

【0016】

以下に説明する実施形態に係る推定部１３３は、画像に写る人間の頭の位置の変化を基に、会話の質を推定する。

【0017】

以下に説明する実施形態に係る出力制御部１３５は、質があらかじめ決められた範囲内にある場合、会話の発生源の位置の分布状況を示す情報を出力する。

【0018】

以下に説明する実施形態に係る照明制御部１３４は、質に応じて、照明器具の照明の態様を変化させる。

【0019】

図１を用いて、情報処理システムの構成を説明する。図１は、実施形態に係る情報処理システムの構成の一例を示すブロック図である。

【0020】

図１に示すように、情報処理システム１は、情報処理装置１０、照明器具２０、及び照明器具２０に備えられたカメラ３０を有する。

【0021】

照明器具２０は、部屋の天井に設置される。また、カメラ３０は、照明器具２０と一体化するように設けられ、天井から床面の方向を見た画像を撮像する。

【0022】

照明器具２０及びカメラ３０は、例えばオフィスとして使用される部屋に設置される。部屋の中では、複数の人間が会話をする場合がある。図１の例では、ユーザＵａとユーザＵｂが会話を行っている。

【0023】

情報処理装置１０は、ＬＡＮ（Local Area Network）等のネットワークを介してカメラ３０と接続される。情報処理装置１０は、クラウド上のサーバであってもよい。

【0024】

情報処理装置１０は、カメラ３０によって撮像された画像を取得する。また、情報処理装置１０は、取得した画像を基に、部屋の中で行われている会話の態様を推定する。

【0025】

また、情報処理装置１０は、照明器具２０と接続されていてもよい。例えば、情報処理装置１０は、カメラ３０を介して照明器具２０と接続される。情報処理装置１０は、照明器具２０に制御信号を送信し、点灯、消灯、調光といった制御を行うことができる。

【0026】

続いて、図２を用いて、実施形態に係る情報処理装置１０の機能構成の一例を説明する。図２は、実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。図２に示すように、情報処理装置１０は、通信部１１、記憶部１２及び制御部１３を有する。

【0027】

通信部１１は、他の装置との間でデータの送受信を行うためのインタフェースである。通信部１１は、例えばＮＩＣ（Network Interface Controller）である。

【0028】

記憶部１２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又はハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２は、図２に示すように、映像情報１２１、会話情報１２２、発生源情報１２３、及び会話質情報１２４を記憶する。

【0029】

映像情報１２１は、カメラ３０によって撮像された画像（例えば、動画像）である。

【0030】

会話情報１２２は、画像に写る人間の頭の向き及び位置に関する情報である。会話情報１２２は、後述する判定部１３２によって作成される。

【0031】

発生源情報１２３は、会話の発生源の位置に関する情報である。発生源情報１２３は、後述する推定部１３３によって作成される。

【0032】

会話質情報１２４は、会話の質を数値等で定量的に表した情報である。会話質情報１２４は、後述する推定部１３３によって作成される。

【0033】

制御部１３は、各種の情報処理を実行する演算装置であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路を採用できる。制御部１３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部１３は、各種のプログラムが動作することにより各種の処理部として機能する。

【0034】

制御部１３は、取得部１３１、判定部１３２、推定部１３３、照明制御部１３４及び出力制御部１３５を有する。

【0035】

取得部１３１は、カメラ３０によって撮像された画像を取得し、映像情報１２１として記憶部１２に記憶させる。また、取得部１３１は、記憶部１２から各情報を取得する。

【0036】

判定部１３２は、画像に写る範囲において、会話が行われているか否かを判定する。

【0037】

判定部１３２は、画像に写る複数の人間の頭の向きと、複数の人間の頭間の距離と、を基に会話が行われているか否かを判定する。

【0038】

このとき、まず、判定部１３２は、画像に写る人間の頭の向き及び位置を特定する。例えば、判定部１３２は、訓練済みの機械学習モデルを用いた画像認識により頭の位置を特定することができる。

【0039】

判定部１３２は、特定した頭の向き及び位置を会話情報１２２として記憶部１２に記憶させる。

【0040】

そして、判定部１３２は、会話情報１２２を基に会話レベルを算出する。例えば、会話レベルは、２つの頭間の距離が短いほど大きくなり、２つの頭の向きが１８０°（向き合った状態）に近いほど大きくなる指標である。

【0041】

推定部１３３は、判定部１３２によって会話が行われていると判定された場合、会話の態様を推定する。推定部１３３は、照明器具の位置と、画像に写る人間の頭の位置と、を基に会話の発生源の位置を推定する。

【0042】

また、推定部１３３は、画像に写る人間の頭の位置の変化を基に、会話の質（以降、質レベル）を推定する。質レベルは、基準に基づき会話を定量的に表した指標である。

【0043】

例えば、会話が盛り上がっているほど、質レベルは高くなる。例えば、推定部１３３は、機械学習モデルに画像を入力することで質レベルを得ることができる。この場合の機械学習モデルは、画像の特徴を入力（説明変数）とし、当該画像を見た人が、会話が盛り上がっていると感じたか否かを正解のラベル（目的変数）とする教師データにより訓練済みであってもよい。

【0044】

出力制御部１３５は、会話の発生源の位置の分布状況を示す情報を出力する。

【0045】

出力制御部１３５は、カメラによって撮像された画像と、画像に写る人間の頭の位置と、を時刻に対応付けたデータを出力する。例えば、出力制御部１３５は、指定された時刻に対応する画像と、当該画像における頭の位置を対応付けて出力する。

【0046】

推定部１３３は、特定した会話の発生源の位置を発生源情報１２３として記憶部１２に記憶させる。また、推定部１３３は、算出した質レベルを会話質情報１２４として記憶部１２に記憶させる。

【0047】

照明制御部１３４は、質レベルに応じて、照明器具の照明の態様を変化させる。例えば、照明制御部１３４は、照明器具２０に、点灯、消灯、点滅、光の色の変化といった動作を実行させる。

【0048】

照明制御部１３４は、記憶部１２に記憶された情報に加え、照明器具２０の周囲の明るさ、会議室予約システム等の他システムの情報等を基に照明器具２０を制御する。

【0049】

例えば、判定部１３２によって会話が行われていると判定され、照明器具２０の周囲の明るさが外光等の影響で閾値を超えている場合、照明制御部１３４は照明器具２０を減光させる。

【0050】

また、例えば、判定部１３２によって会話が行われていると判定され、照明器具２０が消灯している場合、照明制御部１３４は照明器具２０を点灯させる。

【0051】

例えば、判定部１３２によって会話が行われていると判定され、照明器具２０の周囲の明るさが閾値を下回っている場合、照明制御部１３４は照明器具２０を増光させる。

【0052】

照明制御部１３４は、会話情報１２２を基にユーザの視線を特定することができる。さらに、照明制御部１３４は、部屋内の物品等の配置を示す情報を取得し、取得した情報を基にユーザの視線の先にある物品を特定することができる。

【0053】

例えば、会話をしていると判定された頭の方向にモニタがある場合であって、照明器具２０の明るさが閾値を超えている場合、照明制御部１３４は、ユーザがモニタを見やすくするために照明器具２０を減光させる。

【0054】

また、例えば、会話をしていると判定された頭の方向に紙の資料がある場合であって、照明器具２０の明るさが閾値を下回っている場合（消灯の場合を含む）、照明制御部１３４は、ユーザが紙の資料を見やすくするために照明器具２０を点灯又は増光させる。

【0055】

また、例えば、会話をしていると判定された頭の位置が一定時間変化していない場合、照明制御部１３４は、ユーザが眠っていると判断し、ユーザの目を覚ますために照明器具２０を点滅させる。

【0056】

また、例えば、会話をしていると判定された頭の位置が変化する頻度が閾値を超えている場合、照明制御部１３４は、会話が必要以上に盛り上がりユーザが動き過ぎていると判断し、照明器具２０を点滅させる。

【0057】

また、例えば、会話をしていると判定された期間が一定時間以上続いた場合、照明制御部１３４は、会話が長引き過ぎていると判断し、照明器具２０を消灯させる。ただし、質レベルが閾値を超えている場合、照明制御部１３４は、会話を続行してもよいと判断し、照明器具２０を消灯させない。

【0058】

また、照明器具２０及びカメラ３０が会議室に設置されている場合、照明制御部１３４は、会議室予約システムから取得した情報を基に、会議室の予約と連動した制御を行う。

【0059】

また、例えば、会議開始時刻の一定時間（例えば５分）前に照明器具２０が消灯している場合、照明制御部１３４は照明器具２０を点灯させる。

【0060】

また、例えば、会議開始時刻の一定時間（例えば１０分）後に頭の位置が特定できない場合、照明制御部１３４は会議が行われていないと判断し、照明器具２０を消灯させる。

【0061】

また、例えば、会議終了時刻の一定時間（例えば５分）前に会話が行われていると判定された場合、照明制御部１３４は照明器具２０を点滅させる。

【0062】

また、例えば、会議終了時刻を過ぎた後に会話が行われていると判定された場合、照明制御部１３４は一定時間（例えば５分）ごとに照明器具２０を点滅させ、さらに一定時間（例えば３０分）経過した後に照明器具２０を消灯させる。

【0063】

また、例えば、照明制御部１３４は、プロジェクタの運転状態を取得し、プロジェクタの投影中は照明器具２０を消灯させ、プロジェクタの投影が終了した場合は照明器具２０を点灯させる。

【0064】

出力制御部１３５は、質があらかじめ決められた範囲内にある場合、会話の発生源の位置の分布状況を示す情報（分布情報）を出力する。例えば、出力制御部１３５は、図３に示すような画像５０を分布情報として出力する。図３は、分布情報の一例を示す図である。

【0065】

画像５０は、照明器具２０及びカメラ３０が設置された部屋を天井から見た様子を模式的に表した画像である。画像５０は、照明器具２０及びカメラ３０が設置された部屋を天井から実際に撮像した画像であってもよい。

【0066】

画像５０には、部屋内の物品が表示されている。物品には、オフィスで使用される机、椅子、間仕切り（パーティション）等が含まれる。また、画像５０には、照明器具２０の位置５１が示されている。

【0067】

出力制御部１３５は、画像５０において、会話の発生源として特定された位置にパターン５２を付与する。出力制御部１３５は、パターン５２の色の濃さ、大きさ等を、会話レベル及び質レベルにより変化させてもよい。これにより、会話の発生源の分布と各会話の質レベルを、直感的に理解しやすい形式で表現することが可能になる。

【0068】

図４を用いて、情報処理装置１０の処理の流れを説明する。図４は、情報処理装置の処理の流れを示すフローチャートである。

【0069】

まず、図４に示すように、情報処理装置１０は、カメラ３０によって撮像された画像を取得する（ステップＳ１０１）。

【0070】

次に、情報処理装置１０は、会話情報１２２を取得（作成）する（ステップＳ１０２）。情報処理装置１０は、カメラ３０によって撮像された画像から会話情報１２２を作成することができる。

【0071】

ここで、情報処理装置１０は、会話情報１２２に基づく会話レベルが閾値以上であるか否かを判定する（ステップＳ１０３）。

【0072】

情報処理装置１０は、会話情報１２２に基づく会話レベルが閾値未満である場合（ステップＳ１０３、Ｎｏ）、処理を終了する。

【0073】

情報処理装置１０は、会話情報１２２に基づく会話レベルが閾値以上である場合（ステップＳ１０３、Ｙｅｓ）、第１の発生源を特定する（ステップＳ１０４）。第１の発生源は、会話が発生していると判定された会話情報１２２に対応する２つの頭のうちの一方の位置である。情報処理装置１０は、特定した第１の発生源を、発生源情報１２３として記憶する（ステップＳ１０５）。

【0074】

ここで、情報処理装置１０は、会話質情報１２４を取得（作成）する（ステップＳ１０６）。情報処理装置１０は、カメラ３０によって撮像された画像及び会話情報１２２を基に会話質情報１２４を作成することができる。

【0075】

情報処理装置１０は、会話質情報１２４に示される質レベルと、第１の閾値及び第２の閾値を比較する（ステップＳ１０７）。ただし、第１の閾値は第２の閾値より大きいものとする。質レベルが大きいことは、例えばその会話の盛り上がりの度合いが大きいことを意味する。

【0076】

質レベルが第１の閾値以上である場合、情報処理装置１０は、照明器具２０を点滅させる（ステップＳ１０８）。

【0077】

質レベルが第１の閾値未満かつ第２の閾値以上である場合、情報処理装置１０は、第２の発生源を特定する（ステップＳ１０９）。第２の発生源は、会話が発生していると判定された会話情報１２２に対応する２つの頭のうち、第１の発生源と異なる方の位置である。情報処理装置１０は、特定した第２の発生源を、発生源情報１２３として記憶する（ステップＳ１１０）。

【0078】

また、質レベルが第１の閾値未満かつ第２の閾値以上である場合、情報処理装置１０は分布情報を出力してもよい。

【0079】

［実施形態の効果］
上述してきたように、実施形態に係る情報処理システム１は、照明器具２０と、照明器具２０に備えられたカメラ３０と、情報処理装置１０と、を有する。情報処理装置１０は、カメラ３０によって撮像された画像を基に、カメラ３０の撮像範囲において会話が行われているか否かを判定する判定部１３２と、判定部１３２によって会話が行われていると判定された場合、会話の態様を推定する推定部１３３と、を具備する。これにより、会話を行っているユーザが、位置特定のための装置を所持していない場合であっても会話の発生源を特定でき、会話の態様を精度良く推定することが可能になる。

【0080】

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【0081】

例えば、判定部１３２は、人の頭の位置だけでなく、手、体、又は人の姿勢を基に会話が行われているか否かを判定してもよい。また、質レベルは、会話が業務に関係しているほど高くなるものであってもよい。この場合、会話が業務に関係のない雑談等である場合、質レベルは低くなる。

【符号の説明】

【0082】

１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ 制御部
２０ 照明器具
３０ カメラ
５０ 画像
５１ 位置
５２ パターン
１２１ 映像情報
１２２ 会話情報
１２３ 発生源情報
１２４ 会話質情報
１３１ 取得部
１３２ 判定部
１３３ 推定部
１３４ 照明制御部
１３５ 出力制御部

【図1】

【図2】

【図3】

【図4】