(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-19
(45)【発行日】2022-07-27
(54)【発明の名称】人物関係抽出システム
(51)【国際特許分類】
G06Q 10/06 20120101AFI20220720BHJP
【ＦＩ】
G06Q10/06
【請求項の数】
4
(21)【出願番号】P 2018083199
(22)【出願日】2018-04-24
(65)【公開番号】P2019191878
(43)【公開日】2019-10-31
【審査請求日】2021-02-09
(73)【特許権者】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(74)【代理人】
【識別番号】100139114
【弁理士】
【氏名又は名称】田中 貞嗣
(74)【代理人】
【識別番号】100139103
【弁理士】
【氏名又は名称】小山 卓志
(74)【代理人】
【識別番号】100119220
【氏名又は名称】片寄 武彦
(74)【代理人】
【識別番号】100088041
【氏名又は名称】阿部 龍吉
(72)【発明者】
【氏名】鵜山 尚大
(72)【発明者】
【氏名】増田 崇
(72)【発明者】
【氏名】松尾 隆士
(72)【発明者】
【氏名】宮下 裕貴
【審査官】後藤 昂彦
(56)【参考文献】
【文献】特開２０１０－０２１７００（ＪＰ，Ａ）
【文献】特開２００９－０９８９６７（ＪＰ，Ａ）
【文献】特許第６３００１３１（ＪＰ，Ｂ１）
【文献】特開２０１４－０８３６５８（ＪＰ，Ａ）
【文献】特開２０１０－２６６７２２（ＪＰ，Ａ）
【文献】特開２０１０－２１７９３９（ＪＰ，Ａ）
【文献】国際公開第２０１４／０３８０１４（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
(57)【特許請求の範囲】
【請求項1】
複数の区画に分割された空間のそれぞれで会話が発生したか否かを認識し、会話を行った人を特定することで、人と人との関係性を抽出する人物関係抽出システムにおいて、それぞれの区画で集音された音に音声が含まれるか否かを判定する音声判定部と、
それぞれの区画周辺で複数の人が存在するとき、複数の人の特定を行う人物特定部と、
前記音声判定部において、ある区画で集音された音に音声が含まれると判定され、かつ、前記人物特定部において、当該区画周辺で複数の人が特定されると判定されると、当該区画で会話が特定された人同士で発生したものと認識して記録を行う記録部と、
前記記録部の記録を積算することで、人と人との関係を抽出して可視化する可視化部と、を有し、
前記音声判定部は、集音された音に基づいて、設定された時間間隔帯におけるＡ特性等価音圧レベルと、中心周波数５００Ｈｚのオクターブバンド等価音圧レベルとを算出し、中心周波数５００Ｈｚのオクターブバンド等価音圧レベルからＡ特性等価音圧レベルを引いた差分が予め設定された閾値以上である場合、集音された音に、音声が含まれていると判定することを特徴とする人物関係抽出システム。
【請求項2】
複数の区画毎の属性を記憶する区画属性テーブルを有し、前記可視化部は、人と人との関係を抽出して区画の属性毎に可視化することを特徴とする請求項１に記載の人物関係抽出システム。
【請求項3】
前記人物特定部が、カメラで取得された画像を解析することで、ある区画周辺で複数の人を特定することを特徴とする請求項１又は請求項２に記載の人物関係抽出システム。
【請求項4】
前記人物特定部が、ＲＦＩＤタグを利用することで、ある区画周辺で複数の人を特定することを特徴とする請求項１又は請求項２に記載の人物関係抽出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、オフィス内において会話が発生したか否かを認識し、会話を行った人を特定し記録していくことで、人と人との関係性を抽出する人物関係抽出システムに関する。
【背景技術】
【0002】
建物空間内で発生する会話は人々のコミュニケーション量や知的生産性を測る指標として重要である。ある空間内に人が居るかコミュニケーションが活発に行われているかを判定する手段として、音声を検知することは有効な方法である。このような音声検知方法が確立されていれば、例えば、オフィス内のコミュニケーション活性度の計測を行ったり、或いは、公共施設などの交流ペースの活用度を計測したり、といったことが可能となる。
【0003】
業務に適したオフィス環境が提供されているかを知る尺度として、例えば、特許文献１（特開２０１６－１１５００３号公報）には、複数の種類の業務が各ユーザによってそれぞれ遂行されるように構成される施設におけるオフィス活動を分析するオフィス活動分析システムにおいて、対話などによる現場の音をセンサーであるマイクによって集音して、マイクで集音した音の音圧レベルがある値を超える場合や音圧レベルが変動する場合に会話が行われていると判断する技術が開示されている。
【文献】特開２０１６－１１５００３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１記載のような従来技術においては、会話の発生量などは認識できるが、人物間の関係の構造や、人物間のつながりの強さなどの関係性については把握することができない、といった問題があった。
【0005】
例えば、ある組織においてコミュニケーション量や人物間のつながりの強さなどの関係構造を知ることは、集団の知的生産性を向上するための基本的かつ重要な情報であるが、上記従来技術では、これを行うことができなかった。
【課題を解決するための手段】
【0006】
この発明は、上記のような課題を解決するものであって、本発明に係る人物関係抽出システムは、複数の区画に分割された空間のそれぞれで会話が発生したか否かを認識し、会話を行った人を特定することで、人と人との関係性を抽出する人物関係抽出システムにおいて、それぞれの区画で集音された音に音声が含まれるか否かを判定する音声判定部と、それぞれの区画周辺で複数の人が存在するとき、複数の人の特定を行う人物特定部と、前記音声判定部において、ある区画で集音された音に音声が含まれると判定され、かつ、前記人物特定部において、当該区画周辺で複数の人が特定されると判定されると、当該区画で会話が特定された人同士で発生したものと認識して記録を行う記録部と、前記記録部の記録を積算することで、人と人との関係を抽出して可視化する可視化部と、を有し、前記音声判定部は、集音された音に基づいて、設定された時間間隔帯におけるＡ特性等価音圧レベルと、中心周波数５００Ｈｚのオクターブバンド等価音圧レベルとを算出し、中心周波数５００Ｈｚのオクターブバンド等価音圧レベルからＡ特性等価音圧レベルを引いた差分が予め設定された閾値以上である場合、集音された音に、音声が含まれていると判定することを特徴とする。
【0007】
また、本発明に係る人物関係抽出システムは、複数の区画毎の属性を記憶する区画属性テーブルを有し、前記可視化部は、人と人との関係を抽出して区画の属性毎に可視化することを特徴とする。
【0008】
また、本発明に係る人物関係抽出システムは、前記人物特定部が、カメラで取得された画像を解析することで、ある区画周辺で複数の人を特定することを特徴とする。
【0009】
また、本発明に係る人物関係抽出システムは、前記人物特定部が、ＲＦＩＤタグを利用することで、ある区画周辺で複数の人を特定することを特徴とする。
【発明の効果】
【0010】
本発明に係る人物関係抽出システムは、記録を積算することで、人と人との関係を抽出して可視化する可視化部を有しており、このような本発明に係る人物関係抽出システムによれば、人物間の関係の構造や、人物間のつながりの強さなどの関係性については把握することが可能となり、集団の知的生産性を向上するための基本的かつ重要な情報を知ることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態に係る人物関係抽出システム１のオフィス１００への適用例を示す図である。
【図2】本発明の実施形態に係る人物関係抽出システム１のブロック図を示す図である。
【図3】オフィス１００の区画割りの例を示す上面図である。
【図4】本発明の実施形態に係る人物関係抽出システム１の設定時間間隔毎の処理アルゴリズムのフローチャートを示す図である。
【図5】音声判定サブルーチンのフローチャートを示す図である。
【図6】人物特定サブルーチンのフローチャートを示す図である。
【図7】着目区画とその周辺の区画とを説明する図である。
【図8】本発明の実施形態に係る人物関係抽出システム１による記録例を示す図である。
【図9】本発明の実施形態に係る人物関係抽出システム１の可視化処理のフローチャートを示す図である。
【図10】本発明の実施形態に係る人物関係抽出システム１による可視化のイメージを示す図である。
【図11】本発明の実施形態に係る人物関係抽出システム１によるエリア毎の可視化のイメージを示す図である。
【図12】打合スペースにおける会話の有無に応じた音圧レベルの周波数特性を示す図である。
【図13】打合スペースにおける会話の有無に応じたＬdiffの度数分布を示す図である。
【図14】閾値ＬTの設定値と判定精度の関係を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態を図面を参照しつつ説明する。図１は本発明の実施形態に係る人物関係抽出システム１のオフィス１００への適用例を示す図である。また、図２は本発明の実施形態に係る人物関係抽出システム１のブロック図を示す図である。なお、本実施形態では、人物関係抽出システム１をオフィス１００に適用する例に基づいて説明を行うが、人物関係抽出システム１の適用先はこれに限定されるものではない。
【0013】
本実施形態に係る人物関係抽出システム１が適用されるオフィス１００における床及び天井の間の空間は、点線で示される区画によって仮想的に分割されていることを想定している。図３はオフィス１００の区画割りの例を示す上面図である。本実施形態では、４×４の計１６の区画によって分割されている例を示すが、本発明において、区画の分割例がこれに限られるものではない。本実施形態においてはそれぞれ区画を、図示するように、第１区画、第２区画、第３区画、・・・・、第１５区画、第１６区画と称することとする。
【0014】
それぞれの区画の天井においては、当該区画における音を集音するマイクロホン３０'、 ３０' '、 ３０' ' ' ・・・（図１には不図示）が設けられている。マイクロホン３０'、 ３０' '、 ３０' ' ' ・・・で集音された音データについては、情報処理装置２０に対して有線又は無線によるデータ通信によって送信される。
【0015】
例えば、情報処理装置２０としては、ＣＰＵなどの演算を実行する演算部、表示や入力を行うインターフェイス部、有線又は無線によるデータ通信を行う通信部、データ記録を行うＨＤＤ、ＳＳＤなどの記憶部等、を有するパーソナルコンピューターなどの汎用のものを用いることができる。なお、情報処理装置２０としては、パーソナルコンピューターに限らず、タブレット型端末などの他のものを用いるようにしてもよい。
【0016】
このような情報処理装置２０には、各マイクロホン３０'、 ３０' '、 ３０' ' ' ・・・で集音された音データが入力され、情報処理装置２０ではそれぞれの音データの解析が行われ、当該音データに音声が含まれているか否かが判定される。
【0017】
また、オフィス１００の壁面には、オフィス１００内の空間を全的的に撮像することが可能なカメラ６０、６０’が取り付けられている。カメラ６０、６０’で撮像された画像データは、情報処理装置２０に対して有線又は無線によるデータ通信によって送信される。情報処理装置２０では、カメラ６０から送信された画像データの画像解析が行われ、人が存在するか否かが判定される。
【0018】
情報処理装置２０の記憶部においては予め登録されるデータとして、区画属性テーブル２２及び人物データベース２３を有している。区画属性テーブル２２は、区画と、当該区画の属性を対応付けて記憶しているテーブルである。ここで、属性には少なくとも「執務エリア」、「打ち合わせエリア」、「リフレッシュエリア」の属性が含まれている。図３を例に取ると、区画属性テーブル２２には、第９区画乃至第１６区画は「執務エリア」の属性を有していること、第１区画、第２区画、第５区画、第６区画は「打ち合わせエリア」の属性を有していること、第３区画、第４区画、第７区画、第８区画は「リフレッシュエリア」の属性を有していることが記憶されている。
【0019】
情報処理装置２０の記憶部に登録されている人物データベース２３には、オフィス１００で職務を行う可能性がある人物に関するデータが登録されている。本実施形態では、カメラ６０、６０’で撮像された画像データを画像解析することによって人物の特定を行うので、人物データベース２３には少なくとも、各人物の顔画像データが記録されている。図１のオフィス１００に示す例では、人物Ａ乃至Ｌに顔画像データが人物データベース２３に記録されている。なお、人物データベース２３には、人物に係るその他のデータ（名前データ、ＩＤデータ等）を記録するようにしておくこともできる。
【0020】
以上のように構成される本発明に係る人物関係抽出システム１がオフィス１００内における会話を認識し、人物を特定し、その記録をしていく処理について図４を参照して説明する。図４は本発明の実施形態に係る人物関係抽出システム１の設定時間間隔毎の処理アルゴリズムのフローチャートを示す図である。
【0021】
また、図４に示すフローチャートは、予め設定された時間間隔幅（タイムスロット）１つに対する処理を示すものであり、設定時間より長い時間にわたって会話認識・会話発生記録を行う場合、図４に示すフローチャートが複数回繰り返して実行されることとなる。
【0022】
図４において、ステップＳ１００で、会話認識・人物特定・記録のための処理が開始されると、続くステップＳ１０１では、音声判定のサブルーチンが実行される。ここで、図５を参照して音声判定のサブルーチンを説明する。
【0023】
図５に示すフローチャートにおいて、ステップＳ２００で処理が開始されると、続いてステップＳ２０１に進み、第Ｎ区画として、第１区画がセットされる。ここで、Ｎは１ずつインクリメントされる変数である。
【0024】
続いて、ステップＳ２０２に進み、マイクロホン３０によって取得された音データのうち、第Ｎ区画における設定時間間隔幅の音データを取得する。
【0025】
ステップＳ２０３では、取得された集音データに対して設定された時間間隔幅の中心周波数５００Ｈｚのオクターブバンド等価音圧レベル（Ｌ500eq）を算出する。
【0026】
ここで、本明細書においては、予め設定された時間間隔幅（タイムスロット）における中心周波数５００Ｈｚのオクターブバンド等価音圧レベルをＬ500eqといい、Ａ特性等価音圧レベルをＬAeqという。
【0027】
次のステップＳ２０４では、音データに対して、Ａ特性重み付け補正を実行する。このようなＡ特性重み付け補正については、周知の方法によって実行され得るものである。
【0028】
ステップＳ２０５では、ステップＳ２０３でＡ特性重み付け補正された集音データに対して設定時間間隔幅のＡ特性等価音圧レベル（ＬAeq）を算出する。
【0029】
続いて、情報処理装置２０がＡ特性等価音圧レベル（ＬAeq）と中心周波数５００Ｈｚのオクターブバンド等価音圧レベル（Ｌ500eq）を受信すると、ステップＳ２０６では、
Ｌdiff＝Ｌ500eq－ＬAeq （１）
の演算が実行され、ステップＳ２０６では、
Ｌdiff≧ ＬT （２）
の真否が判定される。
Ｌdiff＝Ｌ500eq－ＬAeq （１）
の演算が実行され、ステップＳ２０６では、
Ｌdiff≧ ＬT （２）
の真否が判定される。
【0030】
ステップＳ２０７の判定結果がＹＥＳであるときには、ステップＳ２０８に進み、当該時間間隔幅における検知結果は「音声検知」とし、ステップＳ２１０で第Ｎ区画では「音声検知」の結果を履歴として記録する。
【0031】
一方、ステップＳ２０７の判定結果がＮＯであるときには、ステップＳ２０９に進み、当該時間間隔幅における検知結果は「音声非検知」とし、ステップＳ２１０で第Ｎ区画では「音声非検知」の結果を履歴として記録する。
【0032】
ステップＳ２１１では、全区画が終了したか否か（本例では、Ｎ＝１６であるか否か）が判定される。ステップＳ２１１の判定結果がＮＯであれば、ステップＳ２１２に進み、Ｎを「１」インクリメントして、次の区画に進み、ステップＳ２０２に進む。一方、ステップＳ２１１の判定結果がＹＥＳであれば、ステップＳ２１３に進み、元のメインルーチンにリターンする。
【0033】
元のメインルーチンでは、続いて、ステップＳ１０２に進み、人物特定サブルーチンが実行される。ここで、図６を参照して人物特定サブルーチンを説明する。
【0034】
図６に示すフローチャートにおいて、ステップＳ３００において、人物特定サブルーチンが開始されると、ステップＳ３０１に進み、予め設定された時間間隔幅（タイムスロット）におけるカメラ６０による撮像データを取得し、ステップＳ３０２で、取得された撮像データの画像解析を実行する。
【0035】
ステップＳ３０３では、第Ｎ区画として、第１区画がセットされる。ここで、Ｎは１ずつインクリメントされる変数である。
【0036】
次のステップＳ３０４では、撮像データの画像解析結果に基づいて、着目する第Ｎ区画とその回りの区画で複数人の画像を認識したか否かを判定する。ここで、図７には、着目区画とその周辺の区画とが図示されている。図７において、アンダーバーが付された数字が、区画の序数を示している。例えば、図７に示すように、着目する区画が第６区画であるものとすると、その周辺の区画とは、点線が通過する第１区画、第２区画、第３区画、第５区画、第７区画、第９区画、第１０区画、第１１区画が該当する。
【0037】
ステップＳ３０４の判定結果がＹＥＳであるときには、ステップＳ３０５に進み、当該時間間隔幅における検知結果は「複数人検知」とし、さらに続くステップＳ３０６では、カメラ６０、６０’で撮像された画像データと、人物データベース２３とに基づいて人物を特定し、ステップＳ３０８で第Ｎ区画では「複数人検知」の結果と、特定された人物を履歴として記録する。
【0038】
一方、ステップＳ３０４の判定結果がＮＯであるときには、ステップＳ３０７に進み、当該時間間隔幅における検知結果は「複数人非検知」とし、ステップＳ３０８で第Ｎ区画では「複数人非検知」の結果を履歴として記録する。
【0039】
ステップＳ３０９では、全区画が終了したか否か（本例では、Ｎ＝１６であるか否か）が判定される。ステップＳ３０９の判定結果がＮＯであれば、ステップＳ３１０に進み、Ｎを「１」インクリメントして、次の区画に進み、ステップＳ３０４に進む。一方、ステップＳ３０９の判定結果がＹＥＳであれば、ステップＳ３１１に進み、元のメインルーチンにリターンする。
【0040】
なお、本実施形態では、人物特定に係る技術には、カメラによって撮像された画像データを画像解析することによって行う構成が採用されているが、人物特定においてはその他の技術を用いることもできる。例えば、人物特定に係る技術には、ＲＦＩＤタグを利用することで、ある区画周辺で複数の人が存在するか否かを判定するようにしてもよいし、また、人感センサーを利用することで、ある区画周辺で複数の人が存在するか否かを判定するようにしてもよい。さらに、人物特定に係る技術には、赤外線センサー、振動センサー、ＣＯ2センサーなどを応用するようにしてもよい。
【0041】
さて、図４のメインルーチンに戻り、続いて、ステップＳ１０３では、第Ｎ区画として、第１区画がセットされる。ここで、Ｎは１ずつインクリメントされる変数である。
【0042】
ステップＳ１０４においては、音声判定サブルーチンの結果により、第Ｎ区画で「音声検知」であったか否かが判定される。判定結果がＮＯであれば、ステップＳ１０７に進み、第Ｎ区画＝（会話非発生）として記録が残される。判定結果がＹＥＳであれば、続いて、ステップＳ１０５に進む。
【0043】
ステップＳ１０５においては、人物特定サブルーチンの結果により、第Ｎ区画で「複数人検知」であったか否かが判定される。判定結果がＮＯであれば、ステップＳ１０７に進み、第Ｎ区画＝（会話非発生）として記録が残される。判定結果がＹＥＳであれば、続いて、ステップＳ１０６に進み、第Ｎ区画＝（会話発生）、会話を行ったとして特定された人物の記録が残される。
【0044】
ステップＳ１０８では、全区画が終了したか否か（本例では、Ｎ＝１６であるか否か）が判定される。ステップＳ１０８の判定結果がＮＯであれば、ステップＳ１０９に進み、Ｎを「１」インクリメントして、次の区画に進み、ステップＳ１０４に進む。一方、ステップＳ１０８の判定結果がＹＥＳであれば、ステップＳ１１０に進み、処理を終了する。
【0045】
以上のような本発明に係る人物関係抽出システム１で記録される履歴について説明する。図８は本発明の実施形態に係る人物関係抽出システム１による記録例を示す図である。図８（Ａ）は会話の発生・非発生の記録例であり、図８（Ｂ）は会話を行ったものとして特定された人物の記録例である。
【0046】
図８（Ａ）に示す例では、設定された時間間隔幅（タイムスロット）が３０秒間であり、当該時間間隔幅においてそれぞれの区画で、会話が発生したのか（「会話発生」記録）、或いは、会話が発生しなかったのか（「会話非発生」記録）についての履歴が残される。例えば、１０：３０：００～１０：３０：３０での時間間隔区幅では、第１区画＝（会話発生）、第２区画＝（会話発生）、第３区画＝（会話非発生）、第４区画＝（会話発生）、・・・・第１６区画＝（会話非発生）のような履歴が取得される。
【0047】
図８（Ｂ）に示す例では、設定された時間間隔幅（タイムスロット）が３０秒間であり、当該時間間隔幅においてそれぞれの区画で、どの人物間で会話が行われたかについての履歴が残される。例えば、１０：３０：００～１０：３０：３０での時間間隔区幅では、第１区画＝（人物Ｂ－人物Ｃ）、第２区画＝（人物Ｃ－人物Ｄ）、第３区画＝（なし）、第４区画＝（人物Ｆ－人物Ｇ）、・・・・第１６区画＝（なし）のような履歴が取得される。
【0048】
上記のような本発明に係る人物関係抽出システム１では、図１のコミュニケーションを行っている区画については、（会話発生）の履歴、特定された人物の履歴が取得されるが、一方で、図１の人物Ｌが電話対応のみを行っているようなケースでは、（会話非発生）のような履歴が取得される。このように本発明に係る人物関係抽出システム１では、空間内における実際の会話を高い確度で認識し、それと共に会話を行った人物について記録を残すことが可能となる。
【0049】
以上のように取得された履歴・記録に基づいて、本発明に係る人物関係抽出システム１で実行される、人と人との関係を抽出して可視化する処理について説明する。
【0050】
図９は本発明の実施形態に係る人物関係抽出システム１の可視化処理のフローチャートを示す図である。
【0051】
ステップＳ４００で、可視化処理が開始されると、続いてステップＳ４０１では、情報処理装置２０のディスプレイ（不図示）などを通じて、ユーザーに対して可視化を所望する期間の入力を促す。
【0052】
これに対してユーザーは、ステップＳｕで情報処理装置２０に対して期間の入力を行い、情報処理装置２０側は、ステップＳ４０２で、可視化する期間を取得する。
【0053】
ステップＳ４０３では、当該期間の履歴を取得する。取得する履歴は、図８（Ｂ）に示すものであり、どの時間間隔幅（タイムスロット）で、どの区画で、どの人物間で会話がなされたかが記述されたものである。
【0054】
ステップＳ４０４では、指定された期間について当該履歴を積算する。このような積算により、例えば、人物Ａと人物Ｂとの間で、総計何時間の会話があったかが算出される。
【0055】
ステップＳ４０５では、当該積算を可視化する処理を実行する。図１０は本発明の実施形態に係る人物関係抽出システム１による可視化のイメージを示す図である。本実施形態では、人物をノードで表し、人物間の関係性をリンクで表すことによって可視化を行っている。リンクの太さは、積算された人物間の会話の総計時間に比例するような可視化を行っている。すなわち、リンクが太いほど、リンクが結ばれたノードで示す人物間の関係性がより深く、強いことを表している。
【0056】
ステップＳ４０６では、区画属性テーブル２２を取得・参照し、ステップＳ４０７では、属性毎に履歴を積算する。「執務エリア」、「打ち合わせエリア」、「リフレッシュエリア」の属性毎における人物間の会話時間の総計時間が積算される。
【0057】
ステップＳ４０８では、「執務エリア」、「打ち合わせエリア」、「リフレッシュエリア」毎の可視化する処理を実行する。図１１は本発明の実施形態に係る人物関係抽出システム１によるエリア毎の可視化のイメージを示す図である。図１１の例でも、人物をノードで表し、人物間の関係性をリンクで表すことによって可視化を行っている。また、リンクの太さが、積算された人物間の会話の総計時間に比例するような可視化を行っている。
【0058】
ステップＳ４０９で可視化処理を終了する。
【0059】
以上のように、本発明に係る人物関係抽出システム１は、記録を積算することで、人と人との関係を抽出して可視化する可視化処理（部）を有しており、このような本発明に係る人物関係抽出システム１によれば、人物間の関係の構造や、人物間のつながりの強さなどの関係性については把握することが可能となり、集団の知的生産性を向上するための基本的かつ重要な情報を知ることができる。
【0060】
次に上記のような本発明に係る人物関係抽出システム１における音声検知の判定方法（音声判定のサブルーチン）の技術的根拠を示す。
【0061】
図１２に、オフィス内の打合スペースにおいて会話が行われていた場合と会話が行われていない場合の音圧レベルの周波数特性を示す。図１２の周波数特性の測定は１分間オクターブバンド等価音圧レベルを連続測定した。全測定サンプルは５６２２サンプル、その内会話が行われていた場合は１４０６サンプル、会話が行われていない場合は４２１６サンプルであった。図１２には、打合スペースで会話が行われていた場合と会話が行われていない場合それぞれにおける測定結果の平均値と平均値±標準偏差を示す。なお、各周波数における音圧レベルはＡ特性により重み付けされた値である。
【0062】
図１２からは、等価音圧レベルを測定した１分間に会話が行われている場合、即ち音声が含まれている場合は５００Ｈｚオクターブバンド音圧レベルが卓越した周波数特性であることがわかる。一方、会話が行われていない場合、即ち音声が含まれていない場合はこのような特徴は示されていない。以上の測定結果は、音声は５００Ｈｚオクターブバンドに主な周波数成分を持つことを示している。
【0063】
逆に言えば、測定した音の周波数特性において５００Ｈｚオクターブバンド音圧レベルが卓越している場合、その測定した音には音声が含まれている可能性が高いことを示唆する。
【0064】
ここで、Ａ特性音圧レベルと５００Ｈｚオクターブバンド音圧レベルの関係を考える。仮に、測定した音が５００Ｈｚオクターブバンドにのみ周波数成分を持つとすると、Ａ特性音圧レベルの定義からその差Ｌdiffは３．２ｄＢとなる。
【0065】
実際には、音声は５００Ｈｚオクターブバンド以外の帯域にも周波数成分を持つため、Ａ特性音圧レベルとＬdiffがちょうど３．２ｄＢとなることはないが、Ｌdiffが３．２ｄＢに近いほど測定した音の５００Ｈｚオクターブバンド音圧レベルが卓越していることを意味する。
【0066】
【0067】
図１３から、会話が行われている場合は、会話が行われていない場合と比較してＬdiffが大きい、即ちＬdiffが３．２ｄＢに近いことが示されている。
【0068】
Ｌdiffから測定した音に音声が含まれていると判定する閾値ＬTの設定値により、判定精度が変化する。図１４に、閾値ＬTの設定値と判定精度の関係を示す。
【0069】
ここで示した測定例では、閾値ＬTを－１ｄＢに設定した場合に、会話が行われていること及び会話が行われていないことの判定精度が共に９０％程度であった。
【0070】
閾値ＬTを大きい値に設定すると、測定した音に音声が含まれているにも関わらず音声が含まれていないと誤判定する確率が高くなる。一方で、閾値ＬTを小さい値に設定すると、測定した音に音声が含まれていないにも関わらず音声が含まれていると誤判定する確率が高くなる。閾値ＬTは音声以外の周囲の騒音等の影響を加味して設定する必要がある。
【0071】
ここで示した測定例では、１分間の等価音圧レベルを測定しているが、等価音圧レベルの測定時間は１分間に限定されるものではない。等価音圧レベルの測定時間は必要な音声検出頻度により設定するが、一般的には１０秒間から１０分間程度と設定することが適当である。なお、等価音圧レベルの測定時間を長く設定した場合、測定時間内の短い時間にのみ音声が含まれる場合は音声が含まれないものと判定されることがある。
【0072】
上記のような、技術的な根拠により、本発明に係る人物関係抽出システムは音声検出の判定を行うものであり、原理的にみても、複雑なデータ処理等が不要なことが明白である。
【0073】
このように、本発明に係る人物関係抽出システム１における音声判定は、集音された音に基づいて、設定された時間間隔帯におけるＡ特性等価音圧レベル（ＬAeq）と、中心周波数５００Ｈｚのオクターブバンド等価音圧レベル（Ｌ500eq）とを算出し、中心周波数５００Ｈｚのオクターブバンド等価音圧レベル（Ｌ500eq）からＡ特性等価音圧レベル（ＬAeq）を引いた差分が予め設定された閾値以上である場合、集音された音に音声が含まれていると判定するものであり、このような本発明に係る人物関係抽出システム１の音声判定によれば、音圧レベルの値や変動幅を用いることなく、高い精度で音声の有無を検知することが可能となる。
【0074】
また、本発明に係る人物関係抽出システム１における音声判定は、高度な信号処理技術や人工知能等を用い、音声が含まれているかを判定することではなく、安価で簡便な装置構成で検知を行うものであり、広い空間内や建物内各所の多点で簡便に音声を検知することが可能となる。
【0075】
以上、本発明に係る人物関係抽出システムは、記録を積算することで、人と人との関係を抽出して可視化する可視化部を有しており、このような本発明に係る人物関係抽出システムによれば、人物間の関係の構造や、人物間のつながりの強さなどの関係性については把握することが可能となり、集団の知的生産性を向上するための基本的かつ重要な情報を知ることができる。
【0076】
また、本発明に係る人物関係抽出システムによれば、空間内における人物間の会話発生量に基づき、人物間の関係構造を可視化することができ、これにより人物間のつながりの強さを定量的に評価できる。
【0077】
また、本発明に係る人物関係抽出システムによれば、空間内における人物と会話発生位置、発生量に基づき、人物と会話場所の関係構造を可視化することができる。これにより会話に着目した場合の各人物の行動パターンを定量的に評価したり、執務エリア、打合せエリア、リフレッシュエリアなど、エリア毎の人物関係構造を定量的に評価したりすることができる。
【0078】
また、本発明に係る人物関係抽出システムによれば、空間内における各人物の位置情報の時間履歴と会話発生位置を見ることにより、誰が誰に話しかけに行ったのかなどの有向情報を抽出することもできる。
【0079】
また、本発明に係る人物関係抽出システムによれば、抽出した関係構造は、例えばネットワーク分析に掛けることにより、特定の人物や場所だけではなく、集団の特徴や空間の特徴を明らかにすることができる。
【符号の説明】
【0080】
１・・・人物関係抽出システム
２０・・・情報処理装置
２２・・・区画属性テーブル
２３・・・人物データベース
３０・・・マイクロホン
６０・・・カメラ
１００・・・オフィス
２０・・・情報処理装置
２２・・・区画属性テーブル
２３・・・人物データベース
３０・・・マイクロホン
６０・・・カメラ
１００・・・オフィス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】