特許 7471911 人物関係抽出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-12

(45)【発行日】2024-04-22

(54)【発明の名称】人物関係抽出システム

(51)【国際特許分類】

   G10L 25/78 20130101AFI20240415BHJP

   G06T 7/00 20170101ALI20240415BHJP

   G10L 25/51 20130101ALI20240415BHJP

【ＦＩ】

G10L25/78

G06T7/00 660B

G10L25/51

【請求項の数】 5

(21)【出願番号】P 2020087783

(22)【出願日】2020-05-20

(65)【公開番号】P2021182089

(43)【公開日】2021-11-25

【審査請求日】2023-03-09

(73)【特許権者】

【識別番号】000002299

【氏名又は名称】清水建設株式会社

(74)【代理人】

【識別番号】100139114

【弁理士】

【氏名又は名称】田中 貞嗣

(74)【代理人】

【識別番号】100139103

【弁理士】

【氏名又は名称】小山 卓志

(74)【代理人】

【識別番号】100214260

【弁理士】

【氏名又は名称】相羽 昌孝

(74)【代理人】

【氏名又は名称】片寄 武彦

(72)【発明者】

【氏名】内藤 拡也

(72)【発明者】

【氏名】山本 裕治

【審査官】渡部 幸和

(56)【参考文献】

【文献】特開２０１９－１９１８７８（ＪＰ，Ａ）

【文献】国際公開第２０１９／１５５６２９（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１３９１０１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ ２５／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

所定の空間で会話が発生したか否かを認識し、会話を行った人を特定することで、人と人との関係性を抽出する人物関係抽出システムにおいて、
前記空間内で発生した音の発生位置の座標を特定する音源定位部と、
前記空間内に存在する人物と、その座標を特定する人物・位置特定部と、
前記音源定位部で特定された座標と、前記人物・位置特定部で特定された座標とに基づいて、音を発した人物を特定する発話人物特定部と、
前記発話人物特定部で特定された人物から、設定距離内の人物を抽出する人物抽出部と、
前記人物抽出部で抽出された人物との間に遮蔽物が存在せず、コミュニケーションが可能である人物を抽出するコミュニケーション可能人物抽出部と、
前記人物・位置特定部で特定された人物と、前記コミュニケーション可能人物抽出部で抽出された人物との間で会話がなされたものとして会話記録を作成する会話記録作成部と、を有することを特徴とする人物関係抽出システム。

【請求項2】

前記コミュニケーション可能人物抽出部が、オフィスレイアウトデータベースを参照することで、前記人物抽出部で抽出された人物との間における遮蔽物の存否を判断することを特徴とする請求項１に記載の人物関係抽出システム。

【請求項3】

前記オフィスレイアウトデータベースには、オフィス空間内のオフィス什器の配置が記録されることを特徴とする請求項２に記載の人物関係抽出システム。

【請求項4】

前記空間内で発信されるビーコン信号を受信する無線通信部を有しており、
前記人物・位置特定部が、前記無線通信部で受信されるビーコン信号に基づいて、人物の座標を特定することを特徴とする請求項３に記載の人物関係抽出システム。

【請求項5】

前記空間内に対してビーコン信号を発信する無線通信部を有しており、
前記人物・位置特定部が、前記無線通信部で発信されるビーコン信号に基づいて、人物の座標を特定することを特徴とする請求項３に記載の人物関係抽出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば、オフィス内において会話が発生したか否かを認識し、会話を行った人を特定し記録していくことで、人と人との関係性を抽出する人物関係抽出システムに関する。

【背景技術】

【0002】

建物空間内で発生する会話は人々のコミュニケーション量や知的生産性を測る指標として重要である。ある空間内に人が居るかコミュニケーションが活発に行われているかを判定する手段として、音声を検知することは有効な方法である。このような音声検知方法が確立されていれば、例えば、オフィス内のコミュニケーション活性度の計測を行ったり、或いは、公共施設などの交流ペースの活用度を計測したり、といったことが可能となる。

【0003】

特許文献１（特開２０１９－１９１８７８号公報）では、複数の区画に分割された空間のそれぞれで会話が発生したか否かを認識し、会話を行った人を特定することで、人と人との関係性を抽出する人物関係抽出システムが開示されている。

【文献】特開２０１９－１９１８７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１記載の従来技術においては、区画を跨って交わされる会話が抽出できないといった課題や、区画内の会話に参加していない人物も抽出されてしまうといった課題があった。

【0005】

例えば、前記従来技術では、間仕切りのないオープンフロア・オフィスにおいては、区画の境界が曖昧であるため、人と人との会話を正しく検知できなかった。

【0006】

また、前記従来技術によれば、電話やテレビ会議で話している人がいる場合もその人と周りの人が会話していると検知されてしまうようなことがあった。

【課題を解決するための手段】

【0007】

この発明は、上記課題を解決するものであって、本発明に係る人物関係抽出システムは、所定の空間で会話が発生したか否かを認識し、会話を行った人を特定することで、人と人との関係性を抽出する人物関係抽出システムにおいて、前記空間内で発生した音の発生位置の座標を特定する音源定位部と、前記空間内に存在する人物と、その座標を特定する人物・位置特定部と、前記音源定位部で特定された座標と、前記人物・位置特定部で特定された座標とに基づいて、音を発した人物を特定する発話人物特定部と、前記発話人物特定部で特定された人物から、設定距離内の人物を抽出する人物抽出部と、前記人物抽出部で抽出された人物との間に遮蔽物が存在せず、コミュニケーションが可能である人物を抽出するコミュニケーション可能人物抽出部と、前記人物・位置特定部で特定された人物と、前記コミュニケーション可能人物抽出部で抽出された人物との間で会話がなされたものとして会話記録を作成する会話記録作成部と、を有することを特徴とする。

【0008】

また、本発明に係る人物関係抽出システムは、前記コミュニケーション可能人物抽出部が、オフィスレイアウトデータベースを参照することで、前記人物抽出部で抽出された人物との間における遮蔽物の存否を判断することを特徴とする。

【0009】

また、本発明に係る人物関係抽出システムは、前記オフィスレイアウトデータベースには、オフィス空間内のオフィス什器の配置が記録されることを特徴とする。

【0010】

また、本発明に係る人物関係抽出システムは、前記空間内で発信されるビーコン信号を受信する無線通信部を有しており、前記人物・位置特定部が、前記無線通信部で受信されるビーコン信号に基づいて、人物の座標を特定することを特徴とする。

【0011】

また、本発明に係る人物関係抽出システムは、前記空間内に対してビーコン信号を発信する無線通信部を有しており、前記人物・位置特定部が、前記無線通信部で発信されるビーコン信号に基づいて、人物の座標を特定することを特徴とする。

【発明の効果】

【0012】

本発明に係る人物関係抽出システムは、発話人物特定部で特定された音声を発した人物から、設定距離内の人物を抽出し、これらの人物の間で会話がなされたものとして会話記録を作成するので、本発明に係る人物関係抽出システムによれば、特定の区画に拘束されることなく、会話記録を作成することができ、区画を跨って交わされる会話の抽出が可能となるし、また、区画内の会話に参加していない人物が抽出されてしまう確率を低減できる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１実施形態に係る人物関係抽出システム１が適用されるオフィス空間の一例を示す図である。

【図2】本発明の第１実施形態に係る人物関係抽出システム１のブロック図である。

【図3】本発明の第１実施形態に係る人物関係抽出システム１による処理のフローチャートを示す図である。

【図4】本発明の第１実施形態に係る人物関係抽出システム１に基づく処理例を説明する図である。

【図5】本発明の第１実施形態に係る人物関係抽出システム１における音声判定サブルーチンのフローチャートを示す図である。

【図6】本発明の第１実施形態に係る人物関係抽出システム１における第１人物・位置特定サブルーチンのフローチャートを示す図である。

【図7】本発明の第１実施形態に係る人物関係抽出システム１における会話記録作成サブルーチンのフローチャートを示す図である。

【図8】本発明の第２実施形態に係る人物関係抽出システム１が適用されるオフィス空間の一例を示す図である。

【図9】本発明の第２実施形態に係る人物関係抽出システム１のブロック図である。

【図10】本発明の第２実施形態に係る人物関係抽出システム１による処理のフローチャートを示す図である。

【図11】本発明の第２実施形態に係る人物関係抽出システム１における音声音源定位サブルーチンのフローチャートを示す図である。

【図12】本発明の第２実施形態に係る人物関係抽出システム１における第２人物・位置特定サブルーチンのフローチャートを示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態を図面を参照しつつ説明する。図１は本発明の第１実施形態に係る人物関係抽出システム１が適用されるオフィス空間の一例を示す図である。また、図２は本発明の第１実施形態に係る人物関係抽出システム１のブロック図である。なお、以下の例では、図１はオフィスにおける空間を模式的に示すものとするが、本発明の適用対象はオフィスに限らず、任意の空間とすることができる。

【0015】

本発明に係る人物関係抽出システム１は、人と人との関係性を抽出するために、図１に示すようなオフィス内において会話が発生したか否かを認識し、会話を行った人を特定し記録していく。そこで、本発明に係る人物関係抽出システム１では、人物と人物との間で会話がなされたことを検知・特定する仕組みを有しており、さらに人物と人物との間で会話がなされたことを会話記録として作成する仕組みを有するものである。

【0016】

オフィス空間においては、例えば（ｘ，ｙ）座標が設定されており、この（ｘ，ｙ）座標により人物の位置を表すようにする。また、オフィス空間においては、仮想的に区画分けがされている。図１の例では、第１区画、第２区画、・・・第Ｎ区画が設定されている。本実施形態では、それぞれの区画は面積がほぼ等しくなるように設定されている。また、本実施形態では、区画は矩形とされているが、区画の形状をこのように設定することは必須ではない。

【0017】

それぞれの区画で発生した音は、それぞれの区画専用の区画用マイクロフォン１１０で集音することができるようになっている。本実施形態では、第１区画、第２区画、・・・第Ｎ区画それぞれで発生した音を集音する区画用マイクロフォン１１０_１、１１０_２、・・・１１０_Ｎが設けられている。

【0018】

区画用マイクロフォン１１０_１、１１０_２、・・・１１０_Ｎで集音された音は、不図示の変換部によりデジタル信号に変換されて、制御部１００に送信される。制御部１００は、例えば、ＣＰＵとＣＰＵ上で動作するプログラムを保持するＲＯＭとＣＰＵのワークエリアであるＲＡＭなどからなる汎用のマイクロコンピューターなどの情報処理装置を用いることができる。このような制御部１００は、図２で接続される各構成とデータ通信を行い、各構成から所定のデータを受信して演算を行ったり、所定のデータを指令などとして出力したりすることができるようになっている。

【0019】

制御部１００は、区画用マイクロフォン１１０_１、１１０_２、・・・１１０_Ｎから送信されるデジタルデータに人の声（音声）が含まれているかが判定される。

【0020】

オフィス空間を撮像し、画像データを取得する撮像部は本実施形態では、撮像部１２０_１及撮像部１２０_２の２つであるが、設ける撮像部の数は任意である。これら、撮像部１２０_１及撮像部１２０_２で取得された画像データは、制御部１００に送信される。制御部１００では、送信された画像データを画像解析することで、画像データに写っている人物の特定、及びその座標を求める処理が行われる。

【0021】

第１人物データベース２１０においては、オフィス空間に勤務する人物それぞれのデータが記憶されている。このような第１人物データベース２１０には、それぞれの人物を特定する氏名データや、ＩＤデータなどの他に、画像データで個人を特定するための顔や体格などの特徴量データも含まれている。このような第１人物データベース２１０に記憶されているデータは、制御部１００によって参照される。

【0022】

本発明に係る人物関係抽出システム１では、制御部１００によって、人物と人物との間で会話がなされたことを検知・特定されると、人物関係データ記憶部２８０に、人物と人物との間で会話がなされたことを会話記録が作成される。このような人物関係データ記憶部２８０に蓄積された会話記録に基づいて、人と人との関係性を図表化することなどで、人物関係を顕在化させることができる。

【0023】

次に、以上のように構成される本発明に係る人物関係抽出システム１の主要な処理について説明する。図３は本発明の第１実施形態に係る人物関係抽出システム１による処理のフローチャートを示す図である。また、図４は本発明の第１実施形態に係る人物関係抽出システム１に基づく処理例を説明する図であり、図４の具体例を参照しつつ前記フローチャートの説明を行う。

【0024】

図３において、ステップＳ１００で、処理を開始すると、続いて、ステップＳ１０１に進み、音声判定サブルーチンを実行する。この音声判定サブルーチンは、区画用マイクロフォン１１０_ｎ（ｎは１～Ｎ）で集音された音に、人の声（音声）が含まれているか否かを判定する。以下、オクターブバンド等価音圧レベルを用いて、音声の有無を判定する方法を例に説明するが、音に人の声（音声）が含まれているか否かを判定することができれば、その他の方法を用いても良い。

【0025】

図５に示すフローチャートにおいて、ステップＳ２００で処理が開始されると、続いてステップＳ２０１に進み、第Ｎ区画として、第１区画がセットされる。ここで、ｎは１ずつインクリメントされる変数である。

【0026】

続いて、ステップＳ２０２に進み、区画用マイクロフォン１１０_ｎ（ｎは１～Ｎ）によって取得された音データのうち、第ｎ区画における、予め設定されている所定時間間隔幅の音データを取得する。

【0027】

ステップＳ２０３では、取得された集音データに対して設定された時間間隔幅の中心周波数５００Ｈｚのオクターブバンド等価音圧レベル（Ｌ_{５００ｅｑ}）を算出する。

【0028】

ここで、本明細書においては、予め設定された時間間隔幅（タイムスロット）における中心周波数５００Ｈｚのオクターブバンド等価音圧レベルをＬ_{５００ｅｑ}といい、Ａ特性等価音圧レベルをＬ_Ａｅｑという。

【0029】

次のステップＳ２０４では、音データに対して、Ａ特性重み付け補正を実行する。このようなＡ特性重み付け補正については、周知の方法によって実行され得るものである。

【0030】

ステップＳ２０５では、ステップＳ２０３でＡ特性重み付け補正された集音データに対して設定時間間隔幅のＡ特性等価音圧レベル（Ｌ_Ａｅｑ）を算出する。

【0031】

続いて、情報処理装置２０がＡ特性等価音圧レベル（Ｌ_Ａｅｑ）と中心周波数５００Ｈｚのオクターブバンド等価音圧レベル（Ｌ_{５００ｅｑ}）を受信すると、ステップＳ２０６では、
Ｌ_ｄｉｆｆ＝Ｌ_{５００ｅｑ}－Ｌ_Ａｅｑ （１）
の演算が実行され、ステップＳ２０６では、
Ｌ_ｄｉｆｆ≧ Ｌ_Ｔ （２）
の真否が判定される。

【0032】

ステップＳ２０７の判定結果がＹＥＳであるときには、ステップＳ２０８に進み、当該時間間隔幅における検知結果は「音声検知」とし、ステップＳ２１０で第ｎ区画では「音声検知」の結果を履歴として記録する。

【0033】

一方、ステップＳ２０７の判定結果がＮＯであるときには、ステップＳ２０９に進み、当該時間間隔幅における検知結果は「音声非検知」とし、ステップＳ２１０で第ｎ区画では「音声非検知」の結果を履歴として記録する。

【0034】

ステップＳ２１１では、全区画が終了したか否か（本例では、ｎ＝Ｎであるか否か）が判定される。ステップＳ２１１の判定結果がＮＯであれば、ステップＳ２１２に進み、ｎを「１」インクリメントして、次の区画に進み、ステップＳ２０２に進む。一方、ステップＳ２１１の判定結果がＹＥＳであれば、ステップＳ２１３に進み、元のメインルーチンにリターンする。

【0035】

さて、図３の元のフローチャートに戻り、続いて、ステップＳ１０２では、第１人物・位置特定サブルーチンが実行される。図６は本発明の第１実施形態に係る人物関係抽出システム１における第１人物・位置特定サブルーチンのフローチャートを示す図である。なお、本実施形態では、第１人物・位置特定サブルーチンにより、人物を特定しその位置を算出するが、このサブルーチンでは撮像部１２０で取得される画像データが用いられることが特徴となる。

【0036】

図６において、ステップＳ３００で第１人物・位置特定サブルーチンが開始されると、続いて、ステップＳ３０１に進み、撮像部１２０_１及撮像部１２０_２から画像データを取得する。

【0037】

ステップＳ３０２では、前の時刻の画像データとの間の差分を算出し、ステップＳ３０３では、当該差分領域を抽出する。このステップＳ３０３で抽出される差分領域が、静止している背景の中で移動する人物であるものと推定される。

【0038】

ステップＳ３０４では、当該差分領域における特徴量（顔、体格の動き）を画像処理技術により抽出し、ステップＳ３０５では、当該特徴量と第１人物データベース２１０とから、当該差分領域における人物を推定する。

【0039】

また、ステップＳ３０６では、推定した人物の位置座標（ｘ，ｙ）を算出して、ステップＳ３０７でリターンし、元のフローチャートに戻る。

【0040】

以上のような第１人物・位置特定サブルーチンにより、例えば、人物（０）が誰であるかの特定と、その人物（０）の位置座標（ｘ_ｏ，ｙ_ｏ）の算出を行うことが可能となる。

【0041】

図３に戻り、まずステップＳ１０３では、変数ｎにｎ＝１がセットされる。続いて、ステップＳ１０４では、第ｎ区画で音声が検知されたか否かが判定される。ステップＳ１０４における判定がＮＯであると、ステップＳ１１１に進み、必要に応じて次の区画の処理を行う。

【0042】

一方、ステップＳ１０４における判定がＹＥＳであると、ステップＳ１０５に進み、第１人物・位置特定サブルーチンで取得された情報に基づいて、第ｎ区画の人物Ｘを取得する。このようなステップで行われる処理を、発話人物を特定する発話人物特定処理と称する。この処理で特定された人物Ｘを、図４の例では、（０）が付された人物であると仮定する。

【0043】

続くステップＳ１０６では、人物Ｘから設定距離内に存在する人物Ｙを抽出する。図４の例では、当該設定距離がＲであり、ステップＳ１０６では、人物Ｙとして（１）、（２）が付された人物が抽出され、（４）、（５）付された人物は除外されたものと仮定する。なお、当該設定距離Ｒについては、（Ａ）に示す「対人距離閾値設定情報」を入力することで、ユーザー設定処理が適宜可能とされている。これにより、オフィス事情に応じた人物関係の抽出を行うことが可能となる。

【0044】

ステップＳ１０７では、人物Ｙが１人以上であるか否かが判定される。ステップＳ１０７の判定がＮＯであると、ステップＳ１０８に進み、人物Ｘと人物Ｙとの間の会話記録を作成すべく会話記録作成サブルーチンが実行される。

【0045】

この会話記録作成サブルーチンについて説明する。図７は本発明の第１実施形態に係る人物関係抽出システム１における会話記録作成サブルーチンのフローチャートを示す図である。

【0046】

ステップＳ４００で会話記録作成サブルーチンが開始されると、続いて、ステップＳ４０１に進み、人物Ｘと人物Ｙの関係にあると判定された時間帯（不図示の計時手段による）を取得する。次に、ステップＳ４０２で、人物Ｘと人物Ｙと当該時間帯に係る情報を、人物関係データ記憶部２８０に会話記録ログとして記憶する。ステップＳ４０３では、元のルーチンにリターンする。

【0047】

さて、ステップＳ１０７の判定がＹＥＳであると、ステップＳ１０９に進み、全ての人物Ｙが抽出されるまで、ステップＳ１１２→ステップＳ１０８をループする。一方、ステップＳ１０９で全ての人物Ｙについての抽出が終了されたものと判定されると、続いて、ステップＳ１１０に進む。

【0048】

ステップＳ１１０では、全てのＸについて抽出されたかが判定される。ステップＳ１１０の判定がＮＯであると、ステップＳ１１３→ステップＳ１０６→・・の順でループし、ステップＳ１１０の判定がＹＥＳであると、ステップＳ１１１に進む。

【0049】

ステップＳ１１１では、全ての区画について取得されたかが判定される。ステップＳ１１１の判定がＮＯであると、ステップＳ１１４→ステップＳ１０４→・・の順でループし、ステップＳ１１１の判定がＹＥＳであると、ステップＳ１１５に進み、処理が終了となる。

【0050】

以上のように、本発明に係る人物関係抽出システム１は、発話人物特定部で特定された音声を発した人物Ｘから、設定距離Ｒ内の人物を抽出し、これらの人物の間で会話がなされたものとして人物関係データ記憶部２８０に会話記録を作成するので、本発明に係る人物関係抽出システム１によれば、特定の区画に拘束されることなく、会話記録を作成することができ、区画を跨って交わされる会話の抽出が可能となるし、また、区画内の会話に参加していない人物が抽出されてしまう確率を低減できる。

【0051】

次に、本発明の他の実施形態について説明する。図８は本発明の第２実施形態に係る人物関係抽出システム１が適用されるオフィス空間の一例を示す図である。また、図９は本発明の第２実施形態に係る人物関係抽出システム１のブロック図である。なお、第１実施形態と同様の参照符号が付された構成については同様のものであるので説明を省略する。

【0052】

第１実施形態に係る人物関係抽出システム１では、人物の特定と、その位置の把握は撮像部で取得される画像データに基づいて行われていたが、オフィス空間において、それぞれの人が携行することが想定されるビーコン発信源１５０によって実現される。ビーコン発信源１５０は、例えば所定のアプリケーションをインストールしたスマートフォンに実現することができる。また、それぞれの人が携行するビーコン発信源１５０は、それぞれ唯一無二のＩＤ情報を含むビーコン信号が発信される。

【0053】

無線通信部１３０は、オフィス空間に対して複数設けられて、ビーコン発信源１５０から送信されるビーコン信号を受信すると共に、受信したビーコン信号の到来角を検出する。複数の無線通信部１３０それぞれは、ビーコン信号と到来角を、制御部１００に転送する。制御部１００では、ビーコン信号の到来角から、ビーコン発信源１５０の位置を求めることができるように構成されている。

【0054】

なお、本実施形態では、移動体である人がビーコン発信源を携帯し、空間側に設置した無線通信部でビーコン信号を受信し、ビーコン信号の到来角から位置を求めるAngle of Arrival方式が採用されているが、本発明では他の方式を用いるようにすることもできる。

【0055】

例えば、空間側に、発信角度情報を含めたビーコン信号を送信する無線通信部を複数設置しておき、当該無線通信部からのビーコン信号を受信可能な端末を移動体である人に携行させ、当該端末側で受信した複数のビーコン信号に基づいて、当該端末の位置情報を算出するAngle of Departure方式を採用することもできる。

【0056】

第２人物データベース２２０においては、オフィス空間に勤務する人物それぞれのデータが記憶されている。このような第２人物データベース２２０には、それぞれの人物を特定する氏名データや、ＩＤデータなどの他に、それぞれの人物が携行するビーコン発信源１５０に含まれる固有のＩＤ情報も含まれている。このような第２人物データベース２２０に記憶されているデータは、制御部１００によって参照される。

【0057】

マイクロフォンアレイ１１５は、複数の単位マイクロフォンの集合であり、個々の単位マイクロフォンがオフィス空間で発生する音を集音する。このようなマイクロフォンアレイ１１５は、オフィス空間の周囲に複数設けておくことができる。マイクロフォンアレイ１１５を構成する複数の単位マイクロフォンで集音された音はデジタルデータに変換され全て制御部１００に送信される。制御部１００では、マイクロフォンアレイ１１５で得られた音のデジタルデータから音源定位技術を用いて、音の発生位置座標を算出する。

【0058】

第２実施形態に係る人物関係抽出システム１は、オフィスレイアウトデータベース２５０を有しており、オフィス空間内におけるオフィス什器の配置などが記録されている。このようなオフィスレイアウトデータベース２５０に記憶されているデータは、制御部１００によって参照される。オフィスレイアウトデータベース２５０を制御部１００が参照することで、人物（１）と人物（２）との間にオフィス什器がなく、会話が可能であることが分かり、人物（１）と人物（３）との間にオフィス什器１があり、会話が不可能であることが分かる。

【0059】

次に、以上のように構成される第２実施形態に係る人物関係抽出システム１の主要な処理について説明する。図１０は本発明の第２実施形態に係る人物関係抽出システム１による処理のフローチャートを示す図である。

【0060】

図１０において、ステップＳ５００で処理が開始されると、続いて、ステップＳ５０１に進み、音声音源定位サブルーチンが実行される。図１１は本発明の第２実施形態に係る人物関係抽出システム１における音声音源定位サブルーチンのフローチャートを示す図である。

【0061】

図１１のステップＳ６００で、音声音源定位サブルーチンが開示されると、ステップＳ６０１に進み、音声判定サブルーチンが実行される。このような音声判定サブルーチンとしては、第１実施形態と同様のものを用い得るが、人の声が音に含まれているかを判定することができれば他のアルゴリズムを用いることもできる。

【0062】

ステップＳ６０２では、マイクロフォンアレイ１１５の単位マイクロフォンで得られるデータから到来時間差により音源の座標を算出する。このような座標の算出には、公知となっている音源定位技術を適宜用いることができる。ステップＳ６０３で、元のルーチンにリターンする。

【0063】

図１０に戻り、ステップＳ５０２では、第２人物・位置特定サブルーチンが実行される。図１２は本発明の第２実施形態に係る人物関係抽出システム１における第２人物・位置特定サブルーチンのフローチャートを示す図である。

【0064】

図１２のステップＳ７００で、第２人物・位置特定サブルーチンが開始されると、続いて、ステップＳ７０１に進み、無線通信部１３０からデータを取得する。

【0065】

続く、ステップＳ７０２では、ビーコン信号に含まれるＩＤ情報と、第２人物データベース２２０とから、ビーコン発信源１５０を携行する人物を特定する。次に、ステップＳ７０３では、ビーコン信号の受信方向から座標を算出する。（Angle of Arrival方式）
ステップＳ７０４では、全てのＩＤ情報について終了したか否かが判定され、当該判定がＮＯであれば、ステップＳ７０５に進み、次のＩＤについて、ステップＳ７０２を実行する。一方、該判定がＹＥＳであれば、ステップＳ７０６に進み、元のルーチンにリターンする。

【0066】

さて図１０に戻り、ステップＳ５０３では、着目する人物Ｘのビーコン信号に基づく座標と、音源定位に基づく座標との距離は閾値内であるか否かが判定される。この判定がＹＥＳである場合、人物Ｘが会話を行い、音声を発しているものと判定する。

【0067】

このことを、図８を参照して説明する。例えば、人物（１）のビーコン信号に基づく座標を（ｘ_１，ｙ_１）として、音源定位技術に基づく座標を（ｘ’_１，ｙ’_１）とすると、これらの座標間の距離が先の閾値（例えば、Ｄとする）以下であるとすると、人物（１）が音声を発したものと、ステップＳ５０３では判定するようにしている。

【0068】

なお、当該設定距離Ｄについては、（Ｂ）に示す「音源距離閾値設定情報」を入力することで、ユーザー設定処理が適宜可能とされている。これにより、音声を発した人物の判定精度を調整することが可能となる。

【0069】

続くステップＳ５０４では、人物Ｘから設定距離内に存在する人物Ｙを抽出する。図４の例では、当該設定距離がＲであり、ステップＳ５０４では、人物Ｘとして（１）が付された人物が抽出され、人物Ｙとして（２）、（３）が付された人物が抽出されたものと仮定する。なお、当該設定距離Ｒについては、（Ａ）に示す「対人距離閾値設定情報」を入力することで、ユーザー設定処理が適宜可能とされている。これにより、オフィス事情に応じた人物関係の抽出を行うことが可能となる。

【0070】

ステップＳ５０５では、人物Ｙが１人以上であるか否かが判定される。ステップＳ５０５の判定がＮＯであると、ステップＳ５０６に進み、オフィスレイアウトデータベース２５０が参照され、続いてステップＳ５０７では、人物Ｘと人物Ｙとの間に遮蔽物が存在しないかが判定される。

【0071】

ステップＳ５０７の判定がＮＯである場合には、人物Ｘと人物Ｙとの間にオフィス什器などの遮蔽物が存在し、コミュニケーションを行うことが不可能であるものと判断し、ステップＳ５０８の会話記録作成サブルーチンはスキップして、ステップＳ５０９に進む。図８の例では、人物Ｘが（１）で、人物Ｙが（３）であるようなケースである。

【0072】

一方、ステップＳ５０７の判定がＹＥＳである場合には、人物Ｘと人物Ｙとの間にオフィス什器などの遮蔽物が存在せず、コミュニケーションが可能であるものと判断し、ステップＳ５０８の会話記録作成サブルーチンを実行する。図８の例では、人物Ｘが（１）で、人物Ｙが（２）であるようなケースである。ここで、ステップＳ５０８の会話記録作成サブルーチンについては、第１実施形態と同様のものを用いることができる。

【0073】

さて、ステップＳ５０５の判定がＹＥＳであると、ステップＳ５０９に進み、全ての人物Ｙが抽出されるまで、ステップＳ５１１→ステップＳ５０６をループする。一方、ステップＳ５０９で全ての人物Ｙについての抽出が終了されたものと判定されると、続いて、ステップＳ５１０に進む。

【0074】

ステップＳ５１０では、全てのＸについて抽出されたかが判定される。ステップＳ５１０の判定がＮＯであると、ステップＳ５１２→ステップＳ５０３→・・の順でループし、ステップＳ５１０の判定がＹＥＳであると、ステップＳ５１３に進み、処理を終了する。

【0075】

以上のような第２実施形態に係る人物関係抽出システム１は、音源定位部で特定された座標（ステップＳ５０１）と人物・位置特定部で特定された座標（ステップＳ５０３）とに基づいて、音を発した人物を特定し（ステップＳ５０３）、特定された音を発した人物から、設定距離内の人物を抽出し（ステップＳ５０４）、これらの人物の間で会話がなされたものとして会話記録を作成する（ステップＳ５０８）ので、第２実施形態に係る人物関係抽出システム１によれば、特定の区画に拘束されることなく、会話記録を作成することができ、区画を跨って交わされる会話の抽出が可能となるし、また、区画内の会話に参加していない人物が抽出されてしまう確率を低減できる。

【符号の説明】

【0076】

１・・・人物関係抽出システム
１００・・・制御部
１１０、１１０_ｎ（ｎは自然数）・・・区画用マイクロフォン
１１５、１１５_ｍ（ｍは自然数）・・・マイクロフォンアレイ
１２０、１２０_ｐ（ｐは自然数）・・・撮像部
１３０、１３０_ｑ（ｑは自然数）・・・無線通信部
１５０、１５０_ｒ（ｒは自然数）・・・ビーコン発信源（スマートフォン）
２１０・・・第１人物データベース
２２０・・・第２人物データベース
２５０・・・オフィスレイアウトデータベース
２８０・・・人物関係データ記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】