特許 6876483 管理システム、行動認識装置、および、管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6876483

(24)【登録日】2021年4月28日

(45)【発行日】2021年5月26日

(54)【発明の名称】管理システム、行動認識装置、および、管理方法

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20210517BHJP

   G06T 7/70 20170101ALI20210517BHJP

   G06T 7/215 20170101ALI20210517BHJP

   G06F 3/01 20060101ALI20210517BHJP

   G10L 15/10 20060101ALI20210517BHJP

【ＦＩ】

   G06Q50/10

   G06T7/70 B

   G06T7/215

   G06F3/01 570

   G06F3/01 510

   G10L15/10 500Z

【請求項の数】11

【全頁数】31

(21)【出願番号】特願2017-66328(P2017-66328)

(22)【出願日】2017年3月29日

(65)【公開番号】特開2018-169788(P2018-169788A)

(43)【公開日】2018年11月1日

【審査請求日】2020年3月25日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２８年度、総務省、自律型モビリティシステムの共通プラットフォーム構築に関する研究開発の委託事業、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000005821

【氏名又は名称】パナソニック株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】特許業務法人 大島特許事務所

(72)【発明者】

【氏名】加藤 邦弘

【審査官】 渡邉 加寿磨

(56)【参考文献】

【文献】 特開２０１４−５２７７０（ＪＰ，Ａ）

【文献】 特表２０１６−５２４１８９（ＪＰ，Ａ）

【文献】 特開２０１３−１４９０５０（ＪＰ，Ａ）

【文献】 特開２０１５−２４７７（ＪＰ，Ａ）

【文献】 特開２００１−１１８１４７（ＪＰ，Ａ）

【文献】 特開２００４−１１４１７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００−９９／００

Ｇ１６Ｈ １０／００−８０／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｔ ７／２１５

Ｇ０６Ｔ ７／７０

Ｇ０７Ｇ １／０１

Ｇ０９Ｇ ５／００

Ｇ１０Ｌ １５／１０

Ｈ０４Ｎ ７／／１８

(57)【特許請求の範囲】

【請求項1】

多言語が利用される場所である対象領域をカメラにより撮像した撮像画像から人物を検出し、前記人物の言語行動に基づき前記人物の利用言語を判定する行動認識装置と、
複数の前記行動認識装置のうち少なくとも１つの前記行動認識装置から、前記撮像画像から検出された人物の人物画像およびその人物の利用言語を示す情報を取得して記憶し、
前記少なくとも１つの前記行動認識装置とは別の行動認識装置から照合対象人物の人物画像を受信したときに、前記照合対象人物の人物画像を前記記憶した人物画像と照合し、
一致する場合には、前記記憶した人物画像の人物の利用言語を示す情報を前記別の行動認識装置に送信する人物照合装置と
を備えたことを特徴とする管理システム。

【請求項2】

多言語が利用される場所である対象領域をカメラにより撮像した撮像画像から人物を検出し、前記人物の言語行動に基づき前記人物の利用言語を判定する行動認識装置を備え、
前記行動認識装置は、さらに、前記撮像画像から検出された人物の追跡結果に基づき人物のグループを判定し、前記グループにおいて利用言語が判明している人物の利用言語を、前記グループ内の利用言語が不明な人物の利用言語であると判定することを特徴とする管理システム。

【請求項3】

前記対象領域内に配置され、互いに異なる言語がそれぞれ表示される複数の表示領域を有する多言語掲示板をさらに備え、
前記行動認識装置は、前記撮像画像から前記人物の視線方向を検出するとともに、前記視線方向に基づき前記複数の表示領域のうちの前記人物が注視している表示領域を特定し、特定された前記表示領域に表示されている言語を前記人物の利用言語として判定することを特徴とする請求項１または請求項２に記載の管理システム。

【請求項4】

前記対象領域内に配置され、多言語で操作可能な多言語キオスクをさらに備え、
前記行動認識装置は、前記人物が前記多言語キオスクを操作するときに使用した言語を前記人物の利用言語として判定することを特徴とする請求項１ないし請求項３のいずれかに記載の管理システム。

【請求項5】

前記対象領域内に配置されたマイクをさらに備え、
前記行動認識装置は、前記マイクにより集音された前記人物の音声に基づき、前記人物の利用言語を判定することを特徴とする請求項１ないし請求項４のいずれかに記載の管理システム。

【請求項6】

前記対象領域において、多言語の情報を音声出力する音声出力装置をさらに備え、
前記音声出力装置は、前記対象領域で使用されている利用言語の割合を示す言語割合情報に基づいて決定された種類および順番の少なくとも一つにしたがって、前記多言語を音声出力することを特徴とする請求項１ないし請求項５のいずれかに記載の管理システム。

【請求項7】

前記対象領域において、多言語の情報を表示出力するディスプレイをさらに備え、
前記ディスプレイは、前記対象領域で使用されている利用言語の割合を示す言語割合情報に基づいて決定された種類および出力する順番の少なくとも一つにしたがって、前記多言語を表示出力することを特徴とする請求項１ないし請求項５のいずれかに記載の管理システム。

【請求項8】

前記行動認識装置から前記利用言語を示す情報を取得し、前記言語割合情報を生成する言語割合管理サーバをさらに備えたことを特徴とする請求項６または請求項７に記載の管理システム。

【請求項9】

多言語が利用される場所である対象領域を撮像した撮像画像を取得する画像取得部と、
前記撮像画像から人物を検出する人物検出部と、
前記人物の言語行動に基づき前記人物の利用言語を判定する利用言語判定部と
を備え、
前記利用言語判定部は、さらに、前記撮像画像から検出された人物の追跡結果に基づき人物のグループを判定し、前記グループにおいて利用言語が判明している人物の利用言語を、前記グループ内の利用言語が不明な人物の利用言語であると判定することを特徴とする行動認識装置。

【請求項10】

行動認識装置と人物照合装置とを備えるシステムによる管理方法であって、
前記行動認識装置が、多言語が利用される場所である対象領域をカメラにより撮像した撮像画像を取得するステップと、
前記行動認識装置が、前記撮像画像から人物を検出するステップと、
前記行動認識装置が、前記人物の言語行動に基づき前記人物の利用言語を判定するステップと、
前記人物照合装置が、複数の前記行動認識装置のうち少なくとも１つの前記行動認識装置から、前記撮像画像から検出された人物の人物画像およびその人物の利用言語を示す情報を取得して記憶するステップと、
前記人物照合装置が、前記少なくとも１つの前記行動認識装置とは別の行動認識装置から照合対象人物の人物画像を受信したときに、前記照合対象人物の人物画像を前記記憶した人物画像と照合し、一致する場合には、前記記憶した人物画像の人物の利用言語を示す情報を前記別の行動認識装置に送信するステップと
を有することを特徴とする管理方法。

【請求項11】

行動認識装置による管理方法であって、
多言語が利用される対象領域をカメラにより撮影した撮像画像を取得するステップと、
前記撮像画像から人物を検出し、前記人物の言語行動に基づき前記人物の利用言語を判定するステップと、
前記撮像画像から検出された人物の追跡結果に基づき人物のグループを判定し、前記グループにおいて利用言語が判明している人物の利用言語を、前記グループ内の利用言語が不明な人物の利用言語とするステップと
を有することを特徴とする管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多言語が利用される場所における利用言語の割合を管理するための言語割合管理システムおよび言語割合管理方法に関する。

【背景技術】

【0002】

従来、テーマパーク等の娯楽施設への入場者（人物）に対して各種言語によるサービス情報を提供することを目的として、各人物を識別するための識別情報とその人物の利用言語を示す言語情報とを予め関連付けて記憶しておき、各人物に対してその人物の利用言語でサービス情報を提供する技術が提案されている（特許文献１参照）。この特許文献１の従来技術では、人物の識別情報は、その人物に所持させた無線タグに記憶させている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４‐３５５０８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば空港や観光地等の多言語が利用される場所では、連絡や案内等の各種情報を多言語（複数の言語）で放送することが求められている。そして、多言語で放送するときは、多言語を放送する放送領域で使用されている利用言語を、その放送領域における利用言語の割合に応じた順番で放送することが望ましい。

【0005】

しかしながら、上記の特許文献１の技術では、各人物の識別情報と言語情報とを予め関連付けて記憶しておく必要があるため、空港や観光地等の不特定多数の人物が出入りする場所では、放送領域で使用されている利用言語を判定することはできなかった。また、上記の特許文献１の技術では、各人物の利用言語を特定することはできるものの、放送領域で使用されている利用言語や放送領域における利用言語の割合を管理することはできなかった。なお、利用言語の割合の管理とは、対象領域で使用されている利用言語の認識、および対象領域における利用言語の割合の把握を含む。

【0006】

本開示は、このような従来技術の課題を鑑みて案出されたものであり、不特定多数の人物が出入りする場所において人物の利用言語を判定することを可能とする管理システム、行動認識装置、および、管理方法を提供することを主目的とする。多言語が利用される場所における利用言語の割合を管理することを可能とする管理システムおよび管理方法を提供することを他の目的とする。

【課題を解決するための手段】

【0007】

本開示の管理システムは、多言語が利用される場所である対象領域をカメラにより撮像した撮像画像から人物を検出し、前記人物の言語行動に基づき前記人物の利用言語を判定する行動認識装置と、複数の前記行動認識装置のうち少なくとも１つの前記行動認識装置から、前記撮像画像から検出された人物の人物画像およびその人物の利用言語を示す情報を取得して記憶する人物照合装置とを備え、前記人物照合装置は、さらに、前記少なくとも１つの前記行動認識装置とは別の行動認識装置から照合対象人物の人物画像を受信したときに、前記照合対象人物の人物画像を前記記憶した人物画像と照合し、一致する場合には、前記記憶した人物画像の人物の利用言語を示す情報を前記別の行動認識装置に送信することを特徴とする。
また、本開示の管理システムは、多言語が利用される場所である対象領域をカメラにより撮像した撮像画像から人物を検出し、前記人物の言語行動に基づき前記人物の利用言語を判定する行動認識装置を備え、前記行動認識装置は、さらに、前記撮像画像から検出された人物の追跡結果に基づき人物のグループを判定し、前記グループにおいて利用言語が判明している人物の利用言語を、前記グループ内の利用言語が不明な人物の利用言語であると判定することを特徴とする。

【発明の効果】

【0008】

本開示によれば、不特定多数の人物が出入りする場所において人物の利用言語を判定することが可能となる。

【図面の簡単な説明】

【0009】

【図1】本開示の第１実施形態に係る言語割合管理システムの概略構成を示す模式図

【図2】第１実施形態に係る言語割合管理システムの変形例を示す図

【図3】多言語掲示板の機能ブロック図

【図4】（ａ）は表示部の複数の領域の一例を示す図、（ｂ）は表示言語情報の一例を示す図

【図5】行動認識装置の機能ブロック図

【図6】人物情報管理テーブルの一例を示す図

【図7】言語判定テーブルの一例を示す図

【図8】言語割合管理サーバの機能ブロック図

【図9】言語割合管理テーブルの一例を示す図

【図10】言語割合情報の一例を示す図

【図11】館内放送装置の機能ブロック図

【図12】領域情報テーブルの一例を示す図

【図13】フロアマップの一例を示す図

【図14】言語割合取得領域の設定画面を示す図

【図15】多言語再生順序の設定画面を示す図

【図16】言語割合取得領域設定テーブルの一例を示す図

【図17】多言語再生順序設定テーブルの一例を示す図

【図18】第１実施形態に係る行動認識装置における一連の処理を示すフロー図

【図19】行動認識装置での人物位置情報更新処理を説明するためのフロー図

【図20】行動認識装置での利用言語判定処理を説明するためのフロー図

【図21】本開示の第２実施形態に係る言語割合管理システムの概略構成を示す模式図

【図22】多言語案内ロボットの機能ブロック図

【図23】多言語案内ロボットの言語割合取得領域の一例を示す図

【図24】多言語案内ロボットでの多言語案内処理を説明するためのフロー図

【図25】本開示の第３実施形態に係る言語割合管理システムの概略構成を示す模式図

【図26】多言語キオスクの機能ブロック図

【図27】第３実施形態に係る行動認識装置の機能ブロック図

【図28】第３実施形態に係る行動認識装置での利用言語判定処理を説明するためのフロー図

【図29】本開示の第４実施形態に係る言語割合管理システムの概略構成を示す模式図

【図30】人物照合装置の機能ブロック図

【図31】人物言語テーブルの一例を示す図

【図32】第４実施形態に係る行動認識装置の機能ブロック図

【図33】第４実施形態に係る行動認識装置での人物位置情報更新処理を説明するためのフロー図

【図34】第４実施形態に係る行動認識装置での利用言語判定処理を説明するためのフロー図

【図35】人物照合装置での照合処理を説明するためのフロー図

【図36】本開示の第５実施形態に係る言語割合管理システムの概略構成を示す模式図

【図37】第５実施形態に係る行動認識装置の機能ブロック図

【図38】第５実施形態に係る人物情報管理テーブルの一例を示す図

【図39】第５実施形態に係る行動認識装置での一連の処理を示すフロー図

【図40】第５実施形態に係る行動認識装置でのグループ判定処理を説明するためのフロー図

【図41】本開示の第６実施形態に係る言語割合管理システムの概略構成を示す模式図

【図42】第６実施形態に係る行動認識装置の機能ブロック図

【図43】第６実施形態に係る行動認識装置での利用言語判定処理を説明するためのフロー図

【発明を実施するための形態】

【0010】

上記課題を解決するためになされた第１の発明は、多言語が利用される場所における利用言語の割合を管理するための言語割合管理システムであって、利用言語の割合を管理したい対象領域を撮像するカメラと、前記カメラの撮像画像から人物を検出して追跡するとともに、前記人物の言語行動に基づき前記人物の利用言語を判定する行動認識装置と、前記行動認識装置から前記利用言語を示す情報を取得して記憶することにより、前記対象領域で使用されている利用言語の割合を管理する言語割合管理サーバとを備えたことを特徴とする。

【0011】

この第１の発明に係る言語割合管理システムによれば、対象領域で使用されている利用言語の割合を言語割合管理サーバで記憶して管理することができる。これにより、多言語が利用される場所における利用言語の割合を管理することが可能となる。なお、利用言語の割合の管理とは、対象領域で使用されている利用言語の認識、および対象領域における利用言語の割合の把握を含む。

【0012】

また、第２の発明は、上記第１の発明において、前記対象領域内に配置され、互いに異なる言語がそれぞれ表示される複数の表示領域を有する多言語掲示板をさらに備え、前記行動認識装置は、前記撮像画像から前記人物の視線方向を検出するとともに、前記視線方向に基づき前記複数の表示領域のうちの前記人物が注視している表示領域を特定し、特定された前記表示領域に表示されている言語を前記人物の利用言語として判定することを特徴とする。

【0013】

この第２の発明に係る言語割合管理システムによれば、多言語掲示板の表示領域を視認するという人物の言語行動に基づき、その人物の利用言語を判定することができる。これにより、不特定多数の人物が出入りする場所において人物の利用言語を判定することが可能となる。

【0014】

また、第３の発明は、上記第１の発明または第２の発明において、前記対象領域内に配置され、多言語で操作可能な多言語キオスクをさらに備え、前記行動認識装置は、前記人物が前記多言語キオスクを操作するときに使用した言語を前記人物の利用言語として判定することを特徴とする。

【0015】

この第３の発明に係る言語割合管理システムによれば、多言語キオスクを操作するという人物の言語行動に基づき、その人物の利用言語を判定することができる。これにより、不特定多数の人物が出入りする場所において人物の利用言語を判定することが可能となる。

【0016】

また、第４の発明は、上記第１の発明ないし第３の発明のいずれかにおいて、前記対象領域内に配置されたマイクをさらに備え、前記行動認識装置は、前記マイクにより集音された前記人物の音声に基づき、前記人物の利用言語を判定することを特徴とする。

【0017】

この第４の発明に係る言語割合管理システムによれば、発話という人物の言語行動に基づき、その人物の利用言語を判定することができる。これにより、不特定多数の人物が出入りする場所において人物の利用言語を判定することが可能となる。

【0018】

また、第５の発明は、上記第１の発明ないし第４の発明のいずれかにおいて、前記対象領域に対して多言語の音声情報を音声出力する館内放送装置をさらに備え、前記館内放送装置は、前記対象領域で使用されている利用言語の割合を示す言語割合情報を前記言語割合管理サーバに問い合わせて取得し、前記言語割合情報に基づき、音声出力する多言語の種類およびその多言語を音声出力する順番を決定することを特徴とする。

【0019】

この第５の発明に係る言語割合管理システムによれば、館内放送装置が音声出力する多言語の種類およびその多言語を音声出力する順番を、対象領域で使用されている利用言語の割合を示す言語割合情報に基づき決定することが可能となる。

【0020】

また、第６の発明は、上記第１の発明ないし第５の発明において、前記対象領域において多言語の情報を出力する多言語案内ロボットをさらに備え、前記多言語案内ロボットは、前記対象領域で使用されている利用言語の割合を示す言語割合情報を前記言語割合管理サーバに問い合わせて取得し、前記言語割合情報に基づき、出力する多言語の種類およびその多言語を出力する順番を決定することを特徴とする。

【0021】

この第６の発明に係る言語割合管理システムによれば、多言語案内ロボットが出力する多言語の種類およびその多言語を出力する順番を、対象領域で使用されている利用言語の割合を示す言語割合情報に基づき決定することが可能となる。

【0022】

また、第７の発明は、上記第１の発明ないしの第６の発明において、複数の前記行動認識装置間で、前記撮像画像から検出された人物を照合するための人物照合装置をさらに備え、前記人物照合装置は、少なくとも１つの前記行動認識装置から、前記撮像画像から検出された人物の人物画像およびその人物の利用言語を示す情報を取得して予め記憶しておき、前記少なくとも１つの前記行動認識装置とは別の行動認識装置から照合対象人物の人物画像を受信したときに、前記照合対象人物の人物画像を前記予め記憶した人物画像と照合し、一致する場合には、前記予め記憶した人物画像の人物の利用言語を示す情報を前記別の行動認識装置に送信することを特徴とする。

【0023】

この第７の発明に係る言語割合管理システムによれば、複数の行動認識装置間で、撮像画像から検出された人物を照合することができるので、複数の行動認識装置間で、人物の利用言語を示す情報を共有することが可能となる。

【0024】

また、第８の発明は、上記第１の発明ないしの第７の発明において、前記撮像画像から検出された人物の追跡結果に基づき人物のグループを判定し、前記グループにおいて利用言語が判明している人物の利用言語を、前記グループ内の利用言語が不明な人物の利用言語とすることを特徴とする。

【0025】

この第８の発明に係る言語割合管理システムによれば、グループにおいて少なくとも１人の利用言語が判明した場合に、その利用言語をそのグループ内の利用言語が不明な利用言語とすることが可能となる。

【0026】

また、第９の発明は、多言語が利用される場所における利用言語の割合を管理するための言語割合管理方法であって、利用言語の割合を管理したい対象領域をカメラにより撮像するステップと、前記カメラの撮像画像から人物を検出して追跡するとともに、前記人物の言語行動に基づき前記人物の利用言語を判定するステップと、前記利用言語を示す情報を記憶することにより、前記対象領域で使用されている利用言語の割合を管理するステップとを有することを特徴とする。

【0027】

この第９の発明に係る言語割合管理方法によれば、対象領域で使用されている利用言語の割合を記憶して管理することができる。これにより、多言語が利用される場所における利用言語の割合を管理することが可能となる。

【0028】

以下、本開示の実施形態について、図面を参照しながら説明する。

【0029】

（第１実施形態）
図１は、本開示の第１実施形態に係る言語割合管理システム１の概略構成を示す模式図である。図１に示すように、言語割合管理システム１は、多言語掲示板２、カメラ３、行動認識装置４、言語割合管理サーバ５と、館内放送装置６とを主として備えている。行動認識装置４は、専用通信回線またはインターネット等の通信ネットワークを介して、多言語掲示板２、カメラ３、および言語割合管理サーバ５に接続されている。また、言語割合管理サーバ５は、専用通信回線またはインターネット等の通信ネットワークを介して、館内放送装置６に接続されている。

【0030】

本実施形態では、言語割合管理システム１を、空港や駅等の施設に適用した場合について説明する。なお、本開示に係る言語割合管理システム１は、空港や駅等以外にも、ショッピングセンターや観光地等の様々な対象に適用可能である。

【0031】

図２は、言語割合管理システム１の変形例を示す図である。図２に示すように、言語割合管理システム１は、多言語掲示板２、カメラ３、行動認識装置４を複数備えていてもよい。図２の例では、多言語掲示板２、カメラ３、行動認識装置４をそれぞれ２つずつ備えており、行動認識装置４Ａには多言語掲示板２Ａおよびカメラ３Ａが接続され、行動認識装置４Ｂには多言語掲示板２Ｂおよびカメラ３Ｂが接続されている。そして、行動認識装置４Ａおよび行動認識装置４Ｂは、言語割合管理サーバ５に接続されている。

【0032】

多言語掲示板２は、公知の構成を有する電光掲示板であり、空港や駅等の施設のフロアＦの適所に配置されている。そして、多言語掲示板２は、図示しない情報管理センター等からの命令に基づき、フロアＦに存在する人物Ｈに対して、連絡や案内等の各種情報を多言語で表示して提供する。

【0033】

図３は、多言語掲示板２の機能ブロック図である。図３に示すように、多言語掲示板２は、連絡や案内等の各種情報を多言語によりそれぞれ表示する複数の領域を有する表示部１１（図４（ａ）参照）と、表示部１１の各領域の表示を管理する表示管理部１２と、表示部１１の各領域で表示されている言語を示す表示言語情報を行動認識装置４に通知する表示言語提供部１３とを有している。表示部１１は、例えばＬＥＤパネルや液晶パネル表示部等から構成される。

【0034】

図４（ａ）は、表示部１１の複数の領域の一例を示す図であり、図４（ｂ）は、表示言語情報の一例を示す図である。図４（ａ）の例では、表示部１１は、日本語による案内を表示する領域１、英語による案内を表示する領域２、中国語による案内を表示する領域３の３つの領域を有している。したがって、この場合の表示言語情報は、「領域１が日本語、領域２が英語、領域３が中国語」となる。

【0035】

カメラ３は、公知の撮像機能や通信機能を有する撮像装置であり、多言語掲示板２の近傍の壁や天井等に設置され、多言語掲示板２の周辺の予め定められた撮像領域（対象領域）を静止画像または動画像として時系列に撮像する。カメラ３の撮像画像（静止画像または動画像）は、行動認識装置４に適宜送信される。なお、カメラ３は、予め定められた撮像領域を撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。

【0036】

行動認識装置４は、公知の構成を有するコンピュータからなり、カメラ３の撮像画像から人物を検出して追跡するとともに、その人物の言語行動に基づきその人物の利用言語を判定する。言語行動とは、人物が、言語を利用して、各種情報を読んだり、書いたり（タッチパネル等を介した入力を含む）、話したり、聞いたりする行動のことである。

【0037】

図５は、行動認識装置４の機能ブロック図である。図５に示すように、行動認識装置４は、カメラ３から撮像画像を取得する画像取得部２１と、撮像画像から人物を検出する人物検出部２２と、撮像画像中における人物領域（以降、「画像人物領域」とも称する）をフロアＦの地図データであるフロアマップの位置座標に変換する位置座標変換部２３と、撮像画像（現フレーム画像）から検出された人物が前フレーム画像で検出された人物と同一であるか否かを判定する同一人物判定部２４と、言語割合管理サーバ５と接続する言語割合管理サーバ接続部２５と、画像取得部２１が取得した撮像画像および後述する人物情報管理テーブルを格納する記憶部２６とを有している。撮像画像は、前フレーム画像（前画像）または現フレーム画像（現画像）として、記憶部２６に格納される。

【0038】

また、行動認識装置４は、多言語掲示板２と接続する多言語掲示板接続部２７、撮像画像から検出された人物の視線方向を該撮像画像から検出する視線方向検出部２８と、視線方向検出部２８で検出された人物の視線方向および多言語掲示板２から取得した表示言語情報に基づきその人物の利用言語を判定する利用言語判定部２９と、利用言語判定部２９に接続された言語判定テーブル３０とを有している。視線方向検出部２８は、撮像画像から人物の顔の向きを検出し、検出された顔の向きをその人物の視線方向とする。利用言語判定部２９は、各フレーム画像における判定結果を言語判定テーブル３０に記録し、記録された判定結果に基づき人物の利用言語を判定する。

【0039】

図６は、人物情報管理テーブルの一例を示す図である。図６に示すように、人物情報管理テーブルには、人物ＩＤに紐付けて、人物検出部２２で検出された人物の画像人物領域、位置座標変換部２３で変換された位置座標、利用言語判定部２９で判定された利用言語が記録されている。

【0040】

図７は、言語判定テーブル３０の一例を示す図である。図７に示すように、言語判定テーブル３０には、人物ＩＤに紐付けて、人物が多言語掲示板２を注視した領域である着目領域と、連続するフレームにおいてその着目領域を連続して注視した回数である継続回数が記録されている。

【0041】

言語割合管理サーバ５は、公知の構成を有するサーバからなり、行動認識装置４から人物の位置座標と利用言語を含む人物情報を取得して言語割合管理テーブル（図９参照）に記憶することにより、カメラ３の撮像領域（対象領域）で使用されている利用言語の割合を管理する。なお、利用言語の割合の管理とは、対象領域で使用されている利用言語の認識、および対象領域における利用言語の割合の把握を含む。

【0042】

図８は、言語割合管理サーバ５の機能ブロック図である。図８に示すように、言語割合管理サーバ５は、行動認識装置４（４Ａ、４Ｂ）から人物情報を受信する人物情報受信部３１と、言語割合管理テーブルを格納する記憶部３２と、館内放送装置６から、対象領域で使用されている利用言語の割合についての問い合わせを受信したときに、その問い合わせに応じた言語割合情報を作成する言語割合管理部３３と、館内放送装置６からの問い合わせの受信、および言語割合管理部３３で作成した言語割合情報の館内放送装置６への送信を行う言語割合送出部３４とを有している。上述したように、言語割合管理システム１は、複数の行動認識装置４を備えていてもよい。図８に示す言語割合管理サーバ５は、２つの行動認識装置４Ａ、４Ｂから人物情報を取得して管理している。

【0043】

図９は、言語割合管理テーブルの一例を示す図である。図９に示すように、言語割合管理テーブルは、行動認識装置４に対して付与した装置ＩＤに紐付けて、撮像画像中における人物領域（画像人物領域）をフロアマップの位置座標に変換した位置座標と、人物の利用言語とを記憶している。図９の例では、行動認識装置４Ａに、装置ＩＤ「１」が付与され、行動認識装置４Ｂに装置ＩＤ「２」が付与されている。

【0044】

図１０は、言語割合管理サーバ５で作成する言語割合情報の一例を示す図である。言語割合情報は、館内放送装置６から問い合わせられた対象領域に含まれている位置座標に対応する利用言語を集計して作成する。図１０の例では、対象領域の利用言語の割合は、英語が２０人、日本語が１１人、中国語が２３人、韓国語が３人、不明が１５人となっている。なお、図１０の例では、利用言語の割合を人数で表したが、パーセンテージで表すようにしてもよい。また、予め定められた閾値以下の言語を足切りするようにしてもよい。

【0045】

館内放送装置６は、公知の構成を有する放送装置であり、対象領域に対して多言語の音声情報（連絡や案内等の各種情報）を音声出力する。

【0046】

図１１は、館内放送装置６の機能ブロック図である。図１１に示すように、館内放送装置６は、館内放送装置６のユーザが音声を入力する音声入力部４１と、ユーザが入力した音声を認識する音声認識部４２と、言語割合管理サーバ５に問い合わせて対象領域の言語割合情報を取得する言語割合取得部４３と、ユーザが入力した音声を言語割合情報に基づき決定された多言語に翻訳する翻訳部４４と、翻訳された多言語の合成音声を作成する音声合成部４５と、作成された合成音声を音声出力（再生）する音声出力部４６とを有している。

【0047】

また、館内放送装置６は、言語割合管理サーバ５に問い合わせて言語割合情報を取得する領域（すなわち対象領域）である言語割合取得領域および多言語の再生順序を設定するための表示入力パネル４７と、表示入力パネル４７で設定された言語割合取得領域および多言語再生順序をそれぞれ記憶する言語割合取得領域設定テーブルおよび多言語再生順序設定テーブルを格納した記憶部４８とを有している。また、記憶部４８には、言語割合取得領域の候補を予め記憶した領域情報テーブルが格納されている。

【0048】

図１２は、館内放送装置６の記憶部４８に記憶される領域情報テーブルの一例を示す図である。図１３は、フロアＦの地図データであるフロアマップの一例を示す図である。図１３の例では、フロアＦには、２つの多言語掲示板２Ａ、２Ｂ（以降、単に、「掲示板Ａ」、「掲示板Ｂ」とも称する）が設けられている。この場合、領域情報テーブルは、「フロア全体」、「掲示板Ａ周辺」、および「掲示板Ｂ周辺」の３つの領域を示す領域名と、各々の領域を特定する領域情報とを、言語割合取得領域（対象領域）の候補として予め記憶している。

【0049】

図１４は、館内放送装置６のユーザが、言語割合取得領域を設定する設定画面を示す図である。図１４の例では、言語割合取得領域としてフロア全体が選択され設定されている。したがって、この場合は、館内放送装置６は、フロア全体についての言語割合情報を、言語割合管理サーバ５に問い合わせて取得する。

【0050】

図１５は、館内放送装置６のユーザが、多言語再生順序を設定する設定画面を示す図である。図１５の例では、再生順序の１番目は日本語、２番目は英語、３番目は言語割合情報における割合１位の言語、４番目は言語割合情報における割合２位の言語、５番目と６番目は未選択（無し）と設定されている。したがって、図１５の例では、再生順序の１番目から４番目までの４つの言語で音声情報が再生される。なお、言語割合情報における割合１位の言語および割合２位の言語は、事前に１番目、２番目として設定された日本語と英語以外の言語における割合１位の言語と割合２位の言語とするとよい。

【0051】

図１６は、館内放送装置６の記憶部４８に記憶される言語割合取得領域設定テーブルの一例を示す図である。言語割合取得領域設定テーブルには、図１４に示した言語割合取得領域の設定画面で設定された言語割合取得領域が記録される。図１６の例では、言語割合取得領域は「フロア全体」であると記憶されている。

【0052】

図１７は、館内放送装置６の記憶部４８に記憶される多言語再生順序設定テーブルの一例を示す図である。多言語再生順序テーブルには、図１５に示した多言語再生順序の設定画面で設定された再生順序が記録されている。図１７の例では、再生順序は、「１番目は日本語、２番目は英語、３番目は言語割合情報における割合１位の言語、４番目は言語割合情報における割合２位の言語」であると記憶されている。

【0053】

図１８は、第１実施形態に係る行動認識装置４における一連の処理を示すフロー図である。

【0054】

まず、ステップＳＴ１０１では、カメラ３から、多言語掲示板２の周辺の予め定められた撮像領域（対象領域）の撮像画像を取得し、現フレーム画像（現画像）として、記憶部２６に格納する。

【0055】

次に、ステップＳＴ１０２では、撮像画像に基づき、人物情報管理テーブル（図６参照）の画像人物領域および位置座標を更新する人物位置情報更新処理を行う。この人物位置情報更新処理の詳細は、図１９のフロー図を参照して後述する。

【0056】

続いて、ステップＳＴ１０３では、撮像画像から検出された人物の利用言語を判定する利用言語判定処理を行う。この利用言語判定処理の詳細は、図２０のフロー図を参照して後述する。

【0057】

次に、ステップＳＴ１０４では、言語割合管理サーバ５の言語割合管理テーブル（図９参照）に記憶されている人物情報（位置座標および利用言語）の更新処理を行う。具体的には、記憶部２６に格納されている人物情報管理テーブル（図６参照）に記憶されている人物情報（位置座標および利用言語）を言語割合管理サーバ５に送信し、言語割合管理サーバ５の言語割合管理テーブルに記憶されている人物情報を更新するか、または言語割合管理テーブルに追加して記録する。

【0058】

そして、ステップＳＴ１０５では、撮像画像を前フレーム画像として記憶部２６に格納し、その後、ステップＳＴ１０１に戻る。

【0059】

図１９は、行動認識装置４での人物位置情報更新処理（図１８のステップＳＴ１０２）を説明するためのフロー図である。

【0060】

まず、ステップＳＴ２０１では、現フレーム画像から人物領域（画像人物領域）を検出する。現フレーム画像からの人物領域の検出は、人物の特徴量に基づく手法等の公知の手法を用いて行うとよい。

【0061】

次に、ステップＳＴ２０２では、人物領域（画像人物領域）を、フロアＦの地図データであるフロアマップの位置座標に変換する。具体的には、人物領域の中心または重心の座標を位置座標とするとよい。

【0062】

続いて、ステップＳＴ２０３では、現フレーム画像で検出された人物が、前フレーム画像に存在するか否かを判定する。この判定は、上記のステップＳＴ２０１の場合と同様に、人物の特徴量に基づく手法等の公知の手法を用いて行うとよい。前フレーム画像に同一人物が存在すると判定された場合（ステップＳＴ２０３：Ｙｅｓ）はステップＳＴ２０４に進み、前フレーム画像に同一人物が存在しないと判定された場合（ステップＳＴ２０３：Ｎｏ）はステップＳＴ２０５に進む。

【0063】

ステップＳＴ２０４では、記憶部２６に格納されている人物情報管理テーブル（図６参照）における該当人物ＩＤの位置座標と画像人物領域を更新し、その後、ステップＳＴ２０６に進む。

【0064】

ステップＳＴ２０５では、人物情報管理テーブルに人物ＩＤを追加し、その追加した人物ＩＤに紐付けて画像人物領域および位置座標を記録し、その後、ステップＳＴ２０６に進む。

【0065】

ステップＳＴ２０６では、人物情報管理テーブルにおける更新されていない人物ＩＤを削除し、処理を終了する。これにより、現フレーム画像において存在しない人物の人物情報は削除される。上記のステップＳＴ２０２−２０５は、現フレーム画像から検出された人物領域毎に繰り返される。

【0066】

図２０は、行動認識装置４での利用言語判定処理（図１８のステップＳＴ１０３）を説明するためのフロー図である。以下の処理は、上記の人物位置情報更新処理で更新または追加された人物ＩＤ毎に繰り返される。

【0067】

まず、ステップＳＴ３０１では、現フレーム画像から、人物の視線方向を検出する。具体的には、現フレーム画像の画像人物領域から、統計的または非統計的識別器を用いる手法やテンプレートマッチングを用いる手法等の公知の手法を用いてその人物の顔領域を検出するとともに、顔領域から公知の手法を用いて顔特徴量を抽出する。そして、抽出された顔特徴量に基づき、予め用意した統計的または非統計的識別器を用いて顔の向きを検出し、検出された人物の顔の向きをその人物の視線方向とする。

【0068】

次に、ステップＳＴ３０２では、検出された人物の視線方向に基づき、多言語掲示板の表示部における着目領域を検出する。着目領域とは、人物が注視している領域のことである。

【0069】

続くステップＳＴ３０３では、着目領域が検出されたか否かを判定する。着目領域が検出されなかったと判定された場合（ステップＳＴ３０３：Ｎｏ）はステップＳＴ３０４に進み、着目領域が検出されたと判定された場合（ステップＳＴ３０３：Ｙｅｓ）はステップＳＴ３０５に進む。

【0070】

ステップＳＴ３０４では、着目領域が検出されなかったため、言語判定テーブル（図７参照）の着目領域を「無し」、継続回数を「０」に更新し、その後、処理を終了する。

【0071】

ステップＳＴ３０５では、着目領域が前フレーム画像と同一であるか否かを判定する。同一ではないと判定された場合（ステップＳＴ３０５：Ｎｏ）はステップＳＴ３０６に進み、同一であると判定された場合（ステップＳＴ３０５：Ｙｅｓ）はステップＳＴ３０７に進む。

【0072】

ステップＳＴ３０６では、新規の着目領域を追加し、その着目領域に紐付けて、継続回数「１」を記録し、その後、処理を終了する。

【0073】

ステップＳＴ３０７では、該当する着目領域の継続回数を「１」増加させる。

【0074】

続くステップＳＴ３０８では、継続回数が閾値以上になったか否かを判定する。閾値以上ではないと判定された場合（ステップＳＴ３０８：Ｎｏ）は処理を終了し、閾値以上であると判定された場合（ステップＳＴ３０８：Ｙｅｓ）はステップＳＴ３０９に進む。

【0075】

ステップＳＴ３０９では、その着目領域に対応する言語を、人物情報管理テーブルの利用言語の欄に記録し、その後、処理を終了する。領域に対応する言語は、表示言語情報（図４（ｂ）参照）に基づき判定する。これにより、人物の利用言語が判定される。

【0076】

次に、言語割合管理サーバ５の動作について説明する。

【0077】

言語割合管理サーバ５は、行動認識装置４から、人物の位置座標および利用言語を含む人物情報を受信すると、その人物情報を言語割合管理テーブル（図９参照）に記録する。上述したように、人物情報は、行動認識装置４の装置ＩＤに紐付けて記憶される。そして、館内放送装置６から、対象領域で使用されている利用言語の割合についての問い合わせを受信したときに、対象領域で使用されている利用言語の割合を示す言語割合情報（図１０参照）を作成し、館内放送装置６に送信する。

【0078】

次に、館内放送装置６の動作について説明する。

【0079】

まず、館内放送装置６のユーザは、館内放送装置６の表示入力パネル４７に表示した各設定画面（図１４および図１５参照）を操作して、言語割合取得領域および多言語再生順序を設定する。言語割合取得領域は、ユーザが、設定画面に表示された言語割合取得領域の候補から、所望する言語割合取得領域を選択することにより設定される。設定された言語割合取得領域は、言語割合取得領域設定テーブル（図１６参照）に記憶される。多言語再生順序は、ユーザが、設定画面を操作して再生順序を指定することにより設定される。設定された再生順序は、多言語再生順序設定テーブル（図１７参照）に記憶される。

【0080】

館内放送装置６は、対象領域（放送領域）に対して多言語の音声情報を音声出力するときは、対象領域の利用言語の割合を言語割合管理サーバ５に問い合わせて言語割合情報を取得し、取得した言語割合情報に基づき、音声出力する多言語の種類およびその多言語を音声出力する順番を決定する。これにより、対象領域で使用されている利用言語を、その対象領域における利用言語の割合に応じて放送することができる。

【0081】

以上のように、第１実施形態に係る言語割合管理システムによれば、対象領域で使用されている利用言語の割合を言語割合管理サーバ５で記憶して管理することにより、多言語が利用される場所における利用言語の割合を管理することが可能となる。

【0082】

また、第１実施形態に係る言語割合管理システムによれば、多言語掲示板２の表示領域を視認するという人物の言語行動に基づき、その人物の利用言語を判定することができる。これにより、不特定多数の人物が出入りする場所において人物の利用言語を判定することが可能となる。

【0083】

また、第１実施形態に係る言語割合管理システムによれば、館内放送装置６が音声出力する多言語の種類およびその多言語を音声出力する順番を、対象領域で使用されている利用言語の割合を示す言語割合情報に基づき決定することが可能となる。

【0084】

（第２実施形態）
次に、本開示の第２実施形態に係る言語割合管理システム１について説明する。なお、この第２実施形態では、以下で特に言及しない事項については、上述の第１実施形態の場合と同様とする。

【0085】

図２１は、第２実施形態に係る言語割合管理システム１の概略構成を示す模式図である。この第２実施形態は、館内放送装置６の代わりに多言語案内ロボット７を備えている点が、上記の第１実施形態と異なる。

【0086】

多言語案内ロボット７（以降、単に「ロボット７」と称する）は、現在位置を把握しながらフロアＦを自律走行し、予め記憶した多言語の案内音声（音声情報）を、ロボット７を中心とした予め定められた範囲の領域（対象領域）に対して音声出力する。音声出力する多言語の種類およびその多言語を放送する順番は、上記の館内放送装置６の場合と同様に、対象領域で使用されている利用言語の割合に基づき決定する。

【0087】

図２２は、多言語案内ロボット７の機能ブロック図である。図２２に示すように、多言語案内ロボット７は、該ロボット７を駆動する駆動部５１と、該ロボット７の現在位置を把握する現在位置把握部５２と、言語割合取得領域設定テーブル、多言語再生順序設定テーブル、および多言語の案内情報（音声情報や文字情報）を格納した記憶部５３と、言語割合管理サーバ５から言語割合情報を取得する言語割合取得部５４と、多言語の案内情報を出力する出力部５５とを備えている。出力部５５は、スピーカによって音声を再生出力したり、文字情報などをロボット７が備えるディスプレイに表示出力したりするものである。

【0088】

言語割合取得領域（すなわち対象領域）は、ロボット７の位置座標を中心とした予め定められた半径Ｒの範囲の円領域である。半径Ｒは適宜設定される。図２３は、ロボット７の言語割合取得領域の一例を示す図である。図２３の例では、ロボット７の現在位置の座標（１５００、５５０）を中心とした半径Ｒの範囲の円領域が、言語割合取得領域となる。

【0089】

図２４は、ロボット７での多言語案内処理を説明するためのフロー図である。下記の処理は、ロボット７の記憶部５３に予め設定されたプログラム（例えば多言語案内プログラム）、または図示しない情報管理センター等からの命令に基づき、ロボット７が多言語の案内情報（連絡や案内等の各種情報の音声情報や文字情報）を出力するときに開始される。

【0090】

まず、ステップＳＴ４０１では、現在位置把握部５２によりロボット７の現在位置を把握するとともに、現在位置の位置座標および予め定められた半径Ｒに基づき言語割合取得領域を決定する。上述したように、言語割合取得領域は、現在の位置座標を中心とした半径Ｒの範囲の円領域となる。

【0091】

次に、ステップＳＴ４０２では、言語割合取得領域（対象領域）で使用されている利用言語の割合を言語割合管理サーバ５に問い合わせ、言語割合管理サーバ５から、対象領域で使用されている利用言語の割合を示す言語割合情報を取得する。

【0092】

続いて、ステップＳＴ４０３では、言語割合管理サーバ５から取得した言語割合情報および多言語再生順序設定に基づき、言語再生順序を決定する。多言語再生順序設定は、上記の館内放送装置６の場合と同様に、ユーザにより予め設定されている。

【0093】

そして、ステップＳＴ４０４では、決定された言語再生順序に従って案内情報の出力（案内音声の再生や文字情報の表示）を行い、その後、処理を終了する。

【0094】

このように第２実施形態に係る言語割合管理システムによれば、ロボット７が出力する多言語の種類およびその多言語を出力する順番を、対象領域で使用されている利用言語の割合を示す言語割合情報に基づき決定することが可能となる。なお、第１実施形態の館内放送装置と第２実施形態の多言語案内ロボット７とを併用するようにしてもよい。

【0095】

また、上記の例では、ロボット７の現在位置の位置座標および予め定められた半径Ｒの範囲の領域における利用言語の割合に基づいて、ロボット７が出力する言語の種類を決定したが、ロボット７の正面に位置する人物を検出し、ロボット７がその人物の利用言語を言語割合管理サーバ５に問い合わせ、言語割合管理サーバ５が言語割合管理テーブルから人物の位置座標に基づき利用言語をロボット７に送信することによって、ロボット７が正面に位置する人物へ案内する言語の種類を決定するようにしてもよい。

【0096】

（第３実施形態）
次に、本開示の第３実施形態に係る言語割合管理システム１について説明する。なお、この第３実施形態では、以下で特に言及しない事項については、上述の第１実施形態の場合と同様とする。

【0097】

図２５は、第３実施形態に係る言語割合管理システム１の概略構成を示す模式図である。この第３実施形態は、多言語掲示板２の代わりに多言語キオスク８を備えている点が、上記の第１実施形態と異なる。

【0098】

多言語キオスク８は、公知の構成を有する情報端末装置であり、フロアＦの適所に配置されている。多言語キオスク８は、表示入力部であるタッチパネルを有しており、フロアＦに存在する人物はタッチパネルを操作することにより、各種の情報にアクセスすることができる。

【0099】

図２６は、多言語キオスク８の機能ブロック図である。図２６に示すように、多言語キオスク８は、連絡や案内等の各種情報を多言語により表示するともに、ユーザが操作可能な表示入力部（タッチパネル）６１と、表示入力部６１の表示を管理する表示管理部６２と、表示入力部６１で表示されている言語、すなわち表示入力部６１の操作に使用された言語を示す表示言語情報を行動認識装置４に通知する表示言語提供部６３とを有している。

【0100】

図２７は、第３実施形態に係る行動認識装置４の機能ブロック図である。図２７に示すように、第３実施形態に係る行動認識装置４は、多言語掲示板接続部２７の代わりに多言語キオスク接続部６４を有しており、この多言語キオスク接続部６４を介して多言語キオスク８と接続されている。また、第３実施形態に係る行動認識装置４は、視線方向検出部２８および言語判定テーブル３０を有していない。それ以外の点は、第１実施形態に係る行動認識装置４と同様なので、説明は省略する。

【0101】

図２８は、第３実施形態に係る行動認識装置４での利用言語判定処理を説明するためのフロー図である。以下の処理は、人物ＩＤ毎に繰り返される。

【0102】

まず、ステップＳＴ５０１では、人物情報管理テーブル（図６参照）に記録されている位置座標に基づき、多言語キオスク８の正面に位置する人物を検出する。行動認識装置４は、多言語キオスク８の位置座標を予め保持しているものとする。

【0103】

次に、ステップＳＴ５０２では、人物情報管理テーブル（図６参照）の位置座標において、多言語キオスク８の正面に位置する人物が検出されたか否かを判定する。検出されたと判定された場合（ステップＳＴ５０２：Ｙｅｓ）は、ステップＳＴ５０３に進み、検出されなかった（多言語キオスク８の正面に位置する人物がいない）と判定された場合（ステップＳＴ５０２：Ｎｏ）は、処理を終了する。

【0104】

ステップＳＴ５０３では、検出された人物が、多言語キオスク８の表示入力部６１を操作したか否かを判定する。ここでは、検出された人物が、多言語キオスク８の正面に一定時間以上滞在していた場合に、操作があったと判定するものとする。操作したと判定された場合（ステップＳＴ５０３：Ｙｅｓ）は、ステップＳＴ５０４に進み、操作していないと判定された場合（ステップＳＴ５０３：Ｎｏ）は、処理を終了する。

【0105】

ステップＳＴ５０４では、多言語キオスク８に、その人物が多言語キオスク８の表示入力部６１を操作するときに使用した利用言語を問い合わせる。

【0106】

そして、ステップＳＴ５０５では、問い合わせの結果、すなわちその人物の利用言語を人物情報管理テーブルの利用言語の欄に格納し、その後、処理を終了する。

【0107】

このように第３実施形態に係る言語割合管理システムによれば、多言語キオスク８を操作するという人物の言語行動に基づき、その人物の利用言語を判定することができる。これにより、不特定多数の人物が出入りする場所において人物の利用言語を判定することが可能となる。

【0108】

なお、言語割合管理システム１が、多言語掲示板２と多言語キオスク８との両方を備え、両方の装置により人物の利用言語を判定するようにしてもよい、また、一方の装置の判定結果を優先するようにしてもよい。

【0109】

（第４実施形態）
次に、本開示の第４実施形態に係る言語割合管理システム１について説明する。なお、この第４実施形態では、以下で特に言及しない事項については、上述の第１実施形態の場合と同様とする。

【0110】

図２９は、第４実施形態に係る言語割合管理システム１の概略構成を示す模式図である。この第４実施形態は、人物照合装置９をさらに備えている点が、上記の第１実施形態と異なる。

【0111】

この第４実施形態では、人物照合装置９により、行動認識装置４Ａに接続されたカメラ３Ａで撮像した撮像画像から抽出した人物画像と、行動認識装置４Ｂに接続されたカメラ３Ｂで撮像した撮像画像から抽出した人物画像とを照合することができる。例えば、多言語掲示板２の表示部１１の周辺に位置しカメラ３Ｂで撮像された人物Ｈ１が多言語キオスク８の方向に移動しカメラ３Ａで撮像された場合に、カメラ３Ａで撮像した人物Ｈ１の人物画像と、カメラ３Ｂで撮像した人物Ｈ１の人物画像とを人物照合装置９によって照合することができる。したがって、もし行動認識装置４Ｂで人物Ｈ１の利用言語が判明していれば、人物Ｈ１の利用言語を、人物照合装置９を介して、行動認識装置４Ｂに通知することが可能となる。

【0112】

図３０は、人物照合装置９の機能ブロック図である。図３０に示すように、人物照合装置９は、行動認識装置４と接続する行動認識装置接続部７１と、人物言語テーブルを記憶する記憶部７２と、人物画像を照合する人物照合部７３とを有している。

【0113】

図３１は、人物言語テーブルの一例を示す図である。図３１に示すように、人物言語テーブルでは、バイナリ画像である人物画像に紐付けて、その人物画像の人物の利用言語が記憶されている。

【0114】

図３２は、第４実施形態に係る行動認識装置４の機能ブロック図である。図３２に示すように、第４実施形態に係る行動認識装置４は、人物照合装置接続部７４をさらに有しており、人物照合装置接続部７４を介して人物照合装置９と接続されている。それ以外の点は、第１実施形態に係る行動認識装置４と同様なので、説明は省略する。

【0115】

図３３は、第４実施形態に係る行動認識装置４での人物位置情報更新処理を説明するためのフロー図である。この第４実施形態に係る人物位置情報更新処理では、撮像画像（現フレーム画像）から新規の人物が検出され、この新規の人物ＩＤを追加するステップＳＴ２０５の後に、現フレーム画像から抽出した人物画像を人物照合装置９に送信して、人物照合装置９からその人物画像に対応する利用言語を示す利用言語情報を取得する（ステップＳＴ６０１）。そして、取得した利用言語情報を、新規の人物に付与された人物ＩＤに紐づけて、人物情報管理テーブル（図６参照）の利用言語の欄に記録する（ステップＳＴ６０２）。それ以外の点は、第１実施形態に係る人物位置情報更新処理と同様なので、説明は省略する。

【0116】

図３４は、第４実施形態に係る行動認識装置４での利用言語判定処理を説明するためのフロー図であり、図２０のＳＴ３０１−３０７と同じ部分は省略して図示している。この第４実施形態に係る利用言語判定処理では、ステップＳＴ３０９で着目領域に対応する言語を人物情報管理テーブルの利用言語の欄に格納（記憶）した後に、その利用言語を示す情報を画像人物領域の人物画像とともに人物照合装置９に送信する（ステップＳＴ６０３）。それ以外の点は、第１実施形態に係る人物位置情報更新処理と同様なので、説明は省略する。

【0117】

人物照合装置９は、行動認識装置４（図２９の例では、行動認識装置４Ｂ）から人物画像および利用言語を取得すると、その人物画像および利用言語を人物言語テーブル（図３１）に記録する。

【0118】

図３５は、人物照合装置９の照合処理を説明するためのフロー図である。以下の処理は、図３３を参照して説明した、行動認識装置４の人物位置情報更新処理におけるステップＳＴ６０１およびステップＳＴ６０２の処理に対応している。

【0119】

まず、ステップＳＴ７０１では、行動認識装置４（図２９の例では、行動認識装置４Ａ）から照合対象の人物画像を受信する。

【0120】

次に、ステップＳＴ７０２では、照合対象の人物画像を、人物言語テーブルに記憶されている人物画像と照合する。

【0121】

続いて、ステップＳＴ７０３では、照合対象の人物画像と一致する人物画像が人物言語テーブルに記憶されているか否か、すなわち該当人物が存在するか否かを判定する。該当人物が存在しないと判定された場合（ステップＳＴ７０３：Ｎｏ）は、ステップＳＴ７０４に進み、該当人物が存在すると判定された場合（ステップＳＴ７０３：Ｙｅｓ）は、ステップＳＴ７０５に進む。

【0122】

ステップＳＴ７０４では、「利用言語は不明」と行動認識装置４に通知し、その後、処理を終了する。

【0123】

ステップＳＴ７０５では、人物言語テーブルを参照して該当人物の利用言語を判定し、判定された利用言語を行動認識装置４に通知する。その後、処理を終了する。

【0124】

このように第４実施形態に係る言語割合管理システムによれば、複数の行動認識装置４間で、撮像画像から検出された人物を照合することができるので、複数の行動認識装置４間で、人物の利用言語を示す情報を共有することが可能となる。

【0125】

（第５実施形態）
次に、本開示の第５実施形態に係る言語割合管理システム１について説明する。なお、この第５実施形態では、以下で特に言及しない事項については、上述の第１実施形態の場合と同様とする。

【0126】

図３６は、第５実施形態に係る言語割合管理システム１の概略構成を示す模式図である。この第５実施形態は、フロアＦに存在する人物のグループを判定し、そのグループ内の少なくとも１人の利用言語が判明した場合に、その利用言語をそのグループ内の利用言語が不明な人物の利用言語と判定する点が、上記の第１実施形態と異なる。

【0127】

図３６の例では、フロアＦに、人物Ｈ２、Ｈ３、Ｈ４の３人の人物からなるグループＧ１と、人物Ｈ５、Ｈ６の２人の人物からなるグループＧ２が存在している。同じグループ内の人物は同一の言語を使用すると考えられるので、同じグループ内の少なくとも１人の人物の利用言語が判明すれば、その利用言語がそのグループ内の他の人物の利用言語であると判定することができる。

【0128】

したがって、グループＧ１においては、人物Ｈ２の利用言語が判明すると、グループＧ１の人物Ｈ３、Ｈ４の利用言語が不明である場合でも、人物Ｈ３、Ｈ４の利用言語は人物Ｈ１の利用言語（図３６の例では英語）と判定することができる。同様に、グループＧ２においては、人物Ｈ５の利用言語が判明すると、グループＧ２の人物Ｈ６の利用言語が不明である場合でも、人物Ｈ６の利用言語は人物Ｈ５の利用言語（図３６の例では中国語）と判定することができる。

【0129】

図３７は、第５実施形態に係る行動認識装置４の機能ブロック図である。図３７に示すように、第５実施形態に係る行動認識装置４は、グループを判定するグループ判定部８１をさらに有している。それ以外の点は、第１実施形態に係る行動認識装置４と同様なので、説明は省略する。

【0130】

図３８は、第５実施形態に係る人物情報管理テーブルを示す図である。図３８に示すように、人物情報管理テーブルは、人物ＩＤ、画像人物領域、利用言語に加えて、位置座標履歴の欄をさらに有している。位置座標履歴の欄には、現フレーム画像から取得した位置座標を追加して記録する。

【0131】

図３９は、第５実施形態に係る行動認識装置４での一連の処理を説明するためのフロー図である。

【0132】

図３９に示すように、この第５実施形態では、ステップＳＴ１０４の言語情報更新処理と、ステップＳＴ１０５の撮像画像を前フレーム画像として記憶部２６に格納する処理との間に、グループ判定処理（ステップＳＴ１０６）をさらに有している。このグループ判定処理では、人物のグループを判定し、そのグループのうちの１人の利用言語が判明した場合に、その利用言語をグループ内の利用言語が不明な人物の利用言語とする。それ以外の点は、第１実施形態に係る行動認識装置４での一連の処理と同様なので、説明は省略する。

【0133】

図４０は、第５実施形態に係る行動認識装置４のグループ判定処理を説明するためのフロー図である。

【0134】

まず、ステップＳＴ８０１では、人物ＩＤ毎に、人物情報管理テーブル（図３８参照）の位置座標履歴の欄に、現フレーム画像の位置座標を追加して記憶する。

【0135】

次に、ステップＳＴ８０２では、人物情報管理テーブルの位置座標履歴の欄に記憶された位置座標に基づき、人物のグループと、そのグループに属する人物ＩＤを判定する。例えば、連続する所定数のフレーム画像において一緒に存在し、かつ相互距離が予め定められた距離内である複数の人物をグループと判定するとよい。なお、グループの判定方法はこれに限定されるものではなく、他の様々な公知の方法を用いることができる。

【0136】

続いて、ステップＳＴ８０３では、判定されたグループ内に利用言語が不明な人物が存在するか否かを判定する。利用言語が不明な人物が存在すると判定された場合（ステップＳＴ８０３：Ｙｅｓ）は、ステップＳＴ８０４に進み、利用言語が不明な人物が存在しない判定された場合（ステップＳＴ８０３：Ｎｏ）は、処理を終了する。

【0137】

ステップＳＴ８０４では、そのグループ内の人物において最も多く使用されている利用言語を、利用言語が不明な人物の利用言語と判定する。そして、判定された利用言語を人物情報管理テーブルの利用言語の欄に記録し、その後、処理を終了する。

【0138】

このように第５実施形態に係る言語割合管理システムによれば、グループ内の少なくとも１人の利用言語が判明した場合に、その利用言語をそのグループ内の利用言語が不明な人物の利用言語と判定することが可能となる。なお、グループ内の少なくとも１人の利用言語が判明した場合に、その利用言語をそのグループ内のすべての人物の利用言語とするようにしてもよい。

【0139】

（第６実施形態）
次に、本開示の第６実施形態に係る言語割合管理システム１について説明する。なお、この第６実施形態では、以下で特に言及しない事項については、上述の第１実施形態の場合と同様とする。

【0140】

図４１は、第６実施形態に係る言語割合管理システム１の概略構成を示す模式図である。この第６実施形態は、多言語掲示板２の代わりにマイク１０を備えている点が上記の第１実施形態と異なる。

【0141】

マイク１０は、公知の構成を有する集音マイクであり、空港のフロアＦの適所に配置され、人物の会話等の発話を集音する。

【0142】

図４２は、第６実施形態に係る行動認識装置４の機能ブロック図である。図４２に示すように、第６実施形態に係る行動認識装置４は、多言語掲示板接続部２７の代わりにマイク接続部９１を有しており、このマイク接続部９１を介してマイク１０と接続されている。利用言語判定部２９は、マイク１０が集音した音声を公知の音声分析技術を用いて分析して、その人物の利用言語を判定するものとする。また、第６実施形態に係る行動認識装置４は、視線方向検出部２８および言語判定テーブル３０を有していない。それ以外の点は、第１実施形態に係る行動認識装置４と同様なので、説明は省略する。

【0143】

図４３は、第６実施形態に係る行動認識装置４での利用言語判定処理を説明するためのフロー図である。以下の処理は、人物ＩＤ毎に繰り返される。

【0144】

まず、ステップＳＴ９０１では、人物情報管理テーブル（図６参照）に記録されている位置座標に基づき、マイク１０の正面に位置する人物を検出する。行動認識装置４は、マイク１０の位置座標を予め保持しているものとする。

【0145】

次に、ステップＳＴ９０２では、人物情報管理テーブル（図６参照）の位置座標において、マイク１０の正面に位置する人物が検出されたか否かを判定する。検出されたと判定された場合（ステップＳＴ９０２：Ｙｅｓ）は、ステップＳＴ９０３に進み、検出されなかった（マイク１０の正面に位置する人物がいない）と判定された場合（ステップＳＴ９０２：Ｎｏ）は、処理を終了する。

【0146】

ステップＳＴ９０３では、検出された人物の音声をマイク１０で取得されたか否かを判定する。音声が取得されたと判定された場合（ステップＳＴ９０３：Ｙｅｓ）はステップＳＴ９０４に進み、音声が取得されなかったと判定された場合（ステップＳＴ９０３：Ｎｏ）は処理を終了する。

【0147】

ステップＳＴ９０４では、利用言語判定部２９により、マイク１０が集音した音声を分析して、その人物の利用言語を判定する。

【0148】

そして、ステップＳＴ９０５では、判定された利用言語を人物情報管理テーブルの利用言語の欄に格納（記憶）し、その後、処理を終了する。

【0149】

このように第６実施形態に係る言語割合管理システムによれば、発話という人物の言語行動に基づき、その人物の利用言語を判定することができる。これにより、不特定多数の人物が出入りする場所において人物の利用言語を判定することが可能となる。

【0150】

なお、言語割合管理システム１が、多言語掲示板２、多言語キオスク８、およびマイク１０の任意の組み合わせを備え、各装置により人物の利用言語を判定するようにしてもよい。また、いずれかの装置の判定結果を優先するようにしてもよい。

【0151】

以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。また、第１実施形態から第６実施形態を任意に組み合わせた実施形態としてもよい。また、上記実施形態に示した本開示に係る言語割合管理システムおよび言語割合管理方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

【産業上の利用可能性】

【0152】

本開示に係る言語割合管理システムおよび言語割合管理方法は、多言語が利用される場所における利用言語の割合を管理することを可能にする言語割合管理システムおよび言語割合管理方法等として有用である。

【符号の説明】

【0153】

１ 言語割合管理システム
２ 多言語掲示板
３ カメラ
４ 行動認識装置
５ 言語割合管理サーバ
６ 館内放送装置
７ 多言語放送ロボット
８ 多言語キオスク
９ 人物照合装置
１０ マイク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】