特開2022-67992 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通クライアントコンピューティング株式会社の特許一覧

特開2022-67992情報処理装置、情報処理システムおよび情報処理プログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022067992

(43)【公開日】2022-05-09

(54)【発明の名称】情報処理装置、情報処理システムおよび情報処理プログラム

(51)【国際特許分類】

H04R 29/00 20060101AFI20220426BHJP

H04R 1/32 20060101ALI20220426BHJP

G08B 29/10 20060101ALI20220426BHJP

G08B 25/00 20060101ALI20220426BHJP

【ＦＩ】

H04R29/00 310

H04R1/32 310A

G08B29/10

G08B25/00 510M

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2020176890

(22)【出願日】2020-10-21

(11)【特許番号】

(45)【特許公報発行日】2021-04-28

(71)【出願人】

【識別番号】518133201

【氏名又は名称】富士通クライアントコンピューティング株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】谷山和利

【テーマコード（参考）】

5C087

5D018

【Ｆターム（参考）】

5C087AA02

5C087AA37

5C087AA41

5C087CC02

5C087CC21

5C087DD05

5C087DD20

5C087EE07

5C087GG02

5C087GG06

5C087GG31

5C087GG59

5D018AF02

(57)【要約】（修正有）

【課題】声掛けのための音声出力装置の異常を検出する情報処理装置、情報処理システムおよび情報処理プログラムを提供する。
【解決手段】ホスト装置１００（情報処理装置）は、指向性スピーカ２００が撮像された撮像画像を監視カメラ４００から取得する画像取得部１１０と、撮像画像に不審者が写っているか否かを検出する不審者検出部１２０と、指向性スピーカの位置を制御するスピーカ制御部１３０と、指向性スピーカ２００の異常を検出する異常検出部１４０と、を備える。異常検出部１４０は、スピーカ制御部１３０を介して指向性スピーカ２００を所定の位置に移動するように制御した後、画像取得部１１０により取得された撮像画像に写っている指向性スピーカ２００の表面の特定の位置を示す情報を取得し、当該情報と、予め設定された情報と、の比較に基づいて、指向性スピーカ２００の異常を検出する。
【選択図】図４

【特許請求の範囲】

【請求項1】

第１の場所に固定的に設置される固定部と、前記固定部に対して移動可能に設けられる可動部と、前記可動部に設けられ、指向性を有する音声を出力する出力部と、を含む音声出力装置が撮像された撮像画像を前記第１の場所とは異なる第２の場所に設置された撮像装置から取得する画像取得部と、
前記可動部が所定の位置に移動するように前記可動部の制御を行い、当該可動部の制御の完了後に前記画像取得部により取得される前記撮像画像に写っている前記音声出力装置の表面の特定の位置を示す情報と、前記可動部が前記所定の位置に正常に移動したときにおける前記撮像画像内の前記特定の位置に関して予め設定された情報と、の比較に基づいて、前記音声出力装置の異常を検出する異常検出部と、
を備える、情報処理装置。

【請求項2】

前記異常検出部は、前記特定の位置を示す情報として、前記可動部の表面に設けられた第１のマーカの位置を示す第１の情報を取得し、当該第１の情報と、前記可動部が前記所定の位置に正常に移動したときにおける前記第１のマーカの位置に関して予め設定された情報と、の比較に基づいて、前記音声出力装置の異常を検出する、
請求項１に記載の情報処理装置。

【請求項3】

前記異常検出部は、前記特定の位置を示す情報として、前記固定部の表面に設けられた第２のマーカの位置を示す第２の情報を取得し、前記第１の情報を用いた比較に先立って、前記第２の情報と、前記可動部が前記所定の位置に正常に移動したときにおける前記第２のマーカの位置に関して予め設定された情報と、の比較に基づいて、前記音声出力装置の異常を検出する、
請求項２に記載の情報処理装置。

【請求項4】

前記出力部から前記第２の場所に届く前記音声を取得する音声取得部をさらに備え、
前記異常検出部は、前記可動部が前記所定の位置に移動するように前記可動部の制御を行うとともに前記出力部が所定の音声を出力するように前記出力部の制御も行い、当該出力部の制御の完了後に前記音声取得部により取得される前記所定の音声に関する情報と、前記可動部が前記所定の位置に正常に移動したときに前記出力部から前記第２の場所に届く前記所定の音声に関して予め設定された情報と、の比較に基づいて、前記音声出力装置の異常を検出する、
請求項１～３のうちいずれか１項に記載の情報処理装置。

【請求項5】

第１の場所に固定的に設置される固定部と、前記固定部に対して移動可能に設けられる可動部と、前記可動部に設けられ、指向性を有する音声を出力する出力部と、を含む音声出力装置と、
前記第１の場所とは異なる第２の場所に設置され、前記音声出力装置を撮像する撮像装置と、
前記音声出力装置が撮像された撮像画像を前記撮像装置から取得する画像取得部と、前記可動部が所定の位置に移動するように前記可動部の制御を行い、当該可動部の制御の完了後に前記画像取得部により取得される前記撮像画像に写っている前記音声出力装置の表面の特定の位置を示す情報と、前記可動部が前記所定の位置に正常に移動したときにおける前記撮像画像内の前記特定の位置に関して予め設定された情報と、の比較に基づいて、前記音声出力装置の異常を検出する異常検出部と、を含む情報処理装置と、
を備える、情報処理システム。

【請求項6】

第１の場所に固定的に設置される固定部と、前記固定部に対して移動可能に設けられる可動部と、前記可動部に設けられ、指向性を有する音声を出力する出力部と、を含む音声出力装置が撮像された撮像画像を前記第１の場所とは異なる第２の場所に設置された撮像装置から取得する画像取得ステップと、
前記可動部が所定の位置に移動するように前記可動部の制御を行い、当該可動部の制御の完了後に前記画像取得ステップにより取得される前記撮像画像に写っている前記音声出力装置の表面の特定の位置を示す情報と、前記可動部が前記所定の位置に正常に移動したときにおける前記撮像画像内の前記特定の位置に関して予め設定された情報と、の比較に基づいて、前記音声出力装置の異常を検出する異常検出ステップと、
をコンピュータに実行させるための、情報処理プログラム。

【請求項7】

第１の場所に固定的に設置される固定部と、前記固定部に対して移動可能に設けられる可動部と、前記可動部に設けられ、指向性を有する音声を出力する出力部と、を含む音声出力装置の前記出力部から前記第１の場所とは異なる第２の場所に届く前記音声を取得する音声取得部と、
前記可動部が所定の位置に移動するように前記可動部の制御を行うとともに前記出力部が所定の音声を出力するように前記出力部の制御も行い、当該出力部の制御の完了後に前記音声取得部により取得される前記所定の音声に関する情報と、前記可動部が前記所定の位置に正常に移動したときに前記出力部から前記第２の場所に届く前記所定の音声に関して予め設定された情報と、の比較に基づいて、前記音声出力装置の異常を検出する異常検出部と、
を備える、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理システムおよび情報処理プログラムに関する。

【背景技術】

【0002】

従来、監視カメラから映像を取得することで、当該映像に写っている対象の挙動の検出のような情報処理を実行する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－７９３４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような従来の技術では、たとえば不審者に対する注意などのために、対象の挙動の検出結果に応じた音声の出力、すなわち声掛けが実行されることがある。この場合、声掛けのための音声出力装置の異常を検出することが望まれる。

【0005】

そこで、本開示の課題の一つは、声掛けのための音声出力装置の異常を検出することが可能な情報処理装置、情報処理システムおよび情報処理プログラムを提供することである。

【課題を解決するための手段】

【0006】

本開示の第１態様にかかる情報処理装置は、第１の場所に固定的に設置される固定部と、固定部に対して移動可能に設けられる可動部と、可動部に設けられ、指向性を有する音声を出力する出力部と、を含む音声出力装置が撮像された撮像画像を第１の場所とは異なる第２の場所に設置された撮像装置から取得する画像取得部と、可動部が所定の位置に移動するように可動部の制御を行い、当該可動部の制御の完了後に画像取得部により取得される撮像画像に写っている音声出力装置の表面の特定の位置を示す情報と、可動部が所定の位置に正常に移動したときにおける撮像画像内の特定の位置に関して予め設定された情報と、の比較に基づいて、音声出力装置の異常を検出する異常検出部と、を備える。

【0007】

本開示の第２態様にかかる情報処理システムは、第１の場所に固定的に設置される固定部と、固定部に対して移動可能に設けられる可動部と、可動部に設けられ、指向性を有する音声を出力する出力部と、を含む音声出力装置と、第１の場所とは異なる第２の場所に設置され、音声出力装置を撮像する撮像装置と、音声出力装置が撮像された撮像画像を撮像装置から取得する画像取得部と、可動部が所定の位置に移動するように可動部の制御を行い、当該可動部の制御の完了後に画像取得部により取得される撮像画像に写っている音声出力装置の表面の特定の位置を示す情報と、可動部が所定の位置に正常に移動したときにおける撮像画像内の特定の位置に関して予め設定された情報と、の比較に基づいて、音声出力装置の異常を検出する異常検出部と、を含む情報処理装置と、を備える。

【0008】

本開示の第３態様にかかる情報処理プログラムは、第１の場所に固定的に設置される固定部と、固定部に対して移動可能に設けられる可動部と、可動部に設けられ、指向性を有する音声を出力する出力部と、を含む音声出力装置が撮像された撮像画像を第１の場所とは異なる第２の場所に設置された撮像装置から取得する画像取得ステップと、可動部が所定の位置に移動するように可動部の制御を行い、当該可動部の制御の完了後に画像取得部により取得される撮像画像に写っている音声出力装置の表面の特定の位置を示す情報と、可動部が所定の位置に正常に移動したときにおける撮像画像内の特定の位置に関して予め設定された情報と、の比較に基づいて、音声出力装置の異常を検出する異常検出ステップと、をコンピュータに実行させる。

【0009】

本開示の第４態様にかかる情報処理装置は、第１の場所に固定的に設置される固定部と、固定部に対して移動可能に設けられる可動部と、可動部に設けられ、指向性を有する音声を出力する出力部と、を含む音声出力装置の出力部から第１の場所とは異なる第２の場所に届く音声を取得する音声取得部と、可動部が所定の位置に移動するように可動部の制御を行うとともに出力部が所定の音声を出力するように出力部の制御も行い、当該出力部の制御の完了後に音声取得部により取得される所定の音声に関する情報と、可動部が所定の位置に正常に移動したときに出力部から第２の場所に届く所定の音声に関して予め設定された情報と、の比較に基づいて、音声出力装置の異常を検出する異常検出部と、を備える。

【発明の効果】

【0010】

本開示の情報処理装置、情報処理システムおよび情報処理プログラムによれば、声掛けのための音声出力装置の異常を検出することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、第１実施形態にかかる声掛けシステムの全体構成を示した例示的かつ模式的な図である。

【図2】図２は、第１実施形態にかかる指向性スピーカを示した例示的かつ模式的な図である。

【図3】図３は、第１実施形態にかかる指向性スピーカと監視カメラとの位置関係を示した例示的かつ模式的な図である。

【図4】図４は、第１実施形態にかかるホスト装置の構成を示した例示的かつ模式的なブロック図である。

【図5】図５は、第１実施形態にかかる指向性スピーカの正常時に取得される撮像画像を示した例示的かつ模式的な図である。

【図6】図６は、第１実施形態にかかる指向性スピーカの異常時に取得される撮像画像の一例を示した例示的かつ模式的な図である。

【図7】図７は、第１実施形態にかかる指向性スピーカの異常時に取得される撮像画像の他の一例を示した例示的かつ模式的な図である。

【図8】図８は、第１実施形態にかかるホスト装置が撮像画像を用いて指向性スピーカの異常を検出するために実行する一連の処理を示した例示的なフローチャートである。

【図9】図９は、第２実施形態にかかる指向性スピーカと監視カメラとの位置関係を示した例示的かつ模式的な図である。

【図10】図１０は、第２実施形態にかかるホスト装置の構成を示した例示的かつ模式的なブロック図である。

【図11】図１１は、第２実施形態にかかるホスト装置が音声を用いて異常を検出するために実行する一連の処理を示した例示的なフローチャートである。

【図12】図１２は、第３実施形態にかかる指向性スピーカと監視カメラとの位置関係を示した例示的かつ模式的な図である。

【図13】図１３は、第３実施形態にかかるホスト装置の構成を示した例示的かつ模式的なブロック図である。

【図14】図１４は、第１～第３実施形態にかかるホスト装置を構成するコンピュータのハードウェア構成を示した例示的かつ模式的なブロック図である。

【発明を実施するための形態】

【0012】

以下、本開示のいくつかの実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。

【0013】

＜第１実施形態＞
図１は、第１実施形態にかかる声掛けシステムの全体構成を示した例示的かつ模式的な図である。声掛けシステムは、本開示の「情報処理システム」の一例である。

【0014】

以下に説明するように、第１実施形態にかかる声掛けシステムは、たとえば、小売りの店舗内の所定の領域を撮像することで得られる画像データに基づいて、当該所定の領域内に存在する不審者を検出し、検出された不審者に対して所定の音声を出力するように構成されている。

【0015】

図１に示されるように、第１実施形態にかかる声掛けシステムは、ホスト装置１００と、指向性スピーカ２００と、中継装置３００と、監視カメラ４００と、を備えている。ホスト装置１００、指向性スピーカ２００、および監視カメラ４００は、それぞれ、本開示の「情報処理装置」、「音声出力装置」、および「撮像装置」の一例である。図１に示される例では、簡単化のため、指向性スピーカ２００および監視カメラ４００がそれぞれ１つずつ設けられた構成が例示されているが、指向性スピーカ２００および監視カメラ４００は、複数設けられていてもよい。

【0016】

ホスト装置１００は、たとえば店舗のバックヤードなどに設置され、指向性スピーカ２００および監視カメラ４００は、たとえば店舗の売り場などに設置される。ホスト装置１００と指向性スピーカ２００とは、中継装置３００を介して互いに通信可能に接続されている。また、ホスト装置１００と監視カメラ４００とは、ホスト装置１００と指向性スピーカ２００との間の通信経路とは異なる通信経路で互いに通信可能に接続されている。

【0017】

監視カメラ４００は、たとえばカラーの２次元画像データを撮像可能なエリアカメラ（エリア画像センサ）として構成されている。監視カメラ４００は、たとえば店舗の売り場のような所定の領域の撮像を行い、当該撮像により得られた撮像画像をホスト装置１００に送信する。

【0018】

指向性スピーカ２００は、指向性を有する音声（音波、音声信号）を出力可能に構成されている。より具体的に、指向性スピーカ２００は、ホスト装置１００による所定の情報処理の結果、たとえば店舗の売り場のような所定の領域内に存在する不審者５００の検出の結果に応じて、次の図２に示されるような態様で動作するように構成されている。

【0019】

図２は、第１実施形態にかかる指向性スピーカ２００を示した例示的かつ模式的な図である。

【0020】

図２に示されるように、指向性スピーカ２００は、たとえば店舗の売り場の天井の所定の場所（第１の場所）に固定的に設置される固定部２１０と、当該固定部２１０に対して移動可能に接続される可動部２２０と、当該可動部２２０に設けられ、指向性を有する音声を出力する出力部２３０と、を備えている。

【0021】

可動部２２０は、固定部２１０側に設けられる第１部分２２１と、出力部２３０側に設けられる第２部分２２２と、を有している。第１部分２２１は、水平方向に回動可能に構成されており（矢印Ａ２１０参照）、第２部分２２２は、垂直方向に回動可能に構成されている（矢印Ａ２２０参照）。これにより、指向性スピーカ２００は、たとえば店舗の売り場のような所定の領域内の任意の位置または方向に向けて指向性を有する音声を出力することが可能である。

【0022】

なお、第１実施形態において、指向性スピーカ２００の表面には、複数のマーカＭ２０１～Ｍ２０３が設けられている。マーカＭ２０１～Ｍ２０３は、たとえば指向性スピーカ２００の表面に貼付されたシール、または指向性スピーカ２００の表面に印刷された二次元模様などにより構成される。

【0023】

マーカＭ２０１は、可動部２２０の表面に設けられた第１のマーカである。また、マーカＭ２０２およびＭ２０３は、固定部２１０の表面に設けられた第２のマーカである。可動部２２０の表面に設けられたマーカＭ２０１と、固定部２１０の表面に設けられたマーカＭ２０２およびＭ２０３とは、異なる形状または模様を有している。なお、これらのマーカＭ２０１～Ｍ２０３の役割については後で説明するため、ここではこれ以上の説明を省略する。

【0024】

ところで、上記のような構成においては、音声を出力するための構成としての指向性スピーカ２００に、たとえば固定部２１０の傾きおよび可動部２２０の作動不良などのような異常が発生した場合、適切な声掛けができなくなる。このため、指向性スピーカ２００の異常の有無を適宜チェックすることが望まれる。

【0025】

そこで、第１実施形態では、指向性スピーカ２００と監視カメラ４００とが、次の図３に示されるような位置関係で設けられている。

【0026】

図３は、第１実施形態にかかる指向性スピーカ２００と監視カメラ４００との位置関係を示した例示的かつ模式的な図である。

【0027】

図３に示されるように、第１実施形態では、指向性スピーカ２００と監視カメラ４００とが、指向性スピーカ２００が監視カメラ４００の視野Ｒ３００に入り込むような位置関係で設けられている。より具体的に、第１実施形態において、監視カメラ４００は、監視カメラ４００により取得される撮像画像に指向性スピーカ２００のマーカＭ２０１～Ｍ２０３が写り込むように、指向性スピーカ２００が設けられた第１の場所とは異なる第２の場所に設置されている。

【0028】

これにより、たとえば固定部２１０の天井への設置の外れおよび可動部２２０の作動不良などのような異常が発生した場合、当該異常に関する情報は、監視カメラ４００により取得される撮像画像における指向性スピーカ２００の写り込み方に表れることになる。そこで、第１実施形態にかかるホスト装置１００は、次の図４に示されるような構成により、監視カメラ４００により取得される撮像画像に基づいて指向性スピーカ２００の異常を検出する。

【0029】

図４は、第１実施形態にかかるホスト装置１００の構成を示した例示的かつ模式的なブロック図である。

【0030】

図４に示されるように、第１実施形態にかかるホスト装置１００は、画像取得部１１０と、不審者検出部１２０と、スピーカ制御部１３０と、異常検出部１４０と、を備えている。

【0031】

画像取得部１１０は、指向性スピーカ２００が撮像された撮像画像を監視カメラ４００から取得する。そして、不審者検出部１２０は、画像取得部１１０により取得された撮像画像に対して所定のＡＩ（Artificial Intelligence）処理などを実行することで、撮像画像に不審者が写っているか否かを検出する。そして、スピーカ制御部１３０は、不審者検出部１２０により不審者が検出された場合に、当該不審者に向けて指向性スピーカ２００から所定の音声が出力されるように、指向性スピーカ２００を制御する。

【0032】

そして、異常検出部１４０は、固定部２１０の設置の外れおよび可動部２２０の作動不良などのような指向性スピーカ２００の異常を検出する。より具体的に、異常検出部１４０は、まず、スピーカ制御部１３０を介して、指向性スピーカ２００の可動部２２０が異常検出用に予め決められた位置（以下、所定の位置と表現する）に移動するように可動部２２０の制御を行う。そして、異常検出部１４０は、当該制御の完了後に画像取得部１１０により取得される撮像画像に写っている指向性スピーカ２００の表面の特定の位置、より具体的にはマーカＭ２０１～Ｍ２０３の位置を示す情報を取得し、当該情報と、可動部２２０が所定の位置に正常に移動したときにおける撮像画像内のマーカＭ２０１～Ｍ２０３の位置に関して予め設定された情報と、の比較に基づいて、指向性スピーカ２００の異常を検出する。なお、図４では、当該予め設定された情報が、「正常時におけるマーカの位置」として図示されている。

【0033】

たとえば、図５は、第１実施形態にかかる指向性スピーカ２００の正常時に取得される撮像画像を示した例示的かつ模式的な図である。

【0034】

図５に示される画像ＩＭ５００は、可動部２２０が上記の所定の位置に正常に移動した指向性スピーカ２００が写っている撮像画像を示している。この画像ＩＭ５００には、商品５０２が並んだ商品棚５０１も正常な向きで写っている。第１実施形態では、この画像ＩＭ５００内におけるマーカＭ２０１～Ｍ２０３の位置を示す情報が、上記の予め設定された情報として、指向性スピーカ２００または監視カメラ４００の設置時などに取得される。

【0035】

ここで、指向性スピーカ２００が正常である限り、可動部２２０が所定の位置に移動するように可動部２２０の制御を行えば、当該制御の完了後に取得される撮像画像に写っているマーカＭ２０１～２０３の位置は、図５に示される例と整合するはずである。しかしながら、固定部２１０の設置の外れおよび可動部２２０の作動不良などのような指向性スピーカ２００の異常が発生している場合、可動部２２０が所定の位置に移動するように可動部２２０の制御を行ったとしても、当該制御の完了後に取得される撮像画像に写っているマーカＭ２０１～２０３の位置は、図５に示される例とは整合しないことが想定される。そこで、第１実施形態において、異常検出部１４０は、撮像画像に表れるこのような違いに着目して、指向性スピーカ２００の異常を検出する。

【0036】

たとえば、可動部２２０の作動不良が発生している場合、可動部２２０を所定の位置に移動させる制御の完了後に取得される撮像画像は、次の図６に示される例のようになることが想定される。

【0037】

図６は、第１実施形態にかかる指向性スピーカ２００の異常時に取得される撮像画像の一例を示した例示的かつ模式的な図である。

【0038】

図６に示される画像ＩＭ６００は、可動部２２０の作動不良に起因して所定の位置に移動するように指示されても可動部２２０が所定の位置に正常に移動しなかった場合に取得される撮像画像を示している。この画像ＩＭ６００には、マーカＭ２０１～Ｍ２０３が図５に示される例とはずれた位置に写っている。

【0039】

したがって、第１実施形態において、異常検出部１４０は、可動部２２０を所定の位置に移動させる制御の完了後に図６に示される画像ＩＭ６００が取得された場合、指向性スピーカ２００に異常が発生していると判定する。

【0040】

なお、指向性スピーカ２００の異常の例としては、固定部２１０の天井への設置が外れた結果として指向性スピーカ２００全体が傾いた場合も想定できる。この場合、可動部２２０を所定の位置に移動させる制御の完了後に取得される撮像画像は、次の図７に示される例のようになることが想定される。

【0041】

図７は、第１実施形態にかかる指向性スピーカ２００の異常時に取得される撮像画像の他の一例を示した例示的かつ模式的な図である。

【0042】

図７に示される画像ＩＭ７００は、固定部２１０の天井への設置が外れた結果として指向性スピーカ２００全体が傾いた場合に取得される撮像画像を示している。この画像ＩＭ７００においても、図６に示される例と同様、マーカＭ２０１～Ｍ２０３が図５に示される例とはずれた位置に写っている。

【0043】

したがって、第１実施形態において、異常検出部１４０は、可動部２２０を所定の位置に移動させる制御の完了後に図７に示される画像ＩＭ７００が取得された場合も、指向性スピーカ２００に異常が発生していると判定する。

【0044】

なお、図示は省略するが、監視カメラ４００の設置が外れた場合も、可動部２２０を所定の位置に移動させる制御の完了後に取得される撮像画像内におけるマーカＭ２０１～Ｍ２０３の位置は、図５に示される例とはずれることになる。したがって、より厳密に表現すれば、第１実施形態において検出される異常は、指向性スピーカ２００および監視カメラ４００のうち少なくとも一方の異常であると言える。しかしながら、簡単化のため、本開示においては、監視カメラ４００の異常は発生しないことを前提とする。

【0045】

また、第１実施形態では、たとえば可動部２２０が上記の所定の位置から動かなくなったという異常が発生した結果、偶然に、撮像画像内におけるマーカＭ２０１～Ｍ２０３が図５に示される例と整合する場合も想定される。この場合、撮像画像内におけるマーカＭ２０１～Ｍ２０３の位置の比較を１回実行するだけでは、指向性スピーカ２００の異常が検出されないことになる。

【0046】

そこで、第１実施形態では、指向性スピーカ２００の正常時における撮像画像内のマーカＭ２０１～Ｍ２０３の位置に関して予め設定された情報が、可動部２２０が第１の位置に正常に移動した場合に対応する情報と、可動部２２０が第１の位置とは異なる第２の位置に正常に移動した場合に対応する情報と、の２種類存在しうる。この場合、異常検出部１４０は、まず、可動部２２０が第１の位置に移動するように可動部２２０の制御を行い、当該制御の完了時に取得される撮像画像に写っているマーカＭ２０１～Ｍ２０３の位置を示す情報と、可動部２２０が第１の位置に正常に移動した場合に対応する上記の予め設定された情報と、を比較する。そして、異常検出部１４０は、可動部２２０が第２の位置に移動するように可動部２２０の制御を行い、当該制御の完了時に取得される撮像画像に写っているマーカＭ２０１～Ｍ２０３の位置を示す情報と、可動部２２０が第２の位置に正常に移動した場合に対応する上記の予め設定された情報と、を比較する。そして、異常検出部１４０は、これら２回の比較の結果に基づいて、指向性スピーカ２００の異常を確実に検出する。

【0047】

以上の構成に基づき、第１実施形態にかかるホスト装置１００は、画像取得部１１０により取得される撮像画像を用いて、次の図８に示されるような一連の処理を実行することで、指向性スピーカ２００の異常を検出する。

【0048】

図８は、第１実施形態にかかるホスト装置１００が撮像画像を用いて指向性スピーカ２００の異常を検出するために実行する一連の処理を示した例示的なフローチャートである。

【0049】

図８に示されるように、第１実施形態では、まず、Ｓ８０１において、ホスト装置１００の異常検出部１４０は、スピーカ制御部１３０を介して、指向性スピーカ２００の可動部２２０が第１の位置に移動するように可動部２２０の制御を行う。

【0050】

そして、Ｓ８０２において、異常検出部１４０は、画像取得部１１０を介して、監視カメラ４００から撮像画像を取得する。

【0051】

そして、Ｓ８０３において、異常検出部１４０は、Ｓ８０２で取得された撮像画像から全てのマーカＭ２０１～Ｍ２０３の位置を検出する。

【0052】

そして、Ｓ８０４において、異常検出部１４０は、固定部２１０に設けられたマーカＭ２０２およびＭ２０３の位置としてＳ８０３で検出された情報が、可動部２２０が第１の位置に正常に移動した場合における撮像画像内のマーカＭ２０２およびＭ２０３の位置に関して予め設定された情報と整合するか否かを判定する。

【0053】

Ｓ８０４において、マーカＭ２０２およびＭ２０３の位置としてＳ８０３で検出された情報が予め設定された情報と整合しないと判定された場合、固定部２１０に異常が発生していると判定することができる。したがって、この場合、Ｓ８０５に処理が進み、異常検出部１４０は、固定部２１０の異常を出力する。そして、処理が終了する。

【0054】

一方、Ｓ８０４において、マーカＭ２０２およびＭ２０３の位置としてＳ８０３で検出された情報が予め設定された情報と整合すると判定された場合、Ｓ８０６に処理が進む。そして、Ｓ８０６において、異常検出部１４０は、可動部２２０に設けられたマーカＭ２０１の位置としてＳ８０３で検出された情報が、可動部２２０が第１の位置に正常に移動した場合における撮像画像内のマーカＭ２０１の位置に関して予め設定された情報と整合するか否かを判定する。

【0055】

Ｓ８０６において、マーカＭ２０１の位置としてＳ８０３で検出された情報が予め設定された情報と整合しないと判定された場合、可動部２２０に異常が発生していると判定することができる。したがって、この場合、Ｓ８０７に処理が進み、異常検出部１４０は、可動部２２０の異常を出力する。そして、処理が終了する。

【0056】

一方、Ｓ８０６において、マーカＭ２０１の位置としてＳ８０３で検出された情報が予め設定された情報と整合すると判定された場合、Ｓ８０８に処理が進む。そして、Ｓ８０８において、異常検出部１４０は、スピーカ制御部１３０を介して、指向性スピーカ２００の可動部２２０が上記の第１の位置とは異なる第２の位置に移動するように可動部２２０の制御を行う。

【0057】

そして、Ｓ８０９において、異常検出部１４０は、画像取得部１１０を介して、監視カメラ４００から撮像画像を取得する。

【0058】

そして、Ｓ８１０おいて、異常検出部１４０は、Ｓ８０９で取得された撮像画像から全てのマーカＭ２０１～Ｍ２０３の位置を検出する。

【0059】

そして、Ｓ８１１において、異常検出部１４０は、固定部２１０に設けられたマーカＭ２０２およびＭ２０３の位置としてＳ８１０で検出された情報が、可動部２２０が第２の位置に正常に移動した場合における撮像画像内のマーカＭ２０２およびＭ２０３の位置に関して予め設定された情報と整合するか否かを判定する。

【0060】

Ｓ８１１において、マーカＭ２０２およびＭ２０３の位置としてＳ８１０で検出された情報が予め設定された情報と整合しないと判定された場合、固定部２１０に異常が発生していると判定することができる。したがって、この場合、上記のＳ８０５に処理が進み、異常検出部１４０は、固定部２１０の異常を出力する。そして、処理が終了する。

【0061】

一方、Ｓ８１１において、マーカＭ２０２およびＭ２０３の位置としてＳ８１０で検出された情報が予め設定された情報と整合すると判定された場合、Ｓ８１２に処理が進む。そして、Ｓ８１２において、異常検出部１４０は、可動部２２０に設けられたマーカＭ２０１の位置としてＳ８１０で検出された情報が、可動部２２０が第２の位置に正常に移動した場合における撮像画像内のマーカＭ２０１の位置に関して予め設定された情報と整合するか否かを判定する。

【0062】

Ｓ８１２において、マーカＭ２０１の位置としてＳ８１０で検出された情報が予め設定された情報と整合しないと判定された場合、可動部２２０に異常が発生していると判定することができる。したがって、この場合、上記のＳ８０７に処理が進み、異常検出部１４０は、可動部２２０の異常を出力する。そして、処理が終了する。

【0063】

一方、Ｓ８１２において、マーカＭ２０１の位置としてＳ８１０で検出された情報が予め設定された情報と整合すると判定された場合、指向性スピーカ２００に異常が存在しないと判定することができる。したがって、この場合、上記のＳ８０５またはＳ８０７のような異常の出力が実行されることなく、そのまま処理が終了する。

【0064】

以上説明したように、第１実施形態にかかる声掛けシステムは、指向性スピーカ２００と、監視カメラ４００と、ホスト装置１００と、を備えている。指向性スピーカ２００は、第１の場所に固定的に設置される固定部２１０と、固定部２１０に対して移動可能に設けられる可動部２２０と、可動部２２０に設けられ、指向性を有する音声を出力する出力部２３０と、を含んでいる。監視カメラ４００は、上記の第１の場所とは異なる第２の場所に設置され、指向性スピーカ２００を撮像する。

【0065】

また、ホスト装置１００は、画像取得部１１０と、異常検出部１４０と、を含んでいる。画像取得部１１０は、指向性スピーカ２００が撮像された撮像画像を監視カメラ４００から取得する。また、異常検出部１４０は、可動部２２０が所定の位置に移動するように可動部２２０の制御を行う。そして、異常検出部１４０は、当該可動部２２０の制御の完了後に画像取得部１１０により取得される撮像画像に写っている指向性スピーカ２００の表面の特定の位置を示す情報と、可動部２２０が所定の位置に正常に移動したときにおける撮像画像内の特定の位置に関して予め設定された情報と、の比較に基づいて、指向性スピーカ２００の異常を検出する。このような構成によれば、声掛けのための指向性スピーカ２００の異常を検出することができる。

【0066】

より具体的に、第１実施形態において、異常検出部１４０は、上記の特定の位置を示す情報として、可動部２２０の表面に設けられたマーカＭ２０１の位置を示す第１の情報を取得し、当該第１の情報と、可動部２２０が所定の位置に正常に移動したときにおけるマーカＭ２０１の位置に関して予め設定された情報と、の比較に基づいて、指向性スピーカ２００の異常を検出する。このような構成によれば、マーカＭ２０１を用いて、指向性スピーカ２００のうち可動部２２０の異常を検出することができる。

【0067】

また、第１実施形態において、異常検出部１４０は、上記の特定の位置を示す情報として、固定部２１０の表面に設けられたマーカＭ２０２およびＭ２０３の位置を示す第２の情報を取得し、上記の第１の情報を用いた比較に先立って、第２の情報と、可動部２２０が所定の位置に正常に移動したときにおけるマーカＭ２０２およびＭ２０３の位置に関して予め設定された情報と、の比較に基づいて、指向性スピーカ２００の異常を検出する。このような構成によれば、マーカＭ２０２およびＭ２０３を用いて、指向性スピーカ２００のうち可動部２２０の異常に先立って固定部２１０の異常を検出することができる。

【0068】

＜第２実施形態＞
上述した第１実施形態は、指向性スピーカ２００が写っている撮像画像のみを用いて異常を検出する例である。しかしながら、第２実施形態として、指向性スピーカ２００が写っている撮像画像と指向性スピーカ２００から出力される音声との両方を用いて異常を検出する例も考えられる。なお、第２実施形態では、前提として、監視カメラ４００Ａが、指向性スピーカ２００から出力される音声を受信するマイクのようなハードウェアを備えているものとする。

【0069】

図９は、第２実施形態にかかる指向性スピーカ２００と監視カメラ４００Ａとの位置関係を示した例示的かつ模式的な図である。

【0070】

図９に示されるように、第２実施形態では、指向性スピーカ２００と監視カメラ４００Ａとが、指向性スピーカ２００から出力される音声が届く範囲Ｒ９００内に監視カメラ４００Ａが入り込むような位置関係で設けられている。また、第２実施形態では、上述した第１実施形態と同様に、指向性スピーカ２００と監視カメラ４００Ａとが、指向性スピーカ２００が監視カメラ４００Ａの視野Ｒ３００（図９には不図示、図３参照）に入り込むような位置関係で設けられている。

【0071】

これにより、たとえば固定部２１０の天井への設置の外れおよび可動部２２０の作動不良などのような異常が発生した場合、当該異常に関する情報は、監視カメラ４００Ａの位置での指向性スピーカ２００からの音声の聞こえ方と、監視カメラ４００Ａにより取得される撮像画像における指向性スピーカ２００の写り込み方と、に表れることになる。そこで、第２実施形態は、次の図１０に示されるような構成を有するホスト装置１０００により、監視カメラ４００Ａにより取得される撮像画像および指向性スピーカ２００からの音声の両方に基づいて、指向性スピーカ２００の異常を検出可能に構成されている。

【0072】

図１０は、第２実施形態にかかるホスト装置１０００の構成を示した例示的かつ模式的なブロック図である。

【0073】

図１０に示されるように、第２実施形態にかかるホスト装置１０００は、画像取得部１０１０と、音声取得部１０２０と、不審者検出部１０３０と、スピーカ制御部１０４０と、異常検出部１０５０と、を備えている。なお、画像取得部１０１０、不審者検出部１０３０、およびスピーカ制御部１０４０は、それぞれ、上述した第１実施形態（図４参照）にかかる画像取得部１１０、不審者検出部１２０、およびスピーカ制御部１３０と同様であるため、以下では音声取得部１０２０および異常検出部１０５０に絞って説明する。

【0074】

音声取得部１０２０は、監視カメラ４００Ａのマイク（不図示）が受信する音声を取得する。第２実施形態では、上記のように、指向性スピーカ２００から出力される音声が届く範囲Ｒ９００内に監視カメラ４００Ａが設けられているため、音声取得部１０２０は、監視カメラ４００Ａが受信する指向性スピーカ２００からの音声を取得することができる。

【0075】

そして、異常検出部１０５０は、画像取得部１０１０により取得される撮像画像と、音声取得部１０２０により取得される音声と、の両方に基づいて、固定部２１０の設置の外れおよび可動部２２０の作動不良などのような指向性スピーカ２００の異常を検出可能に構成されている。

【0076】

より具体的に、異常検出部１０５０は、まず、上述した第１実施形態と同様に、スピーカ制御部１０４０を介して、指向性スピーカ２００の可動部２２０が所定の位置に移動するように可動部２２０の制御を行う。そして、異常検出部１０５０は、当該制御の完了後に画像取得部１１０により取得される撮像画像に写っている指向性スピーカ２００のマーカＭ２０１～Ｍ２０３の位置を示す情報と、可動部２２０が所定の位置に正常に移動したときにおける撮像画像内のマーカＭ２０１～Ｍ２０３の位置に関して予め設定された情報と、の比較に基づいて、指向性スピーカ２００の異常を検出しうる。

【0077】

さらに、異常検出部１０５０は、スピーカ制御部１０４０を介して、可動部２２０を所定の位置に移動させる上記の制御とともに、出力部２３０に異常検出用に予め決められた音声（以下、所定の音声と表現する）を出力させる制御も行いうる。そして、異常検出部１０５０は、当該出力部２３０の制御の完了後に音声取得部１０２０により取得される所定の音声に関する情報と、可動部２２０が所定の位置に正常に移動したときに出力部２３０から監視カメラ４００Ａに届く所定の音声に関して予め設定された情報と、の比較に基づいて、指向性スピーカ２００の異常を検出しうる。

【0078】

なお、図１０では、可動部２２０が所定の位置に正常に移動したときにおける撮像画像内のマーカＭ２０１～Ｍ２０３の位置に関して予め設定された情報が、「正常時におけるマーカの位置」として図示されているとともに、可動部２２０が所定の位置に正常に移動したときに出力部２３０から監視カメラ４００Ａに届く所定の音声に関して予め設定された情報が、「正常時における音声」として図示されている。

【0079】

次に、第２実施形態にかかるホスト装置１０００が実行する処理について説明する。撮像画像に基づいて異常を検出するための処理の流れについては上述した第１実施形態（図８参照）で既に説明したため、以下では、説明の便宜上、第２実施形態において実行される上述した第１実施形態とは異なる処理としての、音声に基づいて異常を検出するための処理に絞って説明する。

【0080】

図１１は、第２実施形態にかかるホスト装置１０００が音声を用いて異常を検出するために実行する一連の処理を示した例示的なフローチャートである。

【0081】

図１１に示されるように、第２実施形態では、まず、Ｓ１１０１において、ホスト装置１０００の異常検出部１０５０は、スピーカ制御部１０４０を介して、指向性スピーカ２００の可動部２２０が所定の位置に移動するように可動部２２０の制御を行う。

【0082】

そして、Ｓ１１０２において、異常検出部１０５０は、スピーカ制御部１０４０を介して、指向性スピーカ２００の出力部２３０が所定の音声を出力するように出力部２３０の制御を行う。

【0083】

そして、Ｓ１１０３において、異常検出部１０５０は、音声取得部１０２０を介して、監視カメラ４００Ａのマイク（不図示）により受信される指向性スピーカ２００からの所定の音声を取得する。

【0084】

そして、Ｓ１１０４において、異常検出部１０５０は、Ｓ１１０３で取得された情報が、可動部２２０が所定の位置に正常に移動したときに出力部２３０から監視カメラ４００Ａに届く所定の音声に関して予め設定された情報と整合するか否かを判定する。

【0085】

Ｓ１１０４において、Ｓ１１０３で取得された情報が予め設定された情報と整合しないと判定された場合、指向性スピーカ２００に異常が発生していると判定することができる。したがって、この場合、Ｓ１１０５に処理が進み、異常検出部１０５０は、異常を出力する。そして、処理が終了する。

【0086】

一方、Ｓ１１０４において、Ｓ１１０３で検出された情報が予め設定された情報と整合すると判定された場合、（少なくとも音声の観点では、）指向性スピーカ２００に異常が発生していないと判定することができる。したがって、この場合、上記のＳ１１０５のような異常の出力が実行されることなく、そのまま処理が終了する。

【0087】

＜第３実施形態＞
上述した第２実施形態は、指向性スピーカ２００が写っている撮像画像と、指向性スピーカ２００から出力される音声と、の両方を用いて異常を検出可能な例である。しかしながら、第３実施形態として、指向性スピーカ２００から出力される音声のみを用いて異常を検出する例も考えられる。このため、第３実施形態では、上述した第２実施形態と同様に、音声を受信するマイクのようなハードウェアを備えた監視カメラ４００Ａを用いる必要はあるが、上述した第２実施形態と異なり、マーカＭ２０１～Ｍ２０３（図９参照）を含まないより簡単な構成の指向性スピーカ２００Ａを用いることができる。以下では、簡単化のため、第３実施形態にかかる指向性スピーカ２００Ａの構成が、上述した第２実施形態にかかる指向性スピーカ２００からマーカＭ２０１～Ｍ２０３を取り除いた構成に相当するものとして説明する。

【0088】

図１２は、第３実施形態にかかる指向性スピーカ２００Ａと監視カメラ４００Ａとの位置関係を示した例示的かつ模式的な図である。

【0089】

図９に示されるように、第２実施形態では、指向性スピーカ２００Ａと監視カメラ４００Ａとが、指向性スピーカ２００から出力される音声が届く範囲Ｒ１２００内に監視カメラ４００Ａが入り込むような位置関係で設けられている。これにより、たとえば固定部２１０の天井への設置の外れおよび可動部２２０の作動不良などのような異常が発生した場合、当該異常に関する情報は、監視カメラ４００Ａの位置での指向性スピーカ２００Ａからの音声の聞こえ方に表れることになる。そこで、第３実施形態は、次の図１３に示されるような構成を有するホスト装置１３００により、監視カメラ４００Ａにより取得される指向性スピーカ２００Ａからの音声に基づいて、指向性スピーカ２００Ａの異常を検出するように構成されている。

【0090】

図１３は、第３実施形態にかかるホスト装置１３００の構成を示した例示的かつ模式的なブロック図である。

【0091】

図１３に示されるように、第３実施形態にかかるホスト装置１３００は、画像取得部１３１０と、音声取得部１３２０と、不審者検出部１３３０と、スピーカ制御部１３４０と、異常検出部１３５０と、を備えている。なお、画像取得部１３１０、音声取得部１３２０、不審者検出部１３３０、およびスピーカ制御部１３４０は、それぞれ、上述した第２実施形態（図１０参照）にかかる画像取得部１０１０、音声取得部１０２０、不審者検出部１０３０、およびスピーカ制御部１０４０と同様であるため、以下では異常検出部１３５０に絞って説明する。

【0092】

第３実施形態にかかる異常検出部１３５０は、上述した第２実施形態（図１０参照）にかかる異常検出部１０５０から、画像取得部１０１０により取得される撮像画像を用いて異常を検出する機能を除いた構成に相当する。すなわち、異常検出部１３５０は、スピーカ制御部１３４０を介して、指向性スピーカ２００Ａの可動部２２０が異常検出用の所定の位置に移動するように可動部２２０の制御を行うとともに、指向性スピーカ２００Ａの出力部２３０が異常検出用の所定の音声を出力するように出力部２３０の制御を行う。そして、異常検出部１３５０は、当該出力部２３０の制御の完了後に音声取得部１３２０により取得される所定の音声に関する情報と、可動部２２０が所定の位置に正常に移動したときに出力部２３０から監視カメラ４００Ａに届く所定の音声に関して予め設定された情報と、の比較に基づいて、指向性スピーカ２００の異常を検出する。

【0093】

なお、第３実施形態にかかるホスト装置１３００が指向性スピーカ２００Ａの異常を検出するために実行する一連の処理の流れは、上述した第２実施形態と同様（図１１参照）である。

【0094】

＜ハードウェア構成＞
最後に、上述した第１～第３実施形態にかかるホスト装置１００、１０００、および１３００のハードウェア構成について説明する。ホスト装置１００、１０００、および１３００は、たとえば次の図１４に示されるようなハードウェア構成を有するコンピュータ１４００として構成される。

【0095】

図１４は、第１～第３実施形態にかかるホスト装置１００、１０００、および１３００を構成するコンピュータ１４００のハードウェア構成を示した例示的かつ模式的なブロック図である。

【0096】

図１４に示されるように、コンピュータ１４００は、プロセッサ１４１０と、メモリ１４２０と、ストレージ１４３０と、入出力インターフェース（Ｉ／Ｆ）１４４０と、通信インターフェース（Ｉ／Ｆ）１４５０と、を備えている。これらのハードウェアは、バス１４６０に接続されている。

【0097】

プロセッサ１４１０は、たとえばＣＰＵ（Central Processing Unit）として構成され、コンピュータ１４００の各部の動作を統括的に制御する。

【0098】

メモリ１４２０は、たとえばＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含み、プロセッサ１４１０により実行されるプログラムなどの各種のデータの揮発的または不揮発的な記憶、およびプロセッサ１４１０がプログラムを実行するための作業領域の提供などを実現する。

【0099】

ストレージ１４３０は、たとえばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）を含み、各種のデータを不揮発的に記憶する。

【0100】

入出力インターフェース１４４０は、たとえばキーボードおよびマウスなどのような入力装置（不図示）からコンピュータ１４００へのデータの入力と、たとえばコンピュータ１４００からディスプレイおよびスピーカなどのような出力装置（不図示）へのデータの出力と、を制御する。

【0101】

通信インターフェース１４５０は、コンピュータ１４００が他の装置と通信を実行することを可能にする。

【0102】

実施形態において、第１実施形態にかかるホスト装置１００が有する図４に示される構成（機能モジュール群）は、プロセッサ１４１０がメモリ１４２０またはストレージ１４３０などに記憶された情報処理プログラムを実行した結果として、ハードウェアとソフトウェアとの協働による機能モジュールとして実現される。ただし、第１実施形態では、図４に示される機能モジュール群のうち少なくとも一部が、専用のハードウェアのみによって実現されてもよい。第２実施形態にかかるホスト装置１０００が有する図１０に示される機能モジュール群と、第３実施形態にかかるホスト装置１３００が有する図１３に示される機能モジュール群と、についても同様のことが言える。

【0103】

なお、上述した情報処理プログラムは、必ずしもメモリ１４２０またはストレージ１４３０に予め記憶されている必要はない。たとえば、上述した情報処理プログラムは、フレキシブルディスク（ＦＤ）のような各種の磁気ディスク、またはＤＶＤ（Digital Versatile Disk）のような各種の光ディスクなどといった、コンピュータで読み取り可能な記録媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。

【0104】

また、上述した情報処理プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、上述した情報処理プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。

【0105】

以上、本開示のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0106】

１００、１０００、１３００ホスト装置（情報処理装置）
１１０、１０１０画像取得部
１０２０、１３２０音声取得部
１４０、１０５０、１３５０異常検出部
２００、２００Ａ指向性スピーカ（音声出力装置）
２１０固定部
２２０可動部
２３０出力部
４００、４００Ａ監視カメラ（撮像装置）
Ｍ２０１マーカ（第１のマーカ）
Ｍ２０２、Ｍ２０３マーカ（第２のマーカ）

【図1】