特開 2025-7980 認識システム、認識装置、認識方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025007980

(43)【公開日】2025-01-20

(54)【発明の名称】認識システム、認識装置、認識方法、およびプログラム

(51)【国際特許分類】

   G08C 15/00 20060101AFI20250109BHJP

   G08B 25/04 20060101ALI20250109BHJP

【ＦＩ】

G08C15/00 D

G08B25/04 E

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023109763

(22)【出願日】2023-07-04

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】305027401

【氏名又は名称】東京都公立大学法人

(74)【代理人】

【識別番号】100121706

【弁理士】

【氏名又は名称】中尾 直樹

(74)【代理人】

【識別番号】100128705

【弁理士】

【氏名又は名称】中村 幸雄

(74)【代理人】

【識別番号】100147773

【弁理士】

【氏名又は名称】義村 宗洋

(72)【発明者】

【氏名】安田 昌弘

(72)【発明者】

【氏名】小野 順貴

【テーマコード（参考）】

2F073

5C087

【Ｆターム（参考）】

2F073AA11

2F073AA19

2F073AA40

2F073AB01

2F073AB04

2F073BB01

2F073BB04

2F073BB07

2F073BC01

2F073BC02

2F073BC04

2F073BC05

2F073CC01

2F073CC07

2F073CC08

2F073CC12

2F073CC14

2F073CD05

2F073CD11

2F073DD02

2F073DE02

2F073DE06

2F073DE13

2F073EE01

2F073EE16

2F073EF08

2F073FF01

2F073FF12

2F073FG01

2F073FG02

2F073FG11

2F073GG01

2F073GG08

5C087AA12

5C087DD03

5C087DD05

5C087DD31

5C087EE14

5C087FF01

5C087FF02

5C087FF04

5C087GG02

(57)【要約】

【課題】広範囲の環境を認識するために、必要なときに、必要な場所に設置したセンサを稼働させることで、消費電力と計算リソースを抑え、確認するための人的コストを抑えることができる認識装置等を提供する。
【解決手段】認識装置は、カメラを用いて複数の音光変換装置に対応する発光素子を撮影し、映像データを取得する映像取得部と、映像データに含まれる複数の音光変換装置に対応する発光素子の光情報に基づいて、所定の発光パターンを発した音光変換装置を特定し、特定した音光変換装置に対応するエリアのセンサにウェイクアップ信号を送信する特定部と、ウェイクアップ信号を受信したセンサからそのセンサで取得したデータを受信し、そのセンサで取得したデータに基づいて、環境を認識するための処理を実行する認識部とを含む。
【選択図】図５

【特許請求の範囲】

【請求項1】

複数の音光変換装置と、認識装置と、複数のセンサとを含む認識システムであって、
各前記音光変換装置は、
マイクを用いて周囲の音を収音し、音響信号を取得する音響信号取得部と、
前記音響信号を用いて、音響信号に基づく情報を入力として、所定のイベントが発生したか否かを示す検出結果を出力する検出モデルにより、所定のイベントを検出する検出部と、
検出結果が所定のイベントが発生したことを示す場合、所定の発光パターンで発光素子を発光させる発光部とを含み、
前記認識装置は、
カメラを用いて前記複数の音光変換装置に対応する発光素子を撮影し、映像データを取得する映像取得部と、
前記映像データに含まれる前記複数の音光変換装置に対応する前記発光素子の光情報に基づいて、所定の発光パターンを発した音光変換装置を特定し、特定した音光変換装置に対応するエリアのセンサにウェイクアップ信号を送信する特定部と、
ウェイクアップ信号を受信したセンサからそのセンサで取得したデータを受信し、そのセンサで取得したデータに基づいて、環境を認識するための処理を実行する認識部とを含む、
認識システム。

【請求項2】

広範囲環境認識を行う認識装置であって、
音光変換装置は、周囲の音を収音した音響信号を用いて所定のイベントを検出した場合、所定の発光パターンで発光素子を発光させるものとし、
カメラを用いて複数の音光変換装置に対応する発光素子を撮影し、映像データを取得する映像取得部と、
前記映像データに含まれる前記複数の音光変換装置に対応する前記発光素子の光情報に基づいて、所定の発光パターンを発した音光変換装置を特定し、特定した音光変換装置に対応するエリアのセンサにウェイクアップ信号を送信する特定部と、
ウェイクアップ信号を受信したセンサからそのセンサで取得したデータを受信し、そのセンサで取得したデータに基づいて、環境を認識するための処理を実行する認識部とを含む、
認識装置。

【請求項3】

複数の音光変換装置と、認識装置と、複数のセンサとを用いる認識方法であって、
各前記音光変換装置が、マイクを用いて周囲の音を収音し、音響信号を取得する音響信号取得ステップと、
各前記音光変換装置が、前記音響信号を用いて、音響信号に基づく情報を入力として、所定のイベントが発生したか否かを示す検出結果を出力する検出モデルにより、所定のイベントを検出する検出ステップと、
各前記音光変換装置が、検出結果が所定のイベントが発生したことを示す場合、所定の発光パターンで発光素子を発光させる発光ステップと、
前記認識装置が、カメラを用いて前記複数の音光変換装置に対応する発光素子を撮影し、映像データを取得する映像取得ステップと、
前記認識装置が、前記映像データに含まれる前記複数の音光変換装置に対応する前記発光素子の光情報に基づいて、所定の発光パターンを発した音光変換装置を特定し、特定した音光変換装置に対応するエリアのセンサにウェイクアップ信号を送信する特定ステップと、
前記認識装置が、ウェイクアップ信号を受信したセンサからそのセンサで取得したデータを受信し、そのセンサで取得したデータに基づいて、環境を認識するための処理を実行する認識ステップとを含む、
認識方法。

【請求項4】

請求項２の認識装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、広範囲環境認識技術に関する。

【背景技術】

【0002】

広範囲環境認識とは、都市全体などの非常に広い範囲にわたって、人物やその周辺の機械等の活動を自動的に検出する問題である。これが実現出来れば、不審な人物の行動を事前に捉えることによる犯罪抑止や、急病人の自動検出による救命活動の迅速化、遠隔地の街の情報を今そこにいるかのように感じることのできるメタバースアプリケーションといったさまざまな応用が考えられる。

【0003】

現在までのところ、このような広範囲な環境認識技術は警備の用途で実用化されており、街中に設置された多数の監視カメラを目視により監視することにより、犯罪の兆候を事前に察知することや、犯罪の証拠を保存することに役立てている。人による監視だけではなく、カメラから得られる情報を使って、自動的に不審な行動を自動検出する技術も実応用がはじまっている。さらに、複数の分散したセンサを組み合わせることによって、より精度良く網羅的に人の活動を捉えることも検討されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０２３０１３０４３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の広範囲環境認識装置は、基本的に全てのセンサを常に稼働させることを想定している。しかしながら、分散センサを組み合わせた環境認識といった技術の登場に合わせて、今後センサの設置を増やすことを考えると、このような常時稼働型のシステムは大きな電力消費を必要とする。特に、センサ情報から目的の行動を自動検出するようなシステムでは深層学習モデルなどの大きな計算リソースを必要とするものも利用されはじめており、より多くの電力を消費することが見込まれる。さらに、目視による監視を行う場合にも、多くのセンサを確認するためには多くの人手を必要とするため、多数のセンサを設置したとしてもそれらを十分に活用することは難しい。

【0006】

本発明は、広範囲の環境を認識するために、必要なときに、必要な場所に設置したセンサを稼働させることで、消費電力と計算リソースを抑え、確認するための人的コストを抑えることができる認識システム、認識装置、認識方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一態様によれば、認識システムは、複数の音光変換装置と、認識装置と、複数のセンサとを含む。各音光変換装置は、マイクを用いて周囲の音を収音し、音響信号を取得する音響信号取得部と、音響信号を用いて、音響信号に基づく情報を入力として、所定のイベントが発生したか否かを示す検出結果を出力する検出モデルにより、所定のイベントを検出する検出部と、検出結果が所定のイベントが発生したことを示す場合、所定の発光パターンで発光素子を発光させる発光部とを含む。認識装置は、カメラを用いて複数の音光変換装置に対応する発光素子を撮影し、映像データを取得する映像取得部と、映像データに含まれる複数の音光変換装置に対応する発光素子の光情報に基づいて、所定の発光パターンを発した音光変換装置を特定し、特定した音光変換装置に対応するエリアのセンサにウェイクアップ信号を送信する特定部と、ウェイクアップ信号を受信したセンサからそのセンサで取得したデータを受信し、そのセンサで取得したデータに基づいて、環境を認識するための処理を実行する認識部とを含む。

【0008】

上記の課題を解決するために、本発明の他の態様によれば、認識装置は、広範囲環境認識を行う。音光変換装置は、周囲の音を収音した音響信号を用いて所定のイベントを検出した場合、所定の発光パターンで発光素子を発光させるものとし、認識装置は、カメラを用いて複数の音光変換装置に対応する発光素子を撮影し、映像データを取得する映像取得部と、映像データに含まれる複数の音光変換装置に対応する発光素子の光情報に基づいて、所定の発光パターンを発した音光変換装置を特定し、特定した音光変換装置に対応するエリアのセンサにウェイクアップ信号を送信する特定部と、ウェイクアップ信号を受信したセンサからそのセンサで取得したデータを受信し、そのセンサで取得したデータに基づいて、環境を認識するための処理を実行する認識部とを含む。

【0009】

上記の課題を解決するために、本発明の他の態様によれば、認識方法は、複数の音光変換装置と、認識装置と、複数のセンサとを用いる。認識方法は、各音光変換装置が、マイクを用いて周囲の音を収音し、音響信号を取得する音響信号取得ステップと、各音光変換装置が、音響信号を用いて、音響信号に基づく情報を入力として、所定のイベントが発生したか否かを示す検出結果を出力する検出モデルにより、所定のイベントを検出する検出ステップと、各音光変換装置が、検出結果が所定のイベントが発生したことを示す場合、所定の発光パターンで発光素子を発光させる発光ステップと、認識装置が、カメラを用いて複数の音光変換装置に対応する発光素子を撮影し、映像データを取得する映像取得ステップと、認識装置が、映像データに含まれる複数の音光変換装置に対応する発光素子の光情報に基づいて、所定の発光パターンを発した音光変換装置を特定し、特定した音光変換装置に対応するエリアのセンサにウェイクアップ信号を送信する特定ステップと、認識装置が、ウェイクアップ信号を受信したセンサからそのセンサで取得したデータを受信し、そのセンサで取得したデータに基づいて、環境を認識するための処理を実行する認識ステップとを含む。

【発明の効果】

【0010】

本発明によれば、消費電力と計算リソースを抑え、確認するための人的コストを抑えることができるという効果を奏する。

【図面の簡単な説明】

【0011】

【図1】第一実施形態に係る広範囲環境認識システムの構成例を示す図。

【図2】第一実施形態に係る音光変換装置とカメラとセンサの配置例を示す図。

【図3】第一実施形態に係る広範囲環境認識システムの処理フローの例を示す図。

【図4】音光変換装置の機能ブロック図。

【図5】認識装置の機能ブロック図。

【図6】本手法を適用するコンピュータの構成例を示す図。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。

【0013】

＜第一実施形態のポイント＞
本実施形態の広範囲環境認識システムでは、音光変換装置をシステムウェイクアップに用いる。なお、音光変換装置は、音信号を観測すると、それに応じた光を発する装置である。本実施形態では、環境認識を行うべき対象の周囲では、通常時とは異なる音が鳴るはずであると考えた。そこで本システムでは、環境認識の対象とする空間内において疎に音光変換装置を配置し、通常時と一定以上異なる音響信号が得られたときに発光するように設定する。この光を遠方に設置した少数のカメラを用いて捉えることによって、認識すべき対象の存在する区域を限定する。つまり、音光変換装置の発する光をトリガーとして、その周辺のセンサ群をウェイクアップさせることにより、認識したい対象が存在する場所、存在する時刻においてのみ効率的に多数のセンサ系を活用した環境認識を行うことが可能になる。

【0014】

音光変換装置をシステムウェイクアップに用いることで、広範囲環境認識において必要な時刻および場所のセンサのみを駆動することが可能になるため、電力消費を抑えることが可能となる。さらに、この機構によって節約された電力消費量、計算リソースを割り当てることによって、より多くのセンサを用いた高精度な環境認識を実現することも可能となることが期待される。

【0015】

＜第一実施形態＞
図１は、第一実施形態に係る広範囲環境認識システムの構成例を示す。

【0016】

広範囲環境認識システムは、認識装置２００と、N台の音光変換装置１００－（ｋ，ｍ）と、Q台のセンサ３００－（ｋ，ｍ，ｐ）とを含む。なお、認識装置２００は、K台のカメラ９０－ｋを用いて映像データを取得する。k番目のカメラ９０－ｋを用いて取得する映像データには、n_k台の音光変換装置１００－（ｋ，ｍ）に対応する発光素子が映るようにカメラ９０－ｋを設置する。音光変換装置１００－（ｋ，ｍ）に対応するマイクの周辺にq_k,m台のセンサ３００－（ｋ，ｍ，ｐ）が配置される。k=1,2,…,K、m=1,2,…,n_k、p=1,2,…,q_k,mとし、

【数1】

【数2】

とする。

【0017】

図２は、音光変換装置１００－（ｋ，ｍ）とカメラ９０－ｋとセンサ３００－（ｋ，ｍ，ｐ）の配置例を示す。なお、音光変換装置１００－（ｋ，ｍ）が発光素子を点灯または消灯させ、カメラ９０－ｋを用いて発光素子の映像データを取得することで、光変換装置１００－（ｋ，ｍ）は光情報を認識装置２００に送信することができる。光情報とは、例えば、点灯または消灯を示す情報である。例えば、点灯状態を１とし、消灯状態を０とする信号を光情報で表現することができる。一方、認識装置２００からn_k台の音光変換装置１００－（ｋ，ｍ）に情報を送信することはできなくともよい。また、音光変換装置１００－（ｋ，ｍ）と認識装置２００とは他の無線通信等を利用することはできなくともよく、有線接続はされていなくともよい。また、認識装置２００とQ台のセンサ３００－（ｋ，ｍ，ｐ）とは、無線または有線で通信可能に接続されており、認識装置２００はセンサ３００－（ｋ，ｍ，ｐ）にウェイクアップ信号を送信することができ、センサ３００－（ｋ，ｍ，ｐ）はそのセンサで取得したデータ（以下「センサ情報」ともいう）を認識装置２００に送信することができる。図２の黒丸は音光変換装置１００－（ｋ，ｍ）の位置を表し、図２の白丸はセンサ３００－（ｋ，ｍ，ｐ）の位置を表す。図２の例では、K＝4であり、n₁=3であり、q_1,1=4である。広範囲環境認識の対象となるエリアにおいて発生する音をマイクで満遍なく収音できるようにN台の音光変換装置１００－（ｋ，ｍ）が配置される。同時に、所定のイベントが発生したときに生じる音の音量の最小値において、ある音光変換装置に対応するマイクが収音する音と、他の音光変換装置に対応するマイクが収音する音とが、同一の音源に由来するものとならないように、N台の音光変換装置１００－（ｋ，ｍ）が疎に配置されることが望ましい。

【0018】

音光変換装置１００－（ｋ，ｍ）は、マイクを用いて周囲の音を収音し、所定のイベントが発生したときに生じる音を収音したときに、所定の発光パターンで発光素子を発光させる。

【0019】

認識装置２００は、所定の発光パターンを受信すると、所定の発光パターンを発した音光変換装置１００－（ｋ，ｍ）に対応するエリアのq_k,m台のセンサ３００－（ｋ，ｍ，ｐ）にウェイクアップ信号を送信し、起動後のセンサ３００－（ｋ，ｍ，ｐ）で取得したセンサ情報ｘ（ｋ，ｍ，ｐ）を受信する。例えば、「センサ情報」は、センサがマイクである場合には、マイクで取得された音信号のことである。また、「センサ情報」は、センサがカメラである場合には、カメラで取得された映像信号のことである。

【0020】

認識装置２００は、q_k,m個のセンサ情報ｘ（ｋ，ｍ，ｐ）に基づいて、イベント検出等の環境を認識するための処理を実行し、認識結果を出力する。

【0021】

音光変換装置１００－（ｋ，ｍ）および認識装置２００は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。音光変換装置１００－（ｋ，ｍ）および認識装置２００は、例えば、中央演算処理装置の制御のもとで各処理を実行する。音光変換装置１００－（ｋ，ｍ）および認識装置２００に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。音光変換装置１００－（ｋ，ｍ）および認識装置２００の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。音光変換装置１００－（ｋ，ｍ）および認識装置２００が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも音光変換装置１００－（ｋ，ｍ）および認識装置２００がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、音光変換装置１００－（ｋ，ｍ）および認識装置２００の外部に備える構成としてもよい。

【0022】

図３は、広範囲環境認識システムの処理フローを示す。図３を用いて、各装置の処理について説明する。

【0023】

＜音光変換装置１００－（ｋ，ｍ）＞
図４は、音光変換装置１００－（ｋ，ｍ）の機能ブロック図を示す。音光変換装置１００－（ｋ，ｍ）は、音響信号取得部１１０と、検出部１２０と、発光部１３０とを含む。

【0024】

（音響信号取得部１１０）
音響信号取得部１１０は、単チャネルまたはマルチチャネルのマイクを用いて周囲の音を収音し、音響信号を取得し（Ｓ１１０）、出力する。なお、音響信号取得部１１０は、単チャネルまたはマルチチャネルのマイクを含んでもよいし、外部の単チャネルまたはマルチチャネルのマイクが出力する音響信号を受信する構成としてもよい。

【0025】

（検出部１２０）
検出部１２０は、音響信号を入力とし、検出モデルにより、所定のイベントを検出し（Ｓ１２０）、検出結果を出力する。検出モデルは、音響信号に基づく情報(例えば音響信号自体であってもよいし、音響信号から抽出される音響特徴量(例えばMFCC等)であってもよい)を入力として、所定のイベントが発生したか否かを示す検出結果を出力するモデルである。例えば、所定のイベントを異常音の発生として、例えば、既存の異常音検知技術を用いることができる（例えば参考文献１参照）。
（参考文献１）特開２０１９－０３６１１２号公報

【0026】

（発光部１３０）
発光部１３０は、検出結果を入力とし、検出結果が所定のイベントが発生したことを示す場合、所定の発光パターンで単一または複数の発光素子を発光させる（Ｓ１３０）。なお、発光部１３０は、単一または複数の発光素子を含んでもよいし、外部の単一または複数の発光素子に所定の発光パターンに対応する電気信号を出力する構成としてもよい。例えば、検出結果が所定のイベントが発生したことを示す場合、発光素子を点灯させ、検出結果が所定のイベントが発生していないことを示す場合、発光素子を消灯させる。

【0027】

なお、検出部１２０と発光部１３０の処理を合わせて音光変換アルゴリズムともいう。なお、音光変換アルゴリズムは、観測すべきイベント（所定のイベント）が起こったときに光を発光させるアルゴリズムとも言える。

【0028】

例えば、街灯を発光素子として利用し、街灯のポール部分にマイクを埋め込むことができる。例えば、人間が点滅を識別できない速さで発光素子を点滅させる（発光素子の消灯状態を50msよりも短い時間とする）ことで、街灯の周辺の人に気付かれずに光情報を認識装置２００に送信することができる。犯罪の兆候を事前に察知することや、犯罪の証拠を保存することを目的とする場合、街灯の周辺にいる犯罪を行おうとするものや犯罪者(以下「犯罪者等」ともいう)に、その後、マイクで収音することやカメラで撮影することを悟られたくないので、このような構成が有効である。逆に、街灯の周辺の人が思わず街灯を見てしまうような、通常の街灯とは明らかに異なる発光パターンで街灯を点滅させることで、光情報を認識装置２００に送信するとともに周辺の注目を集めることができる。犯罪の予防や中止を目的とする場合、犯罪者等は、注目されることを避けるため、このような構成が有効である。しかし、実際の環境認識は、センサ情報を用いて行う必要がある。
＜認識装置２００＞
図５は、認識装置２００の機能ブロック図を示す。認識装置２００は、映像取得部２１０と、特定部２２０と、認識部２３０とを含む。

【0029】

（映像取得部２１０）
映像取得部２１０は、n_k台の音光変換装置１００－（ｋ，ｍ）を一度に捉えることの出来るように遠くに設置した単一または複数のカメラ９０－ｋを用いて、n_k台の音光変換装置１００－（ｋ，ｍ）に対応する発光素子を撮影し、映像データを取得し（Ｓ２１０）、出力する。前述の通り、k=1,2,…,Kであり、映像取得部２１０は、K台のカメラ９０－ｋから合計N台の音光変換装置１００－（ｋ，ｍ）に対応する発光素子を撮影した映像データを取得する。なお、映像取得部２１０は、単一または複数のカメラ９０－ｋを含んでもよいし、外部の単一または複数のカメラ９０－ｋが出力する映像データを受信する構成としてもよい。例えば、ドローンなどの飛行体や建物の屋上等に単一または複数のカメラ９０－ｋを設置することができる。

【0030】

（特定部２２０）
特定部２２０は、映像データを入力とし、映像データに含まれる合計N台の音光変換装置１００－（ｋ，ｍ）に対応する発光素子の光情報に基づいて、所定の発光パターンを発した音光変換装置１００－（ｋ，ｍ）を特定し（Ｓ２２０）、特定した音光変換装置１００－（ｋ’，ｍ’）に対応するエリアのq_k',m'台のセンサ３００－（ｋ’，ｍ’，ｐ）にウェイクアップ信号を送信する（Ｓ２２１）。なお、ｋ’は所定の発光パターンを発した発光素子を捉えた映像データに対応するカメラを示す番号であり、ｍ’はk'番目のカメラ９０－ｋ’の映像データに映る所定の発光パターンを発した発光素子に対応する音光変換装置を示す番号である。特定した音光変換装置１００－（ｋ’，ｍ’）に対応するエリアは、特定した音光変換装置１００－（ｋ’，ｍ’）に対応するマイクの周辺である。なお、所定の発光パターンを発する発光素子に対応する音光変換装置１００－（ｋ，ｍ）は1台に限らず、所定の発光パターンを発する発光素子に対応する音光変換装置がないときもあれば、2台以上の場合もある。例えば、所定のイベントが発生したときに生じる音の音量が大きい場合には、2台以上の音光変換装置１００－（ｋ，ｍ）が特定される場合もある。

【0031】

例えば、建物の屋上等にカメラ９０－ｋが設置されている場合、映像データにおける音光変換装置１００－（ｋ，ｍ）に対応する発光素子が映っている領域は変わらないため、特定部２２０は、その領域の映像データから光情報を取得する。また、例えば、ドローンなどの飛行体にカメラ９０－ｋを設置されている場合、映像データにおける音光変換装置１００－（ｋ，ｍ）に対応する発光素子の領域は変化するため、特定部２２０は、音光変換装置１００－（ｋ，ｍ）に対応する発光素子の位置情報と、時刻ごとのカメラ９０－ｋの位置、高度および向き、視野角等を示す情報とを用いて、映像データにおける音光変換装置１００－（ｋ，ｍ）に対応する発光素子が映っている領域を時刻ごとに計算により求め、その領域の映像データから光情報を取得する。カメラ９０－ｋの位置、高度および向き、視野角等を示す情報は、例えば、ドローンなどの飛行体のセンサ情報を利用する。

【0032】

特定部２２０は、取得した光情報が所定の発光パターンと一致するか否かを判定し、一致する場合には、一致した光情報を発した発光素子に対応する音光変換装置１００－（ｋ，ｍ）を特定する。

【0033】

例えば、図示しない記憶部に音光変換装置１００－（ｋ，ｍ）と、その音光変換装置１００－（ｋ，ｍ）に対応するマイクの周辺にあるq_k,m台のセンサ３００－（ｋ，ｍ，ｐ）とを対応付けて記憶しておく。

【0034】

特定部２２０は、図示しない記憶部を参照して、特定した音光変換装置１００－（ｋ’，ｍ’）に対応するマイクの周辺にあるq_k',m'台のセンサ３００－（ｋ’，ｍ’，ｐ）を特定し、ウェイクアップ信号を送信する。

【0035】

（センサ３００－（ｋ，ｍ，ｐ））
q_k',m'台のセンサ３００－（ｋ’，ｍ’，ｐ）は、ウェイクアップ信号を受信すると、起動し、対象の情報の収集を開始し、センサ情報ｘ（ｋ’，ｍ’，ｐ）を取得し（Ｓ３００）、認識装置２００に送信する。ここでは、p=1,2,…,q_m',k'である。センサ３００－（ｋ，ｍ，ｐ）としては、所望の情報を収集し、機械が処理できる信号に置き換える素子や装置が考えられ、例えば、単一のまたは複数のマイク、単一のまたは複数のカメラ、マイクおよびカメラを含むデバイス等である。ウェイクアップ信号受信前のセンサ３００－（ｋ，ｍ，ｐ）は、待機状態であり、駆動状態に比べ消費電力を抑えることができる。待機状態のンサ３００－（ｋ，ｍ，ｐ）は、センサ情報を認識装置２００に送信せず、認識部２３０における計算リソースを抑えることができる。

【0036】

（認識部２３０）
認識部２３０は、q_k',m'個のセンサ情報ｘ（ｋ’，ｍ’，ｐ）を受信し、q_k',m'個のセンサ情報ｘ（ｋ’，ｍ’，ｐ）に基づいて、イベント検出等の環境を認識するための処理を実行し（Ｓ２３０）、認識結果を出力する。例えば、特許文献１の技術を用いて、認識部２３０はイベント検出等の環境認識タスクを実行する。

【0037】

＜効果＞
以上の構成により、広範囲環境認識において、消費電力と計算リソースを抑え、確認するための人的コストを抑えることができる。

【0038】

＜変形例＞
第一実施形態の図２では、ある1つの発光素子は何れか1つのカメラで撮影されるが、1つの発光素子が2つ以上のカメラで撮影される構成としてもよい。要は、映像データに映る発光素子の位置が分かればよい。
なお、本実施形態では、カメラ９０－ｋと音光変換装置１００－（ｋ，ｍ）とセンサ３００－（ｋ，ｍ，ｐ）と表記し、カメラと音光変換装置とセンサとが対応付けられているものとして表現しているが、音光変換装置とその音光変換装置に対応するマイクの周辺にあるセンサとが対応付けられていればよく、カメラとセンサとは必ずしも対応付けられていなくともよい。

【0039】

第一実施形態の図２では、ある１つのセンサ３００－（ｋ，ｍ，ｐ）は１つの音光変換装置１００－（ｋ，ｍ）に対応付けられているが、２つ以上の音光変換装置１００－（ｋ，ｍ）に対応するエリアの一部が重複しており、その重複部分に１つのセンサ３００－（ｋ，ｍ，ｐ）が配置されている場合には、１つのセンサ３００－（ｋ，ｍ，ｐ）が２つ以上の音光変換装置１００－（ｋ，ｍ）に対応付けられる構成としてもよい。

【0040】

第一実施形態では、所定の発光パターンは、所定のイベントが発生したことを示す発光パターンについてのみ説明しているが、他の情報を示す所定の発光パターンを用いてもよい。例えば、所定のイベントの種類や、所定のイベントが発生した方向や位置を示す発光パターンを、音光変換装置１００－（ｋ，ｍ）と認識装置２００との間で共有し、音光変換装置１００－（ｋ，ｍ）が発光素子を点灯または消灯させ、カメラ９０－ｋを用いて発光素子の映像データを取得することで、光変換装置１００－（ｋ，ｍ）は上述の情報を認識装置２００に送信することができる。所定のイベントの種類としては、例えば、自動車のクラクションの音やブレーキ音、悲鳴等が考えれる。所定のイベントが発生した方向や位置を示す情報を送信する場合には、周囲の音を収音するためのマイクとして指向性のあるマイクアレイ等を利用することが考えられる。また、ウェイクアップ信号を送信する際には、所定のイベントが発生した方向や位置に対応するセンサ３００－（ｋ，ｍ，ｐ）にのみウェイクアップ信号を送信する構成としてもよい。
第一実施形態では、光情報として、点灯または消灯を示す情報の例を示したが、これに限定されるものではなく、例えば、光情報は光強度を示す情報であってもよい。

【0041】

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

【0042】

＜プログラム及び記録媒体＞
上述の各種の処理は、図６に示すコンピュータ２０００の記録部２０２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０、表示部２０５０などに動作させることで実施できる。

【0043】

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

【0044】

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

【0045】

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

【0046】

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】