特開 2023-36262 通報装置、通報方法及び通報プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023036262

(43)【公開日】2023-03-14

(54)【発明の名称】通報装置、通報方法及び通報プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230307BHJP

【ＦＩ】

G08G1/16 F

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2021143218

(22)【出願日】2021-09-02

(71)【出願人】

【識別番号】391008559

【氏名又は名称】株式会社トランストロン

(74)【代理人】

【識別番号】100170070

【弁理士】

【氏名又は名称】坂田 ゆかり

(72)【発明者】

【氏名】大川 僚太

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB13

5H181CC04

5H181CC11

5H181FF04

5H181FF10

5H181FF13

5H181FF25

5H181FF27

5H181FF35

5H181LL07

5H181LL20

5H181MB07

5H181MB08

5H181MC19

(57)【要約】

【課題】既存の音声通信システムを用いて車室内の画像情報を送信することができる。
【解決手段】車両に搭載される通報装置である。車両に設けられており、車両の車室内の平面画像を取得する撮像部と、平面画像を音声信号に変換して第１音声信号を生成する変換部と、車両に設けられており、変換部により前記第１音声信号が生成されたら当該第１音声信号を送信する通信部と、を備える。
【選択図】 図１

【特許請求の範囲】

【請求項1】

車両に搭載される通報装置であって、
前記車両に設けられており、前記車両の車室内の平面画像を取得する撮像部と、
前記平面画像を音声信号に変換して第１音声信号を生成する変換部と、
前記車両に設けられており、前記第１音声信号を送信する通信部と、
を備えたことを特徴とする通報装置。

【請求項2】

前記平面画像の送信を要求する画像送信トリガを検出する画像送信トリガ検出部を備え、
前記変換部は、前記画像送信トリガが検出されたら前記第１音声信号を生成する
ことを特徴とする請求項１に記載の通報装置。

【請求項3】

前記画像送信トリガは、音であり、
前記通信部は、前記音を受信して前記画像送信トリガ検出部に出力し、
前記画像送信トリガ検出部は、前記音が検出されたときに前記画像送信トリガを検出したとする
ことを特徴とする請求項２に記載の通報装置。

【請求項4】

前記車室内に設けられたマイクロホンを備え、
前記画像送信トリガ検出部は、前記マイクロホンにより取得された音声から発話を検知し、所定時間発話が検知されなかった場合に前記画像送信トリガが検出されたとする
ことを特徴とする請求項２又は３に記載の通報装置。

【請求項5】

前記変換部は、実数が２次元配列された前記平面画像をスペクトログラムとし、当該スペクトログラムに位相情報を付加して複素数が２次元配列された複素数データを生成し、当該複素数データを逆フーリエ変換することにより前記第１音声信号を生成する
ことを特徴とする請求項１から４のいずれか一項に記載の通報装置。

【請求項6】

前記変換部は、前記位相情報を乱数を用いてランダムに生成する
ことを特徴とする請求項５に記載の通報装置。

【請求項7】

時系列データを取得する時系列データ取得部を備え、
前記変換部は、前記時系列データを音声信号に変換して第２音声信号を生成し、
前記通信部は、前記第２音声信号を送信する
ことを特徴とする請求項１から６のいずれか一項に記載の通報装置。

【請求項8】

前記変換部は、周波数範囲が音声帯域に収まるように前記時系列データをアナログ変調して前記第２音声信号を生成する
ことを特徴とする請求項７に記載の通報装置。

【請求項9】

前記時系列データ取得部は、心拍数、呼吸回数、血圧、血糖値、体温、動脈血酸素飽和度の少なくとも１つを含む生体情報を取得する生体情報取得部であり、
前記変換部は、前記生体情報を音声信号に変換して前記第２音声信号を生成する
ことを特徴とする請求項７又は８に記載の通報装置。

【請求項10】

心拍数、呼吸回数、血圧、血糖値、体温、動脈血酸素飽和度の少なくとも１つを含む生体情報を取得する生体情報取得部を備え、
前記画像送信トリガ検出部は、前記生体情報が第１閾値より小さい又は前記第１閾値より大きい第２閾値より大きいときに前記画像送信トリガが検出されたとする
ことを特徴とする請求項２から４のいずれか一項に記載の通報装置。

【請求項11】

前記撮像部は、前記平面画像を連続して撮像し、
前記変換部は、前記第１音声信号を連続して生成する
ことを特徴とする請求項１から１０のいずれか一項に記載の通報装置。

【請求項12】

車両の車室内の平面画像を撮像するステップと、
前記平面画像を音声信号に変換して第１音声信号を生成するステップと、
前記第１音声信号を送信するステップと、
を含むことを特徴とする通報方法。

【請求項13】

コンピュータを、
車両に設けられた撮像部により撮像された車室内の平面画像を音声信号に変換して第１音声信号を生成する変換部、
前記第１音声信号を送信する通信部、
として機能させることを特徴とする通報プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通報装置、通報方法及び通報プログラムに関する。

【背景技術】

【0002】

特許文献１には、車両の少なくとも１人の乗員を監視するための方法及び装置が開示されている。特許文献１に記載の発明は、少なくとも１つの画像取込装置を使用して車両乗員の画像を取り込み、取り込まれた画像の解析により車両乗員の少なくとも１つの生命徴候を判定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－１０１９６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の発明では、画像解析の結果を非常事態の診療の際に提供すると記載されているが、結果をどのような形態で提供するのか不明である。例えば、乗員が生存はしているが会話が不可能である場合に画像を送信することは有効であるといえるが、緊急通報に使用している音声通信システムに対して仕様変更を行わなければ画像の送信が行えず、容易ではない。

【0005】

本発明はこのような事情に鑑みてなされたもので、既存の音声通信システムを用いて車室内の画像情報を送信することができる通報装置、通報方法及び通報プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明に係る通報装置は、例えば、車両に搭載される通報装置であって、前記車両に設けられており、前記車両の車室内の平面画像を取得する撮像部と、前記平面画像を音声信号に変換して第１音声信号を生成する変換部と、前記車両に設けられており、前記第１音声信号を送信する通信部と、を備えたことを特徴とする。

【0007】

上記課題を解決するために、本発明に係る通報方法は、例えば、車両の車室内の平面画像を撮像するステップと、前記平面画像を音声信号に変換して第１音声信号を生成するステップと、前記第１音声信号を送信するステップと、を含むことを特徴とする。

【0008】

上記課題を解決するために、本発明に係る通報プログラムは、例えば、コンピュータを、車両に設けられた撮像部により撮像された車室内の平面画像を音声信号に変換して第１音声信号を生成する変換部、前記第１音声信号を送信する通信部、として機能させることを特徴とする。
なお、コンピュータプログラムは、インターネット等のネットワークを介したダウンロードによって提供したり、ＣＤ－ＲＯＭなどのコンピュータ読取可能な各種の記録媒体に記録して提供したりすることができる。

【0009】

本発明の上記いずれかの態様では、車両に設けられた撮像部で車室内の平面画像を取得し、平面画像を音声信号に変換して第１音声信号を生成して送信する。これにより、既存の音声通信システムを用いて車室内の画像情報を送信することができる。したがって、ＴＣＵを含む通信設備や通信インフラ側の仕様変更は不要である。また、乗員が音声通話できない場合にも、車室内の情報を把握することができる。

【0010】

前記平面画像の送信を要求する画像送信トリガを検出する画像送信トリガ検出部を備え、前記変換部は、前記画像送信トリガが検出されたら前記第１音声信号を生成してもよい。これにより、平面画像を変換して生成された音声信号を必要なときにだけ送信することができる。平面画像を変換して生成された第１音声信号はノイズのように聴こえるため、通話の妨げになるおそれがあるが、必要な時にだけ第１音声信号を送信することで通話の妨げにならない。

【0011】

前記画像送信トリガは、音であり、前記通信部は、前記音を受信して前記画像送信トリガ検出部に出力し、前記画像送信トリガ検出部は、前記音が検出されたときに前記画像送信トリガを検出したとしてもよい。このように、外部の装置（例えば、センタ側装置）からの指示に応じて第１音声信号を外部の装置に送信することで、音声信号を受信した外部の装置で第１音声信号が送信されたタイミングが分かりやすく、第１音声信号に基づいてスペクトログラムを作成しやすい。

【0012】

前記車室内に設けられたマイクロホンを備え、前記画像送信トリガ検出部は、前記マイクロホンにより取得された音声から発話を検知し、所定時間発話が検知されなかった場合に前記画像送信トリガが検出されたとしてもよい。これにより、乗員が音声通話ができない状況（気絶等）で、通報装置が自動的に第１音声信号を生成及び送信することができる。

【0013】

前記変換部は、実数が２次元配列された前記平面画像をスペクトログラムとし、当該スペクトログラムに位相情報を付加して複素数が２次元配列された複素数データを生成し、当該複素数データを逆フーリエ変換することにより前記第１音声信号を生成してもよい。また、前記変換部は、前記位相情報を乱数を用いてランダムに生成してもよい。これにより、平面画像から第１音声信号を生成することができる。また、乱数を用いることで、位相情報を適宜付加することができる。

【0014】

時系列データを取得する時系列データ取得部を備え、前記変換部は、前記時系列データを音声信号に変換して第２音声信号を生成し、前記通信部は、前記第２音声信号を送信してもよい。また、前記変換部は、周波数範囲が音声帯域に収まるように前記時系列データをアナログ変調して前記第２音声信号を生成してもよい。これにより、既存の音声通信システムを使用して、平面画像（二次元データ）のみでなく、時系列データ（１次元データ）をも送信することができる。

【0015】

前記時系列データ取得部は、心拍数、呼吸回数、血圧、血糖値、体温、動脈血酸素飽和度の少なくとも１つを含む生体情報を取得する生体情報取得部であり、前記変換部は、前記生体情報を音声信号に変換して第２音声信号を生成してもよい。これにより、既存の音声通信システムを使用して、平面画像のみならず生体情報をも送信することができる。

【0016】

心拍数、呼吸回数、血圧、血糖値、体温、動脈血酸素飽和度の少なくとも１つを含む生体情報を取得する生体情報取得部を備え、前記画像送信トリガ検出部は、前記生体情報が第１閾値より小さい又は前記第１閾値より大きい第２閾値より大きいときに前記画像送信トリガが検出されたとしてもよい。これにより、乗員が音声通話ができない状況（気絶等）で、通報装置が自動的に第１音声信号を生成及び送信することができる。

【0017】

前記撮像部は、前記平面画像を連続して撮像し、前記変換部は、前記第１音声信号を連続して生成してもよい。これにより、外部装置等で車室内の状況の変化をより確実に把握することができる。

【発明の効果】

【0018】

本発明によれば、既存の音声通信システムを用いて車室内の画像情報を送信することができる。

【図面の簡単な説明】

【0019】

【図1】第１の実施の形態に係る通報装置１が設けられた車両１０及びコールセンターに設けられたセンタ側装置２０を模式的に示す図である。

【図2】スペクトログラムの一例である。

【図3】スペクトログラムを生成する処理の流れを模式的に示す図である。

【図4】通報装置１のハードウェア構成の一例を概略的に示すブロック図である。

【図5】通報装置１の機能構成の概略を示すブロック図である。

【図6】第１変換部１０２ａが行う処理を模式的に示す図である。

【図7】第１変換部１０２ａが行う処理を模式的に示す図である。

【図8】（Ａ）は、平面画像Ｐ１の一例であり、（Ｂ）は音声信号Ａ１及びスペクトログラム|X(m, k)|の一例である。

【図9】通報装置１が行う処理の流れを示すフローチャートである。

【図10】通報装置１の変形例における処理の流れを示すフローチャートである。

【図11】通報装置２の機能構成の概略を示すブロック図である。

【図12】通報装置２が行う処理の流れを示すフローチャートである。

【図13】通報装置３の機能構成の概略を示すブロック図である。

【図14】通報装置３が行う処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0020】

以下、本発明に係る通報装置の実施形態を、図面を参照して詳細に説明する。本発明の通報装置は、車両に搭載されるものであり、車両からコールセンターに通報して音声会話を開始する装置である。以下、本発明について、エアバックが展開するような事故が発生した場合や、緊急通報ボタンが押下された場合等に自動的にコールセンターに通報する緊急通報装置を例に説明するが、本発明の通報装置は緊急通報装置に限られない。

【0021】

＜第１の実施の形態＞
図１は、第１の実施の形態に係る通報装置１が設けられた車両１０及びコールセンターに設けられたセンタ側装置２０を模式的に示す図である。通報装置１は、センタ側装置２０と無線又はネットワーク（本実施の形態では、携帯電話用の通信ネットワーク）により接続されている。通報装置１は、主として、撮像部１１と、マイクロホン１２と、スピーカ１３と、生体情報取得部１４と、画像を音声化する処理等を行う処理部１５と、ＴＣＵ（テレマティクス制御ユニット）１６と、アンテナ１８、１９とを備える。

【0022】

撮像部１１、マイクロホン１２及びスピーカ１３は、車両１０の車室１０ａ内に設けられている。撮像部１１は、例えば、カラー画像を撮像するＲＧＢカメラ、白黒カメラ等の可視光カメラ、赤外波長領域の電磁波を検出して画像にする赤外線カメラやサーモグラフィであり、車室１０ａ内の平面画像Ｐ１を取得する。

【0023】

生体情報取得部１４は、例えばハンドルに設けられた心拍計であり、運転者の心拍数を取得する。なお、生体情報取得部１４は、心拍計に限られず、心拍数、呼吸回数、血圧、血糖値、体温、動脈血酸素飽和度の少なくとも１つを含む生体情報を取得すればよい。

【0024】

処理部１５は、平面画像Ｐ１（２次元データ）を音声信号に変換して、音声信号Ａ１を生成する。また、処理部１５は、生体情報取得部１４で取得された生体情報（１次元データ）を音声信号に変換して、音声信号Ａ２を生成する。平面画像Ｐ１や生体情報を音声信号に変換する処理等については後に詳述する。

【0025】

ＴＣＵ１６は、通話やＥＴＣ（Electronic Toll Collection System）等において双方向の通信を制御する。また、ＴＣＵ１６は、音声信号Ａ１、Ａ２やマイクロホン１２から入力された音声信号を、アンテナ１８を介してセンタ側装置２０へ送信する。

【0026】

なお、処理部１５及びＴＣＵ１６は、例えば、車両１０に設けられた車載装置に搭載される専用ボードとして構築されてもよい。

【0027】

アンテナ１８は、携帯電話用のネットワークを介してセンタ側装置２０から送信された電波を受信し、また、センタ側装置２０へ電波を送信する。アンテナ１９は、ＧＮＳＳ（Global Navigation Satellite System、全球測位衛星システム）から発信された電波を受信する。

【0028】

センタ側装置２０は、主として、マイクロホン２１と、スピーカ２２と、通信装置２３と、音声を画像化する処理等を行う処理部２４と、表示部２５と、アンテナ２６とを備える。

【0029】

通信装置２３は、アンテナ２６及び携帯電話用のネットワークを介して通報装置１から送信された電波を受信し、また、通報装置１へ電波を送信する。通信装置２３は、マイクロホン２１、スピーカ２２及び処理部２４と接続されており、マイクロホン２１から音声信号が入力され、スピーカ２２及び処理部２４に音声信号を出力する。スピーカ２２には、マイクロホン１２から入力された音声信号が出力され、処理部２４には、音声信号Ａ１、Ａ２が出力される。

【0030】

処理部２４は、入力された音声信号Ａ１に基づいてスペクトログラムＰ２を生成し、入力された音声信号Ａ２に基づいて生体情報を取得する。スペクトログラムＰ２は、処理部２４から表示部２５に出力され、表示部２５に表示される。スペクトログラムとは、周波数分析を時間的に連続して行った結果を２次元のグラフ（時間軸、周波数軸）で表したものである。

【0031】

図２は、スペクトログラムの一例である。図２の上段は音声信号x(t)であり、横軸が時間を表し、縦軸が振幅を表す。なお、(t)は時間の関数であることを表す。図２の下段はスペクトログラム|X(m, k)|であり、横軸が時間を表し、縦軸が周波数を表し、各点の色の濃さがある時点のある周波数での大きさ（振幅）を表す。なお、mはフレーム番号であり、kは離散周波数番号である。なお、スペクトログラムの表示方法は、２次元のグラフに限られず、３次元のグラフ（ウォーターフォールプロット）としてもよい。

【0032】

図３は、スペクトログラムを生成する処理の流れを模式的に示す図である。まず、音声信号x(t)に窓関数（図３点線参照）を積算して音声信号x(t)の一部分を切り出す。以下、切り出した区間をフレームという。このとき、オーバラップ処理を適用して、直前フレームの一部と現在のフレームの一部を重ね合わせる。

【0033】

次に、各フレームに対して高速フーリエ変換（FFT）を行い、その計算結果を時間軸に沿って並べる。その結果、複素数の二次元配列が得られる。以下、ここで得られた二次元配列をＳＴＦＴデータX(m, k)という。

【0034】

ＳＴＦＴデータX(m, k)は複素数であるため、ＳＴＦＴデータの絶対値|X(m, k)|又はＳＴＦＴデータのパワー|X(m, k)|²を求めることにより実数化する。本実施の形態では、ＳＴＦＴデータの絶対値|X(m, k)|の二次元配列を取得することで、スペクトログラム|X(m, k)|が求められる。

【0035】

なお、図２、３では、スペクトログラムを白黒画像として描画しているが、スペクトログラムをカラー画像として表示してもよい。また、スペクトログラムの色の濃さを対数変換（ｄＢ変換）して表示してもよい。

【0036】

図４は、通報装置１のハードウェア構成の一例を概略的に示すブロック図である。通報装置１は、制御装置５０と、通信装置５２と、記憶装置５４と、を備える。

【0037】

制御装置５０は、ＣＰＵ（Central Processing Unit）５６及びメモリ５８を主に備えて構成される。制御装置５０では、記憶装置５４又はメモリ５８等に格納された所定のプログラムをＣＰＵ５６が実行することにより、各種の機能部として機能する。なお、プログラムは、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスク等のリムーバブル記憶媒体に、一時的あるいは永続的に格納（記憶）してもよい。

【0038】

通信装置５２は、外部の装置と通信するための通信インターフェース等で構成される。通信装置５２は、例えばセンタ側装置２０等との間で各種の情報を送受信する。記憶装置５４は、ハードディスク等で構成される。この記憶装置５４は、制御装置５０における処理の実行に必要な各種プログラムや各種の情報、及び処理結果の情報を記憶する。

【0039】

図５は、通報装置１の機能構成の概略を示すブロック図である。通報装置１は、機能的には制御部１００を備える。制御部１００は、情報処理を実行するためのＣＰＵ（Central Processing Unit）５６等の演算装置や記憶装置５４により、ソフトウェア資源として少なくとも、画像送信トリガ検出部１０１と、変換部１０２と、通信部１０３と、スピーカアンプ１０４と、位置情報取得部１０５と、緊急通報開始部１０６とを有する。

【0040】

画像送信トリガ検出部１０１は、画像の送信を要求する画像送信トリガを検出する機能部である。本実施の形態では、画像送信トリガは音であり、例えば、４４０Ｈｚと８８０Ｈｚが順に０．５秒ずつ続く音を画像送信トリガとする。なお、画像送信トリガの形態はこれに限られず、例えば「画像を送ってください」等の音声でもよい。

【0041】

画像送信トリガは、センタ側装置２０から送信されて通信部１０３で受信され、通信部１０３から画像送信トリガ検出部１０１に出力される。画像送信トリガ検出部１０１は、画像送信トリガを示す音を予め取得しておき、当該予め取得された音と、通信部１０３から出力された音声とを比較することにより、画像送信トリガを検出する。

【0042】

変換部１０２は、主として、撮像部１１により撮像された平面画像Ｐ１を音声信号に変換して音声信号Ａ１を生成する第１変換部１０２ａと、生体情報取得部１４で取得された生体情報を音声信号に変換して音声信号Ａ２を生成する第２変換部１０２ｂとを有する。

【0043】

第１変換部１０２ａは、実数が２次元配列された（２次元データである）平面画像Ｐ１をスペクトログラムとし、当該スペクトログラムに位相情報を付加して複素数が２次元配列された複素数データ（ＳＴＦＴデータX(m, k)）を生成し、当該複素数データを逆フーリエ変換することにより音声信号Ａ１を生成する機能部である。

【0044】

図６、７は、第１変換部１０２ａが行う処理を模式的に示す図である。具体的には、図６に示すように、第１変換部１０２ａは、まず、平面画像Ｐ１に位相情報を付加して複素数化してＳＴＦＴデータX(m, k)を生成し、逆短時間フーリエ変換（iSTFT、inverse STFT）を行い、これらを繋ぎ合わせることで音声信号x(t)を生成する。

【0045】

図７に示すように、逆短時間フーリエ変換は、短時間フーリエ変換の逆変換であり、短時間フーリエ変換及び逆短時間フーリエ変換を行うことにより音声信号x(t)とＳＴＦＴデータX(m, k)とを相互に変換可能である。

【0046】

ＳＴＦＴデータX(m, k)からスペクトログラム|X(m, k)|への変換は、絶対値を求めているため、位相情報を捨てればよい。それに対し、スペクトログラム|X(m, k)|からＳＴＦＴデータX(m, k)への変換は、位相情報を付加して複素数化するする必要がある。本実施の形態では、以下の数式１に示すように、乱数を用いて位相情報をランダムに生成する。

【0047】

【数1】

【0048】

図８（Ａ）は、平面画像Ｐ１の一例であり、図８（Ｂ）は音声信号Ａ１及びスペクトログラム|X(m, k)|の一例である。図８（Ｂ）の上段が音声信号Ａ１であり、図８（Ｂ）の下段がスペクトログラム|X(m, k)|である。スペクトログラム|X(m, k)|では平面画像Ｐ１の輪郭線が明確に図示されており、スペクトログラム|X(m, k)|を見ることで平面画像Ｐ１を見ることと同等の効果が得られる。

【0049】

図５の説明に戻る。第２変換部１０２ｂは、実数が時系列に並んだ時系列信号（１次元データ）である生体情報を音声信号に変換して音声信号Ａ２を生成する機能部である。音声信号Ａ２の生成は、例えば、ＦＭ変調、ＡＭ変調、ＰＭ変調等のアナログ変調により行うことができる。ただし、変調後の周波数が緊急通報の音声帯域に収まるようにする必要がある。例えば、通信においてナローバンドの音声コーデックを使用する場合には、ＦＭ搬送波の周波数を２ｋＨｚとし、最大周波数偏移を１ｋＨｚとしてＦＭ変調すれば、周波数範囲が１ｋＨｚ～３ｋＨｚとなり、０．３ｋＨｚ～３．４ｋＨｚの音声帯域に収まる。

【0050】

なお、音声信号Ａ２の生成は、アナログ変調に限られない。例えば、生体情報をデジタル化してバイナリデータとし、ＱＡＭ（直角位相振幅変調）等のデジタル変調により音声信号Ａ２を生成してもよい。

【0051】

通信部１０３は、アンテナ１８、１９を介して信号の送信、受信を行う機能部である。通信部１０３は、変換部１０２により音声信号Ａ１、Ａ２が生成されたら、音声信号Ａ１、Ａ２を送信する。また、通信部１０３は、マイクロホン１２から入力された音声信号を送信する。

【0052】

また、通信部１０３は、センタ側装置２０から送信された音声を受信する。通信部１０３は、受信した音声を画像送信トリガ検出部１０１及びスピーカアンプ１０４に出力する。

【0053】

また、通信部１０３は、アンテナ１９を介してＧＮＳＳ３０から発信された電波を受信して、位置情報取得部１０５に出力する。

【0054】

スピーカアンプ１０４は、通信部１０３から出力された信号を増幅してスピーカ１３に出力する機能部である。位置情報取得部１０５は、ＧＮＳＳ３０から発信された電波を通信部１０３を介して取得し、当該取得した電波に基づいて位置情報を取得する機能部である。スピーカアンプ１０４、位置情報取得部１０５は既に公知であるため、説明を省略する。

【0055】

緊急通報開始部１０６は、緊急通報開始トリガが入力されたら、緊急通報を開始する機能部である。緊急通報開始トリガは、図示しない車載装置等から入力される。緊急通報開始部１０６は、画像送信トリガ検出部１０１、通信部１０３、スピーカアンプ１０４及び位置情報取得部１０５に接続されており、緊急通報開始トリガが入力されたらこれらの機能部に緊急通報開始の指示を出力する。

【0056】

なお、図４は、通報装置１が有する主要なハードウェア構成の一部を示しているに過ぎず、通報装置１は、サーバ装置が一般的に備える他の構成を備えることができる。通報装置１は、専用又は汎用のサーバ・コンピュータ等の情報処理装置を用いて実現することができる。また、通報装置１は、単一の情報処理装置により構成されるものであってもよく、通信ネットワーク上に分散した複数の情報処理装置により構成されるものであってもよい。また、図５に示す通報装置１の機能構成要素は、処理内容に応じてさらに多くの構成要素に分類されてもよいし、１つの構成要素が複数の構成要素の処理を実行してもよい。

【0057】

図９は、通報装置１が行う処理の流れを示すフローチャートである。まず、緊急通報開始部１０６は、車載装置等から緊急通報開始トリガが入力されたら、緊急通報の開始指示を画像送信トリガ検出部１０１、通信部１０３、スピーカアンプ１０４及び位置情報取得部１０５に出力して、緊急通報を開始する（ステップＳＰ１１）。

【0058】

具体的には、通信部１０３は、緊急通報の開始指示に基づいて、アンテナ１８を介してセンタ側装置２０からの音声等を受信し、スピーカアンプ１０４に出力する。これにより、センタ側装置２０から出力された音声がスピーカ１３から出力される。また、通信部１０３は、緊急通報の開始指示に基づいて、マイクロホン１２から入力された音声（緊急通報音声）をアンテナ１８を介してセンタ側装置２０に出力する。これにより、緊急通報音声がセンタ側装置２０で聞き取り可能になる。また、画像送信トリガ検出部１０１は、緊急通報の開始指示が入力されたら、画像送信トリガの入力を待機する。これらの処理は、緊急通報が行われている間、継続して行われる。

【0059】

また、位置情報取得部１０５は、緊急通報の開始指示に基づいて、アンテナ１９を介してＧＮＳＳ３０からの電波を受信し、位置情報取得部１０５に出力する。位置情報取得部１０５は、位置情報を求めて通信部１０３に出力する。通信部１０３は、位置情報をアンテナ１８を介してセンタ側装置２０に出力する。なお、位置情報取得部１０５及び位置情報の送信は必須ではない。

【0060】

次に、画像送信トリガ検出部１０１は、通信部１０３を介して、画像送信トリガが入力されたか否かを判定する（ステップＳＰ１３）。

【0061】

画像送信トリガが入力されていない場合（ステップＳＰ１３でＮＯ）には、画像送信トリガ検出部１０１はステップＳＰ１３の処理を繰り返す。画像送信トリガが入力された場合（ステップＳＰ１３でＹＥＳ）には、画像送信トリガ検出部１０１は変換部１０２に画像送信トリガが入力されたことを出力し、第１変換部１０２ａは撮像部１１から平面画像Ｐ１を取得する（ステップＳＰ１５）。

【0062】

次に、第１変換部１０２ａは、ステップＳＰ１３で取得した平面画像Ｐ１を音声化し、音声信号Ａ１を生成する（ステップＳＰ１７）。第１変換部１０２ａは、生成した音声信号Ａ１を通信部１０３に出力する。そして、通信部１０３は、音声信号Ａ１を緊急通報音声に重畳して送信する（ステップＳＰ１９）。

【0063】

その後、緊急通報開始部１０６は、一連の処理を終了する。また、緊急通報開始部１０６は、図９に示す処理を行っている間に車載装置等から緊急通報開始トリガが入力されたら、図９に示す処理を終了する。

【0064】

センタ側装置２０は、このようにしてから通報装置１から送信された音声信号Ａ１を受信する。図１に示すように、処理部２４は、入力された音声信号Ａ１に基づいてスペクトログラムＰ２を生成する。これにより、センタ側装置２０の表示部２５にスペクトログラムＰ２が表示され、車室１０ａ内の様子をコールセンターで確認することができる。

【0065】

なお、画像送信トリガ検出部１０１から変換部１０２に画像送信トリガが入力されたら、ステップＳＰ１３と同時に第２変換部１０２ｂが生体情報取得部１４から生体情報を取得し、ステップＳＰ１７と同時に第２変換部１０２ｂが生体情報を音声化して音声信号Ａ２を生成し、ステップＳＰ１９と同時に通信部１０３が音声信号Ａ２を緊急通報音声に重畳して送信してもよい。

【0066】

本実施の形態によれば、撮像部１１により撮像された平面画像Ｐ１を音声信号に変換して音声信号Ａ１を生成し、音声信号Ａ１が生成されたら音声信号Ａ１を送信することにより、既存の音声通信システムを用いて車室内の画像情報を送信することができる。したがって、ＴＣＵ１６を含む通信設備や通信インフラ側の仕様変更は不要である。ＴＣＵ１６は通報音声を中継するものであり、画像送信機能を有していないため、ＴＣＵ１６を介して画像を送信するためには、撮像部１１とのインターフェース及び画像送信のためのファームウェアを設けなければならず、手間やコストがかかる。それに対し、本実施の形態のように平面画像を変換した音声信号Ａ１を送信する場合には、ＴＣＵ１６の変更は不要であり、手間やコストがかからないうえ、画像送信機能を有しないＴＣＵ１６が搭載された車両に事後的に画像通信機能を追加することができる。

【0067】

また、本実施の形態によれば、平面画像Ｐ１を音声化した音声信号Ａ１を送信することで、乗員が音声通話できない場合にも車室１０ａ内の情報を把握することができる。

【0068】

また、本実施の形態によれば、センタ側装置２０から送信された画像送信トリガが画像送信トリガ検出部１０１で検出されたら、第１変換部１０２ａで平面画像Ｐ１を音声化して音声信号Ａ１を生成するため、必要なときにだけ音声信号Ａ１を送信することができる。常に音声信号Ａ１を送信する場合には、音声信号Ａ１がノイズのように聴こえることで、通話の妨げになるおそれがある。それに対し、本実施の形態のように画像送信トリガをトリガとして音声信号Ａ１を送信することで、通話の妨げになることなく必要に応じて音声信号Ａ１を送信することができる。特に、本実施の形態では、センタ側装置２０から送信された画像送信トリガを音声信号Ａ１の送信のトリガとすることで、センタ側装置２０で音声信号Ａ１が送信されたタイミングが分かりやすく、音声信号Ａ１に基づいてスペクトログラムを作成しやすい。

【0069】

また、本実施の形態によれば、センタ側装置２０からの画像送信トリガを音とすることで、画像送信トリガを通話音声に乗せることができる。したがって、ＴＣＵ１６の仕様変更を行うことなく、センタ側装置２０から画像送信トリガを送ることができる。

【0070】

また、本実施の形態によれば、生体情報取得部１４で取得された生体情報を音声信号に変換して音声信号Ａ２を生成することにより、既存の音声通信システムを使用して、平面画像Ｐ１のみならず生体情報をも送信することができる。

【0071】

なお、本実施の形態では、通報装置１は、センタ側装置２０との間で双方向で通話を行うため、マイクロホン１２、スピーカ１３及びスピーカアンプ１０４を備えたが、マイクロホン１２、スピーカ１３及びスピーカアンプ１０４は必須ではない。音声信号Ａ１を送信するためには、通報装置１が少なくとも画像送信トリガ検出部１０１、変換部１０２及び通信部１０３を備えていればよい。

【0072】

また、画像送信トリガ検出部１０１、すなわち画像送信トリガに基づいて音声信号Ａ１を生成及び送信することも必須ではない。例えば、通報装置１が通報を開始するときに音声信号Ａ１を生成して送信するようにしてもよい。ただし、通話の妨げにならないように、画像送信トリガに基づいて必要な時だけ音声信号Ａ１を送信することが望ましい。

【0073】

また、本実施の形態では、生体情報取得部１４で取得された生体情報を第２変換部１０２ｂで音声信号Ａ２に変換して通信部１０３から送信したが、生体情報取得部１４及び第２変換部１０２ｂは必須ではない。例えば、通報装置１は、生体情報取得部１４以外の装置、例えばウェアラブルデバイスから通信部１０３を介して生体情報を取得してもよい。

【0074】

また、本実施の形態では、通報装置１は、生体情報取得部１４で取得された生体情報を音声信号Ａ２に変換して通信部１０３から送信したが、通報装置が生体情報以外の様々な形態の時系列データを音声信号として送信してもよい。例えば、通信装置が温度センサ、湿度センサ、気圧センサの少なくとも１つを備え、温度センサ、湿度センサ、気圧センサから時系列データである温度データ、湿度データ、気圧データをそれぞれ取得し、これを第２変換部１０２ｂで音声信号に変換し、当該音声信号を通信部１０３から送信してもよい。また、例えば、通信装置がガスセンサ（例えばCO₂センサ）を備え、ガスセンサから時系列データである物質濃度データ（例えば二酸化炭素濃度データ）を取得し、これを第２変換部１０２ｂで音声信号に変換し、当該音声信号を通信部１０３から送信してもよい。温度データ、湿度データ、気圧データ、物質濃度データ等の時系列データについても、生体情報と同様の方法で音声信号に変換することができる。

【0075】

また、本実施の形態では、ステップＳＰ１５において、通信部１０３が音声信号Ａ１を緊急通報音声に重畳して送信したが、通信部１０３が音声信号Ａ１のみを送信してもよい。

【0076】

また、本実施の形態では、音声信号Ａ１を１回だけ送信して処理を終了しているが、音声信号Ａ１を複数送信してもよい。図１０は、通報装置１の変形例における処理の流れを示すフローチャートである。ステップＳＰ１１～ＳＰ１９は同一であるため、説明を省略する。

【0077】

音声信号Ａ１を緊急通報音声に重畳して送信（ステップＳＰ１９）したら、画像送信トリガ検出部１０１は、通信部１０３を介して、緊急通報が終了されたか又は送信終了トリガが入力されたか否かを判定する（ステップＳＰ２１）。例えば、画像送信トリガ検出部１０１は、緊急通報の終了を指示する信号が車載装置等から出力されて緊急通報開始部１０６に入力され、緊急通報開始部１０６から画像送信トリガ検出部１０１に入力されたときに、緊急通報が終了されたとする。また、例えば、画像送信トリガ検出部１０１は、送信終了トリガがセンタ側装置２０から送信されて、通信部１０３を介して画像送信トリガ検出部１０１に入力されたときに、送信終了トリガが入力されたとする。画像送信トリガ検出部１０１は、送信終了トリガを示す音を予め取得しておき、当該予め取得された音と、通信部１０３から出力された音声とを比較することにより、送信終了トリガを検出する。なお、例えば、４４０Ｈｚと８８０Ｈｚが順に１秒ずつ続く音を送信終了トリガとすることができるが、送信終了トリガの形態はこれに限られない。

【0078】

緊急通報が終了されなかった又は送信終了トリガが入力されなかった場合（ステップＳＰ２１でＮＯ）には、画像送信トリガ検出部１０１は、処理をステップＳＰ１５に戻す。すなわち、第１変換部１０２ａは、送信終了トリガが入力されるまで、平面画像Ｐ１を取得し（ステップＳＰ１５）、平面画像Ｐ１を音声化して音声信号Ａ１を生成し（ステップＳＰ１７）、通信部１０３は、音声信号Ａ１を緊急通報音声に重畳して送信する（ステップＳＰ１９）処理を連続して行う。

【0079】

緊急通報が終了された又は送信終了トリガが入力された場合（ステップＳＰ２１でＹＥＳ）には、緊急通報開始部１０６は、一連の処理を終了する。また、緊急通報開始部１０６は、図１０に示す処理を行っている間に車載装置等から緊急通報開始トリガが入力されたら、図１０に示す処理を終了する。

【0080】

本変形例によれば、連続して音声信号Ａ１を送ることができるため、センタ側装置２０で車室１０ａ内の状況の変化をより確実に把握することができる。

【0081】

＜第２の実施の形態＞
本発明の第１の実施の形態は、センタ側装置２０から送信された画像送信トリガが通信部１０３を介して画像送信トリガ検出部１０１に入力されたら、第１変換部１０２ａが平面画像Ｐ１を音声化して音声信号Ａ１を生成し、通信部１０３が音声信号Ａ１を緊急通報音声に重畳して送信したが、平面画像Ｐ１から音声信号Ａ１を生成するためのトリガはこれに限られない。

【0082】

本発明の第２の実施の形態は、車室１０ａ内で人による発話が検知されないことをトリガとして平面画像Ｐ１から音声信号Ａ１を生成する形態である。以下、本発明の第２の実施の形態に係る通報装置２について説明する。なお、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

【0083】

図１１は、通報装置２の機能構成の概略を示すブロック図である。通報装置２は、通報装置１と同様に、ハードウェア構成として、制御装置５０と、通信装置５２と、記憶装置５４と、を備える。また、通報装置２は、機能的には制御部１００Ａを備える。

【0084】

制御部１００Ａは、情報処理を実行するためのＣＰＵ（Central Processing Unit）５６等の演算装置や記憶装置５４により、ソフトウェア資源として少なくとも、画像送信トリガ検出部１０１Ａと、変換部１０２と、通信部１０３と、スピーカアンプ１０４と、位置情報取得部１０５と、緊急通報開始部１０６とを有する。

【0085】

画像送信トリガ検出部１０１Ａは、画像の送信を要求する画像送信トリガを検出する機能部である。画像送信トリガ検出部１０１Ａには、マイクロホン１２により取得された音声が入力される。例えば、画像送信トリガ検出部１０１Ａは、マイクロホン１２により取得された音声から発話を検知し、所定時間発話が検知されなかった場合に画像送信トリガが検出されたとする。所定時間は、例えば１０秒であり、任意の時間を設定することができる。

【0086】

このように、通報装置２では、所定時間発話が検知できない場合には、乗員が音声通話ができない状況（気絶、死亡等）であり、車室１０ａ内の画像を送信すべきタイミングであることを通報装置２側で自動的に判定することができる。

【0087】

なお、マイクロホン１２により取得された音声から発話を検知する手法は、既に公知の様々な手法を用いることができる。本実施の形態では、画像送信トリガ検出部１０１Ａは、マイクロホン１２で取得された音圧レベルが閾値を超えた場合には発話ありと判定し、閾値を越えなければ発話なしと判定する。

【0088】

図１２は、通報装置２が行う処理の流れを示すフローチャートである。まず、緊急通報開始部１０６は、緊急通報開始トリガが入力されたら、緊急通報の開始指示を画像送信トリガ検出部１０１Ａ、通信部１０３、スピーカアンプ１０４及び位置情報取得部１０５に出力して、緊急通報を開始する（ステップＳＰ１１）。

【0089】

次に、画像送信トリガ検出部１０１Ａは、マイクロホン１２により取得された音声から発話を検知し、所定時間発話が検知されたか否かを判定する（ステップＳＰ１２）。

【0090】

発話が検知された場合（ステップＳＰ１２でＹＥＳ）には、画像送信トリガ検出部１０１ＡはステップＳＰ１２の処理を繰り返す。所定時間発話が検知されなかった場合（ステップＳＰ１２でＮＯ）には、画像送信トリガ検出部１０１Ａは変換部１０２に画像送信トリガが入力されたことを出力し、第１変換部１０２ａは撮像部１１から平面画像Ｐ１を取得する（ステップＳＰ１５）。

【0091】

次に、第１変換部１０２ａは、ステップＳＰ１３で取得した平面画像Ｐ１を音声化し、音声信号Ａ１を生成する（ステップＳＰ１７）。第１変換部１０２ａは、生成した音声信号Ａ１を通信部１０３に出力する。そして、通信部１０３は、音声信号Ａ１を緊急通報音声に重畳して送信する（ステップＳＰ１９）。そして、緊急通報開始部１０６は、一連の処理を終了する。また、緊急通報開始部１０６は、図１２に示す処理を行っている間に車載装置等から緊急通報開始トリガが入力されたら、図１２に示す処理を終了する。

【0092】

本実施の形態によれば、マイクロホン１２により取得された音声から発話を検知し、所定時間発話が検知されなかった場合に音声信号Ａ１を生成するため、乗員が音声通話ができない状況（気絶等）で、通報装置２が自動的に音声信号Ａ１を生成及び送信することができる。

【0093】

＜第３の実施の形態＞
本発明の第２の実施の形態は、車室１０ａ内で人による発話が検知されないことをトリガとして平面画像Ｐ１から音声信号Ａ１を生成したが、平面画像Ｐ１から音声信号Ａ１を生成するためのトリガはこれに限られない。

【0094】

本発明の第３の実施の形態は、生体情報に異常が発生したことをトリガとして平面画像Ｐ１から音声信号Ａ１を生成する形態である。以下、本発明の第３の実施の形態に係る通報装置３について説明する。なお、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

【0095】

図１３は、通報装置３の機能構成の概略を示すブロック図である。通報装置３は、通報装置１と同様に、ハードウェア構成として、制御装置５０と、通信装置５２と、記憶装置５４と、を備える。また、通報装置３は、機能的には制御部１００Ｂを備える。

【0096】

制御部１００Ｂは、情報処理を実行するためのＣＰＵ（Central Processing Unit）５６等の演算装置や記憶装置５４により、ソフトウェア資源として少なくとも、画像送信トリガ検出部１０１Ｂと、変換部１０２と、通信部１０３と、スピーカアンプ１０４と、位置情報取得部１０５と、緊急通報開始部１０６とを有する。

【0097】

画像送信トリガ検出部１０１Ｂは、画像の送信を要求する画像送信トリガを検出する機能部である。画像送信トリガ検出部１０１Ｂには、生体情報取得部１４により取得された生体情報が入力される。本実施の形態では、生体情報取得部１４は心拍計であり、画像送信トリガ検出部１０１Ｂは心拍数を連続して取得する。

【0098】

そして、画像送信トリガ検出部１０１Ｂは、生体情報を第１閾値、第２閾値と比較し、生体情報が第１閾値より小さいときに又は第２閾値より大きいときに画像送信トリガが検出されたとする。なお、第２閾値は第１閾値より大きい。例えば、画像送信トリガ検出部１０１Ｂは、心拍数が５０（第１閾値）より小さいとき、又は、心拍数が１２０（第２閾値）より大きいときに、画像送信トリガが検出されたとする。

【0099】

このように、通報装置３では、心拍数が第１閾値より小さいときに又は第２閾値より大きいときには、乗員が音声通話ができない状況（気絶、死亡等）であり、車室１０ａ内の画像を送信すべきタイミングであることを通報装置３側で自動的に判定することができる。

【0100】

図１４は、通報装置３が行う処理の流れを示すフローチャートである。まず、緊急通報開始部１０６は、緊急通報開始トリガが入力されたら、緊急通報の開始指示を画像送信トリガ検出部１０１Ｂ、通信部１０３、スピーカアンプ１０４及び位置情報取得部１０５に出力して、緊急通報を開始する（ステップＳＰ１１）。

【0101】

次に、画像送信トリガ検出部１０１Ｂは、生体情報取得部１４から生体情報を取得し、生体情報に異常があるか否か、すなわち生体情報が第１閾値より小さい又は第２閾値より大きいか否かを判定する（ステップＳＰ１４）。

【0102】

生体情報が第１閾値より小さくない又は第２閾値より大きくない場合（ステップＳＰ１４でＮＯ）には、画像送信トリガ検出部１０１ＢはステップＳＰ１４の処理を繰り返す。生体情報が第１閾値より小さい又は第２閾値より大きい場合（ステップＳＰ１４でＹＥＳ）には、画像送信トリガ検出部１０１Ｂは変換部１０２に画像送信トリガが入力されたことを出力し、第１変換部１０２ａは撮像部１１から平面画像Ｐ１を取得する（ステップＳＰ１５）。

【0103】

次に、第１変換部１０２ａは、ステップＳＰ１３で取得した平面画像Ｐ１を音声化し、音声信号Ａ１を生成する（ステップＳＰ１７）。第１変換部１０２ａは、生成した音声信号Ａ１を通信部１０３に出力する。そして、通信部１０３は、音声信号Ａ１を緊急通報音声に重畳して送信する（ステップＳＰ１９）。そして、緊急通報開始部１０６は、一連の処理を終了する。また、緊急通報開始部１０６は、図１４に示す処理を行っている間に車載装置等から緊急通報開始トリガが入力されたら、図１４に示す処理を終了する。

【0104】

本実施の形態によれば、生体情報が第１閾値より小さい又は第２閾値より大きい場合に音声信号Ａ１を生成するため、乗員が音声通話ができない状況（気絶等）で、通報装置２が自動的に音声信号Ａ１を生成及び送信することができる。

【0105】

なお、本実施の形態では、生体情報取得部１４が心拍計であり、生体情報が閾値を下回ったときに画像送信トリガが検出されたとしたが、生体情報取得部１４は心拍計に限られない。例えば、生体情報取得部１４は、呼吸回数や脈拍を測定する非接触バイタルセンサでもよいし、心拍数、動脈血酸素飽和度（SpO₂）、体温等を測定するウェアラブルデバイスでもよいし、血圧を測定する血圧計（例えば、時計型のウェアラブル血圧計）でもよい。また、画像送信トリガ検出部１０１Ｂは、取得された生体情報に応じて、例えば、呼吸回数、動脈血酸素飽和度、体温、血圧等が第１閾値より小さい又は第２閾値より大きいときに画像送信トリガが検出されたとしてもよい。

【0106】

以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、本明細書で説明した各実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、実施形態の構成に他の構成を追加、削除、置換等をすることが可能である。

【符号の説明】

【0107】

１、２、３：通報装置
１０ ：車両
１０ａ ：車室
１１ ：撮像部
１２ ：マイクロホン
１３ ：スピーカ
１４ ：生体情報取得部
１５ ：処理部
１８、１９：アンテナ
２０ ：センタ側装置
２１ ：マイクロホン
２２ ：スピーカ
２３ ：通信装置
２４ ：処理部
２５ ：表示部
２６ ：アンテナ
５０ ：制御装置
５２ ：通信装置
５４ ：記憶装置
５６ ：ＣＰＵ
５８ ：メモリ
１００、１００Ａ、１００Ｂ：制御部
１０１、１０１Ａ、１０１Ｂ：画像送信トリガ検出部
１０２ ：変換部
１０２ａ ：第１変換部
１０２ｂ ：第２変換部
１０３ ：通信部
１０４ ：スピーカアンプ
１０５ ：位置情報取得部
１０６ ：緊急通報開始部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】