特許 7611774 遠隔支援装置、遠隔支援方法、遠隔支援プログラム及び遠隔支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-26

(45)【発行日】2025-01-10

(54)【発明の名称】遠隔支援装置、遠隔支援方法、遠隔支援プログラム及び遠隔支援システム

(51)【国際特許分類】

   G01C 21/26 20060101AFI20241227BHJP

   G08G 1/005 20060101ALI20241227BHJP

   A61H 3/06 20060101ALI20241227BHJP

   H04N 7/18 20060101ALI20241227BHJP

【ＦＩ】

G01C21/26 P

G08G1/005

A61H3/06 Z

H04N7/18 D

【請求項の数】 12

(21)【出願番号】P 2021094513

(22)【出願日】2021-06-04

(65)【公開番号】P2022186346

(43)【公開日】2022-12-15

【審査請求日】2024-05-01

(73)【特許権者】

【識別番号】000202361

【氏名又は名称】綜合警備保障株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】加沢 徹

【審査官】貞光 大樹

(56)【参考文献】

【文献】特開２０１４－１３７７５２（ＪＰ，Ａ）

【文献】特開２００６－３８５５（ＪＰ，Ａ）

【文献】特開２００１－２２１６４９（ＪＰ，Ａ）

【文献】特開２０１６－２０５８６５（ＪＰ，Ａ）

【文献】国際公開第２０１８／０２５５３１（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１２／００６２３５７（ＵＳ，Ａ１）

【文献】特開２０２０－２１４５３（ＪＰ，Ａ）

【文献】特開２０１９－１０１７０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｇ０８Ｇ １／００ － １／１６

Ｈ０４Ｎ ７／１８

Ａ６１Ｈ １／００ － ５／００

(57)【特許請求の範囲】

【請求項1】

被支援者により携帯されるカメラ装置で過去に撮像された過去画像、前記過去画像の地理的な撮像位置を示す撮像位置情報、及び、前記過去画像に付された所定のマークに関するマーキング情報をそれぞれ関連付けて記憶部に記憶制御する記憶制御部と、
前記被支援者により携帯される前記カメラ装置でリアルタイムに撮像されるリアルタイム撮像画像を受信し、前記リアルタイム撮像画像の撮像位置に対応する前記過去画像及び前記マーキング情報を前記記憶部から読み出す読み出し制御部と、
前記被支援者を支援する支援者が監視する表示部に表示するための支援画像であって、前記リアルタイム撮像画像、及び前記過去画像の何れか、又は両方に対して、前記記憶部から読み出された前記マーキング情報で示される所定の前記マークを反映させた支援画像を生成する支援画像生成部と、
を有する遠隔支援装置。

【請求項2】

前記支援画像生成部は、前記読み出し制御部が前記記憶部から読み出した前記リアルタイム撮像画像の撮像位置に対応する前記マーキング情報で示される所定の前記マークを前記リアルタイム撮像画像に反映させること
を特徴とする請求項１に記載の遠隔支援装置。

【請求項3】

前記記憶制御部は、前記マーキング情報に関連する情報を支援者に対して認識させる補助情報を前記記憶部に対してさらに記憶制御し、
前記支援画像生成部は、前記支援画像に、前記マーキング情報に関連する前記補助情報を付加すること
を特徴とする請求項１又は請求項２に記載の遠隔支援装置。

【請求項4】

前記過去画像及び前記リアルタイム撮像画像に含まれるプライバシー保護対象に対して、所定のプライバシー保護処理を施すプライバシー保護部を、さらに備えること
を特徴とする請求項１から請求項３のうち、いずれか一項に記載の遠隔支援装置。

【請求項5】

前記プライバシー保護部は、前記プライバシー保護対象を所定の色で表す処理を行うこと
を特徴とする請求項４に記載の遠隔支援装置。

【請求項6】

前記プライバシー保護部は、前記プライバシー保護対象が前記被支援者に及ぼす危険度に対応する色で、前記プライバシー保護対象を表す処理を行うこと
を特徴とする請求項５に記載の遠隔支援装置。

【請求項7】

前記マークを前記リアルタイム撮像画像に反映させる際に、前記過去画像上における前記マークが反映されている領域と同じ画像的な特徴を有する領域を前記リアルタイム撮像画像から検索するマッチング処理を行うマッチング処理部を、さらに備え、
前記支援画像生成部は、前記マッチング処理部により検索された前記リアルタイム撮像画像上の領域に前記マークを反映させた前記支援画像を生成すること
を特徴とする請求項１から請求項６のうち、いずれか一項に記載の遠隔支援装置。

【請求項8】

前記マッチング処理部は、前記過去画像上における前記マークが反映されている領域の画像的な特徴に対して所定以上のマッチング度を有する領域が、前記リアルタイム撮像画像から検索されない場合、前記過去画像上における前記マークが反映されている領域の大きさを変更することで得られる画像的な特徴に基づいて前記マッチング処理を行うこと
を特徴とする請求項７に記載の遠隔支援装置。

【請求項9】

前記カメラ装置は、広画角の広角レンズ、または前記被支援者正面の左右に設置のステレオカメラを備えること
を特徴とする請求項１から請求項８のうち、いずれか一項に記載の遠隔支援装置。

【請求項10】

記憶制御部が、被支援者により携帯されるカメラ装置で過去に撮像された過去画像、前記過去画像の地理的な撮像位置を示す撮像位置情報、及び、前記過去画像に付された所定のマークに関するマーキング情報をそれぞれ関連付けて記憶部に記憶制御する記憶制御ステップと、
読み出し制御部が、前記被支援者により携帯される前記カメラ装置でリアルタイムに撮像されるリアルタイム撮像画像を受信し、前記リアルタイム撮像画像の撮像位置に対応する前記過去画像及び前記マーキング情報を前記記憶部から読み出す読み出し制御ステップと、
支援画像生成部が、前記被支援者を支援する支援者が監視する表示部に表示するための支援画像であり、前記リアルタイム撮像画像、及び前記過去画像の何れか、又は両方に対して、前記記憶部から読み出された前記マーキング情報で示される所定の前記マークを反映させた支援画像を生成する支援画像生成ステップと、
を有する遠隔支援方法。

【請求項11】

コンピュータを、
被支援者により携帯されるカメラ装置で過去に撮像された過去画像、前記過去画像の地理的な撮像位置を示す撮像位置情報、及び、前記過去画像に付された所定のマークに関するマーキング情報をそれぞれ関連付けて記憶部に記憶制御する記憶制御部と、
前記被支援者により携帯される前記カメラ装置でリアルタイムに撮像されるリアルタイム撮像画像を受信し、前記リアルタイム撮像画像の撮像位置に対応する前記過去画像及び前記マーキング情報を前記記憶部から読み出す読み出し制御部と、
前記被支援者を支援する支援者が監視する表示部に表示するための支援画像であり、前記リアルタイム撮像画像、及び前記過去画像の何れか、又は両方に対して、前記記憶部から読み出された前記マーキング情報で示される所定の前記マークを反映させた支援画像を生成する支援画像生成部として機能させること
を特徴とする遠隔支援プログラム。

【請求項12】

被支援者の周囲を撮像するカメラ装置及び前記被支援者を支援する音声を出力する音声出力装置を備えた、前記被支援者により携帯される被支援者装置と、前記カメラ装置で撮像された撮像画像を表示する表示装置、及び、前記被支援者を支援する支援者の支援音声を集音して前記被支援者装置に送信する送信部を備えた遠隔監視端末装置とを有する遠隔支援システムであって、
前記被支援者装置及び前記遠隔監視端末装置の間の通信を中継する遠隔支援装置を、さらに備え、
前記遠隔支援装置は、
前記被支援者により携帯される前記カメラ装置で過去に撮像された過去画像、前記過去画像の地理的な撮像位置を示す撮像位置情報、及び、前記過去画像に付された所定のマークに関するマーキング情報をそれぞれ関連付けて記憶部に記憶制御する記憶制御部と、
前記被支援者により携帯される前記カメラ装置でリアルタイムに撮像されるリアルタイム撮像画像を受信し、前記リアルタイム撮像画像の撮像位置に対応する前記過去画像及び前記マーキング情報を前記記憶部から読み出す読み出し制御部と、
前記被支援者を支援する支援者が監視する表示部に表示するための支援画像であり、前記リアルタイム撮像画像、及び前記過去画像の何れか、又は両方に対して、前記記憶部から読み出された前記マーキング情報で示される所定の前記マークを反映させた支援画像を生成する支援画像生成部と、を備えること
を特徴とする遠隔支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔支援装置、遠隔支援方法、遠隔支援プログラム及び遠隔支援システムに関する。

【背景技術】

【0002】

今日において、視覚障害者等の被支援者が、単独で安全に行動できるように支援する装置が知られている。

【0003】

例えば、特許文献１（特開２０００－３１２３５６号公報）には、視覚障害者の身体に取り付けられたカメラ装置で撮像された画像に基づいて、支援者が視覚障害者の周囲の状況を確認し、安全な方向へ遠隔誘導する視覚障害者誘導システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０００－３１２３５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１の視覚障害者誘導システムの場合、支援者は、視覚障害者を安全に誘導するために、視覚障害者に携帯されるカメラ装置で撮像された撮像画像を、高い集中力を持って終始監視する必要がある。このため、支援者の多大な監視労力が必要となる問題があった。この問題は、一人の支援者で複数の視覚障害者の支援を行う場合に、より顕著となる。

【0006】

本発明は、上述の課題に鑑みてなされたものであり、被支援者の遠隔支援における、支援者の監視労力の軽減を図った、遠隔支援装置、遠隔支援方法、遠隔支援プログラム及び遠隔支援システムの提供を目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明は、被支援者により携帯されるカメラ装置で過去に撮像された過去画像、過去画像の地理的な撮像位置を示す撮像位置情報、及び、過去画像に付された所定のマークに関するマーキング情報をそれぞれ関連付けて記憶部に記憶制御する記憶制御部と、被支援者により携帯されるカメラ装置でリアルタイムに撮像されるリアルタイム撮像画像を受信し、リアルタイム撮像画像の撮像位置に対応する過去画像及びマーキング情報を記憶部から読み出す読み出し制御部と、被支援者を支援する支援者が監視する表示部に表示するための支援画像であり、リアルタイム撮像画像及び過去画像の何れか、又は両方に対して、記憶部から読み出されたマーキング情報で示される所定のマークを反映させた支援画像を生成する支援画像生成部と、を有する。

【発明の効果】

【0008】

本発明によれば、被支援者の遠隔支援における、支援者の監視労力を軽減できる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態の遠隔支援システムのシステム構成を示す図である。

【図2】図２は、実施の形態の遠隔支援システムに設けられている携帯端末装置のブロック図である。

【図3】図３は、携帯端末装置のＣＰＵが、内蔵メモリに記憶されている音声支援プログラムを実行することで実現される各機能の機能ブロック図である。

【図4】図４は、ヘッドセット装置の外観構成を示す斜視図である。

【図5】図５は、左右のユニット筐体部のハードウェア構成を示すブロック図である。

【図6】図６は、左右のユニット筐体部のマイクロコンピュータが、制御プログラムに基づいて動作することで実現される各機能の機能ブロック図である。

【図7】図７は、センタサーバ装置のハードウェア構成を示すブロック図である。

【図8】図８は、センタサーバ装置の機能構成を示す機能ブロック図である。

【図9】図９は、遠隔監視端末装置のハードウェア構成を示すブロック図である。

【図10】図１０は、遠隔監視端末装置の機能構成を示す機能ブロック図である。

【図11】図１１は、センタサーバ装置におけるプライバシー保護画像の生成動作の流れを示すフローチャートである。

【図12】図１２は、プライバシー保護画像の一例を示す図である。

【図13】図１３は、遠隔監視端末装置におけるマーキング情報の処理動作及びマーキング情報に基づく要注意領域の表示処理の流れを示すフローチャートである。

【図14】図１４は、支援者により要注意領域に対するマーキング処理が行われたプライバシー保護画像の一例を示す図である。

【図15】図１５は、遠隔監視端末装置からマーキング情報を受信したセンタサーバ装置における、マーキング情報の処理動作の流れを示すフローチャートである。

【図16】図１６は、過去画像に対して指定された要注意領域及び特徴点を示す図である。

【図17】図１７は、各特徴点に対して特徴点ＩＤを付す順序を説明するための図である。

【図18】図１８は、各特徴点のベクトル値及び領域特徴ベクトルを説明するための図である。

【図19】図１９は、遠隔監視端末装置のモニタ装置に表示される支援画面の一例を示す図である。

【図20】図２０は、過去画像で指定された要注意領域をリアルタイム動画像に反映する動作の流れを示すフローチャートである。

【図21】図２１は、過去画像の要注意領域が反映されたリアルタイム動画像の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して、本発明の一例となる実施の形態の遠隔支援システムの説明をする。この実施の形態の遠隔支援システムは、被支援者に装着されたカメラ装置の撮像画像に基づいて、支援者が被支援者の遠隔支援を行うものである。この実施の形態の遠隔支援システムは、例えば視覚障害者の遠隔支援の他、子供の遠隔支援、又は、見知らぬ土地を移動する人の誘導等に用いることができる。以下、被支援者の一例として、視覚障害者の遠隔支援を行う例を説明する。

【0011】

（システム構成）
図１は、実施の形態の遠隔支援システムのシステム構成を示す図である。この図１に示すように、実施の形態の遠隔支援システムは、視覚障害者が装着する視覚障害者装置１、支援者が操作する遠隔監視端末装置３、及び、視覚障害者装置１と遠隔監視端末装置３との間の通信を中継するセンタサーバ装置２を有している。センタサーバ装置２及び遠隔監視端末装置３は、所定のネットワーク４を介して相互に接続されている。ネットワーク４としては、例えばインターネット等の広域網又はＬＡＮ（Local Area Network）等のプライベート網を用いることができる。センタサーバ装置２は、遠隔支援装置の一例である。

【0012】

視覚障害者装置１は、無線基地局５との間で無線通信を行う。後述するように、視覚障害者装置１は、視覚障害者により携帯され、その視覚障害者装置１に備わるカメラ装置で視覚障害者の周囲の画像を動画像として撮像すると共に、同じくその視覚障害者装置１に備わるマイクロホン装置で視覚障害者の音声を集音する。このような視覚障害者の周囲の撮像画像及び視覚障害者の音声は、無線基地局５及びネットワーク４を介してセンタサーバ装置２に送信され、センタサーバ装置２において、撮像画像に対して後述するプライバシー保護処理がなされたうえで、視覚障害者の音声とともに、遠隔監視端末装置３へ送信される。また、遠隔監視端末装置３において入力された、支援者による支援音声が、センタサーバ装置２へ送信され、さらにセンタサーバ装置２からネットワーク４及び無線基地局５を介して視覚障害者装置１に送信される。これにより、支援者からの支援音声により、視覚障害者の遠隔支援が可能となる。

【0013】

（視覚障害者装置のハードウェア構成）
図２は、実施の形態の遠隔支援システムに設けられている視覚障害者装置１のブロック図である。この図２に示すように、視覚障害者装置１は、ヘッドセット装置７及び携帯端末装置８を有している。携帯端末装置８としては、無線通信機能を備えた携帯機器であるスマートホン又はタブレット端末装置等を用いることができる。

【0014】

ヘッドセット装置７は、視覚障害者が支援者の支援音声を聴取するためのイヤホン装置２５、視覚障害者の周囲の画像を撮像するカメラ装置２６、及び、視覚障害者が発生する音声を集音するためのマイクロホン装置２７を有している。詳しくは、後述する。

【0015】

携帯端末装置８は、ＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、内蔵メモリ１３、通信部１４、近距離無線通信部１５、タッチパネル１６、ＧＰＳ（Global Positioning System）センサ１７を備えている。また、携帯端末装置８は、加速度センサ１８、タイマ１９、外部インターフェース（外部Ｉ／Ｆ）２０、カメラ部２１、マイクロホン部２２及びスピーカ部２３を備えている。

【0016】

内蔵メモリ１３には、音声支援プログラムが記憶されている。後述するように、ＣＰＵ１１がこの音声支援プログラムを実行することにより、携帯端末装置８の各機能が実現される。携帯端末装置８の電源投入後、視覚障害者が後述するタッチパネル１６を操作することによって、ＣＰＵ１１が音声支援プログラムの実行を開始する。あるいは、携帯端末装置８の電源が投入されるのに連動して、ＣＰＵ１１が音声支援プログラムの実行を開始するようにしてもよい。ＣＰＵ１１は、音声支援プログラムに基づいて、ヘッドセット装置７で撮像された視覚障害者の周囲の画像を受信して、その画像に後述するＧＰＳセンサ１７が取得したＧＰＳ情報を撮像位置、タイマ１９がカウントした時刻を撮像時刻情報（タイムスタンプ）として付加し、センタサーバ装置２へ送信する。また、ＣＰＵ１１は、音声支援プログラムに基づいて、ヘッドセット装置７で集音された視覚障害者の音声を受信して、センタサーバ装置２に送信する。また、ＣＰＵ１１は、音声支援プログラムに基づいて、センタサーバ装置２から支援者の支援音声を受信して、ヘッドセット装置７に送信する。また、ＣＰＵ１１は、音声支援プログラムに基づいて、後述するＧＰＳセンサ１７が取得したＧＰＳ情報、及び加速度センサ１８が取得した加速度情報を、センタサーバ装置２へ送信する。

【0017】

通信部１４は、無線基地局５との間で無線通信を行う。近距離無線通信部１５は、例えばブルートゥース（登録商標）等の近距離無線通信を、ヘッドセット装置７の間で行う。タッチパネル１６は、表示部及び操作部が一体化されたデバイスである。ユーザは、このタッチパネル１６を接触操作することで、所望の入力操作が可能となっている。ＧＰＳセンサ１７は、上空に存在する複数のＧＰＳ衛星からの信号に基づいて、携帯端末装置８を携帯する視覚障害者の現在位置を示すＧＰＳ情報を出力する。加速度センサ１８は、携帯端末装置８を携帯する視覚障害者の移動方向を検出するための加速度情報を出力する。タイマ１９は、ヘッドセット装置７のカメラ装置２６で撮像される撮像画像に付加される撮像時刻をカウントする。通信部１４は、ヘッドセット装置７で撮像された視覚障害者の周囲の画像を、ヘッドセット装置７から受信し、タイマ１９がカウントした撮像時刻を付加して、センタサーバ装置２へ送信する。

【0018】

外部Ｉ／Ｆ２０は、図２中、点線のブロックで示すように、ヘッドセット装置７のイヤホン装置２５、カメラ装置２６及びマイクロホン装置２７を、例えばＵＳＢケーブル等により有線接続する際に用いられるインターフェースである。カメラ部２１は、携帯端末装置８に内蔵されている撮像機能である。マイクロホン部２２は、携帯端末装置８に内蔵されている集音機能である。スピーカ部２３は、携帯端末装置８に内蔵されている音声出力機能である。

【0019】

（携帯端末装置の機能構成）
図３は、携帯端末装置８のＣＰＵ１１が、内蔵メモリ１３に記憶されている音声支援プログラムを実行することで実現される各機能の機能ブロック図である。この図３に示すように、ＣＰＵ１１は、音声支援プログラムに基づいて、通信制御部３１、取得部３２及び音声制御部３３の各機能を実現する。

【0020】

通信制御部３１は、無線基地局５との間の無線通信制御の他、ヘッドセット装置７との間の近距離無線通信制御を行う。取得部３２は、通信制御部３１の近距離無線通信制御により受信された、ヘッドセット装置７のカメラ装置２６で撮像された視覚障害者の周囲の撮像画像、及び、ヘッド装置７のマイクロホン装置２７で集音された視覚障害者の音声を取得し、無線基地局５及びネットワーク４を介してセンタサーバ装置２へ送信する。また、通信制御部３１は、センタサーバ装置２から送信された視覚障害者を支援する支援者の支援音声を、ネットワーク４及び無線基地局５を介して受信し、近距離無線通信でヘッドセット装置７に送信する。音声制御部３３は、ヘッド装置７のマイクロホン装置２７を使用しない場合に、携帯端末装置８のマイクロホン部２２で視覚障害者の音声を集音し、通信制御部３１を介してセンタサーバ装置２へ送信制御する。また、音声制御部３３は、ヘッド装置７のイヤホン装置２５を使用しない場合に、センタサーバ装置２から送信された視覚障害者を支援する支援者の支援音声を、ネットワーク４、無線基地局５、及び通信制御部３１を介して受信し、携帯端末装置８のスピーカ部２３を介して出力制御する。

【0021】

（ヘッドセット装置の外観構成）
図４は、ヘッドセット装置７の外観構成を示す斜視図である。この図４に示すように、ヘッドセット装置７は、いわゆる眼鏡型のヘッドセット装置となっている。視覚障害者の耳に掛ける部分である左のテンプル部（つる）３５Ｌには、左ユニット筐体部３６Ｌが設けられており、右のテンプル部３５Ｒには、右ユニット筐体部３６Ｒが設けられている。

【0022】

左ユニット筐体部３６Ｌには、視覚障害者の前方の画像を撮像するカメラ装置２６ＬＦ及び視覚障害者の後方の画像を撮像するカメラ装置２６ＬＲが設けられている。同様に、右ユニット筐体部３６Ｒには、視覚障害者の前方の画像を撮像するカメラ装置２６ＲＦ及び視覚障害者の後方の画像を撮像するカメラ装置２６ＲＲが設けられている。

【0023】

各カメラ装置２６ＬＦ，２６ＬＲ，２６ＲＦ，２６ＲＲは、例えば魚眼レンズ等の画角の広いレンズ（広角レンズ）を備えている。一例として、各カメラ装置２６ＬＦ，２６ＬＲ，２６ＲＦ，２６ＲＲの画角は、約１８０度程度となっている。このため、各カメラ装置２６ＬＦ，２６ＬＲ，２６ＲＦ，２６ＲＲにより、視覚障害者の左右の側面側及び足元を含む、周囲３６０度の範囲を撮像可能となっている。ここで、カメラ装置２６ＬＦ及びカメラ装置２６ＲＦを組み合わせて、ステレオカメラとして使用することで、これらのカメラ装置が撮像した画像内の対象物までの距離を検知することができる。実施の形態では、後述するセンタサーバ装置２において、カメラ装置２６ＬＦ及びカメラ装置２６ＲＦが撮像した画像による距離の検知を利用する。

【0024】

また、右ユニット筐体部３６Ｒには、視覚障害者の右耳に装着されるイヤホン装置２５が設けられている。このイヤホン装置２５を介して、支援者からの支援音声が出力され、視覚障害者に対する行動の指示、又は、危険物に対する注意喚起等が行われる。イヤホン装置２５は、被支援者により携帯される音声出力装置の一例である。

【0025】

なお、図４の例は、右ユニット筐体部３６Ｒにのみ、イヤホン装置２５を設けた例であるが、左ユニット筐体部３６Ｌにのみ、イヤホン装置２５を設けてもよいし、両方のユニット筐体部３６Ｌ，３６Ｒに、それぞれイヤホン装置２５を設けてもよい。

【0026】

また、左ユニット筐体部３６Ｌには、視覚障害者の音声を集音するマイクロホン装置２７が設けられている。このマイクロホン装置２７により集音された視覚障害者の音声は、所定の通信プロトコルに基づいてセンタサーバ装置２及び遠隔監視端末装置３に送信可能なデータ形態（音声データ）に変換処理されて、近距離無線通信により携帯端末装置８に送信され、所定の通信事業者により提供される無線通信プロトコルに従って、無線基地局５を介してセンタサーバ装置２に送信され、さらにセンタサーバ装置２から遠隔監視端末装置３に送信される。遠隔監視端末装置３では、受信した音声データがアナログ信号に変換処理され、支援者に対して出力される。これにより、支援者は、視覚障害者の音声を介して視覚障害者の意図を認識でき、視覚障害者の要望に応じた適格な支援を行うことができる。

【0027】

また、この例では、左右のユニット筐体部３６Ｌ，３６Ｒを設けることとしたが、いずれか一方のユニット筐体部を設けてもよい。また、ユニット筐体部に設けるカメラ装置２６も、視覚障害者の前方を撮像するカメラ装置のみを設けてもよい。この場合でも、カメラ装置２６は、広角レンズを有しているため、視覚障害者の前方の広範囲の画像を撮像できる。ただ、左右のユニット筐体部３６Ｌ，３６Ｒで視覚障害者の前後を撮像することで、視覚障害者の周囲の、より広範囲の撮像画像を得ることができ、より的確な支援を可能とすることができる。

【0028】

なお、ヘッドセット装置７のマイクロホン装置２７を使用しない場合、携帯端末装置８を、例えば視覚障害者が胸ポケット等に入れて携帯し、携帯端末装置８のマイクロホン部２２で視覚障害者の音声を集音することとしてもよい。

【0029】

また、ヘッドセット装置７のイヤホン装置２５を使用しない場合、携帯端末装置８を、例えば視覚障害者が胸ポケット等に入れて携帯し、携帯端末装置８のスピーカ部２３から支援者の支援音声を出力することとしてもよい。

【0030】

また、この実施の形態の例では、ヘッドセット装置７及び携帯端末装置８は、近距離無線通信を行うことで、画像及び音声を送受信することとして説明を進める。しかし、図２に点線のブロックで示すように、携帯端末装置８の外部Ｉ／Ｆ２０を介して、例えばＵＳＢケーブル等により、ヘッドセット装置７と携帯端末装置８との間を有線接続し、画像及び音声の送受信を行うようにしてもよい。

【0031】

（ユニット筐体部のハードウェア構成）
図５は、左右のユニット筐体部３６Ｌ，３６Ｒのハードウェア構成を示すブロック図である。この図５に示すように各ユニット筐体部３６Ｌ，３６Ｒは、マイクロコンピュータ４０、ＲＡＭ４１、内蔵メモリ４２、カメラ装置２６、近距離無線通信部４４、イヤホン装置２５及びマイクロホン装置２７を有している。内蔵メモリ４２には、制御プログラムが記憶されている。マイクロコンピュータ４０は、この制御プログラムに基づいて動作することで、カメラ装置２６で撮像された視覚障害者の周囲の画像を、近距離無線通信部４４を介して携帯端末装置８に送信制御する。

【0032】

また、マイクロコンピュータ４０は、制御プログラムに基づいて動作することで、マイクロホン装置２７により集音された視覚障害者の音声を、所定の通信プロトコルに基づいてセンタサーバ装置２及び遠隔監視端末装置３に送信可能なデータ形態（音声データ）に変換処理し、近距離無線通信部４４を介して携帯端末装置８に送信制御する。さらに、マイクロコンピュータ４０は、制御プログラムに基づいて動作することで、携帯端末装置８から近距離無線通信部４４を介して受信した支援者の支援音声データを、アナログ信号に変換処理し、イヤホン装置２５を介して出力制御する。

【0033】

（ユニット筐体部の機能構成）
図６は、左右のユニット筐体部３６Ｌ，３６Ｒのマイクロコンピュータ４０が、制御プログラムに基づいて動作することで実現される各機能の機能ブロック図である。この図６に示すように、マイクロコンピュータ４０は、制御プログラムを実行することで、カメラ制御部４８、音声制御部４９及び近距離無線通信制御部５０として機能する。

【0034】

カメラ制御部４８は、視覚障害者の周囲を撮像するように、カメラ装置２６を撮像制御する。音声制御部４９は、マイクロホン装置２７で集音された視覚障害者の音声を取得し、所定の通信プロトコルに基づいてセンタサーバ装置２及び遠隔監視端末装置３に送信可能なデータ形態（音声データ）に変換処理する。また、音声制御部４９は、携帯端末装置８から受信した支援者の支援音声データをアナログ信号に変換処理し、イヤホン装置２５を介して出力制御する。近距離無線通信制御部５０は、カメラ装置２６で撮像された視覚障害者の周囲の画像、及び、マイクロホン装置２７で集音された視覚障害者の音声データを、携帯端末装置８に送信するように、近距離無線通信部４４を制御する。

【0035】

（センタサーバ装置のハードウェア構成）
図７は、センタサーバ装置２のハードウェア構成を示すブロック図である。この図７に示すように、センタサーバ装置２は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、ＨＤＤ（Hard Disk Drive）５４及び通信部５５を有している。

【0036】

通信部５５は、ネットワーク４を介して遠隔監視端末装置３との間で通信を行い、また、ネットワーク４及び無線基地局５を介して携帯端末装置８との間で通信を行う。

【0037】

ＨＤＤ５４は、記憶部の一例である。ＨＤＤ５４には、遠隔支援制御プログラム、地図データ、音声メモデータ、マーキング情報、過去画像、特徴点管理テーブル及び要注意領域管理テーブル等が記憶されている。ＣＰＵ５１は、遠隔支援制御プログラムに基づいて、視覚障害者により携帯される視覚障害者装置１のカメラ装置２６で撮像された撮像画像（リアルタイム動画像）を視覚障害者装置１から受信すると、その画像に対して、写っている人物のプライバシーを保護する処理（プライバシー保護処理）を施す。ここで、リアルタイム動画像は、リアルタイム撮像画像の一例である。また、ＣＰＵ５１は、遠隔支援制御プログラムに基づいて、リアルタイム動画像の撮像位置に対応する過去画像及びマーキング情報を記憶部から読み出し、プライバシー保護処理が施されたリアルタイム動画像とともにその過去画像及びマーキング情報を遠隔監視端末装置３に提供し、支援者による視覚障害者の支援を補助する。

【0038】

また、ＣＰＵ５１は、遠隔支援制御プログラムに基づいて、地図データ上に視覚障害者の現在位置を表示して、遠隔監視端末装置３に提供する。また、ＣＰＵ５１は、支援者により遠隔監視端末装置３に入力された、例えば「この先段差があるため、注意してください」等の、支援者が要注意領域の存在を認識し易くするための音声メモデータ又はテキスト情報等を、遠隔支援制御プログラムに基づいて、遠隔監視端末装置３から受信し、ＨＤＤ５４に記憶制御する。また、ＣＰＵ５１は、詳しくは後述するが、プライバシー保護処理が施されて遠隔監視端末装置３に提供したリアルタイム動画像上で支援者が指定した要注意領域を示すマーキング情報を、リアルタイム動画像とともに遠隔監視端末装置３から受信し、遠隔支援制御プログラムに基づいて、受信したリアルタイム動画像を過去画像として、受信したマーキング情報ととともにＨＤＤ５４に記憶制御する。なお、過去画像はリアルタイム動画像と同様にプライバシー保護処理が施された動画像である。

【0039】

また、ＣＰＵ５１は、遠隔支援制御プログラムに基づいて、過去画像から、例えばエッジ部分及びコーナー部分等の、画像的な特徴を有する特徴点を抽出して特徴点管理テーブルに記憶すると共に、各要注意領域に対応する特徴点の直和である領域特徴ベクトルを算出して要注意領域管理テーブルに過去画像と対応付けて記憶する。この特徴点及び領域特徴ベクトルの算出については、後述する。

【0040】

（センタサーバ装置の機能構成）
図８は、センタサーバ装置２の機能構成を示すブロック図である。この図８に示すように、センタサーバ装置２のＣＰＵ５１は、ＨＤＤ５４に記憶されている遠隔支援制御プログラムを実行することで、取得部６０、特徴点抽出部６１、計算部６２、現在位置特定部６３及びプライバシー保護画像生成部６４の各機能を実現する。また、ＣＰＵ５１は、遠隔支援制御プログラムを実行することで、マッチング処理部６５、支援画像生成部６６、通信制御部６７、色彩選択部６８、人物領域検出部６９、記憶制御部７０、マーキング情報処理部７１及び要注意領域変更処理部７２を実現する。

【0041】

取得部６０は、視覚障害者により携帯される視覚障害者装置１から、その視覚障害者装置１が撮像した視覚障害者の周囲の画像、集音した視覚障害者の音声データ、ＧＰＳセンサ１７が取得したＧＰＳ情報、及び加速度センサ１８が取得した加速度情報を取得する。また、取得部６０は、遠隔監視端末装置３から、支援者の支援音声、及び、支援者がリアルタイム動画像上で指定した要注意領域を示すマーキング情報を取得する。特徴点抽出部６１は、過去のリアルタイム動画像である過去画像、及び視覚障害者により携帯される視覚障害者装置１が撮像した画像をプライバシー保護処理されたリアルタイム動画像から、例えばエッジ部分及びコーナー部分等の画像的な特徴を有する特徴点を抽出する。算出部６２は、抽出された特徴点に基づいて、各要注意領域に対応する特徴点の直和である領域特徴ベクトルを算出する。

【0042】

現在位置特定部６３は、視覚障害者の携帯端末装置８から取得したＧＰＳ情報及び加速度情報に基づいて、視覚障害者の現在位置、移動方向及び移動速度を特定する。プライバシー保護画像生成部６４は、プライバシー保護部の一例であり、視覚障害者により撮像された画像（リアルタイム動画像）に写っている人物像の領域（輪郭）を、所定の色で塗り潰す等の方法より所定の色で表してプライバシーを保護し、プライバシー保護画像としてのリアルタイム動画像を生成する（プライバシー保護処理）。マッチング処理部６５は、過去画像及びリアルタイム動画像を、領域特徴ベクトルに基づいてマッチング処理し、リアルタイム動画像上における、支援者により指定された要注意領域を検出する。

【0043】

支援画像生成部６６は、支援者が視覚障害者を監視する際に見る支援画像を生成する。通信制御部６７は、ネットワーク４を介して、遠隔監視端末装置３との間の通信を行う。また、通信制御部６７は、ネットワーク４及び無線基地局５を介して、視覚障害者装置１との間の通信を行う。色彩選択部６８は、プライバシー保護画像を生成する際に、視覚障害者に対して予測される危険度に応じて、人物を塗り潰す際に用いる色を選択する。人物領域検出部６９は、視覚障害者装置１により撮像された画像（リアルタイム動画像）から、人物が写っている領域を検出する。記憶制御部７０は、支援者により指定された要注意領域を示すマーキング情報、及び、支援者が要注意領域の存在を認識し易くするための音声メモデータ又はテキスト情報等をＨＤＤ５４に記憶制御する。音声メモデータ及びテキスト情報は、補助情報の一例である。

【0044】

マーキング情報処理部７１は、支援者により指定された要注意領域を示すマーキング情報を生成する。要注意領域変更処理部７２は、過去画像上で指定されている要注意領域の大きさを変更し（拡大又は縮小）、マッチング処理部６５のマッチング精度の向上を図る。

【0045】

（遠隔監視端末装置のハードウェア構成）
図９は、遠隔監視端末装置３のハードウェア構成を示すブロック図である。この図９に示すように遠隔監視端末装置３は、ＣＰＵ８１、ＲＯＭ８２、ＲＡＭ８３、通信部８４、ＨＤＤ８５、入出力インターフェース（入出力Ｉ／Ｆ）８６、マイクロホン部８７及びスピーカ部８８を有している。入出力Ｉ／Ｆ８６には、モニタ装置８９及び操作部９０等が接続される。

【0046】

モニタ装置８９は、表示部又は表示装置の一例である。モニタ装置８９には、センタサーバ装置２から取得した、プライバシー保護処理が施されたリアルタイム動画像、そのリアルタイム動画像の撮像位置に対応する過去画像とマーキング情報、及び、視覚障害者の現在位置を示す地図情報等が表示される。操作部９０としては、例えばキーボード装置及びマウス装置等の入力装置が接続される。支援者は、操作部９０を操作することで、リアルタイム動画像に対して要注意領域の入力等を行う。マイクロホン部８７は、視覚障害者に対して注意を促す支援者の支援音声を集音する。スピーカ部８８は、センタサーバ装置２から取得した視覚障害者の音声を出力する。

【0047】

（遠隔監視端末装置の機能構成）
ＨＤＤ８５には、遠隔支援プログラムが記憶されている。ＣＰＵ８１は、この遠隔支援プログラムを実行することで、図１０に示すように取得部９１、表示制御部９２、マーキング処理部９３、通信制御部９４及び音声処理部９５の各機能を実現する。

【0048】

取得部９１は、センタサーバ装置２から送信される、リアルタイム動画像、そのリアルタイム動画像の撮像位置に対応する過去画像とマーキング情報、視覚障害者の現在位置を示す地図情報等、及び、視覚障害者の音声データを、ネットワーク４及び後述する通信制御部９４を介して取得する。表示制御部９２は、取得部９１が取得した、リアルタイム動画像、そのリアルタイム動画像の撮像位置に対応する過去画像とマーキング情報、及び、視覚障害者の現在位置を示す地図情報等をモニタ装置８９に表示制御する。

【0049】

マーキング処理部９３は、取得部９１が取得したリアルタイム動画像に対して、支援者により指定された要注意領域を特定する。通信制御部９４は、センタサーバ装置２から送信される、リアルタイム動画像、そのリアルタイム動画像の撮像位置に対応する過去画像とマーキング情報、視覚障害者の現在位置を示す地図情報等、及び、視覚障害者の音声データを受信する。また、通信制御部９４は、支援者により指定されたリアルタイム動画像上の要注意領域を示すマーキング情報を、リアルタイム動画像とともに、ネットワーク４を介してセンタサーバ装置２に送信する。また、通信制御部９４は、後述する音声処理部９５が変換処理した支援者の支援音声（音声データ）を、ネットワーク４を介してセンタサーバ装置２へ送信する。

【0050】

音声処理部９５は、視覚障害者に対して注意を促す支援者の支援音声を、所定の通信プロトコルに基づいてセンタサーバ装置２及び視覚障害者装置１に送信可能なデータ形態に変換処理する。また、音声処理部９５は、センタサーバ装置２を介して受信した、視覚障害者の音声データを、スピーカ部８８を介して出力可能なアナログ信号に変換処理する。

【0051】

(センタサーバ装置におけるプライバシー保護画像の生成動作)
次に、このような実施の形態の遠隔支援システムにおける、センタサーバ装置２のプライバシー保護画像の生成動作を説明する。実施の形態の遠隔支援システムは、視覚障害者装置１により撮像された画像（リアルタイム動画像）を、センタサーバ装置２から遠隔監視端末装置３に送信する。そして、遠隔監視端末装置３を操作する支援者が、センタサーバ装置２から送信されたリアルタイム動画像を見ながら、視覚障害者に対して危険を回避するための支援等を行う。

【0052】

しかし、視覚障害者装置１で撮像された画像には、様々な人物が写っている可能性がある。このため、視覚障害者装置１で撮像された画像に写っている人物のプライバシーを保護する必要がある。このようなことから、センタサーバ装置２は、視覚障害者装置１で撮像された画像に写っている人物を塗り潰したプライバシー保護画像を生成し（プライバシー保護処理）、遠隔監視端末装置３に送信する。これにより、視覚障害者装置１で撮像された画像に写っている人物のプライバシーを保護したうえで、視覚障害者に対する支援を可能とすることができる。

【0053】

なお、以下、プライバシー保護処理の対象は、人物であることとして説明を進めるが、この他、例えば乗員の顔やナンバープレートが写り込んだことにより所有者が割り出される可能性がある自動車等をプライバシー保護処理の対象として塗り潰してもよい。この場合、自動車等全体を塗り潰すと、塗り潰された自動車等がプライバシー保護画面の大半を占め、何が移っているのか判別しにくくなる状況があり得るので、写り込んだ乗員やナンバープレートはプライバシー保護処理の対象として塗り潰し、自動車等全体に対しては、代表となる一つ又は複数の特徴点を着色して表示してもよい。

【0054】

また、プライバシー保護処理は、元のリアルタイム動画像を不可逆的に直接加工する方法でもよいし、元のリアルタイム動画像の付加情報として塗り潰すパターンを別途作成し、表示する際にリアルタイム動画像上に塗り潰すパターンを重畳表示する方法でもよい。

【0055】

図１１は、センタサーバ装置２におけるリアルタイム動画像の生成動作の流れを示すフローチャートである。まず、視覚障害者により携帯される視覚障害者装置１で撮像された画像は、視覚障害者の現在位置を示すＧＰＳ情報及び加速度情報と共に、無線基地局５及びネットワーク４を介してセンタサーバ装置２に送信される。ステップＳ１では、図８に示すセンタサーバ装置２の取得部６０が、通信部５５及び通信制御部６７を介して視覚障害者装置１で撮像された画像（リアルタイム動画像）、ＧＰＳ情報及び加速度情報を取得する。

【0056】

ステップＳ２では、特徴点抽出部６１が、リアルタイム動画像に写っている物体の例えばエッジ部分及びコーナー部分等の複数の特徴点を抽出する。ステップＳ３では、計算部６２が、リアルタイム動画像に写っている物体の各特徴点に対する視覚障害者からの距離及び相対速度を図４にて説明したステレオカメラの機能に算出する。具体的には、視覚障害者装置１のヘッドセット装置７に備わる２台のカメラ装置２６ＬＦ、２６ＲＦをステレオカメラとして使用し、各カメラ装置が撮像した画像に基づいて、その画像に写っている物体までの距離、及びその時間変化（相対速度）を検出する。ここで視覚障害者を基準とした、画像に写っている物体の相対速度は、視覚障害者に対して接近する方向を正とする。

【0057】

次に、ステップＳ４では、色彩選択部６８が、視覚障害者に対する各特徴点の移動方向（正負相対：視覚障害者に接近する方向への移動か（正方向への移動）、又は、視覚障害者から離れてく方向への移動か（負方向への移動））及び相対速度の大きさに対応する色彩を選択する。また、ステップＳ５では、人物領域検出部６９が、ステップＳ２で検出された各特徴点に基づいて、リアルタイム動画像に写っている人物像の領域を検出する。そして、ステップＳ６において、プライバシー保護画像生成部６４が、ステップＳ５で検出された人物像の領域を、ステップＳ４で選択された色で塗り潰した、プライバシー保護処理されたリアルタイム動画像を生成する。

【0058】

具体的には、図１２は、プライバシー保護処理を施す前後のリアルタイム動画像の一例を示す図である。図１２（ａ）は、視覚障害者に携帯される視覚障害者装置１で撮像された画像（プライバシー保護処理を施す前のリアルタイム動画像）の一例を示している。一例ではあるが、このような図１２（ａ）に示すリアルタイム動画像としては、図４及び図５を用いて説明したヘッドセット装置７の左右のカメラ装置２６で撮像された左右の撮像画像に基づいて、プライバシー保護画像生成部６４が、いわゆる視差演算を行うことで形成した視差画像を用いることができる。

【0059】

図１２（ａ）に例示するリアルタイム動画像の場合、視覚障害者の正面に杖を持った銅像が写っており、この銅像の左側には、視覚障害者から遠ざかる方向に歩行する二人の人物が写っている。また、銅像の右側には、視覚障害者に近づく方向に歩行する二人の人物が写っている。また、視覚障害者に近づく方向に歩行する二人の人物のうち、リアルタイム動画像の右端に写っている人物の歩行速度は速く、右端に写っている人物の隣の人物の歩行速度は遅いものとする。

【0060】

このような例において、銅像の左側を、視覚障害者から遠ざかる方向に歩行する二人の人物の相対速度としては、負の相対速度が得られる。視覚障害者から遠ざかる方向に歩行する人物は、視覚障害者と接触する可能性が低く、視覚障害者に対する危険度は低い。このため、色彩選択部６８は、視覚障害者に対して安全であることを意味する「青色」を選択する。そして、プライバシー保護画像生成部６４は、銅像の左側を歩行する二人の人物像を、図１２（ｂ）に示すように青色で塗り潰したプライバシー保護画像を生成する。

【0061】

これに対して、銅像の右側を、視覚障害者に対して近づく方向に歩行する二人の人物の相対速度としては、正の相対速度が得られる。視覚障害者に対して近づく方向に歩行する人物は、視覚障害者と接触する可能性があり、危険度が高い。また、歩行速度が速くなるほど、接触した際に視覚障害者が受けるダメージは大きくなる。このため、色彩選択部６８は、正の相対速度が所定以上の速度の人物に対しては、危険度が高いことを示す「赤色」を選択し、正の相対速度が所定未満の速度の人物に対しては、中程度の危険度であることを示す「黄色」を選択する。

【0062】

そして、プライバシー保護画像生成部６４は、銅像の右側を歩行する二人の人物のうち、正の相対速度像が所定以上の右端の人物は、図１２（ｂ）に示すように赤色で塗り潰したプライバシー保護画像を生成する。また、プライバシー保護画像生成部６４は、銅像の右側を歩行する二人の人物のうち、正の相対速度が所定未満の速度の人物は、図１２（ｂ）に示すように黄色で塗り潰したプライバシー保護画像を生成する。

【0063】

また、例えば椅子に座っている人物、柱に寄り掛かっている人物等のように、相対速度に基づいて移動が検出されない人物に対しては、色彩選択部６８は、危険度は略無いことを示す「緑色」を選択する。プライバシー保護画像生成部６４は、移動が検出されない人物は、図１２（ｂ）に示すように緑色で塗り潰したプライバシー保護画像を生成する。

【0064】

なお、上述の危険度の判定において、視覚障害者装置１から受信するＧＰＳ情報、加速度情報により現在位置特定部６３が特定した、視覚障害者の現在位置、移動方向及び移動速度を考慮してもよい。例えば、画像に写る人物について、同じ正の相対速度が検出された場合であっても、視覚障害者が静止している場合は危険度を中程度、視覚障害者がその人物の方向へ移動している場合は高程度、と判定するようにしてもよい。また、例えば、現在位置が交通量の多い場所である場合には、交通量の少ない場所に比べて危険度を高めに判定するようにしてもよい。

【0065】

このように、プライバシー保護画像生成部６４が、視覚障害者装置１が撮像した画像（リアルタイム動画像）に写っている人物像を所定の色で塗り潰したプライバシー保護画像を生成（プライバシー保護処理）することによって、その人物のプライバシーを保護することができる。このプライバシー保護処理されたリアルタイム動画像は、図１１のフローチャートのステップＳ７において、通信制御部６７により、通信部５５を介して、支援者の遠隔監視端末装置３に送信される。これにより、遠隔監視端末装置３のモニタ装置８９には、図１２（ｂ）に例示したように、視覚障害者の視覚障害者装置１で撮像された画像に写っている人物のプライバシーが保護された画像が表示される。また、視覚障害者装置１が撮像した画像（リアルタイム動画像）に写っている人物像を塗り潰す色が、その人物の視覚障害者にとっての危険度に応じて選択されるので、支援者は、視覚障害者の周囲の状況を的確に把握することができる。

【0066】

詳しくは、後述するが、支援者は、モニタ装置８９に表示されるプライバシー保護処理されたリアルタイム動画像に対して、視覚障害者に対して危険となることが予測される要注意領域に所定のマークを付すマーキング処理を行う。図１２（ｃ）は、視覚障害者に対して危険となることが予測される要注意領域が、支援者により楕円形状のマークでマーキング処理されたプライバシー保護画像を示している。この図１２（ｃ）の例の場合、左下の段差部分、銅像の左下に載置されている紙袋、及び銅像が、支援者によりマーキング処理され、要注意領域として指定されたことを示している。なお、マーキング処理に用いるマークとしては、矢印等の他のマークを用いてもよい。

【0067】

また、支援者は、このような要注意領域の入力操作と共に、覚え書きとなる音声メモデータ（テキスト情報でもよい）の入力も可能となっている。図１２（ｃ）の例は、段差部分に対しては、「足元、つまずき注意」との音声メモデータが、銅像の左下の紙袋に対しては、「足元、ぶつかり注意」との音声メモデータが、銅像に対しては、「障害物、注意」との音声メモデータが入力されたことを示している。

【0068】

このような要注意領域を示すマーキング情報、及び、覚え書きとなる音声メモデータ（又はテキスト情報）は、プライバシー保護処理されたリアルタイム動画像とともにセンタサーバ装置２に送信され、ＨＤＤ５４に保存される。なお、リアルタイム動画像は過去画像として保存される。そして、マーキング情報及び音声メモデータ（又はテキスト情報）は、次回、同じ場所における支援時にＨＤＤ５４から読み出され、視覚障害者装置１で撮像された画像をプライバシー保護処理されたリアルタイム動画像とともに、遠隔監視端末装置３に送信される。

【0069】

これにより、遠隔監視端末装置３のモニタ装置８９に、プライバシー保護処理されたリアルタイム動画像と併せて、その撮像位置に対応する、過去に入力した要注意領域を示すマークが表示され、スピーカ部８８を介して、音声メモデータによる「足元、ぶつかり注意」との音声が出力される。或いは、音声メモデータの代わりにテキスト情報を受信した場合には、遠隔監視端末装置３のモニタ装置８９に、要注意領域を示すマーク及び「足元、ぶつかり注意」等のテキスト情報が併せて表示される。支援者は、プライバシー保護処理されたリアルタイム動画像と併せて表示されている要注意領域を視認すると共に、音声メモデータによる音声を聴取することで、視覚障害者が歩行している場所における要注意領域を認識する。

【0070】

そして、支援者は、例えば「この先に、段差があります。つまずきに注意してください」等の支援音声を、マイクロホン部８７を介して音声入力する。この支援音声は、視覚障害者装置１に送信され、イヤホン装置２５を介して出力される。視覚障害者は、この支援音声により、現在の場所から、間も無く段差があることを認識でき、安全な歩行が可能となる。

【0071】

（マーキング情報の処理動作及び要注意領域の表示動作）
次に、上述のマーキング情報の処理動作、及び、マーキング情報に基づく要注意領域の表示動作を詳細に説明する。図１３は、遠隔監視端末装置３におけるマーキング情報の処理動作及びマーキング情報に基づく要注意領域の表示処理の流れを示すフローチャートである。この図１３のフローチャートにおいて、まず、ステップＳ１１では、図１０に示す遠隔監視端末装置３の通信制御部９４及び取得部９１が、センタサーバ装置２から上述のプライバシー保護処理されたリアルタイム動画像を受信して取得する。ステップＳ１２では、表示制御部９２が、プライバシー保護処理されたリアルタイム動画像をモニタ装置８９に表示制御する。

【0072】

ステップＳ１３では、マーキング処理部９３が、支援者がプライバシー保護処理されたリアルタイム動画像の所望の領域を例えば楕円形状のマークで囲む等の入力操作で指定された危険対象（要注意領域）を示すマーキング情報を生成する。

【0073】

マーキング情報の入力操作は、視覚障害者が歩行中の道路を、支援者が監視している際に行うことができる。

【0074】

図１４は、ステップＳ１３において、支援者により要注意領域に対するマーキング処理が行われた、プライバシー保護処理されたリアルタイム動画像の一例を示す図である。この図１４は、プライバシー保護処理を施す対象の人物像は写っておらず、歩道と車道の境目に存在する段差を楕円形状のマークでマーキングし、それぞれ要注意領域ＤＺ１，ＤＺ２として指定すると共に、「足元、つまずき注意」、「左より飛び出し注意」等の音声メモデータの入力を行った例を示している。このようなマーキング操作が行われると、ステップＳ１４において、通信制御部９４が、マーキング処理が行われた、プライバシー保護処理されたリアルタイム動画像、指定された要注意領域を示すマーキング情報及び音声メモデータ（又はテキスト情報）をセンタサーバ装置２に送信するように、通信部８４を制御する。

【0075】

ここで、図１５のフローチャートは、遠隔監視端末装置３からマーキング情報を受信したセンタサーバ装置２における、マーキング情報の処理動作の流れを示すフローチャートである。センタサーバ装置２は、遠隔監視端末装置３から、マーキング処理が行われた、プライバシー保護処理されたリアルタイム動画像、マーキング情報、及び音声メモデータ（又はテキスト情報）を受信すると、ステップＳ２１において、これらの受信した、プライバシー保護処理されたリアルタイム動画像、マーキング情報、及び音声メモデータ（又はテキスト情報）を、関連付けてＨＤＤ５４に記憶する。図７に示すＨＤＤ５４に記憶される「過去画像」は、このステップＳ２１においてＨＤＤ５４に記憶するプライバシー保護処理されたリアルタイム動画像、つまり、遠隔監視端末装置３からマーキング情報等と共に、センタサーバ装置２が受信した、プライバシー保護処理されたリアルタイム動画像を示している。以後、ステップＳ２１においてＨＤＤ５４に保存された、プライバシー保護処理されたリアルタイム動画像を、過去画像と表記する。

【0076】

次に、特徴点抽出部６１が、ＨＤＤ５４に記憶された過去画像とそれに関連付けられたマーキング情報に基づいて、過去画像から特徴点を抽出する。具体的に説明すると、まず、図８に示す特徴点抽出部６１が、マーキング情報で示される要注意領域内及び要注意領域近辺の特徴点を、過去画像から抽出する。図１６は、過去画像に対して指定された要注意領域及び特徴点を示す図である。この図１６は、楕円形状のマークで囲まれた領域が要注意領域ＤＺ２を示している。特徴点抽出部６１は、図１６中、×印で示すように、この要注意領域ＤＺ２内外の特徴点を抽出する。そして、特徴点抽出部６１は、要注意領域ＤＺ２の重心又は重心から最も近い特徴点に対して「１」の特徴点識別番号（特徴点ＩＤ）を付す（ＩＤ＝１）。

【0077】

次に、特徴点抽出部６１は、ＩＤ＝１の特徴点を含むセグメントから距離が近い順にセグメントを検索し、他の特徴点を検出する。そして、検出した各セグメントの特徴点に対して、反時計回り（左回り）に、順に特徴点ＩＤを付す。

【0078】

図１７は、各特徴点に対して特徴点ＩＤを付す順序を説明するための図である。この図１７に点線で示す同心の楕円で区切られた領域は、それぞれセグメントを示している。要注意領域ＤＺ２の重心に相当するＩＤ＝１の特徴点は、最も内側のセグメントに含まれている。特徴点抽出部６１は、ＩＤ＝１の特徴点を決定すると、このＩＤ＝１を含むセグメントの一つ外側のセグメント内に存在する特徴点に対して、反時計回り（左回り）に、順に特徴点ＩＤを付す。次に、特徴点抽出部６１は、ＩＤ＝１を含むセグメントの二つ外側のセグメント内に存在する特徴点に対して、反時計回り（左回り）に、順に特徴点ＩＤを付す。特徴点抽出部６１は、このような動作を繰り返すことで、図１７に渦巻き状の矢印で示すように、ＩＤ＝１を起点として反時計回り方向（左回り方向）に、順に、各特徴点に対して特徴点ＩＤを付す。

【0079】

次に、特徴点抽出部６１は、このように特徴点ＩＤを付した各特徴点に関する情報を、下記の表１に示す特徴点管理テーブル（図７参照）に記憶する。

【0080】

【表1】

【0081】

この表１に示すように、特徴点抽出部６１は、要注意領域が指定された過去画像に付されているタイムスタンプ（ＴＳ）、ＧＰＳ位置座標メッシュ領域及び特徴点ＩＤを特徴点管理テーブルに記憶する。また、特徴点抽出部６１は、特徴点画像内座標、要注意領域内外フラグ、特徴点ベクトル値、及び、要注意領域原点（特徴点ＩＤ１）からの相対座標を特徴点管理テーブルに記憶する。

【0082】

タイムスタンプ（ＴＳ）は、過去画像の撮像時刻情報である。この撮像時刻情報は、元は、図２に示すタイマ１９でカウントされ、視覚障害者装置１で撮像された画像（リアルタイム動画像）に付与されたものであり、過去画像にもそのタイムスタンプ（ＴＳ）が付与された状態でＨＤＤ５４に保存されている。ＧＰＳ位置座標メッシュ領域は、その過去画像が元々視覚障害者装置１で撮像された時点で視覚障害者が位置していた場所の位置情報（撮像位置情報の一例）である。この位置情報は、要注意領域が指定された過去画像を複数のメッシュ状に分割した分割領域のうち、視覚障害者が位置していた分割領域が、例えば第１のメッシュ、第２のメッシュ等のように記憶される。

【0083】

特徴点ＩＤは、上述のようにＩＤ＝１を起点として反時計回り方向（左回り方向）に、順に、各特徴点に付したＩＤである。特徴点画像内座標は、各特徴点のＸ軸及びｙ軸の座標値である。要注意領域内外フラグは、各特徴点ＩＤの特徴点が、それぞれ要注意領域内に位置するか、又は要注意領域外に位置するか、を示す情報である。その特徴点ＩＤの特徴点が、要注意領域内に位置する場合は、「１」の要注意領域内外フラグが特徴点管理テーブルに記憶される。また、その特徴点ＩＤの特徴点が、要注意領域外に位置する場合は、「０」の要注意領域内外フラグが特徴点管理テーブルに記憶される。

【0084】

特徴点ベクトル値は、図１８に示すように各特徴点ＩＤの特徴点のベクトル値である。要注意領域原点（特徴点ＩＤ１）からの相対座標は、ＩＤ＝１の特徴点に対して離れている距離を示す他の各特徴点のＸ座標値及びｙ座標値を示す。

【0085】

次に、特徴点抽出部６１は、このように特徴点を抽出した過去画像のフレームから一定時間分、過去のフレーム、及び、一定時間分、未来のフレームに対して、上述と同様に特徴点を抽出し、特徴点画像内座標等を特徴点管理テーブルに記憶する。マーキング情報処理部７１は、この特徴点管理テーブルを参照し、各特徴点の重心位置及び分布範囲に基づいて、フレーム毎に要注意領域を検出する。マーキング情報処理部７１は、各フレームに関連付けて、検出した要注意領域の座標等を、下記の表２に示す要注意領域管理テーブルに記憶する（図７参照）。

【0086】

【表2】

【0087】

この表２に示すように、マーキング情報処理部７１は、過去画像に付されているタイムスタンプ（ＴＳ）、そのフレーム上で指定されている要注意領域に対して付した要注意領域識別番号（要注意領域ＩＤ）を要注意領域管理テーブルに記憶する。また、マーキング情報処理部７１は、要注意領域内外の各特徴点の特徴点画像内座標、要注意領域内外フラグ、重み付け係数、特徴点ベクトル値、及び、要注意領域原点（特徴点ＩＤ１）からの相対座標を要注意領域管理テーブルに記憶する。

【0088】

要注意領域内外フラグは、各特徴点ＩＤの特徴点が、それぞれ要注意領域内に位置するか、又は要注意領域外に位置するか、を示す情報である。その特徴点ＩＤの特徴点が、要注意領域内に位置する場合は、「１」の要注意領域内外フラグが要注意領域管理テーブルに記憶される。また、その特徴点ＩＤの特徴点が、要注意領域外に位置する場合は、「０」の要注意領域内外フラグが要注意領域管理テーブルに記憶される。

【0089】

重み付け係数は、後述する領域特徴ベクトルを算出する際に用いられる係数であり、その特徴点ＩＤの特徴点が、要注意領域内に位置する場合は、「１」が重み付け係数として用いられる。また。その特徴点ＩＤの特徴点が、要注意領域外に位置する場合は、「０」が重み付け係数として用いられる。

【0090】

特徴点ベクトル値は、図１８に示すように各特徴点ＩＤの特徴点のベクトル値である。要注意領域原点（特徴点ＩＤ１）からの相対座標は、ＩＤ＝１の特徴点に対して離れている距離を示す他の各特徴点のＸ座標値及びｙ座標値を示す。

【0091】

このような要注意領域管理テーブルを参照することで、支援者によりマーキングされた要注意領域の位置及び大きさを検出でき、対応するリアルタイム動画像に反映することができる。

【0092】

すなわち、要注意領域を反映したリアルタイム動画像を生成する場合、現在位置特定部６３は、ステップＳ２２において、視覚障害者装置１から送信されるＧＰＳ情報に基づいて、視覚障害者の現在位置を特定する。ステップＳ２３では、読み出し制御部の一例である記憶制御部７０が、リアルタイム動画像の撮像位置に対応する過去画像をＨＤＤ５４から読み出す。また、記憶制御部７０は、要注意領域管理テーブルを参照することで、読み出した過去画像に関連付けられている要注意領域の座標位置及び大きさを検出する。さらに、記憶制御部７０は、読み出した過去画像に関連付けられている音声メモデータ（又はテキスト情報）をＨＤＤ５４から読み出す。

【0093】

支援画像生成部６６は、要注意領域管理テーブルを参照することで検出した位置及び大きさの要注意領域を反映したリアルタイム動画像、音声メモデータ（又はテキスト情報）、及び視覚障害者の現在位置を示す地図データを含む「支援画像」を生成する。そして、通信制御部６７が、このような支援画像を、遠隔監視端末装置３に送信する。なお、過去画像及びリアルタイム動画像には、上述のプライバシー保護処理が施されている。

【0094】

図１３のフローチャートのステップＳ１５では、このようにセンタサーバ装置２から送信される支援画像を受信するように、遠隔監視端末装置３の通信制御部９４が通信部８４を制御する。そして、遠隔監視端末装置３の表示制御部９２が、センタサーバ装置２から受信した支援画像をモニタ装置８９に表示する。

【0095】

支援者は、支援画像に含まれるプライバシー保護処理されたリアルタイム動画像に基づいて、視覚障害者の現在位置の周囲の状況を認識すると共に、要注意領域を反映した過去画像及び音声メモデータ（又はテキスト情報）に基づいて、視覚障害者の現在位置に対応する要注意領域を認識する。そして、マイクロホン部８７を介して、要注意領域を回避させる支援音声を入力する。この支援音声は、ステップＳ１６において、通信制御部９４により、センタサーバ装置２に送信され、センタサーバ装置２からネットワーク４及び無線基地局５を介して、視覚障害者装置１に送信され、視覚障害者装置１のイヤホン装置２５を介して出力される。これにより、視覚障害者を危険から回避させることができる。

【0096】

図１９は、遠隔監視端末装置３のモニタ装置８９に表示される支援画像の一例を示す図である。図１９（ａ）は、視覚障害者装置１から受信したＧＰＳ情報に基づいて検出した視覚障害者の現在位置を表示した地図画像である。この図１９（ａ）は、上から順に、時刻の経過に沿った視覚障害者の現在位置の移動を示している。センタサーバ装置２の現在位置特定部６３は、視覚障害者装置１から受信したＧＰＳ情報に基づいて、視覚障害者の現在位置を特定する。そして、支援画像生成部６６が、現在位置特定部６３で特定された視覚障害者の現在位置を表示した地図画像を生成する。

【0097】

図１９（ｂ）は、現在位置特定部６３により特定された視覚障害者の現在位置、つまりリアルタイム動画像の撮像位置に対応する過去画像（過去に撮像されプライバシー保護処理されたリアルタイム動画像）を示している。この図１９（ｂ）は、上から順に、過去における時刻の経過（ＴＳ＝０００１～ＴＳ＝０００５）に沿って撮像された歩道、車道、店舗等の風景の画像を示している。人物が写っていた場合は、上述のプライバシー保護処理が施されたうえで記憶される。また、この図１９（ｂ）の例は、歩道の端部に存在する段差に対して要注意領域ＤＺ１，ＤＺ２のマーキング情報が付加されると共に、「足元、注意」との音声メモデータ（又はテキスト情報）が、各過去画像に付されていることを示している。

【0098】

センタサーバ装置２の支援画像生成部６６は、リアルタイム動画像の撮像位置に対応する過去画像をＨＤＤ５４から読み出す。また、支援画像生成部６６は、要注意領域管理テーブルを参照することで、読み出した過去画像に対応する要注意領域を、例えば楕円形状のマーク等で過去画像上に反映させる。これにより、図１９（ａ）及び図１９（ｂ）に示すように、視覚障害者の移動位置に対応する要注意領域が反映された過去画像が生成される。

【0099】

図１９（ｃ）は、視覚障害者装置１で撮像された、視覚障害者の現在位置の周囲の風景にプライバシー保護処理をしたリアルタイム動画像を示している。この図１９（ｃ）は、上から順に、時刻の経過（ＴＳ＝１００１～ＴＳ＝１００５）に沿って撮像された、プライバシー保護処理をしたリアルタイム動画像を示している。図１９（ｂ）及び図１９（ｃ）は、同じ場所を、過去（ＴＳ＝０００１～ＴＳ＝０００５）及び現在（ＴＳ＝１００１～ＴＳ＝１００５）の時間を隔てて撮像した動画像となっている。

【0100】

センタサーバ装置２の支援画像生成部６６は、視覚障害者の現在位置を表示した地図画像（図１９（ａ））、要注意領域を示す楕円形状のマークを反映させた過去画像（図１９（ｂ））、及び、視覚障害者装置１で撮像された、プライバシー保護処理をしたリアルタイム動画像（図１９（ｃ））を含む支援画像を生成する。通信制御部６７は、このように生成された支援画像に、各過去画像に関連付けられた音声メモデータ（又はテキスト情報）を付加して遠隔監視端末装置３に送信するように通信部５５を制御する。

【0101】

遠隔監視端末装置３の表示制御部９３は、センタサーバ装置２から受信した支援画像をモニタ装置８９に表示制御する。また、音声処理部９５は、支援画像に付加されている音声メモデータに対応する音声を、スピーカ部８８を介して出力制御する。これにより、支援者は、視覚障害者の現在位置（図１９（ａ））及び視覚障害者装置１で撮像された、プライバシー保護処理をしたリアルタイム動画像（図１９（ｃ））に基づいて、視覚障害者の周囲の様子を認識できる。また、要注意領域が反映された過去画像（図１９（ｂ））、及び、音声メモデータによる音声により、現在、視覚障害者が歩行している周囲の要注意領域を認識して、視覚障害者の歩行を支援する音声を送信することができる。

【0102】

この支援者からの視覚障害者に対する支援の音声は、遠隔監視端末装置３のマイクロホン部８７により集音され、通信制御部９４により通信部８４を介して視覚障害者装置１に送信され、視覚障害者装置１のイヤホン装置２５を介して出力される。これにより、視覚障害者は、イヤホン装置２５を介して支援者の支援音声を聴取することができ、未然に危険を回避する行動を取ることができる。

【0103】

（過去画像で指定された要注意領域をリアルタイム動画像に反映する例）
次に、図１９を用いて説明した例は、視覚障害者の現在位置、リアルタイム動画像及び過去画像を含む支援画像を生成する例であった。しかし、過去動画で指定されている要注意領域を示す楕円形状のマーク等を、リアルタイム動画像に重畳してもよい。この場合、視覚障害者の現在位置、及び、要注意領域を示す楕円形状のマークが重畳されたリアルタイム動画像の２つを含む支援画像が遠隔監視端末装置３のモニタ装置８９に表示されることとなる。

【0104】

ここで、過去画像上に指定されている要注意領域をリアルタイム動画像上に表示する場合、過去画像上で指定されている要注意領域を、リアルタイム動画像から正確に検出することが好ましい。この場合、実施の形態の遠隔支援システムは、過去画像で指定されている要注意領域の領域特徴ベクトルと同じ領域特徴ベクトルを、リアルタイム動画像から検出する(領域特徴ベクトルのマッチング処理)。これにより、過去画像で指定されている要注意領域を、リアルタイム動画像上に、正確に反映することができる。

【0105】

図２０は、過去画像で指定された要注意領域をリアルタイム動画像に反映する動作の流れを示すフローチャートである。この場合、図８に示す遠隔監視端末装置３の計算部６２は、表２に示した上述の特徴点マーキング情報で示される要注意領域の領域特徴ベクトルを、以下の数１式及び数２式に基づいて予め計算し、ＲＡＭ５３又はＨＤＤ５４等の記憶部に保存しておく（ステップＳ３１）。

【0106】

【数1】

【0107】

【数2】

【0108】

図１８は、この数１式及び数２式で算出される要注意領域の領域特徴ベクトルを示している。この図１８に示すように、計算部６２は、各要注意領域に対応する各特徴点ベクトル値の直和を、数１式に基づいて、領域特徴ベクトル「Ｖ_ｉ」として算出する。なお、領域特徴ベクトルの次元数は、各要注意領域に対応する各特徴点ベクトルの次元数の総和である。

【0109】

すなわち、数１式において、「ｃｊ」は表２に示したようにその特徴点が要注意領域内であるか、要注意領域外であるかで付される重み付け係数である。「ｖｊ」は、各特徴点のベクトル値である。「Ｘｄｊ」は、その要注意領域の重心に位置するＩＤ＝１の特徴点から離れているＸ座標上の距離である。「ｙｄｊ」は、その要注意領域の重心に位置するＩＤ＝１の特徴点から離れているｙ座標上の距離である。

【0110】

計算部６２は、数２式に示すように各特徴点ベクトル値「ｖｊ」を直和処理することで、数１式で示される各特徴点ベクトル値の直和である領域特徴ベクトル「Ｖ_ｉ」を算出して、ＲＡＭ５３又はＨＤＤ５４等の記憶部に保存しておく。これにより、記憶部には、各過去画像上の各要注意領域に対応する領域特徴ベクトルがそれぞれ記憶されることとなる。

【0111】

次に、図２０のステップＳ３２において、記憶制御部７０が、リアルタイム動画像の撮像位置に対応する過去画像を、リアルタイム動画像の撮像時刻に基づいてＨＤＤ５４から読み出す。

【0112】

ステップＳ３３では、計算部６２が、リアルタイム動画像内の全領域の領域特徴ベクトルを、上述の数１式及び数２式に基づいてそれぞれ算出する。また、ステップＳ３３では、マッチング処理部６５が、リアルタイム動画像の各領域特徴ベクトルと、ＨＤＤ５４から読み出された過去画像の要注意領域の領域特徴ベクトルとのマッチング処理を行う。そして、マッチング処理部６５は、過去画像の要注意領域の領域特徴ベクトルに対するマッチング度が一番高いリアルタイム動画像上の領域特徴ベクトルを検出する。

【0113】

ステップＳ３４では、マッチング処理部６５が、過去画像の要注意領域の領域特徴ベクトルに対して一番高いマッチング度となるリアルタイム動画像の領域特徴ベクトルは、一定値以上となるマッチング度であるか否かを判別する。

【0114】

マッチング度が一定値以上であるということは（ステップＳ３４：Ｙｅｓ）、リアルタイム動画像と過去画像との間に地理的なズレが殆ど無いことを意味している。このため、処理がステップＳ３８に進み、過去画像の要注意領域を反映したリアルタイム動画像を生成する。

【0115】

なお、このリアルタイム動画像には、上述のプライバシー保護処理が施されている。そして、このリアルタイム動画像は、要注意領域に対応する音声メモデータ（又はテキスト情報）、及び、視覚障害者の現在位置を示す地図データと共に、通信制御部６７により通信部５５を介して遠隔監視端末装置３に送信される。遠隔監視端末装置３の支援者は、リアルタイム動画像に反映された要注意領域、及び、音声メモデータにより要注意領域の注意事項を示す音声に基づいて要注意領域の存在を認識し、視覚障害者を支援する支援音声を視覚障害者装置１に送信する。

【0116】

これに対して、一定値以上のマッチング度が得られないということは（ステップＳ３４：Ｎｏ）、過去画像の要注意領域に合致する大きさの領域が、リアルタイム動画像上からは検出されないことを意味している。この場合、処理がステップＳ３５に進み、要注意領域変更処理部７２が、要注意領域の大きさを一定数倍に変更（拡大又は縮小）すると共に、領域特徴ベクトル内の特徴点の座標を同じ比率で変更処理する。

【0117】

マッチング処理部６５は、ステップＳ３６において、このように変更処理された要注意領域の領域特徴ベクトルに基づいて、再度、リアルタイム動画像に対してマッチング処理を行う。そして、マッチング処理部６５は、ステップＳ３７において、変更処理された過去画像の要注意領域の領域特徴ベクトルに対するマッチング度が一番高いリアルタイム動画像の領域特徴ベクトルを検出する。

【0118】

ステップＳ３７では、マッチング処理部６５が、変更処理された過去画像の要注意領域の領域特徴ベクトルに対して一番高いマッチング度となるリアルタイム動画像上の領域特徴ベクトルは、一定値以上のマッチング度であるか否かを判別する。

【0119】

一定値以上のマッチング度が得られないということは（ステップＳ３７：Ｎｏ）、過去画像の要注意領域に合致する大きさの領域が、リアルタイム動画像上からは検出されないことを意味している。このため、処理がステップＳ３５に戻り、要注意領域変更処理部７２が、再度、要注意領域の大きさを一定数倍に変更（拡大又は縮小）すると共に、領域特徴ベクトル内の特徴点の座標を同じ比率で変更処理する。マッチング処理部６５は、変更処理された過去画像の要注意領域の領域特徴ベクトルに基づいて、再度、上述のマッチング処理を行う。

【0120】

このようにマッチング処理を繰り返し行った結果、マッチング度が一定値以上の領域特徴ベクトルをリアルタイム動画像上から検出すると（ステップＳ３７：Ｙｅｓ）、ステップＳ３８において、リアルタイム動画像上から検出した領域に、過去画像の要注意領域を反映させる。

【0121】

なお、このリアルタイム動画像には、上述のプライバシー保護処理が施されている。そして、このリアルタイム動画像は、反映した要注意領域に対応する音声メモデータ（又はテキスト情報）、及び、視覚障害者の現在位置を示す地図データと共に、支援画像として、通信制御部６７により通信部５５を介して遠隔監視端末装置３に送信される。遠隔監視端末装置３の支援者は、リアルタイム動画像に反映された要注意領域、及び、音声メモデータ（又はテキスト情報）により要注意領域の存在を認識し、視覚障害者を支援する支援音声を視覚障害者装置１に送信する。

【0122】

図２１は、過去画像の要注意領域が反映されたリアルタイム動画像の一例を示す図である。図２１（ａ）は、時刻の経過（ＴＳ＝１００１～ＴＳ＝１００５）に沿って視覚障害者装置１で撮像されているリアルタイム動画像を示している。図２１（ｂ）は、視覚障害者の現在位置が移動する様子を示す地図データである。図２１（ｃ）は、要注意領域が指定されている過去画像（ＴＳ＝０００１～ＴＳ＝０００５）を示している。この過去画像に表示されている「足元、注意」等の文字は、音声メモデータを視覚的に表現したものである。

【0123】

上述のように、リアルタイム動画像に対して過去画像の要注意領域が反映されると、支援画像生成部６６は、図２１（ｂ）に示す視覚障害者の現在位置を示す地図データ、音声メモデータと共に、過去画像の要注意領域が反映されたリアルタイム動画像を、支援画像として生成する。この支援画像は、通信制御部６７により通信部５５を介して遠隔監視端末装置３に送信される。

【0124】

これにより、図２１（ｄ）に示すように、過去画像上で指定された要注意領域が反映されたリアルタイム動画像が、遠隔監視端末装置３のモニタ装置８９に表示される。また、遠隔監視端末装置３のスピーカ部８８を介して、音声メモデータに対応する音声が出力される。支援者は、リアルタイム動画像に表示される要注意領域、及び、スピーカ部８８を介して出力される要注意領域に関連する音声に基づいて、視覚障害者に注意が必要となる領域を認識する。そして、支援者は、マイクロホン部８７を介して、視覚障害者の注意を促す支援音声を入力する。この支援音声は、音声処理部９５により所定のデータ処理が施され、通信制御部９４により通信部８４を介して視覚障害者装置１に送信され、視覚障害者装置１のイヤホン装置２５を介して出力される。これにより、視覚障害者は支援者の支援音声を聴取することができ、例えば前方の段差を回避して安全に歩行することができる。

【0125】

（実施の形態の効果）
以上の説明から明らかなように、実施の形態の遠隔支援システムは、以下の効果を得ることができる。

【0126】

１．視覚障害者等の被支援者の現在位置に対応する過去画像又はリアルタイム動画像に要注意領域を表示して支援者の遠隔監視端末装置３に表示する。これにより、支援者に対して、長時間の高い集中力及び危険予知スキルを要求することなく、被支援者の現在位置で注意が必要となる、例えば横方向からの飛び出し、足元の段差又は穴等を容易に認識させることができ、被支援者の的確な支援を可能とすることができる。従って、例えば視覚障害者が、盲導犬又はガイドヘルパーの同行に頼ることなく、多面的な歩行リスクに対処して、外出可能とすることができる。また、支援者は、長時間の高い集中力及び危険予知スキルを必要とすることなく被支援者の支援が可能であるため、被支援者の監視労力を軽減でき、一人の支援者で複数の被支援者を容易に支援可能とすることができる。

【0127】

２．支援者の遠隔監視端末装置３に表示する過去画像又はリアルタイム動画像に写る人物等を所定の色で塗り潰して、遠隔監視端末装置３に提供する。これにより、過去画像又はリアルタイム動画像に写る人物等のプライバシーを保護できる。

【0128】

３．人物等を塗りつぶす際に用いる色を、被支援者に対する危険度に応じて変更する。これにより、被支援者の周囲に存在する各人物の被支援者に対する危険度を、支援者に示すことができる。このため、被支援者に対して、事前に危険を回避させる支援を行うことができる。

【0129】

４．被支援者が周囲の風景等を撮像するカメラ装置２６には、魚眼レンズ等の広角レンズを用いる。これにより、被支援者の周囲の、より広範囲を撮像できる。そして、支援者は、このような広範囲の撮像画像に基づいて、より広範囲を監視しながら被支援者の支援を行うことができる。

【0130】

最後に、上述の実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。

【0131】

例えば、上述の実施の形態において、各種プログラムで実現されることとした各機能は、全部又は一部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。

【0132】

また、上述の各種プログラムは、インストール可能な形式又は実行可能な形式のファイル情報でＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、上述の各種プログラムは、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disc）、ブルーレイ（登録商標）ディスク、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、上述の各種プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、上述の各種プログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。

【0133】

また、遠隔支援システムのシステム構成は、視覚障害者が携帯する視覚障害者装置１、支援者が操作する遠隔監視端末装置３、及び、視覚障害者装置１と遠隔監視端末装置３との間の通信を仲介するセンタサーバ装置２を備えることとした。しかし、センタサーバ装置２の機能を、携帯端末装置１及び遠隔監視端末装置３に分散して設けてもよい。または、センタサーバ装置２の機能の一部又は全部を遠隔監視端末装置３に設けてもよい。センタサーバ装置２の機能の全部を遠隔監視端末装置３に設けた場合には、遠隔支援システムのシステム構成として、センタサーバ装置２を省略したうえで、上述の効果を得ることができる。

【0134】

また、上述の実施の形態の説明では、例えば楕円形状のマーク等で要注意領域が反映された過去画像を含む支援画像を生成し、又は、要注意領域が反映されたリアルタイム動画像を含む支援画像を生成することとした。しかし、過去画像及びリアルタイム画像の両方に要注意領域を反映させて支援画像を生成してもよい。この場合も、上述と同様の効果を得ることができる。

【0135】

また、実施の形態及び実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0136】

１ 視覚障害者装置
２ センタサーバ装置
３ 遠隔監視端末装置
４ ネットワーク
５ 無線基地局
７ ヘッドセット装置
１７ ＧＰＳセンサ
１８ 加速度センサ
１９ タイマ
２５ イヤホン装置
２６ カメラ装置
２７ マイクロホン装置
３６Ｌ 左ユニット筐体部
３６Ｒ 右ユニット筐体部
６０ 取得部
６１ 特徴点抽出部
６２ 計算部
６３ 現在位置特定部
６４ プライバシー保護画像生成部
６５ マッチング処理部
６６ 支援画像生成部
６７ 通信制御部
６８ 色彩選択部
６９ 人物領域検出部
７０ 記憶制御部
７１ マーキング情報処理部
７２ 要注意領域変更処理部
８７ マイクロホン部
８８ スピーカ部
８９ モニタ装置
９３ マーキング処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】