特許 7062753 監視システム及び監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-22

(45)【発行日】2022-05-06

(54)【発明の名称】監視システム及び監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220425BHJP

   G08B 25/00 20060101ALI20220425BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

G08B25/00 510M

【請求項の数】 5

(21)【出願番号】P 2020508227

(86)(22)【出願日】2019-03-11

(86)【国際出願番号】 JP2019009704

(87)【国際公開番号】W WO2019181609

(87)【国際公開日】2019-09-26

【審査請求日】2020-08-31

(31)【優先権主張番号】P 2018052835

(32)【優先日】2018-03-20

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100116687

【弁理士】

【氏名又は名称】田村 爾

(74)【代理人】

【識別番号】100098383

【弁理士】

【氏名又は名称】杉村 純子

(74)【代理人】

【識別番号】100155860

【弁理士】

【氏名又は名称】藤松 正雄

(72)【発明者】

【氏名】藤井 幸

(72)【発明者】

【氏名】住吉 正紀

(72)【発明者】

【氏名】山崎 洸

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】国際公開第２０１７／１５９０６０（ＷＯ，Ａ１）

【文献】特開２０１６－６３３０５（ＪＰ，Ａ）

【文献】特開２００７－２７４２３４（ＪＰ，Ａ）

【文献】特開２００６－１１６００（ＪＰ，Ａ）

【文献】特開２００５－２５８５１５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２３／００－３１／００

(57)【特許請求の範囲】

【請求項1】

駅構内への入口と改札口を含む所定のエリアをそれぞれ撮影する複数の撮像装置が設置されており、これら撮像装置により撮像した画像を監視装置により監視する監視システムにおいて、
前記監視装置が、
前記画像から所定の杖を検出する杖検出手段と、
前記杖検出手段により前記杖が検出された場合に、その後の一定時間内における前記杖の挙動を解析する杖挙動解析手段と、
前記杖挙動解析手段による前記杖の挙動の解析結果に基づいて、前記杖の使用者に対するサポートの必要性の有無を判定する第１の要サポート者判定手段と、
前記入口の撮像装置による画像と前記改札口の撮像装置による画像とに基づいて、前記杖の使用者が前記入口から前記改札口に移動するまでに要した移動時間を計測し、当該移動時間が所定の時間を超えた場合に、前記杖の使用者に対するサポートの必要性があると判定する第２の要サポート者判定手段とを備えたことを特徴とする監視システム。

【請求項2】

請求項１に記載の監視システムにおいて、
前記杖挙動解析手段は、前記杖の挙動として、前記一定時間内における前記杖の振り回数を測定し、
前記第１の要サポート者判定手段は、前記杖の振り回数が所定の閾値を超える場合に、前記杖の使用者に対するサポートの必要性があると判定することを特徴とする監視システム。

【請求項3】

請求項１に記載の監視システムにおいて、
前記杖挙動解析手段は、前記杖に付された特定の模様部を追跡することで、前記杖の挙動を解析することを特徴とする監視システム。

【請求項4】

請求項１に記載の監視システムにおいて、
前記杖挙動解析手段は、前記杖の先端を追跡することで、前記杖の挙動を解析することを特徴とする監視システム。

【請求項5】

駅構内への入口と改札口を含む所定のエリアをそれぞれ撮影する複数の撮像装置が設置されており、これら撮像装置により撮像した画像を監視装置により監視する監視方法において、
前記監視装置が、前記画像から所定の杖が検出された場合に、その後の一定時間内における前記杖の挙動を解析し、前記杖の挙動の解析結果に基づいて、前記杖の使用者に対するサポートの必要性の有無を判定する第１の要サポート者判定処理と、前記入口の撮像装置による画像と前記改札口の撮像装置による画像とに基づいて、前記杖の使用者が前記入口から前記改札口に移動するまでに要した移動時間を計測し、当該移動時間が所定の時間を超えた場合に、前記杖の使用者に対するサポートの必要性があると判定する第２の要サポート者判定処理とを実行することを特徴とする監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、所定のエリアを撮像した画像を監視装置により監視する監視システムに関する。

【背景技術】

【0002】

従来、カメラで撮像した画像に対して画像処理を実施して、画像中の所定の物体を検出する機能を備えた監視システムが実用されている。例えば、特許文献１には、画像の所定エリア内から観察物体を判定し、観察物体から物体特徴情報を作成し、物体特徴情報から行動タイプを決定し、観察物体が注意物体か否かを判定する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－０２８３６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような監視システムの一形態として、駅などの監視エリア内に白杖を持った人物が存在することを検出し、駅員等に通知する白杖検知システムが存在する。しかしながら、従来の白杖検知システムでは、白杖を持った人物が存在することを通知することは可能であるが、駅などをいつも利用していてサポートが不要な人物なのか、初めて駅を利用するためにサポートを必要としている人物なのかの判断は行えなかった。

【0005】

本発明は、上記のような従来の事情に鑑みて為されたものであり、特定の施設に訪れた視覚障がい者に対してサポートの必要性を判定することが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明では、上記の目的を達成するために、監視システムを以下のように構成した。
すなわち、所定のエリアを撮像した画像を監視装置により監視する監視システムにおいて、前記監視装置が、前記撮像装置により撮影された画像から所定の杖を検出する杖検出手段と、前記杖検出手段により前記杖が検出された場合に、その後の一定時間内における前記杖の挙動を解析する杖挙動解析手段と、前記杖挙動解析手段による前記杖の挙動の解析結果に基づいて、前記杖の使用者に対するサポートの必要性の有無を判定する要サポート者判定手段とを備えたことを特徴とする。

【0007】

このような構成により、不慣れな場所にいる視覚障がい者が周囲の状況を把握するためにより頻繁に白杖を振っている様子を捉えて、その視覚障がい者サポートを必要としている状況であることを判別することが可能となる。

【0008】

ここで、前記杖挙動解析手段は、前記杖の挙動として、前記一定時間内における前記杖の振り回数を測定し、前記要サポート者判定手段は、前記杖の振り回数が所定の閾値を超える場合に、前記杖の使用者に対するサポートの必要性があると判定する構成としてもよい。

【0009】

なお、前記杖の挙動は、例えば、前記杖に付された特定の模様部を追跡することにより解析してもよく、あるいは、前記杖の先端を追跡することにより解析してもよい。

【発明の効果】

【0010】

本発明によれば、特定の施設に訪れた視覚障がい者に対してサポートの必要性を判定することが可能になる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る白杖検知システムの概要を説明する図である。

【図2】図１の白杖検知システムの機能ブロックの例を示す図である。

【図3】白杖の振り回数の測定について説明する図である。

【図4】白杖の例を示す図である。

【図5】携帯無線機の例を示す図である。

【図6】白杖検知装置による処理のフローチャートの例を示す図である。

【発明を実施するための形態】

【0012】

本発明の一実施形態について、図面を参照して説明する。
図１には、本発明の一実施形態に係る白杖検知システムの概要を示してある。図２には、図１の白杖検知システムの機能ブロックの例を示してある。白杖検知システムは監視システムの一形態であり、以下では、鉄道の駅に適用する場合を例にして説明する。

【0013】

一般的に、駅を利用する視覚障がい者（特に、その駅に不案内な人物）１０１は、白杖１０２を使用しながら、点字ブロック１０３に沿って改札１０４を通過する。そこで、本システムでは、駅構内の改札１０４の入場前にある点字ブロック１０３付近のエリアを撮像する撮像装置１０７を設置する。撮像装置１０７は、点字ブロック１０３付近を通過する人物の様子を、その人物が白杖を使用している場合には白杖も含めて撮影できるように配置される。

【0014】

撮像装置１０７は、ネットワーク１０８を介して、システムを構成する各機器と通信可能に接続される。撮像装置１０７としては、撮影した画像を圧縮符号化してネットワーク１０８へ送出するためのエンコーダを内蔵したネットワークカメラや、別体のエンコーダを介してネットワーク１０８に接続されるアナログカメラなど、種々の形式の装置を使用することができる。画像データは、ネットワーク１０８内の伝送量を削減するために、ＪＰＥＧ形式やＨ．２６５などの符号化方式により圧縮処理されてもよい。

【0015】

本システムのネットワーク１０８は、図２に示すように、ネットワークスイッチ（ＮＷ－ＳＷ）２０１を中心に構成（一般的には複数台で構成）されている。撮像装置１０７により撮影された画像は、イーサネット（登録商標）プロトコルに従って変換され、ネットワークスイッチ２０１を介してデコーダ１１０に送信される。デコーダ１１０は、受信した画像データを画像に戻し、デコーダ１１０に接続されたモニタ１１２に表示させることができる。

【0016】

また、撮像装置１０７から送信される画像データは、白杖検知装置１１１にも伝送されて、白杖検知装置１１１で画像解析が行われる。ネットワークスイッチ２０１には更に、無線送信システム１０９が接続されており、無線（例えば、列車無線システム）を介して携帯無線機１１３との音声通信やデータ通信が可能となっている。
なお、図２では、無線送信システム１０９と携帯無線機１１３の間を除いて、各機器がＬＡＮケーブルで接続されているが、無線により通信可能に接続されても構わない。

【0017】

白杖検知装置１１１は、白杖検出部１２１と、白杖挙動解析部１２２と、要サポート者判定部１２３と、サポート指示部１２４とを有している。
白杖１０２を持った視覚障がい者１０１が駅構内に現れ、撮像装置１０７で撮影されると、その画像データが白杖検知装置１１１に送信される。白杖検知装置１１１は、受信した画像データに対して、白杖検出部１２１により画像処理を行って、画像内に含まれる白杖１０２の検出を行う。白杖を検出する方法としては、背景差分画像を用いる方法や、ハフ変換、ディープラーニングの技術などを用いることができ、例えば、特開２０１５－３２１３３号公報、特開２０１２－１２４６５９号公報、特開２０１６－０５７９９８号公報に開示された技術を用いることができる。

【0018】

白杖検知装置１１１は、白杖１０２が検出されると、白杖挙動解析部１２２により白杖１０２の挙動を解析する。本例では、白杖１０２の挙動として、白杖１０２が一定時間内に振られた回数を測定する。不慣れな場所にいる視覚障がい者は、周囲の状況を把握するためにより頻繁に白杖を振ることが想定されるので、白杖振り回数を計測することで、その場所に不慣れでサポートを必要としている状況であるか否かを判別することが可能となる。

【0019】

図４に示すように、多くの白杖は、先端より手前側の所定の位置に、人の目に留まり易い色（例えば、赤色）で塗装された模様部４０１を有している。そこで、白杖挙動解析部１２２は、この模様部４０１を画像から検出してその位置を追跡することで、白杖振り回数の測定を行う。なお、白杖にペイントされている他の模様や、白杖の先端を手掛かりにして、それらの位置を追跡することで白杖振り回数の測定を行ってもよい。

【0020】

白杖振り回数の測定について、図３を参照して具体的に説明する。撮像装置１０７は１秒間に所定数の画像（ＮＴＳＣ方式では１秒間に３０枚）を撮影している。図３では、左から右に向かって時系列に各画像（フレーム）を並べて表示しており、各フレームにおいて視覚障がい者１０１が白杖１０２を振っている状況が撮影されている。説明の便宜上、白杖１０２には模様部４０１があるものとする。

【0021】

図３では、フレーム毎に模様部４０１の位置が移動している状況を示しており、模様部４０１の位置を分かり易くするために、模様部４０１の中心を基準点３０１（白丸）とし、その座標を（ｘ_n ，ｙ_n ）で表している。各フレームにおいて、実線の白杖はそのフレームにおける実際の白杖を示しており、破線の白杖は１つ前のフレームにおける白杖を示している。なお、破線の白杖は説明の便宜のために表したものであり、実際の画像には映っていない。
白杖挙動解析部１２２は、画像処理技術（例えば、画像内の物体の動きベクトルを求めるオプティカルフローの技術）を用いて基準点３０１の位置を追跡することで、一定時間（例えば、５秒間）に白杖１０２が振られた回数を計測する。

【0022】

白杖検知装置１１１は、白杖挙動解析部１２２により解析された白杖の挙動に基づいて、白杖１０２を使用している視覚障がい者１０１（以下、白杖使用者ともいう）が要サポート者か否かを要サポート者判定部１２３により判定する。本例では、白杖の挙動を表す一定時間内の白杖振り回数が、所定の閾値を超えた場合に要サポート者であると判定し、そうでない場合は要サポート者ではないと判定する。

【0023】

白杖検知装置１１１は、白杖１０２を使用している視覚障がい者１０１が要サポート者であると判定された場合には、サポート指示部１２４により駅職員にサポートを指示する。具体的には、サポート指示部１２４は、無線送信システム１０９を介して、駅職員１０６の携帯している携帯無線機１１３に、要サポート者の存在を駅職員１０６に報知する報知メッセージを出力させる。携帯無線機１１３は、例えば図５に示すように、要サポート者（視覚障がい者）がいる改札口の情報を含み且つその改札口にサポートに向かうよう促す報知メッセージを、画面表示及び音声出力する。

【0024】

上記の報知メッセージにおいて、駅職員が向かうべき改札口は、撮像装置と改札口との対応付けデータがあれば、要サポート者を撮影した撮像装置から特定できる。また、改札口の情報以外のメッセージ部分は、固定メッセージとすることができる。報知メッセージは、白杖検知装置１１１から送出してもよいし、白杖検知装置１１１からの指示に従って無線送信システム１０９から送出してもよい。なお、駅職員１０６がタブレット装置を携帯している場合には、タブレット装置に画像データを含めて送信して、現地の状況を表示させるようにしてもよい。

【0025】

また、サポート指示部１２４は、視覚障がい者１０１のサポートの必要があると判断すると、デコーダ１１０を制御して、その人物を撮影している撮像装置１０７によるライブ映像をモニタ１１２に表示させる。駅に複数の撮像装置が設置されている場合には、該当する撮像装置のライブ映像を表示するように強制的に切り替えてもよい。これにより、モニタ１１２を監視している駅管理者１０５は、映像で現地の状況をリアルタイムに確認することができ、駅職員１０６に適切な指示を行うことができるようになる。

【0026】

図６には、白杖検知装置１１１による処理のフローチャートの例を示してある。
白杖検知装置１１１は、撮像装置１０７により撮影された画像を取得し（ステップＳ１１）、その画像に対して白杖検出処理を行う（ステップＳ１２）。
白杖検出処理の結果、白杖１０２が検出されなかった場合（ステップＳ１３；Ｎｏ）には、撮影画像の取得（ステップＳ１１）に戻る。一方、白杖１０２が検出された場合（ステップＳ１３；Ｙｅｓ）には、その後の所定期間内の白杖振り回数を測定する（ステップＳ１４）。

【0027】

その結果、白杖振り回数が所定の閾値以下であった場合（ステップＳ１５；Ｎｏ）には、白杖使用者は要サポート者ではないと判断して、撮影画像の取得（ステップＳ１１）に戻る。一方、白杖振り回数が所定の閾値を超えた場合（ステップＳ１５；Ｙｅｓ）には、白杖使用者は要サポート者であると判断して、携帯無線機１１３による要サポート者の存在報知、およびモニタ１１２による撮像装置１０７のライブ映像の表示を実行させる。

【0028】

以上のように、本例の監視システムは、白杖検知装置１１１において、白杖検出部１２１が、撮像装置１０７により撮影された画像から白杖１０２を検出し、白杖挙動解析部１２２が、白杖検出部１２１により白杖１０２が検出された場合に、その後の一定時間内において白杖１０２が振られた回数を測定し、要サポート者判定部１２３が、白杖挙動解析部１２２による測定回数（白杖振り回数）を所定の閾値と比較して、白杖１０２を使用している視覚障がい者１０１に対するサポートの必要性の有無を判定し、サポート指示部１２４が、要サポート者判定部１２３によりサポートの必要があると判定された場合に、駅職員１０６にサポートの必要があることを報知するように構成されている。

【0029】

このような構成によれば、不慣れな場所にいる視覚障がい者が周囲の状況を把握するためにより頻繁に白杖を振っている様子を捉えて、その視覚障がい者サポートを必要としている状況であることを判別することができる。したがって、真にサポートを必要としている人物に対してのみ駅職員にサポートを促すことができ、駅職員の労力を軽減することが可能となる。

【0030】

ここで、本例では、白杖検知装置１１１が、本発明に係る監視装置に対応している。なお、本発明に係る監視装置の機能を撮像装置１０７に内蔵して、撮像装置１０７が要サポート者の有無を判別するようにしてもよい。

【0031】

また、白杖の挙動は、白杖が振られた回数以外の観点から解析してもよい。例えば、白杖の振り方（白杖の移動パターン）を解析するようにしてもよい。すなわち、不慣れな場所にいる視覚障がい者に特有の白杖の振り方をパターン化して事前に登録しておき、同様な振り方が検出された場合に、要サポート者と判定することが考えられる。

【0032】

ところで、白杖の挙動は、白杖が他の通行人により撮像装置から一時的に隠されて撮影できなかった場合などに正しく解析できない恐れがある。そこで、別の手段により要サポート者か否かを判断する仕組みを追加してもよい。具体的には、例えば、駅構内への入口と改札口とに撮像装置を設置しておき、それぞれの撮像装置で撮像された画像から白杖を検出するようにする。そして、白杖を使用している白杖使用者が入口から改札口に移動するまでに要した移動時間を計測し、移動時間が所定の時間を超えた場合に、その白杖使用者はサポートが必要であると判断する。

【0033】

入口から改札口までの移動時間を計測する場合には、同時に複数の白杖使用者がいることも想定されるので、各々の撮像装置で撮影された人物が、同じ人物か違う人物かを判断する必要がある。同じ人物か否かを判断する方法としては、例えば、白杖使用者が入口を通過時に、入口の撮像装置による撮影画像から白杖使用者の服装や持ち物の画像を検出してキー画像として登録しておき、白杖使用者が改札口を通過時に、改札口の撮像装置による撮影画像からキー画像と同様な特徴量を持つ画像が検出された場合に、入口で撮影された人物と改札口で撮影された人物とを同一人物と判断する方法が考えられる。

【0034】

なお、上記の説明では、白杖を使用する視覚障がい者のサポートについて説明したが、他の色（例えば、黄色や赤色）の杖を使用する視覚障がい者のサポートに対しても本発明を適用できることは言うまでもなく、視覚障がい者に使用される可能性がある杖の特徴を予め設定しておけばよい。また、駅の改札口の他に、エレベータやエスカレータの乗り場、階段、プラットホームなどを監視して、要サポート者の有無を判別するようにしてもよい。また、本システムを適用する施設は、鉄道の駅に限られず、デパートやイベント会場などの各種の施設に適用することができる。

【0035】

以上、本発明について詳細に説明したが、本発明は、ここに記載されたシステムに限定されるものではなく、上記以外のシステムにも広く適用できることは言うまでもない。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式を実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。

【産業上の利用可能性】

【0036】

本発明は、所定のエリアを撮像した画像を監視装置により監視する監視システムに利用することができる。

【符号の説明】

【0037】

１０１：視覚障がい者、 １０２：白杖、 １０３：点字ブロック、 １０４：改札、
１０５：駅管理者、 １０６：駅職員、 １０７：撮像装置、 １０８：ネットワーク、 １０９：無線送信システム、 １１０：デコーダ、 １１１：白杖検知装置、 １１２：モニタ、 １１３：携帯無線機、 １２１：白杖検出部、 １２２：白杖挙動解析部、 １２３：要サポート者判定部、 １２４：サポート指示部、 ２０１：ネットワークスイッチ（ＮＷ－ＳＷ）、 ３０１：基準点、 ４０１：模様部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】