IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リモートアシストの特許一覧

特開2023-108975被支援者用支援システムおよび支援者用情報処理装置
<>
  • 特開-被支援者用支援システムおよび支援者用情報処理装置 図1
  • 特開-被支援者用支援システムおよび支援者用情報処理装置 図2
  • 特開-被支援者用支援システムおよび支援者用情報処理装置 図3
  • 特開-被支援者用支援システムおよび支援者用情報処理装置 図4
  • 特開-被支援者用支援システムおよび支援者用情報処理装置 図5
  • 特開-被支援者用支援システムおよび支援者用情報処理装置 図6
  • 特開-被支援者用支援システムおよび支援者用情報処理装置 図7
  • 特開-被支援者用支援システムおよび支援者用情報処理装置 図8
  • 特開-被支援者用支援システムおよび支援者用情報処理装置 図9
  • 特開-被支援者用支援システムおよび支援者用情報処理装置 図10
  • 特開-被支援者用支援システムおよび支援者用情報処理装置 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023108975
(43)【公開日】2023-08-07
(54)【発明の名称】被支援者用支援システムおよび支援者用情報処理装置
(51)【国際特許分類】
   G06F 3/01 20060101AFI20230731BHJP
   H04N 23/60 20230101ALI20230731BHJP
   H04N 23/50 20230101ALI20230731BHJP
   H04N 23/90 20230101ALI20230731BHJP
   H04N 23/56 20230101ALI20230731BHJP
【FI】
G06F3/01 510
H04N5/232 300
H04N5/225 100
H04N5/247
H04N5/225 600
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022010315
(22)【出願日】2022-01-26
(71)【出願人】
【識別番号】518245168
【氏名又は名称】株式会社リモートアシスト
(74)【代理人】
【識別番号】110000464
【氏名又は名称】弁理士法人いしい特許事務所
(72)【発明者】
【氏名】藤井 慎一
【テーマコード(参考)】
5C122
5E555
【Fターム(参考)】
5C122DA03
5C122DA04
5C122DA25
5C122EA47
5C122FA01
5C122FL05
5C122GC14
5C122GC52
5C122GC75
5C122GD12
5C122GE03
5C122GE06
5C122GG03
5C122HA86
5C122HB01
5C122HB05
5E555AA04
5E555BA38
5E555BB02
5E555BB38
5E555BC07
5E555BC13
5E555CA42
5E555CB64
5E555CC03
5E555DA01
5E555DA23
5E555DB53
5E555DB57
5E555FA00
(57)【要約】
【課題】ウェアラブルカメラ11調整作業の煩わしさを軽減できるようにする。
【解決手段】本発明の被支援者用支援システム12は、被支援SD者の頭部に装着される装着体41、および、前記装着体41に取り付けられるウェアラブルカメラ11を有する頭部装着具40と、前記ウェアラブルカメラ11で撮像された映像情報が入力される入力部124、および、サーバ30を介してまたは介さないで前記映像情報を支援者用情報処理装置20に対して送信する処理を含む支援処理を実行する支援手段127を有する被支援者用情報処理装置10とを備える。前記被支援者SDの頭部に前記装着体41を装着した状態において、前記ウェアラブルカメラ11が前記被支援者SD頭部の正中線MLに重なる位置に配置される。
【選択図】図7
【特許請求の範囲】
【請求項1】
被支援者の頭部に装着される装着体、および、前記装着体に取り付けられるウェアラブルカメラを有する頭部装着具と、
前記ウェアラブルカメラで撮像された映像情報が入力される入力部、および、サーバを介してまたは介さないで前記映像情報を支援者用情報処理装置に対して送信する処理を含む支援処理を実行する支援手段を有する被支援者用情報処理装置と
を備えている被支援者用支援システムであって、
前記被支援者の頭部に前記装着体を装着した状態において、前記ウェアラブルカメラが前記被支援者頭部の正中線に重なる位置に配置される、
被支援者用支援システム。
【請求項2】
前記ウェアラブルカメラとともに、前記被支援者の顔の前方に位置する領域を照らすヘッドライトが前記装着体に取り付けられている、
請求項1に記載した被支援者用支援システム。
【請求項3】
前記被支援者の頭部に前記装着体を装着した状態において、前記ウェアラブルカメラと前記ヘッドライトとの両方が前記被支援者頭部の正中線に重なる位置に配置される、
請求項2に記載した被支援者用支援システム。
【請求項4】
前記ウェアラブルカメラは、前記装着体に対して着脱可能に取り付けられている、
請求項1~3のうちいずれかに記載した被支援者用支援システム。
【請求項5】
前記装着体の内周側に、前記被支援者の頭部に接するクッション部材が取り付けられている、
請求項1~4のうちいずれかに記載した被支援者用支援システム。
【請求項6】
前記映像情報が入力された場合において前記支援処理が実行されていなければ、前記支援処理の実行を開始し、前記映像情報が所定時間入力されていない場合において前記支援処理が実行されていれば、前記支援処理を終了させる映像情報監視手段を更に備えている、
請求項1~5のうちいずれかに記載した被支援者用支援システム。
【請求項7】
前記ウェアラブルカメラは、前記映像情報を前記被支援者用情報処理装置に入力する第1状態と、前記映像情報を前記被支援者用情報処理装置に入力しない第2状態との間で状態を切り替える単一の操作子を有している、
請求項1~6のうちいずれかに記載した被支援者用支援システム。
【請求項8】
前記ウェアラブルカメラは、視覚情報に基づかずに操作入力可能に構成され、当該視覚情報に基づかずになされた操作入力によって、前記映像情報を前記被支援者用情報処理装置に入力する第1状態と、前記映像情報を前記被支援者用情報処理装置に入力しない第2状態との間で状態を切り替えるように構成されている、
請求項1~6のうちいずれかに記載した被支援者用支援システム。
【請求項9】
請求項1~8のうちいずれかに記載した被支援者用情報処理装置と通信する支援者側通信部と、
映像情報に含まれる撮影画像を前記被支援者用情報処理装置から前記支援者側通信部で受信した場合に、前記撮影画像を表示する表示制御手段と、
支援者からの支援情報を入力して当該支援情報を前記被支援者用情報処理装置に対して送信する支援者側支援情報送信手段とを備えている、
支援者用情報処理装置。
【請求項10】
前記支援情報は支援音声情報である、
請求項9に記載した支援者用情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視覚障害者、高齢者、および遠隔医療従事者等の被支援者を、遠隔地に居る支援者に支援させるための被支援者用支援システムおよび支援者用情報処理装置に関するものである。
【背景技術】
【0002】
従来、被支援者の視野をカメラで撮影して取得した視野情報を、被支援者用情報処理装置から、支援者用情報処理装置に対して送信するシステムは知られている。この種のシステムでは、遠隔アシスタント(支援者)が、支援者が所持する支援者用情報処理装置で出力された視野情報に基づいて、被支援者に対して口頭(音声)で被支援者の補助を実行する。
【0003】
例えば特許文献1には、被支援者の視野を撮影する内蔵カメラを備えた携帯通信デバイスと、撮影された視野情報を携帯通信デバイスから受信するクライアントサーバ・ホストデバイスと、携帯通信デバイスとクラインアントサーバ・ホストデバイスとの間の接続開始を管理するサーバとを備えたシステムが開示されている。クライアントサーバ・ホストデバイスは、受信した視野情報(画像)に対してアイコン等の拡張現実物体を合成した拡張現実パノラマを支援者に表示する。支援者は、拡張現実パノラマに基づいて(拡張現実パノラマを見ながら)、口頭による補助(支援)を被支援者に対して行う。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表2013-520757号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した特許文献1に記載のシステムでは、携帯通信デバイスの内蔵カメラで、被支援者の視野を撮影する。携帯通信デバイスとしてスマートフォン等が例示されているが、このようなデバイスの向きや位置を調節して、被支援者の視野とカメラの撮影領域とを合わせることは容易ではなく、被支援者にとってカメラの調節作業が煩わしいという問題があった。
【課題を解決するための手段】
【0006】
本発明は、上記のような現状を検討して改善を施した被支援者用支援システムおよび支援者用情報処理装置を提供することを技術的課題としている。
【0007】
本発明は、被支援者用支援システムおよび支援者用情報処理装置を含んでいて、典型的な構成を各請求項において特定している。これらのうち請求項1の発明は、被支援者の頭部に装着される装着体、および、前記装着体に取り付けられるウェアラブルカメラを有する頭部装着具と、前記ウェアラブルカメラで撮像された映像情報が入力される入力部、および、サーバを介してまたは介さないで前記映像情報を支援者用情報処理装置に対して送信する処理を含む支援処理を実行する支援手段を有する被支援者用情報処理装置とを備えている被支援者用支援システムであって、前記被支援者の頭部に前記装着体を装着した状態において、前記ウェアラブルカメラが前記被支援者頭部の正中線に重なる位置に配置されるというものである。
【0008】
本発明の被支援者用支援システムにおいて、前記ウェアラブルカメラとともに、前記被支援者の顔の前方に位置する領域を照らすヘッドライトが前記装着体に取り付けられているようにしてもよい。
【0009】
本発明の被支援者用支援システムにおいて、前記被支援者の頭部に前記装着体を装着した状態において、前記ウェアラブルカメラと前記ヘッドライトとの両方が前記被支援者頭部の正中線に重なる位置に配置されるようにしてもよい。
【0010】
本発明の被支援者用支援システムにおいて、前記ウェアラブルカメラは、前記装着体に対して着脱可能に取り付けられているようにしてもよい。
【0011】
本発明の被支援者用支援システムにおいて、前記装着体の内周側に、前記被支援者の頭部に接するクッション部材が取り付けられているようにしてもよい。
【0012】
本発明の被支援者用支援システムにおいて、前記映像情報が入力された場合において前記支援処理が実行されていなければ、前記支援処理の実行を開始し、前記映像情報が所定時間入力されていない場合において前記支援処理が実行されていれば、前記支援処理を終了させる映像情報監視手段を更に備えているようにしてもよい。
【0013】
このように構成すると、被支援者は、ウェアラブルカメラに対して、「映像情報を被支援者用情報処理装置に入力できる状態にするための操作」を行うだけで、被支援者用情報処理装置に対して操作を行わなくても、被支援者用情報処理装置に支援処理を実行させることができる。また、被支援者は、ウェアラブルカメラに対して、「映像情報を被支援者用情報処理装置に入力できない状態にするための操作」を行うだけで、被支援者用情報処理装置に対して操作を行わなくても、被支援者用情報処理装置に支援処理を終了させることができる。なお、被支援者が、例えば視覚障害者等の場合には、被支援者用情報処理装置を操作するよりも、自身が着用するウェアラブルカメラを操作する方が、操作子を見つけやすく操作し易い。上記構成によれば、この点からも被支援者にとって操作容易になる。
【0014】
上記「映像情報を被支援者用情報処理装置に入力できる状態にするための操作」は、例えば、ウェアラブルカメラが電源オン状態に常に撮影している場合には、電源をオンさせる操作が該当し、電源オン状態でかつ所定操作が行われた場合に、撮影をする場合には、この所定操作が該当する。上記「映像情報を被支援者用情報処理装置に入力できない状態にするための操作」は、例えば、ウェアラブルカメラが電源オン状態に常に撮影している場合には、電源をオフさせる操作が該当し、電源オン状態であっても所定操作が行われた場合に、撮影を行わない場合には、この所定操作が該当する。なお、被支援者用情報処理装置は、内蔵のコンピュータで支援プログラムを実行することで、支援手段、および映像情報監視手段として機能してもよい。
【0015】
本発明の被支援者用支援システムにおいて、前記ウェアラブルカメラは、前記映像情報を前記被支援者用情報処理装置に入力する第1状態と、前記映像情報を前記被支援者用情報処理装置に入力しない第2状態との間で状態を切り替える単一の操作子を有しているようにしてもよい。
【0016】
このように構成すると、単一の操作子を操作するだけで、映像情報を被支援者用情報処理装置に入力する第1状態と、映像情報を被支援者用情報処理装置に入力しない第2状態との間で切り替えることができる。ウェアラブルカメラが第2状態から第1状態に切り替えられた場合には、被支援者用情報処置装置には映像情報が入力されるようになり、被支援者用情報処理装置が支援処理を開始する。ウェアラブルカメラが第1状態から第2状態に切り替えられた場合には、被支援者用情報処理装置には映像情報が入力されなくなり、被支援者用情報処理装置が支援処理を終了する。このように、ウェアラブルカメラの単一の操作子を被支援者が操作するだけで、ウェアラブルカメラから被支援者用情報処理装置への映像情報の送信の有無を切り替えるだけでなく、被支援者用情報処理装置の支援処理の実行の開始および終了も指示することができる。なお、被支援者が、例えば視覚障害者等の場合には、被支援者用情報処理装置を操作するよりも、自身が着用するウェアラブルカメラを操作する方が、操作子を見つけやすく操作し易い。上記構成によれば、この点からも被支援者にとって操作容易になる。
【0017】
本発明の被支援者用支援システムにおいて、前記ウェアラブルカメラは、視覚情報に基づかずに操作入力可能に構成され、当該視覚情報に基づかずになされた操作入力によって、前記映像情報を前記被支援者用情報処理装置に入力する第1状態と、前記映像情報を前記被支援者用情報処理装置に入力しない第2状態との間で状態を切り替えるように構成されていてもよい。
【0018】
「視覚情報に基づかずになされた操作入力」とは、例えば、被支援者が操作子の位置や操作子の内容(操作子に対応づけられた指示内容)を視認して理解した上で行う操作入力ではない操作入力、すなわち、被支援者が操作子の位置や操作子の内容を視認することなく行うことが出来る操作入力のことである。
【0019】
このように構成すれば、視覚情報に基づかずになされた操作入力によって、第1状態と第2状態との間で状態が切り替えられるため、視覚障害者等のような視覚情報を視認できない、または視認し難い被支援者にとって、支援処理の開始の指示を操作容易に行うことができる。
【0020】
本発明のうち支援者用情報処理装置に係るものは、被支援者用情報処理装置と通信する支援者側通信部と、映像情報に含まれる撮影画像を前記被支援者用情報処理装置から前記支援者側通信部で受信した場合に、前記撮影画像を表示する表示制御手段と、支援者からの支援情報を入力して当該支援情報を前記被支援者用情報処理装置に対して送信する支援者側支援情報送信手段とを備えているというものである。
【0021】
本発明の支援者用情報処理装置において、前記支援情報は支援音声情報としてもよい。
【発明の効果】
【0022】
本発明の構成によれば、前記ウェアラブルカメラは、左右にずれなく前記被支援者と同様の視線で、前記被支援者の顔の前方に位置する領域(例えば手元等)を撮像できることになり、支援者用情報処理装置には、前記被支援者の視野と合致する自然な映像情報が表示される。その結果、支援者は、前記被支援者の視野と合致する自然な前記映像情報を視認でき、的確な支援情報を前記被支援者に提供できる。前記支援情報の的確性を向上できる。前記支援情報による前記被支援者へのガイド(案内)を精度よく行える。
【図面の簡単な説明】
【0023】
図1】本発明を適用した一実施形態に係る支援システムのブロック図である。
図2】支援者用情報処理装置で表示される区分画像の一例を示す図である。
図3】被支援者用情報処理装置が実行する映像情報監視処理の一例を示すフローチャートである。
図4】被支援者用情報処理装置が実行する支援処理の一例を示すフローチャートである。
図5】サーバが実行するサーバ側支援処理の一例を示すフローチャートである。
図6】支援者用情報処理装置が実行する支援者側支援処理の一例を示すフローチャートである。
図7】カチューシャ式の頭部装着具を装着した被支援者の説明図であり、(a)は正面図、(b)は左側面図である。
図8】バンド式の頭部装着具を装着した被支援者の説明図であり、(a)は正面図、(b)は左側面図である。
図9】(a)は被支援者の垂直視野(色識別限界)とウェアラブルカメラの垂直画角(撮像領域)との関係を示す概念図、(b)は被支援者両眼の水平視野(色識別限界)とウェアラブルカメラの水平画角(撮像領域)との関係を示す概念図である。
図10】支援者側支援処理を実行中の支援者用情報処理装置の正面図である。
図11】支援者側支援処理において水平補正処理を実行中の支援者用情報処理装置の正面図である。
【発明を実施するための形態】
【0024】
次に、本発明を具体化した実施形態を図面に基づき説明する。図1に示す支援システム1は、被支援者の視野領域に対応する領域を撮影した映像情報を遠隔地に居る支援者に視認させ、当該映像情報に基づき支援者から入力された支援情報を被支援者に提供することによって、被支援者を支援するシステムである。例えば被支援者は、視覚障害者等の障害者、高齢者または医療従事者等であり、支援者は、障害者や高齢者を介護する介護者または医師等である。支援システム1は、例えば障害者支援、高齢者支援または遠隔医療等に用いることが可能である。
【0025】
支援システム1は、被支援者に所持される被支援者用支援システム10、支援者に所持される支援者用情報処理装置20、および、被支援者用支援システム10と支援者用情報処理装置20との間の通信を中継するサーバ30を有する。支援システム1では、被支援者用支援システム10で撮影した映像情報を、サーバ30経由で支援者用情報処理装置20に送信して、支援者用情報処理装置20で出力する。かつ、支援システム1では、当該映像情報に基づいて支援者用情報処理装置20に入力された支援者の支援情報(例えば支援音声情報)を、サーバ30経由で被支援者用支援システム10に送信して、被支援者用支援システム10で出力する。
【0026】
本実施形態では、支援システム1は、異なった支援者に所持される複数の支援者用情報処理装置20を備え、サーバ30によって、被支援者用支援システム10の被支援者に適した一の支援者の支援者用情報処理装置20が選択される。なお、支援システム1は、異なった被支援者に所持される被支援者用支援システム10を複数備えてもよい。
【0027】
被支援者用支援システム10は、被支援者に着用されるウェアラブルカメラ11、および、被支援者に所持される被支援者用情報処理装置12を備える。ウェアラブルカメラ11は、例えばヘッドマウントタイプのものであり、被支援者の頭部等に着用されて、被支援者の視野に対応する領域等を撮像するためのものである。ウェアラブルカメラ11は、操作部111、撮像部112、マイクロコンピュータ113、および送信部114を備える。
【0028】
マイクロコンピュータ113は、撮像部112で撮影した映像情報を送信部114によって被支援者用情報処理装置12に対して送信する処理を実行する。本実施形態では、操作部111は、映像情報を被支援者用情報処理装置12に入力する第1状態と、映像情報を被支援者用情報処理装置12に入力しない第2状態との間で状態を切り替える単一の操作ボタン(本発明の「操作子」に相当)を備える。
【0029】
単一の操作ボタンは、例えば、ウェアラブルカメラ11の電源のオンオフの指示を受けるためのボタンである。視覚障害者等にとって操作ボタンを複数備える構成では、操作ボタンを特定することが手間であるため、ウェアラブルカメラ11には、電源オンオフのための操作ボタンのみ配置され、電源のオンオフのみによって、前述の第1状態と第2状態との間で設定が切り替えられる構成が好ましい。
【0030】
なお、操作部111がその他の操作ボタンを備えても良い。本実施形態の操作部111は操作ボタンを備えるが、操作ボタンではなくスライド式の操作子のような他の機械式の操作子であってもよい。操作子はタッチパネル式の操作子でもよいが、被支援者が視覚障害者の場合には、機械式の操作子の方が触覚で操作子の位置を特定し易いので好ましい。
【0031】
被支援者用情報処理装置12は、例えばパーソナルコンピュータ、据え置き型ゲーム機のような据え置き型の情報処理装置や、スマートフォン、タブレット、PDAまたは携帯型ゲーム機のような携帯型の情報処理装置である。なお、本支援システム1を遠隔医療システムに用いる場合には、被支援者用情報処置装置12として据え置き型の情報処理装置を採用してもよい。障害者や高齢者等を被支援者とする場合には、障害者や高齢者の移動時にも支援可能なように、被支援者用情報処理装置12として携帯型の情報処理装置を採用するのが望ましい。
【0032】
被支援者用情報処理装置12は、操作部121、スピーカ122、マイク123、通信部124、記憶部125、表示部126、およびCPU127を備える。操作部121は、被支援者(ユーザ)からの指示を受け付けるためのものである。スピーカ122は、音声を出力するものである。本実施形態では、被支援者用情報処理装置12にスピーカ122が配置されているが、被支援者用情報処理装置12に代えてまたは加えて、ウェアラブルカメラ11側にスピーカが配置されてもよい。
【0033】
マイク123は、周辺音声を集音するものである。本実施形態では、被支援者用情報処理装置12にマイク123が配置されているが、被支援者用情報処理装置12に代えてまたは加えて、ウェアラブルカメラ11側にマイクが配置されていてもよい。通信部124は、他の情報処理装置と有線および/または無線で通信を行うものである。本実施形態では、通信部124は、ウェアラブルカメラ11で撮影された映像情報を入力可能なように、ウェアラブルカメラ11に接続された入力部として機能する。
【0034】
なお、本実施形態では、ウェアラブルカメラ11と被支援者用情報処理装置12とは、有線で通信を行うが、ブルートゥース(登録商標)等の無線通信を実行してもよい。映像情報はデジタル信号として入力されるが、アナログ信号として入力されてもよい。
【0035】
通信部124は、インターネット等の通信ネットワーク網Nを介して、支援者用情報処理装置20およびサーバ30と通信可能に接続されている。なお、被支援者用情報処理装置12は、携帯型である場合には、所定のアクセスポイントに無線通信可能に接続され、この所定のアクセスポイントを介して通信ネットワーク網Nに接続される。
【0036】
記憶部125は、例えばROM、RAM、およびフラッシュメモリ等で構成されるものである。表示部126は、例えば液晶ディスプレイや有機ELディスプレイ等のディスプレイである。なお、被支援者情報処置装置12が、タッチパネルを備えてもよく、この場合には、タッチパネルが操作部121および表示部126として機能する。
【0037】
本実施形態のCPU127は、支援処理アプリケーションに含まれる支援プログラムを実行することによって、本発明の「支援手段」および「映像情報監視手段」として機能する。支援手段としてのCPU127は、サーバ30を介して映像情報を支援者用情報処理装置20に対して送信する処理を含む支援処理を実行する。映像情報監視手段としてのCPU127は、映像情報がウェアラブルカメラ11から入力された場合に、支援処理が実行されていなければ支援処理の実行を開始し、映像情報が所定時間入力されていない場合に、支援処理が実行されていれば支援処理を終了させる。
【0038】
上述したように、本実施形態では、ウェアラブルカメラ11に対して、操作部111の単一の操作子(例えば電源オンオフ用の操作ボタン)を被支援者が操作するだけで、映像情報の送信開始および終了を指示することができ、さらには、被支援者用情報処理装置12に対して操作を行わなくても、被支援者用情報処理装置12に支援処理の実行開始および終了を指示することができるという点が、第1の特徴である。
【0039】
なお、本実施形態では、支援手段としてのCPU127は、サーバ30を介して映像情報を支援者用情報処理装置20に対して送信するが、サーバ30を介さないで支援者用情報処理装置20に対して送信してもよい。なお、CPU127は、支援情報についてもサーバ30を介さないで受信してもよい。
【0040】
支援プログラムが含まれる支援処理アプリケーションは、出荷状態から被支援者用情報処理装置12に記憶されていてもよいし、サーバ30のような他の情報処理装置からダウンロードして記憶されていてもよい。本実施形態の被支援者用情報処理装置12は、出荷状態から支援処理アプリケーションが記憶されるとともに、映像情報の入力によって、他のアプリケーションの実行等がなされないように設定された上で出荷される。
【0041】
サーバ30は、被支援者用情報処理装置12と支援者用情報処理装置20と通信ネットワーク網Nを介して通信可能に接続されている。サーバ30は、被支援者用情報処理装置12から支援処理の開始情報を受信したときに、被支援者用情報処理装置12の被支援者に条件の合う支援者の支援者用情報処理装置20を一つ選択するマッチング処理を実行する。この場合の実行条件は、例えば性別や年齢等の条件であってもよいし、被支援者の支援を行う支援者を募って、応募のあった支援者の支援者用情報処理装置20を選択してもよい。サーバ30は、被支援者用情報処理装置12と、マッチング処理によって選択した支援者用情報処理装置20との間の通信を中継する。
【0042】
サーバ30は、操作部301、通信部302、記憶部303、表示部304、およびCPU305を備える。操作部301は、本支援システム1の管理者からの指示を受け付けるためのものである。通信部302は、本発明の「サーバ側通信部」として機能し、通信ネットワーク網Nを介して、被支援者用情報処理装置12、および支援者用情報処理装置20と通信するものである。記憶部303は、例えばROM、RAMおよびハードディスク等で構成されるものである。表示部304は、例えば液晶ディスプレイや有機ELディスプレイ等のディスプレイである。
【0043】
CPU305は、サーバ側支援プログラムの実行によって、上記マッチング処理を実行するマッチング手段として機能するとともに、本発明の「(区分)画像送信手段」および「サーバ側支援情報送信手段」として機能する。(区分)画像送信手段としてのCPU305は、被支援者用情報処理装置12から映像情報を通信部301で受信した場合に、映像情報に含まれる撮影画像を複数領域に区分した区分画像(例えば、図2で示す区分画像G)を生成して、通信部301によって支援者用情報処置装置20(マッチングされた支援者用情報処理装置20)に対して送信する。
【0044】
なお、CPU305は、被支援者用情報処理装置12から映像情報を通信部301で受信した場合に、映像情報に含まれる撮影画像を、通信部301によって支援者用情報処置装置20(マッチングされた支援者用情報処理装置20)に対して送信するようにしてもよい。
【0045】
また、区分画像または撮影画像を受信した支援者用情報処理装置20では、区分画像または撮影画像が支援者に対して映像として表示される。支援情報送信手段としてのCPU305は、支援者用情報処理装置20から支援情報を受信して当該支援情報を被支援者用情報処理装置12に対して送信する。本実施形態の支援情報は支援音声情報であり、被支援者用情報処理装置12に受信された支援音声情報は、スピーカ122から出力される。
【0046】
支援者用情報処理装置20は、例えばパーソナルコンピュータ、ゲーム機のような据え置き型の情報処理装置や、スマートフォン、タブレット、PDAまたは携帯型ゲーム機のような携帯型の情報処理装置である。支援者用情報処理装置20は、マイク200、操作部201、通信部202、記憶部203、スピーカ204、表示部205、およびCPU206を備える。マイク200は、周辺音声を集音するものである。操作部201は、支援者からの指示を受け付けるためのものである。
【0047】
通信部202は、本発明の「支援者側通信部」として機能し、通信ネットワーク網Nを介して、被支援者用情報処理装置12およびサーバ30と通信するものである。記憶部203は、例えばROM、RAMおよびハードディスク等で構成されるものである。スピーカ204は、例えば、被支援者用情報処理装置12からサーバ30を介してまたは介さないで受信した音声を出力する。表示部205は、例えば、液晶ディスプレイや有機ELディスプレイ等のディスプレイである。
【0048】
CPU206は、被支援者用情報処理装置12から区分画像または撮影画像を受信したときに、当該画像を表示部205によって表示する。本実施形態の支援者用情報処理装置20は、ブラウザプログラムまたはアプリケーションプログラムを記憶しており、当該プログラムの実行によって、区分画像もしくは撮影画像を表示する。もっとも、ブラウザプログラムやアプリケーションプログラムとは別のプログラムの実行によって、区分画像や撮影画像を表示してもよい。
【0049】
なお、本実施形態の支援者用情報処理装置20は、サーバ30から区分画像または撮影画像を受信しているが、映像情報を被支援者用情報処理装置12から受信して、当該映像情報に基づいて区分画像または撮影画像を自機で生成して表示してもよい。このような場合には、CPU206は、被支援者側支援プログラムの実行によって、被支援者用情報処理装置12から映像情報を通信部202で受信した場合に、映像情報に含まれる撮影画像を複数領域に区分した区分画像を生成して表示する「表示制御手段」として機能する。
【0050】
また、CPU206は、被支援者側支援プログラムの実行によって、支援者からの支援情報を入力して当該支援情報を、サーバ30経由で被支援者用情報処理装置12に対して送信する「支援者側支援情報送信手段」として機能する。例えばCPU206は、支援情報として支援音声情報をマイク200で入力し、当該支援音声情報を、サーバ30経由で被支援者用情報処理装置12に対して送信する。本実施形態の支援者用情報処理装置20は、サーバ30に中継されて被支援者用情報処理装置12と通信を行うが、サーバ30を介さないで直接、被支援者用情報処理装置12と通信を行ってもよい。この場合、CPU206は、支援者からの支援情報を入力して当該支援情報を、サーバ30を介さないで被支援者用情報処理装置12に対して送信する。
【0051】
本実施形態の第2の特徴は、映像情報に含まれる撮影画像について、区分画像を生成して、当該区分画像を支援者用情報処理装置20に表示させる処理を行う点である。支援者用情報処理装置20は、時系列に連続的に撮影された撮影画像に基づく複数の区分画像を連続的に(動画として)表示する。区分画像は上述の通り、映像情報に含まれる撮影画像を複数領域に区分した画像である。ここで、映像情報は、被支援者用情報処理装置12の所有者である被支援者の視野に対応する領域を撮影したものであるから、撮影画像は、被支援者の視野を示すものとなる。
【0052】
次に、図2を参照しながら区分画像について説明する。図2で表示される区分画像の一例は区分画像Gと記載する。区分画像Gには、扉を開けた冷蔵庫が表示されており、被支援者の視野に当該冷蔵庫が含まれていることを示している。区分画像Gは、撮影画像に格子状のラインLを合成することによって、3行×3列から構成されるマトリクス状に区分されている。換言すると、区分画像Gの複数領域はマトリクス状に構成されている。区分画像Gの複数領域にはそれぞれ、異なった識別情報Sが合成されて表示される。
【0053】
例えば被支援者が冷蔵庫内の対象物O1(例えば牛乳)を取りたい場合に、支援者が区分画像G中の対象物O1が複数領域のうちいずれに映っているかを特定する。図2においては、対象物O1が(7)を示す識別情報Sの領域に映っていると特定される。対象物O1が(7)を示す識別情報Sの領域に映っていることを支援者が音声で発すると、当該音声が支援音声情報として支援者用情報処理装置20のマイク200に入力されて、被支援者用情報処理装置12に対して送信され、被支援者用情報処理装置12のスピーカ122から出力される。当該支援音声情報を聞いた被支援者は予め、複数領域に対応する識別情報を把握しており、支援音声情報にガイドされて、当該識別情報に対応する方向(視野の斜め左下方向)に向く。
【0054】
そうすると、支援者用情報処理装置1で表示される区分画像Gには、その中央領域((5)を示す識別情報Sの領域)に対象物O1が映ることになる。そして、対象物O1が被支援者の正面にある((5)を示す識別情報Sの領域に映っている)旨を支援者が音声で発すると、当該音声が支援音声情報として支援者用情報処理装置20のマイク200に入力されて、被支援者用情報処理装置12に対して送信され、被支援者用情報処理装置12のスピーカ122から出力される。その結果、被支援者は、支援音声情報にガイドされて正面に手を伸ばし、対象物O1をスムーズに掴むことができる。
【0055】
区分画像の複数領域は、複数の奇数の行および複数の奇数の列から構成されるマトリクス状に配置されていることが好ましい。もっとも、区分画像の領域の分割方法は、複数の奇数の行および複数の奇数の列から構成されるマトリクス状でなくてもよく、複数の領域に分割されていればよい。本実施形態では、区分画像の複数の領域に(1)から(9)までの数を示す識別情報Sが表示されているが、異なった種類の識別情報S(例えば、右上、左上、中上、右中、中央、左中、右下、左下、中下等)が表示されてもよい。
【0056】
また、支援者の支援者用情報処理装置20に対する操作によって、表示される識別情報Sの種類が変更されてもよい。識別情報Sを区分画像に表示しなくてもよい。複数の領域の区分方法についても、撮影画像に格子状のラインLが合成される方法に限定されず、ラインLとは別の形状の区別アイコンを合成して分割しても、撮影画像を分割して間隔をあけて配置してもよく、方法を問わず複数の領域に区分されていればよい。
【0057】
次に、図1図6を参照しながら、本実施形態の支援システム1が実行する処理について説明する。図3のフローチャートに示すように、被支援者用情報処理装置12は、電源がオン状態のときに、繰り返し映像情報監視処理を実行する。なお、映像情報監視処理は、支援プログラムを実行することによってCPU127で実行される。
【0058】
まず、CPU127は、ウェアラブルカメラ11から映像情報の入力があったか否かを判断する(ステップS1)。ウェアラブルカメラ11から映像情報の入力があった場合(S1:YES)、CPU127は、支援処理を実行中であるか否かを判断する(ステップS2)。支援処理を実行中の場合(S2:YES)、CPU127は処理をステップS1に戻す。支援処理を実行中でない場合(S2:NO)、CPU127は支援処理の開始処理を行う(ステップS3)。支援処理の開始処理では、サーバ30に対して開始情報を送信するとともに、図4に示す支援処理の実行を開始する。なお、支援処理の実行が開始されると、支援処理と映像情報監視処理とは並列処理で実行される。その後、CPU127は処理をステップS1に戻す。
【0059】
一方、ウェアラブルカメラ11から映像情報の入力がない場合(S1:NO)、CPU127は、支援処理を実行中であるか否かを判断する(ステップS4)。支援処理を実行中でない場合(S2:NO)、CPU127は処理をステップS1に戻す。また、支援処理を実行中の場合(S2:YES)、CPU127は支援処理の終了処理を行う(ステップS5)。支援処理の終了処理では、サーバ30に対して終了情報を送信するとともに、図4に示す支援処理を終了させる。
【0060】
なお、ウェアラブルカメラ11から映像情報の入力がないと判断したときに直ちに、支援処理の終了処理を行ってもよいが、例えば一定期間の間、映像情報の入力がないと判断したときに、支援処理の終了処理を行うようにしてもよい。
【0061】
次に、図4を参照して、被支援者用情報処理装置12が実行する支援処理について説明する。被支援者用情報処理装置12は、映像情報監視処理のステップS3の実行(図3参照)によって支援処理の実行を開始し、同じく映像情報監視処理のステップS5の実行(図3参照)によって支援処理の実行を終了する。なお、支援処理も、支援プログラムを実行することによってCPU127で実行される。
【0062】
CPU127は、ウェアラブルカメラ11から映像情報を入力するとともに、マイク123から音声を入力し(ステップS11)、入力した映像情報および音声情報を、サーバ30経由で支援者用情報処理装置20に対して送信する(ステップS12)。次いで、CPU127は、サーバ30を介して支援者用情報処理装置20からの支援情報を受信したかどうかを判断する(ステップS13)。支援情報を受信していない場合(S13:NO)、CPU127はステップS11に処理を戻す。
【0063】
一方、支援情報を受信した場合(S13:NO)、CPU127は、受信した支援情報を出力する(ステップS14)。なお、本実施形態の支援情報は、支援音声情報であるため、ステップS14においてCPU127は、支援音声情報をスピーカ122から出力することになる。もっとも、支援情報は音声でなくてもよく、例えばテキスト情報であってもよい。この場合、例えばテキスト情報を音声情報に変換してスピーカ122から出力したり表示部126に表示したりする等の方法によって、支援情報が出力されればよい。その後、CPU127はステップS11に処理を戻す。
【0064】
次に、図5を参照して、サーバ30が実行するサーバ側支援処理を説明する。サーバ側支援処理は、サーバ側支援プログラムの実行によってCPU305で実行される。CPU305は、被支援者用情報処理装置12から開始情報を受信したか否かを判断する(ステップS21)。なお、開始情報は、図3のステップS3で被支援者用情報処理装置12からサーバ30に送信される。開始情報を受信していない場合(S21:NO)、CPU305はステップS23に処理を進める。ステップS23についての詳細は後述する。開始情報を受信した場合(S21:YES)、CPU305はマッチング処理を実行する(ステップS22)。
【0065】
マッチング処理では、複数の支援者用情報処理装置20の中から、開始情報を送信した被支援者用情報処理装置12の被支援者の条件に合致する一の支援者の支援者用情報処理装置20が特定される。そして、特定された支援者用情報処理装置20と、開始情報の送信元の被支援者用情報処理装置12との情報の送受信が可能なように設定する。当該設定においては、例えば支援者用情報処理装置20と被支援者用情報処理装置12とを対応づけて登録(記憶部203に記憶)すること等で実行される。登録されている支援者用情報処理装置20と被支援者用情報処理装置12との間の通信をサーバ30が中継することになる。また、マッチング処理では、特定された支援者用情報処理装置20に対して支援開始指示情報を送信する。
【0066】
次いで、CPU305は、被支援者用情報処理装置12から映像情報や音声情報も受信したか否かを判断する(ステップS23)。なお、受信する映像情報や音声情報は、図4のステップS12で送信された情報である。被支援者用情報処理装置12から映像情報や音声情報を受信した場合(S23:YES)、CPU305は、受信した映像情報や音声情報に基づいて支援者用情報を生成して、支援者用情報処理装置20に対して送信する(ステップS24)。
【0067】
ここで、支援者用情報を送信する支援者用情報処理装置20は、ステップS22でマッチングされた支援者用情報処理装置20である。なお、支援者用情報には、区分画像も含まれる。ここで、例えば区分画像は、映像情報に含まれる撮影画像に対して、当該撮影画像を区分するマーク(図2の例ではラインマークL)を合成するとともに、各領域に対応する識別情報Sを合成することによって生成される。この後、CPU305は、処理をステップS25に進める。なお、被支援者用情報処理装置12から映像情報も音声情報を受信していない場合(S23:NO)、CPU305は、ステップS24を実行せずに処理をステップS25に進める。
【0068】
ステップS25においてCPU305は、支援者用情報処理装置20から支援情報を受信したか否かを判断する(ステップS25)。支援者用情報処理装置20からの支援情報を受信した場合(S25:YES)、CPU305は、受信した支援情報を被支援者用情報処理装置12に対して送信する(ステップS26)。ここで、支援情報は、その送信元の支援者用情報処理装置20とマッチングされた被支援者用情報処理装置12に対して送信される。この後、CPU305は、処理をステップS27に進める。なお、支援者用情報処理装置20からの支援情報を受信していない場合(S25:NO)、CPU305は、ステップS26を実行せずに、処理をステップS27に進める。
【0069】
ステップS27においてCPU305は、被支援者用情報処理装置12から終了情報を受信したか否かを判断する。なお、終了情報は、図3のステップS5の処理によって、被支援者用情報処理装置12から送信される。被支援者用情報処理装置12から終了情報を受信した場合には(S27:YES)、CPU305は、支援者・被支援者間の通信終了処理を実行する(ステップS28)。ここで、支援者・被支援者間の通信終了処理では、終了情報の送信元の被支援者用情報12と、当該被支援者用情報処理装置12とマッチングされた支援者用情報処理装置20との間の通信を終了させる処理を実行する。例えば、被支援者用情報処理装置12と支援者用情報処理装置20とが対応づけて登録されている場合、当該登録を削除して、支援者用情報処理装置20に対して支援終了指示情報を送信する。
【0070】
この後、CPU305は、処理をステップS21に戻す。なお、被支援者用情報処理装置12から終了情報を受信していない場合(S27:NO)、CPU305は、ステップS28を実行せずに、処理をステップS21に戻す。
【0071】
次に、図6を参照しながら、支援者用情報処理装置20が実行する支援者側支援処理を説明する。支援者側支援処理は、図5のステップS22の実行においてサーバ30から支援開始指示情報を受信したときに開始され、図5のステップS28の実行においてサーバ30から支援終了指示情報を受信したときに終了される。支援者側支援処理は、支援者側支援プログラムの実行によって、CPU206で実行される。
【0072】
図6のフローチャートに示すように、CPU206は、サーバ30から支援者用情報を受信したか否かを判断する(ステップS31)。なお、支援者用情報は、図5のステップS24においてサーバ30から送信されるものであり、区分画像や音声情報(被支援者用情報処理装置12で集音した音声情報)等が含まれる。サーバ30から支援者用情報を受信した場合(S31:YES)、CPU206は、受信した支援者用情報を出力する(ステップS32)。すなわち、支援者用情報に含まれる区分画像を表示部205に表示したり、支援者用情報に含まれる音声情報をスピーカ204から出力したりする。この後、CPU206は、処理をステップS33に進める。また、サーバ30から支援者用情報を受信していない場合(S31:NO)、CPU206は、ステップS32を実行せずに、処理をステップS33に進める。
【0073】
ステップS33においてCPU206は、支援者から支援情報が入力されたか否かを判断する。例えば支援情報が支援音声情報である場合、マイク200から周辺音声が支援音声情報として入力される。支援者から支援情報が入力された場合(S33:YES)、CPU206は、サーバ30を介して支援情報を被支援者用情報処理装置12に対して送信する(ステップS34)。なお、送信された支援情報は、図5のステップS25でサーバ30に受信され、ステップS26でサーバ30から被支援者用情報処理装置12に対して送信される。この後、CPU206は、処理をステップS31に戻す。一方、支援者から支援情報が入力されていない場合(S33:NO)、CPU206は、ステップS34を実行せずに、処理をステップS31に戻す。
【0074】
次に、図7図9を参照しながら、被支援者SD(ユーザ)がウェアラブルカメラ11を着用するための頭部装着具40,50の構成について説明する。
【0075】
図7(a)(b)に示す頭部装着具40は、ヘッドマウントタイプのうちカチューシャ式のものであり、被支援者SDの頭部に装着される装着体としてのフレーム体41と、フレーム体41の中央部付近に取り付けられるウェアラブルカメラ11とを備えている。フレーム体41は、被支援者SDの頭部に装着された状態で、被支援者SDの前頭部(額)から左右両側頭部まで延びており、本実施形態では略U字状になっている。フレーム体41の材質は、必要な弾性および強度を有すれば特に限定されないが、例えば合成樹脂等を採用できる。
【0076】
フレーム体41の内周側には、被支援者SDの頭部に接するクッション部材42が取り付けられている。本実施形態のクッション部材42は、発泡樹脂材等を用いてなるものであり、後述するクランプ体43の挟持スペースをフレーム体41の中央部付近に形成する目的で、フレーム体41の中央部付近を避けるようにクッション部材42を左右に分けて貼り付けている。クッション部材42は、頭部装着具40(フレーム体41)装着時の圧迫感を緩和する役割と、被支援者SDの前頭部(額)の汗を吸収する役割と、頭部装着具40(フレーム体41)の安定装着の役割とを担っている。
【0077】
前述の通り、ウェアラブルカメラ11は、フレーム体41の中央部付近に取り付けられている。本実施形態では、フレーム体41の中央部付近に、ヒンジ部45を介して開閉回動可能(広狭回動可能)に連結された一対の前後クランプ片44a,44bを有するクランプ体43が着脱可能に装着されている。クランプ体43の前後クランプ片44a,44bがフレーム体41の中央部付近を挟持している。前クランプ片44aの前面側には、上下回動角度を調節可能な支持アーム46が設けられている。支持アーム46の先端側には、ウェアラブルカメラ11の長手中途部を抱持するクリップ部47が設けられている。クリップ部47は断面C字状の形態であり、弾性に抗して広がり変形することによって、ウェアラブルカメラ11の長手中途部がレンズ側を前方下向きにして嵌め込まれる。
【0078】
図7(a)から明らかなように、被支援者SDの頭部にフレーム体41を装着した状態において、ウェアラブルカメラ11は、クランプ体43を介して、フレーム体41の中央部付近、すなわち、被支援者SD頭部の正中線MLに重なる位置に配置される。
【0079】
このため、ウェアラブルカメラ11は、左右にずれなく被支援者SDと同様の視線で、被支援者SDの顔の前方に位置する領域(例えば手元等)を撮像できることになり、支援者用情報処理装置20の表示部205には、被支援者SDの視野と合致する自然な区分画像または撮影画像が表示される結果、支援者は、被支援者SDの視野と合致する自然な区分画像または撮影画像を視認できる。
【0080】
つまり、被支援者SDが見ているような視線・視野で、被支援者SDの顔の前方に位置する領域(例えば手元等)を、支援者が見ているかのように設定できる。したがって、支援者用情報処理装置20および被支援者情報処理装置12を介して、的確な支援情報を被支援者SDに提供できる。支援情報の的確性を向上できる。支援情報による被支援者SDへのガイド(案内)を精度よく行える。
【0081】
図9(a)に示すように、被支援者SDの視線が標準的な視線方向(標準視線81)である場合、上側の垂直視野82は約50°、下側の垂直視野83は約70°と言われている。当該垂直視野82,83内において、人が色を識別できる色識別限界84,85は、上側の色識別限界84が約35°、下側の色識別限界85が約40°と言われている。なお、垂直視野82,83範囲や色識別限界84,85は、視線方向(眼球の向き)によって変化する。
【0082】
被支援者SDの両目の視線が標準的な視線方向(標準視線91L,91R)である場合、左目の水平視野は、左側に約94°、右側に約62°と言われている(図示省略)。逆に、右目の水平視野は、右側に約94°、左側に約62°と言われている(図示省略)。図9(b)に示すように、当該水平視野内において、人が色を識別できる左右の目の色識別限界94L,95L,94R,95Rは、左右とも約30°~60°と言われている。なお、水平視野範囲91L,91Rや色識別限界94L,95L,94R,95Rも、視線方向(眼球の向き)によって変化する。
【0083】
被支援者SDの頭部にフレーム体41を装着した状態において、被支援者SD頭部の正中線MLに重なる位置にウェアラブルカメラ11を配置すれば、ウェアラブルカメラ11の垂直画角86を被支援者SDの垂直視野82,83内(特に色識別限界84,85内)に重ねることができるとともに、ウェアラブルカメラ11の水平画角96を被支援者SDの水平視野内(特に両目の色識別限界94L,95L,94R,95R内)に重ねることができる。だからこそ、支援者は、被支援者SDの視野と合致する自然な区分画像または撮影画像を視認できる。換言すると、支援者は、被支援者SDの一人称視点(主観視点、被支援者SD目線と言ってもよい)で区分画像または撮影画像を視認できるのである。
【0084】
図8(a)(b)に示す頭部装着具50は、ヘッドマウントタイプのうちバンド式のものであり、被支援者SDの頭部に装着される装着体としてのバンド体51と、バンド体51に取り付けられるウェアラブルカメラ11と、被支援者SDの顔の前方に位置する領域(例えば手元等)を照らすヘッドライト52とを備えている。本実施形態のバンド体51は、被支援者SDの頭部全周に巻き付けられるものである。バンド体51の材質は、必要な弾性および強度を有すれば特に限定されないが、例えば伸縮性を有する平帯状の布や弾性ゴムといった合成樹脂等を採用できる。
【0085】
本実施形態では、ヘッドライト52における薄板状の基部53に、左右方向に貫通するスリット54が形成されている。当該スリット54にバンド体51を挿通させることによって、バンド体51にヘッドライト52が取り付けられている。クランプ体43の前後クランプ片44a,44bは、ヘッドライト52の基部を挟持している。
【0086】
図8(a)に示すように、被支援者SDの頭部にバンド体51を装着した状態において、ウェアラブルカメラ11とヘッドライト52とは、被支援者SDの額中央付近、すなわち、被支援者SD頭部の正中線MLに重なる位置に配置される。したがって、このように構成した場合も、図7(a)(b)に示す頭部装着具40と同様の作用効果を奏する。特に図8(a)(b)に示す頭部装着具50を採用すると、ウェアラブルカメラ11とヘッドライト52との両方が、被支援者SD頭部の正中線MLに重なる位置に配置されるから、被支援者SDが見ているような視線・視野の領域を、ヘッドライト52で効率よく的確に照らせる。撮像に必要な照度を簡単に確保できる。
【0087】
次に、図10および図11を参照しながら、支援者用情報処理装置20における表示部205の画面表示について説明する。図10および図11に示す支援者用情報処理装置20は、表示部205に相当するタッチパネルを有するタブレット型のパーソナルコンピュータとして構成される。支援者は、支援者用情報処理装置20の表示部205に表示された各種情報(例えば撮影画像や区分画像等)を参照して被支援者に支援情報を提供したり、支援者用情報処理装置20を操作して、サーバ30および被支援者用情報処理装置12を介して被支援者に支援情報を提供したりできる。なお、前述の通り、本実施形態の支援者用情報処理装置20がタブレット型のパーソナルコンピュータに限るものではないのは言うまでもない。
【0088】
支援者用情報処理装置20は、図5のステップS22の実行によって支援開始指示情報を受け付けると、支援者側支援処理を開始し、その後、支援者用情報を受け付けると、当該支援者用情報を出力するのは、先に説明した通りである。この場合、表示部205には、支援者用情報として、撮影画像Iまたは区分画像、地図情報60、ログアウトボタン61、回線状況モニタ62、映像拡大ボタン63、地図拡大ボタン64、静止画ボタン65、手振れ補正ボタン66、再生ボタン67、水平補正ボタン68、右矢印69および左矢印70が表示される(図10参照)。
【0089】
地図情報60は被支援者の住所地図を示すものであり、ログアウトボタン61は支援者側支援処理を強制終了させるものである。回線状況モニタ62は回線状況を示すものであり、映像拡大ボタン63は撮影画像Iまたは区分画像を拡大表示させるものであり、地図拡大ボタン64は地図情報60を拡大表示させるものである。静止画ボタン65は撮影画像Iまたは区分画像から静止画像を取得するものであり、手振れ補正ボタン66は撮影画像Iまたは区分画像の手振れ補正処理を実行させるものであり、水平補正ボタン68は撮影画像Iまたは区分画像の水平補正処理を実行させるものである。右矢印69および左矢印70はそれぞれ水平補正処理実行時の撮影画像Iまたは区分画像の回転方向を指定するものである。
【0090】
図10および図11の表示部205においては、区分画像ではなく撮影画像Iが表示されている(格子状ラインLの合成を省略している)。撮影画像Iは、表示部205右寄りの略矩形の表示枠72内に示されている。表示枠72内(撮影画像I)には、音声出力の大小を設定する縦長のスライドバー71がオーバーレイ表示されている。
【0091】
支援者側支援処理の開始時(ログイン時)において、手振れ補正処理はオン状態に設定されており、手振れ補正ボタン66に「オン」の文字が表示される(図9参照)。手振れ補正ボタン66を一回押下すると、手振れ補正処理はオフ状態に切り替わり、手振れ補正ボタン66に「オフ」の文字が表示される(図11参照)。すなわち、手振れ補正ボタン66を押下するたびに、手振れ補正処理のオンオフが切り替わる設定になっている。このように構成すると、頭部装着具40,50を着用した被支援者の頭部の姿勢に拘らず、支援者側で撮影画像I(または区分画像)の揺れを補正でき、支援者用情報処理装置20の表示部205に、見やすい撮影画像I(または区分画像)を表示できる。被支援者へのガイド(案内)をより精度よく行える。
【0092】
支援者側支援処理の開始時(ログイン時)において、水平補正処理はオフ状態に設定されており、水平補正ボタン68に「オフ」の文字が表示される(図10参照)。水平補正ボタン68を一回押下すると、水平補正処理はオン状態に切り替わり、水平補正ボタン68に「オン」の文字が表示される(図11参照)。すなわち、水平補正ボタン68を押下するたびに、水平補正処理のオンオフが切り替わるように設定されている。
【0093】
水平補正ボタン68をオンにした状態で右矢印69を一回押下した場合、撮影画像Iは、表示枠72の回転中心73を基準に、時計回りに1°回転する設定になっている。つまり、水平補正ボタン68をオンにした状態で右矢印69を押下するごとに、撮影画像Iは、表示枠72の回転中心73回りに時計回りに1°ずつ回転する。時計回りの回転可能範囲は、0°~180°の範囲になっている。水平補正ボタン68をオンにした状態で左矢印70を一回押下した場合、撮影画像Iは、表示枠72の回転中心73を基準に、反時計回りに1°回転する設定になっている。つまり、水平補正ボタン68をオンにした状態で右矢印69を押下するごとに、撮影画像Iは、表示枠72の回転中心73回りに反時計回りに1°ずつ回転する。反時計回りの回転可能範囲は、180°~0°の範囲になっている。右矢印69または左矢印70を長押しした場合は、オートインクリメントされて、撮影画像の回転が自動的に1°ずつ進んでいく。
【0094】
図11に示すように、水平補正処理を実行して、撮影画像Iを元の状態から適宜回転させた場合、撮影画像Iのうち表示枠72からはみ出るはみ出し部74は表示されない。そして、表示枠72内のうち撮影画像Iのない画像なし部75(図11のハッチング部)は、例えば黒色で表示されることになる。このように構成すると、頭部装着具40,50を着用した被支援者の頭部の姿勢に拘らず、支援者側で撮影画像I(または区分画像)の傾きを補正でき、支援者用情報処理装置20の表示部205に、見やすい撮影画像I(または区分画像)を表示できる。被支援者へのガイド(案内)をより精度よく行える。
【0095】
本実施形態において、手振れ補正処理は、被支援者用情報処理装置12にて実行され、水平補正処理は、サーバ30にて実行される。支援者側情報処理装置20の表示部205には、サーバ30にて水平補正処理された処理後の撮影画像Iが表示される。もちろん、手振れ補正処理をサーバ30にて実行してもよいし、水平補正処理を被支援者用情報処理装置12にて実行してもよい。
【0096】
なお、本発明における各部の構成は図示の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更可能である。例えば支援システム1が実行する処理では、支援情報および被支援者用情報は、サーバ30を介して、被支援者用情報処理装置12または支援者用情報処理装置20に対して送信されるが、サーバ30によってマッチング処理がなされて被支援者用情報処理装置12と特定の支援者用情報処理装置20とがマッチングされた後、サーバ30を介さないで被支援者用情報処理装置12または支援者用情報処理装置20に対して送信されてもよい。ステップS31で受信される支援者用情報は、区分画像や撮影画像でなく映像情報が含まれてもよい。
【0097】
本実施形態において支援システム1は、サーバ30を備えるが、サーバ30を備えなくてもよい。この場合、例えば被支援者用情報処理装置12と支援者用情報処理装置20とにおいて、予め、被支援者と支援者との間でそれぞれの装置12、20に互いをペアリング登録し、ペアリング登録された被支援者用情報処理装置12と支援者用情報処理装置20との間で通信を行うことが考えられる。
【0098】
本実施形態では、ウェアラブルカメラ11は、単一の操作子を有する操作部111を備え、この単一の機械式の操作子の操作によって、映像情報を被支援者用情報処理装置12に入力する第1状態と、映像情報を被支援者用情報処理装置12に入力しない第2状態との間で状態を切り替えるが、この構成に限定されない。
【0099】
ウェアラブルカメラ11は、視覚情報に基づかずに操作入力可能に構成され、この視覚情報に基づかずになされた操作入力によって、上記第1状態と上記第2状態との間で状態を切り替えてもよい。この構成を採用した場合は、視覚障害者等のような視覚情報を視認できない、または視認し難い被支援者にとって、支援処理の開始の指示を操作容易に行うことができる。
【0100】
「視覚情報に基づかずになされた操作入力」とは、被支援者が操作子の位置や操作子の内容(操作子に対応づけられた指示内容)を視認して理解した上で行う操作入力ではない操作入力、すなわち、被支援者が操作子の位置や操作子の内容を視認することなく行うことが出来る操作入力のことである。
【0101】
例えば機械式の操作子への操作入力は、触覚によって被支援者が位置および内容を特定できる場合、「視覚情報に基づかずになされた操作入力」に該当する。タッチパネルをタッチすることによる操作入力等は、通常、被支援者が操作子の位置や操作子の内容を視認しなくては行うことができないため、「視覚情報に基づかずになされた操作入力」に該当しないが、タッチパネル上の操作子をタッチしたときに、音声によって、操作をガイドする場合には、「視覚情報に基づかずになされた操作入力」に該当する。
【0102】
「視覚情報に基づかずになされた操作入力」は、操作子に接触することで行う操作入力に限らず、ウェアラブルカメラ11に搭載されたマイク(図示省略)やカメラ(撮像部112)等からの入力情報に基づき操作入力の有無が検知されるものであってもよい。当該操作入力の一例として、上記第2状態から上記第1状態へと切り替えを指示する音声(例えば「支援処理開始」との音声)を被支援者が発したり、上記第1状態から上記第2状態へと切り替えを指示する音声(例えば「支援処理終了」との音声)を被支援者が発したりすることを、「視覚情報に基づかずになされた操作入力」としてもよい。
【0103】
他の例として、カメラ(撮像部112)の前に被支援者が手をかざして外界を撮影出来ない状態に所定期間(数秒)以上した後に、手を撮像部112の前から移動させる等の特定の動きを被支援者が行った場合に、上記第2状態から上記第1状態への切り替えが指示され、その後、再度、上記特定の動きを被支援者が行った場合に、上記第1状態から上記第2状態への切り替えが指示されてもよい。この場合には、上記特定の動きが、「視覚情報に基づかずになされた操作入力」に該当する。
【0104】
本実施形態のサーバ側支援処理において、サーバ30は、被支援者用情報処理装置12から受信した映像情報、当該映像情報に基づく区分画像、および音声情報のうち少なくとも何れか一つを記録(録音や録画等)してもよい。また、サーバ30は、支援者用情報処理装置20から受信した支援情報を記録(録音等)してもよい。サーバ30において、支援者用情報や支援音声を記録することで、支援者による被支援者の支援過程においてトラブル(事故等)が生じた場合に、記録を確認することでトラブル原因を解明できる。サーバ30側ではなく、被支援者用情報処理装置12側や支援者用情報処理装置20側で支援者用情報や支援情報等を記録してもよい。
【0105】
また、被支援者用情報処理装置12が、支援処理において被支援者からの操作に基づいて、マイク123で集音された音声のボイスレコーダとして機能してもよい。なお、支援者用情報処理装置12とのマッチングがなされていない期間にのみ、ボイスレコーダ機能が発揮できるようにしてもよい。
【0106】
本実施形態の支援システム1を構成する装置の個数、および種類について、適宜変更することが可能である。また、各装置のスピーカ、マイク、表示部等の構成要素を外付けとしても内蔵としてもよい。
【符号の説明】
【0107】
1 支援システム
10 被支援者用支援システム
11 ウェアラブルカメラ
12 被支援者用情報処理装置
121 操作部(本発明の「操作子」を備える)
124 通信部(入力部)
127 CPU(支援手段、映像情報監視手段)
20 支援者用情報処理装置
202 通信部(支援者側通信部)
206 CPU(表示制御手段、支援情報送信手段)
30 サーバ
302 通信部(サーバ側通信部)
305 CPU(サーバ側区分画像送信手段、サーバ側支援情報送信手段)
40,50 頭部装着具
41 フレーム体(装着体)
43 クランプ体
51 バンド部(装着体)
52 ヘッドライト
G、G´ 区分画像
I 撮影画像
ML 正中線
SD 被支援者
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11