(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-19
(45)【発行日】2022-12-27
(54)【発明の名称】意思伝達装置及び意思伝達方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20221220BHJP
G06F 3/0346 20130101ALI20221220BHJP
G06F 3/023 20060101ALI20221220BHJP
G09B 21/00 20060101ALI20221220BHJP
【FI】
G06F3/01 510
G06F3/0346 423
G06F3/023 460
G09B21/00 Z
(21)【出願番号】P 2019557302
(86)(22)【出願日】2018-11-29
(86)【国際出願番号】 JP2018043896
(87)【国際公開番号】W WO2019107465
(87)【国際公開日】2019-06-06
【審査請求日】2021-10-28
(31)【優先権主張番号】P 2017230207
(32)【優先日】2017-11-30
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】513297896
【氏名又は名称】ハーモニックリンク合同会社
(74)【代理人】
【識別番号】100154405
【氏名又は名称】前島 大吾
(74)【代理人】
【識別番号】100079005
【氏名又は名称】宇高 克己
(74)【代理人】
【識別番号】100201341
【氏名又は名称】畠山 順一
(72)【発明者】
【氏名】七戸 治
【審査官】滝谷 亮一
(56)【参考文献】
【文献】特開平11-073274(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/0346
G06F 3/023
G09B 21/00
(57)【特許請求の範囲】
【請求項1】
撮影装置により取得された複数の被伝達情報を有する文字盤の画像から、
画像認識処理を用いて前記文字盤の被伝達情報に対応する被伝達情報の領域を設定する被伝達情報領域設定手段と、
前記文字盤における位置情報を入力する入力手段と、
前記位置情報に対応する被伝達情報領域を判別する判別手段と、
前記判別された被伝達情報領域に対応する文字盤における領域を特定する特定手段
とを有する意思伝達装置。
【請求項2】
隣り合う前記被伝達情報領域の間には中間領域が設けられている
請求項1の意思伝達装置。
【請求項3】
前記入力手段は視線入力手段である
請求項1又は請求項2の意思伝達装置。
【請求項4】
前記被伝達情報領域設定手段は、前記被伝達情報領域を、前記被伝達情報を囲む文字枠の内側から離れた範囲に設定する
請求項1~請求項3いずれかの意思伝達装置。
【請求項5】
前記被伝達情報領域設定手段は、前記被伝達情報の表記領域に前記表記領域に接する周縁領域を加えた領域を前記被伝達情報領域として設定する
請求項1~請求項4いずれかの意思伝達装置。
【請求項6】
前記文字盤を保持する保持手段をさらに備え、
前記被伝達情報領域設定手段は、前記保持手段に保持された文字盤の画像を取得し、前記文字盤の画像から、前記文字盤の被伝達情報に対応する被伝達情報の領域を設定する
請求項1~請求項5いずれかの意思伝達装置。
【請求項7】
前記文字盤の画像から設定された被伝達情報領域の情報が記憶される記憶手段を有し、
前記判別手段は、前記記憶手段に記憶されている被伝達情報領域を読み出して判別する手段である
請求項1~請求項6いずれかの意思伝達装置。
【請求項8】
使用対象の文字盤に付与された識別情報を取得する手段と、
前記文字盤の画像から設定された被伝達情報領域の情報と、前記文字盤の識別情報とが関連付けて記憶される記憶手段
とを有し、
前記判別手段は、前記取得された識別情報に対応する被伝達情報領域の情報を前記記憶手段から読み出して用いる
請求項1~請求項7いずれかの意思伝達装置。
【請求項9】
前記特定手段は光照射手段である
請求項1~請求項8いずれかの意思伝達装置。
【請求項10】
前記光照射手段は、光源の照射方向を変化させて前記文字盤を光照射する
請求項9に記載の意思伝達装置。
【請求項11】
前記判別手段により判別された被伝達情報領域の被伝達情報を出力する出力手段を有する
請求項1~請求項10いずれかの意思伝達装置。
【請求項12】
前記文字盤の画像を撮影する撮影手段を有する
請求項1~請求項11いずれかの意思伝達装置。
【請求項13】
前記撮影手段により撮影された前記文字盤の画像を、現実の文字盤の大きさよりも小さく表示する文字盤表示手段をさらに備え、
前記入力手段は、前記文字盤表示手段に表示された文字盤の位置情報を入力し、
前記判別手段は、入力された前記文字盤表示手段に表示された文字盤の位置情報に対応する前記被伝達情報領域を判別し、
前記特定手段は、前記判別された被伝達情報領域に対応する、前記現実の文字盤における領域を特定する
請求項12の意思伝達装置。
【請求項14】
前記文字盤は意思伝達装置の利用者が保有する文字盤である
請求項1~請求項13いずれかの意思伝達装置。
【請求項15】
撮影装置により取得された複数の被伝達情報を有する文字盤の画像から、
画像認識処理を用いて前記文字盤の被伝達情報に対応する被伝達情報の領域を設定し、
前記文字盤における位置情報を入力し、
前記位置情報に対応する被伝達情報領域を判別し、
前記判別された被伝達情報領域に対応する文字盤における領域を特定する
意思伝達方法。
【請求項16】
隣り合う前記被伝達情報領域の間には中間領域が設けられている
請求項15の意思伝達方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は意思伝達装置及び意思伝達方法に関する。
【背景技術】
【0002】
周囲への意思伝達が困難な身体障害者及び/又は高齢者によって使用されるツールの一つに文字盤がある(
図21参照)。
【0003】
文字盤は、例えば文字、記号及び/又は図形が、例えばプラスチック板(例えば、透明板)に記載されているボードである。この文字盤が身体障害者等に向けられる。この状態で、身体障害者等は文字盤上の前記文字等を見つめている。介助者は前記身体障害者等が見つめている文字等を読み取る。これによって、意思伝達が行われる。
【0004】
文字盤は手軽なコミュニケーションツールとして広く普及している。しかし、身体障害者等が伝えたい文字等を介助者が正しく読み取ることができるようになるためには練習が必要であった。身体障害者等が文字盤上で見つめている文字等を介助者が上手く読み取ることができなければ、意思伝達ができない。
【0005】
例えば、文字盤を所定のブロック毎に点灯させて、スイッチを用いて文字等を入力させる意思伝達装置が特許文献1に開示されている。特許文献1の意思伝達装置は、先ず、文字盤をブロック毎に順次点灯させると共に入力スイッチでブロックを選択させる。前記選択されたブロックに含まれる列を順次点灯して列を選択させる。前記選択された列に含まれる文字等を順次点灯して文字等を選択させる。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1に記載された意思伝達装置は、装置専用の文字盤の文字等を入力装置を用いて選択させる装置である。
他に提案の意思伝達装置も、ディスプレイに文字盤の画像を表示し、表示された文字盤の文字等を入力装置を用いて選択させる装置である。
【0008】
上述の意思伝達装置は、専用の文字盤を必須としている。
前記専用の文字盤と、身体障害者等が普段使用している文字盤との間では、文字及び/又は記号の種類及び/又は配列が異なることが想定される。この場合、身体障害者等は、普段慣れている文字入力の動作ではなく、その装置専用の文字盤(普段使用していない文字盤)の構成に合わせた文字入力の動作をしなければならない。この結果、大きなストレスを感じる。
【0009】
本発明が解決しようとする課題は、身体障害者及び/又は高齢者が普段使用している文字盤を利用できる意思伝達装置及び意思伝達方法を提供することである。
【課題を解決するための手段】
【0010】
本発明は、
複数の被伝達情報を有する文字盤の画像から、前記文字盤の被伝達情報に対応する被伝達情報の領域を設定する被伝達情報領域設定手段と、
前記文字盤における位置情報を入力する入力手段と、
前記位置情報に対応する被伝達情報領域を判別する判別手段と、
前記判別された被伝達情報領域に対応する文字盤における領域を特定する特定手段と
を有する
意思伝達装置を提案する。
【0011】
本発明は、
複数の被伝達情報を有する文字盤の画像から、前記文字盤の被伝達情報に対応する被伝達情報を有する被伝達情報領域を設定する被伝達情報領域設定手段と、
前記文字盤における位置情報を入力する入力手段と、
前記位置情報に対応する被伝達情報領域を判別する判別手段と、
前記判別された被伝達情報領域を特定する特定手段と
を有する
意思伝達装置を提案する。
【0012】
本発明は、前記意思伝達装置であって、隣り合う前記被伝達情報領域の間には中間領域が設けられている意思伝達装置を提案する。
【0013】
本発明は、前記意思伝達装置であって、前記入力手段は視線入力手段である意思伝達装置を提案する。
【0014】
本発明は、前記意思伝達装置であって、前記被伝達情報領域設定手段は、前記被伝達情報領域を、前記被伝達情報を囲む文字枠の内側から離れた範囲に設定する意思伝達装置を提案する。
【0015】
本発明は、前記意思伝達装置であって、前記被伝達情報領域設定手段は、前記被伝達情報の表記領域に前記表記領域に接する周縁領域を加えた領域を前記被伝達情報領域として設定する意思伝達装置を提案する。
本発明は、前記意思伝達装置であって、前記被伝達情報領域設定手段は、前記被伝達情報の表記領域と、前記表記領域を囲む周縁領域とを前記被伝達情報領域として設定する手段である意思伝達装置を提案する。
【0016】
本発明は、前記意思伝達装置であって、前記文字盤を保持する保持手段をさらに備え、前記被伝達情報領域設定手段は、前記保持手段に保持された文字盤の画像を取得し、前記文字盤の画像から、前記文字盤の被伝達情報に対応する被伝達情報の領域を設定する意思伝達装置を提案する。
【0017】
本発明は、前記意思伝達装置であって、前記文字盤の画像から設定された被伝達情報領域の情報が記憶される記憶手段を有し、前記判別手段は、前記記憶手段に記憶されている被伝達情報領域を読み出して判別する手段である意思伝達装置を提案する。
【0018】
本発明は、前記意思伝達装置であって、使用対象の文字盤に付与された識別情報を取得する手段と、前記文字盤の画像から設定された被伝達情報領域の情報と前記文字盤の識別情報とが関連付けて記憶される記憶手段とを有し、前記判別手段は前記取得された識別情報に対応する被伝達情報領域の情報を前記記憶手段から読み出して用いる意思伝達装置を提案する。
【0019】
本発明は、前記意思伝達装置であって、前記特定手段は光照射手段である意思伝達装置を提案する。
【0020】
本発明は、前記意思伝達装置であって、前記光照射手段は、光源の照射方向を変化させて前記文字盤を光照射する意思伝達装置を提案する。
【0021】
本発明は、前記意思伝達装置であって、前記判別手段により判別された被伝達情報領域の被伝達情報を出力する出力手段を有する意思伝達装置を提案する。
【0022】
本発明は、前記意思伝達装置であって、前記文字盤の画像を撮影する撮影手段を有する意思伝達装置を提案する。
【0023】
本発明は、前記意思伝達装置であって、前記撮影手段により撮影された前記文字盤の画像を、現実の文字盤の大きさよりも小さく表示する文字盤表示手段をさらに備え、
前記入力手段は、前記文字盤表示手段に表示された文字盤の位置情報を入力し、
前記判別手段は、入力された前記文字盤表示手段に表示された文字盤の位置情報に対応する前記被伝達情報領域を判別し、
前記特定手段は、前記判別された被伝達情報領域に対応する、前記現実の文字盤における領域を特定する
意思伝達装置を提案する。
【0024】
本発明は、前記意思伝達装置であって、前記文字盤は意思伝達装置の利用者が保有する文字盤である意思伝達装置を提案する。
【0025】
本発明は、
複数の被伝達情報を有する文字盤の画像から、前記文字盤の被伝達情報に対応する被伝達情報の領域を設定し、
前記文字盤における位置情報を入力し、
前記位置情報に対応する被伝達情報領域を判別し、
前記判別された被伝達情報領域に対応する文字盤における領域を特定する
意思伝達方法を提案する。
【0026】
本発明は、
複数の被伝達情報を有する文字盤の画像から、前記文字盤の被伝達情報に対応する被伝達情報を有する被伝達情報領域を設定し、
前記文字盤における位置情報を入力し、
前記位置情報に対応する被伝達情報領域を判別し、
前記判別された被伝達情報領域を特定する
意思伝達方法を提案する。
【0027】
本発明は、前記意思伝達方法であって、隣り合う前記被伝達情報領域の間には中間領域が設けられている意思伝達方法を提案する。
【発明の効果】
【0028】
利用者が普段使用している文字盤を利用できる。
【図面の簡単な説明】
【0029】
【
図1】本発明の実施形態に係る意思伝達装置の使用態様を例示する図
【
図2】本発明の第1実施形態に係る意思伝達装置1の外観模式図
【
図7】周縁領域の距離と中間領域の距離とを調整する処理の説明図
【
図8】周縁領域の距離d2、d3と中間領域の距離k1とを調整する処理のフローチャート
【
図14】本発明の第2実施形態に係る意思伝達装置2の外観説明図
【
図15】入力された位置座標に基づく照射の変形例の説明図
【
図16】入力された位置座標に基づく照射の変形例の説明図
【
図17】入力された位置座標に基づく照射の変形例の説明図
【
図18】本発明の第3実施形態に係る意思伝達装置3の外観説明図
【
図19】第3実施形態に係る制御部50の機能構成図
【
図20】第3実施形態に係る被伝達情報指示処理のフローチャート
【発明を実施するための形態】
【0030】
本発明の実施形態を説明する。
【0031】
本発明は意思伝達装置である。前記装置は、例えば重度の障害により周囲への意思伝達が困難な身体障害者及び/又は高齢者によって用いられる。勿論、この時、前記身体障害者等の支援者によっても利用される。これによって意思伝達の支援が行われる。本実施形態に係る意思伝達装置では、特に、障害者(利用者)Aが普段使用している文字盤1Aを利用できる。
【0032】
文字盤1Aが説明される。意思表示のために、利用者Aは文字盤1Aを使用する。文字盤1Aは、例えば矩形の板に文字(利用者Aの使用言語の文字。例えば、平仮名文字、カタカナ文字、漢字、又は欧文字など。)、記号、文字列等が記載されている(
図21参照)。文字盤1Aの外形は、一般的には、矩形(長方形または正方形)であるが、これに限られない。文字盤1Aは、日本語の場合には、文字「あ」「い」…等が透明板(例えば、透明樹脂板)に記載されている。文字盤1Aが利用者Aに向けられる。この状態で、利用者Aは文字盤1Aの特定の文字を見つめる。この利用者Aの視線を介助者Xは読み取る。これによって、利用者Aが伝えたい文字が何であるかが読み取られる。意思伝達がなされる。
【0033】
意思伝達装置の使用態様が
図1に例示される。意思伝達装置1が、意思伝達装置1の利用者Aと介助者Xとの間に、設置されている。利用者Aはベッドに仰向けの姿勢でいる。意思伝達装置1は文字盤1Aを保持している。意思伝達装置1は、視線入力装置等により、文字盤1Aの文字等を特定する。この特定された文字等が光照射されることで明示される。このようにして、利用者Aは、介助者(文字盤を挟んで対面方向にいる介助者)Xに意思を伝達する。
【0034】
文字は、本明細書においては、被伝達情報である。前記被伝達情報は文字に限られない。例えば、文字列(例えば、熟語、文章など)である。例えば、記号である。例えば、図形である。文字、文字列、記号、図形などの群の中から選ばれる一種または二種以上が、適宜、用いられる。勿論、これに限られない。要するに、意思疎通に用いられれば、被伝達情報は何でも良い。
【0035】
(第1の実施形態)
図2は、本発明の第1の実施形態に係る意思伝達装置1の外観模式図である。
【0036】
前記意思伝達装置1は、保持具20を具備する。入力装置30を具備する。光照射装置40を具備する。制御部50を具備する。撮影装置60を具備する。ICリーダライタ70を具備する。入力装置30、光照射装置40、撮影装置60、及びICリーダライタ70と、制御部50とは接続されている。
【0037】
前記保持具20は文字盤1Aを保持する。前記保持具20は基板部21を具備する。前記基板部21に文字盤1Aが載置される。前記保持具20は棚板部22を具備する。前記棚板部22に入力装置30等が設置されている。
【0038】
基板部21はガイド23を具備する。前記ガイド23は、前記文字盤(基板部21に載置された文字盤)1Aを所定位置に保持する。
【0039】
前記基板部21は固定具24を具備する。前記固定具24は、前記文字盤(ガイド23にセットされた文字盤)1Aを固定する。
【0040】
前記基板部21はセンサー25を具備する。前記センサー25は、文字盤1A上の座標と、意思伝達装置1側で使用する座標とを一致させるためのものである。前記センサー25は文字盤1Aが所定位置に置かれたことを検出する。前記センサー25は、例えばガイド23の最左下部に配置(
図2参照)されている。センサー25の位置に文字盤の最左下部が位置したことが検知される。これによって、文字盤1Aにおける座標位置と意思伝達装置1における座標位置とが一致することになる。前記センサー25は、例えばスイッチ(接触型センサー)である。非接触型センサーであってもよい。
【0041】
前記基板部21は、載置された文字盤1Aと対面する領域が光透過性及び光拡散性材料で構成される。透過性及び光拡散性材料は、シート、フィルム、メッシュ等である。
光拡散性材料を用いることにより、文字盤に光照射装置40から照射光が照射された場合に、光拡散性材料領域において、照射光が拡散する。利用者及び介助者(被伝達者)は、文字盤上の照射光の位置を拡散光により確認することが容易となり、選択されている文字の認識が容易となる。
さらに、光透過性材料を用いることにより、利用者及び意思伝達装置を挟んで利用者の対面に位置する介助者が、文字盤の文字を容易に視認することができる。利用者と介助者の表情や動作を容易に視認することができる。非言語コミュニケーションが円滑に行える。
【0042】
入力装置30は、文字盤における位置情報を制御部50に入力する。入力装置30は、例えば視線入力装置である。視線入力装置は公知である。例えば、撮像装置(例えば、可視光用カメラ又は赤外線カメラ等)が挙げられる。勿論、これに限られない。
【0043】
光照射装置40は点灯部42を具備する。点灯部42はLED等の光源である。光照射装置40は点灯駆動装置43を具備する。点灯駆動装置43は、例えばモーターである。制御部50は点灯駆動装置43を制御する。点灯部42からの光が目的とする位置(座標位置)の被伝達情報(文字など)に当たるように前記制御は行われる。
【0044】
前記点灯部42は、光色、輝度、点灯状態、点灯速度の少なくとも一つが変化する。点灯状態の変化は、例えば点滅状態から点灯状態への変化である。点灯速度の変化は、例えば遅い点滅から早い点滅への変化である。
【0045】
図3は光照射装置40の概略図である。複数のLED42が連結棒に一定の間隔で配置されている。点灯駆動装置43は左右駆動部44と上下駆動部45を具備する。左右駆動部44はLED42の照射方向を左右に変化させる。上下駆動部45は、LED42の照射方向を上下方向に変化させる。例えば、LED42の各々について、X軸方向の座標範囲が予め割り当てられる。点灯駆動装置43は、制御部50から取得した座標(X-Y座標)のX座標位置に対応するLEDを点灯対象として選択する。制御部50は、選択したLEDの照射方向を、取得した座標に基づいてX軸方向、Y軸方向にそれぞれ駆動制御する。制御部50は、選択したLEDを点灯させる。
【0046】
制御部50は、プロセッサと、メモリとを具備する。プロセッサは、メモリに記憶されているプログラムを読み出して実行する。後述する各種機能が実現される。
【0047】
撮影装置60は撮影部(例えば、デジタルカメラ)を具備する。撮影部は文字盤1Aを撮影する。撮影装置60は撮影画像を制御部50に送る。撮影装置60は、例えば棚板部23に固定されている。前記撮影部は、保持具20に保持されている文字盤1Aの被伝達情報(文字等)に焦点が合うように設定されている。所定サイズの撮影画像が得られる。
【0048】
ICリーダライタ70は、文字盤1Aに貼付のICタグに対して、データの読み書きを行う。
【0049】
図4は制御部50のブロック図(機能構成図)である。
【0050】
制御部50は、文字盤デジタル処理部100を具備する。入力・表示制御部110を具備する。入力確定部120を具備する。データ記憶部130を具備する。
【0051】
文字盤デジタル処理部100は、撮影画像(撮影装置60から取得した文字盤(保持具20に保持されている文字盤)1Aの撮影画像)を用いて、各被伝達情報の被伝達情報領域を設定する。被伝達情報領域は、被伝達情報を囲う(含む:有する)領域である。隣り合う被伝達情報領域の間には中間領域(離間領域)が存在する。中間領域(離間領域)の存在によって、隣り合う被伝達情報領域が隔てられる(一部が重なり合うこともない)。
【0052】
被伝達情報領域のデータを生成する処理について説明する。
【0053】
文字盤デジタル処理部100は、文字盤1Aの撮影画像の画像データから、文字盤1Aの枠(文字枠)の有無を判別する。文字盤デジタル処理部100は判別結果に応じた処理を行う。枠(文字枠)は被伝達情報(文字等)を囲む線である(
図16参照)。前記枠の有無の判別には、例えばハフ変換等の直線を検出する特徴抽出法を用いてもよい。他の特徴抽出法を用いてもよい。
【0054】
文字枠が有ると判別された場合、文字盤デジタル処理部100は、前記文字枠から内側に距離e1だけ離れた範囲を、前記文字枠で囲まれている被伝達情報の領域(被伝達情報領域)と設定する(
図5参照)。e1は初期値が予め設定される。隣りの被伝達情報領域との間に中間領域(距離(幅)2e1(=e1+e1))が設けられる。距離e1は、被伝達情報領域毎に値を設定してもよい。
【0055】
前記中間領域が必要な理由は次の通りである。一般的に、人の視線が、長時間に亘って、一点集中していることは殆どない。例えば、視線集中の位置Oが、直ちに、位置Oの近傍のP(O≠P)に変化しているのが普通である。すなわち、利用者の視線は常に揺いでいる。ここで、例えば被伝達情報領域「あ」と被伝達情報領域「い」との間に中間領域が無い場合を考える。被伝達情報領域「あ」と被伝達情報領域「い」とが接していた場合、視線の揺らぎによって、見ているのが「あ」であるのか「い」であるのかが頻繁に変化する。しかし、前記「あ」の被伝達情報領域と「い」の被伝達情報領域との間に中間領域が存在すると、視線の揺らぎが起きても、前記問題が起き難くなる。この意味で、前記中間領域の幅(隣り合う被伝達情報領域の間の距離)は、或る一定長さを有することが好ましい。例えば、文字枠の左右方向の幅がxであるとした場合、中間領域の左右方向の幅2e1は0.06x~0.3x程度が好ましい。更に好ましくは、0.1x以上である。更に好ましくは0.25x以下である。もっと好ましくは0.2x以下である。
【0056】
設定された中間領域に被伝達情報の一部が存在していることが検知された場合、中間領域の幅を狭める設定を行う。例えば、e=3mmと設定した場合に、中間領域に文字の一部が存在していることが検知された場合、3mmを2mmに再設定して中間領域を決定する。
【0057】
被伝達情報領域は、前記文字枠から下方内側に距離e11、左方内側に距離e12、上方内側に距離e13、右方内側に距離e14だけ離れた範囲に設定されてもよい。e11,e12,e13,e14は、異なる値が設定されてもよい。
図5では、全てが同じ符号e1で示されているが、これは異なっていても良い。同じ値が設定されてもよい。
【0058】
文字枠が無いと判別された場合、文字盤デジタル処理部100は、各被伝達情報の表記領域を特定する。表記領域とは、被伝達情報に外接する領域である。文字盤デジタル処理部100は、表記領域に当該表記領域に接する(を囲む)周縁領域を加えた領域を被伝達情報の被伝達情報領域と設定する。
【0059】
周縁領域を設ける(被伝達情報領域=表記領域+周縁領域)利点は次の通りである。
視線の揺らぎによって、視線の位置が文字の表記領域から多少外れたとしても、視線の位置が周縁領域内に存在する限り、問題が起きない。利用者が見ている被伝達情報領域が照射され続ける。これにより、文字盤の文字の部分に視線を集中し続ける負担が軽減する。
【0060】
前記表記領域を特定する方法は任意である。例えば、文字等の輪郭線を追跡するアルゴリズムを用いて文字等の輪郭線が抽出される。前記輪郭線を囲む外接形状が表記領域と定められる。前記外接形状は、例えばN(Nは3以上の整数)角形が挙げられる。円形でも良い。楕円形でも良い。表記領域の決定の簡単さから、好ましくは、四角形(例えば、正方形、長方形)である。
【0061】
表記領域に追加される周縁領域は、表記領域の上辺から上方向に距離d2、下辺から下方向に距離d3、右辺から右方向に距離d4、左辺から左方向に距離d5の領域である(
図6参照)。d2、d3、d4、d5は初期値が設定される。隣りの被伝達情報領域との間にある中間領域の幅を距離kで表すと、表記領域の間の距離は、上下関係であれば距離(d2+d3)+kとなる。左右関係であれば距離(d4+d5)+kとなる。
【0062】
距離d2、d3、d4、d5は初期値(例えば、A3サイズで10列6行タイプの文字盤の場合には5mm等)が設定される。距離d2、d3、d4、d5は、被伝達情報領域毎に値を設定してもよい。表記領域のサイズは文字・記号毎に異なる。従って、各被伝達情報領域のサイズが異なっても良い。しかし、被伝達情報領域のサイズが同じでも良い。利用者が望む文字等が正しく選択されない可能性がある。このため、周縁領域の距離d2、d3、d4、d5と、中間領域の距離kとが、適宜、調整されても良い。
【0063】
被伝達情報領域の周縁領域の距離d2、d3、d4、d5と、中間領域の距離kとを調整する処理について
図7を参照して説明する。
【0064】
処理対象の被伝達情報領域R0について、真上の被伝達情報領域R1との中間距離の幅を距離k1、真下の被伝達情報領域R2との中間領域の幅を距離k2、左隣の被伝達情報領域R3との中間領域の幅を距離k3、右隣の被伝達情報領域R4との中間領域の幅を距離k4とする。k1、k2、k3、k4は初期値(例えば、A3サイズで10列6行タイプの文字盤の場合には5mm等)が設定される。
【0065】
文字盤デジタル処理部100は、処理対象の被伝達情報領域R0の表記領域と、その隣りの被伝達情報領域の表記領域との間の距離(表記領域間距離)mを各領域の座標から取得する。
【0066】
処理対象の被伝達情報領域R0の真上の被伝達情報領域R1との間で取得された表記領域間距離をm1と表す。被伝達情報領域R0の真下の被伝達情報領域R2との関係で取得した距離をm2と表す。被伝達情報領域R0の左隣の被伝達情報領域R3との関係で取得した距離をm3と表す。被伝達情報領域R0の右隣の被伝達情報領域R4との関係で取得した距離をm4と表す。
【0067】
文字盤デジタル処理部100は、被伝達情報領域R0について、真上の被伝達情報領域R1との間で取得された表記領域間距離m1と、距離(領域R0のd2+領域R1のd3)+k1と、を比較する。距離m1が(領域R0のd2+領域R1のd3)+k1より短い場合は、距離k1は変えずに、領域R0のd2と領域R1のd3を所定の長さだけ(例えば、1mm等)短くする処理を、距離m1と距離(領域R0のd2+領域R1のd3)+k1とが等しくなるまで続ける。例えば、領域R0のd2と領域R1のd3の数値の比率に基づいて、d2とd3のそれぞれを短くする距離を決めてもよい。距離m1が(領域R0のd2+領域R1のd3)+k1より長い場合は、領域R0のd2と領域R1のd3は変えずに距離k1を所定の長さだけ(例えば、1mm等)長くする処理を、距離m1と距離(領域R0のd2+領域R1のd3)+k1とが等しくなるまで続ける。
周縁領域の距離d2、d3と中間領域の距離k1とを調整する処理のフローチャートを
図8に例示する。
【0068】
被伝達情報領域R0の距離m1以外の表記領域間距離m2、m3、m4についても距離m1と同様の処理をする。
【0069】
文字盤デジタル処理部100は、各被伝達情報領域について、領域範囲を示す座標を取得する。例えば、撮影画像の左下を原点とした座標系において、領域の四隅の座標を取得する。文字盤デジタル処理部100は、被伝達情報領域を識別する被伝達領域識別情報(符号)と、領域範囲を示す座標とを関連付ける。
【0070】
文字盤デジタル処理部100は、被伝達情報領域の情報を、文字盤を識別する文字盤識別情報と関連付けて、データ記憶部130に記憶させる。文字盤デジタル処理部100は、ICリーダライタ70を介して、保持具20に保持されている文字盤に貼付されているICタグに文字盤識別情報を書き込む。
【0071】
文字盤デジタル処理部100は、被伝達情報領域の生成処理を行う前に、ICリーダライタ70を介して、文字盤1Aに貼付されているICタグから文字盤識別情報を読み出す。文字盤デジタル処理部100は、読み出した文字盤識別情報がデータ記憶部130に記憶されているかを判別する。ICタグから読み出した文字盤識別情報がデータ記憶部130に記憶されている場合、文字盤デジタル処理部100は、上記の被伝達情報領域の生成処理を行わない。
【0072】
入力・表示制御部110は、データ記憶部130に記憶されている被伝達情報領域の情報を用いて、入力装置30から取得した位置情報に対応する被伝達情報領域を判別する。入力・表示制御部110は、判別された被伝達情報領域の中心座標を光照射装置40に伝える。
【0073】
被伝達情報領域の中心座標を算出するタイミングは任意である。例えば、文字盤デジタル処理部100が、被伝達情報領域の情報を生成する際に、被伝達情報領域毎に被伝達情報領域の範囲を示す座標から算出することが挙げられる。
【0074】
入力確定部120は、入力・表示制御部110による被伝達情報領域の判別結果が一定の時間に亘って同じ領域を示す場合、光照射装置40に指示する(入力の確定)。この指示により、光色、輝度、点灯状態、点灯速度の少なくとも一つが変化させられる。前記変化によって、介助者は、入力文字の確定を知る。
【0075】
次に、本実施形態に係る意思伝達装置1の動作について
図9を参照して説明する。
【0076】
介助者Xが、意思伝達装置1の保持具20に利用者Aの文字盤1Aを配置する。固定具24で固定される。
【0077】
センサー25は、文字盤を検出する(ステップS1)。この検出信号が制御部50に通知される。
【0078】
制御部50の文字盤デジタル処理部100は、ICリーダライタ70を介して、文字盤1AのICタグから文字盤識別情報を読み出す。文字盤デジタル処理部100は、読み出した文字盤識別情報がデータ記憶部130に記憶されているかを判別する(ステップS2)。
【0079】
ICタグから読み出した文字盤識別情報がデータ記憶部130に記憶されていない場合(ステップ2:NO)、文字盤デジタル処理部100は被伝達情報領域を生成(設定)する(ステップS3)。文字盤デジタル処理部100は、前記生成された被伝達情報領域の情報を、文字盤識別情報と関連付けてデータ記憶部130に記憶させる(ステップS4)。文字盤デジタル処理部100は、文字盤のICタグに文字盤識別情報を書き込む(ステップS5)。この後、フローはステップS2戻る。
【0080】
ステップ2において、ICタグから読み出した文字盤識別情報がデータ記憶部130に記憶されている場合(ステップ2:YES)、文字盤デジタル処理部100は、ICタグから読み出した文字盤識別情報に対応する被伝達情報領域の情報を取得する(ステップS6)。
【0081】
制御部50は、取得した被伝達情報領域の情報を用いて、入力装置30及び光照射装置40と連携して、文字盤1Aの所定位置を照射する(被伝達情報指示処理;ステップS7)。
【0082】
被伝達情報指示処理について
図10を参照して説明する。
【0083】
制御部50の入力・表示制御部110は、被伝達情報領域の情報を参照し、入力装置30から取得した位置情報が示す座標を含む被伝達情報領域があるか否かを判別する(ステップS11)。
【0084】
入力装置30から取得した位置情報が示す座標を含む被伝達情報領域がある場合(ステップS11:YES)、入力・表示制御部110は、その被伝達情報領域の中心座標を光照射装置40に伝達する(ステップS12)。
【0085】
入力確定部120は、入力・表示制御部110による被伝達情報領域の判別結果が一定の時間に亘って同じ領域を示すか判別する(ステップS13)。
【0086】
入力・表示制御部110による被伝達情報領域の判別結果が一定の時間に亘って同じ領域を示す場合(ステップ13:YES)、入力確定部120は、その旨を、照射部40に指示する(入力の確定)。光色、輝度、点灯状態、点灯速度の少なくとも一つが変化する(ステップS14)。前記変化によって、利用者及び/又は介助者は、入力文字の確定を知る。
【0087】
入力・表示制御部110による被伝達情報領域の判別結果が一定の時間に亘って同じ領域を示さなかった場合(ステップS13:NO)、フローはステップS11に戻る。
【0088】
ステップ11において、入力装置30から取得した位置情報が示す座標を含む被伝達情報領域がない場合(ステップS11:NO)、入力・表示制御部110は、入力装置30から取得した位置情報が示す座標を光照射装置40に伝達する(ステップS15)。光照射装置40は、伝達された座標に光を照射する。
【0089】
本実施形態によれば、保持具20に保持された文字盤1Aの被伝達情報の被伝達情報領域を設定し、視線入力された文字盤の被伝達情報の領域を指し示す。これにより、利用者は、普段使用している文字盤を用いて意思表示ができる。この時、利用者Aの負担が軽い。
【0090】
(変形例1)
上記被伝達情報指示処理のステップ11において、入力装置30から取得した位置情報が示す座標を含む被伝達情報領域がないと判別された場合、所定サイズのブロック(最小移動ブロックと呼ぶ)が設定されていれば、最小移動ブロックの設定内容に基づいて、光照射装置40に伝達する座標を決定してもよい。
【0091】
最小移動ブロックのサイズは任意に設定可能であり、例えば、X軸、Y軸に各20mmのサイズでもよい。入力・表示制御部110は、原点からX軸、Y軸方向にそれぞれ20mmのサイズの最小移動ブロックを予め設定する。入力・表示制御部110は、入力装置30から取得した位置情報が示す座標が位置する最小移動ブロックを特定する。入力・表示制御部110は、その最小移動ブロックの中心座標を取得して光照射装置40に伝達する。最小移動ブロックを設定することにより、視線の揺らぎによって照射位置が細かく動く状態を回避できる。
【0092】
(変形例2)
光照射装置40の他の例を
図11に示す。点灯部(LED)42が一つである。LED42が取り付けられている点灯駆動装置43はX軸方向に移動する。点灯駆動装置43はLED42をY軸方向に駆動制御する。点灯駆動装置43は、制御部50から取得した座標(X-Y座標)に対応する位置にLEDを移動させる。LED42が点灯し、LED42対応位置の被伝達情報領域が明示される。
【0093】
(変形例3)
光照射装置40の他の変形例を説明する。
図12は光照射装置40を上から見た図である。LED42が連結棒に一定の間隔で複数個ずつ配置される。前記複数のLED42はそれぞれの照射方向が異なるように配置される。前記複数のLED42の数は、例えば3個である。3個のLED42のうち、中央のLED42bは基板部21に対して正面向きに配置される。LED42bの左側のLED42aは、LED42bの向きに対して、左方向に所定角度だけ傾いて配置される。LED42bの右側のLED42cは、LED42bの向きに対して、右方向に所定角度だけ傾いて配置される。前記所定角度は、10度から45度の間の角度が好ましい。LED42a,42b,42cの各々には、X軸方向の座標範囲が予め割り当てられている。左右駆動部44は、制御部50から取得した座標(X-Y座標)のX座標位置に対応する一つのLED42を点灯対象として選択する。左右駆動部44は、制御部50から取得した座標に基づいて、連結棒をX軸方向に移動する。これにより、選択したLED42の照射方向が左右に変化する。上下駆動部45は、制御部50から取得した座標に基づいて、連結棒をY軸方向に回転させる。これにより、選択したLED42の照射方向が上下に変化する。連結棒の同一位置に配置されるLED42の数は2個でもよく、4個以上でもよい。
【0094】
(変形例4)
光照射装置40の他の変形例を説明する。
図13(A)は光照射装置40を上から見た図である。本変形例の連結棒は、第1の連結棒46と第2の連結棒47を含む。第1の連結棒46と第2の連結棒47は、基板部21に向かって前後に平行となるように連結されている。第1の連結棒46は、基板部21に向かって後方に位置する。第2の連結棒47は、基板部21に向かって前方に位置する。第1の連結棒46は左右駆動部44に連結されている。第1の連結棒46と第2の連結棒47にはLED部421が一定間隔でX軸方向に交互に配置されている。LED部421は、LED42と、LED42を保持するLED保持部422とを含む。
【0095】
第1の連結棒46と第2の連結棒47の間に、第1の連結棒46及び第2の連結棒47と平行な支持棒48が設けられている。支持棒48は、第1の連結棒46及び第2の連結棒47に配置されたLED部421を支持するためのものである。支持棒48は、第1の連結棒46及び第2の連結棒47とは連結していない。支持棒48は、左右駆動部44に連結されている。
【0096】
LED保持部422は、連結棒(46又は47)と支持棒48とに亘った状態で、連結棒(46又は47)と支持棒48のそれぞれに連結されている。LED保持部422の連結部分は、ピン等の支軸によって回動可能に連結棒(46又は47)と支持棒48のそれぞれに連結されている。LED保持部422の形状は例えば筒状である。筒内にLED42が保持される。LED保持部422の形状は板状でもよい。板状のLED保持部422にLED42が載置されるようにしてもよい。LED42は、支持棒48近傍に位置するようにLED保持部422によって保持される。
【0097】
本変形例におけるLED42の照射方向の制御方法を説明する。
図13では、各LED42の照射方向が点線で示されている。左右駆動部44が、初期状態(
図13(A))から、第1の連結棒46を照射方向に向かって右方向に移動すると、第1の連結棒46に連結されたLED部421の連結部分が右方向に移動する(
図13(B))。このとき、LED部421の第1の連結棒46との連結点と、LED部421の支持棒48との連結点と、が左に回動する。これにより第1の連結棒46に連結されたLED部421は左向きに傾く。前記LED部421のLED42の照射方向も左に傾く。
第1の連結棒46の右方向への移動に伴い、第2の連結棒47が右方向に移動される。第2の連結棒47に連結されたLED部421の連結部分も右方向に移動する。このときLED部421の第2の連結棒47との連結点と、LED部421の支持棒48との連結点と、が右に回動する。これにより第2の連結棒47に連結されたLED部421は右向きに傾く。前記LED部421のLED42の照射方向も右に傾く。
【0098】
また、左右駆動部44が、初期状態(
図13(A))から、第1の連結棒46を照射方向に向かって左方向に移動すると、第1の連結棒46に連結されたLED部421の連結部分が左方向に移動する。このとき、LED部421の第1の連結棒46との連結点と、LED部421の支持棒48との連結点と、が右に回動する。これにより第1の連結棒46に連結されたLED部421は右向きに傾く。前記LED部421のLED42の照射方向も右に傾く。
第1の連結棒46の左方向への移動に伴い、第2の連結棒47が左方向に移動される。第2の連結棒47に連結されたLED部421の連結部分も左方向に移動する。このときLED部421の第2の連結棒47との連結点と、LED部421の支持棒48との連結点と、が左に回動する。これにより第2の連結棒47に連結されたLED部421は左向きに傾く。前記LED部421のLED42の照射方向も左に傾く。
【0099】
各LED42にはX軸方向の座標範囲が予め割り当てられている。点灯駆動装置43は、制御部50から取得した座標(X-Y座標)のX座標位置に対応する一つのLED42を点灯対象として選択する。点灯駆動装置43、制御部50から取得した座標に基づいて左右駆動部44を駆動制御する。左右駆動部44は、第1の連結棒46及び第2の連結棒47をX軸方向に移動する。これにより、選択したLED42の照射方向が左右に変化する。点灯駆動装置43は、制御部50から取得した座標に基づいて上下駆動部45を駆動制御する。上下駆動部45は、第1の連結棒46及び第2の連結棒47及び支持棒48をY軸方向に回転させる。これにより、選択したLED42の照射方向が上下に変化する。
【0100】
本変形例では、照射対象が、或るLED42からその隣りのLED42に移るとき、移る前のLED42の照射位置と、移った後のLED42の照射位置とを近付けることができる。連結棒の移動が少なくなるため、モータ等の駆動音を少なくすることができる。また、LED42間の照射の遷移がスムーズになるため、利用者Aの視線の位置がより分かりやすくなる。
第1の連結棒46と第2の連結棒47にLED部421を1つずつ設ける構成としてもよいが、連結棒の移動量が大きくなるため、連結棒毎に複数配置するのが好ましい。
【0101】
(第2実施形態)
図14は、本発明の第2の実施形態に係る意思伝達装置2の外観説明図である。本実施形態に係る意思伝達装置2は、第1の実施形態の構成に加えて、出力装置80をさらに備える。
【0102】
出力装置80は表示装置(例えば、ディスプレイ)である。
【0103】
文字盤デジタル処理部100は、各被伝達情報領域に表記されている被伝達情報(文字・記号など)の認識処理をさらに行う。前記認識処理は、各被伝達情報領域について、文字等の輪郭線を抽出し、抽出結果をパターンマッチングすることにより文字等を判別する。文字等の輪郭線の抽出は、文字等の輪郭線を追跡するアルゴリズムを用いてもよい。文字盤デジタル処理部100は、判別した文字・記号の識別コードを被伝達領域識別符号に関連付けてデータ記憶部130に記憶する。意思伝達装置が文字認識処理を行わずに、介助者が意思伝達装置に接続された端末を用いて文字等の情報を入力するようにしてもよい。
【0104】
入力確定部120は、入力・表示制御部110による被伝達情報領域の判別結果が一定の時間、同じ領域を示す場合(被伝達情報指示処理のステップ13)、その被伝達情報領域に表記されている文字・記号の識別コードをデータ記憶部130から読み出す。入力確定部120は、読み出した文字・記号の出力を出力装置80に指示する。
【0105】
これにより、入力が確定された文字等がディスプレイ等に表示される。
【0106】
(変形例5)
出力装置80は、音声出力装置(例えば、スピーカ等)であってもよい。音声出力装置は、制御部50の指示の下、文字等に対応する音声を出力する。
【0107】
データ記憶部130には、文字・記号の音声データと、文字・記号の識別情報とが関連付けられて予め記憶されている。
【0108】
入力確定部120は、入力・表示制御部110による被伝達情報領域の判別結果が一定の時間、同じ領域を示す場合(被伝達情報指示処理のステップ13)、その被伝達情報領域に表記されている文字・記号の音声データをデータ記憶部130から読み出し、出力装置80にその出力を指示する。
【0109】
これにより、入力が確定された文字等の音声が出力される。
【0110】
(変形例6)
スマートフォン等の携帯端末と意思伝達装置1とを通信により接続し、意思伝達装置側で入力された文字等をSNS(ソーシャル・ネットワーキング・サービス)のアプリケーションを用いてインターネット上で発信するようにしてもよい。携帯端末と意思伝達装置1とは有線又は無線により接続される。携帯端末の記憶部は、例えば、意思伝達装置1から受信した文字のデータを、SNSに発信するコメントの入力データとして処理するアプリケーションを記憶する。制御部50は、入力確定部120により入力が確定された文字等のデータを、入出力インタフェースを介して、携帯端末に送信する。携帯端末は、上記アプリケーションを起動した状態で、意思伝達装置2から受信した文字等のデータを、SNSに発信するコメントの入力データとして処理する。
【0111】
文字盤デジタル処理部、入力・表示制御部、及び、入力確定部は、設定画面及び位置情報等の各種情報の表示画面を、意思伝達装置に有線接続又は無線接続されたディスプレイに表示してもよい。あるいは、任意の電子機器で意思伝達装置の操作又は各種情報表示を行ってもよい。
【0112】
被伝達情報領域の設定方法は上記に限定されない。例えば、文字盤に文字枠がない場合、文字盤デジタル処理部100は、各被伝達情報を囲む仮想的な文字枠を設定してもよい。各被伝達情報について、当該被伝達情報を囲む仮想的な文字枠の内側から距離d1だけ離れた範囲を被伝達情報領域と設定してもよい。文字盤の文字等が等価的に区切られた線を仮想的に設定してもよい。
【0113】
制御部50が、文字盤の撮影画像を外部の装置から取得してもよい。外部の装置は、撮影装置(例えばデジタルカメラ等)でもよい。端末(例えばスマートフォン等)でもよい。制御部50は、外部の装置から受信した撮影画像を用いて被伝達情報領域を生成する。
【0114】
上述した実施形態では入力装置30は視線入力装置であるが、これに限定されない。入力装置30は、例えばスイッチでもよい。スイッチの数は、例えば1~3個である。入力装置30は、視線入力装置とスイッチとが併用されてもよい。
【0115】
保持具20の基板部21の前面又は背面の中央下部又は上部に点灯具(LED)42を配置してもよい。
点灯駆動装置43が、パン・チルト機構(点灯具42が水平方向及び垂直方向に回転)を有してもよい。
【0116】
制御部50は、照度センサー等のセンサーを用いて、光照射装置40の点灯具42の照度を制御してもよい。
【0117】
図9のフローチャートでは、ICタグから読み出した文字盤識別情報がデータ記憶部130に記憶されていない場合に被伝達情報領域を生成する処理を行っているが、これに限定されない。介助者が文字盤の登録するための操作を行うと、上述した被伝達情報領域が生成・記憶される処理(ステップS2~S5)が実行されてもよい。文字盤を登録するための操作は、例えば、図示せぬ所定ボタンの押下、意思伝達装置に接続された携帯端末への入力等が挙げられる。
【0118】
文字盤の前面が基板部21の透過領域と対面するようにしてもよい。文字盤の後面が基板部21の透過領域と対面するようにしてもよい。
【0119】
被伝達情報領域の中間領域の距離e、周縁領域の距離d、中間領域の距離kが自動的に設定された後、介助者が意思伝達装置に接続された端末を用いて各数値の調整を行うようにしてもよい。
【0120】
文字盤1Aの撮影画像を用いた被伝達情報領域の設定処理を、意思伝達装置に接続されたタブレット等の端末で行うようにしてもよい。端末で設定された被伝達情報領域のデータを意思伝達装置に送信する。意思伝達装置の制御部50は、端末から受信した被伝達情報領域のデータをメモリに記憶する。
【0121】
文字盤1Aに文字枠がある場合であって、入力装置30から取得した位置座標P1が、中間領域に在るときには次のような照射を行うようにしてもよい(
図15参照)。
(1)位置座標P1が文字C1を囲む文字枠(実線)内の中間領域R5に在り、直前の照射位置が文字C1の被伝達情報領域R6であった場合、文字C1の被伝達情報領域R6を継続して照射する。
(2)位置座標P1が文字C1を囲む文字枠内の中間領域R5に在り、直前の照射位置が文字C1に隣接する文字C2を囲む文字枠(実線)内の中間領域R7であった場合、位置座標P1を照射する。
(3)位置座標P1が文字C1を囲む文字枠内の中間領域R5に在り、直前の照射位置が文字C2の被伝達情報領域R8であった場合、位置座標P1を照射する。
(4)位置座標P1が文字C1を囲む文字枠内の中間領域R5に在り、直前の照射位置が文字C1を囲む文字枠内の中間領域R5であった場合、上記(1)~(3)の状態を継続する。
(5)位置座標P1が文字C1を囲む文字枠内の中間領域R5に在り、直前の照射位置が文字C1を囲む文字枠及び文字C2を囲む文字枠の外であった場合、位置座標P1を照射する。
なお、文字盤1Aに文字枠が無い場合、仮想的な文字枠を設定して上記処理を行うようにしてもよい。
【0122】
また、入力装置30から取得した位置座標P1が中間領域に在るときには次のような照射を行うようにしてもよい(
図16参照)。
文字枠で囲まれた文字Cの領域Sの中心座標から前記文字枠までの距離をFとする。領域Sの中心座標から所定の距離(例えば、中心座標から距離Fの80%の距離等)の範囲を被伝達情報領域R9とする。領域Sにおける被伝達情報領域R9の外側の範囲を中間領域R10とする。
(1)位置座標P1が文字C1の中間領域R10に在り、直前の照射位置が文字C1の被伝達情報領域R9であった場合、文字C1の被伝達情報領域R9を継続して照射する。
(2)位置座標P1が文字C1の中間領域R10に在り、直前の照射位置が文字C1に隣接する文字C2の中間領域R10であった場合、位置座標P1を照射する。
(3)位置座標P1が文字C1の中間領域R10に在り、直前の照射位置が文字C2の被伝達情報領域R9であった場合、位置座標P1を照射する。
(4)位置座標P1が文字C1の中間領域R10に在り、直前の照射位置が文字C1の中間領域10であった場合、上記(1)~(3)の状態を継続する。
(5)位置座標P1が文字C1の中間領域R10に在り、直前の照射位置が文字C1の領域S及び文字C2の領域Sの外であった場合、位置座標P1を照射する。
なお、文字盤1Aに文字枠が無い場合、仮想的な文字枠を設定して上記処理を行うようにしてもよい。
【0123】
文字盤1Aに文字枠がある場合、入力装置30から取得した位置座標が文字枠内に留まった時間に基づいて、次のような照射を行うようにしてもよい(
図17参照)。
視線位置が文字C1の文字枠内の領域RC1に留まった時間をT1、文字C2の文字枠内の領域RC2に留まった時間をT2とする。
文字C1の領域RC1から文字C2の領域RC2に視線位置が移った場合であって、時間T1と時間T2が所定時間以下(例えば1秒以下)の場合、文字C2の文字枠内の所定位置(視線位置、中心位置等)を照射する。
文字C1の領域RC1から文字C2の領域RC2に視線位置が移った場合であって、時間T1が所定時間以上(例えば1秒以上)且つ時間T2が所定時間以下(例えば1秒以下)の場合、文字C1の文字枠内の所定位置(視線位置、中心位置等)を照射する。
この場合、中間領域を設けなくてもよい。
【0124】
文字盤1Aに文字枠がある場合、入力装置30から取得した位置座標の時系列をとり、次のような照射を行うようにしてもよい。
過去の所定数(例えば10点)の位置座標のうち、閾値以上(例えば5点以上)の位置座標が在る文字Cの文字枠内の領域Rの所定位置(視線位置、中心位置等)を照射する。
閾値以上(例えば5点以上)の位置座標が同一の文字枠内の領域Rにない場合、いずれの文字枠内の領域も特定せず、直近の位置座標を照射する。
この場合、中間領域を設けなくてもよい。
【0125】
特許文献1の装置の文字盤は、予め文字等の配列が設定された文字盤となり、利用者が希望する多種多様な意思伝達への対応は困難である。
本発明によれば、利用者が希望する多種多様な意思伝達に対応する文字盤を、意思伝達装置で利用できるので、利用者が希望する多種多様な意思伝達への対応が可能となる。
【0126】
文字盤の画像データが文字列の場合、文字列が枠線で囲まれている場合、文字列を一つの被伝達情報領域として枠線を超えない範囲で被伝達情報領域を設定する。文字列が枠線で囲まれていない場合、各文字が文字列を構成していることを明示することによって、前記文字列を一つの被伝達情報領域として設定する。
【0127】
センサー25はガイド23の最右下部に設置されてもよい。その場合、センサー25の位置に文字盤の最右下部が位置したことが検知される。
【0128】
棚板部22は、基板部21の上側、左側、右側に位置してもよいし、基板部21の背面に位置してもよい。また、それぞれの装置が同じ部分に位置しなくてもよい。棚板部22が複数の位置にあっても良い。さらに、入力装置30、光照射装置40、撮影装置60、または制御装置50の一つ以上が棚板部22以外に設置されても良い。
【0129】
使用状況によっては、介助者(被伝達者)は利用者と同じ側にいて、文字盤を同じ方向から見ていることもある。その場合、文字盤は透明板ではなく、不透明板でもよい。
【0130】
出力装置80は基板部21の上側、左側、右側に位置してもよいし、基板部21の背面に位置してもよい。さらに、基板部21の前面と背面の両方に設置されてもよい。基板部21の前面と背面の両方に出力装置80があることによって、利用者と介助者(被伝達者)が同時に出力装置80に表示される情報を見ることができる。
【0131】
文字盤識別情報を手動で入力するようにしてもよい。この場合、意思伝達装置に文字盤識別情報入力ボタン、または、文字盤識別情報入力パネルを設ける。
意思伝達装置使用時に、文字盤識別情報入力ボタン、または、文字盤識別情報入力パネルから文字盤識別情報を入力することにより、意思伝達装置を使用することができる。
【0132】
LED等により文字盤へ照射する場合に、点灯具と文字盤の間に、照射光を調整するため、レンズ・シート・鏡等を設置して、照射方向、照射範囲、照射形状、照射照度を調整してもよい。
【0133】
入力装置のキャリブレーション方法は任意である。例えば、キャリブレーション用の板を保持具に載置する。板には、複数の点が描かれている。利用者が各点を見たときの視線の位置を取得して、利用者の視線の特性を計測する。キャリブレーション用の板を用いなくてもよい。光照射装置40が、キャリブレーション用の座標を照射し、利用者が各点を見たときの視線の位置を取得してもよい。
【0134】
図10のフロー(被伝達情報指示処理)において、ステップS12とステップS13の間に、入力・表示制御部110による被伝達情報領域の判別結果が一定の時間に亘って同じ領域を示すか判別するステップS121と、入力・表示制御部110による被伝達情報領域の判別結果が一定の時間に亘って同じ領域を示す場合(ステップ121:YES)、入力確定部120が、その旨を照射部40に指示し、光色、輝度、点灯状態、点灯速度の少なくとも一つを変化させるステップS122と、を行うようにしてもよい。この場合、利用者は、前記変化により、入力が確定される前に、入力確定対象の文字を確認することができる。ステップS122の変化とステップ14の変化とは異なるものを設定するのが好ましい(例えば、ステップS122は点灯状態を変化させ、ステップS14は光色を変化させる等)。ステップ121で、入力・表示制御部110による被伝達情報領域の判別結果が一定の時間に亘って同じ領域を示さなかった場合(ステップS121:NO)、フローはステップS11に戻る。
【0135】
入力装置30から取得した位置情報が中間領域に在る場合には光照射装置40による照射を行わず、取得した位置情報が被伝達情報領域内に在る場合にのみ光照射装置40による光照射を行うようにしてもよい。
【0136】
上述した実施形態では、文字盤の識別にICリーダライタとICタグとが用いられた。しかし、これに限定されない。シール(例えば、バーコードやQRコードが印刷されたシール)とカメラ(前記コードを読み取るカメラ)とを用いるようにしてもよい。
【0137】
ICタグが貼付されている光透過性ケースに文字盤を入れてもよい。この場合、文字盤へのICタグの貼付は不要である。
【0138】
制御部50は、意思伝達装置1を制御する装置制御機能をさらに有してもよい。本機能の一例として、点灯具42の照度を調整する機能がある。例えば、文字盤の「明るく」という被伝達情報の被伝達情報領域に、「点灯具42を明るくする」の処理内容を関連付けてデータ記憶部130に記憶する。文字盤上の「明るく」に対応する位置が入力された場合に、制御部50は、「明るく」の被伝達情報領域に関連付けられている処理である「点灯具42を明るくする」の処理を実行する。
【0139】
制御部50は、意思伝達装置から制御可能な機器を制御する機器制御機能をさらに有してもよい。例えば、文字盤の「テレビON」という被伝達情報の被伝達情報領域に、「テレビの電源をオンにする」の処理内容を関連付けてデータ記憶部130に記憶する。文字盤上の「テレビON」に対応する位置が入力された場合に、制御部50は、「テレビON」の被伝達情報領域に関連付けられている処理である「テレビの電源をオンにする」の処理を実行する。例えば、テレビ、エアコン、オーディオ機器等の環境機器を制御する環境機器制御装置と本意思伝達装置とを接続し、制御部50が環境機器制御装置を介して各機器を制御してもよい。
【0140】
保持具において、文字盤の領域以外の所定の領域(例えば、保持具の左上端、センサーの位置等)を予めデータ記憶部130に記憶してもよい。例えば、文字盤に係わらず、常に使用したい特別機能をこの領域に対応付けて記憶する。入力された位置情報がこの領域の範囲内の場合、制御部50は、データ記憶部130に記憶された特別機能の処理を実行する。
【0141】
第3の実施形態を説明する。第3の実施形態では、利用者Aは文字盤1Aそのものではなく、表示装置に表示された文字盤1Bの撮影画像を見る。
【0142】
図18は、本発明の第3の実施形態に係る意思伝達装置3の外観説明図である。本実施形態に係る意思伝達装置3は、第1の実施形態の構成に加えて、表示装置90をさらに備える。
【0143】
撮影装置60は、第1の実施形態と同様に、被伝達情報領域のデータを作成する際に文字盤1Aの撮影を行う。さらに、撮影装置60は、少なくとも被伝達情報指示処理の間、文字盤1Aを継続して撮影し、撮影画像を制御部50に送る。
【0144】
表示装置90は、保持具20に配置される。そのため、薄型が好ましい。表示装置90は、現実の文字盤1Aよりも小さい表示画面91を有する。表示画面の大きさは7~16インチが好ましいが、これに限定されない。表示装置90は、制御部50に接続される。表示装置90は、少なくとも伝達情報指示処理の間、撮影装置60による撮影画像を制御部50から受信して表示する。
【0145】
入力装置30は、表示装置90の表示画面91における位置情報を制御部50に入力する。入力装置30は、例えば、視線入力装置である。
【0146】
図19は、第3の実施形態の制御部50のブロック図(機能構成図)である。
文字盤デジタル処理部100と入力確定部120とデータ記憶部130は第1の実施形態と同様である。
【0147】
入力・表示制御部210は、入力装置30から取得した表示画面91における位置情報を、文字盤1Aの位置情報に変換する。入力・表示制御部210は、変換した文字盤1Aの位置情報に対応する被伝達情報領域を、データ記憶部130に記憶されている被伝達情報領域の情報を用いて、判別する。入力・表示制御部210は、判別された被伝達情報領域の中心座標を光照射装置40に伝える。
【0148】
表示画面91における位置情報を、文字盤1Aの位置情報に変換するには、表示画面91の座標に、所定倍率(文字盤1Bの縦(又は横)の長さに対する文字盤1Aの縦(又は横)の長さの比)を掛ける処理を行ってもよい。この場合、表示画面91の基準位置(例えば、左下座標(0,0))と、文字盤1Bの基準位置(例えば、左下隅)とが一致し、かつ、文字盤1Bが所定の大きさで表示されるように撮影条件を設定する。
また、表示画面91上の文字盤1Bの位置と大きさを画像認識処理によって取得し、文字盤1Bと文字盤1Aの大きさの比を算出する。そして、表示画面91における文字盤1Bの基準位置と、算出した比とを用いて、表示画面91上の文字盤1Bの座標を文字盤1Aの座標に変換する式等を求めてもよい。これら以外の他の変換処理を行ってもよい。
【0149】
本実施形態に係る意思伝達装置3の動作について説明する。意思伝達装置3の動作は、第1の実施形態に係る意思伝達装置1の動作(
図9)と、被伝達情報指示処理(S7)において相違する。被伝達情報指示処理以外の処理(S1~S6)は同様である。本実施形態に係る意思伝達装置3の被伝達情報指示処理について
図20を参照して説明する。
【0150】
制御部50は、被伝達情報指示処理の間、文字盤1Aの撮影画像を撮影装置60から受信して表示装置90に送信する。表示装置90は、文字盤1Aの撮影画像を表示する。
【0151】
利用者Aは、表示装置90に表示された文字盤1Bの文字・記号等を見る。入力装置30(視線入力装置)は、視線入力による位置情報を取得し、制御部50に送信する。
制御部50の入力・表示制御部210は、入力装置30から取得した位置情報を、文字盤1Aにおける位置情報(座標)に変換する(ステップS21)。
制御部50は、被伝達情報領域の情報を参照し、ステップS21で取得された位置情報が示す座標を含む被伝達情報領域があるか否かを判別する(ステップS11)。
【0152】
入力装置30から取得した位置情報が示す座標を含む被伝達情報領域がある場合(ステップS11:YES)、入力・表示制御部210は、その被伝達情報領域の中心座標を光照射装置40に伝達する(ステップS12)。
【0153】
入力確定部120は、入力・表示制御部210による被伝達情報領域の判別結果が一定の時間に亘って同じ領域を示すか判別する(ステップS13)。
【0154】
入力・表示制御部210による被伝達情報領域の判別結果が一定の時間に亘って同じ領域を示す場合(ステップ13:YES)、入力確定部120は、その旨を、照射部40に指示する(入力の確定)。光色、輝度、点灯状態、点灯速度の少なくとも一つが変化する(ステップS14)。前記変化によって、利用者及び/又は介助者は、入力文字の確定を知る。
【0155】
入力・表示制御部210による被伝達情報領域の判別結果が一定の時間に亘って同じ領域を示さなかった場合(ステップS13:NO)、フローはステップS21に戻る。
【0156】
ステップ11において、ステップS21で取得された位置情報が示す座標を含む被伝達情報領域がない場合(ステップS11:NO)、入力・表示制御部210は、ステップS21で取得した位置情報が示す座標を光照射装置40に伝達する(ステップS15)。
光照射装置40は、伝達された座標に光を照射する。介助者Xは、光照射された文字盤1Aを見ることにより、利用者Aが伝えたい文字等を知る。利用者Aは、表示装置90に表示された、光照射された文字盤1Bを見ることにより、自分が選択した文字等を確認する。
【0157】
第3の実施形態によれば、利用者Aは、表示装置90に表示された文字盤1Bを見る。このため、視線入力装置を用いる場合、視線を動かす範囲は現実の文字盤1Aを見る場合に比べて狭くなり、目の疲れが少なくなる。
また、利用者Aが文字盤1Aを直接見た視線を視線入力装置によって検出した場合、視線が文字盤1Aの隅に近いとき、文字盤1Aの中心部よりも揺らぎが大きくなる傾向があった。本実施形態では、文字盤1Bは文字盤1Aより小さいため、視線が文字盤1Bの隅に近くても、視線の揺らぎが抑えられ、視線の位置が定まりやすくなった。
【0158】
以上好ましい実施の形態をあげて本発明が説明された。本発明は必ずしも上記実施の形態に限定されない。本発明の技術的思想の範囲内において様々に変形し実施することが出来る。
【0159】
この出願は、2017年11月30日に出願された日本出願特願2017-230207を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【0160】
1,2 意思伝達装置
1A 文字盤
20 保持具
23 ガイド
24 固定具
25 センサー
30 入力装置(入力手段)
40 光照射装置(特定手段)
42 点灯部(LED)
43 点灯駆動装置
44 左右駆動部
45 上下駆動部
46 第1の連結棒
47 第2の連結棒
48 支持棒
50 制御部
60 撮影装置
70 ICリーダライタ
80 出力装置
90 表示装置
91 表示画面
100 文字盤デジタル処理部(被伝達情報領域設定手段)
110 入力・表示制御部(判別手段)
120 入力確定部
130 データ記憶部(記憶手段)