特許 6973869 誘導システム、誘導方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6973869

(24)【登録日】2021年11月8日

(45)【発行日】2021年12月1日

(54)【発明の名称】誘導システム、誘導方法、プログラム

(51)【国際特許分類】

   A61F 9/08 20060101AFI20211118BHJP

   G09B 21/00 20060101ALI20211118BHJP

   G16Y 10/60 20200101ALI20211118BHJP

   G16Y 20/10 20200101ALI20211118BHJP

   G16Y 40/60 20200101ALI20211118BHJP

【ＦＩ】

   A61F9/08 300

   G09B21/00 D

   G16Y10/60

   G16Y20/10

   G16Y40/60

【請求項の数】9

【全頁数】9

(21)【出願番号】特願2020-19650(P2020-19650)

(22)【出願日】2020年2月7日

(65)【公開番号】特開2021-122638(P2021-122638A)

(43)【公開日】2021年8月30日

【審査請求日】2020年2月7日

(73)【特許権者】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100134544

【弁理士】

【氏名又は名称】森 隆一郎

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】白神 義訓

【審査官】 細川 翔多

(56)【参考文献】

【文献】 特開２００４−３５００４１（ＪＰ，Ａ）

【文献】 特表２０１４−５０８５９６（ＪＰ，Ａ）

【文献】 韓国登録特許第１０−１８４５７５４（ＫＲ，Ｂ１）

【文献】 特開平１１−３０５６５１（ＪＰ，Ａ）

【文献】 特開２０１９−１５２９５３（ＪＰ，Ａ）

【文献】 特開２０１６−６３３０５（ＪＰ，Ａ）

【文献】 特開昭５９−２１４４４８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｆ ９／０８

Ｇ０９Ｂ ２１／００

Ｇ１６Ｙ １０／６０

Ｇ１６Ｙ ２０／１０

Ｇ１６Ｙ ４０／６０

(57)【特許請求の範囲】

【請求項1】

ユーザが位置する空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像に映る検出対象物を検出する検出手段と、
前記撮影画像における前記検出対象物の状態を示す前記ユーザの前記検出対象物の利用を助ける誘導情報であって、前記検出対象物の検出結果に対応する第一音声情報と、前記検出対象物の使用方法の説明情報を音声変換した第二音声情報とを含む前記誘導情報を生成する誘導情報生成手段と、
を備える誘導システム。

【請求項2】

前記誘導情報生成手段は、前記撮影画像における前記検出対象物の状態を示す、前記空間における前記ユーザの位置を基準とした前記検出対象物の位置を前記ユーザに通知する誘導情報を生成する
請求項１に記載の誘導システム。

【請求項3】

前記誘導情報生成手段は、前記撮影画像における前記検出対象物の状態を示す、前記空間における前記ユーザの向きを基準とした前記検出対象物の向きを前記ユーザに通知する誘導情報を生成する
請求項１または請求項２に記載の誘導システム。

【請求項4】

前記誘導情報生成手段は、前記撮影画像において区分けした複数の区画のうち前記検出対象物を検出した区画の前記撮影画像内の位置と、前記検出対象物について異なる角度から撮影した画像との比較に基づいて、前記検出対象物の設置位置と、前記ユーザの向きを基準とした前記検出対象物の向きとを前記ユーザに音声で通知する音声情報を含む誘導情報を生成する
請求項３に記載の誘導システム。

【請求項5】

前記誘導情報生成手段は、前記検出対象物の種類を前記ユーザに通知する誘導情報を生成する
請求項１から請求項４の何れか一項に記載の誘導システム。

【請求項6】

前記誘導情報生成手段は、前記検出対象物に設けられた操作子の種類、取付位置、操作方法の少なくとも一つを前記ユーザに説明する誘導情報を生成する
請求項１から請求項５の何れか一項に記載の誘導システム。

【請求項7】

前記空間における出力装置に前記誘導情報を出力する
請求項１から請求項６の何れか一項に記載の誘導システム。

【請求項8】

ユーザが位置する空間の撮影画像を取得し、
前記撮影画像に映る検出対象物を検出し、
前記撮影画像における前記検出対象物の状態を示す前記ユーザの前記検出対象物の利用を助ける誘導情報であって、前記検出対象物の検出結果に対応する第一音声情報と、前記検出対象物の使用方法の説明情報を音声変換した第二音声情報とを含む前記誘導情報を生成する
誘導方法。

【請求項9】

誘導システムが有する誘導装置のコンピュータを、
ユーザが位置する空間の撮影画像を取得する撮影画像取得手段、
前記撮影画像に映る検出対象物を検出する検出手段、
前記撮影画像における前記検出対象物の状態を示す前記ユーザの前記検出対象物の利用を助ける誘導情報であって、前記検出対象物の検出結果に対応する第一音声情報と、前記検出対象物の使用方法の説明情報を音声変換した第二音声情報とを含む前記誘導情報を生成する誘導情報生成手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、誘導システム、誘導方法、プログラムに関する。

【背景技術】

【0002】

視覚障害者は、プライベートな空間であっても、その空間に配置されている備品や機器の設置位置や、使い方を、他者の支援によって認識する必要がある場合が多い。このような視覚障害者等の人の支援に利用される技術が、特許文献１や特許文献２に開示されている。

【0003】

特許文献１には、歩行者の現在位置を把握し、その位置に応じた道案内を行う歩行誘導システムの技術が開示されている。
特許文献２には、空間において使用者を安全且つ正確に誘導する音声案内装置の技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−３１８４６号公報

【特許文献2】特開２００８−５５０７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

トイレなどのプライベートな空間において他者の案内を受けることの心理的抵抗感を軽減するために自動音声などで視覚障害者を案内することが検討されている。しかしながら無人で視覚障害者を案内するためには多くの機器を空間に設置する必要がある。従って、より少ない機器を用いて、視覚障害者の空間における備品や機器の設置位置や使い方の案内をできる仕組みが求められている。

【0006】

そこでこの発明は、上述の課題を解決する誘導システム、誘導方法、プログラムを提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明の第１の態様によれば、誘導システムは、ユーザが位置する空間の撮影画像を取得する撮影画像取得手段と、前記撮影画像に映る検出対象物を検出する検出手段と、前記撮影画像における前記検出対象物の状態を示す前記ユーザの前記検出対象物の利用を助ける誘導情報であって、前記検出対象物の検出結果に対応する第一音声情報と、前記検出対象物の使用方法の説明情報を音声変換した第二音声情報とを含む前記誘導情報を生成する誘導情報生成手段と、を備えることを特徴とする。

【0008】

本発明の第２の態様によれば、誘導方法は、ユーザが位置する空間の撮影画像を取得し、前記撮影画像に映る検出対象物を検出し、前記撮影画像における前記検出対象物の状態を示す前記ユーザの前記検出対象物の利用を助ける誘導情報であって、前記検出対象物の検出結果に対応する第一音声情報と、前記検出対象物の使用方法の説明情報を音声変換した第二音声情報とを含む前記誘導情報を生成することを特徴とする。

【0009】

本発明の第３の態様によれば、プログラムは、誘導システムが有する誘導装置のコンピュータを、ユーザが位置する空間の撮影画像を取得する撮影画像取得手段、前記撮影画像に映る検出対象物を検出する検出手段、前記撮影画像における前記検出対象物の状態を示す前記ユーザの前記検出対象物の利用を助ける誘導情報であって、前記検出対象物の検出結果に対応する第一音声情報と、前記検出対象物の使用方法の説明情報を音声変換した第二音声情報とを含む前記誘導情報を生成する誘導情報生成手段、として機能させることを特徴とする。

【発明の効果】

【0010】

本発明によれば、少ない機器を用いて、視覚障害者の空間における備品や機器の設置位置や使い方の案内をできる仕組みを提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態による誘導システムの構成を示すブロック図である。

【図2】本発明の一実施形態による誘導装置のハードウェア構成図である。

【図3】本発明の一実施形態による誘導装置の機能ブロック図である。

【図4】本発明の一実施形態による誘導装置の処理フローを示す第一の図である。

【図5】本発明の一実施形態による誘導システムの最小構成を示す図である。

【図6】本発明の一実施形態による最小構成の誘導システムの処理フローを示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の一実施形態による誘導システムを図面を参照して説明する。
図１は、本実施形態による誘導システムの構成を示すブロック図である。
この図で示すように、誘導システム１００は、少なくとも誘導装置１を含んで構成される。誘導装置１は、ユーザが携帯する携帯端末２と通信接続する。

【0013】

誘導装置１は、ユーザが位置する空間の撮影画像を携帯端末２から取得して、その撮影画像に映る検出対象物を検出し、撮影画像における検出対象物の状態を示すユーザの検出対象物の利用を助ける誘導情報を生成する。誘導装置１は誘導情報を携帯端末２へ送信する。携帯端末２は誘導装置１から受信した誘導情報を出力する。ユーザは誘導情報に基づいて検出対象物を利用するための補助を受ける。

【0014】

本実施形態においてユーザは視覚障害者でありユーザが位置する空間はトイレであるとする。当該ユーザは、トイレに到着した場合、携帯端末２を操作してトイレ空間を撮影する。携帯端末２は、トイレ内の空間を撮影した撮影画像を誘導装置１へ送信する。誘導装置１は、検出対象物である便器や各種操作スイッチ（操作子）が設けられた設置型リモコンを撮影画像から検出し、それら検出対象物に関する誘導情報を生成して、携帯端末２へ送信する。誘導情報は、例えばトイレ空間におけるユーザの向きを基準とした便器や設置型リモコンの位置などであってよい。撮影画像はトイレ以外の他の空間の撮影画像であり、誘導装置１は他の空間の撮影画像の中から検出対象物を検出し、その検出対象物に関する誘導情報を生成する装置であってもよい。

【0015】

図２は、本実施形態による誘導装置のハードウェア構成図である。
図２で示すように、誘導装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータサーバである。なお携帯端末２も、同様のハードウェア構成を備えたコンピュータである。

【0016】

図３は、本実施形態による誘導装置の機能ブロック図である。
誘導装置１は、電源が投入されると起動し、予め記憶する誘導プログラムを実行する。これにより誘導装置１は、少なくとも、制御部１１、撮影画像取得部１２、検出部１３、誘導情報生成部１４、出力部１５、記録部１６の各機能を発揮する。

【0017】

制御部１１は、誘導装置１の各機能を制御する。
撮影画像取得部１２は、携帯端末２から送信された撮影画像を取得する。
検出部１３は、撮影画像に映る検出対象物を検出する。
誘導情報生成部１４は、撮影画像における検出対象物の状態を示すユーザの検出対象物の利用を助ける誘導情報を生成する。
出力部１５は、生成した誘導情報を携帯端末２などの外部装置へ出力する。
記録部１６は、撮影画像が示す空間の属性情報と、その空間に関して生成した誘導情報とを対応付けて記録する。

【0018】

図４は、本実施形態による誘導装置の処理フローを示す図である。
次に、誘導装置の処理フローについて順を追って説明する。
まず上述したようにユーザがトイレの入り口からトイレの空間を、携帯端末２を用いて撮影する。ユーザは撮影が完了すると、携帯端末２に音声を入力し、誘導装置１へ撮影画像を送信するよう指示する。携帯端末２は、音声認識機能を備える。当該音声認識機能は、公知の音声認識技術を用いてよい。携帯端末２は、ユーザから指定された撮影画像の特定をユーザの音声入力操作により行い、当該撮影画像を誘導装置１へ送信する。撮影画像には、携帯端末２に備わる位置センサが検知した位置情報（緯度、経度）が記録されているものとする。

【0019】

誘導装置１の通信モジュール１０５は、携帯端末２の送信した撮影画像を受信する（ステップＳ１０１）。誘導装置１の撮影画像取得部１２は、通信モジュール１０５を介して撮影画像を取得する。撮影画像取得部１２は、撮影画像を検出部１３と記録部１６へ出力する。

【0020】

検出部１３は、撮影画像に検出対象物が映っているかを解析する（ステップＳ１０２）。ここで、誘導装置１は、検出対象物の画像を予め記憶する。検出対象物は、上述したように便器、設置型リモコンである。検出部１３は、パターン認識により撮影画像における便器の設置位置と、ユーザの向きを基準とした設置向きを検出する。また検出部１３は、パターン認識により撮影画像における設置型リモコンの設置位置と、ユーザの向きを基準とした設置向きを検出する（ステップＳ１０３）。

【0021】

検出部１３は、便器の種類（洋式または和式）をパターン認識により検出してもよい。
また検出部１３は、便器に取り付けられている水洗レバー（操作子）の便器に対する取付位置を検出してもよい。また検出部１３は、設置型リモコンに設けられたスイッチの数、各操作ボタンの種別（おしり洗浄ボタン、乾燥開始ボタン、水勢強弱変更ボタン、ノズル位置変更ボタン、停止ボタンなど）を検出してもよい。検出部１３は、各ボタンやレバーの操作方法を検出してもよい。検出部１３は、ユーザと便器との間に段差があるか否かを検出してもよい。検出部１３は、ペーパーホルダーの位置を検出してもよい。また検出部１３は、撮影画像に含まれる位置情報を検出する。

【0022】

検出部１３は、検出結果を示す情報を誘導情報生成部１４へ出力する。誘導情報生成部１４は検出結果に対応する音声情報をデータベース１０４から取得する。誘導情報生成部１４はそれら音声情報を格納した誘導情報を生成する（ステップＳ１０４）。誘導情報生成部１４は、検出部１３の検出した便器の種類などの検出対象物の識別情報に基づいてデータベース１０４から使用方法の説明情報であって、当該説明情報に記載されている文章を音声変換した音声データを含む説明情報を取得し、その説明情報を誘導情報に格納してもよい。誘導情報生成部１４は、誘導情報を出力部１５へ出力する。また誘導情報生成部１４は、誘導情報と位置情報とを記録部１６へ出力する。出力部１５は、誘導情報を携帯端末２へ送信する（ステップＳ１０５）。記録部１６は、誘導情報と位置情報と撮影画像とを紐づけてデータベース１０４へ記録する（ステップＳ１０６）。

【0023】

携帯端末２は、誘導情報を受信する。携帯端末２は誘導情報に含まれる各検出結果に対応する音声情報を、順にスピーカーから音声出力する。これにより、ユーザは、各検出結果の音声情報を聞くことができる。各検出結果の音声情報は、便器の設置位置をユーザに知らせる音声情報、便器のユーザの向きを基準とした設置向きをユーザに知らせる音声情報、撮影画像における設置型リモコンの設置位置をユーザに知らせる音声情報、設置型リモコンのユーザの向きを基準とした設置向きをユーザに知らせる音声情報、便器の種類（洋式または和式）をユーザに知らせる音声情報、便器に取り付けられている水洗レバーの便器に対する位置をユーザに知らせる音声情報、設置型リモコンに設けられたスイッチの数をユーザに知らせる音声情報、各操作ボタンの種別（おしり洗浄ボタン、乾燥開始ボタン、水勢強弱変更ボタン、ノズル位置変更ボタン、停止ボタンなど）をユーザに知らせる音声情報、各ボタンやレバーの操作方法をユーザに知らせる、ユーザと便器との間に段差があるか否かをユーザに知らせる音声情報、ペーパーホルダーの位置をユーザに知らせる音声情報などである。

【0024】

以上のような音声情報を携帯端末２が出力することで、視覚障害者であるユーザが他者の手助け無くトイレを使用するための誘導情報を、特にトイレに専用の装置を取り付けることなくユーザに伝えることができる。またトイレに専用の装置を取り付ける必要が無いため、低い費用コストで、視覚障害者であるユーザが他人の手助け無くトイレを使用するための誘導情報をユーザに伝えることができる。

【0025】

上述の処理においてはトイレ空間が撮影画像に映る場合を例に説明したが、誘導装置１は、他の空間が映る撮影画像を用いて、当該撮影画像中の検出対象物を検出し、その検出結果による検出対象物の状態を示す誘導情報を生成してもよい。

【0026】

次に上述の検出部１３の処理の詳細について説明する。検出部１３は、撮影画像から便器の設置位置を検出する際には、例えば、パターン認識により、予め記憶する各角度から撮影された複数の便器の画像に一致する物体があるかを判定する。検出部１３は、画像中に便器に一致する物体があると認識した場合には、その物体の撮影画像における位置を判定する。撮影画像は縦横に三等分された各９個の小区画が設定されているとする。検出部１３は、便器が撮影画像の小区画の何れの小区画の識別子を便器の位置についての検出結果と特定する。そして検出部１３は便器の識別情報と、位置を示す撮影画像中の小区画の識別情報とを、便器の位置に関する検出結果として誘導情報生成部１４に出力する。

【0027】

この場合、誘導情報生成部１４は、便器の識別情報に紐づいて登録されている便器であることを示す音声情報「便器があります」と、便器の種類「洋式の」を示す音声情報をデータベース１０４から読み取り、また小区画の識別情報に紐づいて登録されている位置を伝えるための音声情報「中央奥側に」をデータベース１０４から読み取る。なお各小区画に対応する位置は、ユーザの位置を基準とする位置である。つまり撮影画像はユーザを基準として携帯端末２により生成された撮影画像であるため、撮影画像中の各小区画の検出対象物の位置は、ユーザの位置を基準とする位置と定義されてよい。ユーザの位置を基準とする検出対象物の位置は、検出対象物の状態の一態様である。誘導情報生成部１４は、これらの音声情報を格納した誘導情報を生成する。携帯端末２はその誘導情報を音声出力した場合、「中央奥側に」「洋式の」「便器があります」という音声情報を繋げて出力する。なお、誘導装置１は、設置型リモコン、設置型リモコン内の各操作ボタンペーパーホルダー、水洗レバーなどの位置についても同様に検出結果を出力し、対応する音声情報を含む誘導情報を生成する。

【0028】

また検出部１３は、パターン認識により、撮影画像から便器の設置向きを検出する際には、例えば、パターン認識により、予め記憶する各角度から撮影された複数の便器の画像に一致する物体があるかを判定する。検出部１３は、画像中に便器に一致する物体があると認識した場合には、その物体があると認識した処理に用いた便器の画像の識別子を判定する。当該画像に紐づいて予め向きの情報をデータベース１０４が記憶する。なお画像中の検出対象物の角度に対応する向きは、ユーザの位置を基準とする向きである。つまり撮影画像はユーザを基準として携帯端末２により生成された撮影画像であるため、撮影画像中に示す検出対象物の角度に対応する当該検出対象物の向きは、ユーザの位置を基準とする向きと定義されてよい。ユーザの向きを基準とする検出対象物の向きは、検出対象物の状態の一態様である。

【0029】

検出部１３は、便器の向きの情報を、画像の識別情報に基づいてデータベース１０４から取得し、検出結果と特定する。そして検出部１３は便器の識別情報と、便器の向きの情報とを、便器の設置向きに関する検出結果として誘導情報生成部１４に出力する。この場合、誘導情報生成部１４は、便器の識別情報に紐づいて登録されている便器であることを示す音声情報「便器が」と、便器の設置向き「正面を向いています」を示す音声情報をデータベース１０４から読み取る。誘導情報生成部１４は、これらの音声情報を格納した誘導情報を生成する。携帯端末２はその誘導情報を音声出力した場合、「便器が」「正面を向いています」という音声情報を繋げて出力する。なお、誘導装置１は、設置型リモコン、設置型リモコン内の各操作ボタンペーパーホルダー、水洗レバーなどの設置向きについても同様に検出結果を出力し、対応する音声情報を含む誘導情報を生成する。なお操作方法については、検出対象物の識別情報に対応する操作方法の音声情報が予めデータベース１０４に記録されており、誘導情報生成部１４が検出部１３から出力された検出結果から取得した検出対象物の識別情報に基づいて、対応する音声情報を取得する。

【0030】

上述の処理において、検出部１３は予め記憶する検出対象物の画像と、撮影画像中の物体とのパターン認識により便器などの所定の検出対象物が画像に含まれるかを判定している。しかしながら検出部１３は、機械学習アルゴリズムにより生成された判定モデルに撮影画像を入力し、その結果出力された出力結果に基づいて、撮影画像に検出対象物が含まれるかを判定してもよい。例えば便器判定モデルは、ある特定の便器が映る撮影画像を入力とし、当該特定の便器を出力とした複数の入力と出力の関係を教師有り学習手法により学習して生成した便器判定モデルを記憶する。検出部１３は、この便器判定モデルに撮影画像を入力した結果、所定の便器であることを示す情報を出力した場合、この撮影画像にある特定の便器が映ることを判定してもよい。同様に、検出部１３は、どうようの手法により生成された判定モデルに撮影画像を入力した結果に基づいて、検出対象物の向きや、検出対象物の位置を特定するようにしてもよい。

【0031】

図５は誘導システムの最小構成を示す図である。
図６は最小構成の誘導システムによる処理フローを示す図である。
誘導システム１００は、少なくとも、撮影画像取得手段１２１、検出手段１３１、誘導情報生成手段１４１を備える。
撮影画像取得手段１２１は、ユーザが位置する空間の撮影画像を取得する（ステップＳ６０１）。
検出手段１３１は、撮影画像に映る検出対象物を検出する（ステップＳ６０２）。
誘導情報生成手段１４１は、撮影画像における検出対象物の状態を示すユーザの検出対象物の利用を助ける誘導情報を生成する（ステップＳ６０３）。

【0032】

上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

【0033】

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0034】

１・・・誘導装置
２・・・携帯端末
１１・・・制御部
１２・・・撮影画像取得部（撮影画像取得手段１２１）
１３・・・検出部（検出手段１３１）
１４・・・誘導情報生成部（誘導情報生成手段１４１）
１５・・・出力部
１６・・・記録部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】