(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024077830
(43)【公開日】2024-06-10
(54)【発明の名称】コミュニケーション支援装置、システム、方法、及びプログラム
(51)【国際特許分類】
H04W 4/029 20180101AFI20240603BHJP
G06Q 50/08 20120101ALI20240603BHJP
H04M 3/56 20060101ALI20240603BHJP
H04W 4/30 20180101ALI20240603BHJP
H04W 4/08 20090101ALI20240603BHJP
【FI】
H04W4/029
G06Q50/08
H04M3/56
H04W4/30
H04W4/08
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022190016
(22)【出願日】2022-11-29
(71)【出願人】
【識別番号】000232254
【氏名又は名称】日本電気通信システム株式会社
(74)【代理人】
【識別番号】100080816
【弁理士】
【氏名又は名称】加藤 朝道
(74)【代理人】
【識別番号】100098648
【弁理士】
【氏名又は名称】内田 潔人
(72)【発明者】
【氏名】河野 研二
(72)【発明者】
【氏名】阿部 憲一
(72)【発明者】
【氏名】松本 晃
(72)【発明者】
【氏名】鎌田 典彦
【テーマコード(参考)】
5K067
5K201
5L049
5L050
【Fターム(参考)】
5K067AA14
5K067EE25
5K201AA05
5K201BA16
5K201CB10
5K201CC04
5K201EC06
5K201ED04
5L049CC07
5L050CC07
(57)【要約】
【課題】意思疎通が必要な相手とリアルタイムかつ効率的に意思疎通を行うことに貢献することができるコミュニケーション支援装置等を提供すること。
【解決手段】遠隔ロボット通信装置の範囲に係る情報を管理する範囲管理部と、遠隔ロボット通信装置に対する作業者通信装置のいずれか及び遠隔操縦者通信装置の識別情報組み合わせを管理する識別情報組み合わせ管理部と、遠隔ロボット通信装置及び作業者通信装置から位置情報を取得する位置情報取得部と、各通信装置から識別情報を取得する識別情報取得部と、遠隔ロボット通信装置の範囲に属する通信装置にチャネルを割り当て、かつ、識別情報組み合わせに該当する通信装置にチャネルを割り当てるチャネル割当部と、チャネルが割り当てられた通信装置からの情報を取得して取得元以外の通信装置に転送する情報転送部と、を備える。
【選択図】
図16
【特許請求の範囲】
【請求項1】
遠隔ロボットに搭載された遠隔ロボット通信装置に対してコミュニケーションを可能にする範囲に係る情報を管理するように構成された範囲管理部と、
前記遠隔ロボット通信装置に対してコミュニケーションを可能にする、作業者が使用する複数の作業者通信装置のいずれか、及び、遠隔操縦者が使用する遠隔操縦者通信装置の各識別情報を組み合わせた識別情報組み合わせを管理するように構成された識別情報組み合わせ管理部と、
前記遠隔ロボット通信装置及び前記複数の作業者通信装置のそれぞれから位置情報を取得するように構成された位置情報取得部と、
前記遠隔ロボット通信装置、前記複数の作業者通信装置、及び、前記遠隔操縦者通信装置のそれぞれから識別情報を取得するように構成された識別情報取得部と、
前記複数の作業者通信装置及び前記遠隔ロボット通信装置のそれぞれの前記位置情報、及び、前記範囲に係る情報に基づいて、前記遠隔ロボット通信装置を中心とする前記範囲に属する前記作業者通信装置にチャネルを割り当てるとともに、前記複数の作業者通信装置、前記遠隔操縦者通信装置、及び、前記遠隔ロボット通信装置のそれぞれの前記識別情報、及び、前記識別情報組み合わせに基づいて、前記識別情報組み合わせに該当する前記識別情報に係る前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に前記チャネルを割り当てるように構成されたチャネル割当部と、
前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置からの情報を取得して取得元以外の前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に転送するように構成された情報転送部と、
を備える、コミュニケーション支援装置。
【請求項2】
前記作業者通信装置、前記遠隔ロボット通信装置、及び、前記遠隔操縦者通信装置のいずれかから作業情報を取得するように構成された作業情報取得部をさらに備え、
前記範囲管理部は、前記作業情報に応じて大きさが異なる複数の前記範囲に係る情報を管理するように構成され、
前記チャネル割当部は、前記遠隔ロボット通信装置を中心とし、かつ、取得した前記作業情報に対応する前記範囲に属する前記作業者通信装置に前記チャネルを割り当てるように構成されている、
請求項1記載のコミュニケーション支援装置。
【請求項3】
前記作業者通信装置、前記遠隔ロボット通信装置、及び、前記遠隔操縦者通信装置のいずれかから作業情報を取得するように構成された作業情報取得部をさらに備え、
前記識別情報組み合わせ管理部は、前記作業情報に応じて前記識別情報の組み合わせが異なる複数の前記識別情報組み合わせを管理するように構成され、
前記チャネル割当部は、取得した前記作業情報に対応する前記識別情報組み合わせに該当する前記識別情報に係る前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に前記チャネルを割り当てるように構成されている、
請求項1記載のコミュニケーション支援装置。
【請求項4】
前記範囲管理部は、前記作業者通信装置に対してコミュニケーションを可能にする他の範囲に係る情報を管理するように構成され、
前記チャネル割当部は、前記複数の作業者通信装置及び前記遠隔ロボット通信装置のそれぞれの前記位置情報、前記範囲に係る情報、及び、前記他の範囲に係る情報に基づいて、前記遠隔ロボット通信装置を中心とする前記範囲と前記作業者通信装置を中心とする前記他の範囲の少なくとも一部とが重なるときの前記作業者通信装置に前記チャネルを割り当てるように構成されている、
請求項1記載のコミュニケーション支援装置。
【請求項5】
前記範囲管理部は、大きさが異なる複数の前記範囲に係る情報を管理するように構成され、
前記チャネル割当部は、前記遠隔ロボット通信装置を中心とし、かつ、複数の前記範囲のうちのいずれかに属する前記作業者通信装置に前記チャネルを割り当てるように構成され、
前記情報転送部は、前記作業者通信装置が属する複数の前記範囲に応じて異なる情報を送信するように構成されている、
請求項1記載のコミュニケーション支援装置。
【請求項6】
前記複数の範囲は、前記作業者通信装置に注意喚起情報を送信するための注意喚起用範囲を含み、
前記情報転送部は、前記遠隔ロボット通信装置を中心とする前記注意喚起用範囲のみに属する前記作業者通信装置に前記注意喚起情報を送信するように構成されている、
請求項5記載のコミュニケーション支援装置。
【請求項7】
前記範囲管理部は、前記遠隔ロボットに設置された前記遠隔ロボット通信装置のカメラの画角、及び、前記カメラからの所定の距離に関する画角範囲に係る情報を管理するように構成され、
前記チャネル割当部は、前記画角範囲に属する前記作業者通信装置に前記チャネルを割り当てるように構成されている、
請求項1記載のコミュニケーション支援装置。
【請求項8】
請求項1乃至7のいずれか一に記載のコミュニケーション支援装置と、
前記複数の作業者通信装置と、
前記遠隔ロボット通信装置と、
前記遠隔操縦者通信装置と、
を備える、
コミュニケーション支援システム。
【請求項9】
コンピュータが、遠隔ロボットに搭載された遠隔ロボット通信装置、作業者が使用する複数の作業者通信装置、及び、遠隔操縦者が使用する遠隔操縦者通信装置の間のコミュニケーションを支援するコミュニケーション支援方法であって、
前記遠隔ロボット通信装置に対してコミュニケーションを可能にする範囲に係る情報を登録するステップと、
前記遠隔ロボット通信装置に対してコミュニケーションを可能にする前記複数の作業者通信装置のいずれか、及び、前記遠隔操縦者通信装置の各識別情報を組み合わせた識別情報組み合わせを登録するステップと、
前記遠隔ロボット通信装置及び前記複数の作業者通信装置のそれぞれから位置情報を取得するステップと、
前記遠隔ロボット通信装置、前記複数の作業者通信装置、及び、前記遠隔操縦者通信装置のそれぞれから識別情報を取得するステップと、
前記複数の作業者通信装置及び前記遠隔ロボット通信装置のそれぞれの前記位置情報、及び、前記範囲に係る情報に基づいて、前記遠隔ロボット通信装置を中心とする前記範囲に属する前記作業者通信装置にチャネルを割り当てるとともに、前記複数の作業者通信装置、前記遠隔操縦者通信装置、及び、前記遠隔ロボット通信装置のそれぞれの前記識別情報、及び、前記識別情報組み合わせに基づいて、前記識別情報組み合わせに該当する前記識別情報に係る前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に前記チャネルを割り当てるステップと、
前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置からの情報を取得して取得元以外の前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に転送するステップと、
を含む、コミュニケーション支援方法。
【請求項10】
遠隔ロボットに搭載された遠隔ロボット通信装置、作業者が使用する複数の作業者通信装置、及び、遠隔操縦者が使用する遠隔操縦者通信装置の間のコミュニケーションを支援する処理をコンピュータに実行させるプログラムであって、
前記遠隔ロボット通信装置に対してコミュニケーションを可能にする範囲に係る情報を登録する処理と、
前記遠隔ロボット通信装置に対してコミュニケーションを可能にする前記複数の作業者通信装置のいずれか、及び、前記遠隔操縦者通信装置の各識別情報を組み合わせた識別情報組み合わせを登録する処理と、
前記遠隔ロボット通信装置及び前記複数の作業者通信装置のそれぞれから位置情報を取得する処理と、
前記遠隔ロボット通信装置、前記複数の作業者通信装置、及び、前記遠隔操縦者通信装置のそれぞれから識別情報を取得する処理と、
前記複数の作業者通信装置及び前記遠隔ロボット通信装置のそれぞれの前記位置情報、及び、前記範囲に係る情報に基づいて、前記遠隔ロボット通信装置を中心とする前記範囲に属する前記作業者通信装置にチャネルを割り当てるとともに、前記複数の作業者通信装置、前記遠隔操縦者通信装置、及び、前記遠隔ロボット通信装置のそれぞれの前記識別情報、及び、前記識別情報組み合わせに基づいて、前記識別情報組み合わせに該当する前記識別情報に係る前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に前記チャネルを割り当てる処理と、
前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置からの情報を取得して取得元以外の前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に転送する処理と、
を前記コンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コミュニケーション支援装置、システム、方法、及びプログラムに関する。
【背景技術】
【0002】
建設業界、物流業界などの各業界では、人手不足解消に向けた省人化・作業効率化の施策として、建設機械、運搬車両等の自動化や遠隔作業技術が進んでいる。建設機械、運搬車両等が自動化や遠隔操作されることにより、作業者同士のコミュニケーションに変化が生じてくる。
【0003】
例えば、建設機械で作業を行う場合、建設機械に乗った操縦者と、建設機械の誘導者と、作業の指示者との間で連携を図りながら作業を行う必要がある。この時、三者間で無線、ジェスチャー、アイコンタクトなどにより意思疎通を図っている。
【0004】
しかしながら、建設機械の遠隔制御によって操縦者が作業現場からいなくなると、建設機械を遠隔で操縦する遠隔操縦者は作業現場にいる誘導者や指示者に対してジェスチャーやアイコンタクトのような視覚的な意思疎通が困難となる。また、作業現場で作業している誘導者や指示者以外の作業者が建設機械に近接する場合、当該作業者と遠隔操縦者との間で意思疎通が必要となるが、ジェスチャーやアイコンタクトのような視覚的な意思疎通や、音声による意思疎通が困難となる。
【0005】
作業現場にいる不特定多数の作業者と遠隔操縦者との間で意思疎通を確立する方法として、通信端末を用いて、例えば、カメラなどによるビデオ通話、無線などによる音声通話、アラート出力等を行う方法が挙げられる。このような方法において意思疎通を図る作業者同士をグループ化することによって、特定の作業者同士で意思疎通を図るようにしたシステムがある(例えば、特許文献1、2参照)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2020-135532号
【特許文献2】特開2009-135869号
【発明の概要】
【発明が解決しようとする課題】
【0007】
以下の分析は、本願発明者により与えられる。
【0008】
しかしながら、意思疎通を図る相手は作業内容や現場の状況によって時々刻々と変化するため、上記のシステムのように作業者同士を事前にグループ化をしていたのでは、何度も意思疎通を図る相手を指定し直す必要があり、リアルタイム性に欠ける可能性がある。一方、意思疎通を図る相手を限定せず、全ての作業者間での意思疎通を可能にすると、通信負荷の増加や、意思疎通を必要としない作業者の音声がノイズとなってしまい、非効率である。
【0009】
本発明の主な課題は、意思疎通が必要な相手とリアルタイムかつ効率的に意思疎通を行うことに貢献することができるコミュニケーション支援装置、システム、方法、及びプログラムを提供することである。
【課題を解決するための手段】
【0010】
第1の視点に係るコミュニケーション支援装置は、遠隔ロボットに搭載された遠隔ロボット通信装置に対してコミュニケーションを可能にする範囲に係る情報を管理するように構成された範囲管理部と、前記遠隔ロボット通信装置に対してコミュニケーションを可能にする、作業者が使用する複数の作業者通信装置のいずれか、及び、遠隔操縦者が使用する遠隔操縦者通信装置の各識別情報を組み合わせた識別情報組み合わせを管理するように構成された識別情報組み合わせ管理部と、前記遠隔ロボット通信装置及び前記複数の作業者通信装置のそれぞれから位置情報を取得するように構成された位置情報取得部と、前記遠隔ロボット通信装置、前記複数の作業者通信装置、及び、前記遠隔操縦者通信装置のそれぞれから識別情報を取得するように構成された識別情報取得部と、前記複数の作業者通信装置及び前記遠隔ロボット通信装置のそれぞれの前記位置情報、及び、前記範囲に係る情報に基づいて、前記遠隔ロボット通信装置を中心とする前記範囲に属する前記作業者通信装置にチャネルを割り当てるとともに、前記複数の作業者通信装置、前記遠隔操縦者通信装置、及び、前記遠隔ロボット通信装置のそれぞれの前記識別情報、及び、前記識別情報組み合わせに基づいて、前記識別情報組み合わせに該当する前記識別情報に係る前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に前記チャネルを割り当てるように構成されたチャネル割当部と、前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置からの情報を取得して取得元以外の前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に転送する情報転送部と、を備える。
【0011】
第2の視点に係るコミュニケーション支援システムは、前記第1の視点に係るコミュニケーション支援装置と、前記複数の作業者通信装置と、前記遠隔ロボット通信装置と、前記遠隔操縦者通信装置と、を備える。
【0012】
第3の視点に係るコミュニケーション支援方法は、コンピュータが、遠隔ロボットに搭載された遠隔ロボット通信装置、作業者が使用する複数の作業者通信装置、及び、遠隔操縦者が使用する遠隔操縦者通信装置の間のコミュニケーションを支援するコミュニケーション支援方法であって、前記遠隔ロボット通信装置に対してコミュニケーションを可能にする範囲に係る情報を登録するステップと、前記遠隔ロボット通信装置に対してコミュニケーションを可能にする前記複数の作業者通信装置のいずれか、及び、前記遠隔操縦者通信装置の各識別情報を組み合わせた識別情報組み合わせを登録するステップと、前記遠隔ロボット通信装置及び前記複数の作業者通信装置のそれぞれから位置情報を取得するステップと、前記遠隔ロボット通信装置、前記複数の作業者通信装置、及び、前記遠隔操縦者通信装置のそれぞれから識別情報を取得するステップと、前記複数の作業者通信装置及び前記遠隔ロボット通信装置のそれぞれの前記位置情報、及び、前記範囲に係る情報に基づいて、前記遠隔ロボット通信装置を中心とする前記範囲に属する前記作業者通信装置にチャネルを割り当てるとともに、前記複数の作業者通信装置、前記遠隔操縦者通信装置、及び、前記遠隔ロボット通信装置のそれぞれの前記識別情報、及び、前記識別情報組み合わせに基づいて、前記識別情報組み合わせに該当する前記識別情報に係る前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に前記チャネルを割り当てるステップと、前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置からの情報を取得して取得元以外の前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に転送するステップと、を含む。
【0013】
第4の視点に係るプログラムは、遠隔ロボットに搭載された遠隔ロボット通信装置、作業者が使用する複数の作業者通信装置、及び、遠隔操縦者が使用する遠隔操縦者通信装置の間のコミュニケーションを支援する処理をコンピュータに実行させるプログラムであって、前記遠隔ロボット通信装置に対してコミュニケーションを可能にする範囲に係る情報を登録する処理と、前記遠隔ロボット通信装置に対してコミュニケーションを可能にする前記複数の作業者通信装置のいずれか、及び、前記遠隔操縦者通信装置の各識別情報を組み合わせた識別情報組み合わせを登録する処理と、前記遠隔ロボット通信装置及び前記複数の作業者通信装置のそれぞれから位置情報を取得する処理と、前記遠隔ロボット通信装置、前記複数の作業者通信装置、及び、前記遠隔操縦者通信装置のそれぞれから識別情報を取得する処理と、前記複数の作業者通信装置及び前記遠隔ロボット通信装置のそれぞれの前記位置情報、及び、前記範囲に係る情報に基づいて、前記遠隔ロボット通信装置を中心とする前記範囲に属する前記作業者通信装置にチャネルを割り当てるとともに、前記複数の作業者通信装置、前記遠隔操縦者通信装置、及び、前記遠隔ロボット通信装置のそれぞれの前記識別情報、及び、前記識別情報組み合わせに基づいて、前記識別情報組み合わせに該当する前記識別情報に係る前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に前記チャネルを割り当てる処理と、前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置からの情報を取得して取得元以外の前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に転送する処理と、を前記コンピュータに実行させる。
【0014】
なお、プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。また、本開示では、コンピュータプログラム製品として具現することも可能である。プログラムは、コンピュータ装置に入力装置又は外部から通信インタフェイスを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インタフェイスを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備える。
【発明の効果】
【0015】
前記第1~第4の視点によれば、意思疎通が必要な相手とリアルタイムかつ効率的に意思疎通を行うことに貢献することができる。
【図面の簡単な説明】
【0016】
【
図1】実施形態1に係るコミュニケーション支援システムの構成及び使用態様の一例を模式的に示したイメージ図である。
【
図2】実施形態1に係るコミュニケーション支援システムにおける作業者通信装置の構成を模式的に示したブロック図である。
【
図3】実施形態1に係るコミュニケーション支援システムにおける遠隔ロボット通信装置の構成を模式的に示したブロック図である。
【
図4】実施形態1に係るコミュニケーション支援システムにおける遠隔操縦者通信装置の構成を模式的に示したブロック図である。
【
図5】実施形態1に係るコミュニケーション支援システムにおけるコミュニケーション支援装置の構成を模式的に示したブロック図である。
【
図6】実施形態1に係るコミュニケーション支援システムにおけるコミュニケーション支援装置の動作を模式的に示したフローチャート図である。
【
図7】実施形態2に係るコミュニケーション支援システムにおける遠隔操縦者通信装置の構成を模式的に示したブロック図である。
【
図8】実施形態2に係るコミュニケーション支援システムの建設機械搬入時のミュート/非ミュートの状態を模式的に示したイメージ図である。
【
図9】実施形態2に係るコミュニケーション支援システムの玉掛作業時のミュート/非ミュートの状態を模式的に示したイメージ図である。
【
図10】実施形態2に係るコミュニケーション支援システムの巻上作業時のミュート/非ミュートの状態を模式的に示したイメージ図である。
【
図11】実施形態2に係るコミュニケーション支援システムにおけるコミュニケーション支援装置の動作を模式的に示したフローチャート図である。
【
図12】実施形態3に係るコミュニケーション支援システムにおいて作業者に範囲を設定した場合の意思疎通時のイメージ図である。
【
図13】実施形態3に係るコミュニケーション支援システムにおいて作業者に範囲を設定した場合の非意思疎通時のイメージ図である。
【
図14】実施形態4に係るコミュニケーション支援システムにおいて遠隔ロボット及び作業者のそれぞれに範囲を設定する場合の一例のイメージ図である。
【
図15】実施形態5に係るコミュニケーション支援システムにおいて遠隔ロボットの範囲に画角範囲を設定する場合のイメージ図である。
【
図16】実施形態6に係るコミュニケーション支援装置の構成を模式的に示したイメージ図である。
【
図17】ハードウェア資源の構成を模式的に示したブロック図である。
【発明を実施するための形態】
【0017】
以下、実施形態について図面を参照しつつ説明する。なお、本出願において図面参照符号を付している場合は、それらは、専ら理解を助けるためのものであり、図示の態様に限定することを意図するものではない。また、下記の実施形態は、あくまで例示であり、本発明を限定するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インタフェイスも同様である。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備え、コンピュータ装置は、通信インタフェイスを介して装置内又は外部の機器(コンピュータを含む)と、有線、無線を問わず、交信可能に構成される。
【0018】
[実施形態1]
実施形態1に係るコミュニケーション支援システムについて図面を用いて説明する。
図1は、実施形態1に係るコミュニケーション支援システムの構成及び使用態様の一例を模式的に示したイメージ図である。
図2は、実施形態1に係るコミュニケーション支援システムにおける作業者通信装置の構成を模式的に示したブロック図である。
図3は、実施形態1に係るコミュニケーション支援システムにおける遠隔ロボット通信装置の構成を模式的に示したブロック図である。
図4は、実施形態1に係るコミュニケーション支援システムにおける遠隔操縦者通信装置の構成を模式的に示したブロック図である。
図5は、実施形態1に係るコミュニケーション支援システムにおけるコミュニケーション支援装置の構成を模式的に示したブロック図である。
【0019】
コミュニケーション支援システム1は、現場6の遠隔ロボット(60;
図1ではショベルカー)を遠隔地7から操作するときの作業者(
図1では現場作業者3a、3b、誘導者3c)と遠隔操縦者4との間のコミュニケーションを支援するシステムである(
図1参照)。コミュニケーション支援システム1は、現場6(例えば、建設現場、物流現場、倉庫など)で遠隔操縦者4によって操縦される遠隔ロボット60と作業者(3a、3b、3c)とが協働して作業する各種業界(建設業界、運輸業界、倉庫業界等)で用いることができる。遠隔ロボットとして、遠隔操縦により移動して作業を行う産業機械を用いることができ、遠隔操縦可能なショベルカーの他、例えば、遠隔操縦可能なダンプ、クレーン、ドローン、フォークリフト等の無人機を用いることができる。コミュニケーション支援システム1は、作業者通信装置10と、遠隔ロボット通信装置20と、遠隔操縦者通信装置30と、コミュニケーション支援装置40と、ネットワーク50と、を備える。
【0020】
作業者通信装置10は、現場6にいる作業者(3a、3b、3c)が使用する通信装置である(
図1、
図2参照)。作業者通信装置10は、現場6にいる作業者(3a、3b、3c)の位置情報の取得、作業者(3a、3b、3c)の識別情報の取得、意思疎通(音声通話、ビデオ通話、チャット等)を実現するために作業者(3a、3b、3c)に付帯して用いられる。作業者通信装置10として、例えば、スマートフォン単体、マイク付きイヤホンが有線接続されたスマートフォン、ウェアラブルデバイス(例えば、スマートグラス、ヘッドセット、マイク付きワイヤレスイヤホンなど)が無線接続(例えば、Bluetooth(登録商標)等による接続)されたスマートフォン、ウェアラブルデバイス単体等を用いることができる。作業者通信装置10は、入力部11と、出力部12と、測位部13と、通信部14と、記憶部15と、制御部16と、を備える。
【0021】
入力部11は、音声、画像、テキスト等の情報を取得して作業者通信装置10に入力する機能部である(
図2参照)。入力部11として、例えば、カメラ、マイク、音声認識部、画像認識部、タッチパネル等を用いることができる。入力部11は、主に作業者(3a、3b、3c)の音声、現場6の環境音、作業者(3a、3b、3c)が撮った画像(動画でも可;以下同じ)、入力したテキスト情報、音声認識したテキスト情報、画像認識したテキスト情報、画像認識したジェスチャーに対応する合図情報等の情報を入力するために用いられる。
【0022】
出力部12は、音声、画像、テキスト、振動等の情報を出力する機能部である(
図2参照)。出力部12として、聴覚、視覚、触覚により意思疎通の相手からの情報を伝えるものが用いられ、例えば、ディスプレイ、スピーカ、振動器等を用いることができる。出力部12は、主に通信中の相手(例えば、他人の作業者通信装置10、遠隔ロボット通信装置20、遠隔操縦者通信装置30)からの音声、環境音、画像、テキスト情報、振動等を出力するために用いられる。出力部12は、現実の空間上に意思疎通の相手の通信装置10、20、30からの情報(相手の顔や言葉等)を重畳させて表示出力するものであってもよい。
【0023】
測位部13は、作業者通信装置10(付帯している作業者(3a、3b、3c))の現在位置を測定(特定)する機能部である(
図2参照)。測位方法として、例えば、GPS(Global Positioning System)、GNSS(Global Navigation Satellite System)、受信電波強度、ビーコン信号、3次元センサ等を利用した方法が挙げられる。
【0024】
通信部14は、情報の通信を行う機能部である(
図2参照)。通信部14は、ネットワーク(
図1の50)を介して他の作業者通信装置10、遠隔ロボット通信装置20、遠隔操縦者通信装置30、コミュニケーション支援装置40と通信可能であり、コミュニケーション支援装置40の制御によって通信可能なメンバー(非ミュートとする相手方の通信装置10、20、30)が決定される。通信部14が
図1の範囲70に属する現場作業者3aの作業者通信装置10の通信部14である場合、遠隔ロボット60を操縦する遠隔操縦者4の遠隔操縦者通信装置30、及び、遠隔ロボット60を誘導する誘導者3cの作業者通信装置10のそれぞれと通信可能である。
【0025】
記憶部15は、情報(データ、プログラム等)を記憶する機能部である(
図2参照)。記憶部15は、識別ラベル17を記憶する。識別ラベル17は、作業者通信装置10を付帯している作業者(3a、3b、3c)の識別情報(例えば、役割名、名前、社員番号等)である。役割名として、例えば、現場作業者、誘導者、作業指示者、玉掛作業者、現場監督等が挙げられる。また、識別ラベル17には、作業者が担当している遠隔ロボット60の識別情報、現場6の識別情報等を含んでいてもよい。
【0026】
制御部16は、入力部11、出力部12、測位部13、通信部14、及び記憶部15を制御する機能部である(
図2参照)。制御部16は、記憶部15に記憶されたプログラムを実行することにより所定の情報処理を行う。
【0027】
遠隔ロボット通信装置20は、現場6の遠隔ロボット60に搭載された通信装置である(
図1、
図3参照)。遠隔ロボット通信装置20は、遠隔ロボット60の位置情報の取得、遠隔ロボット60の識別情報の取得、遠隔ロボット60の周辺の情報(環境音、画像等)を取得するために遠隔ロボット60に付帯して用いられる。作業者通信装置10として、例えば、カメラとマイクと測位装置とコンピュータとを備えた通信装置等を用いることができる。なお、遠隔ロボット60は無人機であるので、遠隔ロボット通信装置20は、人に対するインタフェイスを有さなくてもよい。遠隔ロボット通信装置20は、入力部21と、出力部22と、測位部23と、通信部24と、記憶部25と、制御部26と、を備える。
【0028】
入力部21は、遠隔ロボット60の周辺の情報(画像、環境音等)を取得して遠隔ロボット通信装置20に入力する機能部である(
図3参照)。入力部21として、例えば、RGB(Red-Green-Blue)カメラ、マイク等を用いることができる。なお、遠隔ロボット60は無人機であるので、入力部21は、人に対するインタフェイスを有さなくてもよいが、入力部21から取得した音声を遠隔操縦者通信装置30に送信するようにしてもよい。入力部21は、主に遠隔ロボット60(操縦席に相当する箇所)から見た現場6の画像、環境音等の情報を入力するために用いられる。
【0029】
出力部22は、画像、文字、音等の情報を出力する機能部である(
図3参照)。出力部22として、視覚、聴覚により遠隔ロボット60の周辺の作業者(3a、3b、3c)に情報を伝えるものが用いられ、例えば、表示板、クラクション等を用いることができ、遠隔ロボット60に備わっているものを利用してもよい。クラクション等の建設現場で発する音声は、ソフトウェア上で疑似的に再現してもよい。出力部22は、遠隔操縦者通信装置30からの遠隔操縦者4の音声をスピーカから出力してもよい。出力部22は、主に遠隔操縦者通信装置30からの遠隔操縦者4の音声、画像、テキスト情報等を出力するために用いられる。
【0030】
測位部23は、遠隔ロボット通信装置20(付帯している遠隔ロボット60)の現在位置を測定(特定)する機能部である(
図3参照)。測位方法として、例えば、GPS、GNSS、受信電波強度、ビーコン信号、3次元センサ等を利用した方法が挙げられる。
【0031】
通信部24は、情報の通信を行う機能部である(
図3参照)。通信部24は、ネットワーク(
図1の50)を介して作業者通信装置10、遠隔ロボット通信装置20、遠隔操縦者通信装置30、コミュニケーション支援装置40と通信可能であり、コミュニケーション支援装置40の制御によって通信可能なメンバー(非ミュートとする通信装置10、20、30)が選択される。通信部24は、
図1では、遠隔ロボット60を操縦する遠隔操縦者4の遠隔操縦者通信装置30、及び、遠隔ロボット60を誘導する誘導者3cの作業者通信装置10のそれぞれと通信可能である。
【0032】
記憶部25は、情報(データ、プログラム等)を記憶する機能部である(
図3参照)。記憶部25は、識別ラベル27を記憶する。識別ラベル27は、遠隔ロボット通信装置20を付帯している遠隔ロボット60の識別情報(例えば、機械名、番号等)である。識別ラベル27には、遠隔ロボット60の識別情報の他、遠隔ロボット60を担当している作業者3a、3b、3cや遠隔操縦者4の識別情報、現場6の識別情報等を含んでいてもよい。
【0033】
制御部26は、入力部21、出力部22、測位部23、通信部24、及び記憶部25を制御する機能部である(
図3参照)。制御部26は、記憶部25に記憶されたプログラムを実行することにより所定の情報処理を行う。
【0034】
遠隔操縦者通信装置30は、遠隔地7にいる遠隔操縦者4が使用する通信装置である(
図1、
図4参照)。遠隔操縦者通信装置30は、遠隔地7にいる遠隔操縦者4の意思疎通(音声通話、ビデオ通話、チャット等)や遠隔ロボット60の操縦を実現するために遠隔操縦者4に付帯して用いられる。遠隔操縦者通信装置30として、例えば、ウェアラブルデバイス(例えば、スマートグラス、ヘッドセット、マイク付きイヤホン)や遠隔ロボット60の操縦装置が有線又は無線接続された通信装置等を用いることができる。遠隔操縦者通信装置30は、入力部31と、出力部32と、操縦部33と、通信部34と、記憶部35と、制御部36と、を備える。
【0035】
入力部31は、音声、画像、テキスト等の情報を取得して遠隔操縦者通信装置30に入力する機能部である(
図4参照)。入力部31として、例えば、カメラ、マイク、音声認識部、画像認識部、タッチパネル等を用いることができる。入力部31は、主に遠隔操縦者4の音声、入力したテキスト情報、音声認識したテキスト情報、画像認識したテキスト情報、画像認識したジェスチャーに対応する合図情報等の情報を入力するために用いられる。
【0036】
出力部32は、音声、画像、テキスト等の情報を出力する機能部である(
図4参照)。出力部32として、聴覚、視覚により意思疎通の相手からの情報を伝えるものが用いられ、例えば、ディスプレイ、スピーカ等を用いることができる。出力部32は、主に通信中の相手(例えば、作業者通信装置10、遠隔ロボット通信装置20)からの音声、環境音、画像、テキスト情報等を出力するために用いられる。
【0037】
操縦部33は、遠隔操縦者4が遠隔地7から遠隔ロボット60を操縦するための機能部である(
図4参照)。操縦部33として、例えば、遠隔操縦装置を用いることができる。
【0038】
通信部34は、情報の通信を行う機能部である(
図4参照)。通信部34は、ネットワーク(
図1の50)を介して作業者通信装置10、遠隔ロボット通信装置20、コミュニケーション支援装置40と通信可能であり、コミュニケーション支援装置40の制御によって通信可能なメンバー(非ミュートとする通信装置10、20、30)が決定される。通信部34は、
図1の例では、範囲70に属する現場作業者3aの作業者通信装置10、遠隔ロボット通信装置20、及び、遠隔ロボット60を誘導する誘導者3cの作業者通信装置10のそれぞれと通信可能である。
【0039】
記憶部35は、情報(データ、プログラム等)を記憶する機能部である(
図4参照)。記憶部35は、識別ラベル37を記憶する。識別ラベル37は、遠隔操縦者通信装置30を付帯している遠隔操縦者4の識別情報(例えば、役割、名前、社員番号、等)である。識別ラベル37には、遠隔操縦者4の識別情報の他、担当している遠隔ロボット60の識別情報、現場6の識別情報等を含んでいてもよい。
【0040】
制御部36は、入力部31、出力部32、操縦部33、通信部34、及び記憶部35を制御する機能部である(
図4参照)。制御部36は、記憶部35に記憶されたプログラムを実行することにより所定の情報処理を行う。
【0041】
コミュニケーション支援装置40は、通信可能にする通信装置10、20、30にチャネルを割り当てて作業者(3a、3b、3c)と遠隔操縦者4との間のコミュニケーションを支援する装置である(
図1、
図5参照)。コミュニケーション支援装置40は、現場6にいる作業者3a、3b、3c(作業者通信装置10)及び遠隔ロボット60(遠隔ロボット通信装置20)の各位置情報及び各識別情報に基づいて、遠隔操縦者4(遠隔操縦者通信装置30)と意思疎通が必要な作業者3a、3b、3c(作業者通信装置10)や別の遠隔操縦者(現場6に遠隔ロボット60とは別の遠隔ロボットがある場合の別の遠隔操縦者;別の遠隔操縦者通信装置)にチャネルを割り当て、割り当てられたチャネルの作業者3a、3b、3cや別の遠隔操縦者に対して遠隔操縦者4と意思疎通を可能にする。コミュニケーション支援装置40として、例えば、サーバ装置、パーソナルコンピュータ等を用いることができる。コミュニケーション支援装置40は、記憶されている所定のプログラムを実行することにより、仮想的に、範囲管理部41と、識別情報組み合わせ管理部42と、位置情報取得部43と、識別情報取得部44と、チャネル割当部45と、情報転送部46と、を備えた構成を実現する。
【0042】
範囲管理部41は、遠隔ロボット60(遠隔ロボット通信装置20)に対してコミュニケーションを可能にする範囲70(領域)に係る情報を管理する機能部である(
図5参照)。範囲70に係る情報として、例えば、範囲70の中心になる対象物(
図1では遠隔ロボット60)と、中心からの半径と、を設定することができ、2次元的な範囲(領域)だけでなく3次元的な範囲(空間)を設定してもよい。範囲70に係る情報は、例えば、ソフトウェア上のGUI(Graphical User Interface)操作によって設定するようにしてもよい。また、範囲70に係る情報として、現場6において設定可能な範囲70の数の上限や、範囲70の有効期限等を設定するようにしてもよい。範囲70に係る情報は、予め設定されるが、コミュニケーション支援装置40のユーザ、管理者等によって変更できるようにしてもよい。
【0043】
識別情報組み合わせ管理部42は、遠隔ロボット60(遠隔ロボット通信装置20)に対してコミュニケーションを可能にする作業者(3a、3b、3c;作業者通信装置10)のいずれか、及び、遠隔操縦者4(遠隔操縦者通信装置30)の各識別情報を組み合わせた識別情報組み合わせを管理する機能部である(
図5参照)。識別情報組み合わせ管理部42には、範囲管理部41で管理される範囲70に属するか否かを問わず、遠隔ロボット60に対してコミュニケーションを可能にする作業者(3a、3b、3c)、遠隔操縦者4の各識別情報の組み合わせが設定されている。識別情報の組み合わせは、意思疎通の必要性に応じて自由に設定することができる。識別情報の組み合わせとして、
図1の例では、遠隔ロボット60の識別情報と、遠隔操縦者4の役割に関する識別情報と、誘導者3cの役割に関する識別情報と、の組み合わせとなるが、その他の組み合わせでもよい。また、識別情報組み合わせ管理部42には、識別情報の組み合わせに関する有効期限等を設定するようにしてもよい。識別情報の組み合わせは、予め設定されるが、コミュニケーション支援装置40のユーザ、管理者等によって変更できるようにしてもよい。
【0044】
位置情報取得部43は、作業者3a、3b、3c及び遠隔ロボット60の各通信装置10、20から位置情報を取得する機能部である(
図5参照)。
【0045】
識別情報取得部44は、作業者3a、3b、3c、遠隔ロボット60、及び遠隔操縦者の各通信装置10、20、30から識別情報を取得する機能部である(
図5参照)。
【0046】
チャネル割当部45は、通信可能にする通信装置10、20、30にチャネルを割り当てる機能部である(
図5参照)。チャネル割当部45は、意思疎通が必要な通信装置10、20、30を判定してチャネルを割り当てる機能を備える。チャネル割当部45は、
図1の例では、現場6に存在する作業者3a、3b、3c(作業者通信装置10)及び遠隔ロボット60(遠隔ロボット通信装置20)の各位置情報と、範囲管理部41で管理された範囲70に係る情報と、に基づいて、遠隔ロボット60を中心とする範囲70に属する現場作業者3a及び遠隔ロボット60の各通信装置10、20にチャネルを割り当てる。チャネル割当部45は、
図1の例では、作業者3a、3b、3c(作業者通信装置10)、遠隔操縦者4(遠隔操縦者通信装置30)、及び遠隔ロボット60(遠隔ロボット通信装置20)の各識別情報と、識別情報組み合わせ管理部42で管理された識別情報組み合わせと、に基づいて、識別情報組み合わせに該当する識別情報の誘導者3c、遠隔ロボット60及び遠隔操縦者4の各通信装置10、20、30にチャネル(先のチャネルと同一のチャネル)を割り当てる。なお、前者の割り当てと後者の割り当てで重複する通信装置(
図1の例では遠隔ロボット60の遠隔ロボット通信装置20)があってもかまわない。後者の割り当てを一時的に行わないようにしてもよい。チャネル割当部45は、チャネルに割り当てられた各通信装置(
図1の例では、現場作業者3a及び誘導者3cの各作業者通信装置10、遠隔ロボット通信装置20、遠隔操縦者通信装置30)間での通信(意思疎通)を可能にする。チャネル割当部45は、
図1の例のように、チャネルが割り当てられていない(範囲70の中に存在せず、かつ、識別情報の組み合わせに該当しない)現場作業者3bの作業者通信装置10と、チャネルが割り当てられた各通信装置(現場作業者3a及び誘導者3cの各作業者通信装置10、遠隔ロボット通信装置20、遠隔操縦者通信装置30)との間で通信を行えないようにする。チャネル割当部45は、同時に複数のチャネルに割り当てられた通信装置が存在する場合、それぞれのチャネルでの通信を可能にする。なお、範囲70の位置は遠隔ロボット60の位置に応じてリアルタイムで移動するので、割り当てられていたチャネルで通信可能だった作業者の作業者通信装置10の位置が範囲70外になると、当該作業者の作業者通信装置10は当該チャネルでの通信が行えなくなる。
【0047】
情報転送部46は、チャネルが割り当てられた各通信装置10、20、30からの情報を取得して当該チャネルが割り当てられた取得元以外の各通信装置10、20、30に転送する機能部である(
図5参照)。情報転送部46は、音声データを転送する際、範囲70の基準となる遠隔ロボット60からの距離に応じて音量の重み付けをして転送するようにしてもよい。例えば、ある遠隔操縦者4に対して、遠隔ロボット60の近くにいる現場作業者の音声を大きく、遠隔ロボット60の遠くにいる別の現場作業者の音声を小さくするようにしてもよい。
【0048】
ネットワーク50は、作業者通信装置10、遠隔ロボット通信装置20、遠隔操縦者通信装置30、及びコミュニケーション支援装置40を通信可能に接続する情報通信網である(
図1参照)。ネットワーク50として、例えば、PAN(Personal Area Network)、LAN(Local Area Network)、MAN(Metropolitan Area Network)、WAN(Wide Area Network)、GAN(Global Area Network)等の通信網を用いることができる。
【0049】
実施形態1に係るコミュニケーション支援システムにおけるコミュニケーション支援装置の動作について図面を用いて説明する。
図6は、実施形態1に係るコミュニケーション支援システムにおけるコミュニケーション支援装置の動作を模式的に示したフローチャート図である。なお、コミュニケーション支援システムの構成については、
図1~
図5を参照されたい。
【0050】
まず、コミュニケーション支援装置40の範囲管理部41は、遠隔ロボット60に対してコミュニケーションを可能にする範囲70(領域)に係る情報を登録する(ステップA1)。範囲70に係る情報の登録は、コミュニケーション支援装置40のユーザの操作や、コミュニケーション支援装置40と通信可能に接続された外部の端末(図示せず)からの操作により行うことができる。
【0051】
次に、コミュニケーション支援装置40の識別情報組み合わせ管理部42は、遠隔ロボット60に対してコミュニケーションを可能にする作業者(3a、3b、3c)、遠隔操縦者4の各識別情報の組み合わせを登録する(ステップA2)。識別情報の組み合わせの登録は、コミュニケーション支援装置40のユーザの操作や、コミュニケーション支援装置40と通信可能に接続された外部の端末(図示せず)からの操作により行うことができる。
【0052】
ステップA2の後、又は、終了指示なしの場合(ステップA7のNO)、コミュニケーション支援装置40の位置情報取得部43は、作業者3a、3b、3c及び遠隔ロボット60の各通信装置10、20から位置情報を取得する(ステップA3)。なお、ここでは遠隔操縦者4の遠隔操縦者通信装置30からの位置情報の取得を省略しているが取得してもよい。
【0053】
ステップA3の後、コミュニケーション支援装置40の識別情報取得部44は、作業者3a、3b、3c、遠隔ロボット60、及び遠隔操縦者の各通信装置10、20、30から識別情報を取得する(ステップA4)。
【0054】
ステップA4の後、コミュニケーション支援装置40のチャネル割当部45は、作業者通信装置10、遠隔ロボット通信装置20及び遠隔操縦者通信装置30の各位置情報及び各識別情報と、範囲管理部41で登録された範囲70に係る情報と、識別情報組み合わせ管理部42で登録された識別情報の組み合わせと、に基づいて、通信可能にする通信装置10、20、30にチャネルを割り当てる(ステップA5)。チャネルの割り当ては、
図1の例では、現場6に存在する作業者3a、3b、3c(作業者通信装置10)及び遠隔ロボット60(遠隔ロボット通信装置20)の各位置情報と、範囲管理部41に登録された範囲70に係る情報と、に基づいて、遠隔ロボット60を中心とする範囲70に属する現場作業者3a及び遠隔ロボット60の各通信装置10、20にチャネルを割り当てる。また、チャネルの割り当ては、
図1の例では、作業者3a、3b、3c(作業者通信装置10)、遠隔操縦者4(遠隔操縦者通信装置30)、及び遠隔ロボット60(遠隔ロボット通信装置20)の各識別情報と、識別情報組み合わせ管理部42で管理された識別情報の組み合わせと、に基づいて、識別情報組み合わせに該当する識別情報の誘導者3c、遠隔ロボット60及び遠隔操縦者4の各通信装置10、20、30にチャネル(先のチャネルと同一のチャネル)を割り当てる。これにより、チャネルに割り当てられた各通信装置(
図1の例では、現場作業者3a及び誘導者3cの各作業者通信装置10、遠隔ロボット通信装置20、遠隔操縦者通信装置30)間での通信(意思疎通)が可能になる。
【0055】
ステップA5の後、コミュニケーション支援装置40の情報転送部46は、チャネルが割り当てられた各通信装置10、20、30からの情報(音声データ、画像、テキストデータ等)を取得して当該チャネルが割り当てられた他の各通信装置10、20、30に転送する(ステップA6)。なお、取得した情報は、ここではそのまま転送しているが、解析、合成、加工等を行ってから転送するようにしてもよい。
【0056】
ステップA6の後、コミュニケーション支援装置40は、ステップA3~ステップA6の過程で終了指示があった否かを判断する(ステップA7)。終了指示は、チャネルが割り当てられた通信装置10、20、30からのコミュニケーション支援を終了させる指示である。終了指示がない場合(ステップA7のNO)、ステップA3に戻る。終了指示があった場合(ステップA7のYES)、終了する。
【0057】
実施形態1によれば、各通信装置10、20の各位置情報、及び、各通信装置10、20、30の各識別情報に基づいて、意思疎通が可能になるチャネルを自動的かつ動的に割り当てているので、作業者自身でチャネルを切り替える操作が不要となり、意思疎通が必要な相手とリアルタイムかつ効率的に意思疎通を行うことに貢献することができる。
【0058】
また、実施形態1によれば、各通信装置10、20の各位置情報に基づいて、意思疎通が可能になるチャネルを自動的かつ動的に割り当てているので、作業者3a、3b、3cの不注意や意思疎通の齟齬に起因する接触事故などの災害のリスクの低減が期待できる。
【0059】
さらに、実施形態1によれば、各通信装置10、20、30の各識別情報に基づいて、意思疎通が可能になるチャネルを自動的かつ動的に割り当てているので、ネットワーク50の負荷を軽減でき、高品質な通信の利用が期待できる。
【0060】
[実施形態2]
実施形態2に係るコミュニケーション支援システムについて図面を用いて説明する。
図7は、実施形態2に係るコミュニケーション支援システムにおける遠隔操縦者通信装置の構成を模式的に示したブロック図である。
図8は、実施形態2に係るコミュニケーション支援システムの建設機械搬入時のミュート/非ミュートの状態を模式的に示したイメージ図である。
図9は、実施形態2に係るコミュニケーション支援システムの玉掛作業時のミュート/非ミュートの状態を模式的に示したイメージ図である。
図10は、実施形態2に係るコミュニケーション支援システムの巻上作業時のミュート/非ミュートの状態を模式的に示したイメージ図である。
【0061】
実施形態2は、実施形態1の変形例であり、作業内容に応じて、範囲の大きさ(
図10の範囲70、巻上作業用範囲71参照)、及び、識別情報の組み合わせ(
図8、
図9の現場指示者3d、玉掛作業者3e参照)を自動的に変動させるために、コミュニケーション支援装置40において作業情報取得部47を追加したものである(
図7参照)。
【0062】
作業情報取得部47は、作業者3d、3f、3e、遠隔ロボット61、及び遠隔操縦者4のいずれかの通信装置(10、20又は30)から作業情報を取得する機能部である。作業情報取得部47は、取得した作業情報がテキストデータである場合にはテキストデータをそのまま用いる。作業情報取得部47は、取得した作業情報が音声データである場合には、音声認識する。作業情報取得部47は、取得した作業情報が画像データである場合には、画像認識する。作業情報取得部47は、作業者等(作業者通信装置10等)の手動によって作業情報を取得してもよく、音声認識や画像認識によって作業情報を自動的に取得してもよい。
【0063】
範囲管理部41には、作業内容(作業情報)に応じた範囲70、巻上作業用範囲71に係る各情報が設定されている。範囲70、巻上作業用範囲71に係る各情報は、作業内容が広い範囲に及ぶ場合には中心(遠隔ロボット61)からの半径を大きくし(
図10の巻上作業用範囲71参照)、作業内容が狭い範囲にしか及ばない場合には中心(遠隔ロボット61)からの半径を小さくする(
図8、
図9の範囲70参照)ように設定される。例えば、作業情報が掘削作業の場合、中心(遠隔削岩機)から近い距離に存在する作業者のみと通信できるよう範囲を設定し、作業内容が発破作業の場合、中心(遠隔削岩機)から遠い距離に存在する作業者と通信できるように範囲を設定することができる。範囲の変更は、
図10のような範囲70から巻上作業用範囲71への1段階の変更だけでなく、作業の危険性に応じて2段階以上の変更であってもよい。
【0064】
識別情報組み合わせ管理部42には、作業内容(作業情報)に応じた識別情報の組み合わせが設定されている。識別情報の組み合わせは、
図8~
図10の例では、作業内容に関連性がある役割の作業者(3d、3e、3fのいずれかの作業者通信装置10)、遠隔ロボット61(遠隔ロボット通信装置)及び遠隔操縦者4(遠隔操縦者通信装置30)の各識別情報の組み合わせとすることができる。
【0065】
チャネル割当部45は、通信装置10、20、30の各位置情報及び各識別情報と、作業情報取得部47で取得した作業情報と、範囲管理部41で登録された作業内容に応じた範囲70に係る情報と、識別情報組み合わせ管理部42で登録された作業内容に応じた識別情報の組み合わせと、に基づいて、通信可能にする通信装置10、20、30にチャネルを割り当てる。
【0066】
例えば、
図8のように、遠隔ロボット61の搬入時では、範囲管理部41において、作業内容が搬入時の範囲70に係る情報(中心になる対象物が遠隔ロボット61、中心からの半径)を設定しておき、識別情報組み合わせ管理部42において、作業内容が搬入時の識別情報の組み合わせ(指示者3d(作業者通信装置10)の識別情報と、遠隔ロボット61(遠隔ロボット通信装置20)の識別情報と、遠隔操縦者4(遠隔操縦者通信装置30)の識別情報と、の組み合わせ)を設定しておく。作業情報取得部47が、例えば、指示者3dの作業者通信装置10からの作業情報(作業内容が遠隔ロボット搬入)を取得し、位置情報取得部43が通信装置10、20、30の各位置情報を取得し、識別情報取得部44が通信装置10、20、30の各識別情報を取得すると、チャネル割当部45は、取得した各作業情報及び各識別情報と、搬入時の範囲70に係る情報と、搬入時の識別情報の組み合わせと、に基づいて、作業指示者3d(作業者通信装置10)、遠隔ロボット61(遠隔ロボット通信装置20)、及び、遠隔操縦者4(遠隔操縦者通信装置30)にチャネルを割り当てる。これにより、搬入時の範囲70に係る情報、及び、搬入時の識別情報の組み合わせに含まれる、作業指示者3d(作業者通信装置10)、遠隔ロボット61(遠隔ロボット通信装置20)、及び、遠隔操縦者4(遠隔操縦者通信装置30)間で通信可能となる。搬入時の範囲70に係る情報、及び、搬入時の識別情報の組み合わせに含まれていない玉掛作業者3e及び現場作業者3fは、作業指示者3d及び遠隔操縦者4と通信を行うことができない。
【0067】
遠隔ロボット61の搬入が完了し、
図9のように、玉掛作業へと移行する場合は、範囲管理部41において、作業内容が玉掛作業時の範囲70に係る情報(中心になる対象物が遠隔ロボット61、中心からの半径)を設定しておき、識別情報組み合わせ管理部42において、作業内容が玉掛作業時の識別情報の組み合わせ(指示者3d(作業者通信装置10)の識別情報と、玉掛作業者3e(作業者通信装置10)の識別情報と、遠隔ロボット61(遠隔ロボット通信装置20)の識別情報と、遠隔操縦者4(遠隔操縦者通信装置30)の識別情報と、の組み合わせ)を設定しておく。作業情報取得部47が、例えば、指示者3dの作業者通信装置10からの作業情報(作業内容が玉掛作業)を取得し、位置情報取得部43が通信装置10、20、30の各位置情報を取得し、識別情報取得部44が通信装置10、20、30の各識別情報を取得すると、チャネル割当部45は、取得した各作業情報及び各識別情報と、玉掛作業時の範囲70に係る情報と、玉掛作業時の識別情報の組み合わせと、に基づいて、作業指示者3d(作業者通信装置10)、玉掛作業者3e(作業者通信装置10)、遠隔ロボット61(遠隔ロボット通信装置20)、及び、遠隔操縦者4(遠隔操縦者通信装置30)にチャネルを割り当てる。これにより、玉掛作業時の範囲70に係る情報、及び、玉掛作業時の識別情報の組み合わせに含まれる、作業指示者3d(作業者通信装置10)、玉掛作業者3e(作業者通信装置10)、遠隔ロボット61(遠隔ロボット通信装置20)、及び、遠隔操縦者4(遠隔操縦者通信装置30)間で通信可能となる。玉掛作業時の範囲70に係る情報、及び、玉掛作業時の識別情報の組み合わせに含まれていない現場作業者3fは、作業指示者3d、玉掛作業者3e及び遠隔操縦者4と通信を行うことができない。
【0068】
玉掛作業が完了し、
図10のように、巻上作業へと移行する場合は、周囲に対して広く注意喚起をするために、範囲管理部41において、作業内容が巻上作業時の巻上作業用範囲71に係る情報(中心になる対象物が遠隔ロボット61、中心からの半径(範囲70の半径よりも大きい半径))を設定しておき、識別情報組み合わせ管理部42において、作業内容が巻上作業時の識別情報の組み合わせ(指示者3d(作業者通信装置10)の識別情報と、玉掛作業者3e(作業者通信装置10)の識別情報と、遠隔ロボット61(遠隔ロボット通信装置20)の識別情報と、遠隔操縦者4(遠隔操縦者通信装置30)の識別情報と、の組み合わせ)を設定しておく。作業情報取得部47が、例えば、指示者3dの作業者通信装置10からの作業情報(作業内容が巻上作業)を取得し、位置情報取得部43が通信装置10、20、30の各位置情報を取得し、識別情報取得部44が通信装置10、20、30の各識別情報を取得すると、チャネル割当部45は、取得した各作業情報及び各識別情報と、巻上作業時の範囲70に係る情報と、巻上作業時の識別情報の組み合わせと、に基づいて、作業指示者3d(作業者通信装置10)、玉掛作業者3e(作業者通信装置10)、現場作業者3f(作業者通信装置10)、遠隔ロボット61(遠隔ロボット通信装置20)、及び、遠隔操縦者4(遠隔操縦者通信装置30)にチャネルを割り当てる。これにより、巻上作業時の範囲70に係る情報、及び、玉掛作業時の識別情報の組み合わせに含まれる、作業指示者3d(作業者通信装置10)、玉掛作業者3e(作業者通信装置10)、現場作業者3f(作業者通信装置10)、遠隔ロボット61(遠隔ロボット通信装置20)、及び、遠隔操縦者4(遠隔操縦者通信装置30)間で通信可能となる。なお、
図10の例では、巻上作業時の範囲70に係る情報、及び、巻上作業時の識別情報の組み合わせに含まれていない作業者等はいない。
【0069】
実施形態2のその他の構成は、実施形態1(
図1~
図4参照)と同様である。
【0070】
実施形態2に係るコミュニケーション支援システムにおけるコミュニケーション支援装置の動作について図面を用いて説明する。
図11は、実施形態2に係るコミュニケーション支援システムにおけるコミュニケーション支援装置の動作を模式的に示したフローチャート図である。なお、コミュニケーション支援システムの構成については、
図1~
図4及び
図7を参照されたい。
【0071】
まず、コミュニケーション支援装置40の範囲管理部41は、作業内容に応じた範囲70及び巻上作業用範囲71に係る情報を登録する(ステップB1)。
【0072】
次に、コミュニケーション支援装置40の識別情報組み合わせ管理部42は、作業内容に応じた識別情報の組み合わせを登録する(ステップB2)。
【0073】
ステップB2の後、又は、終了指示なしの場合(ステップB8のNO)、コミュニケーション支援装置40の作業情報取得部47は、作業者3d、3f、3e、遠隔ロボット61、及び遠隔操縦者4のいずれかの通信装置(10、20又は30)から作業情報を取得する(ステップB3)。
【0074】
ステップB3の後、コミュニケーション支援装置40の位置情報取得部43は、作業者3d、3e、3f及び遠隔ロボット61の各通信装置10、20から位置情報を取得する(ステップB4)。
【0075】
ステップB4の後、コミュニケーション支援装置40の識別情報取得部44は、作業者3d、3e、3f、遠隔ロボット61、及び遠隔操縦者の各通信装置10、20、30から識別情報を取得する(ステップB5)。
【0076】
ステップB5の後、コミュニケーション支援装置40のチャネル割当部45は、作業情報と、作業者通信装置10、遠隔ロボット通信装置20及び遠隔操縦者通信装置30の各位置情報及び各識別情報と、範囲管理部41で登録された作業内容に応じた範囲(範囲70又は巻上作業用範囲71)に係る情報と、識別情報組み合わせ管理部42で登録された作業内容に応じた識別情報の組み合わせと、に基づいて、通信可能にする通信装置10、20、30にチャネルを割り当てる(ステップB6)。チャネルの割り当ては、
図8の例では、作業内容(搬入)と、現場6に存在する作業者3d、3e、3f(作業者通信装置10)及び遠隔ロボット61(遠隔ロボット通信装置20)の各位置情報と、範囲管理部41に登録された遠隔ロボット搬入時の範囲70に係る情報と、に基づいて、遠隔ロボット61を中心とする範囲70に属する遠隔ロボット61の通信装置20にチャネルを割り当てる。また、チャネルの割り当ては、
図8の例では、作業内容(搬入)と、作業者3d、3e、3f(作業者通信装置10)、遠隔操縦者4(遠隔操縦者通信装置30)、及び遠隔ロボット61(遠隔ロボット通信装置20)の各識別情報と、識別情報組み合わせ管理部42で管理された遠隔ロボット搬入時の識別情報の組み合わせと、に基づいて、遠隔ロボット搬入時の識別情報組み合わせに該当する識別情報の指示者3d、遠隔ロボット61及び遠隔操縦者4の各通信装置10、20、30にチャネル(先のチャネルと同一のチャネル)を割り当てる。これにより、チャネルに割り当てられた各通信装置(
図8の例では、指示者3dの作業者通信装置10、遠隔ロボット通信装置20、遠隔操縦者通信装置30)間での通信(意思疎通)が可能になる。
【0077】
ステップB6の後、コミュニケーション支援装置40の情報転送部46は、チャネルが割り当てられた各通信装置10、20、30からの情報(音声データ、画像、テキストデータ等)を取得して当該チャネルが割り当てられた他の各通信装置10、20、30に転送する(ステップB7)。
【0078】
ステップB7の後、コミュニケーション支援装置40は、ステップB3~ステップB7の過程で終了指示があった否かを判断する(ステップB8)。終了指示がない場合(ステップB8のNO)、ステップB3に戻る。終了指示があった場合(ステップB8のYES)、終了する。
【0079】
実施形態2によれば、実施形態1と同様に、意思疎通が必要な相手とリアルタイムかつ効率的に意思疎通を行うことに貢献することができるとともに、作業内容に応じて意思疎通が可能になるチャネルを自動的かつ動的に割り当てているので、作業者自身で作業内容に応じてチャネルを切り替える操作が不要となり、作業内容に応じた意思疎通が必要な相手とリアルタイムかつ効率的に意思疎通を行うことに貢献することができる。
【0080】
[実施形態3]
実施形態3に係るコミュニケーション支援システムについて図面を用いて説明する。
図12は、実施形態3に係るコミュニケーション支援システムにおいて作業者に範囲を設定した場合の意思疎通時のイメージ図である。
図13は、実施形態3に係るコミュニケーション支援システムにおいて作業者に範囲を設定した場合の非意思疎通時のイメージ図である。
【0081】
実施形態3は、実施形態1の変形例であり、範囲80の中心になる対象物を、遠隔ロボット60ではなく、特定の作業者(
図12、
図13では現場作業者3a)としたものである。作業者の範囲80は、1人分だけでなく複数人分あってもよく、現場6にいる作業者全員分であってもよい。作業者の範囲80の大きさは、作業者の役割に応じて変えてもよい。作業者の範囲80に係る情報は、範囲管理部(
図5の41)で管理される。
図12のように作業者の範囲80に遠隔ロボット60が属している場合は、現場作業者3a(作業者通信装置10)、遠隔ロボット60(遠隔ロボット通信装置20)、及び、遠隔操縦者4(遠隔操縦者通信装置30)にチャネルを割り当てて、3者間で意思疎通が可能になる。
図13のように作業者の範囲80に遠隔ロボット60が属していない場合は、遠隔ロボット60(遠隔ロボット通信装置20)、及び、遠隔操縦者4(遠隔操縦者通信装置30)にチャネルを割り当てて、2者間で意思疎通が可能になるが、現場作業者3a(作業者通信装置10)は遠隔ロボット60(遠隔ロボット通信装置20)、及び、遠隔操縦者4(遠隔操縦者通信装置30)と意思疎通を行えない。その他の構成及び動作については、実施形態1と同様である。また、実施形態3は、実施形態2に適用してもよい。
【0082】
実施形態3によれば、実施形態1と同様に、意思疎通が必要な相手とリアルタイムかつ効率的に意思疎通を行うことに貢献することができるとともに、作業者を中心にして意思疎通が可能になるチャネルを自動的かつ動的に割り当てているので、作業者自身でチャネルを切り替える操作が不要となり、意思疎通が必要な相手とリアルタイムかつ効率的に意思疎通を行うことに貢献することができる。
【0083】
[実施形態4]
実施形態4に係るコミュニケーション支援システムについて図面を用いて説明する。
図14は、実施形態4に係るコミュニケーション支援システムにおいて遠隔ロボット及び作業者のそれぞれに範囲を設定する場合の一例のイメージ図である。
【0084】
実施形態4は、実施形態1の変形例であり、遠隔ロボット60、62及び現場作業者3g、3hのそれぞれに範囲70、73及び範囲81、82を設定し、範囲70、73、81、82のいずれか1つに他の範囲70、73、81、82の少なくとも一部が重なったとき(接したときも含む)に、重なった各範囲に係る遠隔ロボット60、62(遠隔ロボット通信装置20)、それらに係る遠隔操縦者(
図4の遠隔操縦者通信装置に相当)、及び現場作業者3g、3h(作業者通信装置10)の間で意思疎通を可能にしたものである。遠隔ロボット60、62の範囲70、73の設定については、実施形態1の遠隔ロボット(
図1の60)の範囲(
図1の70)の設定と同様であり、現場作業者3g、3hの範囲81、82の設定については、実施形態3の現場作業者(
図12の3a)の範囲(
図12の80)の設定と同様である。
【0085】
例えば、
図14のように、現場作業者3gの範囲81内に遠隔ロボット60自身が存在していなくても、遠隔ロボット60の範囲70の少なくとも一部と重なっていれば、現場作業者3g(作業者通信装置10)、遠隔ロボット60(遠隔ロボット通信装置20)、及び遠隔操縦者(
図4の遠隔操縦者通信装置30に相当)間で意思疎通を行うことができる。
図14では現場作業者3gと遠隔ロボット60を例に挙げたが、遠隔ロボット60の範囲70と遠隔ロボット62の範囲73の少なくとも一部が重なった場合には、遠隔ロボット60(遠隔ロボット通信装置20)、遠隔ロボット60に係る遠隔操縦者(
図4の遠隔操縦者通信装置30に相当)、遠隔ロボット62(遠隔ロボット通信装置20)、及び、遠隔ロボット62に係る遠隔操縦者(
図4の遠隔操縦者通信装置30に相当)の間で意思疎通を行うことができる。また、現場作業者3gの範囲81と現場作業者3hの範囲82の少なくとも一部が重なった場合には、現場作業者3g(作業者通信装置10)及び現場作業者3h(作業者通信装置10)の間で意思疎通を行うことができる。
【0086】
また、実施形態4では、遠隔ロボット62について範囲73よりも大きい注意喚起用範囲74を設定し、注意喚起用範囲74のみに範囲70、81、82のいずれかの少なくとも一部が重なったときに、注意喚起用範囲74に係る遠隔ロボット62(遠隔ロボット通信装置20)から、重なった範囲70、81、82に係る遠隔ロボット60(遠隔ロボット通信装置20)、当該遠隔ロボット60に係る遠隔操縦者(
図4の遠隔操縦者通信装置に相当)、及び現場作業者3g、3h(作業者通信装置10)のいずれかに注意喚起情報を送信するようにしている。
【0087】
例えば、
図14のように、遠隔ロボット62について、範囲73の周囲に当該範囲73よりも大きい注意喚起用範囲74を設定した場合、範囲73と現場作業者3hの範囲82が重なる部分がないので、遠隔ロボット62(遠隔ロボット通信装置20)、当該遠隔ロボット62に係る遠隔操縦者(
図4の遠隔操縦者通信装置に相当)、及び現場作業者3h(作業者通信装置10)間で意思疎通を行うことはできないが、注意喚起用範囲74と現場作業者3hの範囲82の少なくとも一部とが重なるので、注意喚起用範囲74に係る遠隔ロボット62(遠隔ロボット通信装置20)から現場作業者3h(作業者通信装置10)に一方的に注意喚起情報を送信することができる。注意喚起情報は、遠隔操縦者(
図4の遠隔操縦者通信装置に相当)やコミュニケーション支援装置(
図4の40)が行ってもよい。注意喚起情報は、クラクション、アラーム等による注意喚起などが挙げられるが、他の手段で用いてもよい。なお、範囲73と現場作業者3hの範囲82の少なくとも一部が重なっていれば、遠隔ロボット62(遠隔ロボット通信装置20)、当該遠隔ロボット62に係る遠隔操縦者(
図4の遠隔操縦者通信装置に相当)、及び現場作業者3h(作業者通信装置10)間で意思疎通を行うことできる。
【0088】
なお、
図14の例では、遠隔ロボット62に範囲73と注意喚起用範囲74の2段階の範囲を設定しているが、3段階以上の範囲を設定してもよい。また、
図14の例では、注意喚起用範囲74のみに現場作業者3hの範囲82の少なくとも一部が重なった場合に遠隔ロボット62(遠隔ロボット通信装置20)等から現場作業者(作業者通信装置10)に注意喚起情報を送信しているが、遠隔ロボット62について範囲73よりも小さい遠隔ロボット停止用範囲(図示せず)を設定して、遠隔ロボット停止用範囲に現場作業者3hの範囲82の少なくとも一部が重なった場合には遠隔ロボット62の動作を強制的に停止させるようにしてもよい。また、段階的な範囲の設定は、現場作業者3g、3hに設定してもよい。さらに、
図14の例では、現場作業者3g、3hに範囲81、82を設定しているが、範囲81、82を設定しないようにしてもよい。
【0089】
その他の構成及び動作については、実施形態1と同様である。また、実施形態4は、実施形態2に適用してもよい。
【0090】
実施形態4によれば、実施形態1と同様に、意思疎通が必要な相手とリアルタイムかつ効率的に意思疎通を行うことに貢献することができるとともに、1つの対象物(遠隔ロボット、現場作業者等)について複数段階の範囲を設定することで、コミュニケーションの注意度のレベルを変化させることができるようになり、現場6での安全な作業に貢献することができる。
【0091】
[実施形態5]
実施形態5に係るコミュニケーション支援システムについて図面を用いて説明する。
図15は、実施形態5に係るコミュニケーション支援システムにおいて遠隔ロボットの範囲に画角範囲を設定する場合のイメージ図である。
【0092】
実施形態5は、実施形態1の変形例であり、遠隔ロボット60の範囲の設定として、遠隔ロボット60を中心とする所定半径の範囲70の設定に加えて、遠隔ロボット60に設置された遠隔ロボット通信装置20の入力部(
図3の21)としてのカメラの画角に画角範囲75を設定したものである。画角範囲75は、主に遠隔ロボット60の作業が行われる方向(例えば、ショベルカーのアームの動作方向)や、進行方向に設定することができる。画角範囲75における視点(カメラ)からの外周の弧までの距離は、範囲70の半径よりも大きく設定することができる。画角範囲75に現場作業者3i(作業者通信装置10)が入ると、遠隔ロボット60(遠隔ロボット通信装置20)、遠隔ロボット60に係る遠隔操縦者(遠隔操縦者通信装置30)、及び、現場作業者3i(作業者通信装置10)間で意思疎通を行うことができる。
【0093】
また、画角範囲75は、遠隔ロボット60の遠隔ロボット通信装置20の入力部(
図3の21)としてのセンサ(例えば、方位センサ、加速度センサ、3次元センサ等)を用いて算出された画角(遠隔ロボット60の向きから左右に所定の角度)、及び、当該センサからの外周の弧までの所定の距離に関する画角範囲75として設定するようにしてもよい。
【0094】
さらに、画角範囲75は、遠隔ロボット60の遠隔ロボット通信装置20の入力部(
図3の21)としてのセンサを用いて検出された遠隔ロボット60の進行方向又は進行速度に基づいて画角範囲75の画角、又は、外周の弧までの距離を変更するようにしてもよい。例えば、遠隔ロボット60の動きが小さいときに角度を小さくするか距離を短くし、遠隔ロボット60の動きが大きいときに角度を大きくするか距離を長くするようにしてもよい。
【0095】
その他の構成及び動作については、実施形態1と同様である。また、実施形態5は、実施形態2~4に適用してもよい。
【0096】
実施形態5によれば、実施形態1と同様に、意思疎通が必要な相手とリアルタイムかつ効率的に意思疎通を行うことに貢献することができるとともに、遠隔ロボット60の作業の向きや進行方向に応じて危険度の高い範囲に画角範囲75を大きく設定しているので、コミュニケーションの指向性を持たせることができるようになり、現場6での安全な作業に貢献することができる。
【0097】
[実施形態6]
実施形態6に係るコミュニケーション支援装置について図面を用いて説明する。
図16は、実施形態6に係るコミュニケーション支援装置の構成を模式的に示したイメージ図である。
【0098】
コミュニケーション支援装置40は、作業者及び遠隔操縦者の間のコミュニケーションを支援する装置である。コミュニケーション支援装置40は、範囲管理部41と、識別情報組み合わせ管理部42と、位置情報取得部43と、識別情報取得部44と、チャネル割当部45と、情報転送部46と、を備える。
【0099】
範囲管理部41は、遠隔ロボットに搭載された遠隔ロボット通信装置20に対してコミュニケーションを可能にする範囲に係る情報を管理するように構成されている。
【0100】
識別情報組み合わせ管理部42は、遠隔ロボット通信装置20に対してコミュニケーションを可能にする、作業者が使用する複数の作業者通信装置10のいずれか、及び、遠隔操縦者が使用する遠隔操縦者通信装置30の各識別情報を組み合わせた識別情報組み合わせを管理するように構成されている。
【0101】
位置情報取得部43は、遠隔ロボット通信装置20及び複数の作業者通信装置10のそれぞれから位置情報を取得するように構成されている。
【0102】
識別情報取得部44は、遠隔ロボット通信装置20、複数の作業者通信装置10、及び、遠隔操縦者通信装置30のそれぞれから識別情報を取得するように構成されている。
【0103】
チャネル割当部45は、複数の作業者通信装置10及び遠隔ロボット通信装置20のそれぞれの位置情報、及び、前記範囲に係る情報に基づいて、遠隔ロボット通信装置20を中心とする前記範囲に属する作業者通信装置10にチャネルを割り当てるとともに、複数の作業者通信装置10、遠隔操縦者通信装置30、及び、遠隔ロボット通信装置20のそれぞれの識別情報、及び、前記識別情報組み合わせに基づいて、前記識別情報組み合わせに該当する識別情報に係る作業者通信装置10、遠隔ロボット通信装置20及び遠隔操縦者通信装置30に前記チャネルを割り当てるように構成されている。
【0104】
情報転送部46は、前記チャネルが割り当てられた作業者通信装置10、遠隔ロボット通信装置20及び遠隔操縦者通信装置30からの情報を取得して取得元以外の前記チャネルが割り当てられた作業者通信装置10、遠隔ロボット通信装置20及び遠隔操縦者通信装置30に転送するように構成されている。
【0105】
実施形態6によれば、各通信装置10、20の各位置情報、及び、各通信装置10、20、30の各識別情報に基づいて、意思疎通が可能になるチャネルを自動的かつ動的に割り当てているので、作業者自身でチャネルを切り替える操作が不要となり、意思疎通が必要な相手とリアルタイムかつ効率的に意思疎通を行うことに貢献することができる。
【0106】
なお、実施形態1~6に係るコミュニケーション支援装置及び通信装置は、いわゆるハードウェア資源(情報処理装置、コンピュータ)により構成することができ、
図17に例示する構成を備えたものを用いることができる。例えば、ハードウェア資源100は、内部バス104により相互に接続される、プロセッサ101、メモリ102、ネットワークインタフェイス103等を備える。
【0107】
なお、
図17に示す構成は、ハードウェア資源100のハードウェア構成を限定する趣旨ではない。ハードウェア資源100は、図示しないハードウェア(例えば、入出力インタフェイス)を含んでもよい。あるいは、装置に含まれるプロセッサ101等のユニットの数も
図17の例示に限定する趣旨ではなく、例えば、複数のプロセッサ101がハードウェア資源100に含まれていてもよい。プロセッサ101には、例えば、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、GPU(Graphics Processing Unit)等を用いることができる。
【0108】
メモリ102には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等を用いることができる。
【0109】
ネットワークインタフェイス103には、例えば、LAN(Local Area Network)カード、ネットワークアダプタ、ネットワークインタフェイスカード等を用いることができる。
【0110】
ハードウェア資源100の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ102に格納されたプログラムをプロセッサ101が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェアにおいてソフトウェアが実行されることによって実現できればよい。
【0111】
上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。
【0112】
[付記1]
遠隔ロボットに搭載された遠隔ロボット通信装置に対してコミュニケーションを可能にする範囲に係る情報を管理するように構成された範囲管理部と、
前記遠隔ロボット通信装置に対してコミュニケーションを可能にする、作業者が使用する複数の作業者通信装置のいずれか、及び、遠隔操縦者が使用する遠隔操縦者通信装置の各識別情報を組み合わせた識別情報組み合わせを管理するように構成された識別情報組み合わせ管理部と、
前記遠隔ロボット通信装置及び前記複数の作業者通信装置のそれぞれから位置情報を取得するように構成された位置情報取得部と、
前記遠隔ロボット通信装置、前記複数の作業者通信装置、及び、前記遠隔操縦者通信装置のそれぞれから識別情報を取得するように構成された識別情報取得部と、
前記複数の作業者通信装置及び前記遠隔ロボット通信装置のそれぞれの前記位置情報、及び、前記範囲に係る情報に基づいて、前記遠隔ロボット通信装置を中心とする前記範囲に属する前記作業者通信装置にチャネルを割り当てるとともに、前記複数の作業者通信装置、前記遠隔操縦者通信装置、及び、前記遠隔ロボット通信装置のそれぞれの前記識別情報、及び、前記識別情報組み合わせに基づいて、前記識別情報組み合わせに該当する前記識別情報に係る前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に前記チャネルを割り当てるように構成されたチャネル割当部と、
前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置からの情報を取得して取得元以外の前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に転送する情報転送部と、
を備える、コミュニケーション支援装置。
[付記2]
前記作業者通信装置、前記遠隔ロボット通信装置、及び、前記遠隔操縦者通信装置のいずれかから作業情報を取得するように構成された作業情報取得部をさらに備え、
前記範囲管理部は、前記作業情報に応じて大きさが異なる複数の前記範囲に係る情報を管理するように構成され、
前記チャネル割当部は、前記遠隔ロボット通信装置を中心とし、かつ、取得した前記作業情報に対応する前記範囲に属する前記作業者通信装置に前記チャネルを割り当てるように構成されている、
付記1記載のコミュニケーション支援装置。
[付記3]
前記作業者通信装置、前記遠隔ロボット通信装置、及び、前記遠隔操縦者通信装置のいずれかから作業情報を取得するように構成された作業情報取得部をさらに備え、
前記識別情報組み合わせ管理部は、前記作業情報に応じて前記識別情報の組み合わせが異なる複数の前記識別情報組み合わせを管理するように構成され、
前記チャネル割当部は、取得した前記作業情報に対応する前記識別情報組み合わせに該当する前記識別情報に係る前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に前記チャネルを割り当てるように構成されている、
付記1記載のコミュニケーション支援装置。
[付記4]
前記範囲管理部は、前記作業者通信装置に対してコミュニケーションを可能にする他の範囲に係る情報を管理するように構成され、
前記チャネル割当部は、前記複数の作業者通信装置及び前記遠隔ロボット通信装置のそれぞれの前記位置情報、前記範囲に係る情報、及び、前記他の範囲に係る情報に基づいて、前記遠隔ロボット通信装置を中心とする前記範囲と前記作業者通信装置を中心とする前記他の範囲の少なくとも一部とが重なるときの前記作業者通信装置に前記チャネルを割り当てるように構成されている、
付記1記載のコミュニケーション支援装置。
[付記5]
前記範囲管理部は、大きさが異なる複数の前記範囲に係る情報を管理するように構成され、
前記チャネル割当部は、前記遠隔ロボット通信装置を中心とし、かつ、複数の前記範囲のうちのいずれかに属する前記作業者通信装置に前記チャネルを割り当てるように構成され、
前記情報転送部は、前記作業者通信装置が属する複数の前記範囲に応じて異なる情報を送信するように構成されている、
付記1記載のコミュニケーション支援装置。
[付記6]
前記複数の範囲は、前記作業者通信装置に注意喚起情報を送信するための注意喚起用範囲を含み、
前記情報転送部は、前記遠隔ロボット通信装置を中心とする前記注意喚起用範囲のみに属する前記作業者通信装置に前記注意喚起情報を送信するように構成されている、
付記5記載のコミュニケーション支援装置。
[付記7]
前記複数の範囲は、前記遠隔ロボットを停止させる情報を前記遠隔ロボット通信装置に送信するための遠隔ロボット停止範囲を含み、
前記情報転送部は、前記遠隔ロボット通信装置を中心とする前記遠隔ロボット停止範囲に前記作業者通信装置が属するときに前記遠隔ロボットを停止させる情報を前記遠隔ロボット通信装置に送信するように構成されている、
付記6記載のコミュニケーション支援装置。
[付記8]
前記範囲管理部は、前記遠隔ロボットに設置された前記遠隔ロボット通信装置のカメラの画角、及び、前記カメラからの所定の距離に関する画角範囲に係る情報を管理するように構成され、
前記チャネル割当部は、前記画角範囲に属する前記作業者通信装置に前記チャネルを割り当てるように構成されている、
付記1記載のコミュニケーション支援装置。
[付記9]
前記範囲管理部は、前記遠隔ロボットに設置された前記遠隔ロボット通信装置のセンサを用いて算出された画角、及び、前記センサからの所定の距離に関する画角範囲に係る情報を管理するように構成され、
前記チャネル割当部は、前記画角範囲に属する前記作業者通信装置に前記チャネルを割り当てるように構成されている、
付記8記載のコミュニケーション支援装置。
[付記10]
前記範囲管理部は、進行方向又は進行速度に応じて前記画角又は前記距離が異なる複数の前記画角範囲に係る情報を管理するように構成され、
前記チャネル割当部は、前記遠隔ロボットに設置された前記遠隔ロボット通信装置のセンサを用いて算出された進行方向又は進行速度に対応する前記画角範囲に属する前記作業者通信装置に前記チャネルを割り当てるように構成されている、
付記8記載のコミュニケーション支援装置。
[付記11]
付記1乃至10のいずれか一に記載のコミュニケーション支援装置と、
前記複数の作業者通信装置と、
前記遠隔ロボット通信装置と、
前記遠隔操縦者通信装置と、
を備える、
コミュニケーション支援システム。
[付記12]
コンピュータが、遠隔ロボットに搭載された遠隔ロボット通信装置、作業者が使用する複数の作業者通信装置、及び、遠隔操縦者が使用する遠隔操縦者通信装置の間のコミュニケーションを支援するコミュニケーション支援方法であって、
前記遠隔ロボット通信装置に対してコミュニケーションを可能にする範囲に係る情報を登録するステップと、
前記遠隔ロボット通信装置に対してコミュニケーションを可能にする前記複数の作業者通信装置のいずれか、及び、前記遠隔操縦者通信装置の各識別情報を組み合わせた識別情報組み合わせを登録するステップと、
前記遠隔ロボット通信装置及び前記複数の作業者通信装置のそれぞれから位置情報を取得するステップと、
前記遠隔ロボット通信装置、前記複数の作業者通信装置、及び、前記遠隔操縦者通信装置のそれぞれから識別情報を取得するステップと、
前記複数の作業者通信装置及び前記遠隔ロボット通信装置のそれぞれの前記位置情報、及び、前記範囲に係る情報に基づいて、前記遠隔ロボット通信装置を中心とする前記範囲に属する前記作業者通信装置にチャネルを割り当てるとともに、前記複数の作業者通信装置、前記遠隔操縦者通信装置、及び、前記遠隔ロボット通信装置のそれぞれの前記識別情報、及び、前記識別情報組み合わせに基づいて、前記識別情報組み合わせに該当する前記識別情報に係る前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に前記チャネルを割り当てるステップと、
前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置からの情報を取得して取得元以外の前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に転送するステップと、
を含む、コミュニケーション支援方法。
[付記13]
遠隔ロボットに搭載された遠隔ロボット通信装置、作業者が使用する複数の作業者通信装置、及び、遠隔操縦者が使用する遠隔操縦者通信装置の間のコミュニケーションを支援する処理をコンピュータに実行させるプログラムであって、
前記遠隔ロボット通信装置に対してコミュニケーションを可能にする範囲に係る情報を登録する処理と、
前記遠隔ロボット通信装置に対してコミュニケーションを可能にする前記複数の作業者通信装置のいずれか、及び、前記遠隔操縦者通信装置の各識別情報を組み合わせた識別情報組み合わせを登録する処理と、
前記遠隔ロボット通信装置及び前記複数の作業者通信装置のそれぞれから位置情報を取得する処理と、
前記遠隔ロボット通信装置、前記複数の作業者通信装置、及び、前記遠隔操縦者通信装置のそれぞれから識別情報を取得する処理と、
前記複数の作業者通信装置及び前記遠隔ロボット通信装置のそれぞれの前記位置情報、及び、前記範囲に係る情報に基づいて、前記遠隔ロボット通信装置を中心とする前記範囲に属する前記作業者通信装置にチャネルを割り当てるとともに、前記複数の作業者通信装置、前記遠隔操縦者通信装置、及び、前記遠隔ロボット通信装置のそれぞれの前記識別情報、及び、前記識別情報組み合わせに基づいて、前記識別情報組み合わせに該当する前記識別情報に係る前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に前記チャネルを割り当てる処理と、
前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置からの情報を取得して取得元以外の前記チャネルが割り当てられた前記作業者通信装置、前記遠隔ロボット通信装置及び前記遠隔操縦者通信装置に転送する処理と、
を前記コンピュータに実行させる、プログラム。
【0113】
なお、上記の特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示(特許請求の範囲及び図面を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせないし選択(必要により不選択)が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、本願に記載の数値及び数値範囲については、明記がなくともその任意の中間値、下位数値、及び、小範囲が記載されているものとみなされる。さらに、上記引用した文献の各開示事項は、必要に応じ、本願発明の趣旨に則り、本願発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれる(属する)ものと、みなされる。
【符号の説明】
【0114】
1 コミュニケーション支援システム
3a、3b 現場作業者(作業者)
3c 誘導者(作業者)
3d 作業指示者(作業者)
3e 玉掛作業者(作業者)
3f、3g、3h、3i 現場作業者(作業者)
4 遠隔操縦者
6 現場
7、8 遠隔地
10 作業者通信装置
11 入力部
12 出力部
13 測位部
14 通信部
15 記憶部
16 制御部
17 識別ラベル
20 遠隔ロボット通信装置
21 入力部
22 出力部
23 測位部
24 通信部
25 記憶部
26 制御部
27 識別ラベル
30 遠隔操縦者通信装置
31 入力部
32 出力部
33 操縦部
34 通信部
35 記憶部
36 制御部
37 識別ラベル
40 コミュニケーション支援装置
41 範囲管理部
42 識別情報組み合わせ管理部
43 位置情報取得部
44 識別情報取得部
45 チャネル割当部
46 情報転送部
47 作業情報取得部
50 ネットワーク
60、61、62 遠隔ロボット
70 範囲
71 巻上作業用範囲
73 範囲
74 注意喚起用範囲
75 画角範囲
80、81、82 範囲
100 ハードウェア資源
101 プロセッサ
102 メモリ
103 ネットワークインタフェイス
104 内部バス