IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日立GEニュークリア・エナジー株式会社の特許一覧

特開2024-154952現場作業支援装置及び現場作業支援方法
<>
  • 特開-現場作業支援装置及び現場作業支援方法 図1
  • 特開-現場作業支援装置及び現場作業支援方法 図2
  • 特開-現場作業支援装置及び現場作業支援方法 図3
  • 特開-現場作業支援装置及び現場作業支援方法 図4
  • 特開-現場作業支援装置及び現場作業支援方法 図5
  • 特開-現場作業支援装置及び現場作業支援方法 図6
  • 特開-現場作業支援装置及び現場作業支援方法 図7
  • 特開-現場作業支援装置及び現場作業支援方法 図8
  • 特開-現場作業支援装置及び現場作業支援方法 図9
  • 特開-現場作業支援装置及び現場作業支援方法 図10
  • 特開-現場作業支援装置及び現場作業支援方法 図11
  • 特開-現場作業支援装置及び現場作業支援方法 図12
  • 特開-現場作業支援装置及び現場作業支援方法 図13
  • 特開-現場作業支援装置及び現場作業支援方法 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024154952
(43)【公開日】2024-10-31
(54)【発明の名称】現場作業支援装置及び現場作業支援方法
(51)【国際特許分類】
   G06Q 50/04 20120101AFI20241024BHJP
【FI】
G06Q50/04
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023069199
(22)【出願日】2023-04-20
(71)【出願人】
【識別番号】507250427
【氏名又は名称】日立GEニュークリア・エナジー株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】安藤 ハル
(72)【発明者】
【氏名】大城戸 忍
【テーマコード(参考)】
5L049
5L050
【Fターム(参考)】
5L049CC04
5L050CC04
(57)【要約】
【課題】作業班長に代替して作業員に的確な指示をすることによって、作業班長の負担を軽減する。
【解決手段】本発明の現場作業支援装置は、作業現場における作業班長及び作業員の動作又は音声を示す現場情報を取得する入力処理部と、前記作業員に与える指示ポイントを前記取得した現場情報から作成する作業支援部と、前記作業現場から離れて位置し前記作業班長に代替し得る遠隔指示者に、前記作成した指示ポイントを表示する出力処理部と、を備えること、を特徴とする。
【選択図】図1
【特許請求の範囲】
【請求項1】
作業現場における作業班長及び作業員の動作又は音声を示す現場情報を取得する入力処理部と、
前記作業員に与える指示ポイントを前記取得した現場情報から作成する作業支援部と、
前記作業現場から離れて位置し前記作業班長に代替し得る遠隔指示者に、前記作成した指示ポイントを表示する出力処理部と、
を備えること、
を特徴とする現場作業支援装置。
【請求項2】
前記作業支援部は、
複数の前記作業員ごとに優先度を算出し、
前記出力処理部は、
前記作成した指示ポイントに前記算出した優先度を付して表示すること、
を特徴とする請求項1に記載の現場作業支援装置。
【請求項3】
前記作業支援部は、
前記作業員ごとに作業レベルを算出し、前記算出した作業レベルに基づき、前記指示ポイントの表現を決定すること、
を特徴とする請求項2に記載の現場作業支援装置。
【請求項4】
前記作業支援部は、
前記作成した指示ポイントを、前記作業班長が前記作業員に与えるもの、又は、前記遠隔指示者が前記作業員に与えるものに分類すること、
を特徴とする請求項3に記載の現場作業支援装置。
【請求項5】
前記作業支援部は、
前記作業員が放射線に被爆した量に基づき、前記優先度を算出すること、
を特徴とする請求項4に記載の現場作業支援装置。
【請求項6】
前記出力処理部は、
前記作成した指示ポイントを前記作業員に表示すること、
を特徴とする請求項5に記載の現場作業支援装置。
【請求項7】
現場作業支援装置の入力処理部は、
作業現場における作業班長及び作業員の動作又は音声を示す現場情報を取得し、
前記現場作業支援装置の作業支援部は、
前記作業員に与える指示ポイントを前記取得した現場情報から作成し、
前記現場作業支援装置の出力処理部は、
前記作業現場から離れて位置し前記作業班長に代替し得る遠隔指示者に、前記作成した指示ポイントを表示すること、
を特徴とする現場作業支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、現場作業支援装置及び現場作業支援方法に関する。
【背景技術】
【0002】
作業現場において、作業班長の指揮命令系統のもとで、複数の作業員が調和的に作業を行う。作業班長は、適宜のタイミングで個々の作業員に的確な指示を与える。作業員は、指示に従い自身の作業を行う。そのような状況において、作業班長に過度な負担が掛かる傾向がある。なぜならば、作業班長は、そのような指示と同時並行的に、自身の作業も行わなければならない場合もあるからである。肝心なタイミングにおいて、作業班長が作業員に指示を与え損ねると、作業が停滞するだけでなく、安全面の問題も発生する。そこで、作業班長に代わって他の者が作業員に指示を与え、作業班長の負担を軽減する必要がある。
【0003】
特許文献1の指図書作成装置は、特に製品の組立現場において、作業手順及び部品に関する情報を、所定の表示レイアウトを有する雛形に組み込み指図書を作成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2002-259500号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の指図書作成装置は、画一化かつ半自動化された工場内での作業を前提としている。したがって、当該装置は、作業班長以外の者が作業班長の意図を汲み取って作業班長に代わって作業員に指示書を与えるという発想に欠ける。さらに、当該装置は、作業現場において時々刻々と変化する作業班長及び作業員の状況に応じて指図書を作成するという発想にも欠ける。
そこで、本発明は、作業班長に代替して作業員に的確な指示をすることによって、作業班長の負担を軽減することを目的とする。
【課題を解決するための手段】
【0006】
本発明の現場作業支援装置は、作業現場における作業班長及び作業員の動作又は音声を示す現場情報を取得する入力処理部と、前記作業員に与える指示ポイントを前記取得した現場情報から作成する作業支援部と、前記作業現場から離れて位置し前記作業班長に代替し得る遠隔指示者に、前記作成した指示ポイントを表示する出力処理部と、を備えること、を特徴とする。
その他の手段については、発明を実施するための形態のなかで説明する。
【発明の効果】
【0007】
本発明によれば、作業班長に代替して作業員に的確な指示をすることによって、作業班長の負担を軽減することができる。
【図面の簡単な説明】
【0008】
図1】現場作業支援装置の構成等を説明する図である。
図2】音声情報の一例である。
図3】作業内容識別情報の一例である。
図4】人員情報の一例である。
図5】工程情報の一例である。
図6】コンテンツ情報の一例である。
図7】指示ポイント情報の一例である。
図8】監視画面の一例である。
図9】指示画面の一例である。
図10】指示画面の一例である。
図11】指示画面の一例である。
図12】指示画面の一例である。
図13】個別指示画面の表示例である。
図14】処理手順のフローチャートである。
【発明を実施するための形態】
【0009】
以降、本発明を実施するための形態(“本実施形態”という)を、図等を参照しながら詳細に説明する。本実施形態は、作業現場において作業班長の指揮命令系統のもとで作業員が作業を行う例である。しかしながら、本発明は、作業現場以外にも、例えば、指示者が複数の被指示者に対して音声的又は動作的な指示を行う例(オフィス業務、授業、スポーツ指導、芸能指導等)にも適用可能である。さらに、本発明は、作業現場において、作業員に対して迅速かつ的確に指示するべき逼迫した事情(放射線に被ばくする等)がある場合により有効である。
【0010】
(用語)
作業現場とは、人が作業を行うリアルな場所である。作業現場は、建物、道路、トンネル、橋梁等の建設予定地のほか、プラント、倉庫、工場、操車場等を含む。
作業班とは、作業現場において、同じ指揮命令系統で作業を行う人の集合である。
指示とは、音声化又は動作化された指揮命令である。
コンテンツとは、指示に添付される参考文献、参考画像等である。
【0011】
作業班長とは、作業班に属する人のうち、指示を与える人である。
作業員とは、作業班に属する人のうち、指示を与えられる人である。
遠隔指示者とは、作業現場から離れた場所から、作業班長に代替し、又は、作業班長を介して作業員に指示を与える人である。
多くの場合、作業班長は、作業員に比して、より多くの現場経験を有する。遠隔指示者は、作業班長に比して、さらに多くの現場経験を有する。
【0012】
現場情報とは、作業現場における作業班長及び作業員の動作及び音声を記録する情報である。現場情報は、時系列の映像情報及び時系列の音声情報からなる。映像情報は、作業現場に設置されたカメラ等によって取得される。音声情報は、作業班長及び作業員が携帯するマイクロフォン、作業現場に設置されたマイクロフォン等によって取得される。
【0013】
コミュニケーション情報とは、現場情報のうち、作業班長と作業員との間で意思疎通がされている時間の部分である。コミュニケーション情報は、例えば、会話を示す音声情報、又は、ある工具に対する指差し及びその工具に対する注視を示す映像情報である。
【0014】
指示ポイントとは、作業班長と作業員との間の意思疎通の主旨である。1つの指示ポイントに対して、作業レベル(詳細後記)に応じた異なる複数の表現が存在する。
優先度とは、作業班長が複数の作業員に対して異なる指示を与える場合の順序である。作業班長又は遠隔指示者は、優先度が高い作業員に対して、先に指示を与える。
優先度を算出する基準は、被ばく量及び残り時間(詳細後記)である。
被ばく量とは、作業員が被ばくした放射線量の累積値である。
残り時間とは、作業員がある未完了の作業を終了するべき期限までに残っている時間である。
作業レベルとは、作業員が行う作業の質的水準である。
【0015】
(現場作業支援装置の構成等)
図1は、現場作業支援装置1の構成等を説明する図である。現場作業支援装置1は、一般的なコンピュータであり、中央制御装置11、マウス、キーボード等の入力装置12、ディスプレイ等の出力装置13、主記憶装置14、補助記憶装置15及び通信装置16を備える。これらは、バスで相互に接続されている。補助記憶装置15は、音声情報31、映像情報32、作業内容識別情報33、人員情報34、工程情報35、コンテンツ情報36及び指示ポイント情報37(詳細後記)を格納している。
【0016】
主記憶装置14における入力処理部21、作業支援部22及び出力処理部23は、プログラムである。中央制御装置11は、これらのプログラムを補助記憶装置15から主記憶装置14に読み出し、それぞれのプログラムの機能(詳細後記)を実現する。
【0017】
現場作業支援装置1から離れた位置に作業現場2が存在する。作業現場2において、複数の作業班3が作業をしている。作業班3は、1人の作業班長4及び複数の作業員5を含む。作業現場2の任意の位置に、カメラ7、マイクロフォン8及び無線基地局9が配置されている。これらは、ネットワーク(図示せず)又は専用回線を介して現場作業支援装置1に接続されている。カメラ7は、作業班長4及び作業員5の動作を動画として撮像する。マイクロフォン8は、作業班長4及び作業員5の音声を取得する。
【0018】
作業班長4は、端末装置41を携帯している。作業員5は、端末装置41又はウエアラブルデバイス42を携帯(装着)している。端末装置41及びウエアラブルデバイス42は、無線基地局9を介して、現場作業支援装置1に接続されている。端末装置41は、いわゆるスマートフォンである。ウエアラブルデバイス42は、マイクロフォン、スピーカ及び拡張画像投影画面(図示せず)を備えている。現場作業支援装置1は、作業現場2から離れた位置に配置される。遠隔指示者6は、現場作業支援装置1を使用する。
【0019】
このような構成によって、現場作業支援装置1は、作業現場2における作業班長4及び作業員5の音声及び動作を、音声情報31及び映像情報32として蓄積する。さらに、作業班長4、作業員5及び遠隔指示者6は、端末装置41、ウエアラブルデバイス42又は現場作業支援装置1を介して、相互に意思疎通することができる。
【0020】
(音声情報)
図2は、音声情報31の一例である。入力処理部21がマイクロフォン8、端末装置41及びウエアラブルデバイス42を介して取得した音声は、時系列の波形である。作業支援部22は、所定の処理を行うことによって、この波形を時系列のテキスト(文字列)に変換する。図2の音声情報31は、変換後の時系列のテキストの例である。時刻に関連付けて、その時刻に発されたテキストが、人員ID(作業班長及び作業員を一意に特定する識別子)ごとに記憶されている。
【0021】
(映像情報)
映像情報32は、カメラ7が例えば毎秒30コマの速度で、作業班長4及び個々の作業員5の動作を撮像した時系列の画像である(図示せず)。
【0022】
(作業内容識別情報)
図3は、作業内容識別情報33の一例である。作業内容識別情報33は、音声情報31(図2)のテキストに含まれる単語から、作業員5が行っている作業内容を抽出するための情報である。入力処理部21は、ユーザが入力装置12を介して作業内容識別情報33を入力するのを受け付けてもよい。作業支援部22は、作業識別モデルを機械学習することによって、作業内容識別情報33を自動的に作成してもよい(詳細後記)。
【0023】
作業内容識別情報33においては、作業ID欄101に記憶された作業IDに関連付けて、作業単位単語欄102には作業単位単語が、応答単語欄103には応答単語が、質問単語欄104には質問単語が、指示単語欄105には指示単語が、作業内容欄106には作業内容が記憶されている。
【0024】
作業ID欄101の作業IDは、作業を一意に特定する識別子である。
作業単位単語欄102の作業単位単語は、その作業を行う際に、作業班長4及び作業員5が頻繁に発する単語である。
応答単語欄103の応答単語は、その作業を行う際に、作業班長4に対する応答として作業員5が頻繁に発する単語である。
質問単語欄104の質問単語は、その作業を行う際に、作業班長4に対する質問として作業員5が頻繁に発する単語である。
指示単語欄105の指示単語は、その作業を行う際に、作業員5に対する指示として作業班長4が頻繁に発する単語である
作業内容欄106の作業内容は、作業の具体的な内容である。
【0025】
例えば、作業支援部22は、作業班長4及び作業員5が“足場”を頻繁に発し、作業班長4が“~回して”を頻繁に発し、作業員5が“ですか?”及び“了解”を頻繁に発する場合、その期間における作業内容は“養生”であると判断する。
【0026】
(人員情報)
図4は、人員情報34の一例である。人員情報34においては、人員ID欄111に記憶された人員IDに関連付けて、作業レベル欄112には作業レベルが、被ばく量欄113には被ばく量が、残り時間欄114には残り時間が、優先スコア欄115には優先スコアが記憶されている。
【0027】
人員ID欄111の人員は、人員を一意に特定する識別子である。人員は、作業班長4、作業員5及び遠隔指示者6を含む。本実施形態では、作業班長4の人員IDは“CP”で始まり、作業員5の人員IDは“P”で始まる。図4に記載がないが、遠隔指示者6の人員IDは、“RP”で始まる。
作業レベル欄112の作業レベルは、前記したように、作業員が行う作業の質的水準である。作業班長4が仮に作業員5として作業をした場合の作業レベルも記憶されている。作業レベルの値が小さいほど、作業レベルは高い。作業レベルの決定方法については、後記する。
【0028】
被ばく量欄113の被ばく量は、各時間帯の終了時刻において作業班長4及び作業員5が被ばくすることになる放射線量の累計値である。被ばく量の算出方法については、後記する。“#”は、異なる値を省略的に示している(以下同様)。
残り時間欄114の残り時間は、作業班長4及び作業員5が行うべき作業の終了予定時刻から、現時点の時刻を減算した時間である。
【0029】
優先スコア欄115の優先スコアは、前記した優先度を算出するもとになる値である。優先スコアは、被ばく量及び残り時間の関数であり、被ばく量が大きいほど優先スコアは大きくなり、残り時間が少ないほど、優先スコアは大きくなる。優先スコアは、例えば被ばく量と残り時間(≠0)の逆数との加重平均である。優先スコアが大きいほど、優先度は高い。なお、優先度を決定する他の例を後記する。
作業支援部22は、将来の被ばく量を予想することも含めて人員情報34を作成し、常時最新の内容に維持する。
【0030】
(工程情報)
図5は、工程情報35の一例である。工程情報35においては、作業班IDごとに、工程が時系列に並べられている。作業班IDは、作業班3を一意に特定する識別子である。工程とは、作業内容(図3の欄106)、その開始予定時刻及び終了予定時刻の組み合わせである。例えば、長方形50は、作業内容が“養生”である工程を示し、その工程は、“9:00”に開始し“9:15”に終了する。工程間の矢印は、前後関係(先の工程が終了しなければ、後の工程が開始しない)を示している。工程を示す長方形のそれぞれに関連付けて、作業要領のテキスト群が記憶されている。例えば、作業内容が“養生”である工程には“領域○の支柱に断熱材及び防火材を2枚巻く。”及び“2枚巻いた後に、テープを貼り、その上に養生済と記載する。”が関連付けられている。
【0031】
1つの作業班に属する複数の作業員5が、異なる複数の工程(作業内容)を受け持つ場合もある。この場合、作業班ID及び人員IDの組み合わせに対して、工程が関連付けられてもよい。さらに、作業員IDが、人員IDに置換されてもよい。要するに、工程情報35は、いつ、どの作業員が、どのような作業を行っており、その作業がいつまで続くかを記憶している。入力処理部21は、ユーザが入力装置12を介して工程情報35を入力するのを受け付ける。
【0032】
(コンテンツ情報)
図6は、コンテンツ情報36の一例である。コンテンツとは、前記したように、指示に添付される参考文献、参考画像等である。コンテンツは、作業員5が指示ポイントを理解するのを間接的に助ける。コンテンツ情報36は、“作業内容”列及び“作業レベル”行の交点のセルにコンテンツ名を記憶するマトリクスである。作業内容及び作業レベルが決まれば、コンテンツ名が決まる。なお、コンテンツ名は、コンテンツ自身にアクセスするリンクにもなっている。コンテンツ自身は、補助記憶装置15又は任意の外部装置(図示せず)に記憶されている。
入力処理部21は、ユーザが入力装置12を介してコンテンツ情報36を入力するのを受け付ける。
【0033】
(指示ポイント情報)
図7は、指示ポイント情報37の一例である。指示ポイントとは、前記したように、作業班長4と作業員5との間の意思疎通の主旨である。指示ポイントは、作業員5に指示を素早く理解させる端的なテキストでもある。指示ポイント情報37は、“作業内容”列及び“作業レベル”行の交点のセルに指示ポイント名を記憶するマトリクスである。
【0034】
作業内容及び作業レベルが決まれば、指示ポイント名が決まる。指示ポイント名は、指示ポイントのテキストにアクセスするリンクにもなっている。指示ポイント自身は、補助記憶装置15又は任意の外部装置(図示せず)に記憶されている。作業内容が同じであっても、作業レベルが高い(値が小さい)ほど、指示ポイントのテキストは、抽象的、概略的であり、作業レベルが低い(値が大きい)ほど、指示ポイントのテキストは、具体的、詳細的である。
入力処理部21は、ユーザが入力装置12を介して指示ポイント情報37を入力するのを受け付ける。
【0035】
(作業識別モデル)
本実施形態の作業識別モデル(図示せず)は、入力層、複数の中間層及び出力層を有するニューラルネットワークである。1つの中間層は、複数のノードから構成されている。あるノードが受け取った情報のうちどれだけを次の中間層のどのノードに伝搬するかを示す伝播パラメータが、中間層のノードごとに定義されている。
【0036】
作業識別モデルは、図3の作業単位単語102、応答単語103、質問単語104及び指示単語105を説明変数とし、作業内容106を目的変数とする関数であるとも言える。したがって、作業支援部22は、説明変数の見本に対して、ユーザが作業内容106をラベル付けした“教師付き学習データ”を使用して、伝播パラメータを最適化する機械学習を行うことができる。作業支援部22は、このような学習済の作業識別モデルに対し、例えば図2の音声情報31を読み込ませる。すると、作業識別モデルは、作業支援部22に対し、時系列の作業内容を出力する。
【0037】
教師付き学習データは、動作を撮像した映像情報32の見本に対して、ユーザが作業内容106(テキスト)をラベル付けしたものであってもよい。この場合、作業支援部22が学習済の作業識別モデルに対し、識別対象となる映像情報32を読み込ませると、作業識別モデルは、作業支援部22に対し、時系列の作業内容(テキスト)を出力する。
【0038】
(作業レベル)
作業支援部22は、過去又は現在の現場情報(音声情報及び映像情報)を解析し、例えば以下のように作業レベルを作業員5ごとに決定する。
・作業班長4からの指示(音声、身振り手振りの動作等)があった後、実際に反応(応答、質問又は動作)があるまでの時間が短いほど作業レベルを上げる(初期値を基準として、値を小さくする)。
・作業員5による反応の後、その反応を作業班長4が訂正する指示があった回数が多いほど、作業レベルを下げる(初期値を基準として、値を大きくする)。
【0039】
(被ばく量)
作業班長4及び作業員5は、小型の被ばく量測定装置(図示せず)を、例えばヘルメット等に装着する。被ばく量測定装置は、端末装置41又はウエアラブルデバイス42と無線通信をする。すると、入力処理部21は、リアルタイムで、被ばく線量(累計値)を、作業班長4及び作業員5ごとに取得することができる。
以降では、説明の便宜上、まず画面例を説明し、その後に処理手順を説明する。
【0040】
(監視画面)
図8は、監視画面51の一例である。出力処理部23は、出力装置13に監視画面51を表示する。出力処理部23は、作業班長CP1の端末装置41に監視画面51を表示してもよい。いま、作業班長CP1の指揮命令系統のもとで、作業員P01、P02、P03及びP04がそれぞれの作業をしている。監視画面51は、自身の左上欄に、作業員P01が作業している映像情報を表示する。同様に、監視画面51は、自身の右上欄、左下欄及び右下欄に、それぞれ、作業員P02、P03及びP04が作業をしている映像情報を表示する。
【0041】
(指示画面)
図9は、指示画面61aの一例である。出力処理部23は、出力装置13に指示画面61aを表示する。出力処理部23は、作業班長CP1の端末装置41に指示画面61aを表示してもよい。指示画面61aの構成は、監視画面51(図8)と同じである。左上欄は、作業員P01が作業している映像情報を表示するとともに、作業員P01に対する指示ポイント“工具の選択が誤り”及び作業員P01の優先度“1”を示す吹き出し43aを表示する。右上欄、左下欄及び右下欄も同様である。
【0042】
図9を全体的に見ると、以下のことがわかる。
・作業員P01、P02、P03及びP04のそれぞれは、別々の作業を行っている。
・作業員P01、P02、P03及びP04のそれぞれは、同じ作業班長CP1からなんらかの指示を受けているが、完全には指示を理解していない。
・そこで、作業班長CP1又は遠隔指示者RP1は、それぞれの作業員に対し、それぞれの指示ポイントを追加的に与える必要がある。
・作業班長CP1又は遠隔指示者RP1は、優先度の高い順(作業員P01→作業員P02→作業員P03→作業員P04)に、指示ポイントを与える。
【0043】
図10は、指示画面61bの一例である。図10の例では、出力処理部23は、作業班長CP1の端末装置41に指示画面61bを表示する。図9の指示画面61aに比して、図10の指示画面61bが異なる部分は、以下の通りである。
・指示画面61bの右上欄及び右下欄は、空白(斜線)である。
・左上欄は、誰が誰に指示ポイントを与えるかという指示方向を示す吹き出し44aをさらに表示している。左下欄も同様である。
【0044】
図10の例では、作業班長CP1は、まず、作業員P01に指示ポイント“工具の選択が誤り”を与え、次に、作業員P03に指示ポイント“この作業は2人で行う”を与える。作業班長CP1は、作業員P02及びP04を意識しない。
【0045】
図11は、指示画面61cの一例である。図11の例では、出力処理部23は、遠隔指示者RP1が視認する出力装置13に指示画面61cを表示する。図9の指示画面61aに比して、図11の指示画面61cが異なる部分は、以下の通りである。
・指示画面61cの左上欄及び左下欄は、空白(斜線)である。
・右上欄は、誰が誰に指示ポイントを与えるかという指示方向を示す吹き出し44bをさらに表示している。右下欄も同様である。
【0046】
図11の例では、遠隔指示者RP1は、まず、作業員P02に指示ポイント“コンベアに対する立ち位置が誤り”を与え、次に、作業員P04に指示ポイント“ロボットの設定を変更する”を与える。遠隔指示者RP1は、作業員P01及びP03を意識しない。
【0047】
図12は、指示画面61dの一例である。出力処理部23は、出力装置13に指示画面61dを表示する。出力処理部23は、作業班長CP1の端末装置41に指示画面61dを表示してもよい。指示画面61dの構成は、監視画面51(図8)と同じである。右下欄は、作業員P04が作業している映像情報を表示するとともに、作業員P04に対する指示ポイント“把持位置を10cm奥にする”及び作業員P04の作業レベル“4”を示す吹き出し43ddを表示する。左上欄、右上欄及び左下欄も同様である。
【0048】
図12を全体的に見ると、以下のことがわかる。
・作業員P01、P02、P03及びP04のそれぞれは、別々の作業を行っている。
・作業員P01、P02、P03及びP04のそれぞれは、同じ作業班長CP1からなんらかの指示を受けているが、完全には指示を理解していない。
・そこで、作業班長CP1又は遠隔指示者RP1は、それぞれの作業員に対し、それぞれの指示ポイントを追加的に与える必要がある。
・それぞれの作業員の作業レベルには差があり、高い方から並べると、作業員P01→作業員P02→作業員P03→作業員P04である。ここでは、複数の作業員が、それぞれに異なる作業レベルを有している。しかしながら、それは偶然である。
・作業班長CP1又は遠隔指示者RP1は、作業レベルの高い作業員に対して、表現がより抽象的又は概略的である作業ポイントを与え、作業レベルの低い作業員に対して、表現がより具体的又は詳細的である作業ポイントを与える。
【0049】
図12の吹き出し43ddの指示ポイント“把持位置を10cm奥にする”の主旨は、図9の吹き出し43dの指示ポイント“ロボットの設定を変更する”の主旨と同じである。しかしながら、前者は、後者に比して、表現が格段に具体的かつ詳細的になっている。なぜならば、作業員P04の作業レベルが“4”であることがわかっており、作業員P04は、仮に“ロボットの設定を変更する”と指示されても、直ちにその主旨を理解できないからである。
【0050】
(個別指示画面)
図13は、個別指示画面71a及び71bの一例である。出力処理部23は、作業員P01の端末装置41に個別指示画面71aを表示し、作業員P02の端末装置41に個別指示画面71bを表示する。図13の上図は、図10の左上欄に対応し、図13の下図は、図11の右上欄に対応する。つまり、図13の上図は、現場作業支援装置1が作成した指示ポイント“工具の選択が誤り”を、現場作業支援装置1が作業班長CP1の立場で作業員P02に与える画面である。下図は、現場作業支援装置1が作成した指示ポイント“コンベアに対する立ち位置が誤り”を、現場作業支援装置1が遠隔指示者RP1の立場で作業員P02に与える画面である。
【0051】
(処理手順)
図14は、処理手順のフローチャートである。処理手順を開始する前提として、入力処理部21は、ユーザから入力装置12を介して、作業内容識別情報33(図3)、人員情報34(図4)、工程情報35(図5)、コンテンツ情報36(図6)及び指示ポイント情報37(図7)を既に取得し、これらを補助記憶装置15に記憶しているものとする。このうち、作業内容識別情報33は、作業支援部22が機械学習によって作成したものであってもよい。この段階では、人員情報34の人員ID欄111以外の欄は、空白となっている。
【0052】
ステップS101において、入力処理部21は、現場情報を取得する。具体的には、入力処理部21は、カメラ7を介して、映像情報32を取得し、マイクロフォン8を介して音声情報31を取得する。
【0053】
ステップS102において、出力処理部23は、監視画面51を表示する。具体的には、出力処理部23は、ステップS101において取得した映像情報32に基づいて、現時点における作業員5の動作を示す監視画面51を、出力装置13及び/又は作業班長4の端末装置41に表示する。
【0054】
ステップS103において、作業支援部22は、コミュニケーション情報を抽出する。具体的には、作業支援部22は、ステップS101において取得した音声情報31から、コミュニケーション情報(音声が記憶されている部分)を抽出する。作業支援部22は、ステップS101において取得した映像情報32から、工具に対する指差し、工具に対する注視等の動作を含む部分を抽出し、その部分をコミュニケーション情報としてもよい。
【0055】
ステップS104において、作業支援部22は、作業内容を抽出する。具体的には、作業支援部22は、ステップS103において音声情報31から抽出したコミュニケーション情報に対して作業内容識別情報33を適用し、該当する作業内容を取得する。作業支援部22は、ステップS103において映像情報から抽出したコミュニケーション情報を学習済の作業識別モデルに読み込ませ、作業識別モデルから作業内容を取得してもよい。
【0056】
ステップS105において、作業支援部22は、優先スコアを算出する。具体的には、第1に、作業支援部22は、被ばく量測定装置から、被ばく量(累積値)を作業班長4及び作業員5ごとに取得する。ここで取得された被ばく量は、将来の予測値を含む。
第2に、作業支援部22は、人員情報34(図4)の被ばく量欄113に、取得した被ばく量を記憶する。
第3に、作業支援部22は、工程情報35を使用して、現在の工程における残り時間を作業班長4及び作業員5ごとに取得する。
【0057】
第4に、作業支援部22は、人員情報34の残り時間欄114に、取得した残り時間を記憶する。
第5に、作業支援部22は、被ばく量及び/又は残り時間に基づいて、作業班長4及び作業員5ごとに、優先スコアを算出し、算出した優先スコアを小さい順に並べた順番(1、2、3、・・・)を優先度とする。このとき、作業支援部22は、作業者5の現在における作業内容に応じて優先度を決定してもよい。この場合、前記した作業要領のテキスト群は、工程(作業内容)ごとの優先度(1、2、3、・・・)を含むものとする。
第6に、作業支援部22は、人員情報34の優先スコア欄115に、算出した優先スコアを記憶する。
【0058】
ステップS106において、作業支援部22は、作業レベルを算出する。具体的には、第1に、作業支援部22は、映像情報32及びステップS103において抽出したコミュニケーション情報に基づいて、作業レベルを作業員5ごとに算出する。
第2に、作業支援部22は、算出した作業レベルを、人員情報34の作業レベル欄112に記憶する。
【0059】
ステップS107において、作業支援部22は、指示ポイントを作成する。具体的には、作業支援部22は、ステップS104において抽出した作業内容及びステップS106において算出した作業レベルを指示ポイント情報37に適用し、該当する指示ポイントを取得する。このとき、作業支援部22は、工程情報35(図5)の各工程に関連付けて記憶されている作業要領のテキスト群を加工することによって、異なる作業レベル向けの指示ポイントを作成してもよい。
【0060】
ステップS108において、作業支援部22は、指示者及び被指示者を決定する。具体的には、第1に、作業支援部22は、複数の作業員5に対して指示を与えるべき作業班長4を抽出する。指示単語(図3の欄105)が発された後、応答単語(図3の欄103)又は質問単語(図3の欄104)の少なくともいずれかが発されない期間を“指示ポイント必要期間”と呼ぶ。いま、作業支援部22は、指示ポイント必要期間の少なくとも一部が重複する複数の作業員5に対して同時に指示を与えるべき状態にある作業班長4を抽出する。
【0061】
第2に、作業支援部22は、抽出した作業班長4の優先スコアを所定の閾値と比較する。作業支援部22は、優先スコアが閾値より大きい場合、その作業班長4を“依頼型”に分類し、それ以外の場合、その作業班長4を“率先型”に分類する。作業班長4が率先型である場合、作業支援部22は、作業班長4の言葉として作業員5に指示ポイントを与えることになる(図13の上図)。作業班長4が依頼型である場合、作業支援部22は、遠隔指示者6の言葉として作業員5に指示ポイントを与えることになる(図13の下図)。
【0062】
ステップS109において、出力処理部23は、指示画面61a~61dを表示する。具体的には、出力処理部23は、指示画面61a(図9)を出力装置13及び作業班長4の端末装置41に表示する。出力処理部23は、指示画面61b(図10)を、率先型の作業班長4の端末装置41に表示し、指示画面61c(図11)を、出力装置13に表示してもよい。出力処理部23は、依頼型の作業班長4の端末装置41に対しても、指示画面61cを表示してもよい。
【0063】
このとき、入力処理部21は、率先型の作業班長4、依頼型の作業班長4又は遠隔指示者6が第1の操作、第2の操作、第3の操作及び/又は第4の操作を、作業班長4の端末装置41又は入力装置12を介して入力するのを受け付ける。第1の操作とは、作業員5に与えるべき指示ポイントを承認する旨の操作である。第2の操作とは、作業レベルに応じた指示ポイントを要求する操作である。第3の操作とは、作業員5の端末装置41又はウエアラブルデバイス42に個別指示画面71a又は71bを表示することを要求する操作である。第4の操作とは、率先型の作業班長4が依頼型になる旨の率先型の作業班長4による操作、又は、依頼型の作業班長4が率先型になる旨の依頼型の作業班長4による操作である(指示者見直しケース)。
【0064】
ステップS110において、作業支援部22は、コンテンツを取得する。具体的には、作業支援部22は、ステップS104において抽出した作業内容及びステップS106において算出した作業レベルをコンテンツ情報36に適用し、該当するコンテンツを取得する。
【0065】
ステップS111において、出力処理部23は、個別指示画面71a及び/又は71bを表示する。具体的には、出力処理部23は、個別指示画面71a及び/又は71bにコンテンツ72のリンク情報を貼り付けて、作業員5の端末装置41又はウエアラブルデバイス42に表示する。出力処理部23は、指示ポイントのテキストを音声に変換(合成)して、作業員5の端末装置41又はウエアラブルデバイス42に送信してもよい。すると、端末装置41等は、合成された音声を発する。このとき、出力処理部23は、個別指示画面を表示する、又は、音声を送信するタイミングを、優先度に応じて作業員5ごとに前後させてもよい。
【0066】
作業班長4が率先型である場合、出力処理部23は、個別指示画面71aを作業員5の端末装置41に表示しなくてもよい。なぜならば、作業班長4は、指示ポイントを自身の肉声で伝えたほうがより効果的で、作業員5の錯誤がより少ない場合もあるからである。この場合であっても、作業班長4は、肉声で伝えるタイミングを、優先度に応じて作業員5ごとに前後させてもよい。
【0067】
入力処理部21が第4の操作を受け付けた場合、出力処理部23は、例えば、図13における“作業班長CP1より”という表示を“遠隔指示者RP1より”に切り替える。その逆の切り替えも可能である。その後、作業員5は、指示ポイント(“工具の選択が誤り”等)及びコンテンツ72(径の異なるスパナの写真等)を視認する。作業員5は、さらに意思疎通を繰り返すことなく正しく作業を行うこともできるし、明確に表示された相手(作業班長4又は遠隔指示者6)と意思疎通を続けることもできる。その後、処理手順を終了する。
【0068】
(本実施形態の効果)
本実施形態の現場作業支援装置の効果は以下の通りである。
(1)現場作業支援装置は、作業班長の役割を遠隔作業者に代替させることができる。
(2)現場作業支援装置は、作業ポイントに優先度を付して表示することができる。
(3)現場作業支援装置は、作業員の作業レベルに応じて指示ポイントを表現することができる。
(4)現場作業支援装置は、指示ポイントを与える者を区別することができる。
(5)現場作業支援装置は、被ばく量に応じて優先度を算出することができる。
(6)現場作業支援装置は、作業員に対して、指示ポイントを画面上で知らせることができる。
【0069】
なお、本発明は前記した実施例(実施形態)に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0070】
1 現場作業支援装置
2 作業現場
3 作業班
4 作業班長
5 作業員
6 遠隔指示者
7 カメラ
8 マイクロフォン
9 無線基地局
11 中央制御装置
12 入力装置
13 出力装置
14 主記憶装置
15 補助記憶装置
16 通信装置
21 入力処理部
22 作業支援部
23 出力処理部
31 音声情報
32 映像情報
33 作業内容識別情報
34 人員情報
35 工程情報
36 コンテンツ情報
37 指示ポイント情報
41 端末装置
42 ウエアラブルデバイス
43a、43aa、43b、43bb、43c、43cc、43d、43dd 吹き出し(指示ポイント、優先度、作業レベル)
44a、44b、44c、44d 吹き出し(指示方向)
51 監視画面
61a、61b、61c、61d 指示画面
71a、71b 個別指示画面
72 コンテンツ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14