特許 7131884 荷役車用運転者認識システムおよび当該認識システムを利用した最適動作モード出力システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-29

(45)【発行日】2022-09-06

(54)【発明の名称】荷役車用運転者認識システムおよび当該認識システムを利用した最適動作モード出力システム

(51)【国際特許分類】

   G10L 15/20 20060101AFI20220830BHJP

   G10L 15/00 20130101ALI20220830BHJP

   G10L 17/00 20130101ALI20220830BHJP

   G10L 15/16 20060101ALI20220830BHJP

   G10L 25/66 20130101ALI20220830BHJP

【ＦＩ】

G10L15/20 370D

G10L15/00 200J

G10L17/00 200C

G10L15/16

G10L25/66

【請求項の数】 5

(21)【出願番号】P 2020200407

(22)【出願日】2020-12-02

(65)【公開番号】P2022088134

(43)【公開日】2022-06-14

【審査請求日】2021-03-31

(73)【特許権者】

【識別番号】000232807

【氏名又は名称】三菱ロジスネクスト株式会社

(74)【代理人】

【識別番号】110000475

【氏名又は名称】特許業務法人みのり特許事務所

(72)【発明者】

【氏名】甲斐 絢介

【審査官】堀 洋介

(56)【参考文献】

【文献】特開２００９－１４５７５５（ＪＰ，Ａ）

【文献】特開平０４－０６２５９９（ＪＰ，Ａ）

【文献】レオ チーシャン 他，”既知の工場環境音を用いた深層学習に基づく工作機械雑音除去の検討”，日本音響学会 ２０１９年 秋季研究発表会講演論文集ＣＤ－ＲＯＭ ［ＣＤ－ＲＯＭ］，2019年09月06日，829-830

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／００－１７／２６

Ｂ６６Ｆ ９／００－９／２４

Ｂ６３Ｂ ２５／００－２５／２８

Ｂ６０Ｐ １／００－１／６４

(57)【特許請求の範囲】

【請求項1】

荷役車の運転者の声を収音して第１音声信号を出力するマイクと、
荷役装置の動作音の音声信号が含まれた前記第１音声信号が入力されると、前記第１音声信号から前記動作音の音声信号を削除する第１学習済みニューラルネットワークを有し、前記第１音声信号から前記動作音の音声信号を削除し、第２音声信号として出力する動作音削除部と、
前記荷役車に乗車する可能性のある複数の運転者の声紋情報を予め記憶している声紋情報記憶部と、
前記第２音声信号と、前記声紋情報とに基づいて、マイクに声を収音された前記運転者がいずれの運転者であるかを認識する運転者認識部と、を備え、
前記第１学習済みニューラルネットワークは、荷役対象の荷の重量に応じて変化する前記動作音に対応して前記動作音を削除するよう、荷の重量ごとの教師データを用いて学習させられている
ことを特徴とする荷役車用運転者認識システム。

【請求項2】

前記荷役装置は、マストと、前記マストに沿って昇降させられるリフトブラケットと、前記リフトブラケットに連結されたフォークと、を有し、
前記動作音には、前記リフトブラケットの昇降に係る音、前記フォークが荷に干渉する音、前記荷役装置の動力源の音のいずれかまたは全てが含まれる
ことを特徴とする請求項１に記載の荷役車用運転者認識システム。

【請求項3】

請求項１または２に記載の荷役車用運転者認識システムと、
前記運転者の声の音声信号が含まれた音声信号が入力されると当該運転者の音声信号を抽出するように、運転者ごとに当該運転者の声の音声信号が含まれた音声信号から当該運転者の声の音声信号を抽出するよう予め機械学習させられた第２学習済みニューラルネットワークを有し、前記第２音声信号から運転者認識部によって認識された前記運転者の声の音声信号を抽出し、第３音声信号として出力する運転者声抽出部と、
前記運転者の音声信号が入力されると当該運転者の体調を判定する第３学習済みニューラルネットワークを有し、前記第３音声信号から前記運転者の体調を判定して出力する体調判定部と、
前記複数の運転者の技能レベルを記憶している技能レベル記憶部と、
前記荷役車の複数の動作モードを記憶している動作モード記憶部と、
前記運転者の体調と、当該運転者に対応する技能レベルとに基づいて、前記複数の動作モードから当該運転者に最適な動作モードを出力する第４学習済みニューラルネットワークを有し、前記第４学習済みニューラルネットワークが出力した動作モードを前記運転者に最適な動作モードとして出力する最適モード出力部と、を備える
ことを特徴とする最適動作モード出力システム。

【請求項4】

前記荷役車の作業状況を認識する作業状況認識部をさらに備え、
前記第４学習済みニューラルネットワークは、さらに、作業状況に基づいて、最適な動作モードを出力する
ことを特徴とする請求項３に記載の最適動作モード出力システム。

【請求項5】

前記運転者の所定の音声パターンの音声信号が入力されると、前記荷役車の動作モードを当該音声パターンの音声信号に基づいて出力された動作モードに変更する動作モード変更部をさらに備える
ことを特徴とする請求項４に記載の最適動作モード出力システム。

【発明の詳細な説明】

【技術分野】

【0001】

荷役車用運転者認識システムおよび当該認識システムを利用した荷役車用最適動作モード出力システムに関する。

【背景技術】

【0002】

近年、作業の効率性、安全性、快適性等の観点から、荷役車を運転する運転者ごとに最適な荷役車を決定する決定装置が知られている。例えば、特許文献１に開示の決定装置は、評価部と、荷役車決定部と、を備えている。この評価部は、荷役作業の評価と、運転者、荷役車、荷役作業の組合せとの相関関係を機械学習した学習済みモデルを用いて、運転者の荷役作業の評価を決定する。そして、荷役車決定部は、当該評価に基づき、運転者に使用させる荷役車を決定する。

【0003】

上記決定装置では、認識システムによって運転者の認識をする必要がある。従来、車両用の認識システムを利用したシステムとして、例えば、特許文献２に開示の配車システムがある。この配車システムでは、車両の使用権限を有する者を「適格者」としており、この適格者が予め記憶部に登録されている。そして、この配車システムは、待機場所にいる人を撮影手段によって撮像し適格者か否かを判定する。また、特許文献２には、声紋による認識システムを利用した運行管理システムが開示されている。この運行管理システムは、マイクから入力された運転者の声に対して声紋認証処理し、声紋情報を取得する。そして、このシステムでは、この声紋情報と、運転者音声データベースに登録された声紋情報とを比較し、運転者の認識および運転者の健康状態の判定をする。

【0004】

ところで、荷役車を運転する運転者は、管理オペレータと会話しながら、荷役を行うことがあり、この会話に使用されるマイクを利用して運転者の認識および運転者の健康状態が管理されれば、脈拍を測る装置といった他の生体認識装置を荷役車に設ける必要がないので好ましい。しなしながら、荷役車は、一般車両と異なり、閉鎖空間を有する運転室を有さない車両が多く、運転者の声は、荷役車の荷役装置に関する動作音によって減衰させられることがある。したがって、特許文献２のように、運転者の声紋を利用する運転者認識システムの場合、荷役装置に関する動作音によって運転者の認識が妨げられることがある。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２０－０３０５３９号公報

【文献】特開２０１９－００８４６４号公報

【文献】特開２０１６－２０１０１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

そこで、本発明の解決しようとする課題は、荷役装置の動作音によって運転者の認識が妨げられることを防止することができる荷役車用運転者認識システムを提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明に係る荷役車用運転者認識システムは、
荷役車の運転者の声を収音して第１音声信号を出力マイクと、
荷役装置の動作音の音声信号が含まれた第１音声信号が入力されると、第１音声信号から動作音の音声信号を削除する第１学習済みニューラルネットワークを有し、第１音声信号から動作音の音声信号を削除し、第２音声信号として出力する動作音削除部と、
荷役車に乗車する可能性のある複数の運転者の声紋情報を予め記憶している声紋情報記憶部と、
第２音声信号と、声紋情報とに基づいて、マイクに声を収音された運転者がいずれの運転者であるかを認識する運転者認識部と、を備える、ことを特徴とする。

【0008】

上記荷役車用運転者認識システムは、好ましくは、
第１学習済みニューラルネットワークが、荷役対象の荷の重量に応じて変化する動作音に対応して動作音を削除するよう学習させられている。

【0009】

上記荷役車用運転者認識システムは、好ましくは、
荷役装置が、マストと、マストに沿って昇降させられるリフトブラケットと、リフトブラケットに連結されたフォークと、を有し、
動作音には、リフトブラケットの昇降に係る音、フォークが荷に干渉する音、荷役装置の動力源の音のいずれかまたは全てが含まれる。

【0010】

本発明に係る、上記運転者認識システムを利用した最適動作モード出力システムは、
運転者の声の音声信号が含まれた音声信号が入力されると当該運転者の音声信号を抽出するように、運転者ごとに当該運転者の声の音声信号が含まれた音声信号から当該運転者の声の音声信号を抽出するよう予め機械学習させられた第２学習済みニューラルネットワークを有し、第２音声信号から運転者認識部によって認識された運転者の声の音声信号を抽出し、第３音声信号として出力する運転者声抽出部と、
運転者の音声信号が入力されると当該運転者の体調を判定する第３学習済みニューラルネットワークを有し、第３音声信号から運転者の体調を判定して出力する体調判定部と、
複数の運転者の技能レベルを記憶している技能レベル記憶部と、
荷役車の複数の動作モードを記憶している動作モード記憶部と、
運転者の体調と、当該運転者に対応する技能レベルとに基づいて、複数の動作モードから当該運転者に最適な動作モードを出力する第４学習済みニューラルネットワークを有し、第４学習済みニューラルネットワークが出力した動作モードを運転者に最適な動作モードとして出力する最適モード出力部と、を備える、ことを特徴とする。

【0011】

上記最適動作モード出力システムは、好ましくは、
荷役車の作業状況を認識する作業状況認識部をさらに備え、
第４学習済みニューラルネットワークが、さらに、作業状況に基づいて、最適な動作モードを出力する。

【0012】

上記最適動作モード出力システムは、好ましくは、
運転者の所定の音声パターンの音声信号が入力されると、荷役車の動作モードを当該音声パターンの音声信号に基づいて出力された動作モードに変更する動作モード変更部をさらに備える。

【発明の効果】

【0013】

本発明の荷役車用運転者認識システムは、荷役装置の動作音によって運転者の認識を妨げられることを防止することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の最適動作モード出力システムを備えた荷役車を示す側面図である。

【図2】図１に示された最適動作モード出力システムの機能ブロック図である。

【図3】図２に示された技能レベル記憶部が記憶している技能レベルの一例を示す表である。

【図4】図２に示された動作モード記憶部が記憶している動作モードの一例を示す表である。

【発明を実施するための形態】

【0015】

添付図を参照しつつ、本発明の荷役車用運転者認識システムおよび当該認識システムを利用した最適動作モード出力システムの一実施形態について説明する。図中の両矢印Ｘは前後方向を示し、両矢印Ｙは左右方向を示し、両矢印Ｚは、上下方向を示している。

【0016】

図１に示すように、本実施形態に係る荷役車Ｆは、フォークリフトであって、最適動作モード出力システム１と、前後の車輪３と、車輪３上に設けられた車体４と、車体４の前方に設けられた荷役装置５と、を備えている。なお、本実施形態に係る荷役車Ｆは、本発明に係る荷役車の単なる一例であって、本発明に係る荷役車は、これに限定されない。

【0017】

荷役装置５は、左右一対のマスト５０と、リフトブラケット５１と、左右一対のフォーク５２と、リフトシリンダ５３と、左右一対のリーチレグ５４と、左右のキャリッジ５５と、リーチシリンダ（図示略）と、を有する。

【0018】

左右のマスト５０は、アウタマストとインナマストとをそれぞれ有し、インナマストは、リフトシリンダ５３によって昇降させられる。リフトブラケット５１は、インナマストに連結されており、左右のフォーク５２は、リフトブラケット５１に連結される。リフトブラケット５１は、リフトシリンダ５３によってインナマストに沿って昇降させられる。左右のリーチレグ５４は、車体４の前方に延在しており、左右のマスト５０は、アウタマストの下部に設けられたキャリッジ５５を介してリーチレグ５４に連結されている。リーチシリンダは、車体４とマスト５０との間に設けられ、マスト５０をリーチレグ５４に沿って前後に移動させる。荷役車Ｆは、マスト５０を前後に移動させ、フォーク５２をリフトブラケット５１を介して昇降させることにより、荷Ｗが載置されるパレットＰをすくい上げたり着地させたりする。

【0019】

荷役車Ｆは、さらに、左右一対の支柱６と、ルーフ７と、を有する。左右の支柱６は、車体４の上面前側の左右にそれぞれ立設され、ルーフ７は、支柱６の上部から後方に向かって水平に延在している。

【0020】

図１および図２に示すように、本実施形態に係る最適動作モード出力システム１は、マイク１０と、制御部１１と、を有する。図２に示すように、制御部１１は、動作音削除部１１０と、声紋情報記憶部１１１と、運転者認識部１１２と、を有する。図２に示すように、マイク１０と、動作音削除部１１０と、声紋情報記憶部１１１と、運転者認識部１１２と、を備えたシステムが本発明の荷役車用運転者認識システムに相当する。

【0021】

マイク１０は、制御部１１と通信可能であって、運転者Ｄが装着するヘルメットＨに連結されている。マイク１０は、運転者Ｄの声を収音して第１音声信号を生成し動作音削除部１１０に出力する。なお、マイク１０は、単なる一例であって、本発明に係るマイク１０は、例えば、支柱６やルーフ７に設けられていてもよい。

【0022】

動作音削除部１１０は、第１学習済みニューラルネットワーク（以下、「第１ＮＮ」という）を有する。第１ＮＮは、動作音の音声信号が含まれている音声信号が入力されると、入力された音声信号から荷役装置５の動作音（以下、単に「動作音」ということがある）の音声信号を削除するよう予め機械学習させられている。第１ＮＮは、ディープラーニングによって動作音の音声信号を含む音声信号から動作音の音声信号を削除するよう畳み込みニューラルネットワークによって機械学習させられていてもよい。また、第１ＮＮは、畳み込みニューラルネットワークのうち、例えば、Dilated Convolutional Neural Networkを利用して機械学習させられていてもよい。Dilated Convolutional Neural Networkについては、例えば、（https://arxiv.org/abs/1512.07108）から参照することができる。当該学習は、例えば、荷役車Ｆが利用される施設内の環境音と荷役装置５の動作音とが含まれる音を利用してもよい。また、第１ＮＮは、荷役対象の荷Ｗの重量に応じて変化する動作音に対応して動作音を削除するよう、荷Ｗの重量ごとの教師データを含めて機械学習させられていてもよい。また、動作音には、リフトブラケット５１の昇降に係る音、フォーク５２が荷Ｗに干渉する音、荷役装置５の動力源の音のいずれかまたは全てが含まれ、第１ＮＮは、好ましくは、当該動作音に係る音声信号を削除するよう学習させられている。動作音削除部１１０は、入力された第１音声信号から動作音の音声信号を削除し、第２音声信号として運転者認識部１１２に出力する。

【0023】

声紋情報記憶部１１１は、荷役車Ｆに乗車する可能性のある複数の運転者の声紋情報を予め記憶している。当該声紋情報は、好ましくは、荷役車Ｆに乗車する可能性のある運転者の所定の音声パターンの発話音声情報である。この所定の音声パターンについては、後で説明する。

【0024】

運転者認識部１１２は、入力された第２音声と、声紋情報記憶部１１１に記憶されている声紋情報とを照合し、マイク１０に声を収音された運転者Ｄがいずれの運転者であるかを認識する。運転者認識部１１２は、例えば、膨大な量の音声情報とディープラーニングとを用いて、入力された声紋の特徴量を認識することができるよう予め機械学習させられてもよい。運転者認識部１１２による照合方式は、「テキスト依存方式」による方が認識の精度および速度の観点から好ましいが、これに限定されない。

【0025】

本発明に係る荷役車用運転者認識システムは、マイク１０によって収音され生成された音声信号から荷役装置５の動作音の音声信号を第１ＮＮによって適切に削除されていることにより、荷役装置５の動作音によって運転者Ｄの認識を妨げられることを防止することができる。

【0026】

図２に示すように、制御部１１は、さらに、運転者声抽出部１１３と、体調判定部１１４と、技能レベル記憶部１１５と、作業状況認識部１１６と、動作モード記憶部１１７と、最適モード出力部１１８と、動作モード変更部１１９と、を備えている。

【0027】

運転者声抽出部１１３は、第２学習済みニューラルネットワーク（以下、「第２ＮＮ」という）を有する。第２ＮＮは、運転者の音声信号が含まれた音声信号が入力されると当該運転者の音声信号を抽出するよう運転者ごとに当該運転者の声を教師データとして予め機械学習させられている。より詳しくは、運転者声抽出部１１３は、単に音声信号から運転者の声の音声信号を抽出するように機械学習されているのではなく、運転者ごとに当該運転者の声の音声信号が含まれた音声信号から当該運転者の声の音声信号を抽出するように機械学習されている。これにより、第２ＮＮは、音声信号からより適切に運転者Ｄの声の音声信号を抽出することができる。運転者声抽出部１１３は、第２音声信号から荷役車用運転者認識システムによって認識された運転者Ｄの声の音声信号を抽出し、抽出した音声信号を第３音声信号として体調判定部１１４および動作モード変更部１１９に出力する。

【0028】

体調判定部１１４は、第３学習済みニューラルネットワーク（以下、「第３ＮＮ」という）を有する。第３ＮＮは、ディープラーニングによって運転者の音声信号が入力されると当該運転者の体調を判定するよう予め機械学習させられている。第３ＮＮは、本実施形態では、体調を眠気、疲労度、ストレスの３項目をそれぞれＡ、ＢおよびＣの３段階で判定する。眠気、疲労度、ストレスの３項目は、単なる一例であって、第３ＮＮは、これら３項目のうちのいずれか、もしくは他の項目を追加して体調を判定するよう予め機械学習されてもよい。体調判定部１１４は、第３音声信号から第３ＮＮによって運転者Ｄの体調を判定し、最適モード出力部１１８に判定結果を出力する。

【0029】

技能レベル記憶部１１５は、複数の運転者の技能レベルを記憶している。図３の表に示すように、技能レベルは、負荷ありまたは負荷なしの状態における荷役車Ｆの前方走行、後方走行および荷役装置５の昇降動作、前後動作ごとに項目分けされている。技能レベル記憶部１１５は、運転者ごとに各項目の技能レベルを記憶している。負荷ありとは、荷役車Ｆが荷Ｗを積んでいるときであり、負荷なしとは、荷役車Ｆが荷Ｗを積んでいないときを示している。技能レベルの項目は、単なる一例であって、他の項目が追加されてもよい。例えば、技能レベルの項目には、パレットＰが床に置かれている場合にフォーク５２をパレットＰのフォーク差し込み孔に差し込む技能レベルと、パレットＰが高所に置かれている場合にフォーク５２をパレットＰのフォーク差し込み孔に差し込む技能レベルとを含んでいてもよい。

【0030】

作業状況認識部１１６は、荷役車Ｆが荷Ｗを積んでいるか否か、または荷役車Ｆが前方方向に進んでいるのか、後方に進んでいるのかもしくは停止しているのかといった荷役車Ｆの作業状況を認識する。作業状況認識部１１６は、認識した荷役車Ｆの作業状況を最適モード出力部１１８に出力する。

【0031】

図４に示すように、動作モード記憶部１１７は、荷役車Ｆの複数の動作モードＭ１、Ｍ２、Ｍ３…Ｍｎを記憶している。図４に示すように、動作モード記憶部１１７は、負荷ありまたは負荷なしの状態における荷役車Ｆの走行速度および荷役装置５の動作速度を加速度、最高速度ごとに、かつ動作モードごとに記憶している。各動作モードは、上級者、中級者、初級者ごとに、規定されてもよいし、運転者ごとに規定されてもよい。

【0032】

最適モード出力部１１８は、第４学習済みニューラルネットワーク（以下、「第４ＮＮ」という）を有する。第４ＮＮは、運転者の体調と、当該運転者に対応する技能レベルと、荷役車Ｆの作業状況とに基づいて、複数の動作モードから当該運転者に最適な動作モードを出力するよう予め機械学習させられている。運転者に最適な動作モードとは、荷役作業の効率性、荷役作業の安全性の観点から最適とされる動作モードのことである。第４ＮＮは、例えば、ディープラーニングによって荷役車Ｆの作業状況ごとに、運転者の体調と、運転者の技能レベルと、荷役作業の効率と、荷役作業の事故率との相関関係を予め機械学習させられている。最適モード出力部１１８は、第４ＮＮが出力した動作モードを運転者Ｄに最適な動作モードとして動作モード変更部１１９に出力する。

【0033】

動作モード変更部１１９は、運転者Ｄの所定の音声パターンの音声信号が入力されると、荷役車Ｆの動作モードを当該音声パターンの音声信号に基づいて出力された動作モードに変更する。運転者Ｄの所定の音声パターンとは、例えば、「最適モード変更」といった音声パターンや、「上昇最適」、「下降最適」または「走行最適」といった音声パターンでもよい。動作モード変更部１１９は、運転者Ｄによって「最適モード変更」といった音声パターンが発生され、運転者声抽出部１１３によって第３音声信号のうちの「最適モード変更」の音声信号が入力されると、動作モード記憶部１１７に記憶されている動作モードを参照して最適モード出力部１１８から入力された最適な動作モードに荷役車Ｆの動作モードを変更する。

【0034】

本実施形態における最適動作モード出力システム１では、運転者Ｄの技能レベルに基づいて単に最適な動作モードを出力するのではなく、運転者Ｄの体調にも基づいて、運転者Ｄに最適な動作モードを出力する。しかも、運転者声抽出部１１３が抽出した運転者Ｄの声の音声信号は、動作音の音声信号および他の音声信号が除かれ、体調を判定するのに適した音声信号であるので、最適動作モード出力システム１は、運転者Ｄの体調を適切に判定することができる。さらに、本実施形態における最適動作モード出力システム１では、運転者Ｄは、荷役車Ｆの動作モードを、所定の音声パターンを発するだけで任意のタイミングで作業状況に応じた運転者Ｄにとって最適な動作モードに変更することができる。

【0035】

以上、本発明に係る荷役車用運転者認識システムおよび当該荷役車用運転者認識システムを利用した最適動作モード出力システムの一実施形態について説明してきたが、本発明の荷役車用運転者認識システムおよび最適動作モード出力システムは、上記実施形態に限定されるものではない。本発明の荷役車用運転者認識システムおよび最適動作モード出力システムは、例えば、以下の変形例によって実施されてもよい。

【0036】

・マイク１０は、骨伝導式のマイクであって、運転者Ｄの頭部または首元の振動を感知するマイクでもよい。荷役車Ｆの動作音は、骨伝導式のマイクであっても、運転者Ｄの音声に混ざることがあるので、第１ＮＮは、骨伝導式のマイクに対しても有用である。

【0037】

・荷役車Ｆは、モニタをさらに備え、最適モード出力部１１８は、運転者Ｄに最適な動作モードをモニタに表示してもよい。この場合、運転者Ｄは、モニタに表示された動作モードを参照して動作モードの変更を許可するか否かを決定することができる。また、この場合、動作モード変更部１１９は、運転者Ｄが動作モードの変更の許可を入力する許可入力部を有し、許可入力部が入力されたときのみ、荷役車Ｆの動作モードを変更するようにしてもよい。

【符号の説明】

【0038】

Ｆ 荷役車
Ｄ 運転者
Ｈ ヘルメット
Ｗ 荷
Ｐ パレット
１ 最適動作モード出力システム
１０ マイク
１１ 制御部
１１０ 動作音削除部
１１１ 声紋情報記憶部
１１２ 運転者認識部
１１３ 運転者声抽出部
１１４ 体調判定部
１１５ 技能レベル記憶部
１１６ 作業状況認識部
１１７ 動作モード記憶部
１１８ 最適モード出力部
１１９ 動作モード変更部
３ 車輪
４ 車体
５ 荷役装置
５０ マスト
５１ リフトブラケット
５２ フォーク
５３ リフトシリンダ
５４ リーチレグ
５５ キャリッジ
６ 支柱
７ ルーフ

【図1】

【図2】

【図3】

【図4】