(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-14
(45)【発行日】2022-10-24
(54)【発明の名称】情報処理システム、情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06F 21/32 20130101AFI20221017BHJP
【FI】
G06F21/32
(21)【出願番号】P 2022536368
(86)(22)【出願日】2021-07-13
(86)【国際出願番号】 JP2021026237
(87)【国際公開番号】W WO2022014562
(87)【国際公開日】2022-01-20
【審査請求日】2022-06-16
(31)【優先権主張番号】P 2020120224
(32)【優先日】2020-07-13
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】520258828
【氏名又は名称】アクティア株式会社
(73)【特許権者】
【識別番号】520258677
【氏名又は名称】東珠株式会社
(74)【代理人】
【識別番号】100126000
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100154748
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】北野 幸雄
(72)【発明者】
【氏名】リ メン トン
【審査官】行田 悦資
(56)【参考文献】
【文献】特開2020-009302(JP,A)
【文献】特開2020-021161(JP,A)
【文献】特開2005-036523(JP,A)
【文献】特開2003-214241(JP,A)
【文献】国際公開第2015/136938(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 21/32
(57)【特許請求の範囲】
【請求項1】
所定権限を有する登録者のみが運転可能な車両に搭載された、当該車両の状態変更機能を用いた当該車両の制御を実行する車両制御装置と、
他装置と接続することで、当該他装置と前記車両制御装置との間の通信を制御する通信制御装置と、
前記車両を運転し得る作業者により操作される作業者端末と、
ネットワークを介して前記作業者端末と通信をするサーバと、
を含む情報処理システムにおいて、
前記作業者端末は、
前記通信制御装置における前記他装置として、当該通信制御装置との間の通信を制御する車両通信制御手段と、
前記サーバとの間の通信を制御するサーバ通信制御手段と、
前記作業者の顔を被写体とする画像を顔画像として取得して、前記サーバ通信制御手段の制御に基づいて前記サーバと通信をすることで、当該顔画像を用いる認証方式で、前記作業者が前記登録者である旨の第1認証をするための制御を実行する顔認証制御手段と、
前記サーバ通信制御手段の制御に基づいて前記サーバと通信をすることで、前記作業者が前記所定権限を有する旨の第2認証をするための制御を実行する権限認証制御手段と、
前記車両通信制御手段の制御に基づいて前記通信制御装置を介する前記車両制御装置と通信をすることで前記車両の状態を制御する車両状態制御手段であって、前記第1認証及び前記第2認証の両方が成功した場合、前記車両の状態を運転許可の状態に遷移させる制御を実行し、それ以外の場合、前記車両の状態を運転禁止の状態に遷移させる制御を実行する車両状態制御手段と、
を備え、
前記サーバは、
前記作業者端末から前記顔画像が送信されてきた場合、前記顔画像を用いる前記認証方式で前記第1認証を実行し、その結果を前記作業者端末に送信する第1認証手段と、
前記第2認証を実行し、その結果を前記作業者端末に送信する第2認証手段と、
を備える、
情報処理システム。
【請求項2】
前記所定権限は、前記車両の運転を許可する権限であり、
前記車両の運転許可状態は、前記車両のエンジンを起動した状態であり、
前記車両の運転禁止状態は、前記車両のエンジンを停止した状態である
請求項1に記載の情報処理システム。
【請求項3】
前記作業者は、所定の管理者により管理される複数人が存在し、
前記サーバは、さらに、
前記複数人の作業者毎に、前記第1認証及び前記第2認証の夫々の結果を少なくとも含む情報を管理する管理手段と、
前記管理手段により前記複数の作業者毎に管理される前記情報を、所定端末を介して前記管理者に提示する提示手段と、
を備える、
請求項1又は2に記載の情報処理システム。
【請求項4】
所定権限を有する登録者のみが運転可能な車両に搭載された、当該車両の状態変更機能を用いた当該車両の制御を実行する車両制御装置と、
他装置と接続することで、当該他装置と前記車両制御装置との間の通信を制御する通信制御装置と、
前記車両を運転し得る作業者により操作される作業者端末と、
ネットワークを介して前記作業者端末と通信をして、前記作業者の顔を被写体とする画像が顔画像として前記作業者端末から送信されてきた場合、前記顔画像を用い
る認証方式で、第1認証を実行し、その結果を前記作業者端末に送信すると共に、前記作業者が前記所定権限を有する旨の第2認証を実行し、その結果を前記作業者端末に送信するサーバと、
を含む情報処理システムにおける
前記作業者端末として機能する情報処理装置において、
前記通信制御装置における前記他装置として、当該通信制御装置との間の通信を制御する車両通信制御手段と、
前記サーバとの間の通信を制御するサーバ通信制御手段と、
前記作業者の顔を被写体とする画像を顔画像として取得して、前記サーバ通信制御手段の制御に基づいて前記サーバに送信すると共に前記サーバから送信される第1認証の結果を受信するための制御を実行する顔認証制御手段と、
前記サーバ通信制御手段の制御に基づいて前記サーバと通信をすることで、前記作業者が前記所定権限を有する旨の第2認証をするための制御を実行する権限認証制御手段と、
前記車両通信制御手段の制御に基づいて前記通信制御装置を介する前記車両制御装置と通信をすることで前記車両の状態を制御する車両状態制御手段であって、前記第1認証及び前記第2認証の両方が成功した場合、前記車両の状態を運転許可の状態に遷移させる制御を実行し、それ以外の場合、前記車両の状態を運転禁止の状態に遷移させる制御を実行する車両状態制御手段と、
を備える情報処理装置。
【請求項5】
前記所定権限は、前記車両の運転を許可する権限であり、
前記車両の運転許可状態は、前記車両のエンジンを起動した状態であり、
前記車両の運転禁止状態は、前記車両のエンジンを停止した状態である、
請求項4に記載の情報処理装置。
【請求項6】
所定権限を有する登録者のみが運転可能な車両に搭載された、当該車両の状態変更機能を用いた当該車両の制御を実行する車両制御装置と、
他装置と接続することで、当該他装置と前記車両制御装置との間の通信を制御する通信制御装置と、
前記車両を運転し得る作業者により操作される作業者端末であって、前記通信制御装置における前記他装置として、当該通信制御装置との間の通信を制御する車両通信制御手段と
、サーバとの間の通信を制御するサーバ通信制御手段とを備える前記作業者端末と、
ネットワークを介して前記作業者端末と通信をして、前記作業者の顔を被写体とする画像が顔画像として前記作業者端末から送信されてきた場合、前記顔画像を用い
る認証方式で、第1認証を実行し、その結果を前記作業者端末に送信すると共に、前記作業者が前記所定権限を有する旨の第2認証を実行し、その結果を前記作業者端末に送信する
前記サーバと、
を含む情報処理システムにおける
前記作業者端末が実行する情報処理方法において、
前記作業者の顔を被写体とする画像を顔画像として取得して、前記サーバ通信制御手段の制御に基づいて前記サーバに送信すると共に前記サーバから送信される第1認証の結果を受信するための制御を実行する顔認証制御ステップと、
前記サーバ通信制御手段の制御に基づいて前記サーバと通信をすることで、前記作業者が前記所定権限を有する旨の第2認証をするための制御を実行する権限認証制御ステップと、
前記車両通信制御手段の制御に基づいて前記通信制御装置を介する前記車両制御装置と通信をすることで前記車両の状態を制御する車両状態制御
ステップであって、前記第1認証及び前記第2認証の両方が成功した場合、前記車両の状態を運転許可の状態に遷移させる制御を実行し、それ以外の場合、前記車両の状態を運転禁止の状態に遷移させる制御を実行する車両状態制御ステップと、
を含む情報処理方法。
【請求項7】
所定権限を有する登録者のみが運転可能な車両に搭載された、当該車両の状態変更機能を用いた当該車両の制御を実行する車両制御装置と、
他装置と接続することで、当該他装置と前記車両制御装置との間の通信を制御する通信制御装置と、
前記車両を運転し得る作業者により操作される作業者端末であって、前記通信制御装置における前記他装置として、当該通信制御装置との間の通信を制御する車両通信制御手段と
、サーバとの間の通信を制御するサーバ通信制御手段とを備える前記作業者端末と、
ネットワークを介して前記作業者端末と通信をして、前記作業者の顔を被写体とする画像が顔画像として前記作業者端末から送信されてきた場合、前記顔画像を用い
る認証方式で、第1認証を実行し、その結果を前記作業者端末に送信すると共に、前記作業者が前記所定権限を有する旨の第2認証を実行し、その結果を前記作業者端末に送信する
前記サーバと、
を含む情報処理システムにおける
前記作業者端末を制御するコンピュータに、
前記作業者の顔を被写体とする画像を顔画像として取得して、前記サーバ通信制御手段の制御に基づいて前記サーバに送信すると共に前記サーバから送信される第1認証の結果を受信するための制御を実行する顔認証制御ステップと、
前記サーバ通信制御手段の制御に基づいて前記サーバと通信をすることで、前記作業者が前記所定権限を有する旨の第2認証をするための制御を実行する権限認証制御ステップと、
前記車両通信制御手段の制御に基づいて前記通信制御装置を介する前記車両制御装置と通信をすることで前記車両の状態を制御する車両状態制御
ステップであって、前記第1認証及び前記第2認証の両方が成功した場合、前記車両の状態を運転許可の状態に遷移させる制御を実行し、それ以外の場合、前記車両の状態を運転禁止の状態に遷移させる制御を実行する車両状態制御ステップと、
を含む制御処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来より、移動体の不正使用を防ぐことを目的とした技術は存在する(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述の特許文献1に記載の技術を含む従来技術のみでは、建設機械(以下、「車両」と呼ぶ)、及び車両を操作する作業員を的確に管理することはできない。
【0005】
本発明は、このような状況を鑑みてなされたものであり、車両、及び車両を操作する作業者を的確に管理する手法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理システムは、
所定権限を有する登録者のみが運転可能な車両に搭載された、当該車両の状態変更機能を用いた当該車両の制御を実行する車両制御装置と、
他装置と接続することで、当該他装置と前記車両制御装置との間の通信を制御する通信制御装置と、
前記車両を運転し得る作業者により操作される作業者端末と、
ネットワークを介して前記作業者端末と通信をするサーバと、
を含む情報処理システムにおいて、
前記作業者端末は、
前記通信制御装置における前記他装置として、当該通信制御装置との間の通信を制御する車両通信制御手段と、
前記サーバとの間の通信を制御するサーバ通信制御手段と、
前記作業者の顔を被写体とする画像を顔画像として取得して、前記サーバ通信制御手段の制御に基づいて前記サーバと通信をすることで、当該顔画像を用いる認証方式で、前記作業者が前記登録者である旨の第1認証をするための制御を実行する顔認証制御手段と、
前記サーバ通信制御手段の制御に基づいて前記サーバと通信をすることで、前記作業者が前記所定権限を有する旨の第2認証をするための制御を実行する権限認証制御手段と、
前記車両通信制御手段の制御に基づいて前記通信制御装置を介する前記車両制御装置と通信をすることで前記車両の状態を制御する車両状態制御手段であって、前記第1認証及び前記第2認証の両方が成功した場合、前記車両の状態を運転許可の状態に遷移させる制御を実行し、それ以外の場合、前記車両の状態を運転禁止の状態に遷移させる制御を実行する車両状態制御手段と、
を備え、
前記サーバは、
前記作業者端末から前記顔画像が送信されてきた場合、前記顔画像を用いる前記認証方式で前記第1認証を実行し、その結果を前記作業者端末に送信する第1認証手段と、
前記第2認証を実行し、その結果を前記作業者端末に送信する第2認証手段と、
を備える。
本発明の一態様の上記情報処理システムに対応する作業者端末として機能する情報処理装置、情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。
【発明の効果】
【0007】
本発明によれば、建機、及び建機を操作する作業者を的確に管理する手法を提供することができる。
【図面の簡単な説明】
【0008】
【
図1】本発明が適用される情報処理システムの概要を示す図である。
【
図2】本発明の情報処理システムの一実施形態に係るサーバを含む、情報処理システムの構成を示すブロック図である。
【
図3】
図2に示す情報処理システムのうち、サーバのハードウェア構成の一例を示すブロック図である。
【
図4】
図2の情報処理システムのサーバの機能的構成の一例を示す機能ブロック図である。
【
図5】管理者端末に表示される管理画面を示す図である。
【
図6】管理者端末に表示される登録画面を示す図である。
【
図7】実施形態の情報処理システムにおける正常認証時の動作を示すフローチャートである。
【
図8】実施形態の情報処理システムにおける正常認証時の動作を示すフローチャートである。
【
図9】実施形態の情報処理システムの認証失敗時の動作を示すフローチャートである。
【
図10】アプリの起動から認証、その後の終了画面までの画面遷移を示す図である。
【
図11】アプリの起動から認証、その後の終了画面までの画面遷移を示す図である。
【
図12】アプリの起動から認証、その後の終了画面までの画面遷移を示す図である。
【
図13】CAN未接続時の認証動作時の画面を示す図である。
【
図14】作業者端末における通信設定変更動作(アクセスポイント、ボーレート、URL設定等)の画面遷移を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を用いて説明する。
図1は、本発明が適用される情報処理システムの概要を示す図である。
【0010】
実施形態の情報処理システムは、
図1に示すように、建機5に搭載されたCAN制御装置41(図中「CAN」と記載)及び通信モジュール42と、作業者Uが操作する作業者端末2と、複数の作業者Uに関する情報と建機5に関する情報とを管理するサーバ1と、サーバ1に管理されている情報を閲覧及び編集可能な権限を持つ管理者Kが操作する管理者端末3と、を備える。
上記の他、建機5には、スターターカットリレー43(以下「リレー43」と呼ぶ)、セルモータ44、エンジン45等が搭載されている。
スターターカットリレー43は、セルモータ44とエンジン45とを接続する回路上に接続されている。スターターカットリレー43は、CAN制御装置41により制御されて、セルモータ44とエンジン45を接続したり切り離したりする。
CAN制御装置41は、作業者端末2からの指示信号に基づいて、建機5に搭載されたCAN(Controller Area Network)及びリレー43等の建機5の状態変更機能を用いた建機5の制御を実行する。
なお、車両によってはCAN及びCAN制御装置41が搭載されていない車両もある。この場合、CAN制御装置41と同様の制御機能を通信モジュール42に実装し、通信モジュール42から車両の内部に配線された制御線を通じてリレー43を制御するものとする。
通信モジュール42は、作業者端末2等の他装置と有線又は無線通信により接続することで、当該作業者端末2とCAN制御装置41との間の通信を制御する。
スターターカットリレー43においては、デフォルト(初期設定の状態)では、セルモータ44とエンジン45を接続する回路の接点が切り離されており(
図1参照)、エンジンがかからない状態である。
【0011】
サーバ1は、例えばLTE通信網等のネットワークを介して作業者端末2と通信をすることで、例えば作業者Uの多段階認証を実行する。LTEは登録商標である。
多段階認証とは、異なる認証方式を組み合わせた認証処理を言う。例えば作業者ID等の文字列認証と、人体の一部を検出及び照合する生体認証との組み合わせ等がある。
サーバ1の作業者管理部14は、複数人の作業者U毎に、顔認証及び権限認証等の夫々の結果を少なくとも含む情報を管理する。
サーバ1の提示部15は、作業者管理部14により複数の作業者U毎に管理される情報を、管理者端末3を介して管理者Kに提示する。
【0012】
作業者端末2は、建機5を運転し得る作業者Uにより操作される。作業者端末2は、例えばスマートフォン等であり、スマートフォン本体にインストールされたアプリケーションプログラム(以下「アプリ」と呼ぶ)によりサーバ1との間で作業者Uの認証処理を実行し、認証結果に基づいて、建機5に対する動作の制御を実行する。
このような構成により、建機5は、所定権限(エンジンON可以上の操作権限等)を有する登録者のみがエンジンをONし運転可能となる。
【0013】
この情報処理システムの場合、作業者Uの生体情報として例えば顔写真等、作業者Uが建機5を管理する会社の社員であることを示す社員情報、建機5を操縦する作業者Uの操作権限等をサーバ1に事前に登録しておくものとする。
【0014】
作業者Uは、建機5を運転する際に、作業者端末2においてアプリを起動操作して表示される画面に自身の作業者IDを入力してログインした後、利用開始ボタンを押下することで、作業者端末2の撮像機能が起動するので、自身の顔を被写体として写真を撮像する。
【0015】
作業者Uの顔を被写体として撮像された顔画像と、入力された作業者ID等は、作業者端末2の顔認証制御部23により顔認証要求とされて、LET通信I/F22を通じてサーバ1へ送信される。
この際、作業者端末2の権限認証制御部24により作業者IDを含む権限認証要求が、LET通信I/F22を通じてサーバ1へ送信される。
【0016】
サーバ1では、作業者端末2から送信されてきた顔認証要求と権限認証要求を通信I/F11が受信すると、通信I/F11は、顔認証要求を顔認証部12に渡し、権限認証要求を権限認証部13に渡す。
【0017】
顔認証部12は、顔認証要求に含まれる顔画像を、予めデータベースに登録されている作業者IDの顔画像と比較(照合)することで照合、つまり顔認証処理を実行する。互いの顔画像が合致すれば正常認証とされ、互いの顔画像が合致しなければ認証失敗とされる。
顔認証の結果としては、例えば正常認証…OK、認証失敗…NG等が得られる。
【0018】
また、権限認証部13は、権限認証要求に含まれる作業者IDを基に、予めデータベースに登録されている建機毎及び機能毎に設定されている作業者Uの資格、技能レベルさらにはこれまでの操縦履歴に応じた操作権限を認証、つまり権限認証処理を実行する。
作業者Uの操作権限の認証結果としては、作業者Uによる操作権限がある場合は認証成功が出力される。この他、段階的な権限(ランク)ありの場合は、段階(ランク)に応じて、例えば建機5への搭乗不可、建機5のエンジンONのみ可、建機5の運転(移動)機能のみ操作可(クレーン操作は不可)、建機5の全機能操作可等の情報が出力される。これら顔認証及び権限認証等の結果は、作業者端末2に返信される。
【0019】
作業者端末2では、建機制御部25が、サーバ1から返信されてきた認証結果に基づいて建機5を制御する。
建機制御部25は、顔認証結果がOKで、かつ作業者Uの操作権限の認証結果がエンジンON以上の権限であれば、建機5のエンジンを起動可能な状態に許可するものと判定する。
また、上記の組み合わせ以外であれば、顔認証結果がOKであっても、作業者Uの操作権限がエンジンON以上の権限であっても建機5のエンジンを起動可能な状態にはしない。つまりエンジンONを不許可と判定し、この先の処理を実行しないように制御する。
【0020】
判定の結果、建機5のエンジンを起動可能な状態に許可するものと判定した場合、建機制御部25は、建機5に対してエンジンONの許可を指示する許可信号をWiFi通信I/F21を介して建機5に送信する。
【0021】
建機5では、建機装置群4のうち、通信モジュール42が、作業者端末2から送信された許可信号を受信し、CAN制御装置41に渡す。
CAN制御装置41は、渡された許可信号をプロトコル変換した後、CANを通じてスターターカットリレー43を制御しエンジンONを許可する。
以降、作業者UがイグニッションキーをON操作することで、セルモータ44が動作し、建機5のエンジン45がかかる(起動する)。
【0022】
このようにこの実施形態の情報処理システムによれば、例えば、次のようなことを実現することができる。
作業者端末2に、建機5との通信機能(WiFi通信I/F21)と建機5を制御する機能(建機制御部25)を実装することで、CAN等の車載ネットワークからの各種データの取得及び操作が可能となる。また、CANを利用しない場合にはリレー制御が可能となる。また、無線通信又は有線通信で作業者端末2(例えばスマートフォン等)と連携することで各種データをやりとりすることができる。また、建機5のコントロール(例えばエンジンのON/OFFや自動運転等)が可能となる。
【0023】
また、建機5を管理するための管理者端末(例えばスマートフォンやタブレット等)にインストールしたアプリケーションソフトウェア(以下、「アプリ」と呼ぶ)により、複数の建機5及び作業者Uを管理することが可能となる。
これにより、建機5に後付けで各機能を付加することができるので、スマート化を図ることができる。また、通常の作業者認証に加えてライセンス認証や、顔認証等の生体認証を組み合わせることで、建機5の不正利用を防止することができる。
また、建機5のエンジンのON/OFFによるインターロックが可能となる。また、建機5を遠隔操作又は自動運転する等、各種制御を実施することが可能となる。また、建機5の運転情報を取得し、ネットワーク上のサーバ、つまりクラウドで履歴を管理することで、いつどこからでも、建機5の動作状況と、建機5を操縦する作業者Uの作業状況とを管理することができる。
【0024】
また、クラウド・コンピューティングを利用した建機マネジメントシステムが構築される。
これにより、作業者Uに関する情報(例えば、作業者ID、名前、顔写真、保持資格等)を的確に管理することができる。また、顔認証と権限認証を組み合わせたシステムを実現させることができる。また、各種データ(例えば作業員の体調に関する情報、運転のスキルに関する情報等)の管理が可能となる。また、各種サービス(例えば、熱中症対策、アルコール検査等)の情報提供が可能となる。また、AI(人工知能)による、各種データを利用した建機5や作業者Uの様々な状況の判定や、建機5の自動運転等が可能となる。
【0025】
また、管理者KがネットワークNWを介して管理者端末3で利用可能なアプリ(Webアプリ)として、管理者Kのためのダッシュボードを提供することができる。
これにより、現場や区画毎の状況監視が可能となる。また、建機5の不正使用等があった場合に、管理者Kに警報を発報(アラート通知)することが可能となる。また、各種サービスをステータス管理することができる。また、建機5の自動運転やリモート制御を管理することが可能となる。
【0026】
また、作業者Uのキャリアアップシステム(以下、「建機キャリアアップシステム」と呼ぶ)との連携が可能となる。
これにより、建設キャリアアップシステムとの間における情報の共有が可能となる。
【0027】
続いて、
図2を参照して本発明の情報処理システムの一実施形態に係るサーバを含む、情報処理システムについて説明する。
図2は、本発明の情報処理システムの一実施形態に係るサーバを含む、情報処理システムの構成を示すブロック図である。
【0028】
図2に示す情報処理システムは、多段階認証の機能を提供するサーバ1と、作業者U1乃至Un(nは1以上の任意の整数値)の夫々が操作する作業者端末2-1乃至2-nの夫々と、管理者Kに操作される管理者端末3と、建機5-1乃至5-mに夫々配置される建機装置群4-1乃至4-mと、を含むように構成されている。
【0029】
サーバ1と、作業者端末2-1乃至2-nと、管理者端末3と、建機装置群4-1乃至4-mとは、インターネット(Internet)等のネットワークNWを介して相互に通信可能に接続されている。
なお、以下、作業者U1乃至Unの夫々を個々に区別する必要がない場合、これらをまとめて「作業者U」と呼ぶ。また、作業者端末2-1乃至2-nの夫々を個々に区別する必要がない場合、これらをまとめて「作業者端末2」と呼ぶ。さらに、建機装置群4-1乃至4-mの夫々を個々に区別する必要がない場合、これらをまとめて「建機装置群4」と呼ぶ。この実施形態では、1台の管理者端末3を図示しているが、同じ権限を有する管理者Kが複数存在する場合は、複数の管理者端末3が存在する場合もある。
【0030】
サーバ1は、作業者端末2の動作を管理する。サーバ1は、作業者端末2に多段階認証の機能を提供すべく、各種各様な処理を実行する。
【0031】
作業者端末2は、例えばスマートフォン、タブレット等で構成され、建機5を運転し得る作業者Uにより操作される。また、作業者端末2は、無線通信の機能を有する。
作業者端末2は、インストールされたアプリによりサーバ1との間で作業者Uの認証処理を実行し、認証結果に基づいて、建機5に対する動作の制御を実行する機能を有する。
なお、以下、断りのない限り、「作業者Uが作業者端末2を操作する」と表現している場合、それは、作業者Uが、作業者端末2にインストールされたアプリを起動して各種操作を行うことを意味している。
また、「作業者端末2からの指示」には、作業者Uによる作業者端末2の操作も作業者端末2からの自動的な信号の発信も含まれる。
【0032】
ここで、
図3を参照して、
図2に示す情報処理システムのうち、サーバ1のハードウェア構成を説明する。
図3は、
図2に示す情報処理システムのうち、サーバ1のハードウェア構成の一例を示すブロック図である。
【0033】
図3に示すように、サーバ1は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memoy)103と、バス104と、入出力インターフェース105と、出力部106と、入力部107と、記憶部108と、通信部109と、ドライブ110と、を備えている。
【0034】
CPU101は、ROM102に記録されているプログラム、又は記憶部108からRAM103にロードされたプログラムに従って各種の処理を実行する。
RAM103には、CPU101が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0035】
CPU101、ROM102及びRAM103は、バス104を介して相互に接続されている。このバス104にはまた、入出力インターフェース105も接続されている。入出力インターフェース105には、出力部106、入力部107、記憶部108、通信部109及びドライブ110が接続されている。
【0036】
出力部106は、液晶等のディスプレイにより構成され、各種画像を表示する。
入力部107は、各種ハードウェア釦等で構成され、操作者の指示操作に応じて各種情報を入力する。
【0037】
記憶部108は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部109は、インターネットを含むネットワークNWを介して他の装置(作業者端末2)との間で行う通信を制御する。
【0038】
ドライブ110は、必要に応じて設けられる。ドライブ110には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア111が適宜装着される。ドライブ110によってリムーバブルメディア111から読み出されたプログラムは、必要に応じて記憶部108にインストールされる。また、リムーバブルメディア111は、記憶部108に記憶されている各種データも、記憶部108と同様に記憶することができる。
【0039】
なお、図示はしないが、
図2の情報処理システムのうち、作業者端末2や管理者端末3も、
図3のサーバ1のハードウェア構成と同様の構成とすることができるため、その説明を省略する。
ただし、作業者端末2や管理者端末3がスマートフォンやタブレットで構成される場合には、出力部106及び入力部107として、タッチパネルやカメラ等を有する。
【0040】
このような
図3のサーバ1の各種ハードウェアと各種ソフトウェアとの協働により、サーバ1で後述する各種処理の実行が可能になる。その結果、サーバ1は、作業者Uや管理者Kに対し、後述する各種機能を提供することができる。
【0041】
図4乃至
図6を参照して
図2の情報処理システムのサーバの機能的構成について説明する。
図4は、
図2の情報処理システムのサーバの機能的構成の一例を示す機能ブロック図である。
図5は、管理者端末に表示される管理画面を示す図である。
図6は、管理者端末に表示される登録画面を示す図である。
【0042】
図4に示すように、サーバ1の記憶部108の一領域には、データベースとして、例えば作業者DB401と認証DB402とが設けられている。
【0043】
作業者DB401には、建機5で作業を行う会社の社員としての作業者U1乃至Unに関する情報と履歴に関する情報とが記憶されている。
作業者U1乃至Unに関する情報は、作業者U1乃至Unの夫々の作業者IDに紐付けられて、例えば氏名、建機5-1乃至5-mの運転資格、建機5-1乃至5-mの夫々の機能の操作権限、今までの建機5-1乃至5-mの運転履歴等が記憶されている。
【0044】
作業者に関する情報は、具体的には、例えば作業者ID、姓、名、会社名、建機運転ステータス、顔認証結果、プロフィール写真保存パス、運転対象機材、運転日時、顔認証類似度、登録日、メモ、業務経歴、経度、緯度、建機ライセンス等を含む。
【0045】
履歴に関する情報は、具体的には、例えば作業者ID、運転フラグ、姓、名、会社名、建機運転ステータス、顔認証結果、ライセンス判定、プロフィール写真保存パス、顔認証社新保存パス、運転対象機材、運転日時、顔認証類似度、登録日、メモ、業務経歴、経度、緯度、建機ライセンス等を含む。
【0046】
運転履歴には、各作業者U1乃至Unが夫々の建機5-1乃至5-mに搭乗して運転した時間が含まれる。この他、運転履歴には、運転中の急ブレーキの回数やイレギュラーな操作(急ハンドル等)の発生回数等、危険運転の判定材料となる情報が含まれる。
【0047】
認証DB402には、事前に登録された認証情報として、例えば作業者U1乃至Unの夫々の作業者IDに紐付けられた作業者U1乃至Unの夫々の顔写真と、作業者U1乃至Unの夫々がアプリにログインするためのログイン情報(作業者ID等)と、上記危険運転を判定するための判定条件(閾値等)とが記憶されている。
さらに、認証DB402には、作業者IDに対応付けて作業者Uが使用可能な建機5(機材)の種類や機能等が記憶されている。
なお、認証DB402の情報は、作業者DB401に記憶されていてもよく、その逆であってもよく、1つのデータベースであってもよい。
【0048】
また、
図4に示すように、サーバ1のCPU101においては、多段階認証による建機5の制御処理が実行される場合には、通信I/F11と、顔認証部12と、権限認証部13と、作業者管理部14と、提示部15と、が機能する。
【0049】
通信I/F11は、作業者端末2側のLTE通信I/F22との間でLTE通信を実行する。LTEは、Long Term Evolutionの略称である。
顔認証部12は、作業者端末2から顔画像が送信されてきた場合、顔画像を用いる認証方式で顔認証(第1認証)を実行し、その結果を作業者端末2に送信する。
具体的には、顔認証部12は、作業者端末2から受信された作業者IDの顔画像と、認証DB402に登録されている作業者IDの顔画像とを比較及び照合し、互いの顔画像が合致した場合、認証成功を認証結果として出力する。
【0050】
権限認証部13は、権限認証要求に含まれる作業者IDを基に、予め認証DB402に登録されている建機毎及び機能毎に設定されている作業者Uの操作権限の有無を検証(認証)、つまり権限認証処理を実行する。
権限認証部13は、業者端末2から権限認証要求が送信されてきた場合、権限認証要求に含まれる作業者IDと建機5の機種情報を用いる権限認証(第2認証)を実行し、その結果を作業者端末2に送信する。
具体的には、権限認証部13は、業者端末2から受信された作業者IDに基づいて、認証DB402に登録されている作業者IDが運転可能な機材の情報を読み出し、読み出した運転可能な機材の情報に建機5の機種情報が含まれているか否かを判定する。この結果、運転可能な機材の情報に建機5の機種情報が含まれていた場合、権限認証を成功とする。
作業者Uの操作権限の認証結果としては、建機5に対して作業者Uに操作権限がある場合は認証成功が出力される。この他、作業者Uの操作権限が段階的にランク分けされている場合は、ランクに応じた操作権限を出力する。
例えば操作権限無しは建機5への搭乗不可である。最低ランクは、建機5のエンジンONのみ可である。その上のランクは、建機5の運転(移動)機能のみ操作可(クレーン操作は不可)である。一番上のランクは、建機5の全機能操作可である。
【0051】
提示部15は、作業者管理部14により複数の作業者U1乃至Unの夫々の管理される情報を、管理者端末3を介して管理者Kに提示する。
具体的には、提示部15は、管理者端末3に管理画面301(
図5参照)を表示し、管理者Kにより管理画面301に入力された日付や作業者の名前や作業者IDに基づいて、作業者DB401に記憶されている履歴情報から、該当する作業者Uの顔認証及び権限認証等の夫々の認証結果を少なくとも含む情報を読み出し、作業者Uの管理画面301に提示する。例えば複数の作業者U1乃至Unの稼働状況一覧を表示させて、所望の作業者の情報を閲覧することができる。
【0052】
例えば管理画面301から顔認証結果の情報を読み出すことで、顔認証結果の画面がポップアップ表示される。この顔認証結果の画面には、作業者Uのプロフィール写真と、作業者Uの作業時の写真とが顔認証結果として並べて表示されるので、互いの写真を目視で比較して確認することができる。また、同画面には、顔認証結果として、「一致しました」というメッセージと、顔認証類似度(例えば顔認証類似度:98%等)が表示される。
【0053】
作業者管理部14は、複数人の作業者U毎に、顔認証及び権限認証等の夫々の認証結果を少なくとも含む情報を管理する。
具体的には、作業者管理部14は、管理画面301やその画面から遷移する登録画面(
図6参照)から作業者Uに関する情報(所属会社、作業者ID、名前等)の新規登録、既登録の情報の編集や運転可能な機材(建機5の管理番号等)の追加、メモ、権限設定の変更等が可能である。編集された情報は、画面下部の登録ボタンを押下操作することにより、作業者DB401の当該作業者Uに関する情報が新規登録又は更新される。
【0054】
作業者端末2のCPU51においては、サーバ1の同様に、多段階認証による建機5の制御処理が実行される場合には、WiFi通信I/F21と、LTE通信I/F22と、顔認証制御部23と、権限認証制御部24と、建機制御部25と、画像取得部26と、が機能する。
WiFi通信I/F21は、建機5における通信モジュール42との間の通信を制御する。
LTE通信I/F22は、サーバ1との間の通信を制御する。具体的には、認証要求をサーバ1へ送信し、認証要求に対する認証結果をサーバ1から受信する。
【0055】
画像取得部26は、カメラ53を制御して作業者Uの顔を被写体とする画像を顔画像として取得する。
顔認証制御部23は、画像取得部26により取得される顔画像を、LTE通信I/F22の制御に基づいてサーバ1と通信をすることで、当該顔画像を用いる認証方式で、作業者Uが前記登録者である旨の顔認証をするための制御を実行する。
制御は、サーバ1へ顔認証要求を送信し、サーバ1による顔認証結果をサーバ1から受信する制御である。画像取得部26については、顔認証制御部23に含めてもよい。
【0056】
権限認証制御部24は、LTE通信I/F22の制御に基づいてサーバ1と通信をすることで、作業者Uが所定権限を有する旨の権限認証をするための制御を実行する。ここでの制御は、サーバ1へ作業者ID(作業者識別情報)と建機5の機種情報を権限認証要求に含めて送信し、サーバ1による権限認証結果をサーバ1から受信する制御である。
【0057】
建機制御部25は、WiFi通信I/F21の制御に基づいて建機5側の通信モジュール42を介するCAN制御装置41と通信をすることで、建機5の状態を制御する。
建機制御部25は、サーバ1から受信された顔認証及び権限認証の夫々の認証結果を基に、建機5の状態を遷移させる。
具体的には、建機制御部25は、例えば顔認証及び権限認証の両方が成功した場合、建機5の状態を運転許可の状態に遷移させる制御を実行し、それ以外の場合、建機5の状態を運転禁止の状態に遷移させる制御を実行する。
建機5は、始動前、デフォルトの設定では、イグニッションキーを回してもエンジンがかからない運転禁止の状態にされているため、建機制御部25は、認証の結果、顔認証及び権限認証の両方が成功した場合、建機5の状態を運転許可の状態に遷移させる制御を実行する。
【0058】
以下、
図7乃至
図14を参照して実施形態の情報処理システムの動作を説明する。
図7及び
図8は、実施形態の情報処理システムにおける正常認証時の動作を示すフローチャートである。
図9は、実施形態の情報処理システムの認証失敗時の動作を示すフローチャートである。
図10乃至
図12は、アプリの起動から認証、その後の終了画面までの画面遷移を示す図である。
図13は、CAN未接続時の認証動作時の画面を示す図である。
図14は、通信設定変更動作(アクセスポイント、ボーレート等)の画面遷移を示す図である。
【0059】
まず、
図7及び
図8を参照して、この情報処理システムにおいて認証が正常に行われる場合の動作を説明する。
この場合、建機5の初期設定の状態、
図7のステップS1において、エンジンON不可の状態であり、建機5に搭乗しようとする作業者Uが、ステップS2において、建機5のイグニッションキーをONにする操作をしてもエンジンはかからず、起動が失敗に終わる。
【0060】
そこで、作業者Uは、作業者端末2のアプリの起動操作をしてアプリを起動すると、ステップS3のようにアプリの初期画面501(
図10参照)が表示される。
初期画面501には、ID入力欄と、グレーアウトした「次へ」のボタンと、「QRコード」の読み取りボタンが設けられている。QRコードは、登録商標である。
【0061】
ステップS4において、初期画面501のID入力欄に自身の作業者IDを入力した後、
図10の画面502において、ID入力で有効になった「次へ」のボタンを押下すると、ステップS5において、
図10のWiFi接続画面503が表示される。
このWiFi接続画面503には、ステップS6において、現在接続可能なWiFiスポットの一覧が表示されるので、この中から、作業者Uが搭乗しようとしている建機5のWiFiスポットを選択し、「接続」のボタンを押下操作する。
【0062】
「接続」のボタンの押下操作により、作業者端末2のWiFi通信I/F21が建機5のWiFiスポット(通信モジュール42)との間でWiFi接続のシーケンスを開始する。
【0063】
そして、ステップS7において、建機5のWiFiスポット(通信モジュール42)とWiFi接続されると、
図11の画面504が表示される。
画面504には、「接続」、「顔認証」、「エンジン起動」のボタンが設けられている。「接続」のボタンには、現在、建機5とのWiFi接続が有効となっていることを示すチェックマークが表示されている。
【0064】
WiFi接続の後、バックグラウンドでは、WiFi通信により建機5のCAN制御装置41との間でCAN通信が開始され、CAN制御装置41からCANデータが送信されてくる。CANデータには、例えば建機5の機種情報(建機5の個体を一意に識別可能な識別番号等)の建機情報が含まれている。
【0065】
ここで、作業者Uが、画面504の「顔認証」のボタンを押下操作すると、作業者端末2のLTE通信I/F22と、サーバ1の通信I/F11との間でLTE通信が開始される。
【0066】
そして、ステップS8において、作業者端末2とサーバ1とがLTE通信により接続されると、ステップS9において、建機制御部25からCAN制御装置41へ、エンジンONを許可しない指示信号であるENG-ON許可要求=0等が送信される。このENG-ON許可要求は、顔認証がOKになるまで、継続して送信され、それ以降は100msの周期で送信される。
【0067】
CAN制御装置41からは、ステップS10において、建機5の側の情報(エンジン45(
図1参照)の状態を含む情報)として、ENG-ON許可要求=0に対する応答として、ENG-ON許可要求信号受信中=0、車両電源ON中=1、ENG始動許可出力中=0、ENG始動スイッチ操作中=0、ENGクランキング中=0、ENG稼働中=0等が返信されてくる。
【0068】
また、顔認証制御部23は、作業者端末2のカメラ53(
図4参照)を起動し、起動したカメラ53の機能により、
図11の撮像画面505が表示される。それ以降、ステップS11において、顔認証制御部23は、顔画像の撮像待ち(撮像ボタンの操作待ち)の状態となる。
そして、ステップS12において、作業者Uにより撮像ボタンが押下操作されることで、顔認証制御部23は、ステップS13において、カメラ53を制御し、カメラ53の撮像範囲内に入った顔を被写体とする顔画像を撮像し、ステップS14において、その顔画像と、作業者IDとを含む顔認証要求と、作業者IDと建機5の機種情報(建機5の個体を一意に識別可能な識別番号等)とを含む権限認証要求とをLTE通信によりサーバ1へ送信する。
顔画像を撮像後、顔認証及び権限認証が共に成功と判定されるまで、
図11の撮像画面505には、「確認中…」、「照合中」等のメッセージが表示さる。
【0069】
サーバ1では、ステップS15において、顔認証部12が、受信された顔認証要求に含まれる作業者IDに基づいて認証DB402を検索し、作業者IDに紐付く顔画像を読み出し、顔認証要求に含まれる顔画像と照合することで、顔認証を実行する。
また、サーバ1では、ステップS16において、権限認証部13が、受信された権限認証要求に含まれる作業者IDに基づいて認証DB402を検索し、作業者Uが使用可能な建機5の種類を読み出し、権限認証要求に含まれる建機の機種情報と照合することで作業者Uが操作し得る建機5の権限認証を実行する。
【0070】
そして、ステップS17において、顔認証部12と権限認証部13は、夫々の認証結果を通信I/F11を介して作業者端末2へ送信する。
【0071】
そして、サーバ1から送信されてきた認証結果が作業者端末2に受信されると、ステップS18において、建機制御部25は、顔認証及び権限認証の結果を確認する。
そして、確認の結果、両方の認証が共に成功していた場合、建機制御部25は、建機5の状態を、運転許可の状態に遷移させるため、ENG-ON許可要求=1等を、建機5の通信モジュール42を介してCAN制御装置41へ送信する。
これと共に、顔認証及び権限認証が共に成功したことで、
図11の撮像画面506に遷移し、「認証完了」「照合中」等のメッセージに変更される。
「認証完了」、0.2秒で、
図12の画面507に遷移する。
画面507の顔認証のボタンの右隅に、チェックマークが表示されるので、作業者Uは、このチェックマークを確認することで、認証が成功したことが分かる。
【0072】
建機5では、ステップS19において、ENG-ON許可要求=1等を受信したCAN制御装置41が、リレー43に対して、エンジンONを可能とする制御を実行する。
その後、CAN制御装置41は、
図8のステップS20において、受信したENG-ON許可要求=1に対する応答として、建機5側の状態(変更)の情報として、ENG-ON許可要求信号受信=1、車両電源ON中=1、ENG始動許可出力中=1、ENG始動スイッチ操作中=0、ENGクランキング中=0、ENG稼働中=0を作業者端末2へ返信する。
【0073】
作業者端末2では、建機制御部25が、上記建機5の状態(変更)のデータを受け取ると、ステップS21において、建機5の状態が変更された旨をサーバ1へ通知する。
その後、ステップS22において、エンジンスイッチの操作待ちの状態となる。
操作待ちの状態であっても、ステップS23において、建機制御部25は、ENG-ON許可要求=1を、建機5の通信モジュール42を介してCAN制御装置41へ送信する。
【0074】
そして、ステップS24において、作業者Uが建機5のイグニッションキーをON操作すると、CAN制御装置41は、ENG-ON許可要求=1に対する応答のタイミング、例えばステップS25において、建機5側の状態(変更)の情報として、ENG-ON許可要求信号受信=1、車両電源ON中=1、ENG始動許可出力中=1、ENG始動スイッチ操作中=1、ENGクランキング中=1、ENG稼働中=0を作業者端末2へ送信する。
【0075】
作業者端末2では、建機制御部25が、上記建機5の状態(変更)のデータを受け取ると、ステップS26において、建機5の状態が変更された旨をサーバ1へ通知する。
その後、ステップS27において、エンジン始動待ちの状態となる。
エンジン始動待ちの状態であっても、ステップS28において、建機制御部25は、ENG-ON許可要求=1を、建機5の通信モジュール42を介してCAN制御装置41へ送信する。
【0076】
そして、ステップS29において、建機5のエンジン45の始動が成功すると、CAN制御装置41は、ENG-ON許可要求=1に対する応答のタイミング、例えばステップS30において、建機5側の状態(変更)の情報として、ENG-ON許可要求信号受信=1、車両電源ON中=1、ENG始動許可出力中=0、ENG始動スイッチ操作中=0、ENGクランキング中=0、ENG稼働中=1を作業者端末2へ送信する。
【0077】
作業者端末2では、建機制御部25が、上記建機5の状態(変更)のデータを受け取ると、建機制御部25は、ステップS31において、建機5の状態が変更された旨をサーバ1へ通知する。
これと同時に、アプリの画面が、
図12の画面508に遷移し、グレーアウトしていた「エンジン起動」ボタンのエンジンマークと、ボタン右隅のチェックマークが共に橙色に変えられる。
【0078】
サーバ1では、ステップS32において、提示部15が、建機5の状態(エンジン45が始動したこと)を管理者端末3に表示する。
【0079】
一方、作業者端末2では、ステップS33において、建機制御部25は、エンジン45が始動したため、ENG-ON許可要求=0を、建機5の通信モジュール42を介してCAN制御装置41へ送信する。
【0080】
そして、建機5のCAN制御装置41が、ENG-ON許可要求=0を受信すると、ステップS34において、ENG-ON許可要求=0に対する応答として、ENG-ON許可要求信号受信=0、車両電源ON中=1、ENG始動許可出力中=0、ENG始動スイッチ操作中=0、ENGクランキング中=0、ENG稼働中=1等の建機5側の状態(変更)を示す情報を作業者端末2へ送信する。
【0081】
作業者端末2では、ステップS35において、建機制御部25は、100msの間隔で、ENG-ON許可要求=0を、建機5の通信モジュール42を介してCAN制御装置41へ送信する。
【0082】
そして、建機5のCAN制御装置41が、ENG-ON許可要求=0を受信すると、ステップS36において、ENG-ON許可要求=0に対する応答として、ENG-ON許可要求信号受信=0、車両電源ON中=1、ENG始動許可出力中=0、ENG始動スイッチ操作中=0、ENGクランキング中=0、ENG稼働中=1等の建機5側の状態(変更)を示す情報を作業者端末2へ送信する。
【0083】
その後、ステップS37において、作業者Uにより建機5のイグニッションキーがOFFされる操作が行われると、エンジン45が停止し、これを建機5のCAN制御装置41が検知する。
CAN制御装置41は、エンジン45の停止を検知すると、ステップS38において、WiFi接続を切断するシーケンスを、作業者端末2のWiFi通信I/F21との間で実行する。これにより、WiFiが切断される。
【0084】
作業者端末2では、WiFiが切断されたことで、ステップS39において、サーバ1に対して、建機5の状態が変化した旨(イグニットションキーOFF、WiFi切断等)を通知する。これと共に、
図12のアプリの画面508は、ボタン群が非アクティブな状態(グレーアウトした状態)の次の画面509に遷移される。この画面509には「エンジンが停止しました。顔認証から再度実施してください。」等のメッセージが表示される。
【0085】
サーバ1では、ステップS40において、提示部15が、建機5の状態(イグニットションOFF、WiFi切断等)を管理者端末3に表示する。
【0086】
その後、ステップS41において、作業者端末2のLTE通信I/F22は、サーバ1とのLTE通信を切断した後、ステップS42において、作業者端末2のアプリの画面を初期状態の画面(
図10の初期画面501)に遷移させる。
【0087】
続いて、
図9を参照してこの情報処理システムにおいて認証が失敗したときの動作を説明する。
【0088】
この動作において、アプリの起動から認証までの動作は、
図7と同じであり、説明は省略する。
ステップS15の顔認証と、ステップS16の権限認証との2つの認証の結果は、
図9のステップS51において、サーバ1から作業者端末2に送信される。
作業者端末2では、サーバ1から認証の結果が受信されると、受信された認証の結果のうち、いずれか1つでも認証が失敗していた場合、ステップS52において、建機制御部25は、引き続きエンジンONを許可しない指示信号であるENG-ON許可要求=0を、建機5の通信モジュール42を介してCAN制御装置41へ送信する。
【0089】
そして、建機5のCAN制御装置41が、ENG-ON許可要求=0を受信すると、ステップS53において、CAN制御装置41は、ENG-ON許可要求=0に対する応答として、ENG-ON許可要求信号受信=0、車両電源ON中=1、ENG始動許可出力中=0、ENG始動スイッチ操作中=0、ENGクランキング中=0、ENG稼働中=0等の建機5側の状態(変更)を示す情報を作業者端末2へ送信する。
【0090】
このようにサーバ1において、顔認証と権限認証のうち、いずれか1つでも認証を失敗した場合は、作業者端末2は、建機5のエンジンONを許可しないので、作業者UがイグニッションキーをON操作しても、エンジンはかからず、操作者として事前登録がないか、又は建機5に対する権限のない作業者Uは、建機5を操縦することができない。
【0091】
次に、
図10、
図11及び
図13を参照してCAN未接続の場合のアプリの動作を説明する。
作業者端末2において、アプリを起動すると、
図10の初期画面501が表示される。
作業者Uが、初期画面501のID入力欄に、作業者IDを入力し、画面502の「次へ」のボタンを押下すると、画面502がWiFi接続画面503に遷移する。
作業者Uは、WiFi接続画面503に表示されたWiFiスポットの中から建機5のWiFiスポットを選択し、「接続」ボタンを押下操作すると、
図11の画面504に遷移し、「接続」のボタンの色が変わるので、建機5とWiFiが接続されたことが分かる。
【0092】
建機5では、WiFiが接続されると、通常、CAN制御装置41が、建機5の各部のデータをCANから収集し、CANデータを作業者端末2へ送信するが、CAN制御装置41がCANと未連結(未接続)の場合は、CAN制御装置41からのCANデータが作業者端末2に受信されない。
この場合、作業者Uが、
図11の画面504の「顔認証」ボタンを押下操作すると、
図13の画面511に遷移する。
この場合、画面511には、「まだCANが接続できていません。もうしばらくしてもう一度お試しください。」等のエラーメッセージが表示される。
【0093】
このように作業者端末2と建機5との間でWiFiが接続できたとしても建機5内のCANが未連結の場合は、建機5の情報が得られないため、作業者Uが「顔認証」のボタンを操作しても「顔認証」を行うことができず、エラーメッセージにより作業者Uに通知される。
【0094】
次に、
図10、
図11及び
図14を参照して作業者端末のアプリにおける通信設定変更動作(アクセスポイント、ボーレート、URL設定等)を説明する。
作業者端末2において、アプリを起動すると、
図10の初期画面501が表示される。
作業者Uが、初期画面501のID入力欄に、作業者IDを入力し、画面502の「次へ」のボタンを押下すると、画面502がWiFi接続画面503に遷移する。
作業者Uは、WiFi接続画面503に表示されたWiFiスポットの中から建機5のWiFiスポットを選択し、「接続」ボタンを押下操作すると、
図11の画面504に遷移し、「接続」のボタンの色が変わるので、建機5とWiFiが接続されたことが分かる。
【0095】
ここで、作業者Uが、
図11の画面504の下部に設けられているメニュー欄の「設定」ボタンを押下操作すると、
図14に示す画面521に遷移する。
この画面521には、デモモード、言語、アクセスポイント、ボーレート、URL設定等の設定項目が設けられており、夫々の設定項目の設定内容を変更することができる。
例えばアクセスポイントの設定項目では、IPaddressとPortの設定を変更することができる。
アクセスポイントの設定項目の設定を変更するには、夫々の値を直接編集した後、画面を上にスワイプ操作して、画面下部を表示する画面522に遷移させて、「更新」ボタンを押下操作することで、設定項目の変更内容が反映され、画面523の画面に遷移する。
【0096】
ボーレートやURL設定を変更する際も、アクセスポイントの設定変更と同様に、上記
図11の画面504から画面521乃至画面522を操作することにより設定内容を変更することができる。
【0097】
本実施形態の情報処理システムのサーバ1と、作業者端末2に実装されるアプリ(顔認証、権限認証によりエンジンON/OFFを制御するアプリ)と建機装置群4によれば、例えば、次のようなことが実現可能となる。
【0098】
作業者端末2のアプリから建機5の制御部(例えばCAN制御装置41等)への接続及び制御が可能となる。
具体的には、アプリが建機5に搭載される通信モジュール42と通信し、建機5のCAN(ネットワーク)を通じてCAN制御装置41と接続が可能となるため、建機5を含む車両を扱う各社が提供するCANデータの取得と制御が可能となる。
【0099】
また、各種制御(例えば、エンジン45のON/OFF等)が可能となる。具体的には、CANやリレーを介して建機5を制御(例えば、建機5のエンジン45のON/OFF等)が可能となる。なお、建機5を制御する制御コマンドについては各社のCAN仕様に準拠させるものとする。また、CANが使えない場合は、制御信号とリレーによりエンジン45を制御することができる。
【0100】
また、アプリにより建機5の稼働データを取得することが可能になる。これにより、CANから建機5の各種情報を取得することができる。また、CANがない場合は取得できる情報を集約させることができる。
【0101】
また、建機5やサーバ1には、作業者端末2と通信するための通信モジュールや通信I/Fが実装される。なお、本実施形態では、通信方式は特に限定されないが、Bluetooth、WiFi、有線LAN、シリアル接続等を状況に応じて選択して利用するものとする。Bluetoothは、登録商標である。
また、建機5の側(エッジ側)に計算ノードが設置される。これにより、AI(人工知能)を活用した各種の処理を建機側(エッジ側)で実施することが可能となる。また、必要に応じてクラウドと連携させることもできる。
【0102】
また、サーバ1(クラウド・コンピューティング)と作業者端末2(スマートフォン)にLTE(4G)通信のインターフェース(通信I/F11やLTE通信I/F22等を備えることにより、クラウド・コンピューティングとスマートフォン等との間で無線通信が可能となる。この他、5G通信、WiFi等の通信網を利用することで、リアルタイムもしくは非同期の通信が可能となる。
【0103】
また、スマートフォンにインストールされた専用のアプリによるサービスの利用が可能となる。この場合、スマートフォンと建機5のCANやリレーとの接続には通信制御用のモジュール(例えば通信モジュール42等)が用いられる。また、アプリは、各種のOS(Operating System)に対応させることができる。具体的には例えば、iOS(登録商標)、Android(登録商標)、Windows(登録商標)等に対応させることができる。また、通信制御以外にもスケジューラーやメーラー、業務報告ツール等の業務機能を実装させることができる。
【0104】
また、動作確認用機器として、CANデータ等が正しく通信を実施できているかを検証可能なアプリが実装された機器を採用することができる。
【0105】
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0106】
上記実施形態では、建機5を操縦しようとする作業者Uの顔画像と建機5を操作する作業者Uの権限に基づいて建機5のエンジンを起動するための認証をしたが、この他、例えば建機5、及び建機5を操作する作業者Uを管理する情報処理システムは、建機5を一意に特定可能な情報を含む第1情報(建機5の建機IDと対応する建機5の機能毎の作業者Uの使用権限等)と、作業者Uの生体に関する情報を少なくとも含む第2情報(作業者Uの作業者IDに紐付けられた顔画像等)とを対応付けて管理する管理手段と、建機5から取得される第1情報(建機ID等)と、当該第1情報(建機ID等)と共に取得された作業者Uの第2情報(顔画像と作業者ID等)との夫々について、管理手段により管理されている第1情報(建機ID等)と、第2情報(作業者Uの作業者IDに紐づく顔画像等)とを予め登録されている夫々の情報と照合する照合手段と、照合手段による照合の結果、両者の情報が合致した場合、作業者Uの使用権限に応じて建機5において使用可能な機能を判定する判定手段とを備えるようにしてもよい。これにより、建機5、及び建機5を操作する作業者Uを的確に管理し、作業者Uに適した建機5の機能を使用させて建機5を稼働させて作業者Uに作業をさせることができる。
【0107】
上記実施形態では、顔認証と権限認証との組み合わせについて説明したが、顔の他、指の指紋や目の網膜、手の静脈等を認証してもよく、作業者の生体の部分を認証すればよい。また、権限以外に、作業者の作業時間が一定の作業時間を超過しているか等を判断材料にしてコンプライアンス認証等をしてもよい。
また、当該建機の作業者の運転履歴から、当該建機と作業者との組み合わせで、危険運転を所定回数以上していれば、その建機を操縦できないように認証NGとしてもよい。
即ち、建機と作業者について、異なる判断材料の複数の認証方式を組み合わせて認証すればよい。
上記実施形態では、車両の一例として建機5を挙げて説明したが、この他、例えば自家用自動車やトラクター等の農機であってもよく、本発明の適用範囲は、例示した建機5だけに限定されるものではない。
上記実施形態では、建機5の制御にCANを利用した場合について記載したが、CANを利用せず、通信モジュール42が建機5に配線した制御線を通じてリレー43等をON/OFF制御するケースもあり、このケースについても適用可能である。即ち、車両に搭載される制御機能は、車両内通信線または通信網を利用して車両の状態を変更する車両の状態変更機能であれば足りる。
上記実施形態では、サーバ1で認証した結果を作業者端末2に伝達し、作業者端末2から建機5のCAN制御装置41を制御したが、この他、サーバ1で認証した結果に基づいてサーバ1が直接、建機5のCAN制御装置41を制御してもよい。この場合、サーバ1に建機制御部25を配置するものとする。
上記実施形態では、建機5を起動する際に、作業者端末2から建機5を遠隔操作して認証することについて説明したが、この他、以下のように認証をしてもよい。
例えば初期の認証により建機5を起動した後、作業者Uが建機5を操作中にも定期的又は時間間隔を決めずに不意打ち的に作業者Uの顔認証を行うようにしてもよい。この場合、他人が作業者Uとしてなりすまして作業を行う、いわゆる「なりすまし行為」等の不正を防止することができる。
上記実施形態では、顔認証と権限認証の組み合わせについて説明したが、この他、例えば、運送事業者の場合、顔認証や権限認証に加えて、資格の認証、アルコール検査、体調のモニタリング等を行った結果をさらに追加又は組み合わせを変えて、車両の制御を実施してもよい。つまりサーバ1(クラウド)にある作業者の資格情報や車両の情報以外に、他の要素も組み合わせて判断してもよい。またユースケースに応じて認証の種類や数を増減してもよい。
上記実施形態では、作業者Uの運転履歴を用いてもよい旨を記載したが、例えばサーバ1(クラウド)側で、作業者Uの運転ログや作業者Uを監督する監督者の作業者Uへの評価に基づいて、作業者Uに点数を付与(スコアリング)し、そのスコアリングしたスコアの値が、作業現場や作業環境に応じて予め設定した閾値を越えない場合は顔認証や権限認証や資格認証(免許)がOKだとしても、車両の状態を運転許可の状態に遷移させない制御を行ってもよい。
上記実施形態では、WiFi通信I/F21としたが、これに限定されることなく、例えばBluetooth等の近距離無線通信やLAN等の物理的なケーブルの接続により通信を行ってもよい。
上記実施形態では、LTE通信I/F22としたが、これに限定されることなく、例えば5G通信等のインターフェースとしてもよい。
【0108】
また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、機能的構成は例示に過ぎず、特に限定されない。
【0109】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0110】
このようなプログラムを含む記録媒体は、作業者等にプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態で作業者等に提供される記録媒体等で構成される。
【0111】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0112】
以上を換言すると、本発明が適用される情報処理装置は、次のような構成を有していれば足り、各種各様な実施の形態を取ることができる。
即ち、本発明が適用される情報処理システムは、
所定権限(例えば車両のエンジンを起動する権限や車両に搭載されている機能を利用する権限等)を有する登録者のみが運転可能な車両(例えば
図1の建機5等)に搭載された、当該車両の状態変更機能(CANやリレー43等)を用いた当該車両(例えば
図1の建機5等)の制御を実行する車両制御装置(例えば
図1のCAN制御装置41等)と、
他装置(例えば作業者端末2等)と接続することで、当該他装置と前記車両制御装置(例えば
図1のCAN制御装置41等)との間の通信を制御する通信制御装置(例えば
図1の通信モジュール42等)と、
前記車両(例えば
図1の建機5等)を運転し得る作業者(例えば
図1の作業者U等)により操作される作業者端末(例えば
図1の作業者端末2等)と、
ネットワーク(例えば
図2のネットワークNW等)を介して前記作業者端末(例えば
図1の作業者端末2等)と通信をするサーバ(例えば
図4のサーバ1等)と、
を含む情報処理システムにおいて、
前記作業者端末(例えば
図4の作業者端末2等)は、
前記通信制御装置(例えば
図4の通信モジュール42等)における前記他装置として、当該通信制御装置(例えば
図4の通信モジュール42等)との間の通信を制御する車両通信制御手段(例えば
図4のWiFi通信I/F21等)と、
前記サーバ(例えば
図4のサーバ1等)との間の通信を制御するサーバ通信制御手段(例えば
図4のLTE通信I/F22等)と、
前記作業者(例えば
図1の作業者U等)の顔を被写体とする画像を顔画像として取得して、前記サーバ通信制御手段(例えば
図4のLTE通信I/F22等)の制御に基づいて前記サーバ(例えば
図4のサーバ1等)と通信をすることで、当該顔画像を用いる認証方式で、前記作業者(例えば
図1の作業者U等)が前記登録者である旨の第1認証(例えば顔認証等)をするための制御(サーバ1への顔認証要求と顔認証結果の受信等)を実行する顔認証制御手段(例えば
図4の顔認証制御部23等)と、
前記サーバ通信制御手段(例えば
図4のLTE通信I/F22等)の制御に基づいて前記サーバ(例えば
図4のサーバ1等)と通信をすることで、前記作業者(例えば
図1の作業者U等)が前記所定権限を有する旨の第2認証(例えば権限認証)をするための制御を実行する権限認証制御手段(例えば
図4の権限認証制御部24等)と、
前記車両通信制御手段(例えば
図1のWiFi通信I/F21等)の制御に基づいて前記通信制御装置(例えば
図4の通信モジュール42等)を介する前記車両状態制御装置(例えば
図4のCAN制御装置41等)と通信をすることで前記車両(例えば
図1の建機5等)の状態を制御する車両制御手段であって、前記第1認証(顔認証)及び前記第2認証(権限認証)の両方が成功した場合、前記車両(例えば
図1の建機5等)の状態を運転許可の状態に遷移させる制御を実行し、それ以外の場合、前記車両(例えば
図1の建機5等)の状態を運転禁止の状態に遷移させる制御を実行する車両状態制御手段(例えば
図4の建機制御部25等)と、
を備え、
前記サーバ(例えば
図4のサーバ1等)は、
前記作業者端末(例えば
図4の作業者端末2等)から前記顔画像が送信されてきた場合、前記顔画像を用いる前記認証方式で前記第1認証(顔認証等)を実行し、その結果を前記作業者端末(例えば
図4の作業者端末2等)に送信する第1認証手段(例えば
図4の顔認証部12等)と、
前記第2認証(権限認証等)を実行し、その結果を前記作業者端末(例えば
図4の作業者端末2等)に送信する第2認証手段(例えば
図4の権限認証部13等)と、
を備える。
このように、所定権限(例えば車両のエンジンを起動する権限や車両に搭載されている機能を利用する権限等)を有する登録者のみが運転可能な車両に作業者が登場しようとする際に、作業者端末で撮像した作業者の顔画像と、作業者の識別情報と、車両の機種情報とをサーバへ送信して、サーバにおいて第1認証(顔認証)及び第2認証(権限認証)の両方が成功した場合、車両の状態を運転許可の状態に遷移させる制御を実行することで、作業者と車両との相互の関係が正しく認証されない場合は作業者は車両を運転できないので、不正な作業者が車両に搭乗して運転することができなくなり、車両(建機)、及び車両(建機)を操作する作業者を的確に管理する手法を提供することができる。
【0113】
前記所定権限は、前記車両(例えば
図1の建機5等)の運転を許可する権限であり、
前記車両(例えば
図1の建機5等)の運転許可状態は、前記車両(例えば
図1の建機5等)のエンジンが起動した状態(ONの状態)であり、
前記車両(例えば
図1の建機5等)の運転禁止状態は、前記車両(例えば
図1の建機5等)のエンジンが停止した状態(OFFの状態)である、
請求項1に記載の情報処理システム。
このように、車両の運転許可状態が車両のエンジンが起動した状態であり、車両の運転禁止状態が車両のエンジンが停止した状態であれば、認証が成功しない場合は車両のエンジンが停止した状態が維持されるので、不正な作業者は、車両に搭乗して運転することができなくなり、上記同様に、車両、及び車両を操作する作業者を的確に管理する手法を提供することができる。
【0114】
前記作業者(例えば
図1の作業者U等)は、所定の管理者(例えば
図1の管理者K等)により管理される複数人が存在し、
前記サーバ(例えば
図4のサーバ1等)は、さらに、
前記複数人の作業者毎に、前記第1認証(例えば顔認証等)及び前記第2認証(権限認証等)の夫々の結果を少なくとも含む情報を管理する管理手段(例えば
図4の作業者管理部14等)と、
前記管理手段(例えば
図4の作業者管理部14等)により前記複数の作業者毎に管理される前記情報を、所定端末(例えば
図4の管理者端末3等)を介して前記管理者(例えば
図1の管理者K等)に提示する提示手段(例えば
図4の提示部15等)と、
を備える。
このように、複数人の作業者毎に、第1認証及び第2認証の夫々の結果を少なくとも含む情報を管理し、複数の作業者毎に管理される情報を、所定端末(例えば
図4の管理者端末3等)を介して管理者に提示することで、管理者は、多数の車両と多数の作業者を所定端末で一括して管理することができるようになる。
上記情報処理システムに対応する作業者端末として機能する情報処理装置、情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。
【符号の説明】
【0115】
1・・・サーバ、2、2-1乃至2-n・・・作業者端末、3・・・管理者端末、4、4-1乃至4-m・・・建機装置群、5、5-1乃至5-m・・・建機、11・・・通信I/F、12・・・顔認証部、13・・・権限認証部、14・・・作業者管理部、15・・・提示部、21・・・WiFi通信I/F、22・・・LTE通信I/F、23・・・顔認証制御部、24・・・権限認証制御部、25・・・建機制御部、26・・・画像取得部、101・・・CPU、108・・・記憶部、109・・・通信部、110・・・ドライブ、111・・・リムーバブルメディア、401・・・作業者DB、402・・・認証DB