特開 2023-167691 確認業務支援装置、確認業務支援方法、及び確認業務支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023167691

(43)【公開日】2023-11-24

(54)【発明の名称】確認業務支援装置、確認業務支援方法、及び確認業務支援システム

(51)【国際特許分類】

   G06Q 10/10 20230101AFI20231116BHJP

【ＦＩ】

G06Q10/10 310

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022079054

(22)【出願日】2022-05-12

(71)【出願人】

【識別番号】505194686

【氏名又は名称】株式会社日立ソリューションズ西日本

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】中谷 紳一

(72)【発明者】

【氏名】宮地 孝夫

(72)【発明者】

【氏名】伊藤 和宏

(72)【発明者】

【氏名】片山 俊明

(72)【発明者】

【氏名】野口 明宏

(72)【発明者】

【氏名】大串 博

(72)【発明者】

【氏名】佐藤 明伸

(72)【発明者】

【氏名】舟橋 圭二

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA09

5L049CC12

(57)【要約】      （修正有）

【課題】関係者が互いに異なる場所にいる場合であっても確実、かつ、適切に確認業務作業をする確認業務支援装置、方法及び確認業務支援システムを提供する。
【解決手段】確認業務支援システムにおいて、確認業務支援装置４０は、操作者システム１０から受信した、操作者の音声及び操作空間画像を記憶し、再鑑者システム３０から受信した、再鑑者の音声及び再鑑空間画像を記憶し、再鑑空間画像に再鑑者が含まれていない場合には、操作者システム１０から操作対象サーバ２０に対する処理を禁止し、操作者の音声が、再鑑者に確認を依頼する旨を示す音声である場合に、操作者システム１０から操作対象サーバ２０に対する処理を禁止し、再鑑者の音声が、再鑑者に確認が完了した旨を示す音声である場合において、再鑑空間画像が、再鑑者が操作者の業務の確認に必要な画面を確認した場合にのみ、操作者システム１０から操作対象サーバ２０に対する他の処理を許可する。
【選択図】図１

【特許請求の範囲】

【請求項1】

情報処理装置に対する処理を業務として行う操作者が使用する操作者システムから受信した、当該操作者の音声及び、前記操作者システムが管理する空間の画像である操作空間画像を記憶し、
前記操作者の業務内容を確認する再鑑者が使用する再鑑者システムから受信した、当該再鑑者の音声及び、前記再鑑者システムが管理する空間の画像である再鑑空間画像を記憶する記憶装置、及び、
前記再鑑空間画像に、前記再鑑者が含まれているか否かを判定し、前記再鑑空間画像に前記再鑑者が含まれていないと判定した場合には、前記操作者システムから前記情報処理装置に対する処理を禁止するための情報を前記操作者システム又は前記情報処理装置に設定し、
前記操作者の音声が、前記再鑑者に確認を依頼する旨を示す音声であるか否かを判定し、前記操作者の音声が、前記再鑑者に確認を依頼する旨を示す音声であると判定した場合に、前記操作者システムから前記情報処理装置に対する処理を禁止するための情報を前記操作者システム又は前記情報処理装置に設定し、
前記再鑑者の音声が、前記再鑑者による確認が完了した旨を示す音声であるか否かを判定し、前記再鑑者の音声が、前記再鑑者による確認が完了した旨を示す音声であると判定した場合において、前記再鑑空間画像が、前記再鑑者が前記操作者の業務の確認に必要な画面を確認したことを示しているか否かを判定し、前記再鑑者が前記操作者の業務の確認に必要な画面を確認したことを示していると判定した場合にのみ、前記操作者システムから前記情報処理装置に対する他の処理を許可する情報を前記操作者システム又は前記情報処理装置に設定する処理装置
を備える、確認業務支援装置。

【請求項2】

前記記憶装置は、前記操作者の業務に関する不正行為の予兆行為と、当該予兆行為を示す画像の特徴情報とを対応づけた情報である予兆行為管理テーブルを記憶し、
前記処理装置は、前記操作空間画像及び前記予兆行為管理テーブルに基づき、前記操作者が不正行為の予兆行為を行っているか否かを判定し、前記操作者が不正行為の予兆行為を行っていると判定した場合には、所定の出力を行い、又は、前記操作者システムから前記情報処理装置に対する処理を禁止するための情報を前記操作者システム又は前記情報処理装置に設定する、
請求項１に記載の確認業務支援装置。

【請求項3】

前記記憶装置は、前記操作者の業務に関する不正行為の予兆行為と、当該予兆行為を示す画像の特徴情報と、当該予兆行為の重大性を示すパラメータと、当該予兆行為の認定のために必要な行為の継続時間とを対応づけた予兆行為管理テーブルを記憶し、
前記処理装置は、前記操作空間画像及び前記予兆行為管理テーブルに基づき、前記操作者が前記予兆行為を前記継続時間以上続けているか否かを判定し、前記操作者が前記予兆行為を前記継続時間以上続けていると判定した場合に、前記予兆行為の重大性を示す不正行為度を所定のパラメータに基づき算出し、算出した不正行為度に応じて、所定の出力を行い、又は、前記操作者システムから前記情報処理装置に対する処理を禁止するための情報を前記操作者システム又は前記情報処理装置に設定する、
請求項２に記載の確認業務支援装置。

【請求項4】

前記処理装置は、前記算出した不正行為度が所定範囲内にある場合には、当該不正行為度に応じた種類の情報を表示し、前記算出した不正行為度が前記所定範囲より高い場合には、前記操作者システムから前記情報処理装置に対する処理を禁止するための情報を前記操作者システム又は前記情報処理装置に設定する、
請求項３に記載の確認業務支援装置。

【請求項5】

前記処理装置は、
前記操作者システムから前記情報処理装置への操作を禁止するための情報が前記操作者システム又は前記情報処理装置に設定されている場合において、前記再鑑者システムから、前記再鑑者の新たな音声を受信した場合、前記再鑑者の新たな音声が、前記操作者システムから前記情報処理装置に対する処理を許可する旨を示す音声であるか否かを判定し、前記再鑑者の新たな音声が前記操作者システムから前記情報処理装置に対する処理を許可する旨を示す音声であると判定した場合にのみ、前記操作者システムから前記情報処理装置に対する処理を許可する情報を前記操作者システム又は前記情報処理装置に設定する、
請求項１に記載の確認業務支援装置。

【請求項6】

前記処理装置は、
前記再鑑者の音声が、前記操作者システムから前記情報処理装置に対する処理を禁止する旨の音声であるか否かを判定し、前記再鑑者の音声が、前記操作者システムから前記情報処理装置に対する処理を禁止する旨の音声であると判定した場合に、前記操作者システムから前記情報処理装置に対する処理を禁止する情報を前記操作者システム又は前記情報処理装置に設定する、
請求項１に記載の確認業務支援装置。

【請求項7】

情報処理装置が、
他の情報処理装置に対する処理を業務として行う操作者が使用する操作者システムから受信した、当該操作者の音声及び、前記操作者システムが管理する空間の画像である操作空間画像を記憶し、
前記操作者の業務内容を確認する再鑑者が使用する再鑑者システムから受信した、当該再鑑者の音声及び、前記再鑑者システムが管理する空間の画像である再鑑空間画像を記憶し、
前記再鑑空間画像に、前記再鑑者が含まれているか否かを判定し、前記再鑑空間画像に前記再鑑者が含まれていないと判定した場合には、前記操作者システムから前記情報処理装置に対する処理を禁止するための情報を前記操作者システム又は前記情報処理装置に設定し、
前記操作者の音声が、前記再鑑者に確認を依頼する旨を示す音声であるか否かを判定し、前記操作者の音声が、前記再鑑者に確認を依頼する旨を示す音声であると判定した場合に、前記操作者システムから前記情報処理装置に対する処理を禁止するための情報を前記操作者システム又は前記情報処理装置に設定し、
前記再鑑者の音声が、前記再鑑者による確認が完了した旨を示す音声であるか否かを判定し、前記再鑑者の音声が、前記再鑑者による確認が完了した旨を示す音声であると判定した場合において、前記再鑑空間画像が、前記再鑑者が前記操作者の業務の確認に必要な画面を確認したことを示しているか否かを判定し、前記再鑑者が前記操作者の業務の確認に必要な画面を確認したことを示していると判定した場合にのみ、前記操作者システムから前記情報処理装置に対する他の処理を許可する情報を前記操作者システム又は前記情報処理装置に設定する、
確認業務支援方法。

【請求項8】

情報処理装置に対する処理を業務として行う操作者が使用する操作者システムと、前記操作者の業務内容を確認する再鑑者が使用する再鑑者システムと、確認業務支援装置とを含んで構成され、
前記確認業務支援装置は、
前記操作者システムから受信した、当該再鑑者の音声及び、前記再鑑者システムが管理する空間の画像である再鑑空間画像を記憶し、
前記再鑑者システムから受信した、当該操作者の音声及び、前記操作者システムが管理
する空間の画像である操作空間画像を記憶する記憶装置、及び、
前記再鑑空間画像に、前記再鑑者が含まれているか否かを判定し、前記再鑑空間画像に前記再鑑者が含まれていないと判定した場合には、前記操作者システムから前記情報処理装置に対する処理を禁止するための情報を前記操作者システム又は前記情報処理装置に設定し、
前記操作者の音声が、前記再鑑者に確認を依頼する旨を示す音声であるか否かを判定し、前記操作者の音声が、前記再鑑者に確認を依頼する旨を示す音声であると判定した場合に、前記操作者システムから前記情報処理装置に対する処理を禁止するための情報を前記操作者システム又は前記情報処理装置に設定し、
前記再鑑者の音声が、前記再鑑者による確認が完了した旨を示す音声であるか否かを判定し、前記再鑑者の音声が、前記再鑑者による確認が完了した旨を示す音声であると判定した場合において、前記再鑑空間画像が、前記再鑑者が前記操作者の業務の確認に必要な画面を確認したことを示しているか否かを判定し、前記再鑑者が前記操作者の業務の確認に必要な画面を確認したことを示していると判定した場合にのみ、前記操作者システムから前記情報処理装置に対する他の処理を許可する情報を前記操作者システム又は前記情報処理装置に設定する処理装置を備える、
確認業務支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、確認業務支援装置、確認業務支援方法、及び確認業務支援システムに関する。

【背景技術】

【0002】

業務の正確性を担保するために、その業務を行った者とは別の者がその業務内容をチェックすることが日常的に行われる（例えば、再鑑業務）。

【0003】

特に、リモートワークがより広く行われている昨今では、物理的に離れた場所にいる２人の担当者が正確に初鑑業務及び再鑑業務を行えるような仕組みを構築することが求められている。

【0004】

これに関連して、特許文献１には、リモート環境において保守作業のダブルチェックを進めるための技術として、保守支援システムが、保守作業を順序付けたステップの内容と実行者チェックボックスと再鑑者チェックボックスとを含む手順画面を、実行者のユーザ端末と再鑑者のユーザ端末に表示させ、実行者チェック結果と再鑑者チェック結果とを実行者のユーザ端末と再鑑者のユーザ端末とで共有することが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２２－４９２９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、リモートワークでは初鑑者と再鑑者が全く異なる空間、環境、又は立場で業務を行うことが想定され、特許文献１の技術では、充分なチェック機能を果たすことができないおそれがある。例えば、初鑑者の不正行為といったリスクを見逃してしまうおそれがある。

【0007】

本発明は、このような事情に鑑みてなされたものであり、その目的は、関係者が互いに異なる場所にいる場合であっても確実かつ適切に確認業務作業をすることが可能な確認業務支援装置、確認業務支援方法、及び確認業務支援システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するための本発明の一つは、情報処理装置に対する処理を業務として行う操作者が使用する操作者システムから受信した、当該操作者の音声及び、前記操作者システムが管理する空間の画像である操作空間画像を記憶し、前記操作者の業務内容を確認する再鑑者が使用する再鑑者システムから受信した、当該再鑑者の音声及び、前記再鑑者システムが管理する空間の画像である再鑑空間画像を記憶する記憶装置、及び、前記再鑑空間画像に、前記再鑑者が含まれているか否かを判定し、前記再鑑空間画像に前記再鑑者が含まれていないと判定した場合には、前記操作者システムから前記情報処理装置に対する処理を禁止するための情報を前記操作者システム又は前記情報処理装置に設定し、前記操作者の音声が、前記再鑑者に確認を依頼する旨を示す音声であるか否かを判定し、前記操作者の音声が、前記再鑑者に確認を依頼する旨を示す音声であると判定した場合に、前記操作者システムから前記情報処理装置に対する処理を禁止するための情報を前記操作者システム又は前記情報処理装置に設定し、前記再鑑者の音声が、前記再鑑者による確認が
完了した旨を示す音声であるか否かを判定し、前記再鑑者の音声が、前記再鑑者による確認が完了した旨を示す音声であると判定した場合において、前記再鑑空間画像が、前記再鑑者が前記操作者の業務の確認に必要な画面を確認したことを示しているか否かを判定し、前記再鑑者が前記操作者の業務の確認に必要な画面を確認したことを示していると判定した場合にのみ、前記操作者システムから前記情報処理装置に対する他の処理を許可する情報を前記操作者システム又は前記情報処理装置に設定する処理装置を備える、確認業務支援装置、である。

【発明の効果】

【0009】

本発明によれば、関係者が互いに異なる場所にいる場合であっても確実かつ適切に確認業務作業をすることができる。
上記した以外の構成及び効果等は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る確認業務支援システムの構成の一例を示す図である。

【図2】操作者システムが備えるハードウェアの一例を説明する図である。

【図3】操作対象サーバが備えるハードウェアの一例を説明する図である。

【図4】再鑑者システムが備えるハードウェアの一例を説明する図である。

【図5】確認業務支援装置が備えるハードウェアの一例を説明する図である。

【図6】確認業務支援装置が備える機能部の一例を示す図である。

【図7】予兆行為管理テーブルの一例を示す図である。

【図8】再鑑支援処理の一例を説明するフロー図である。

【図9】再鑑管理画面の一例を示す図である。

【図10】音声認識処理の詳細を説明するフロー図である。

【図11】画像認識処理の詳細を説明するフロー図である。

【図12】画像認識処理の詳細を説明するフロー図である。

【図13】不正行為予兆判断処理の一例を説明するフロー図である。

【図14】全体コントロール処理の詳細を説明するフロー図である。

【図15】全体コントロール処理の詳細を説明するフロー図である。

【図16】全体コントロール処理の詳細を説明するフロー図である。

【図17】全体コントロール処理の詳細を説明するフロー図である。

【図18】操作コントロール処理の詳細を説明するフロー図である。

【図19】画面コントロール処理の詳細を説明するフロー図である。

【発明を実施するための形態】

【0011】

本発明の実施の形態を、図面を参照しつつ説明する。
図１は、本実施形態に係る確認業務支援システム１の構成の一例を示す図である。確認業務支援システム１は、操作者システム１０と、操作対象サーバ２０と、再鑑者システム３０と、確認業務支援装置４０（再鑑管理サーバ）とを含んで構成される。

【0012】

確認業務支援システム１は、操作対象サーバ２０に対する操作により所定の業務を行う初鑑者（操作者）と、操作者が行った業務内容を確認（チェック）する確認業務を行う再鑑者とによって使用される情報処理システムである。

【0013】

操作者システム１０は、１又は複数の情報処理装置（コンピュータ）を含んで構成される情報処理システムである。操作者システム１０は、操作者が業務を行う部屋等の作業空間（以下、操作空間という）に設置される。なお、後述するように、操作者システム１０は、カメラ及びマイク等の入力装置を備えており、操作者の業務状況を監視している。

【0014】

操作対象サーバ２０は、操作者が行う業務に関する所定のプログラム（アプリケーショ
ン等）を記憶している。操作対象サーバ２０は、１又は複数の情報処理装置（コンピュータ）を含んで構成される情報処理システムである。操作者は、操作者システム１０を操作して操作対象サーバ２０のプログラムを実行させることで、自身の業務を遂行する。

【0015】

再鑑者システム３０は、再鑑者が業務を行う部屋等の作業空間（以下、再鑑空間という）に設置される、１又は複数の情報処理装置（コンピュータ）を含んで構成される情報処理システムである。再鑑者システム３０は、操作空間とは離れた場所に設けられる。

【0016】

再鑑者システム３０は、１又は複数の情報処理装置（コンピュータ）を含んで構成される情報処理システムである。再鑑者システム３０は、操作者が操作者システム１０及び操作対象サーバ２０を利用して行った業務の情報を表示して再鑑者の再鑑業務を支援すると共に、操作者（操作者システム１０）に対して所定の指示又は命令を行う。なお、後述するように、再鑑者システム３０は、カメラ及びマイク等の入力装置を備えている。

【0017】

確認業務支援装置４０は、操作対象サーバ２０及び再鑑者システム３０を介して、操作者及び再鑑者の業務状況を管理する。確認業務支援装置４０は、１又は複数の情報処理装置（コンピュータ）を含んで構成される情報処理システムである。

【0018】

なお、本実施形態では、確認業務支援装置４０及び操作対象サーバ２０は再鑑空間と同じ空間（マシン室）に設置されるものとするが、確認業務支援装置４０及び操作対象サーバ２０は、操作者システム１０又は再鑑者システム３０と同じ空間に設置されていてもよいし、異なる空間に設置されていてもよい。

【0019】

再鑑者システム３０と、操作者システム１０、操作対象サーバ２０、及び確認業務支援装置４０とは、例えば、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide
Area Network）、又は専用線等の有線又は無線の通信ネットワーク５により通信可能に
接続される。また、操作者システム１０、操作対象サーバ２０、及び確認業務支援装置４０の間は、例えば、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、又は専用線等の有線又は無線の通信ネットワーク６により通信可能に接続
される。

【0020】

次に、図２は、操作者システム１０が備えるハードウェアの一例を説明する図である。操作者システム１０は、CPU (Central Processing Unit)、DSP (Digital Signal Processor)、GPU (Graphics Processing Unit)、FPGA (Field-Programmable Gate Array)等の処
理装置１１（プロセッサ）と、ROM (Read Only Memory)、RAM (Random Access Memory)等の主記憶装置１２（メモリ）と、HDD (Hard Disk Drive)、SSD (Solid State Drive)などの補助記憶装置１３と、ＮＩＣ(Network Interface Card)、無線通信モジュール、USB (Universal Serial Interface)モジュール、又はシリアル通信モジュール等で構成される通信装置１４と、マウスやキーボード等で構成される操作入力装置１５と、マイク等の、操作空間で発生した音を入力が入力される音声入力装置１６と、カメラ又はビデオカメラ等の、操作空間の画像又は動画を撮影する第１撮影装置１７と、操作者の画像を撮影する第２撮影装置１８と、液晶ディスプレイまたは有機EL (Electro-Luminescence)ディスプレ
イ等で構成される出力装置１９とを備える。

【0021】

図３は、操作対象サーバ２０が備えるハードウェアの一例を説明する図である。操作対象サーバ２０は、CPU (Central Processing Unit)、DSP (Digital Signal Processor)、GPU (Graphics Processing Unit)、FPGA (Field-Programmable Gate Array)等の処理装置
２１（プロセッサ）と、ROM (Read Only Memory)、RAM (Random Access Memory)等の主記憶装置２２（メモリ）と、HDD (Hard Disk Drive)、SSD (Solid State Drive)などの補助記憶装置２３と、ＮＩＣ(Network Interface Card)、無線通信モジュール、USB (Univers
al Serial Interface)モジュール、又はシリアル通信モジュール等で構成される通信装置２４とを備える。なお、操作対象サーバ２０は、マウスやキーボード等で構成される操作入力装置、又は、液晶ディスプレイまたは有機EL (Electro-Luminescence)ディスプレイ
等で構成される出力装置を備えていてもよい。

【0022】

図４は、再鑑者システム３０が備えるハードウェアの一例を説明する図である。操作者システム１０は、CPU (Central Processing Unit)、DSP (Digital Signal Processor)、GPU (Graphics Processing Unit)、FPGA (Field-Programmable Gate Array)等の処理装置
３１（プロセッサ）と、ROM (Read Only Memory)、RAM (Random Access Memory)等の主記憶装置３２（メモリ）と、HDD (Hard Disk Drive)、SSD (Solid State Drive)などの補助記憶装置３３と、ＮＩＣ(Network Interface Card)、無線通信モジュール、USB (Universal Serial Interface)モジュール、又はシリアル通信モジュール等で構成される通信装置３４と、マウスやキーボード等で構成される操作入力装置３５と、マイク等の、操作空間で発生した音を入力が入力される音声入力装置３６と、カメラ又はビデオカメラ等の、再鑑者の画像又は動画を撮影する撮影装置３７と、液晶ディスプレイまたは有機EL (Electro-Luminescence)ディスプレイ等で構成される出力装置３８とを備える。

【0023】

図５は、確認業務支援装置４０が備えるハードウェアの一例を説明する図である。確認業務支援装置４０は、CPU (Central Processing Unit)、DSP (Digital Signal Processor)、GPU (Graphics Processing Unit)、FPGA (Field-Programmable Gate Array)等の処理
装置４１（プロセッサ）と、ROM (Read Only Memory)、RAM (Random Access Memory)等の主記憶装置４２（メモリ）と、HDD (Hard Disk Drive)、SSD (Solid State Drive)などの補助記憶装置４３と、ＮＩＣ(Network Interface Card)、無線通信モジュール、USB (Universal Serial Interface)モジュール、又はシリアル通信モジュール等で構成される通信装置４４と、マウスやキーボード等で構成される操作入力装置４５と、液晶ディスプレイまたは有機EL (Electro-Luminescence)ディスプレイ等で構成される出力装置４６とを備
える。

【0024】

次に、図６は、確認業務支援装置４０が備える機能部の一例を示す図である。確認業務支援装置４０は、音声認識部４１１、画像認識部４１２、全体コントロール部４１３、予兆行為判断部４１４、操作コントロール部４１５、及び画面コントロール部４１６の各機能部を備える。また、確認業務支援装置４０は、操作者音声変数４５１、再鑑者音声変数４５２、再鑑者有無変数４５３、再鑑者確認画面変数４５４、不正行為度変数４５５、操作ロック指示変数４５６、確認依頼変数４５７、操作画面確認変数４５８、手順書確認画面変数４５９、及び予兆行為管理テーブル４６０の各データを記憶している。

【0025】

音声認識部４１１は、操作者システム１０が音声入力装置１６を介して取得した音声データ（以下、操作者音声という）及び再鑑者システム３０が音声入力装置３６を介して取得した音声データ（以下、再鑑者音声という）を解析し、それぞれの音声内容を認識する。認識された操作者音声の種類は操作者音声変数４５１に記憶され、再鑑者音声の種類は再鑑者音声変数４５２に記憶される。

【0026】

画像認識部４１２は、操作者システム１０が第１撮影装置１７及び第２撮影装置１８を介して取得した画像データ（以下、操作空間画像という）及び再鑑者システム３０が撮影装置３７を介して取得した画像データ（以下、再鑑空間画像という）を解析し、それぞれの画像を認識する。

【0027】

全体コントロール部４１３は、操作者音声、再鑑者音声、操作空間画像、又は再鑑空間画像を用いて、操作者及び再鑑者の業務を監視する。

【0028】

例えば、全体コントロール部４１３は、再鑑空間画像に再鑑者が含まれているか否かを判定し、再鑑空間画像に再鑑者が含まれていないと判定した場合には、操作者システム１０から操作対象サーバ２０への操作を禁止するための情報（以下、操作禁止情報という）を操作対象サーバ２０に設定する。なお、この設定内容は、操作ロック指示変数４５６に記憶される。また、判定結果は、再鑑者有無変数４５３に記憶される。

【0029】

また、全体コントロール部４１３は、操作者音声が、再鑑者に確認を依頼する旨を示す音声であるか否かを判定し、操作者音声が、再鑑者に確認を依頼する旨を示す音声であると判定した場合に、操作者システム１０から操作対象サーバ２０への操作を禁止するための情報（操作禁止情報）を操作対象サーバ２０に設定する。なお、この判定結果は、確認依頼情報４５７に記憶される。また、設定内容は、操作ロック指示変数４５６に記憶される。

【0030】

さらに、全体コントロール部４１３は、再鑑者音声が、再鑑者による確認が完了した旨を示す音声であると判定した場合において、再鑑者画像が、再鑑者が操作者の操作の確認に必要な画面を確認したことを示していると判定した場合にのみ、操作者システム１０から操作対象サーバ２０への次の操作を許可する情報（以下、操作許可情報という）を操作対象サーバ２０に設定する。なお、この判定結果は、再鑑者確認画面変数４５４、操作画面確認変数４５８、及び手順書確認画面変数４５９に記憶される。また、設定内容は、操作ロック指示変数４５６に記憶される。

【0031】

予兆行為判断部４１４は、操作空間画像及び後述する予兆行為管理テーブル４６０に基づき、操作者が不正行為につながる予兆行為を行っているか否かを判定し、操作者が予兆行為を行っていると判定した場合には、警告表示を行い、又は、操作者システム１０から操作対象サーバ２０への操作を禁止するための情報を操作対象サーバ２０に設定する。なお、設定内容は、操作ロック指示変数４５６に記憶される。

【0032】

なお、予兆行為判断部４１４は、予兆行為が不正行為に至る危険性を示すパラメータである不正行為度を算出し、算出した不正行為度を不正行為度情報４５５に記憶する。

【0033】

操作コントロール部４１５は、全体コントロール部４１３又は予兆行為判断部４１４による設定（操作許可情報又は操作禁止情報）に基づき、操作者システム１０から操作対象サーバ２０への操作を許可し又は許可する。

【0034】

画面コントロール部４１６は、操作者及び再鑑者が業務を行うための画面（以下、再鑑管理画面という）を表示する。

【0035】

次に、予兆行為管理テーブル４６０について説明する。
（予兆行為管理テーブル）
図７は、予兆行為管理テーブル４６０の一例を示す図である。予兆行為管理テーブル４６０は、操作空間画像の種類（画像の特徴情報）が設定される種類４６１、予兆行為の内容が設定される予兆動作４６２、その予兆行為の重み値（重大性を示すパラメータ）が設定される重み付け４６４、その予兆行為と認定されるために必要な行為の継続時間（以下、時間係数という）に関する条件が設定される時間係数４６４、及び、その予兆行為に該当する行為が現在継続している時間が設定される検出時間累計４６５の各データ項目を有する。

【0036】

なお、本実施形態では、予兆行為には、第１撮影装置１７により検出可能な予兆行為（以下、第１予兆行為という）と、第２撮影装置１８により検出可能な予兆行為（以下、第２予兆行為という）とがあるものとする。第１予兆行為は、例えば、操作者が操作者シス
テム１０から離れた操作空間にいる行為、又は操作者が鞄に手に入れる行為である。第２予兆行為は、例えば、操作者が第２撮影装置１８と異なる方向を見る行為、又は、操作者が電話をする行為である。図７では不図示であるが、予兆行為管理テーブル４６０には、各レコードに、第１予兆行為と第２予兆行為を区別する情報が設定されている。

【0037】

また、本実施形態では、時間係数４６４には、所定秒、予兆動作４６２が示す行為が継続していれば時間係数を１に設定し、そうでなければ時間係数を１に設定することを指定する情報が設定される。また、時間係数４６４には、予兆動作４６２が示す行為が継続していなくても（１回でも発生すれば）時間係数を１に設定することを指定する情報が設定される。

【0038】

以上に説明した確認業務支援装置４０の各機能部の機能は、処理装置４１が、主記憶装置４２又は補助記憶装置４３に格納されているプログラムを読み出して実行することにより実現される。また上記のプログラムは、例えば、記録媒体に記録して配布することができる。なお、確認業務支援装置４０は、その全部または一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また、確認業務支援装置４０によって提供される機能の全部または一部は、例えば、クラウドシステムがＡＰＩ (Application Programming Interface)等を介して提供するサービスによって実現してもよい。
次に、確認業務支援システム１で行われる処理について説明する。

【0039】

＜再鑑支援処理＞
図８は、再鑑者が行う再鑑業務を支援する再鑑支援処理の一例を説明するフロー図である。再鑑支援処理は、例えば、操作者システム１０から確認業務支援装置４０に所定の業務開始情報（操作者が、再鑑が必要な業務を開始することを示す情報）が送信された場合に開始される。

【0040】

まず、確認業務支援装置４０の音声認識部４１１は、再鑑者システム３０及び操作者システム１０のそれぞれに入力された音声を認識する音声認識処理ｓ１を実行する。

【0041】

また、画像認識部４１２は、再鑑者システム３０及び操作者システム１０のそれぞれが取得した画像を認識する画像識処理ｓ２を実行する。

【0042】

予兆行為判断部４１４は、音声認識処理ｓ１及び画像識処理ｓ２により認識された音声及び画像に基づき、操作者が不正行為につながる行為（以下、予兆行為という）をしているか否かを判断する不正行為予兆判断処理ｓ３を実行する。

【0043】

全体コントロール部４１３は、音声認識処理ｓ１により認識された音声、画像識処理ｓ２により認識された画像、及び不正行為予兆判断処理ｓ３により判断された予兆行為に基づき、操作者又は再鑑者の現在の業務状況に関する情報（例えば、操作ロック指示変数４５６）を設定する全体コントロール処理ｓ４を実行する。

【0044】

操作コントロール部４１５は、全体コントロール処理ｓ４により設定された情報に基づき、操作対象サーバ２０を制御する操作コントロール処理ｓ５を実行する。

【0045】

また、画面コントロール部４１６は、操作者及び再鑑者が業務を行うための画面（再鑑管理画面）を、再鑑者システム３０の出力装置３８に表示する画面コントロール処理ｓ６を実行する。なお、画面コントロール処理ｓ６は、再鑑支援処理の任意のタイミングで実行されてよい。

【0046】

操作コントロール部４１５は、再鑑者による再鑑業務が終了したか否かを判定する。例えば、操作コントロール部４１５は、再鑑者システム３０に所定の入力がなされたか否かを判定する（ｓ７）。

【0047】

再鑑者による再鑑業務が終了した場合は（ｓ７：ＹＥＳ）、再鑑支援処理は終了し（ｓ８）、再鑑者による再鑑業務が終了していない場合は（ｓ７：ＮＯ）、ｓ１以降の処理が繰り返される。

【0048】

ここで、再鑑管理画面について説明する。
＜再鑑管理画面＞
図９は、再鑑管理画面９００の一例を示す図である。再鑑管理画面９００は、操作者システム１０の第２撮影装置１８が撮影した操作者の画像が表示される操作者画像表示欄９０１と、操作者システム１０の第１撮影装置１７が撮影した操作空間の画像が表示される操作空間画像表示欄９０２と、再鑑者システム３０の撮影装置３７が撮影した再鑑空間（特に、再鑑者）の画像が表示される再鑑者画像表示欄９０３と、操作者が行うべき操作（業務）の内容を記憶した電子文書（手順書）の内容が表示される手順書表示欄９０４と、当該操作に対応した、操作対象サーバ２０に対する処理の内容（プログラムの実行等）が表示される操作画面９０５と、操作者が現在行っている行為（特に、予兆行為）についての情報が表示される警告表示欄９０６とを備える。

【0049】

警告表示欄９０６には、例えば、操作者が現在行っている予兆行為が表示される。なお、後述するように、この表示色は、現在の予兆行為度に応じて異なる。

【0050】

操作者は、自己の業務（操作）において、手順書を確認しながら、操作対象サーバ２０に対する、手順書に従った処理コマンド（例えば、操作対象サーバ２０の所定ファイルの削除コマンド）を、操作者システム１０に入力する。操作画面９０５には、その入力内容が表示される。その後、再鑑者は、表示された再鑑管理画面９００を参照し、手順書表示欄９０４に表示されている内容と、操作画面９０５に表示されている内容とを比較することで、操作者が正しく自己の業務（操作）を行っているかを確認する（再鑑業務）。

【0051】

次に、再鑑支援処理における各処理の詳細を説明する。
＜音声認識処理＞
図１０は、音声認識処理ｓ１の詳細を説明するフロー図である。
音声認識部４１１は、操作者の音声を取得し、その音声内容を特定する（ｓ１０１）。

【0052】

例えば、音声認識部４１１は、操作者システム１０の音声入力装置１６に一連の音声が入力されたか否かを判定し、一連の音声が入力されたと判定した場合には、その音声を分析することで、その音声が示す文章又は単語（以下では、文章であるとする）を特定する。

【0053】

なお、この音声分析（音声認識）は、例えば、音素を抽出する音響モデル、音素辞書を用いたパターンマッチング、及び、N-gram又はRNN(Recurrent Neural Network)等を用い
た言語モデルにより行われる。音声認識の手法は、特に限定されるものではない。

【0054】

ｓ１０１で特定した音声内容が、操作者から再鑑者への確認依頼（例えば、「確認お願いします」。）である場合は（ｓ１０２：ＹＥＳ）、音声認識部４１１は、ｓ１０３の処理を実行し、ｓ１０１で特定した音声内容が、操作者から再鑑者への確認依頼でない場合は（ｓ１０２：ＮＯ）、音声認識部４１１は、ｓ１０４の処理を実行する。

【0055】

ｓ１０３において音声認識部４１１は、操作者音声変数４５１に、操作者から再鑑者への確認依頼を示すデータ（例えば、「確認お願いします」）を設定し、その後はｓ１０５の処理を行う。

【0056】

一方、ｓ１０４において音声認識部４１１は、操作者音声変数４５１に、操作者から再鑑者への確認依頼でないことを示すデータ（例えば、「なし」）を設定し、その後はｓ１０５の処理を行う。

【0057】

ｓ１０５において音声認識部４１１は、再鑑者の音声を取得し、その音声内容を特定する。

【0058】

例えば、音声認識部４１１は、再鑑者システム３０の音声入力装置３６に一連の音声が入力されたか否かを判定し、一連の音声が入力されたと判定した場合には、その音声を分析することで、その音声が示す文章又は単語（以下では、文章であるとする）を特定する。

【0059】

音声認識部４１１は、ｓ１０５で特定した音声が、操作者の作業の禁止命令の解除の音声（例えば、「操作ロック解除」）であるか否かを判定する（ｓ１０６）。ｓ１０５で特定した音声が、操作者の作業の禁止命令の解除の音声である場合は（ｓ１０６：ＹＥＳ）、音声認識部４１１は、ｓ１０７の処理を実行し、ｓ１０５で特定した音声が、操作者の作業の禁止命令の解除の音声でない場合は（ｓ１０６：ＮＯ）、音声認識部４１１は、ｓ１０８の処理を実行する。

【0060】

ｓ１０７において音声認識部４１１は、再鑑者音声変数４５２に、操作者の作業の禁止命令の解除を示すデータ（例えば、「操作ロック解除」）を設定し、その後音声認識処理ｓ１は終了する。

【0061】

ｓ１０８において音声認識部４１１は、ｓ１０５で特定した音声が、操作禁止情報に対応した、操作者の作業の禁止命令の音声（例えば、「操作ロック」）であるか否かを判定する。ｓ１０５で特定した音声が、操作者の作業の禁止命令の音声である場合は（ｓ１０８：ＹＥＳ）、音声認識部４１１は、ｓ１０９の処理を実行し、ｓ１０５で特定した音声が、操作者の作業の禁止命令の音声でない場合は（ｓ１０８：ＮＯ）、音声認識部４１１は、ｓ１１０の処理を実行する。

【0062】

ｓ１０９において音声認識部４１１は、再鑑者音声変数４５２に、操作者の作業の禁止命令を示すデータ（例えば、「操作ロック」）を設定し、その後音声認識処理ｓ１は終了する。

【0063】

ｓ１１０において音声認識部４１１は、ｓ１０５で特定した音声が、操作者からの確認依頼に対する再鑑者の確認の完了の音声（例えば、「確認ＯＫ」）であるか否かを判定する。

【0064】

ｓ１０５で特定した音声が、操作者からの確認依頼に対する再鑑者の確認の完了の音声である場合は（ｓ１１０：ＹＥＳ）、音声認識部４１１は、ｓ１１１の処理を実行し、ｓ１０５で特定した音声が、操作者からの確認依頼に対する再鑑者の確認の完了の音声でない場合は（ｓ１１０：ＮＯ）、音声認識部４１１は、ｓ１１２の処理を実行する。

【0065】

ｓ１１１において音声認識部４１１は、再鑑者音声変数４５２に、操作者からの確認依頼に対する再鑑者の確認の完了を示すデータ（例えば、「確認ＯＫ」）を設定し、その後音声認識処理ｓ１は終了する。

【0066】

ｓ１１２において音声認識部４１１は、再鑑者音声変数４５２に、再鑑者から音声指示がないことを示すデータ（例えば、「なし」）を設定し、その後音声認識処理ｓ１は終了する。

【0067】

＜画像認識処理＞
次に、図１１、１２は、画像認識処理ｓ２の詳細を説明するフロー図である（紙面の都合上、２図に分けている）。
画像認識部４１２は、現在の操作者の画像を取得する（ｓ２０１）。具体的には、画像認識部４１２は、操作者システム１０の第２撮影装置１８が撮影した現在の画像を受信する。そして、画像認識部４１２は、取得した画像が示す操作者の行為の種類を認識する。

【0068】

この画像認識は、例えば、取得した画像と予め記憶しておきた各種類のテンプレート画像とを比較するテンプレートマッチングの手法によってもよいし、学習済みモデルを作成する機械学習の手法によってもよい。学習済みモデルの場合は、例えば、画像の画素情報が入力される入力層と、画素情報から画像の特徴量を抽出して出力する１又は複数の中間層（隠れ層）と、画像の特徴量から画像の種類を出力する出力層とを有するニューラルネットワークからなる数値モデルである。ニューラルネットワークとしては、例えば、ＣＮＮ（Convolution Neural Network）、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、又は回帰木等を適用することが可能である。なお、以上の画像認識の手法は、後述のｓ２０４、ｓ２０７の処理でも同様である。

【0069】

画像認識部４１２は、ｓ２０１で認識した画像の種類が、操作者による第２予兆行為のいずれかであるか否かを判定する（ｓ２０２）。例えば、画像認識部４１２は、予兆行為管理テーブル４６０を参照し、ｓ２０１で認識した画像の種類を示すデータが種類４６１に設定されている、第２予兆行為に係るレコードがあるか否かを判定する。

【0070】

画像の種類が第２予兆行為のいずれかである場合は（ｓ２０２：ＹＥＳ）、画像認識部４１２は、ｓ２０３の処理を実行する。一方、画像の種類が第２予兆行為のいずれでもない場合は（ｓ２０２：ＮＯ）、画像認識部４１２は、ｓ２０４の処理を実行する。なお、この場合、画像認識部４１２は、予兆行為管理テーブル４６０の、操作者の第２予兆行為に係る各レコードの検出時間累計４６５の値を０にする。

【0071】

ｓ２０３において画像認識部４１２は、ｓ２０２で判定した第２予兆行為の検出累計時間を設定し、その後は、ｓ２０５の処理を実行する。

【0072】

具体的には、画像認識部４１２は、予兆行為管理テーブル４６０における、ｓ２０２で判定した各第２予兆行為に係るレコードの検出時間累計４６５の値を増加させる（例えば、前回ｓ２０２の処理を行った時間から経過した分だけ増加させる）。

【0073】

ｓ２０５において画像認識部４１２は、現在の操作空間画像を取得する。具体的には、画像認識部４１２は、操作者システム１０の第１撮影装置１７が撮影した現在の画像を受信する。そして、画像認識部４１２は、取得した画像が示す操作者の行為の種類を認識する。

【0074】

画像認識部４１２は、ｓ２０１で認識した画像の種類が、操作者による第１予兆行為のいずれかであるか否かを判定する（ｓ２０５）。

【0075】

画像の種類が、操作者の第１予兆行為のいずれかである場合は（ｓ２０５：ＹＥＳ）、画像認識部４１２は、ｓ２０６の処理を実行する。一方、画像の種類が、第１予兆行為の
いずれでもない場合は（ｓ２０５：ＮＯ）、画像認識部４１２は、ｓ２０７の処理を実行する。なお、この場合、画像認識部４１２は、予兆行為管理テーブル４６０の、第１予兆行為に係る各レコードの検出時間累計４６５の値を０にする。

【0076】

ｓ２０６において画像認識部４１２は、ｓ２０２で判定した第１予兆行為の検出累計時間を設定し、その後は、ｓ２０７の処理を実行する。

【0077】

具体的には、画像認識部４１２は、予兆行為管理テーブル４６０における、ｓ２０４で判定した各第１予兆行為に係るレコードの検出時間累計４６５の値を増加させる（例えば、前回ｓ２０３の処理を行った時間から経過した分だけ増加させる）。

【0078】

さらに、図１２に示すように、画像認識部４１２は、再鑑空間の現在の画像を取得する（ｓ２０７）。具体的には、画像認識部４１２は、再鑑者システム３０の撮影装置３７が撮影した再鑑空間の現在の画像を受信する。そして、画像認識部４１２は、取得した画像から、再鑑者を認識する（再鑑者が再鑑空間にいるか否かを判定する）。

【0079】

画像認識部４１２は、再鑑者を認識できた場合は（ｓ２０８：ＹＥＳ）、ｓ２０９の処理を実行し、再鑑者を認識できなかった場合は（ｓ２０８：ＮＯ）、ｓ２１０の処理を実行する。

【0080】

ｓ２１０において画像認識部４１２は、再鑑空間に再鑑者がいることを記憶する。例えば、画像認識部４１２は、再鑑者有無変数４５３に「いる」を設定する。その後はｓ２１１の処理が行われる。

【0081】

ｓ２１０において画像認識部４１２は、再鑑空間に再鑑者がいないことを記憶する。例えば、画像認識部４１２は、再鑑者有無変数４５３に「いない」を設定する。その後はｓ２１１の処理が行われる。

【0082】

ｓ２１１において画像認識部４１２は、ｓ２０７で取得した画像に基づき、再鑑者が再鑑者システム３０の操作画面９０５を見ているか否かを判定する。具体的には、例えば、画像認識部４１２は、ｓ２０７で取得した画像における再鑑者の目線を認識することで、再鑑者が再鑑者システム３０の操作画面９０５を見ているか否かを判定する。

【0083】

再鑑者が再鑑者システム３０の操作画面９０５を見ている場合は（ｓ２１１：ＹＥＳ）、画像認識部４１２は、ｓ２１２の処理を実行し、再鑑者が再鑑者システム３０の操作画面９０５を見ていない場合は（ｓ２１１：ＮＯ）、画像認識部４１２は、２１３の処理を実行する。

【0084】

ｓ２１２において画像認識部４１２は、再鑑者が再鑑者システム３０の操作画面９０５を見ていることを記憶する。例えば、画像認識部４１２は、再鑑者確認画面変数４５４に「操作画面」を設定する。その後はｓ２１３の処理が行われる。

【0085】

ｓ２１３において画像認識部４１２は、ｓ２０７で取得した画像に基づき、再鑑者が再鑑者システム３０の手順書表示欄９０４を見ているか否かを判定する。具体的には、例えば、画像認識部４１２は、ｓ２０７で取得した画像における再鑑者の目線を認識することで、再鑑者が再鑑者システム３０の手順書表示欄９０４を見ているか否かを判定する。

【0086】

再鑑者が再鑑者システム３０の手順書表示欄９０４を見ている場合は（ｓ２１３：ＹＥＳ）、画像認識部４１２はｓ２１４の処理を実行し、再鑑者が再鑑者システム３０の手順書表示欄９０４を見ていない場合は（ｓ２１３：ＮＯ）、画像認識部４１２はｓ２１５の
処理を実行する。

【0087】

ｓ２１４において画像認識部４１２は、再鑑者が再鑑者システム３０の手順書表示欄９０４を見ていることを記憶する。例えば、画像認識部４１２は、再鑑者確認画面変数４５４に「手順書画面」を設定する。以上で画像認識処理ｓ２は終了する。

【0088】

ｓ２１５において画像認識部４１２は、再鑑者が再鑑者システム３０の確認画面又は手順書表示欄９０４を見ているか否かが不明であることを記憶する（ｓ２１５）。例えば、画像認識部４１２は、再鑑者確認画面変数４５４に「不明」を設定する。以上で画像認識処理ｓ２は終了する。

【0089】

＜不正行為予兆判断処理＞
次に、図１３は、不正行為予兆判断処理ｓ３の一例を説明するフロー図である。

【0090】

まず、予兆行為判断部４１４は、操作者が現在行っている全ての予兆行為を特定する（ｓ３０１）。具体的には、予兆行為判断部４１４は、予兆行為管理テーブル４６０を参照し、検出時間累計４６５が０でないレコードを全て特定する。

【0091】

予兆行為判断部４１４は、操作者の予兆行為を特定できなかった場合には（ｓ３０１：ＮＯ）、不正行為予兆判断処理ｓ３を終了する。一方、予兆行為判断部４１４は、操作者の予兆行為を特定できた場合には（ｓ３０１：ＹＥＳ）、以下の処理を実行する。

【0092】

すなわち、予兆行為判断部４１４は、特定した全ての予兆行為の不正行為度の合計値を算出し、不正行為度変数４５５にその合計値を設定する（ｓ３０２）。

【0093】

具体的には、予兆行為判断部４１４は、ｓ３０１で特定した各予兆行為に係るレコードの検出時間累計４６５の値が、同レコードの時間係数４６４が示す条件を満たしていれば、その予兆行為に関する時間係数を１に設定し、ｓ３０１で特定した検出時間累計４６５の値が、同レコードの時間係数４６４が示す条件を満たしてなければ、当該予兆行為の時間係数を０に設定する。そして、予兆行為判断部４１４は、当該予兆行為についての不正行為度を、時間係数の値と、同レコードの重み付け４６３が示す値との積により算出する。最後に、予兆行為判断部４１４は、算出した各予兆行為の不正行為度を合計して不正行為度変数４５５に設定する。以上で不正行為予兆判断処理ｓ３は終了する

【0094】

＜全体コントロール処理＞
次に、図１４－１７は、全体コントロール処理の詳細を説明するフロー図である（紙面の都合上、複数の図面に分けている）。

【0095】

全体コントロール部４１３は、再鑑者音声変数４５２が、操作者の作業の禁止命令の解除を示しているか否かを判定する（ｓ４０１）。例えば、全体コントロール部４１３は、再鑑者音声変数４５２が「操作ロック解除」であるか否かを判定する。

【0096】

再鑑者音声変数４５２が、操作者の作業の禁止命令の解除を示していない場合は（ｓ４０１：ＮＯ）、全体コントロール部４１３は、ｓ４０８の処理を実行し、再鑑者音声変数４５２が、操作者の作業の禁止命令の解除を示している場合は（ｓ４０１：ＹＥＳ）、全体コントロール部４１３は、以下の処理を実行する。

【0097】

すなわち、全体コントロール部４１３は、操作ロック指示変数４５６に、操作者の作業の禁止命令の解除を示すデータ（例えば、「操作ロック解除」）を設定する（ｓ４０２）。

【0098】

また、全体コントロール部４１３は、各種の変数の値をリセットする（ｓ４０３～ｓ４０７）。具体的には、全体コントロール部４１３は、不正行為度変数４５５をリセットし（例えば０にする）（ｓ４０３）、予兆行為管理テーブル４６０の各レコードの検出時間累計４６５をリセットし（例えば０にする）（ｓ４０４）、確認依頼変数４５７をリセットし（例えば０にする）（ｓ４０５）、操作画面確認変数４５８をリセットし（例えば０にする）（ｓ４０６）、手順書画面確認変数４５９をリセットする（例えば０にする）（ｓ４０７）。その後、全体コントロール処理ｓ４は終了する。

【0099】

一方、図１５に示すｓ４０８において全体コントロール部４１３は、再鑑者音声変数４５２が、操作者の作業の禁止命令（操作禁止情報）を示しているか否かを判定する。例えば、全体コントロール部４１３は、再鑑者音声変数４５２が「操作ロック」であるか否かを判定する。

【0100】

再鑑者の現在の音声が、操作者の作業の禁止命令である場合は（ｓ４０８：ＹＥＳ）、全体コントロール部４１３は、ｓ４０９の処理を実行し、再鑑者の現在の音声が、操作者の作業の禁止命令でない場合は（ｓ４０８：ＮＯ）、全体コントロール部４１３は、ｓ４１３の処理を実行する。

【0101】

ｓ４１３において全体コントロール部４１３は、再鑑空間に現在再鑑者がいないか否かを判定する。例えば、全体コントロール部４１３は、再鑑者有無変数４５３が「いない」であるか否かを判定する。

【0102】

再鑑空間に現在再鑑者がいない場合は（ｓ４１３：ＹＥＳ）、全体コントロール部４１３は、ｓ４０９の処理を実行し、再鑑空間に現在再鑑者がいる場合は（ｓ４１３：ＮＯ）、全体コントロール部４１３は、ｓ４１４の処理を実行する。

【0103】

ｓ４１４において全体コントロール部４１３は、操作者の現在の予兆行為が許容範囲外であるか否かを判定する。例えば、全体コントロール部４１３は、操作者の現在の不正行為度変数４５５の値が所定値（例えば、１０００）以上であるか否かを判定する。

【0104】

操作者の現在の予兆行為が許容範囲外である場合は（ｓ４１４：ＹＥＳ）、全体コントロール部４１３は、ｓ４０９の処理を実行し、操作者の現在の予兆行為が許容範囲内である場合は（ｓ４１４：ＮＯ）、全体コントロール部４１３は、後述するｓ４１３の処理を実行する。

【0105】

ｓ４０９において全体コントロール部４１３は、操作ロック指示変数４５６に、操作者の作業の禁止命令を示すデータ（例えば、「操作ロック」）を設定する。

【0106】

また、全体コントロール部４１３は、各種の変数の値をリセットする（ｓ４１０～ｓ４１２）。具体的には、全体コントロール部４１３は、確認依頼変数４５７をリセットし（例えば０にする）（ｓ４１０）、操作画面確認変数４５８をリセットし（例えば０にする）（ｓ４１１）、手順書画面確認変数４５９をリセットする（例えば０にする）（ｓ４１２）。その後、全体コントロール処理ｓ４は終了する。

【0107】

一方、図１６に示すように、ｓ４１５において全体コントロール部４１３は、操作者音声変数４５１が、操作者から再鑑者への確認依頼を示しているか否かを判定する。例えば、全体コントロール部４１３は、操作者音声変数４５１が「確認お願いします」であるか否かを判定する。

【0108】

操作者音声変数４５１が、操作者から再鑑者への確認依頼を示している場合は（ｓ４１５：ＹＥＳ）、全体コントロール部４１３は、ｓ４１７の処理を実行し、操作者音声変数４５１が、操作者から再鑑者への確認依頼を示していない場合は（ｓ４１５：ＮＯ）、全体コントロール部４１３は、ｓ４１６の処理を実行する。

【0109】

ｓ４１６において全体コントロール部４１３は、確認依頼変数４５７が、操作者から再鑑者への確認依頼を示しているか否かを判定する。例えば、全体コントロール部４１３は、確認依頼変数４５７に「有」が設定されているか否かを判定する。

【0110】

確認依頼変数４５７が、操作者から再鑑者への確認依頼を示している場合は（ｓ４１６：ＹＥＳ）、全体コントロール部４１３は、ｓ４１９の処理を実行し、確認依頼変数４５７が、操作者から再鑑者への確認依頼を示していない場合は（ｓ４１６：ＮＯ）、全体コントロール処理ｓ４は終了する。

【0111】

一方、ｓ４１７において全体コントロール部４１３は、確認依頼変数４５７に、操作者から再鑑者への確認依頼があることを示すデータ（例えば、「有」）を設定する。

【0112】

また、全体コントロール部４１３は、操作ロック指示変数４５６に、操作者の作業の禁止命令を示すデータ（操作禁止情報）（例えば、「操作ロック」）を設定する（ｓ４１８）。

【0113】

そして、ｓ４１９において全体コントロール部４１３は、再鑑者確認画面変数４５４が、再鑑者が操作画面９０５を見たことを示しているか否かを判定する。例えば、全体コントロール部４１３は、再鑑者確認画面変数４５４に、「操作画面」が設定されているか否かを判定する。

【0114】

再鑑者確認画面変数４５４が、再鑑者が操作画面９０５を見たことを示している場合は（ｓ４１９：ＹＥＳ）、全体コントロール部４１３は、ｓ４２０の処理を実行し、再鑑者確認画面変数４５４が、再鑑者が操作画面９０５を見たことを示していない場合は（ｓ４１９：ＮＯ）、全体コントロール部４１３は、ｓ４２１の処理を実行する。

【0115】

ｓ４２０において全体コントロール部４１３は、再鑑者が操作画面９０５を見たことを記憶する。例えば、全体コントロール部４１３は、操作画面確認変数４５８に「有」を設定する。その後はｓ４２１の処理が行われる。

【0116】

ｓ４２１において全体コントロール部４１３は、再鑑者確認画面変数４５４が、再鑑者が手順書表示欄９０４を見たことを示している否かを判定する。例えば、全体コントロール部４１３は、再鑑者確認画面変数４５４に、「手順書画面」が設定されているか否かを判定する。

【0117】

再鑑者確認画面変数４５４が、再鑑者が手順書表示欄９０４を見たことを示している場合は（ｓ４２１：ＹＥＳ）、全体コントロール部４１３は、ｓ４２２の処理を実行し、再鑑者確認画面変数４５４が、再鑑者が手順書表示欄９０４を見たことを示していない場合は（ｓ４２１：ＮＯ）、全体コントロール部４１３は、ｓ４２３の処理を実行する。

【0118】

ｓ４２２において全体コントロール部４１３は、再鑑者が手順書表示欄９０４を見たことを記憶する。例えば、全体コントロール部４１３は、手順書画面確認変数４５９に「有」を設定する。その後はｓ４２３の処理が行われる。

【0119】

次に、図１７のｓ４２３に示すように、全体コントロール部４１３は、再鑑者音声変数
４５２が、再鑑者が操作者からの確認依頼に対する確認を完了したことを示しているか否かを判定する。例えば、全体コントロール部４１３は、再鑑者音声変数４５２が「確認ＯＫ」であるか否かを判定する。

【0120】

再鑑者音声変数４５２が、再鑑者が操作者からの確認依頼に対する確認を完了したことを示していない場合は（ｓ４２３：ＮＯ）、全体コントロール処理ｓ４は終了する。一方、再鑑者音声変数４５２が、再鑑者が操作者からの確認依頼に対する確認を完了したことを示している場合は（ｓ４２３：ＹＥＳ）、全体コントロール部４１３は、操作画面確認変数４５８が、再鑑者が再鑑者システム３０の操作画面９０５を見たことを示しているか否かを判定する（ｓ４２４）。例えば、全体コントロール部４１３は、操作画面確認変数４５８が「有」であるか否かを判定する。

【0121】

操作画面確認変数４５８が、再鑑者が再鑑者システム３０の操作画面９０５を見たことを示していなかった場合は（ｓ４２４：ＮＯ）、全体コントロール処理ｓ４は終了する。一方、操作画面確認変数４５８が、再鑑者が再鑑者システム３０の操作画面９０５を見たことを示している場合は（ｓ４２４：ＹＥＳ）、全体コントロール部４１３は、手順書画面確認変数４５９が、再鑑者が再鑑者システム３０の手順書表示欄９０４を見たことを示している否かを判定する（ｓ４２５）。例えば、全体コントロール部４１３は、手順書画面確認変数４５９が「有」であるか否かを判定する。

【0122】

手順書画面確認変数４５９が、再鑑者が再鑑者システム３０の手順書表示欄９０４を見たことを示していない場合は（ｓ４２５：ＮＯ）、全体コントロール処理ｓ４は終了する。一方、手順書画面確認変数４５９が、再鑑者が再鑑者システム３０の手順書表示欄９０４を見たことを示している場合は（ｓ４２５：ＹＥＳ）、全体コントロール部４１３は、以下の処理を実行する。

【0123】

すなわち、全体コントロール部４１３は、操作ロック指示変数４５６に、操作者の作業の禁止命令の解除を示すデータ（例えば、「操作ロック解除」）を設定する（ｓ４２６）。

【0124】

また、全体コントロール部４１３は、各種の変数の値をリセットする（ｓ４２７～ｓ４２９）。具体的には、全体コントロール部４１３は、確認依頼変数４５７をリセットし（例えば０にする）（ｓ４２７）、操作画面確認変数４５８をリセットし（例えば０にする）（ｓ４２８）、手順書画面確認変数４５９をリセットする（例えば０にする）（ｓ４２９）。以上で全体コントロール処理ｓ４は終了する。

【0125】

なお、本処理では、全体コントロール部４１３は、再鑑者が手順書表示欄９０４及び操作画面９０５の両方を見たと判断した場合に、操作者への操作ロックを解除するものとしたが、他の条件を設定してもよい。例えば、全体コントロール部４１３は、手順書表示欄９０４又は操作画面９０５を所定時間以上連続して見た場合、手順書表示欄９０４及び操作画面９０５を交互に見た場合、又は、手順書表示欄９０４又は操作画面９０５を所定回数以上見た場合に、操作者への操作ロックを解除するとしてもよい。

【0126】

＜操作コントロール処理＞
次に、図１８は、操作コントロール処理ｓ５の詳細を説明するフロー図である。
操作コントロール部４１５は、操作ロック指示変数４５６に操作禁止情報が設定されているか否かを判定する（ｓ５０１）。例えば、操作コントロール部４１５は、操作ロック指示変数４５６が「操作ロック」であるか否かを判定する。

【0127】

操作ロック指示変数４５６に操作禁止情報が設定されていない場合は（ｓ５０１：ＮＯ
）、操作コントロール部４１５は、ｓ５０４の処理を行う。一方、操作ロック指示変数４５６に操作禁止情報が設定されている場合は（ｓ５０１：ＹＥＳ）、操作コントロール部４１５は、以下の処理を行う。

【0128】

すなわち、操作コントロール部４１５は、操作者による操作対象サーバ２０へのアクセスを禁止することで、操作ロックを行う（ｓ５０２）。例えば、操作コントロール部４１５は、操作対象サーバ２０の所定のプログラムに、操作者（操作者システム１０）によるアクセスを禁止する情報を送信する。なお、操作コントロール部４１５は、操作対象サーバ２０そのものに対する操作者（操作者システム１０）によるアクセスを禁止してもよい。

【0129】

なお、操作コントロール部４１５は、操作ロック指示変数４５６をリセットする（ｓ５０３）。例えば、操作コントロール部４１５は、操作ロック指示変数４５６に「指示なし」を設定する。その後はｓ５０４の処理が行われる。

【0130】

ｓ５０４において操作コントロール部４１５は、操作ロック指示変数４５６に操作許可情報が設定されているか否かを判定する。例えば、操作コントロール部４１５は、操作ロック指示変数４５６が「操作ロック解除」であるか否かを判定する。

【0131】

操作ロック指示変数４５６に操作許可情報が設定されていない場合は（ｓ５０４：ＮＯ）、操作コントロール処理ｓ５は終了する。一方、操作ロック指示変数４５６に操作許可情報が設定されている場合は（ｓ５０４：ＹＥＳ）、操作コントロール部４１５は、以下の処理を行う。

【0132】

すなわち、操作コントロール部４１５は、操作者による操作対象サーバ２０へのアクセスを許可することで、操作ロック解除を行う（ｓ５０５）。例えば、操作コントロール部４１５は、操作対象サーバ２０の所定のプログラムに、操作者（操作者システム１０）によるアクセスを許可する情報を送信する。なお、操作コントロール部４１５は、操作対象サーバ２０そのものに対する操作者（操作者システム１０）によるアクセスを許可してもよい。

【0133】

なお、操作コントロール部４１５は、操作ロック指示変数４５６をリセットする（ｓ５０６）。例えば、操作コントロール部４１５は、操作ロック指示変数４５６に「指示なし」を設定する。その後、操作コントロール処理ｓ５は終了する。

【0134】

なお、このように、本実施形態の確認業務支援装置４０は、操作対象サーバ２０に操作許可情報又は操作禁止情報を設定することで操作者システム１０から操作対象サーバ２０への操作のコントロールを行うものとしたが、操作者システム１０に情報を設定することで操作者システム１０からの操作のコントロールを行うようにしてもよい。例えば、確認業務支援装置４０は、操作者システム１０に所定の指示情報又は禁止情報を送信することで、操作者システム１０の操作入力装置１５（例えば、キーボード、マウス）の動作を可能又は不能とするようにしてもよい。

【0135】

＜画面コントロール処理＞
図１９は、画面コントロール処理ｓ６の詳細を説明するフロー図である。

【0136】

画面コントロール部４１６は、現在の不正行為度が低いか否かを判定する（ｓ６０１）。例えば、操作コントロール部４１５は、不正行為度変数４５５の値が１００未満であるか否かを判定する。

【0137】

現在の不正行為度が低くない場合は（ｓ６０１：ＮＯ）、画面コントロール部４１６はｓ６０３の処理を実行し、現在の不正行為度が低い場合は（ｓ６０１：ＹＥＳ）、画面コントロール部４１６は以下の処理を実行する。

【0138】

すなわち、操作コントロール部４１５は、再鑑者システム３０の再鑑管理画面９００の警告表示欄９０６を青色で表示する（ｓ６０２）。その後はｓ６０３の処理が行われる。

【0139】

画面コントロール部４１６は、現在の不正行為度が中程度か否かを判定する（ｓ６０３）。例えば、画面コントロール部４１６は、不正行為度変数４５５の値が１００以上５００未満の範囲であるか否かを判定する。

【0140】

現在の不正行為度が中程度でない場合は（ｓ６０３：ＮＯ）、画面コントロール部４１６はｓ６０５の処理を実行し、現在の不正行為度が中程度である場合は（ｓ６０４：ＹＥＳ）、画面コントロール部４１６は以下の処理を実行する。

【0141】

すなわち、画面コントロール部４１６は、再鑑者システム３０の再鑑管理画面９００の警告表示欄９０６を黄色で表示する（ｓ６０４）。その後はｓ６０５の処理が行われる。

【0142】

画面コントロール部４１６は、現在の不正行為度が高いか否かを判定する（ｓ６０５）。例えば、画面コントロール部４１６は、不正行為度変数４５５の値が５００以上であるか否かを判定する。

【0143】

現在の不正行為度が高くない場合は（ｓ６０５：ＮＯ）、画面コントロール処理ｓ６は終了し、現在の不正行為度が高い場合は（ｓ６０５：ＹＥＳ）、画面コントロール部４１６は以下の処理を実行する。

【0144】

すなわち、画面コントロール部４１６は、再鑑者システム３０の再鑑管理画面９００の警告表示欄９０６を赤色で表示する（ｓ６０６）。その後、画面コントロール処理ｓ６は終了する。

【0145】

なお、本処理では、画面コントロール部４１６は、現在の不正行為度によって表示色を変えるものとしたが、その他の処理、例えば不正行為度の高さを示すメッセージを表示する、音声を出力する、又は所定の画像を表示する等の処理を行ってもよい。

【0146】

また、本処理では、画面コントロール部４１６は、再鑑者システム３０の再鑑管理画面９００に対して画面表示を行うものとしたが、画面コントロール部４１６は、再鑑者システム３０以外の装置（例えば、確認業務支援装置４０）に画面表示を行ってもよい。

【0147】

以上のように、本実施形態の確認業務支援システム１において、確認業務支援装置（確認業務支援装置４０）は、（１）再鑑空間画像に再鑑者が写っていないと判定した場合には、操作者システム１０から操作対象サーバ２０への操作を禁止するための情報（操作禁止情報）を操作者システム１０又は操作対象サーバ２０に設定し、（２）操作者の音声が「確認お願いします」等の再鑑者への確認依頼の音声である場合には、操作者システム１０から操作対象サーバ２０への操作を禁止するための情報（操作禁止情報）を操作者システム１０又は操作対象サーバ２０に設定し、（３）再鑑者の音声が「確認ＯＫ」等の確認完了の音声である場合において、再鑑者画像が、再鑑者が必要な画面（操作画面９０５及び手順書表示欄９０４）を確認したことを示している場合にのみ、操作者システム１０から操作対象サーバ２０への操作を許可するための情報（操作許可情報）を操作者システム１０又は操作対象サーバ２０に設定する。

【0148】

このように、画像及び音声を用いて、（１）再鑑者の準備が整っていなければ操作者が操作を開始できないようにし、（２）操作者の操作が終了して再鑑者が確認（再鑑）を行うタイミングでは操作者が操作を行えないようにし、（３）再鑑者が確認（再鑑）の終了を宣言した場合には再鑑者が必要な画面を見ていた場合のみ、操作者が他の操作（次の操作）を行えるようにする。

【0149】

これにより、関係者（操作者及び再鑑者）が互いに異なる場所にいる場合であっても確実かつ適切に確認業務作業をすることができるようになる。

【0150】

また、本実施形態の確認業務支援装置は、操作空間画像及び予兆行為管理テーブル４６０に基づき、操作者が不正行為の予兆行為を行っているか否かを判定し、操作者が不正行為の予兆行為を行っていると判定した場合には、再鑑管理画面９００に警告表示を行い、又は、操作禁止情報を操作者システム１０又は操作対象サーバ２０に設定する。

【0151】

これにより、操作者による行為に基づく不正な業務の発生を未然に防止することができる。

【0152】

さらに、本実施形態の確認業務支援装置は、操作空間画像及び予兆行為管理テーブル４６０に基づき、操作者が予兆行為を継続時間以上続けているか否かを判定し、操作者が予兆行為を継続時間以上続けていると判定した場合に、予兆行為の不正行為度を算出し、算出した不正行為度に応じて、再鑑管理画面９００に警告表示を行い、又は、操作禁止情報を操作者システム１０又は操作対象サーバ２０に設定する。

【0153】

これにより、不正な業務を発生させる蓋然性の高い行為（予兆行為）のみに基づき、不正な業務の発生を未然に防止することができる。

【0154】

さらに、本実施形態の確認業務支援装置は、算出した不正行為度が所定範囲内にある場合には、その不正行為度に応じた種類の情報（例えば、表示色を変えた警告）を表示し、不正行為度が所定範囲より高い場合には、操作禁止情報を操作者システム１０又は操作対象サーバ２０に設定する。

【0155】

このように、不正行為の程度に応じて、情報表示に留めるか、もしくは操作者の操作を禁止するかを異ならせることで、操作者の行為内容に応じた適切な業務コントロールを行うことができる。

【0156】

また、本実施形態の確認業務支援装置は、操作禁止情報が操作者システム１０又は操作対象サーバ２０に設定されている場合において、再鑑者システム３０から、再鑑者の新たな音声を受信した場合、再鑑者の新たな音声が、操作者システムから操作対象サーバ２０に対する処理を許可する旨を示す音声であると判定した場合にのみ、操作許可情報を操作者システム１０又は操作対象サーバ２０に設定する。

【0157】

このように、再鑑者が、事情に応じて操作者の業務を許可できるようにすることで、適切な業務コントロールができるようになる。例えば、再鑑者は、操作者の行為が不正なものでないことが判明した場合に、操作者に業務を継続させることができる。

【0158】

また、本実施形態の確認業務支援装置は、再鑑者の音声が、操作者システム１０から操作対象サーバ２０に対する処理を禁止する旨の音声であると判定した場合に、操作者システム１０から操作対象サーバ２０に対する処理を禁止する情報を操作者システム１０又は操作対象サーバ２０に設定する。

【0159】

これにより、再鑑者は、事情に応じて操作者の業務を禁止できるようにすることで、適切な業務コントロールができるようになる。例えば、再鑑者は、操作者の行為が不正なものであると判断した場合に、操作者に業務を禁止させることができる。

【0160】

本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で、任意の構成要素を用いて実施可能である。以上説明した実施形態や変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記では種々の実施形態や変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

【0161】

例えば、本実施形態の各装置が備えるハードウェアの一部は、他の装置に設けてもよい。例えば、操作者システム１０における処理装置１１、主記憶装置１２、補助記憶装置１３、通信装置１４、操作入力装置１５、音声入力装置１６、第２撮影装置１８、及び出力装置１９は同一の情報処理装置（例えば、ノートパソコン）として構成し、第１撮影装置１７は操作空間に設置した監視カメラとしてもよい。

【0162】

また、本実施形態の各装置が備える各機能部の一部は他の装置に設けてもよいし、別装置が備える機能部を同一の装置に設けてもよい。

【0163】

また、本実施形態では操作者及び再鑑者がそれぞれ１人ずつであったが、いずれか一方又は双方が複数人であってもよい。例えば、１人の操作者による業務を複数の再鑑者（再鑑者システム３０）によって再鑑してもよい。

【符号の説明】

【0164】

１ 確認業務支援システム
１０ 操作者システム
２０ 操作対象サーバ
３０ 再鑑者システム
４０ 確認業務支援装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】