IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立ソリューションズ・クリエイトの特許一覧

<>
  • 特許-不正操作検知システム 図1
  • 特許-不正操作検知システム 図2
  • 特許-不正操作検知システム 図3
  • 特許-不正操作検知システム 図4
  • 特許-不正操作検知システム 図5
  • 特許-不正操作検知システム 図6
  • 特許-不正操作検知システム 図7
  • 特許-不正操作検知システム 図8
  • 特許-不正操作検知システム 図9
  • 特許-不正操作検知システム 図10
  • 特許-不正操作検知システム 図11
  • 特許-不正操作検知システム 図12
  • 特許-不正操作検知システム 図13
  • 特許-不正操作検知システム 図14
  • 特許-不正操作検知システム 図15
  • 特許-不正操作検知システム 図16
  • 特許-不正操作検知システム 図17
  • 特許-不正操作検知システム 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-10
(45)【発行日】2024-07-19
(54)【発明の名称】不正操作検知システム
(51)【国際特許分類】
   G06Q 10/0635 20230101AFI20240711BHJP
   G06F 11/34 20060101ALI20240711BHJP
   A61B 5/16 20060101ALI20240711BHJP
【FI】
G06Q10/0635
G06F11/34 138
A61B5/16 110
A61B5/16 200
【請求項の数】 3
(21)【出願番号】P 2020203710
(22)【出願日】2020-12-08
(65)【公開番号】P2022091034
(43)【公開日】2022-06-20
【審査請求日】2023-06-19
(73)【特許権者】
【識別番号】597132849
【氏名又は名称】株式会社日立ソリューションズ・クリエイト
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】樋口 正己
(72)【発明者】
【氏名】左近允 晃
(72)【発明者】
【氏名】虎熊 克
【審査官】大野 朋也
(56)【参考文献】
【文献】特開2016-212788(JP,A)
【文献】特開2005-149267(JP,A)
【文献】特開2020-009177(JP,A)
【文献】特開2019-168810(JP,A)
【文献】特開2013-258650(JP,A)
【文献】特開2010-049555(JP,A)
【文献】特開2020-060969(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
G06F 11/34
A61B 5/16
(57)【特許請求の範囲】
【請求項1】
オペレータの不正操作を検知する不正操作検知システムであって、
オペレータの画像データを取得する画像取得部と、
前記取得された画像データに基づいて前記オペレータのバイタル値および精神状態(以下、バイタル値等)を算出するバイタル値等算出部と、
前記算出されたバイタル値等に基づいて事故の発生する兆候があるか判定する事故兆候判定部であって、事故の発生する兆候ありと判定した場合には、前記オペレータの使用するオペレータ端末から所定の補足情報を取得する事故兆候判定部と
前記事故兆候判定部から前記バイタル値等および前記所定の補足情報を受領して、前記オペレータが事故を起こすリスクを算出するリスク算出部と、
前記算出されたリスクが所定の閾値以上の場合、前記オペレータを管理する管理者の使用する管理者端末へ通知する通知部と、
前記算出されたリスクが所定の閾値以上の場合、前記オペレータ端末の動作を制限させる制御指示を前記オペレータ端末へ送信する制御指示部と、
前記管理者による前記オペレータの確認結果を前記管理者端末から受領して記憶するオペレータ情報管理部とを備え、
前記画像取得部と前記バイタル値等算出部と前記事故兆候判定部とは、前記オペレータ端末に設けられており、
前記リスク算出部と前記通知部と前記制御指示部と前記オペレータ情報管理部とは、前記オペレータ端末と双方向通信可能に接続された管理装置に設けられており、
前記オペレータ端末は、前記オペレータ端末と前記管理装置の間の通信が不能な場合に前記リスクを算出し、前記算出されたリスクが所定の閾値以上の場合に前記オペレータ端末の動作を制限する監視制御部
を備える不正操作検知システム。
【請求項2】
前記制御指示部は、前記オペレータ端末の動作を複数段階で制限する
請求項に記載の不正操作検知システム。
【請求項3】
オペレータの不正操作を検知する不正操作検知システムであって、
オペレータの画像データを取得する画像取得部と、
前記取得された画像データに基づいて前記オペレータのバイタル値および精神状態(以下、バイタル値等)を算出するバイタル値等算出部と、
前記算出されたバイタル値等に基づいて事故の発生する兆候があるか判定する事故兆候判定部であって、事故の発生する兆候ありと判定した場合には、前記オペレータの使用するオペレータ端末から所定の補足情報を取得する事故兆候判定部と、
前記事故兆候判定部から前記バイタル値等および前記所定の補足情報を受領して、前記オペレータが事故を起こすリスクを算出するリスク算出部と、
前記算出されたリスクが所定の閾値以上の場合、前記オペレータを管理する管理者の使用する管理者端末へ通知する通知部とを備え、
前記リスク算出部は、判定対象オペレータの所定範囲内に存在する他のオペレータについて算出されたリスク、または前記判定対象オペレータの地域に配信される情報の少なくともいずれか一方を考慮して、前記判定対象オペレータについてのリスクを算出す
正操作検知システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、不正操作検知システムに関する。
【背景技術】
【0002】
近年、顧客情報、設計データ、実験データなどの重要データが不正に外部に持ち出されたり、重要データが不正に改ざんされたり、心身不調による操作ミスによりデータが消去等されたりする事故が懸念されている。このため、不正操作の原因究明のために操作ログを保存する技術は知られている(特許文献1)。被験者を撮影した画像データから脈波を測定する技術も知られている(特許文献2)。ユーザの装着したウエアラブルデバイスにより、ユーザのバイタルサインを取得し、ユーザのストレスを推定する技術も知られている(特許文献3)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2019-101831号公報
【文献】特許第5915757号
【文献】特開2020-184349号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術のように操作ログを保存すると、不正操作が発見された場合の原因究明に役立つが、不正操作を事前に抑止することはできない。一方、コンピュータ端末を使用するオペレータが意図的にまたは過失により不正操作する場合には、オペレータの血圧等のバイタルサインに何らかの変化が現れると考えられる。しかし、オペレータのバイタルサインを取得するために、例えば体温計、血圧計などの接触型センサをオペレータに装着したのでは、オペレータの作業性が低下する上に、コストも増大する。
【0005】
本発明は、以上の課題に鑑みてなされたもので、その目的は、オペレータによる不正操作を未然に検出することにより安全性を向上できるようにした不正操作検知システムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決すべく、本発明の一つの観点に従う不正操作検知システムは、オペレータの不正操作を検知する不正操作検知システムであって、オペレータの画像データを取得する画像取得部と、取得された画像データに基づいてオペレータのバイタル値および精神状態(以下、バイタル値等)を算出するバイタル値等算出部と、算出されたバイタル値等に基づいて事故の発生する兆候があるか判定する事故兆候判定部であって、事故の発生する兆候ありと判定した場合には、オペレータの使用するオペレータ端末から所定の補足情報を取得する事故兆候判定部とを備える。
【発明の効果】
【0007】
本発明によれば、オペレータの画像データから算出されたバイタル値等に基づいて、事故の発生する兆候を判定することができ、事故の発生する兆候があると判定された場合にオペレータ端末から所定の補足情報を取得することができる。
【図面の簡単な説明】
【0008】
図1】本実施形態に係る不正操作検知システムの全体概要図である。
図2】不正操作検知システムのシステム構成図である。
図3】オペレータ端末により実行されるオペレータ監視処理を示すフローチャートである。
図4】管理サーバで実行されるオペレータ監視処理のフローチャートである。
図5】管理者端末で実行されるオペレータ監視処理のフローチャートである。
図6】オペレータ端末で実行される動作制限処理のフローチャートである。
図7】事故の発生する兆候を判定する閾値を手動設定する処理を示すフローチャートである。
図8】事故の発生する兆候を判定する閾値を自動設定する処理を示すフローチャートである。
図9】オペレータ端末内のデータ管理テーブルの例である。
図10図9に示すテーブルの一部を示す。
図11図9に示すテーブルの他の一部を示す。
図12図9に示すテーブルのさらに別の一部を示す。
図13】管理サーバ内のデータ管理テーブルの例である。
図14】管理サーバ内のオペレータ情報管理テーブルの例である。
図15】第2実施例に係り、不正操作検知システムのシステム構成図である。
図16】オペレータ端末により実施されるオペレータ監視処理を示すフローチャートである。
図17】第3実施例に係り、管理サーバで実施されるオペレータ監視処理のフローチャートである。
図18】第4実施例に係り、管理サーバで実施されるオペレータ監視処理のフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面に基づいて、本発明の実施の形態を説明する。本実施形態の不正操作検知システムでは、オペレータの画像データに基づいて、非接触でオペレータのバイタルサイン(以下、バイタル)とオペレータの精神状態とを算出し、これら算出されたバイタルサインおよび精神状態(バイタル値等)から、オペレータによる事故の発生する兆候を算出することができる。
【0010】
ここで事故とは、オペレータによる不正な操作または不注意な動作ではない、正常動作以外の動作により引き起こされる、データの消去、変更、送信、保存などである。故意の事故か過失の事故かは問わない。
【0011】
本実施形態の不正操作検知システムでは、オペレータ端末に内蔵、または接続されたカメラによりオペレーターを撮影し、撮影された画像データからバイタル値を自動的に取得する。そして、不正操作検知システムは、取得された各種バイタル値(心拍数、血圧の変動値など)、およびバイタル情報から算出されたオペレータのストレス度や疲労度といった精神状態も算出し、情報漏洩などの事故が発生するリスクを算出する。
【0012】
さらに、本実施形態の不正操作検知システムは、事故発生リスクの検出精度を向上させるために、所定の補足情報も取得できるようになっている。所定の補足情報には、例えば、オペレータを撮影した画像データから得られるオペレータの視線解析データ(焦点測定情報、アイトラッキング情報)、ユーザインターフェース装置の操作ログが含まれる。オペレータの目の動きや入力ミスの頻度から、オペレータの癖と、オペレータのストレスレベルおよび疲労度を推定することができる。
【0013】
さらに、所定の補足情報には、例えば、いつどこでオペレータがどのようなファイルを操作しているのか、オペレータの周囲に他のオペレータがいるか、といった操作環境に関する情報を含めることができる。
【0014】
本実施形態の不正操作検知システムでは、バイタル値や精神状態はオペレータごとに特性があるため、事故の発生する兆候を検出する閾値をオペレータ毎に設定できる。オペレータ毎の閾値は、管理者が手動で設定してもよいし、あるいは機械学習を用いて自動的に設定してもよい。
【0015】
本実施形態の不正操作検知システムでは、事故の発生する兆候が検出されると、所定の補足情報と共に管理サーバへ通知される。管理サーバは、オペレータ端末から受信した情報に基づいて事故の発生するリスクを算出する。管理サーバは、事故の発生するリスクが所定の閾値よりも高いと判定すると、オペレータ端末の動作を制限するための制御指示をオペレータ端末へ出力し、事故の発生を未然に抑制する。
【0016】
ここでオペレータ端末の動作を制限するとは、事故が生じないようにオペレータ端末の動作(機能)を制限することである。例えば、オペレータ端末の画面をロックしたり、キーボード、タッチパネルおよびポインティングデバイスによる入力を禁止したり、オペレータ端末から外部へのファイル転送を禁止したり、オペレータ端末の印刷機能を停止したり、オペレータ端末の電源をシャットダウンしたりすることのうち少なくとも一つが含まれる。
【0017】
本実施形態の不正操作検知システムでは、オペレータ端末の動作を制限した後で、オペレータを管理する管理者の使用する管理者端末に対し、リスクの発生が予測された旨とオペレータ端末の動作が制限された旨とを通知する。この通知を受けた管理者は、オペレータの状況をオンラインまたはオフラインで確認できる。管理者による確認結果を管理サーバへ登録することにより、事故の発生する兆候を判定するための閾値、リスクの算出方法、オペレータ端末を動作制限するための所定の閾値を改善することもできる。
【0018】
このように構成される本実施形態の不正操作検知システムでは、オペレータ個人に由来する事故の発生を抑制することができ、事故のリスクを低減することができるため、オペレータ端末が利用される情報処理システムの信頼性を向上できる。さらに、本実施形態の不正操作検知システムでは、オペレータの体調不良またはメンタルヘルスの不調を検出できるため、管理者は、オペレータを休ませたり、オペレータの交代要員を手配したりといった対策を事故発生前に実施することができる。これにより、本実施形態の不正操作検知システムでは、オペレータ端末が利用される情報処理システムの生産性および信頼性を向上することができる。
【実施例1】
【0019】
図1図14を用いて第1実施例を説明する。図1は、不正操作検知システムの全体概要図である。
【0020】
不正操作検知システムは、例えば、オペレータ端末1と、「管理装置」としての管理サーバ2と、管理者端末3とを含む。オペレータ端末1と管理者端末3とをそれぞれ一つずつ図示するが、複数のオペレータ端末1と複数の管理者端末3とが一つの管理サーバ2に双方向通信可能に接続されてもよい。
【0021】
オペレータ端末1は、オペレータ4により操作される情報処理装置であり、例えば、ラップトップ型パーソナルコンピュータ、タブレット型パーソナルコンピュータ、携帯情報端末、携帯電話(いわゆるスマートフォンを含む)、ウエアラブルパーソナルコンピュータなどである。オペレータ端末1は、パーソナルコンピュータに限らず、例えば、生産設備を使用するための端末、実験設備を使用するための端末などでもよい。オペレータ4は、オペレータ端末1を用いることにより、例えば、設計システム、生産管理システム、顧客管理システム、経理システムなどの情報処理システムを利用することができる。
【0022】
オペレータ端末1は、例えば、オペレータ画像取得部11と、データ記憶部12と、バイタルおよび精神状態算出部(バイタル値等算出部)13と、事故兆候判定部14と、補足情報取得部15とを備える。
【0023】
オペレータ画像取得部11は、オペレータ端末1に設けられたカメラ10により、オペレータ4を撮影し、撮影した画像データ(動画データ。以下同じ)を取得する。オペレータ画像取得部11は、取得した画像データをデータ記憶部12へ保存させる。
【0024】
カメラ10によるオペレータ4の撮影範囲は限定しない。算出可能なバイタルサインの種類が少なくてもよい場合、オペレータ4の顔が撮影されなくてもよく、オペレータ4の首、オペレータ4の手足などのようにオペレータ4の一部が撮影されてもよい。
【0025】
カメラ10は、オペレータ端末1に内蔵されたカメラでもよいし、オペレータ端末1に後付けで設けられたカメラでもよい。カメラ10は、オペレータ4のバイタル値等を算出するための画像を撮影できればよいため、オペレータ端末1に設けられている必要はなく、オペレータ端末1とは異なる場所に設置されてもよい。例えば、オペレータ端末1の存在する室内の天井などに取り付けられたカメラを用いてもよい。あるいは、オペレータの周囲の他オペレータ持つ可搬型カメラを用いてもよい。例えば、眼鏡型のウエアラブルパーソナルコンピュータに設けられたカメラにより、オペレータ同士が互いを自動的に撮影し、その撮影された画像データを管理サーバ2へ送信してもよい。いわゆるドローンのような移動可能なロボットにカメラを搭載し、オペレータ4を撮影してもよい。
【0026】
バイタル値等算出部13は、オペレータ4を撮影した画像データに基づいて、オペレータ4のバイタルサイン(血圧、体温など)を算出すると共に、オペレータ4のストレスレベルまたは疲労度を推定することもできる。例えば、皮膚の表面の動き、皮膚の色の変化、瞬きの頻度、首の角度などからバイタルサインと精神状態(ストレスレベル、疲労度)を算出することができる。
【0027】
事故兆候判定部14は、算出されたバイタル値等に基づいて事故の発生する兆候があるか判定する。事故兆候判定部14は、事故の発生する兆候ありと判定した場合には、補足情報取得部15を用いて、所定の補足情報を取得する。事故兆候判定部14は、事故の兆候が検出されたことと所定の補足情報とを管理サーバ2へ送信することにより、管理サーバ2にリスクの判定を依頼する。以下、リスクを事故リスクと呼ぶことがある。
【0028】
所定の補足情報とは、リスク判定部23によるリスク判定に使用される情報であって、オペレータ4の挙動に関する情報である。所定の補足情報としては、例えば、オペレータ4の視線を解析した情報(焦点測定情報、アイトラッキング情報)、キーボードなどのユーザインターフェース装置の操作ログがある。
【0029】
所定の補足情報には、オペレータ4がオペレータ端末1を操作する操作環境の情報を含めてもよい。操作環境情報としては、例えば、オペレータ端末1の存在する空間の温度、湿度、明るさ、オペレータ端末1の存在する地域の天候、オペレータ端末1のネットワーク通信速度、オペレータ4の周囲に存在する他オペレータの人数などがある。オペレータ4のバイタル値等は、操作環境によっても異なる場合があるためである。
【0030】
管理サーバ2の機能構成を説明する。「管理装置」としての管理サーバ2は、例えば、オペレータ端末通信制御部21と、データ記憶部22と、リスク判定部23と、制御指示部24と、管理者端末通信制御部25とを備える。
【0031】
オペレータ端末通信制御部21は、オペレータ端末1と双方向で通信する。
【0032】
データ記憶部22は、オペレータ端末1から受信したデータを記憶する。「リスク算出部」としてのリスク判定部23は、事故兆候判定部14からバイタル値等および所定の補足情報を受領して、オペレータ4が事故を起こすリスクを算出する。
【0033】
制御指示部19は、算出されたリスクが所定の閾値よりも大きい場合、オペレータ端末1の動作を制限させる制御指示をオペレータ端末1へ送信する。
【0034】
管理者端末通信制御部25は、管理者端末3と双方向通信する。
【0035】
図2は、不正操作検知システムのシステム構成図である。オペレータ端末1、管理サーバ2および管理者端末3は、それぞれマイクロプロセッサおよびメモリを有するコンピュータ装置として構成される。すなわち、オペレータ端末1はプロセッサ101とメモリ102を有し、管理サーバ2もプロセッサ201とメモリ202を有し、管理者端末3もプロセッサ301とメモリ302を有する。
【0036】
各メモリ102,202,302には、各装置1,2,3を機能させるための所定コンピュータプログラムが格納されている。プロセッサ101,201,301は、それぞれの所定コンピュータプログラムを読み込んで実行することにより、装置1,2,3の機能を実現させる。図示は省略するが、それら所定コンピュータプログラムの全部または一部は、例えばフラッシュメモリなどの記憶媒体に転送して記憶させることができる。
【0037】
オペレータ端末1の構成例を説明する。オペレータ端末1は、上述したカメラ10、オペレータ画像取得部11、データ記憶部12、バイタル値等算出部13、事故兆候判定部14を備える。さらに、オペレータ端末1は、通信制御部16、ユーザインターフェース制御部17、視線解析部151、操作ログ取得部152を備える。図中では、バイタル値等を「バイタル/精神状態」と表示する場合がある。
【0038】
視線解析部151および操作ログ取得部152は、図1で述べた補足情報取得部15の例示である。視線解析部151は、所定の補足情報としての視線解析データをオペレータ4を撮影した画像データを解析することにより生成する。視線解析データは、オペレータ4の視線の座標の変化を所定時間追跡した情報である。視線解析データは、焦点測定情報またはアイトラッキング情報とも呼ばれる。操作ログ取得部152は、所定の補足情報としての操作ログを取得する。操作ログには、例えば、オペレータ4の操作しているファイル名、操作時間、操作内容(参照、編集、消去、コピーなど)、使用しているアプリケーションプログラムの名称などが含まれる。
【0039】
通信制御部16は、有線または無線の通信ネットワークCN1を介して、管理サーバ2と双方向通信する。ユーザインターフェース制御部17は、図示せぬユーザインターフェース装置を制御し、オペレータ4によるユーザインターフェース装置の使用情報を出力する。使用情報は、操作ログ取得部152により操作ログの一部として取得される。
【0040】
図中では、ユーザインターフェースをUIと略記する。ユーザインターフェース装置には、情報入力装置と情報出力装置とがある。情報入力装置は、オペレータ4がオペレータ端末1へ情報を入力するための装置であり、例えば、キーボード、マウス、タッチパネルなどがある。情報出力装置は、オペレータ端末1からオペレータ4へ情報を提供する装置であり、例えば、モニタディスプレイ、プリンタ、音声合成装置などがある。
【0041】
ユーザインターフェース制御部17は、管理サーバ2の制御指示部24からの制御指示に従って、情報入力装置または情報出力装置の少なくとも一部をオペレータ4が使用できないように制御することもできる。
【0042】
管理サーバ2の構成例を説明する。管理サーバ2は、上述したオペレータ端末通信制御部21、データ記憶部22、リスク判定部23、制御指示部24、管理者端末通信制御部25を備える。
【0043】
さらに、管理サーバ2は、オペレータ情報管理部26と閾値設定部27を備える。オペレータ情報管理部26は、管理サーバ2の管理下にある各オペレータ端末1を操作するオペレータ4のオペレータ情報を管理する。オペレータ情報には、オペレータ4ごとに、リスクを判定するための、バイタル値等の閾値が設定される。
【0044】
閾値設定部27は、閾値を設定する。閾値設定部27により設定された閾値は、オペレータ情報に記憶される。閾値設定部27は、手動または自動で、閾値を設定する。管理者は、管理者端末3を介して、各オペレータの各バイタル値等について閾値を手動で設定することができる。あるいは、閾値設定部27は、過去のリスク判定結果を教師データとして生成された学習モデルを用いることにより、各オペレータの各バイタル値等について閾値を自動的に設定することもできる。
【0045】
管理者端末3の構成例を説明する。管理者端末3は、例えば、通信制御部31とユーザインターフェース制御部32とを備える。通信制御部31は、有線または無線の通信ネットワークCN2を介して、管理サーバ2と双方向通信する。ここで、通信ネットワークCN1と通信ネットワークCN2とは共通のネットワークでもよいし、異なるネットワークでもよい。
【0046】
ユーザインターフェース制御部32は、ユーザインターフェース装置(図示せず)を制御する。管理者は、管理者端末3のモニタディスプレイに表示されたウェブブラウザ(いずれも不図示)を介して、管理サーバ2から提供される情報を確認したり、管理サーバ2へ指示を与えたりする。
【0047】
図3のフローチャートを用いて、オペレータ端末1で実行されるオペレータ監視処理S10を説明する。オペレータ監視処理は、不正操作検知処理と呼ぶこともできる。
【0048】
オペレータ端末1のオペレータ画像取得部11は、カメラ10により撮影したオペレータ4の画像データを取得し、データ記憶部12に記憶させる(S11)。
【0049】
オペレータ端末1のバイタル値等算出部13は、データ記憶部12に記憶された画像データに基づいて、オペレータ4のバイタル値等を算出する(S12)。
【0050】
事故兆候判定部14は、算出されたバイタル値等があらかじめ設定された閾値ThVより小さいか判定する(S13)。バイタル値等が閾値ThV未満の場合(S13:YES)、オペレータ4に事故の発生する兆候無しと判定されてステップS11へ戻る。
【0051】
ここで、ステップS13では、バイタル値等の項目ごとに閾値と比較される。例えば、オペレータ4の画像データから算出された心拍の変化は、心拍用閾値と比較される。オペレータ4の画像データから算出された体温は、体温用閾値と比較される。オペレータ4の画像データから算出された血圧は、血圧用閾値と比較される。
【0052】
ステップS13では、所定数以上のバイタル値等の項目において閾値以上である場合に、バイタル値等が閾値ThV以上であると判定してもよいし、全ての項目において閾値以上の場合にバイタル値等が閾値ThV以上であると判定してもよい。バイタル値等の各項目に重みを設定しておき、閾値以上の項目の重みの合計が所定値以上の場合に、バイタル値等が閾値ThV以上であると判定してもよい。重みは、全てのオペレータ4に共通の値でもよいし、オペレータごと項目ごとに異なってもよい。
【0053】
バイタル値等が閾値ThV以上の場合(S13:NO)、オペレータ4に事故の発生する兆候有りと判定されて、所定の補足情報が取得される(S14~S16)。すなわち、視線解析部151は、オペレータ4の画像データから視線を解析し(S14)、操作ログ取得部152は、オペレータ4の操作ログを取得する(S15)。
【0054】
事故兆候判定部14は、ステップS12で算出されたバイタル値等と、ステップS14で生成された視線解析データと、ステップS16で取得された操作ログとを、通信制御部16から通信ネットワークCN1を介して、管理サーバ2へ送信する(S16)。
【0055】
図4のフローチャートを用いて、管理サーバ2で実行されるオペレータ監視処理S20を説明する。
【0056】
オペレータ端末通信制御部21は、オペレータ端末1からのデータ(バイタル値等、視線解析データ、操作ログ)を受信すると、データ記憶部22へ記憶させる(S21)。リスク判定部23は、データ記憶部22に記憶されたデータに基づいて、オペレータ4が事故を生じるリスクを算出する(S22)。
【0057】
リスク判定部23は、算出されたリスクの値と所定の閾値ThRとを比較し(S23)、リスクの値が所定の閾値ThR未満の場合(S23:YES)、オペレータ4が事故を起こす可能性は少ないと判断して本処理を終了する。
【0058】
これに対し、リスク判定部23は、算出されたリスクの値が所定の閾値以上の場合(S23:NO)、オペレータ4による事故が発生する可能性が高いと判断し、管理者端末通信制御部25から通信ネットワークCN2を介して、管理者端末3へ警告を通知する(S24)。
【0059】
さらに、リスク判定部23は、事故発生のリスクが高い場合、制御指示部24から所定の制御指示を出力させる(S25)。所定の制御指示とは、事故発生のリスクの高いオペレータ4が使用するオペレータ端末1の所定の動作を制限させる指示である。
【0060】
図5のフローチャートを用いて、管理者端末3で実行されるオペレータ監視処理S30を説明する。
【0061】
管理者端末3は、通信制御部31および通信ネットワークCN2を介して、管理サーバ2からの通知を受領すると、その内容を管理者端末のディスプレイ画面に表示させる(S31)。例えば「オペレータID 123番の特許太郎さんのバイタル値等に異常が見られます。ご注意ください」といったメッセージが画面に表示される。
【0062】
管理サーバ2からの通知を見た管理者は、管理者端末3を用いて管理サーバ2へアクセスし、警告対象のオペレータ4のバイタル値等および所定の補足情報(視線解析データ、操作ログ)を管理サーバ2へ要求する(S32)。
【0063】
図示は省略するが、管理者端末3からの要求を受けた管理サーバ2は、要求されたデータをデータ記憶部22から読み出して、管理者端末3へ送信する。
【0064】
管理者端末3は、管理サーバ2に要求したデータを管理サーバ2から受信すると(S33)、リスク判定部23の判定結果についての判断を入力する(S34)。管理者は、例えば、管理サーバ2から受信したバイタル値等および所定の補足情報と、警告対象のオペレータ4について知る人となりなどから、リスク判定部23の判定結果の是非を判断することができる。
【0065】
あるいは、管理者は、警告対象のオペレータ4の居る場所へ出向いて、オペレータ4と会話したり、オペレータ4の様子を観察したりすることにより、リスク判定部23の判定結果の是非を判断することもできる。例えば、管理者はオペレータ4に対して、「ちょっと顔色が悪いようだけど何か心配事でもありますか」、「あまり集中できていないようですね。少し休憩したらどうですか」、「まさか悪いことしてないよね」のように話しかけることができる。管理者による警告対象オペレータ4の観察や会話は、実際に対面して行われてもよいし、携帯電話などを介して間接的に行われてもよいし、仮想空間内で行われてもよい。管理者は会話を通じてオペレータ4の様子を観察することにより、事故発生のリスクが高いか否かを判断し、その判断を管理者端末3へ入力する(S34)。
【0066】
管理者端末3は、事故発生リスクなしと管理者が判断した場合(S35:YES)、管理サーバ2に対し、オペレータ端末1の動作制限を解除するよう指示する(S36)。これに対し、管理者端末3は、事故発生リスクありと管理者が判断すると(S35:NO)、管理者による警告対象オペレータ4についての確認結果を管理サーバ2へ送信し、データ記憶部22へ記憶させる(S37)。
【0067】
図6のフローチャートを用いて、オペレータ端末1で実行されるオペレータ端末の動作制限処理S40を説明する。
【0068】
オペレータ端末1は、管理サーバ2からの指示を受信すると(S41)、受信した指示がオペレータ端末1の動作を制限させる指示であるか判定する(S42)。動作を制限させる指示の場合(S42:YES)、オペレータ端末1は、その動作の少なくとも一部を制限する(S43)。
【0069】
動作制限としては、例えば、画面ロック、キーボード入力禁止、マウスの操作禁止、音声入力禁止、外付け記憶装置へのデータ読み書き禁止、管理サーバ以外へのデータ送信禁止などが考えられる。これら以外の方法を採用してもよい。複数の動作制限を組み合わせてもよい。複数の動作制限は、実施時期をずらしてもよい。例えば、最初はキーボード入力のみ実施し、所定時間の経過後または所定イベントの検出後に、画面ロックするなどのように、第1動作制限と第2動作制限とを同時期にまたは異なる時期に実行させることもできる。
【0070】
動作制限の対象は、管理サーバ2が動作制限を指示する前にあらかじめ決定されていてもよいし、管理サーバ2から動作制限が指示された時点で決定されてもよい。前者の方法では、動作制限を指示する前に、画面ロックとキーボード入力禁止とを実施することが決定される。後者の方法では、動作制限が指示される時点におけるオペレータ端末1の状態に応じて、制限対象の動作が決定される。
【0071】
例えば、管理サーバ2から動作制限の指示が発行される所定時点において、オペレータ端末1から外付け記憶装置へのデータ転送が行われているか行われる可能性があると判断できる場合、そのデータ転送が禁止される。例えば、所定時点において、オペレータ端末1で電子メールアプリケーションが起動しており、電子メールが作成されているか作成される可能性があると判断できる場合、電子メールの送信(または送受信)が禁止される。電子メールの送信(または送受信)を禁止する場合、送信(または送受信)を許可するホワイトリストに記載されたネットワークアドレスは例外として電子メールの送信(または送受信)を許可してもよい。あるいは、送信(または送受信)を禁止するブラックリストに記載されたネットワークアドレスのみ送信(または送受信)を禁止してもよい。
【0072】
一方、管理サーバ2から受信した指示が動作制限の指示ではない場合(S42:NO)、オペレータ端末1は、動作制限を解除する指示であるか判定する(S44)。オペレータ端末1は、動作制限の解除指示を受信したと判定すると(S44:YES)、動作制限を解除する(S45)。例えば、オペレータ端末1は、画面ロックを解除したり、キーボードの入力禁止を解除したり、外付け記憶装置へのデータ転送を許可したりする。
【0073】
管理サーバ2から受信したコマンドが動作制限の指示でも動作制限の解除でもない他の指示である場合(S44:NO)、その指示に応じた処理(不図示)がなされて、本処理は終了する。
【0074】
図7のフローチャート(シーケンス図)を用いて、事故の発生する兆候を判定するための閾値を手動設定する処理を説明する。
【0075】
管理者は、管理者端末3を用いて管理サーバ2へアクセスし、バイタル値等および所定の補足情報(視線解析データ、操作ログ)のデータを送信するよう管理サーバ2へ要求する(S51)。
【0076】
管理者端末3からの要求を受けた管理サーバ2は、要求されたデータをデータ記憶部22から読み出して、管理者端末3へ送信する(S52)。
【0077】
管理者端末3は、ステップS51で管理サーバ2に要求したデータを受信してメモリ302へ保存し、ディスプレイ画面に表示する(S53)。管理者は、管理サーバ2から受信したデータを参照し、オペレータごとにバイタル値等の閾値を決定し、管理者端末3へ入力する(S54)。入力された閾値は、管理者端末3を通じて管理サーバ2へ送信される(S55)。
【0078】
例えば、管理サーバ2は、閾値を設定するための画面をウェブブラウザに提供することができる。管理者は、その閾値設定画面において、オペレータごと、バイタル値等の項目ごとに、値を設定することができる。
【0079】
管理サーバ2のオペレータ情報管理部26は、管理者端末3から受信した閾値をオペレータごとに記憶して管理する(S56)。管理サーバ2は、管理者端末3から受信した閾値をオペレータ端末1へ送信する(S57)。オペレータ端末1は、受信した閾値を記憶し、事故発生の兆候を判定するために使用する(S58)。
【0080】
図8のフローチャート(シーケンス図)を用いて、事故の発生する兆候を判定するための閾値を自動設定する処理を説明する。
【0081】
管理者は、管理者端末3を用いてバイタル値等の閾値を設定するよう管理サーバ2へ要求する(S61)。管理者端末3からの要求を受けた管理サーバ2は、過去データに基づいて学習モデルを生成する(S62)。すなわち、管理サーバ2の閾値設定部27は、過去のオペレータごとの、事故リスクの予測とその結果、バイタル値等、所定の補足情報などを教師データとして、適切な閾値を得るための学習モデルを作成する。
【0082】
管理サーバ2の閾値設定部27は、学習モデルを用いて、オペレータごとに閾値を算出する(S63)。管理サーバ2は、算出された閾値を管理者端末3へ送信し、管理者による確認と承認を求めることができる(S64)。
【0083】
管理サーバ2は、管理者端末3から閾値を確認した旨が通知されると(S65)、学習モデルにより算出された閾値をオペレータ端末1へ送信する(S66)。オペレータ端末1は、管理サーバ2から受信した閾値を記憶し、事故発生の兆候を判定するために使用する(S67)。
【0084】
オペレータごとのバイタル値等の項目ごとの閾値は、例えば、時間帯、曜日、祝祭日などを考慮して設定してもよい。さらには、オペレータごとのバイタル値等の項目ごとの閾値は、オペレータの居住する地域の天候や風土を考慮して設定してもよい。
【0085】
図9は、オペレータ端末1の持つデータ管理テーブルT1の例である。データ管理テーブルT1は、例えば、連番C11、オペレータ識別番号(図中、ID)C12、受信日時C13、画像データC14、バイタル値等C15、視線解析データC16、操作ログC17、その他C18を含む。
【0086】
連番C11は、レコードごとに設定される連続番号である。オペレータ識別番号C12は、管理サーバ2の管理対象である各オペレータを識別する情報である。画像データC14は、カメラ10で撮影されたオペレータ4の動画データの格納先アドレスおよびファイル名である。バイタル値等C15と視線解析データC16と操作ログC17については、後述する。その他C18に示すように、図示した項目以外の項目を管理してもよい。他の図における「その他」も同趣旨である。
【0087】
図10は、バイタル値等C15の内容を示すテーブルT15である。バイタル値等C15には、例えば、心拍C151、血中酸素濃度C152、血圧C153、体温C154、ストレスレベルC155、その他C156が含まれる。これら各項目では、所定時間(例えば120秒間)の平均値、最大値および最小値が記録される。なお、これらバイタル値等の項目ごとの閾値は、閾値管理テーブルT151に記憶されている。
【0088】
図11は、視線解析データC16の内容を示すテーブルT16である。視線解析データC16は、直近の所定時間n(例えば120秒間)の毎秒の視線の座標C161,C162,C163,C164,C165,...C16nが記録される。
【0089】
図12は、操作ログC17の内容を示すテーブルである。操作ログC17は、例えば、操作中ファイルC171、アプリケーションC172、管理部署C173、操作状態C174、操作履歴C175、その他C176を含む。
【0090】
操作中ファイルC171は、操作されているファイルの名称およびその格納先アドレスである。アプリケーションC172は、ファイルの操作に使用されているアプリケーションの名称である。管理部署C173は、ファイルを管理している部署名である。操作状態C174は、ファイルの操作状態を示す。操作状態には、例えば、「参照」「編集」「更新」「消去」などがある。操作履歴C175は、オペレータがそのファイルを操作した履歴が記録される。
【0091】
図13は、管理サーバ2の持つデータ管理テーブルT2の例である。このデータ管理テーブルT2は、オペレータ端末1内のデータ管理テーブルT1と同様に、例えば、連番C21、オペレータ識別番号C22、受信日時C23、画像データC24、バイタル値等C25、視線解析データC26、操作ログC27、その他C28を含む。
【0092】
さらに、データ管理テーブルT2は、確認結果C29の項目を備える。確認結果C29には、管理サーバ2からの事故リスク発生予測について管理者が現場を確認した結果が記録される。
【0093】
図14は、管理サーバ2の持つオペレータ情報管理テーブルT3の例である。オペレータ情報管理部26は、オペレータ情報管理テーブルT3を管理する。オペレータ情報管理テーブルT3は、オペレータごとに、バイタル値等の閾値を管理する。オペレータ情報管理テーブルT3は、例えば、オペレータ識別番号C31、オペレータ名C32、心拍閾値C33、血中酸素濃度閾値C34、血圧閾値C35、体温閾値C36、ストレスレベル閾値C37、その他C38を含む。
【0094】
このように構成される本実施例の不正操作検知システムによれば、オペレータのバイタル値等を画像データに基づいて非接触で検出することができ、オペレータが事故を起こす兆候を検知することができる。本実施例によれば、事故発生前に、事故の兆候を検知することができるため、事故に対する対策を事前に行うことができ、オペレータの関与する業務の継続性および信頼性が向上する。
【0095】
本実施例の不正操作検知システムでは、事故の発生する兆候が検知されると、所定の補足情報を取得する。所定の補足情報は、事故リスクを判定するために使用される情報であり、例えば、視線解析データ、操作ログなどである。本実施例では、事故発生の兆候が検知されたときに、所定の補足情報を取得するため、バイタル値等と所定の補足情報とから事故の発生兆候の適否を調べることができる。
【0096】
本実施例の不正操作検知システムでは、事故発生の兆候が検知されると、バイタル値等および所定の補足情報に基づいて事故リスクの発生を算出し、事故リスクが高いと判定されると、管理者端末3へ通知する。したがって、本実施例では、事故が発生する前に、そのリスクを評価して管理者に通知できるため、管理者はオペレータの様子を確認するなどの対策を実行することができ、管理者にとっての使い勝手が向上する。
【0097】
本実施例の不正操作検知システムでは、事故リスクが高いと判定されると、オペレータ端末の動作を制限させる。したがって、事故の発生を未然に抑制することができ、オペレータの関与する業務の継続性と信頼性、安全性が向上する。事故発生の軽減に直接的または間接的に役立つ動作であれば、制限対象となる。
【0098】
本実施例の不正操作検知システムでは、オペレータ個人に起因する事故の発生を抑制できるほかに、オペレータの体調不良またはメンタルヘルスの不調を検出できる。体調不調やメンタルヘルスの不調は、人為的ミスの原因になるため、事故発生の兆候として検出することができる。本実施例の不正操作検知システムが事故発生の兆候を検知し、事故リスクの可能性が管理者に通知されることにより、管理者は、オペレータを休ませたり、オペレータの交代要員を手配したりといった労務対策を事故前に実施できる。これにより、オペレータの関与する業務の生産性および信頼性を向上できる。
【実施例2】
【0099】
図14および図15を用いて、第2実施例を説明する。本実施例を含む以下の各実施例では、第1実施例との相違を中心に述べる。本実施例の不正操作検知システムのオペレータ端末1Aは、オペレータ端末1Aと管理サーバ2との間の通信が不能な場合に、事故リスクを算出し、算出された事故リスクが所定の閾値以上の場合にオペレータ端末1Aの動作を制限する監視制御部18を備える。
【0100】
図16のフローチャートを用いて、オペレータ端末1Aで実施されるオペレータ監視処理S70を説明する。
【0101】
オペレータ端末1Aは、カメラ10からオペレータの画像データを取得し(S71)、取得された画像データに基づいてバイタル値等を算出する(S72)。オペレータ端末1Aは、算出されたバイタル値等が閾値ThV未満の場合(S73:YES)、事故発生の兆候無しと判断してステップS70へ戻る。
【0102】
これに対し、オペレータ端末1Aは、算出されたバイタル値等値が閾値ThV以上の場合(S73:NO)、所定の補足情報を取得し(S74)、バイタル値等および所定の補足情報を管理サーバ2へ送信する(S75)。
【0103】
オペレータ端末1Aは、管理サーバ2へのデータ送信が成功した場合(S76:YES)、ステップS71へ戻る。これに対し、オペレータ端末1Aは、管理サーバ2へのデータ送信が失敗した場合(S76:NO)、監視制御部18によりオペレータ端末1A内で事故リスクを算出する(S77)。オペレータ端末1Aの監視制御部18は、算出された事故リスクが所定の閾値ThR以上の場合(S77:NO)、オペレータ端末1Aの動作を制限する(S79)。
【0104】
オペレータ端末1Aは、定期的にまたは不定期に、管理サーバ2との通信が正常状態に戻ったか監視する(S80)。オペレータ端末1Aは、通信状態が正常に戻ると(S80:YES)、所定データを管理サーバ2へ送信する(S81)。
【0105】
所定データには、例えば、通信異常中に算出または取得されたバイタル値等および所定の補足情報(S72,S74)、通信異常中にオペレータ端末1A内で算出された事故リスクの値(S77)と事故リスクの判定結果(S78)、オペレータ端末1Aの動作制限を示す情報(S79)が含まれる。
【0106】
オペレータ端末1Aは、動作制限の解除指示が入力されると(S82:YES)、ステップS79で実施した動作制限を解除する(S83)。動作制限の解除指示は、通信状態が正常に戻った後で、管理サーバ2からオペレータ端末1Aへ送信される。あるいは、管理者のみが知るパスワードをオペレータ端末1Aへ入力したり(キーボード入力が禁止されない場合)、パスワードを記録した記憶媒体をオペレータ端末1Aに接続したりして(外付け記憶装置へのデータ転送が禁止されない場合)、オペレータ端末1Aの動作制限を解除してもよい。
【0107】
このように構成される本実施例の不正操作検知システムも第1実施例と同様の作用効果を奏する。さらに、本実施例では、オペレータ端末1Aと管理サーバ2との通信状態が悪い場合(例えば通信できない場合)、オペレータ端末1A内で当該オペレータ端末1Aの動作を制限することができる。したがって、例えば、地下や山奥などの通信環境の悪い状況下で、オペレータ端末1Aを用いた事故が発生するのを未然に抑制することができ、オペレータ端末1Aの関与する業務の信頼性を向上することができる。
【実施例3】
【0108】
図17を用いて、第3実施例を説明する。本実施例では、事故リスクが高いと判定された場合に、オペレータ端末1の動作を複数段階で制限する。図17は、管理サーバ2で実行されるオペレータ監視処理S20Aを示すフローチャートである。本処理20Aは、図4で述べた処理20と共通のステップS21-S25を有する。さらに、本処理20Aは、新規なステップS26,S27,S28を備える。
【0109】
管理サーバ2は、算出された事故リスクの値が所定の閾値ThR以上の場合(S23:NO)、管理者端末3へ警告を通知し(S24)、制御指示部24から所定の制御指示を出力させる(S25)。この最初の動作制限を第1動作制限とここでは呼ぶ。
【0110】
管理サーバ2は、オペレータ端末1の動作を制限した後、オペレータ端末1から取得した最新データ(バイタル値等、所定の補足情報)に基づいて、事故リスクを再度算出する(S27)。管理サーバ2は、再計算したリスクが第2の所定の閾値ThR2以上である場合(S27:YES)、オペレータ端末1の動作をさらに制限する(S28)。ステップS28による動作制限を第2動作制限とここでは呼ぶ。
【0111】
第1動作制限を発動するための閾値ThRと第2動作制限を発動させるための第2閾値ThR2とは同じ値であってもよいし、異なってもよい。
【0112】
第1動作制限は、外付け記憶装置へのデータ転送の禁止、ネットワークへのファイル転送の禁止のように、重大事故に直接関係する所定の動作を制限することである。したがって、重大事故に間接的に関係しうる動作、例えばキーボードへの入力、画面の切り替えなどは許可される。
【0113】
第2動作制限は、第1動作制限の後で実施されるものであり、重大事故に間接的に関係する所定の動作を制限することである。例えば、キーボード入力、マウス操作、画面の切り替えなどが該当する。
【0114】
このように構成される本実施例も第1実施例と同様の作用効果を奏する。さらに本実施例では、重大事故に直接関係する動作を禁止する第1動作制限をした後で、重大事故に間接的に関係する動作を禁止する第2動作制限をする。このため、第1動作制限を実施した後でのオペレータ4の様子、操作を観察することができ、その間に不正操作の証拠を収集することができる。
【0115】
第1動作制限は、重大事故に直接関係する動作であるが、キーボード入力、マウス操作、タッチパネル操作などの一般的な操作は禁止されないため、事故のリスクが高いと判定されたオペレータは、第1動作制限後も引き続き業務を行うことができる。したがって、結果的に誤判定であった場合に、オペレータにとっての使い勝手が向上する。
【実施例4】
【0116】
図18を用いて第4実施例を説明する。本実施例の不正操作検知システムでは、判定対象オペレータの所定範囲内に存在する他のオペレータについて算出されたリスク、または判定対象オペレータの地域に配信される情報の少なくともいずれか一方を考慮して、判定対象オペレータについてのリスクを算出する。
【0117】
図18は、管理サーバ2で実行されるオペレータ監視処理S20Bを示すフローチャートである。本処理20Bは、図4で述べた処理20と共通のステップS21-S25を有する。さらに、本処理20Bは、新規なステップS29,S29-1を備える。
【0118】
管理サーバ2は、算出されたリスクが所定の閾値ThR以上の場合(S23:NO)、判定対象オペレータ4の周囲のオペレータ(不図示)のリスクも増大しているか判定する(S29)。
【0119】
判定対象オペレータの周囲のオペレータとは、例えば、同一室内、同一フロア内、同一ビル内、同一地域内のように、判定対象オペレータの所定範囲内に位置するオペレータである。
【0120】
管理サーバ2は、周囲のオペレータのリスクも増大している場合(S29:YES)、例えば、地震、雷雨などによりバイタル値等が急変動したと判断し、実際の事故リスクは低いものとして本処理を終了する。
【0121】
これに対し、管理サーバ2は、判定対象オペレータの周囲のオペレータのリスクは増大していない場合(S29:NO)、判定対象オペレータの地域に配信されるニュース速報があったかを判定する(S29-1)。
【0122】
「判定対象オペレータの地域に配信される情報」の例としてのニュース速報の配信時期が、オペレータ端末1による事故兆候の判定時期に重なっていたかあるいは直前だった場合、判定対象オペレータニュース速報の内容に驚いてしまい、バイタル値等が急変動する可能性がある。そこで、管理サーバ2は、ニュース速報が配信されたと判断すると(S29-1)、事故の発生するリスクは実際には低いものとして、本処理を終了する。ニュース速報の種類に応じて重みをつけてもよい。
【0123】
管理サーバ2は、ニュース速報が配信されていなかった場合(S29-1:NO)、事故リスクが高い旨を管理者端末3へ通知するとともに(S24)、オペレータ端末1の動作を制限させる(S25)。
【0124】
このように構成される本実施例も第1実施例と同様の作用効果を奏する。さらに、本実施例では、判定対象オペレータの事故リスクの値が高くなった場合に、判定対象オペレータの周囲環境(他のオペレータの状態、ニュース)を考慮して、事故の発生する可能性を判断する。したがって、判定対象オペレータの居る地域に依存する原因によりリスクが誤判定する可能性を低減でき、不正操作検知システムの信頼性を向上できる。
【0125】
なお、本発明は上記した実施例に限定されず、様々な変形例が含まれる。例えば、上記実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換することが可能である。上述の各実施例は適宜結合可能である。
【0126】
さらに上述した実施形態には以下の発明も含まれている。
【0127】
「オペレータの不正操作を検知する不正操作検知方法であって、オペレータの画像データを取得する画像取得ステップと、前記取得された画像データに基づいて前記オペレータのバイタル値および精神状態(以下、バイタル値等)を算出するバイタル値等算出ステップと、前記算出されたバイタル値等に基づいて事故の発生する兆候があるか判定する事故兆候判定ステップであって、事故の発生する兆候ありと判定した場合には、前記オペレータの使用するオペレータ端末から所定の補足情報を取得する事故兆候判定ステップとを実行する不正操作検知方法。」
【符号の説明】
【0128】
1,1A:オペレータ端末、2:管理サーバ、3:管理者端末、11:オペレータ画像取得部、12:データ記憶部、13:バイタル値等算出部、14:事故兆候判定部、22:データ記憶部、23:リスク判定部、制御指示部24
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18