特開 2024-158121 画像解析システム、方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024158121

(43)【公開日】2024-11-08

(54)【発明の名称】画像解析システム、方法、およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241031BHJP

   H04N 7/18 20060101ALI20241031BHJP

【ＦＩ】

G06T7/20 300Z

H04N7/18 G

H04N7/18 K

H04N7/18 D

H04N7/18 U

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023073060

(22)【出願日】2023-04-27

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】佐々木 辰也

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FC13

5C054FC14

5C054FE09

5C054FE13

5C054FE16

5C054FE28

5C054GB02

5C054GB05

5C054GB15

5C054GD05

5C054HA19

5L096BA02

5L096CA04

5L096FA16

5L096FA18

5L096FA60

5L096FA66

5L096FA69

5L096GA51

5L096HA05

(57)【要約】      （修正有）

【課題】画像における人物と物体の相互関係から人物の状況を適切に判定する画像解析システム、方法及びプログラムを提供する。
【解決手段】時系列の画像から人物の置かれた状況を判定する画像解析システム１０であって、ソフトウェアプログラムを格納するメモリ１２、１３と、ソフトウェアプログラムを実行するプロセッサ１１と、を有する。プロセッサ１１は、画像から人物と物体を検出して追跡し、物体が静止し続けている時間に関する指標値である静止継続時間が所定の閾値に達した物体を除外した残りの物体を判定対象とし、人物と判定対象である物体との相互関係に基づいて人物の状況を判定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

時系列の画像から人物の置かれた状況を判定する画像解析システムであって、
ソフトウェアプログラムを格納するメモリと、
前記ソフトウェアプログラムを実行するプロセッサと、
を有し、
前記プロセッサは、
前記画像から人物と物体を検出して追跡し、
前記物体が静止し続けている時間に関する指標値である静止継続時間が所定の閾値に達した物体を除外した残りの物体を判定対象とし、
前記人物と前記判定対象である物体との相互関係に基づいて前記人物の状況を判定する、
画像解析システム。

【請求項2】

前記プロセッサは、
前記判定対象の物体の位置を追跡し、
判定対象から除外した物体について、判定対象から除外したときの該物体の位置を表す除外物体位置情報を記録し、
それ以降、該判定対象から除いた物体に対する追跡を行わず、前記除外物体位置情報により表される位置に検出された物体を判定対象としない、
請求項１に記載の画像解析システム。

【請求項3】

前記除外物体位置情報は、前記物体に外接する矩形の領域を示す情報であり、
前記プロセッサは、前記画像から検出された物体に外接する矩形を形成し、該矩形の前記除外物体位置情報により示される矩形とのＩｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎが所定の閾値以上であれば、前記画像から検出された物体は前記除外物体位置情報により表される位置に検出されたと判断する、
請求項２に記載の画像解析システム。

【請求項4】

前記静止継続時間が所定の閾値に達しなかったことにより前記判定対象とされた前記物体は、その後に前記静止継続時間が前記閾値に達しても判定対象から除外しない、
請求項１に記載の画像解析システム。

【請求項5】

前記プロセッサは、
所定の除外処理周期ごとに、判定対象から除外していた物体の除外を解除して前記静止継続時間の算出を開始する、
請求項１に記載の画像解析システム。

【請求項6】

前記プロセッサは、
検出された物体の位置と、前記物体の時系列の位置の過去の遷移とに基づいて、前記物体を追跡し、
追跡され続けたフレームの個数である連続フレーム数が所定の連続フレーム数閾値以上であり、１フレーム当たりの移動した距離である移動距離が所定の上限と下限により定まる移動距離閾値範囲内であった物体は、前記移動が確認された物体であるとして判定対象から除外しない、
請求項１に記載の画像解析システム。

【請求項7】

前記プロセッサは、
前記画像から物体を検出するときに該物体を囲む矩形を生成し、
前記矩形の重心を前記物体の位置として前記移動距離を算出する、
請求項６に記載の画像解析システム。

【請求項8】

前記プロセッサは、
前記画像から検出した物体に含まれる画素をフレーム間で対応付け、画素毎のフレーム間での移動量の平均値を前記移動距離とする、
請求項６に記載の画像解析システム。

【請求項9】

前記プロセッサは、前記移動が確認された物体が特定されたタイミングを他のタイミングと区別可能に表示する、
請求項５に記載の画像解析システム。

【請求項10】

前記プロセッサは、前記連続フレーム数閾値および／または前記移動距離閾値範囲を過去の統計情報に基づいて決定する、請求項６に記載の画像解析システム。

【請求項11】

時系列の画像から人物の置かれた状況を判定するための画像解析方法であって、
前記画像から人物と物体を検出して追跡し、
前記物体が静止し続けている時間に関する指標値である静止継続時間が所定の閾値に達した物体を除外した残りの物体を判定対象とし、
前記人物と前記判定対象である物体との相互関係に基づいて前記人物の状況を判定する、ことをコンピュータが実行する、
画像解析方法。

【請求項12】

時系列の画像から人物の置かれた状況を判定するための画像解析プログラムであって、
前記画像から人物と物体を検出して追跡し、
前記物体が静止し続けている時間に関する指標値である静止継続時間が所定の閾値に達した物体を除外した残りの物体を判定対象とし、
前記人物と前記判定対象である物体との相互関係に基づいて前記人物の状況を判定する、ことをコンピュータに実行させるための、
画像解析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像内の人物と物体と関係を認識する技術に関する。

【背景技術】

【0002】

作業現場等では人物の危険を検出し、事故等が発生する前に対処することが重要である。作業現場における危険な状況には、例えば、吊荷下への作業者の潜り込み、脚立の不適切な方法での利用、作業者の電柱への昇り降り、高所での作業などがある。作業現場の画像を用いた危険作業認識においては、作業者が危険な状況にあるか否かは、その作業者と他の作業者あるいは周辺の物体との相互関係によって判定されるケースが多い。そのため、危険作業認識には、人物と物体との相互作用を認識する手法（Ｈｕｍａｎ－Ｏｂｊｅｃｔ Ｉｎｔｅｒａｃｔｉｏｎ：ＨＯＩ認識）が利用される。

【0003】

ＨＯＩ認識では、人物と物体の相互作用を推定するのに予測モデルが利用される。例えば、人物と物体の位置を推定した後、１フレーム以上の人物と物体の外接矩形のＲＧＢ画像を認識モデルへ入力することにより、人物と物体との相互作用を認識する。

【0004】

特許文献１には、動画における物体を追跡する手法が開示されている。特許文献１における物体には人物も含まれる。特許文献１の手法では、時系列に沿って複数のフレームが並んでいる動画の中で検出された物体の検出されてからの経過時間が、所定時間以上継続している物体を動体と分類し、所定時間未満の物体を動体候補と分類しておき、現在フレームで検出した未認識物体と動体との対応を調べ、未認識物体と動体とが対応していると判断された場合は未認識物体と動体とを対応付け、未認識物体と動体が対応していないと判断された場合は、未認識物体と動体候補との対応を調べることとし、未認識物体と動体候補とが対応していると判断された場合は未認識物体と動体候補とを対応付けする。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－００３３３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

作業現場等における人物の状況を検出することを目的とする場合、危険な状況を見逃さずに検出することが求められる。すなわち、タスクの性質上、再現率（Ｒｅｃａｌｌ）を最大化したいという要求がある。

【0007】

その一方で、危険な状況でないにも関わらず危険な状況と判断してしまう、いわゆる誤検知があまりに多いと、監視システムとしての機能を十分に果たせない。例えば、作業現場に多数の物体が存在する場合にそこにいる人物が危険な状況にあるという誤検知が大量に発生してしまう可能性がある。したがって、誤検知は、できるだけ減らしたいという要求もある。

【0008】

特許文献１に開示された手法は、人物の置かれた状況を検出するための手法ではないため、人物と物体の相互関係から人物の状況を検出する目的には適しない。

【0009】

本開示に含まれるひとつの目的は、画像における人物と物体の相互関係から人物の状況を適切に判定する技術を提供することである。

【課題を解決するための手段】

【0010】

本開示に含まれるひとつの態様による画像解析システムは、時系列の画像から人物の置かれた状況を判定する画像解析システムであって、ソフトウェアプログラムを格納するメモリと、ソフトウェアプログラムを実行するプロセッサと、を有し、プロセッサは、画像から人物と物体を検出して追跡し、物体が静止し続けている時間に関する指標値である静止継続時間が所定の閾値に達した物体を除外した残りの物体を判定対象とし、人物と判定対象である物体との相互関係に基づいて前記人物の状況を判定する、画像解析システムである。

【発明の効果】

【0011】

本開示に含まれるひとつの態様によれば、画像における人物と物体の相互関係から人物の状況を適切に判定する技術を提供することが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態の全体概要を示す図である。

【図2】本実施形態における画像解析システム、カメラ部、監視システムの機能構成を示すブロック図である。

【図3】本実施形態における画像解析システムのハードウェア構成を示すブロック図である。

【図4】本実施形態に係る画像解析システムによる画像解析方法を実施する処理を示すフローチャートである。

【図5】追跡処理部により画像内の人物及び物体について検出及び追跡処理が行われている様子を示す図である。

【図6】各々の物体に関する追跡情報等を記録する追跡対象テーブルの一例を示す図である。

【図7】矩形同士が重なっている状態の一例を示す図である。

【図8】監視システムの映像表示部に表示される画面の一例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について図面を参照して説明する。

【0014】

図１は、本発明の一実施形態の全体概要を示す図である。図１に示すように、本発明の一実施形態における画像解析システム１０は、一例として、重機や資材等が置かれた作業現場等を撮影するカメラ部２０から送られる映像を解析して、映像中に含まれる人物と物体を検出するとともにそれらを少なくとも所定時間にわたって追跡し、人物と物体との相互関係に基づいて人物の状況を判定するものである。カメラ部２０から送られる映像と画像解析システム１０により判定される人物の状況は、画像解析システム１０を介して監視センタの監視システム３０に送られる。監視センタの監視員は、監視システム３０の映像表示部に表示される作業現場における人物の状況を監視し、画像解析システム１０による判定の結果として例えば作業員が危険な作業状態であることを示すアラートが発出された場合に、作業現場の作業員や監督者にその旨を通知する。

【0015】

図２は、本実施形態における画像解析システム１０、カメラ部２０、監視システム３０の機能構成を示すブロック図である。

【0016】

図２に示すように、本実施形態における画像解析システム１０は、その機能構成として、入力部１０１、位置検出部１０２、追跡処理部１０３、判定部１０４、追跡対象更新部１０５、インタラクション認識部１０６、出力制御部１０７及び記憶部１０８を有している。

【0017】

入力部１０１は、通信インターフェースを介した無線通信あるいは有線通信によって、カメラ部２０で撮像された画像をカメラ部２０から取得する。なお、本明細書及び特許請求の範囲の記載において、「画像」の用語は、１又は複数の静止画像のみならず、時系列的に連続する複数の画像によって構成される動画像（映像）を含むものとして用いられる。

【0018】

位置検出部１０２は、後述するような既知の物体検出技術や学習済みモデルを用いたＡＩにより、入力部１０１が取得した画像内に含まれる１又は複数の人物及び１又は複数の物体と、それらの画像内における位置とを検出する処理を実行する。

【0019】

追跡処理部１０３は、位置検出部１０２が検出した画像内の人物及び物体を追跡する処理を実行する。追跡処理部１０３はさらに、時系列的に互いに隣接する２つの画像フレーム間での物体の移動距離に相当する第１の特徴量と、画像内の物体を追跡している間の連続フレーム数に相当する第２の特徴量とを算出し、それらの第１及び第２の特徴量に基づいて、画像内で追跡している各物体が静止し続けている時間に関する指標値である「静止継続時間」を算出する処理を実行する。静止継続時間は、画像のフレームレートと連続フレーム数とに基づいて算出され得る。追跡処理部１０３はさらに、検出対象の人物及び物体の各々について識別情報を付与し、各々の人物又は物体が出現している各画像フレームの番号及び各画像フレーム内における各々の人物又は物体の座標位置を取得する処理も行う。

【0020】

判定部１０４は、追跡処理部１０３が算出した各物体に関する「静止継続時間」に基づき、追跡処理部１０３が追跡している画像内の各物体について、追跡処理部１０３による追跡処理の対象から除外するか否かを判定する処理を実行する。静止継続時間が所定時間以上である場合は、その物体は移動するものではなく、その位置に保管等のために置かれているものである可能性が高い。そのような物体は移動時に近くにいる人物に対して危険となる可能性が低いため、追跡処理の対象から除外することが好ましい。静止継続時間が所定時間以上である物体についても追跡を継続すると、後述するインタラクション認識部１０６において危険性の低い物体についても人物との相互関係が認識されてしまう誤検知が発生し得るためである。

【0021】

追跡対象更新部１０５は、追跡処理部１０３が追跡している画像内の物体から、判定部１０４が除外した物体を追跡処理部１０３の追跡対象から除外する処理を実行する。追跡対象更新部１０５は、物体を追跡処理部１０３の追跡対象から除外する処理を実行した時点における当該物体の画像内の位置を特定する。追跡対象更新部１０５はまた、物体を追跡処理部１０３の追跡対象から除外する処理を実行した後に所定の時間（後述する除外処理周期）が経過した後に、その物体を再び追跡処理部１０３の追跡対象とする。

【0022】

インタラクション認識部１０６は、追跡処理部１０３が追跡している画像内の人物と物体との相互関係を認識する処理を実行する。画像内の人物と物体との相互作用の具体例は、例えば画像内の人物と物体との互いの位置関係であり、インタラクション認識部１０６は、画像内の人物と物体との互いの距離が基準距離以下となった場合に画像内の人物と物体との相互関係が発生したと認識する。

【0023】

出力制御部１０７は、インタラクション認識部１０６が画像内の人物と物体との相互関係が発生したことを認識したときに、画像内の人物と物体との相互関係に関連するメッセージ情報を出力する処理を実行する。画像内の人物と物体との相互関係に関連するメッセージ情報は、例えば、人物が危険性のある物体に接近したことを示す「危険作業」等のテキストデータ及び／又は画像データである。

【0024】

記憶部１０８は、時系列的に互いに隣接する２つの画像フレーム間の１フレーム当たりの物体の移動距離（第１の特徴量）についての所定の上限と下限により定まる移動距離閾値範囲、追跡され続けたフレームの個数である連続フレーム数（第２の特徴量）の閾値、第１及び第２の特徴量に基づいて算出される、判定部１０４が画像内の各物体について追跡処理部１０３による追跡処理の対象から除外するか否かを判定するための静止継続時間の閾値、インタラクション認識部１０６が画像内の人物と物体との相互関係を認識するための基準距離等、複数の閾値を記憶する。

【0025】

本実施形態におけるカメラ部２０は、静止画及び動画を含む画像を撮像する撮像装置である。１又は複数のカメラ部２０が、人物と物体との相互関係を監視すべき作業現場等のエリア全体を撮像するように設置される。カメラ部２０が撮像した画像データは、上述したように画像解析システム１０の入力部１０１に通信インターフェースを介した無線通信あるいは有線通信によって送信される。

【0026】

また、本実施形態における監視システム３０は、図２に示すように記録部３０１、映像表示部３０２及び管理制御部３０３を有する。監視システム３０は監視センタに設けられる。カメラ部２０で撮像された画像データ及び画像解析システム１０の出力制御部１０７から出力される上記メッセージ情報は、画像解析システム１０を介して監視システム３０に送信され、監視システム３０の記録部３０１に記録されるとともに、映像表示部３０２に表示される。監視センタの監視者は、監視システム３０の映像表示部３０２に表示される画像を見てその画像内の人物と物体を監視し、映像表示部３０２に上記メッセージ情報が表示された場合には作業現場の現場監督者や作業員にその旨を通知する。管理制御部３０３は、連続フレーム数の閾値、移動距離閾値範囲などの各種閾値の一部または全部を過去に取得された情報（履歴情報）に基づいて決定し、画像解析システム１０の記憶部１０８に設定することができる。

【0027】

図３は、本実施形態における画像解析システム１０のハードウェア構成を示すブロック図である。

【0028】

図３に示すように、本実施形態における画像解析システム１０は、そのハードウェア構成としては一般的なコンピュータであり、少なくとも、プロセッサ１１、メインメモリ１２、ストレージメモリ１３、通信装置１４、入力装置１５、表示装置１６を備え、これらはバス１７を通じて相互に接続されている。

【0029】

プロセッサ１１は、画像解析システム１０全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージメモリ１３に格納されメインメモリ１２に展開されたプログラム等を実行して各情報処理を実施する。プロセッサ１１は、ストレージメモリ１３に記憶されたプログラムを実行することにより、図２を参照して説明した画像解析システム１０の入力部１０１、位置検出部１０２、追跡処理部１０３、判定部１０４、追跡対象更新部１０５、インタラクション認識部１０６及び出力制御部１０７として機能する。

【0030】

メインメモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含む。メインメモリ１２は、プロセッサ１１のワークエリア等として使用され、また、画像解析システム１０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

【0031】

ストレージメモリ１３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の不揮発性記憶装置を含み、アプリケーション・プログラムや本発明の実施形態に係る機能を実現するためのプログラム等の各種プログラムを格納する。ストレージメモリ１３はまた、通信装置１４や入力装置１５によって取得された情報や、プロセッサ１１による処理動作によって生成される各種データ（中間生成データを含む）を少なくとも一時的に記憶する。それらのデータを格納するデータベースがストレージメモリ１３に構築されていてもよい。

【0032】

メインメモリ１２とストレージメモリ１３の一方又は両方が、図２に示した画像解析システム１０の記憶部１０８を構成する。

【0033】

通信装置１４は、インターネット、イントラネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信ネットワークやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の有線接続を介して画像解析システム１０がカメラ部２０や監視システム３０等と通信を行うための通信インターフェースである。

【0034】

入力装置１５は、画像解析システム１０の使用者が画像解析システム１０を操作する入力を受け付ける入力インターフェースであり、例えば、キーボード、マウスやジョイスティック等のポインティングデバイス、タッチパネル、音声マイク、あるいは、それらの任意の組合せで構成することができる。

【0035】

表示装置１６は、カメラ部２０から入力された画像やプロセッサ１１によって生成される画像を表示して視覚情報を画像解析システム１０の使用者に提供するディスプレイ装置である。

【0036】

バス１７は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

【0037】

次に、図４等を参照して、本実施形態に係る画像解析システム１０による画像解析方法について説明する。図４は、本実施形態に係る画像解析システムによる画像解析方法を実施する処理を示すフローチャートである。

【0038】

本実施形態に係る画像解析システム１０では、最初に、画像解析システム１０の入力部１０１として機能するプロセッサ１１が、カメラ部２０が撮像してカメラ部２０から送信される画像の入力を受け入れる処理を行う（ステップＳ１１）。

【0039】

上述したように、一例としてカメラ部２０は作業現場に設置されて作業現場に存在する人物及び物体を含む画像を撮像する。カメラ部２０が撮像した画像のデータはカメラ部２０から画像解析システム１０の入力部１０１に入力される。

【0040】

次に、画像解析システム１０の位置検出部１０２として機能するプロセッサ１１が、カメラ部２０から入力部１０１に入力された画像中に含まれる人物及び物体を検出する（ステップＳ１２）。

【0041】

人物及び物体を検出する処理は任意の既知の物体検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）技術を用いて行うことができる。物体検出は、画像処理により画像内に存在する特定のクラス（「人」、「電柱」等のカテゴリ）を特定するとともに、それらの検出対象物の画像内における位置及び領域を特定する技術である。既知の物体検出技術としては、一例として、Ｈａａｒ－Ｌｉｋｅ特徴を用いた手法、スケール不変特徴量変換（ＳＩＦＴ）を用いた手法、ＨＯＧ特徴量を用いた手法等が知られている。また、学習器が人物及び物体を含む多数の画像を用いて機械学習や畳み込みニューラルネットワーク（ＣＮＮ）を用いた深層学習を行って得られた学習済みモデルを用いて人物及び物体を検出する手法を用いてもよい。

【0042】

さらにステップＳ１２においては、追跡処理部１０３として機能するプロセッサ１１が、画像内において位置検出部１０２が検出した各々の人物及び物体の位置及び領域を継続的に追跡する処理を行う。人物及び物体の追跡には、例えば、画像内の複数の特定の対象物を追跡する技術であるマルチ・オブジェクト・トラッキング（ＭＯＴ）を用いることができる。ＭＯＴ技術によれば、画像内において検出された複数の特定の対象物の各々に対して識別情報（ＩＤ）が付与され、それらの対象物の位置及び領域を示すバウンディングボックスが継続的に生成あるいは予測されることにより、各対象物の追跡が行われる。バウンディングボックスは、検出された対象物（人物又は物体）に外接する矩形の領域である。対象物の位置の予測は、対象物の検出済みの位置及びその遷移に基づき、例えばカルマンフィルタを用いた手法によって予測することができる。このように、追跡処理部１０３は、検出された物体の位置と、その物体の時系列の位置の過去の遷移とに基づいて物体の位置を追跡する。

【0043】

図５は、追跡処理部１０３により画像内の人物及び物体について検出及び追跡処理が行われている様子を示している。図５では、符号４０１，４０２を参照して、それぞれ人物と物体としての電柱とが検出及び追跡処理されてそれらにバウンディングボックスが生成された状態を示している。

【0044】

プロセッサ１１は、画像内の各々の人物及び物体の位置及び領域を追跡する処理を開始すると、追跡する各々の物体に関する追跡情報等を追跡対象テーブルに追加して記録する処理も行う。図６は、各々の物体に関する追跡情報等を記録する追跡対象テーブルの一例を示す。追跡対象テーブルは画像解析システム１０の記憶部１０８に格納される。

【0045】

プロセッサ１１は、画像内の各々の物体の位置及び領域を追跡する処理を開始すると、追跡する各々の物体に識別情報（図３の追跡対象リストにおける物体ＩＤ）を付与し、各物体の識別情報に関連付けて、その物体が出現している画像フレームのフレーム番号と、各画像フレーム内におけるその物体の位置に関する情報とを組にして追跡対象テーブルの「出現フレーム番号（座標位置）」に記録していく。フレーム番号と物体の位置に関する情報との組は、物体が画像内に出現している間、追跡対象リストに順次取り溜められていく。

【0046】

追跡対象テーブルにはさらに、後述する処理で追跡対象から除外された物体であるか否かを示す「除外フラグ」と、物体が追跡対象から除外された時点における画像内の物体のバウンディングボックスの位置及び大きさを示す座標情報である「最終矩形座標」とが記録される。最終矩形座標は、例えば、物体が追跡対象から除外された時点における画像内の物体のバウンディングボックスの左上角の座標（ｘ１，ｙ１）と右下角の座標（ｘ２，ｙ２）との組として「（ｘ１，ｙ１）－（ｘ２，ｙ２）」のように表現される。追跡対象テーブルにはさらに、各物体について算出した特徴量（第１の特徴量、第２の特徴量及び静止継続時間）が記録されてもよい。あるいは、各物体について算出した特徴量は追跡対象リストとは別のテーブルに独立して記録して管理してもよい。

【0047】

図４に戻り、次に、画像解析システム１０の判定部１０４として機能するプロセッサ１１が、上記ステップＳ１２において検出及び追跡処理が行われている画像内において、人物と物体とがそれぞれ１以上含まれているか否かを判定する処理を行う（ステップＳ１３）。画像内に人物と物体とがそれぞれ１以上含まれていると判定された場合は処理がステップＳ１４に進み、そうでないと判定された場合には処理がステップＳ１１に戻る。これは、画像内において人物と物体とがそれぞれ１以上含まれていない場合、例えば、人物だけが検出されている場合や人物が検出されず１又は複数の物体のみが検出されている場合は、画像解析システム１０が判定すべき人物と物体との相互関係が生じ得ないためである。プロセッサ１１は、画像内に人物と物体とがそれぞれ１以上含まれていると判定されるまでステップＳ１１～Ｓ１３の処理を繰り返す。図５に示す例では、画像内に２人の人物と多数の物体が含まれている。

【0048】

次に、追跡処理部１０３として機能するプロセッサ１１が、位置を追跡している判定対象物体ごとに、時系列的に互いに隣接する２つの画像フレーム間での物体の移動距離に相当する第１の特徴量と、物体を追跡している間の連続フレーム数に相当する第２の特徴量とを算出し、それらの第１及び第２の特徴量に基づいて、画像内で追跡している各物体が静止し続けている時間に関する「静止継続時間」を算出する処理を行う（ステップＳ１４，Ｓ１５）。

【0049】

各物体が静止し続けている時間に関する「静止継続時間」は、より具体的には、時系列的に互いに隣接する２つの画像フレーム間の１フレーム当たりの物体の移動距離（第１の特徴量）が所定の上限と下限により定まる移動距離閾値範囲内であり続ける、追跡され続けたフレームの個数である連続フレーム数（第２の特徴量）によって求められる。静止継続時間の算出には画像のフレームレートが考慮される。第１の特徴量として算出する互いに隣接する２つの画像フレーム間での物体の移動距離の基準を所定の上限と下限により定まる移動距離閾値範囲内とするのは、例えば、画像内を上限を超えて移動する物体は画像検出誤りに起因する可能性が高いためであり、また、設置されたカメラ部２０が作業現場の重機の移動や風で下限を下回る距離間で振動し、そのような振動に伴って画像内の物体がわずかに移動したように見える場合に、物体が移動したとしてカウントされることを防止するためである。

【0050】

時系列的に互いに隣接する２つの画像フレーム間の１フレーム当たりの物体の移動距離（第１の特徴量）は、例えば、プロセッサ１１が、当該物体を囲む矩形であるバウンディングボックスの重心を求め、その重心を当該物体の位置として重心の移動距離を求めることによって算出することができる。あるいは、その移動距離は、プロセッサ１１が、画像内で検出された物体の輪郭あるいはそれを囲む矩形のバウンディングボックス内に含まれる画素をフレーム間で対応付け、画素毎のフレーム間での移動量の平均値を求めることによって算出することもできる。これによれば、物体の回転も移動として認知することが可能となる。

【0051】

次に、判定部１０４として機能するプロセッサ１１は、ステップＳ１４，Ｓ１５で追跡処理部１０３が算出した各物体の「静止継続時間」が画像解析システム１０の記憶部１０８に記憶された静止継続時間に関する閾値に到達したかどうかを判定し（ステップＳ１６）、「静止継続時間」が当該閾値に到達した物体についてはその判定対象から除外して処理をステップＳ１７に進め、「静止継続時間」が当該閾値に到達していない物体については移動が確認された物体であるとして判定対象から除外せずに処理をステップＳ１４に戻す（ステップＳ１７）。

【0052】

静止継続時間が閾値の所定時間に達した場合は、その物体は移動するものではなく、その位置に保管等のために置かれているものである可能性が高い。そのような物体は移動時に近くにいる人物に対して危険となる可能性が低いため、人物との相互関係を認識する対象から除外することが好ましい。これは、後述するインタラクション認識部１０６において危険性の低い物体についても人物との相互関係が認識されてしまう誤検知が発生し得るためである。一方、静止継続時間が閾値の所定時間に達しなかった物体は移動する物体である可能性があるため、人物に不意に衝突等する危険の物体である可能性があることから、判定対象から除外せずに人物との相互関係を認識する対象として残される。静止継続時間に関する閾値は、上述したように画像解析システム１０の記憶部１０８に記憶されている。判定対象から除外された物体については、追跡処理部１０３による追跡処理が終了される。

【0053】

次に、追跡対象更新部１０５として機能するプロセッサ１１が、上記ステップＳ１７の処理において静止継続時間が閾値に到達したと判定された物体を、静止継続時間に関する判定の対象から除外する処理を行う（ステップＳ１８）。

【0054】

物体を判定の対象から除外する処理は、本実施形態の例では、図６に示した追跡対象テーブルの当該物体の識別情報に関連付けられた除外フラグを変更することによって行われる。除外フラグが「０」である場合はその物体は「静止継続時間」に関する判定対象として追跡処理が行われ、除外フラグが「１」である場合はその物体は判定対象から除外されて追跡処理が行われない。

【0055】

上記ステップＳ１７の処理において静止継続時間が閾値に到達したと判定されると、追跡対象更新部１０５は除外対象の物体のその時点の画像内における位置である除外物体位置情報を示す最終矩形座標を追跡対象テーブルに記録するとともに、除外対象の物体について除外フラグを「１」に更新する。すると、その物体は「静止継続時間」に関する判定対象から除外されるとともに、それ以降はその物体について追跡処理部１０３による追跡処理が行われなくなる。したがって、物体が判定の対象から除外された後は、その物体についての上記の第１及び第２の特徴量及び静止継続時間は更新されない。ただし、過去に静止継続時間が所定の閾値に達しなかったことにより判定対象とされた物体は、その後に静止継続時間が閾値に達しても判定対象から除外しない。換言すれば、過去に一度でも動いたことが検出された物体は判定対象から除外しない。

【0056】

なお、画像内の物体が動く場合、画像に現れる当該物体の姿勢・向きが変わることに伴って当該物体の周囲を囲うバウンディングボックスの形状・大きさも変化し得る。例えば、物体としての電柱が作業現場でクレーンに吊り下げられて移動されるケースでは、クレーンに吊り下げられた電柱が回転すると、電柱を長手方向に対して直交する方向に見た場合にはバウンディングボックスは横長の長方形になるが、長手方向に沿って見た場合にはバウンディングボックスは円形断面の周囲を囲む正方形になる。静止継続時間が閾値に到達したときの物体の除外物体位置情報を示す最終矩形座標は、このように位置と姿勢が変化していた物体の判定対象除外時点の矩形座標である。

【0057】

ここで図５を再度参照すると、図５に示す例では、符号４０１で示す物体の電柱がクレーンに吊り下げられて移動されており、静止継続時間が閾値に到達しなかった物体であるため判定対象として維持されている。一方、符号４０２，４０３で示されるその他の電柱は保管のため置かれたものであり、静止継続時間が閾値に到達した物体として判定対象から除外される。

【0058】

上記のように静止継続時間が閾値に到達した物体（所定時間の間動かなかった物体）は、その後、判定対象から除外され、追跡処理も行う必要がない。そのため、画像内に検出された物体が判定対象から除外された物体であることを認知するために、追跡対象更新部１０５として機能するプロセッサ１１が物体を判定対象から除外する処理には、静止継続時間が閾値に到達した物体の除外物体位置情報により示される矩形（真の領域を示すバウンディングボックス）と、画像内で検出された他の物体の除外物体位置情報により示される矩形（重なり判定対象の領域を示すバウンディングボックス）との重なり度を示すＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）が所定の閾値以上であれば、当該他の物体も静止継続時間が閾値に到達した物体の除外物体位置情報に検出されたと判断し、判定対象から除外する。ＩｏＵは画像領域の重なりの割合を表す指標であり、ＩｏＵが大きいほど画像領域が重なっていることを意味する。より具体的にはＩｏＵは、判定対象領域が真の領域に完全に重なるときに最大値１をとり、重複する領域が全く存在しないときには最小値１をとる。

【0059】

図７は、矩形同士が重なっている状態の一例を示している。図７に示す例では、静止継続時間が閾値に到達した物体の除外物体位置情報により示される矩形ＯＢＪ１と、画像内で検出された物体の矩形ＯＢＪ２とが示されている。矩形ＯＢＪ２と矩形ＯＢＪ１とは重なり領域ＯＬにおいて互いに重なっている。追跡対象更新部１０５として機能するプロセッサ１１は、矩形ＯＢＪ１に対する矩形ＯＢＪ２のＩｏＵを求め、そのＩｏＵが所定の閾値以上であれば、画像から検出された物体が判定対象から除外された物体であると判断して判定対象から除外する。

【0060】

追跡対象更新部１０５はさらに、静止継続時間が所定の閾値に達しなかったことにより判定対象とされている物体は、その後に静止継続時間が閾値に達しても判定対象から除外しないように構成されていてもよい。例えば、作業現場に置かれた電柱が保管場所を変えるために一時的に移動されるケースでは、その移動の前後では電柱は継続して静止しているが、その移動時に一時的に動く。このように一度でも動いたことが確認された物体（静止継続時間が所定の閾値に達しなかったと判定されたことがある物体）は、その後も動く可能性がある物体であるので、たとえその後に静止継続時間だけ静止していたとしても継続して判定対象とすることが好ましいためである。本例では、図３のテーブルにおいて除外フラグが「０」である物体は、一度でも動いたことが確認された物体（静止継続時間が所定の閾値に達しなかったと判定されたことがある物体）であるため、その後に静止継続時間が閾値に達しても判定対象から除外されない。

【0061】

追跡対象更新部１０５はさらに、所定の除外処理周期ごとに、判定対象から除外していた物体の除外を解除して静止継続時間の算出を開始するように構成されていてもよい。所定の除外処理周期は、特に限定されないが、静止継続時間の閾値よりも長い時間に設定される。

【0062】

ある時間間隔の間において静止継続時間が経過したとして判定対象から除外されていた物体は、それ以降に移動する可能性がある。例えば、作業現場に保管用に長期にわたって積まれていた電柱が、作業現場から搬出するためにクレーンに吊り下げられてトラックの荷台に積み込まれることが想定される。作業現場に保管用に長期にわたって積まれていた電柱は所定の静止継続時間経過後に判定対象から除外されるが、判定対象から一旦除外された物体についてその後は全く判定対象としないとすると、上記のようにその後に物体が移動されたときに人物との相互関係を認識することができず、結果として危険作業を検出できない場合が生じうる。

【0063】

これに対し、上記のように所定の除外処理周期ごとに、判定対象から除外していた物体の除外を解除して静止継続時間の算出を開始することにより、判定対象から除外していた物体についても再度判定対象に含めることができる。長期にわたって静止している物体を判定対象に含め続けると、プロセッサ１１による追跡処理及び判定処理の負荷が大きくなり、また、人物との相互関係について誤検知を生じる可能性が高くなるが、所定の除外処理周期ごとに判定対象から除外していた物体の除外を解除することにより、それらを軽減することができる。

【0064】

次に、インタラクション認識部１０６として機能するプロセッサ１１が、追跡対象更新部１０５が追跡している人物と物体との相互関係（インタラクション）を認識する処理を行う（ステップＳ１９）。

【0065】

人物と物体との相互関係は、例えば、画像内の人物と物体との距離に基づき、両者の距離が基準距離よりも近くなった場合に相互関係が生じたと認識される。この基準距離に関する閾値は、上述したように画像解析システム１０の記憶部１０８に記憶されている。インタラクション認識部１０６による認識対象の物体は、静止継続時間内に動いたことが認められたため、ステップＳ１７において判定対象から除外されずに継続して追跡されている、潜在的に人物に危険性をもたらす可能性のある物体である。そのため、人物がそのような物体に近づいた場合にはその物体によって危険を被る可能性があるため、人物がそのような物体に近づいたことを認識するために、インタラクション認識部１０６による当該ステップＳ１９のインタラクション認識処理が行われる。

【0066】

画像内の人物と物体との距離は、一例として、追跡対象更新部１０５が生成した人物と物体のそれぞれのバウンディングボックス同士の距離に基づいて求められる。より具体的には、例えば、人物と物体のそれぞれのバウンディングボックスの中心位置同士が基準距離より近くなった場合に、インタラクション認識部１０６は人物と物体とに相互関係が生じたと認識する。図５に示す例では、符号４０１に示すように判定対象の物体である電柱を示すバウンディングボックスの重心と、その近くの人物を示すバウンディングボックスの重心とが基準距離よりも近くなっており、その人物と物体とに相互関係が生じたと認識される。画像解析システム１０は、このようにして、画像内に判定対象として検出・追跡されている物体に対する人物の状況（例えば、危険作業等）を判定する。

【0067】

次に、出力制御部１０７として機能するプロセッサ１１は、インタラクション認識部１０６が画像内の人物と物体との相互関係が発生したことを認識したときに、画像内の人物と物体との相互関係に関連するメッセージ情報を出力する処理を実行する（ステップＳ２０）。

【0068】

画像内の人物と物体との相互関係に関連するメッセージ情報は、例えば、人物が危険性のある物体に接近したことを示す「危険作業」等のテキストデータ及び／又は画像データである。画像内の人物と物体との相互関係が認識されたタイミングはこのように危険作業状態が発生したタイミングであり、それ以外の平時の状態とは区別されることが好ましい。出力制御部１０７として機能するプロセッサ１１は、画像内の人物と物体との相互関係が発生したことを認識したときに上記メッセージ情報を出力することで、画像内の人物と物体との相互関係が認識されたタイミングを他のタイミングと区別可能に表示するように構成されている。出力制御部１０７としてのプロセッサ１１はまた、カメラ部２０から画像解析システム１０に入力された画像も出力する。

【0069】

画像解析システム１０の出力制御部１０７から出力された画像及び上記メッセージ情報は、監視センタの監視システム３０に送信され、監視システム３０の記録部３０１に記憶されるとともに、画像表示ディスプレイ装置等からなる映像表示部３０２に表示される。監視センタの監視員は、監視システム３０の映像表示部３０２に表示される画像内の作業現場の人物及び物体の状況を監視し、画像解析システム１０のインタラクション認識部１０６による判定の結果として例えば作業現場の作業員が物体に対して危険な状態であることを示すメッセージ情報が発出されて映像表示部３０２に表示された場合に、作業現場の作業員や監督者にその旨を通知することが可能となる。監視員から作業現場の作業員や監督者への通知は、例えば、作業現場に設置された構内スピーカーを通じて対象の作業者にその場所から退避するように指示したり、あるいは、作業員や監督者の携帯電話に電話して注意を促したりすることによって行うことが可能である。

【0070】

図８は、監視システム３０の映像表示部３０２に表示される画面の一例を示している。映像表示部３０２には、クレーンに吊り下げられて移動されている判定対象の物体である電柱及びそれを示すバウンディングボックス５０１と、その電柱の近くにいる人物及びそれを示すバウンディングボックス５０２とが示されている。図８に示す例では、バウンディングボックス５０１，５０２同士が基準距離より近いため、それらが示す人物と物体との相互関係が認識され、メッセージ情報として「危険作業」のテキストとそれに付随する画像が表示されている。監視センタの監視員は、映像表示部３０２にこのようなメッセージ情報が表示されると、上記のように作業現場の作業員や監督者に上記のような通知を行う。

【0071】

映像表示部３０２には、カメラ部２０からリアルタイムに送信される画像を映像表示部３０２に表示することが可能であり、また、監視システム３０の記録部３０１に記憶された画像の中から再生を選択された画像を表示することも可能である。図８に示す表示例では、監視システム３０の記録部３０１に記憶された画像から再生することを選択された画像が表示されており、画面に表示された再生ボタン５０３をクリックすることでその選択された画像の再生が開始される。映像表示部３０２にはさらに、再生している画像の再生タイムラインを表示するタイムライン表示バー５０４が表示されてもよい。

【0072】

また、映像表示部３０２には、人物及び物体を示すバウンディングボックスの表示のオン・オフを切り替えるボタン５０５が表示されてもよい。このボタン５０５をクリックすることでバウンディングボックスの表示のオン・オフを切り替えることができる。ただし、バウンディングボックスの表示をオフにした場合であっても、追跡処理が行われている人物及び物体はバウンディングボックスの生成が継続される。映像表示部３０２にはさらに、インタラクション認識部１０６が人物と物体との相互関係を認識するための両者の基準距離が設定閾値として表示されている。

【0073】

なお、画像解析システム１０の記憶部１０８には、カメラ部２０で撮像された画像と、画像内の人物と物体との相互関係が認識されたタイミングで出力されたメッセージ情報と、各閾値とが記憶される。各閾値は、時系列的に互いに隣接する２つの画像フレーム間の１フレーム当たりの物体の移動距離（第１の特徴量）が所定の上限と下限により定まる移動距離閾値範囲と、移動距離閾値範囲内であり続ける、追跡され続けたフレームの個数である連続フレーム数（第２の特徴量）の閾値を含む。一方、監視システム３０の記録部３０１には、画像内の人物と物体との相互関係が発生したことと共に、画像内で人物と物体との相互関係が認定されたタイミングが記憶され得る。記憶部１０８に記憶されるこれらの情報は、統計情報あるいは履歴情報として蓄積される。

【0074】

監視システム３０では、例えば、管理制御部３０３が、連続フレーム数閾値および／または移動距離閾値範囲を過去の統計情報に基づいて決定する。一例として、管理制御部３０３は、次回以降あるいは他の作業現場での画像解析システム１０による画像解析処理実行時に、記憶部１０８に記憶されている過去の統計情報データに基づいて適切な判定が行われたときに用いられた各閾値の値を選択する。

【0075】

なお、上述した実施形態では作業現場における人物と物体（特に電柱）とについて画像解析処理を行う場合を例に挙げて説明したが、本実施形態の画像解析システム１０を適用できるのはこれに限られず、他の任意のエリアに存在する人物と任意の物体とに適用かのうである。

【0076】

上述したように、本開示の一態様によれば、時系列の画像から人物の置かれた状況を判定する画像解析システムであって、ソフトウェアプログラムを格納するメモリと、ソフトウェアプログラムを実行するプロセッサと、を有し、プロセッサは、画像から人物と物体を検出して追跡し、物体が静止し続けている時間に関する指標値である静止継続時間が所定の閾値に達した物体を除外した残りの物体を判定対象とし、人物と判定対象である物体との相互関係に基づいて人物の状況を判定する、画像解析システムが提供される。

【0077】

このように構成された本開示の画像解析システムによれば、静止継続時間に達した物体を判定対象から除外することにより、人物との相互関係を判定すべき対象の物体を制限し、判定不要な物体との相互関係が判定される、いわゆる誤検知を排除することができる。その結果、画像内に判定対象として検出・追跡されている物体に対する人物の置かれた状況を適切に判定することが可能となる。

【0078】

本開示の画像解析システムはさらに、プロセッサが、判定対象の物体の位置を追跡し、判定対象から除外した物体について、判定対象から除外したときの物体の位置を表す除外物体位置情報を記録し、それ以降、判定対象から除いた物体に対する追跡を行わず、除外物体位置情報により表される位置に検出された物体を判定対象としないように構成されていてもよい。これにより、一度判定対象から除外した物体については、その後はプロセッサによる追跡処理を行うことなく判定対象から除外できるため、プロセッサの計算処理負担を軽減することが可能となる。

【0079】

本開示の画像解析システムはさらに、除外物体位置情報は、物体に外接する矩形の領域を示す情報であり、プロセッサが、画像から検出された物体に外接する矩形を形成し、その矩形の、除外物体位置情報により示される矩形とのＩｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎが所定の閾値以上であれば、画像から検出された物体は除外物体位置情報により表される位置に検出されたと判断するように構成されていてもよい。これにより、除外物体位置情報により示される矩形と重複する矩形が生成された物体を、除外物体位置情報により表される位置に検出されたと判断して判定対象から除外することが可能となる。

【0080】

本開示の画像解析システムはさらに、静止継続時間が所定の閾値に達しなかったことにより判定対象とされた物体は、その後に静止継続時間が閾値に達しても判定対象から除外しないように構成されていてもよい。静止継続時間内に一度でも動いたことにより判定対象とされた物体は、その後に時間が経過した後でも再度動く可能性がある。この構成によれば、一度でも動いたことがある物体をその後も継続して判定対象とすることができる。

【0081】

本開示の画像解析システムはさらに、プロセッサが、所定の除外処理周期ごとに、判定対象から除外していた物体の除外を解除して静止継続時間の算出を開始するように構成されていてもよい。ある時間の間静止していたことにより判定対象から除外された物体であっても、その後に動く可能性がある。所定の除外処理周期ごとに物体の除外を解除することにより、判定対象から一度除外した物体についても再び判定対象として、判定対象からの除外の要否を改めて判定することが可能となる。

【0082】

本開示の画像解析システムはさらに、プロセッサが、検出された物体の位置と、物体の時系列の位置の過去の遷移とに基づいて、物体を追跡し、追跡され続けたフレームの個数である連続フレーム数が所定の連続フレーム数閾値以上であり、１フレーム当たりの移動した距離である移動距離が所定の上限と下限により定まる移動距離閾値範囲内であった物体は、前記移動が確認された物体であるとして判定対象から除外しないように構成されていてもよい。

【0083】

本開示の画像解析システムはさらに、プロセッサが、画像から物体を検出するときに物体を囲む矩形を生成し、矩形の重心を物体の位置として移動距離を算出するように構成されていてもよい。あるいは、プロセッサは、画像から検出した物体に含まれる画素をフレーム間で対応付け、画素毎のフレーム間での移動量の平均値を移動距離とするように構成されていてもよい。本開示の画像解析システムでは、このように種々の手法を用いて画像内の物体の移動距離を算出することができる。

【0084】

本開示の画像解析システムはさらに、プロセッサが、移動が確認された物体が特定されたタイミングを他のタイミングと区別可能に表示するように構成されていてもよい。これにより、例えば、物体が動きだしたことが確認されたタイミングを危険作業が開始されたタイミングとみなして表示に反映することができる。

【0085】

本開示の画像解析システムはさらに、プロセッサが、連続フレーム数閾値および／または移動距離閾値範囲を過去の統計情報に基づいて決定するように構成されていてもよい。これにより、例えば、画像解析システムにより作業現場を再び監視する場合や他の作業現場を監視する場合に、過去の統計情報に基づいて決定された各閾値を用いて適切な検出精度をもって物体の検出及び追跡処理を行うことが可能となる。

【0086】

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。

【符号の説明】

【0087】

１０…画像解析システム、１１…プロセッサ、１２…メインメモリ、１３…ストレージメモリ、１４…通信装置、１５…入力装置、１６…表示装置、２０…カメラ部、３０…監視システム、１０１…入力部、１０２…位置検出部、１０３…追跡処理部、１０４…判定部、１０５…追跡対象更新部、１０６…インタラクション認識部、１０７…出力制御部、１０８…記憶部、３０１…記録部、３０２…映像表示部、３０３…管理制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】