特許 7472964 人判定システムおよび人判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-15

(45)【発行日】2024-04-23

(54)【発明の名称】人判定システムおよび人判定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240416BHJP

   G06Q 50/04 20120101ALI20240416BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 660B

G06Q50/04

【請求項の数】 8

(21)【出願番号】P 2022503087

(86)(22)【出願日】2020-10-29

(86)【国際出願番号】 JP2020040637

(87)【国際公開番号】W WO2021171702

(87)【国際公開日】2021-09-02

【審査請求日】2023-06-27

(31)【優先権主張番号】P 2020032316

(32)【優先日】2020-02-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110000671

【氏名又は名称】ＩＢＣ一番町弁理士法人

(72)【発明者】

【氏名】松山 巨樹

(72)【発明者】

【氏名】加藤 高基

(72)【発明者】

【氏名】▲高▼橋 光一

(72)【発明者】

【氏名】▲高▼橋 芳幸

【審査官】小太刀 慶明

(56)【参考文献】

【文献】特開２０１４－２２９０６８（ＪＰ，Ａ）

【文献】特開２０１９－０８０１７７（ＪＰ，Ａ）

【文献】特開２００９－００５２３９（ＪＰ，Ａ）

【文献】特開２０１６－０８１２７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｑ ５０／０４

(57)【特許請求の範囲】

【請求項1】

製造現場を撮影するカメラと、
前記カメラからの動画像データから、人の部位の位置情報を取得する人部位位置情報取得部と、
前記動画像データの画像に前記人の在不在を判定するための在不在判定枠を設定する在不在判定枠設定部と、
前記人部位位置情報取得部によって取得された前記人の所定部位が前記在不在判定枠の内側に入っている場合に前記人が存在すると判定し、前記人の前記所定部位が前記在不在判定枠の内側に入っていない場合に前記人が不在であると判定する在不在判定部と、
前記在不在判定部によって前記人が存在すると判定された時から、前記人の各部位の位置情報があらかじめ決められた誤報検証時間以上変化しない場合に、前記在不在判定部の判定結果を誤報と判定する第１検証部、
前記在不在判定部によって前記人が不在であると判定された時から、前記所定部位の位置情報を得られ、かつ、前記所定部位以外の部位が第１所定割合以上前記在不在判定枠の内側に入っている状態が、あらかじめ決められた第１失報検証時間以上および第１失報検証頻度以上発生している場合に、前記在不在判定部の判定結果を失報の可能性ありと判定する第２検証部、および
前記在不在判定部によって前記人が不在であると判定された時から、前記所定部位の位置情報を得られず、かつ、前記所定部位以外の部位が第２所定割合以上前記在不在判定枠の内側に入っている状態が、あらかじめ決められた第２失報検証時間以上および第２失報検証頻度以上発生している場合に、前記在不在判定部の判定結果を失報の可能性ありと判定する第３検証部、よりなる群から選択された少なくとも１つの検証部と、を有する、人判定システム。

【請求項2】

前記人部位位置情報取得部は、機械学習による人姿勢推定技術により、前記人の部位の位置情報として、前記人の関節点の位置情報を取得する、請求項１に記載の人判定システム。

【請求項3】

前記検証部による判定の結果を出力する出力部を有する、請求項１または２に記載の人判定システム。

【請求項4】

前記第１検証部は、前記在不在判定部による在の判定結果を誤報と判定した場合に、前記在不在判定部による判定結果を不在に訂正する、請求項１～３のいずれか一つに記載の人判定システム。

【請求項5】

前記第２検証部が失報の可能性ありと判定した場合、または前記第３検証部が失報の可能性ありと判定した場合に、前記在不在判定部による不在の判定結果を在に訂正するための入力を受ける入力部を有する、請求項１～３のいずれか一つに記載の人判定システム。

【請求項6】

製造現場からの製品情報、作業の開始と終了、および設備の稼働状態を取得する設備稼働状態取得部と、
前記製品情報、前記作業の開始と終了、および前記設備の稼働状態とともに、請求項１～５のいずれか一つに記載の人判定システムから人の在不在の判定結果および検証部による検証結果を記録する生産情報記録部と、
を有する、生産実績システム。

【請求項7】

製造現場を撮影するカメラからの動画像データを取得する段階（ａ）と、
前記動画像データから、人の部位の位置情報を取得する段階（ｂ）と、
前記動画像データの画像に前記人の在不在判定する在不在判定枠を設定する段階（ｃ）と、
取得された前記人の所定部位が、前記在不在判定枠の内側に入っている場合に在と判定する段階（ｄ）と、
前記段階（ｄ）において、前記人が存在すると判定された時から、前記人の各部位の位置情報があらかじめ決められた誤報検証時間以上変化しない場合に、在不在判定部の判定結果を誤報と判定する第１検証段階、
前記段階（ｄ）において、前記人が不在であると判定された時から、前記所定部位の位置情報を得られていて、かつ、前記所定部位以外の部位が第１所定割合以上前記在不在判定枠の内側に入っている状態が、あらかじめ決められた第１失報検証時間以上および第１失報検証頻度以上発生している場合に、前記在不在判定部の判定結果を失報の可能性ありと判定する第２検証段階、および
前記段階（ｄ）において、前記人が不在であると判定された時から、前記所定部位の位置情報を得られず、かつ、前記所定部位以外の部位が第２所定割合以上前記在不在判定枠の内側に入っている状態が、あらかじめ決められた第２失報検証時間以上および第２失報検証頻度以上発生している場合に、前記在不在判定部の判定結果を失報の可能性ありと判定する第３検証段階、よりなる群から選択された、少なくとも１つの検証段階により判定結果を検証する段階（ｅ）と、
をコンピューターに実行させるための人判定プログラム。

【請求項8】

前記段階（ｂ）は、機械学習による人姿勢推定技術により、前記人の部位の位置情報として、前記人の関節点の位置情報を取得する、請求項７に記載の人判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人判定システムおよび人判定プログラムに関し、詳しくは、カメラにより人の在不在を判定する人判定システムおよび人判定プログラムに関する。

【背景技術】

【0002】

生産現場では、生産現場における情報収集の一つとして、人（作業者）の在不在を判定する人判定システムを用いている。

【0003】

従来の人判定システムとしては、たとえば、特許文献１では、カメラで作業者を撮影し、得られた動画像データから、作業着に付されるコード（識別マーク）、作業者の顔、身体的特徴などを識別して、作業者を認識する。

【0004】

また、特許文献２では、カメラで作業者を撮影し、作業エリアの人の入出を記録して作業時間を計測する。作業者の認識は、作業エリアの入出時の顔認識で人物を照合する。

【0005】

また、特許文献３では、作業者の身体状態を検出して、作業に対する評価値を算出する。作業者の身体状態は、カメラ動画像から関節点を検出し、簡易モデルを生成して、人を判定する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１８－０１０３６６号公報

【文献】特開２０１５－２２５６３０号公報

【文献】特開２０１７－６８４３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、従来技術では、人が不在であるにもかかわらず存在すると判定する誤報、人が存在しているにもかかわらず不在と判定する失報などに関して考慮されていない。

【0008】

本発明は、上記の事情に鑑みてなされたものであり、本発明の目的は、誤報や、失報の発生を低減させた人判定システムおよび人判定プログラムを提供することである。

【課題を解決するための手段】

【0009】

本発明の上記の目的は、下記の手段によって達成される。

【0010】

（１）製造現場を撮影するカメラと、
前記カメラからの動画像データから、人の部位の位置情報を取得する人部位位置情報取得部と、
前記動画像データの画像に前記人の在不在を判定するための在不在判定枠を設定する在不在判定枠設定部と、
前記人部位位置情報取得部によって取得された前記人の所定部位が前記在不在判定枠の内側に入っている場合に前記人が存在すると判定し、前記人の前記所定部位が前記在不在判定枠の内側に入っていない場合に前記人が不在であると判定する在不在判定部と、
前記在不在判定部によって前記人が存在すると判定された時から、前記人の各部位の位置情報があらかじめ決められた誤報検証時間以上変化しない場合に、前記在不在判定部の判定結果を誤報と判定する第１検証部、
前記在不在判定部によって前記人が不在であると判定された時から、前記所定部位の位置情報を得られ、かつ、前記所定部位以外の部位が第１所定割合以上前記在不在判定枠の内側に入っている状態が、あらかじめ決められた第１失報検証時間以上および第１失報検証頻度以上発生している場合に、前記在不在判定部の判定結果を失報の可能性ありと判定する第２検証部、および
前記在不在判定部によって前記人が不在であると判定された時から、前記所定部位の位置情報を得られず、かつ、前記所定部位以外の部位が第２所定割合以上前記在不在判定枠の内側に入っている状態が、あらかじめ決められた第２失報検証時間以上および第２失報検証頻度以上発生している場合に、前記在不在判定部の判定結果を失報の可能性ありと判定する第３検証部、よりなる群から選択された少なくとも１つの検証部と、を有する、人判定システム。

【0011】

（２）前記人部位位置情報取得部は、機械学習による人姿勢推定技術により、前記人の部位の位置情報として、前記人の関節点の位置情報を取得する、上記（１）に記載の人判定システム。

【0012】

（３）前記検証部による判定の結果を出力する出力部を有する、上記（１）または（２）に記載の人判定システム。

【0013】

（４）前記第１検証部は、前記在不在判定部による在の判定結果を誤報と判定した場合に、前記在不在判定部による判定結果を不在に訂正する、上記（１）～（３）のいずれか一つに記載の人判定システム。

【0014】

（５）前記第２検証部が失報の可能性ありと判定した場合、または前記第３検証部が失報の可能性ありと判定した場合に、前記在不在判定部による不在の判定結果を在に訂正するための入力を受ける入力部を有する、上記（１）～（３）のいずれか一つに記載の人判定システム。

【0015】

（６）製造現場からの製品情報、作業の開始と終了、および設備の稼働状態を取得する設備稼働状態取得部と、
前記製品情報、前記作業の開始と終了、および前記設備の稼働状態とともに、上記（１）～（５）のいずれか一つに記載の人判定システムから人の在不在の判定結果および検証部による検証結果を記録する生産情報記録部と、
を有する、生産実績システム。

【0016】

（７）製造現場を撮影するカメラからの動画像データを取得する段階（ａ）と、
前記動画像データから、人の部位の位置情報を取得する段階（ｂ）と、
前記動画像データの画像に前記人の在不在判定する在不在判定枠を設定する段階（ｃ）と、
取得された前記人の所定部位が、前記在不在判定枠の内側に入っている場合に在と判定する段階（ｄ）と、
前記段階（ｄ）において、前記人が存在すると判定された時から、前記人の各部位の位置情報があらかじめ決められた誤報検証時間以上変化しない場合に、在不在判定部の判定結果を誤報と判定する第１検証段階、
前記段階（ｄ）において、前記人が不在であると判定された時から、前記所定部位の位置情報を得られていて、かつ、前記所定部位以外の部位が第１所定割合以上前記在不在判定枠の内側に入っている状態が、あらかじめ決められた第１失報検証時間以上および第１失報検証頻度以上発生している場合に、前記在不在判定部の判定結果を失報の可能性ありと判定する第２検証段階、および
前記段階（ｄ）において、前記人が不在であると判定された時から、前記所定部位の位置情報を得られず、かつ、前記所定部位以外の部位が第２所定割合以上前記在不在判定枠の内側に入っている状態が、あらかじめ決められた第２失報検証時間以上および第２失報検証頻度以上発生している場合に、前記在不在判定部の判定結果を失報の可能性ありと判定する第３検証段階、よりなる群から選択された、少なくとも１つの検証段階により判定結果を検証する段階（ｅ）と、
をコンピューターに実行させるための人判定プログラム。

【0017】

（８）前記段階（ｂ）は、機械学習による人姿勢推定技術により、前記人の部位の位置情報として、前記人の関節点の位置情報を取得する、上記（７）に記載の人判定プログラム。

【発明の効果】

【0018】

本発明では、人の在不在の判定結果に誤報および／または失報がないか検証するので、誤報や失報の発生を低減することができる。

【図面の簡単な説明】

【0019】

【図1】実施形態の人判定システムの機能構成を説明するための説明図である。

【図2】サーバーとして使用されるコンピューターの構成を示すブロック図である。

【図3】正常な判定事例を説明するための説明図である。

【図4】誤報の事例を説明するための説明図である。

【図5】在不在判定枠の設定不良による失報の事例を説明するための説明図である。

【図6】人の認識不良による失報の事例を説明するための説明図である。

【図7】人の認識不良による失報の事例を説明するための説明図である。

【図8】在不在判定、誤報、および失報を判定する処理手順を示すフローチャートである。

【図9】図８に続く、在不在判定、誤報、および失報を判定する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0020】

以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0021】

図１は、実施形態の人判定システムの機能構成を説明するための説明図である。

【0022】

人判定システム１は、サーバー１００、サーバー１００に接続されたカメラ１１５、およびサーバー１００に接続された端末１２０を有する。

【0023】

サーバー１００は、コンピューターである。図２は、サーバー１００として使用されるコンピューターの構成を示すブロック図である。

【0024】

サーバー１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０、ストレージ４０、通信インターフェース５０、および操作表示部６０を有する。これらは、バス７０を介して相互に通信可能に接続されている。

【0025】

ＣＰＵ１０は、ＲＯＭ２０やストレージ４０に記録されているプログラムにしたがって、上記各構成の制御や各種の演算処理を行う。本実施形態では、後述する処理手順に基づく人判定の処理を実行する。

【0026】

ＲＯＭ２０は、各種プログラムや各種データを格納する。

【0027】

ＲＡＭ３０は、作業領域として一時的にプログラムやデータを記憶する。

【0028】

ストレージ４０は、オペレーティングシステムを含む各種プログラムや、各種データを格納する。たとえば、ストレージ４０には、他の装置との間で各種情報を送受信したり、各種情報に基づいて出力する情報を決定したりするためのアプリケーションがインストールされる。また、ストレージ４０には、人判定の処理のための各部の機能を実現させるためのプログラムが記憶される。また、ストレージ４０には、後述するような機械学習による学習済みモデル等が記憶されてもよい。また、ストレージ４０は、後述する動画像記録部および生産情報記録部として、各種データを記録（記憶）する。

【0029】

通信インターフェース５０は、他の装置と通信するためのインターフェースである。通信インターフェース５０としては、有線または無線の各種規格が用いられる。通信インターフェース５０は、設備１５０およびカメラ１１５との通信に用いられる。通信インターフェース５０は、後述する入出力部として、端末１２０との通信に用いられる。

【0030】

通信インターフェース５０は、たとえば、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信インターフェースなどの各種ローカル接続インターフェースなどである。また、インターフェースは、設備１５０およびカメラ１１５とローカルなアナログ接続を行うための回線でもよい。また、インターフェースは、端末１２０と接続するために、無線ＬＡＮ（ＷｉＦｉ）や携帯電話回線でもよい。

【0031】

操作表示部６０は、たとえば、ディスプレイと、キーボードおよびポインティングデバイス、またはタッチパネル付きディスプレイなどであり、各種情報を表示するとともに、ユーザーからの各種入力を受け付ける。

【0032】

端末１２０（図１参照）は、コンピューターである。端末１２０としては、たとえば、パーソナルコンピューター（ＰＣ）、タブレット、スマートフォンなどが利用される。これらは、作業者や管理者、その他の関係者を含めて、端末１２０を利用して各種入力を行う人が使用するコンピューターである。これらの端末１２０は、キーボード、マウス、タッチパネルなどの入力装置、ディスプレイなどの出力装置を有する。以下、作業者や管理者、その他の関係者を含めて端末１２０を利用して各種入力を行う人をシステム利用者と称する。

【0033】

カメラ１１５は、たとえば、一般的なカラームービーカメラであり、動画像データ（映像データ）をサーバー１００へ出力する。カメラ１１５は、撮影範囲１１６として、設備１５０と、設備１５０に対して作業を行う作業者（人５００）とを撮影できる位置に設置される（図１参照）。

【0034】

図１を参照して、サーバーの機能を説明する。

【0035】

サーバー１００は、その機能として、動画像記録部１０１、人部位位置情報取得部１０２、在不在判定枠設定部１０３、在不在判定部１０４、第１検証部１０５、第２検証部１０６、第３検証部１０７、設備稼働状態取得部１０８、生産情報記録部１０９、および入出力部１１０を有する。

【0036】

動画像記録部１０１は、カメラ１１５からの動画像データを記録する。動画像記録部１０１は、たとえば、サーバー１００内のストレージ４０である。

【0037】

人部位位置情報取得部１０２は、動画像データから作業者の部位情報を取得する。本実施形態では、カメラ１１５からの動画像データは、いったん動画像記録部１０１で記録する。人部位位置情報取得部１０２は、動画像記録部１０１から動画像データを読み出して部位情報を取得する。

【0038】

人の部位情報の取得には、機械学習を利用した人姿勢推定技術を用いることができる。人姿勢推定技術は、たとえば、オープンポーズ（Ｏｐｅｎ Ｐｏｓｅ（https://github.com/CMU-Perceptual-Computing-Lab/openpose など参照））、ディープポーズ（Ｄｅｅｐ Ｐｏｓｅ（https://www.slideshare.net/mitmul/deeppose-human-pose-estimation-via-deep-neural-networks など参照））など２次元の動画像データから人の骨格および関節点の位置を推定して姿勢を認識する技術である。

【0039】

これらの技術では、人を構成する骨格、たとえば、頭、首、肩、両腕、腰、両足などが認識され、さらにそれらの接続部や端部である関節点の位置情報として、座標値が得られる。

【0040】

人姿勢推定技術は、２次元の動画像データから人の姿勢を認識できる。したがって、カメラ１１５としては、一般的なムービーカメラを用いることができ、システムの構成が簡単になる。

【0041】

在不在判定枠設定部１０３は、動画像データの画像内に人の在不在判定する枠を設定する。在不在判定枠（以下単に判定枠という）は、たとえば、動画像データの画像に２次元座標を設定し、この２次元座標内に判定枠の座標値が設定される（詳細後述）。判定枠は、たとえば、システム利用者によって任意に設定される。

【0042】

在不在判定部１０４は、人部位位置情報取得部１０２によって取得された人の所定部位が、判定枠の内側に入っている場合に、人が存在すると判定し、所定部位が判定枠の内側に入っていなければ、人が不在であると判定する。以下では、人が存在するとの判定結果を在、人が存在しないとの判定結果を不在とする。

【0043】

在不在を判定するための人の所定部位は、たとえば、頭、肩、腰など人の要部の関節点または骨格などである。関節点および骨格は、前述したオープンポーズ、ディープポーズなどによって得られる。在不在判定部１０４は、人の所定部位として設定された関節点や骨格の座標値が判定枠の座標値の範囲内であれば、在と判定する。

【0044】

第１検証部１０５は、在不在判定部１０４による在判定が誤報か否かを検証する。ここで誤報とは、人が不在であるにもかかわらず、判定結果が在となった場合である。第１検証部１０５は、在不在判定部１０４によって人が存在すると判定された時から、人の各部位の位置情報が誤報検証時間以上変化しない場合に、誤報と判定する。誤報検証時間は、あらかじめ決められた時間である。

【0045】

第１検証部１０５は、在不在判定部１０４によって判定された動画像データを監視する。第１検証部１０５は、動画像データの時系列に流れるフレーム間において、所定部位および所定部位以外の各部位の位置が変化していないか否かを検証する。誤報検証時間は、たとえば、３０秒程度である。人は、静止していても、ある程度動くのが普通であり、３０秒間、人の各部が全く位置変化しないということは、通常ありえない。そこで、この程度の時間以上、人の各部が全く位置変化していなければ誤報と判定する。もちろん、誤報検証時間は任意に設定可能であり、たとえば、人の動きがきわめて少ない現場では、３０秒よりもさらに長い時間としてもよい。逆に、誤報検証時間は３０秒より短い時間としてもよい。

【0046】

第１検証部１０５は、誤報と判定した場合、在不在判定部１０４による判定結果を在から不在に訂正する。また、第１検証部１０５は、入出力部１１０を介して、誤報の発生を端末１２０へ出力するとともに、在から不在へ訂正したことも出力する。これにより、端末１２０では、誤報の発生と、在から不在へ訂正されたことが表示される。なお、端末１２０では、誤報の表示だけでなく警告音を出すようにしてもよい。また、在から不在への訂正は、第１検証部１０５が自動で行うのではなく、システム利用者が端末１２０の表示を確認したうえで、システム利用者からの指示に基づいて訂正されるようにしてもよい。

【0047】

第２検証部１０６は、在不在判定部１０４による不在判定が失報か否かを判定する。ここで失報とは、人が存在するにもかかわらず、判定結果が在とならない場合である。

【0048】

第２検証部１０６は、在不在判定部１０４によって人が不在であると判定された時から、所定部位の位置情報を得られ、かつ、所定部位以外の部位が第１所定割合以上判定枠の内側に入っている状態が、第１失報検証時間以上および第１失報検証頻度以上発生している場合に、失報の可能性ありと判定する。第１失報検証時間は、あらかじめ決められた時間である。第１失報検証頻度は、あらかじめ決められた頻度である。

【0049】

第２検証部１０６は、在不在判定部１０４によって判定された動画像データを監視する。第２検証部１０６は、動画像データの中で所定部位が認識されているか否かを検証する。第２検証部１０６は、動画像データにおいて、所定部位以外の各部位が判定枠の内側に第１所定割合以上入っているか否かを検証する。そして、第２検証部１０６は、動画像データの時系列に流れるフレーム間において、所定部位以外の部位が第１所定割合以上判定枠の内側に入っていて、かつ、所定部位の情報を得られている状態の続いている時間、およびその頻度を計測する。第２検証部１０６は、計測の結果、所定部位の情報を得られていて、所定部位以外の部位が第１所定割合以上判定枠の内側に入っている状態の続いている時間、およびその頻度が第１失報検証時間以上および第１失報検証頻度以上の場合に失報の可能性ありと判定する。

【0050】

このように、第２検証部１０６は、所定部位以外は判定枠内で認識されているが、所定部位が判定枠からはみ出ているため不在と判定された結果を失報と判定する。

【0051】

第１所定割合は、実際には人が存在すると判定するための基準となる。第１所定割合は、たとえば、６０％とする。第１所定割合は、大きな値にすることで、判定枠内に人の部位がより多く入っている場合に失報と判定される。逆に、第１所定割合は、小さな値にすることで、判定枠内に人の部位が少しでも入っている場合に失報と判定される。したがって、本実施形態では、第１所定割合の値を大きくすれば失報と判定されにくくなり、第１所定割合の値を小さくすれば失報と判定されやすくなる。

【0052】

第１失報検証時間は、たとえば、直近２４時間で合計３０分以上とする。また、第１失報検証頻度は、このような状態が、発生した回数である。第１失報検証頻度は、たとえば、５回とする。このような第１所定割合、第１失報検証時間および頻度以上の場合に失報の可能性ありと判定される。なお、第１所定割合、第１失報検証時間および頻度は任意に設定可能である。

【0053】

第２検証部１０６は、失報の可能性ありと判定した場合、入出力部１１０を介して、失報の発生を端末１２０へ出力する。

【0054】

第２検証部１０６によって失報と判定された場合は、本来、人が存在すると判定されなければならないにもかかわらず、不在と判定されてしまったものである。これは、たとえば、判定枠の設定位置が悪い可能性がある。そのような場合は、判定枠を広げたり、判定枠の位置を変えたりすることで、失報を防止または少なくすることができる。

【0055】

そこで、第２検証部１０６は、端末１２０へ、失報の警告とともに、判定枠の見直しを促すことを出力することが好ましい。端末１２０では、失報があったことと判定枠の変更を促す表示が行われる。端末１２０を見たシステム利用者は、判定枠の大きさや位置を変更して、失報を防止または少なくすることができる。

【0056】

また、システム利用者は、端末１２０の表示を確認したうえで、失報時の状態を必要に応じて不在から在に訂正してもよい。訂正内容は、端末１２０から入力されて生産情報記録部１０９で記録される。なお、端末１２０では、失報の表示だけでなく警告音を出すようにしてもよい。

【0057】

第３検証部１０７は、第２検証部１０６同様に、在不在判定部１０４による不在判定が失報か否かを判定する。第３検証部１０７は、在不在判定部１０４によって人が不在であると判定された時から、所定部位の位置情報を得られず、かつ、所定部位以外の部位が第２所定割合以上判定枠の内側に入っている状態が、第２失報検証時間以上および第２失報検証頻度以上発生している場合に、在不在判定部１０４の判定結果を失報の可能性ありと判定する。第２失報検証時間および第２失報検証頻度は、いずれも、あらかじめ決められた時間および頻度である。

【0058】

第３検証部１０７は、在不在判定部１０４によって判定された動画像データを監視する。第３検証部１０７は、動画像データの中で所定部位が認識されているか否かを検証する。第３検証部１０７は、動画像データにおいて、所定部位以外の各部位が判定枠の内側に第２所定割合以上入っているか否かを検証する。そして、第３検証部１０７は、動画像データの時系列に流れるフレーム間において、所定部位以外の部位が第２所定割合以上判定枠の内側に入っていて、かつ、所定部位の情報を得られていない状態の続いている時間、およびその頻度を計測する。第３検証部１０７は、計測の結果、所定部位の情報を得られず、所定部位以外の部位が第２所定割合以上判定枠の内側に入っている状態の続いている時間、およびその頻度が第２失報検証時間以上および第２失報検証頻度以上の場合に失報の可能性ありと判定する。

【0059】

このように、第３検証部１０７は、所定部位以外は認識されているが、所定部位が認識できないために不在と判定された結果を失報と判定する。

【0060】

第２所定割合は、第１所定割合と同様であり、実際には人が存在すると判定するための基準となる。第２所定割合は、たとえば、６０％とする。

【0061】

第２失報検証時間は、たとえば、直近２４時間で合計３０分以上とする。また、第２失報検証頻度は、このような状態が、発生した回数である。第２失報検証頻度は、たとえば、５回とする。このような第２所定割合、第２失報検証時間および頻度以上の場合に失報の可能性ありと判定される。なお、第２所定割合、第２失報検証時間および頻度は任意に設定可能である。

【0062】

第３検証部１０７は、失報の可能性ありと判定した場合、入出力部１１０を介して、失報の発生を端末１２０へ出力する。

【0063】

このような失報が判定された場合は、人がカメラ１１５の死角に入り見えない位置にいるか、または所定部位が認識されない場合である。これは、たとえば、カメラ１１５の設置位置が悪い可能性がある。そのような場合は、カメラ１１５の設置位置を見直して、設置位置を変えることで、失報を防止または少なくすることができる。

【0064】

そこで、第３検証部１０７は、端末１２０へ、失報の警告とともに、人の一部が認識できない状態であることを出力することが好ましい。端末１２０では、失報があったことと人の一部が認識できない状態であることが表示される。端末１２０を見たシステム利用者は、画像を確認することで、人が存在するか判断できる。端末１２０を見たシステム利用者は、カメラ１１５の設置位置を見直すことができる。

【0065】

また、システム利用者は、端末１２０の表示を確認したうえで、失報時の状態を必要に応じて不在から在に訂正してもよい。訂正内容は、端末１２０から入力されて生産情報記録部１０９で記録される。また、システム利用者は、認識不良による失報の可能性が知らされることで、たとえば、カメラ位置の調整などを行うことができる。なお、端末１２０では、失報の表示だけでなく警告音を出すようにしてもよい。

【0066】

設備稼働状態取得部１０８は、設備１５０の稼働状態を取得する。設備１５０の稼働状態は、たとえば、生産のための正常な運転による稼働、加工が完了して停止した完了停止、異常が発生したときの異常停止、および設備１５０を使用しない停止である。

【0067】

設備稼働状態取得部１０８は、たとえは、設備１５０に備え付けられている積層信号灯１５１の発光色を検出したり、そのためのスイッチング信号を検出したり、また、設備１５０が出力する稼働状態を示す信号を取得したりして、設備１５０の稼働状態を取得する。設備１５０の稼働状態としては、たとえば、設備１５０の稼働時間、稼働停止時間などが記録される。

【0068】

発光色やスイッチング信号を検出する場合は、それらを検出する専用のセンサー（不図示）が用いられる。設備稼働状態取得部１０８は、発光色やスイッチング信号を検出するセンサーと接続される。

【0069】

また、設備１５０の稼働状態は、カメラ１１５によって撮影された動画像データの中の積層信号灯１５１の発光色から取得してもよい。カメラ１１５の動画像データから設備１５０の稼働状態を検出する場合は、撮影範囲１１６に積層信号灯１５１を含むように設置する。

【0070】

積層信号灯１５１は、３色積層灯、シグナルタワーなどとも称されており、その多くは、緑色、黄色、赤色の３色のランプが設備１５０の稼働状態に合わせて発光する。積層信号灯１５１は、通常、正常稼働中は緑色、生産完了による停止中は黄色、異常発生時には赤色となる。

【0071】

なお、積層信号灯１５１は、３色とは限らず、２色の積層信号灯１５１、１色の積層信号灯１５１などの場合でも適用可能である。

【0072】

また、設備稼働状態取得部１０８は、設備１５０の稼働状態に加えて、製造現場で製造される製品情報、作業の開始および終了の入力なども取得する。

【0073】

生産情報記録部１０９は、設備稼働状態取得部１０８によって取得された設備１５０の稼働状態、製品情報、作業の開始および終了などとともに、人の在不在を在不在判定部１０４から取得して生産実績データとして記録する。生産実績データは、ストレージ４０に記憶される。また、生産情報記録部１０９は、第１検証部１０５、第２検証部１０６、および第３検証部１０７によって誤報または失報が出力された場合は、それらを稼働状態などと一緒に記録する。もちろん、誤報または失報が出力されていなければ、生産情報記録部１０９は、在または不在を稼働状態などとともに記録するだけである。また、誤報または失報が出力されたのち、在または不在が訂正された場合、生産情報記録部１０９は、訂正された内容となるように、記録された生産実績データを書き換える。

【0074】

本実施形態は、設備稼働状態取得部１０８および生産情報記録部１０９を備えることで、人判定システム１としてだけでなく、生産実績システムとしても提供される。

【0075】

入出力部１１０は、すでに一部説明したように、端末１２０に対して在不在判定による判定結果、第１検証部１０５、第２検証部１０６、および第３検証部１０７による検証結果を出力する出力部となる。また、入出力部１１０は、端末１２０から入力された誤報および失報時の訂正、また、判定枠の設定や調整などの指示が入力される入力部となる。また、入出力部１１０は、端末１２０から入力されたシステム利用者からのリクエストに応じて、動画像データの出力、設備稼働状態など記録された生産実績データの出力なども行う。

【0076】

次に、在不在判定の結果と誤報、および失報の事例を説明する。

【0077】

まず、正常な判定事例を説明する。

【0078】

図３は、正常な判定事例を説明するための説明図である。図３には、端末１２０のディスプレイに、動画像データの１フレームの画像が映し出された状態を示している。画像内には、設備１５０、製造現場内の物体１５５などとともに作業者である人５００～５０２が映っている。製造現場内の物体１５５は、たとえば、作業机、ツールや部品ワゴン、ワーク搬入台車、そのほかの物品などである。

【0079】

画像において、人５００～５０２は、オープンポーズやディープポーズによって得られた骨格によって描かれる。

【0080】

人５００を例に骨格および関節点を説明する。図３に示すように、太線は骨格５５１～５５３を示す。また、骨格と骨格を接続する部位および骨格の端（図中丸で囲った部分）は関節点５５４～５５６である。また、頭５５０も関節点の一つである。他の図においても同様であるので、説明および一部の符号は省略する。本実施形態において関節点の位置は、人体の解剖学上の関節の位置におおむね一致するものの、正確には、すでに説明したオープンポーズやディープポーズによって得られた骨格と骨格の接続位置または骨格の端となる。

【0081】

本実施形態では、人を判定するための所定部位は、骨格の上端となる頭５５０とした。

【0082】

また、画像には、判定枠２５０および２５１が設定されている。判定枠２５１は、設備前にいる人を判定するための枠である。判定枠２５１は設備１５０への物品搬入経路にいる人を判定するための枠である。本実施形態では、一つの判定枠を二重にしている。判定枠２５０については、内側判定枠２５０ａと外側判定枠２５０ｂである。判定枠を二重にした理由は、たとえば、内側判定枠２５０ａは、対象物の近くに存在することを判定し、外側判定枠２５０ｂは、内側判定枠２５０ａよりは遠いが、対象物の近傍にいることを判定する。他の判定枠についても同様であるので、説明および図示符号は省略する。もちろん、判定枠は、一重であってもよい。

【0083】

判定枠２５０および２５１は、たとえば、各枠の頂点（図３中の点線丸印２５５）の座標値を設定する。判定枠２５０および２５１の設定は、インタラクティブに設定可能とすることが好ましい。具体的には、たとえば、ポインティングデバイスを用いて、画面に表示された枠の辺や頂点をドラッグして枠の大きさを変形させ、その時の頂点の座標値を取得し、判定枠として設定されるようにする。設定された判定枠２５０および２５１の座標値はストレージ４０に記憶される。

【0084】

正常な判定においては、図３に示すように、人５００～５０２は、いずれも所定部位である頭５５０が判定枠２５０または２５１内に入っている。

【0085】

次に誤報の事例を説明する。

【0086】

図４は、誤報の事例を説明するための説明図である。図４に示した画像内には、判定枠２５１内に人５０３が映っている。したがって、この事例では、人５０３が存在する判定となる。しかし、この事例は、背景にある静止した物体１５６が人５０３の骨格として認識されたために、人５０３と判定されたものである。したがって、この人５０３の判定は、誤報となる。

【0087】

この事例では、静止した物体１５６が人５０３の骨格として認識される。したがって、人５０３として認識された各部位は全く位置が変化しない。このため、人５０３が存在するとの判定結果は、第１検証部１０５により誤報と判定される。

【0088】

次に失報の事例を説明する。この事例は、判定枠の設定不良による失報の場合である。

【0089】

図５は、在不在判定枠の設定不良による失報の事例を説明するための説明図である。図５に示した画像内には、判定枠２５１の枠線をまたぐようにして人５０４が映っている。しかも、人５０４の頭５５０は認識されているものの、判定枠２５１の外に出ている。一方、人５０４の他の部位は、判定枠２５１の中に６０％以上入っている。したがって、この事例では、人５０４を判定するための所定部位である頭５５０が、判定枠２５１の外なので、不在と判定される。しかし、この事例では、所定部位である頭５５０が認識され、かつ頭５５０以外の部位が、第１所定割合である６０％以上判定枠２５１の中にある。第２検証部１０６はこの状態が続く時間と頻度を計測し、設定された第１失報所定時間および頻度以上となっている場合は、失報の可能性ありと判定する。

【0090】

他の失報の事例を説明する。この事例は、人の認識不良による失報の場合である。

【0091】

図６は、人の認識不良による失報の事例を説明するための説明図である。図６に示した画像内には、設備１５０の陰に人５０５の頭部分が隠れている。このような場合、所定部位である頭部分が隠れているため不在と判定される。しかし、この事例は、人５０５の頭以外の部位が、判定枠２５１の中に６０％以上入っている。第３検証部１０７はこの状態が続く時間と頻度を計測し、設定された第２失報検証時間および頻度以上となっている場合は、失報の可能性ありと判定する。

【0092】

さらに他の失報の事例を説明する。この事例は、人の認識不良による失報の場合である。

【0093】

図７は、人の認識不良による失報の事例を説明するための説明図である。図７に示した画像内には、人５０６の外形が映っているものの、頭部分の骨格が認識されていない。頭以外の骨格５５１は認識されている。これは、図７に示すように、頭部分が人の背後にある物体１５７の模様と同化して認識できなかったと推定される。この事例では、所定部位である頭部分が認識されていないので、不在と判定される。しかし、この事例では、人５０５の頭以外の部位が認識され、判定枠２５１の中に６０％以上入っている。第３検証部１０７はこの状態が続く時間と頻度を計測し、設定された第２失報検証時間および頻度以上となっている場合は、失報の可能性ありと判定する。

【0094】

次に、在不在判定、誤報、および失報を判定する処理手順について説明する。図８および図９は、在不在判定、誤報、および失報を判定する処理手順を示すフローチャートである。サーバー１００は、この処理手順に基づき作成されたプログラムを実行することで、すでに説明した各部の機能が実施される。

【0095】

まず、サーバー１００は、カメラ１１５から動画像データを取得する（Ｓ１０１）。

【0096】

続いて、サーバー１００は、動画像データを解析する（Ｓ１０２）。

【0097】

引き続き、サーバー１００は、解析の結果、人の部位が抽出されたか否かを判定する（Ｓ１０３）。人の部位が抽出された場合（Ｓ１０３：ＹＥＳ）、サーバー１００は、人の各部位の関節点の座標値を取得する（Ｓ１０４）。Ｓ１０２～Ｓ１０４の処理は、人部位位置情報取得部１０２の機能となる。

【0098】

一方、人の部位が抽出されなかった場合（Ｓ１０３：ＮＯ）、サーバー１００は、判定枠との対比以前に、動画像データ内に人の部位が存在しないため、不在と判定する（Ｓ１１０）。判定結果は、ストレージ４０に設備１５０の稼働状態とともに記憶される。以下、判定結果は同様に記憶される。

【0099】

続いて、サーバー１００は、在不在判定に用いる所定部位が判定枠の内側にあるか否かを判定する（Ｓ１０５）。この判定の処理は、Ｓ１０４で取得した各部位の座標値のうち、所定部位の座標値が判定枠の座標値の内側にあるか否かにより判定される。所定部位が判定枠の内側にある場合（Ｓ１０５：ＹＥＳ）、サーバー１００は、在と判定する（Ｓ１０６）。一方、所定部位が判定枠の内側ではない場合（Ｓ１０５：ＮＯ）、サーバー１００は、不在と判定する（Ｓ１１１、図９参照）。Ｓ１０５、Ｓ１０６、Ｓ１１０、およびＳ１１１の処理は、在不在判定部１０４の機能となる。

【0100】

Ｓ１０６に続いて、サーバー１００は、各部位の位置情報（座標値）が所定時間以上変化しないか判定する（Ｓ１０７）。

【0101】

各部位の位置情報が所定時間以上変化しない場合（Ｓ１０７：ＹＥＳ）、サーバー１００は、Ｓ１０６の判定結果を誤報と判定する（Ｓ１０８）。続いて、サーバー１００は在の判定結果を不在に訂正する（Ｓ１０９）。その後、システムの停止指示があれば（Ｓ２００：ＹＥＳ）、サーバー１００は、処理を終了する。停止指示がなければ（Ｓ２００：ＮＯ）、サーバー１００はＳ１０１へ戻り処理を継続する。

【0102】

一方、各部位の位置情報が所定時間内に変化した場合（Ｓ１０７：ＮＯ）、サーバー１００は、Ｓ２００へ処理を進める。Ｓ１０７～Ｓ１０９の処理は、第１検証段階であり、第１検証部１０５の機能となる。

【0103】

Ｓ１１１に続いて、サーバー１００は、所定部位以外の部位が所定割合以上判定枠の内側に入っているか否かを判定する（Ｓ１１２）。この処理も、Ｓ１０４で取得した各部位の座標値が判定枠の座標値の内側にあるか否かにより判定される。なお、この処理手順では、第１所定割合も第２所定割合も、同じ値として一つのステップで判定することとした。しかし、所定割合は第２検証部（第２検証段階）と第３検証部（第３検証段階）とで異なる値としてもよい。

【0104】

所定部位以外の部位が所定割合以上判定枠の内側に入っていない場合（Ｓ１１２：ＮＯ）、サーバー１００は、ステップをＳ２００へ進める。

【0105】

一方、所定部位以外の部位が所定割合以上判定枠の内側に入っている場合（Ｓ１１２：ＹＥＳ）、サーバー１００は、所定部位の位置情報があるか否かを判定する（Ｓ１１３）。ここでの所定部位の位置情報とは、Ｓ１０４で取得された各部位の座標値のうち、所定部位の座標値である。

【0106】

所定部位の位置情報がある場合（Ｓ１１３：ＹＥＳ）、サーバー１００は、そのような状態が第１失報検証時間および頻度以上発生しているか否かを判定する（Ｓ１１４）。なお、図においては、第１検証時間および頻度と記載した。

【0107】

第１失報検証時間および頻度以上発生している場合、サーバー１００は、不在の判定結果が失報の可能性があると判定する（Ｓ１１５）。ここでの失報の可能性は、枠設定不良の可能性である。続いて、サーバー１００は、失報の可能性があることを端末１２０に端末１２０へ出力させる（Ｓ１１６）。さらに、サーバー１００は、不在の判定結果を在に訂正する入力があれば、記録を訂正する（Ｓ１１７）。一方、第１失報検証時間および頻度以上発生していない場合、サーバー１００は、ステップをＳ２００へ進める。Ｓ１１２～Ｓ１１７までの処理は、第２検証段階であり、第２検証部１０６の機能となる。

【0108】

所定部位の位置情報がない場合（Ｓ１１３：ＮＯ）、サーバー１００は、そのような状態が第２失報検証時間および頻度以上発生しているか否かを判定する（Ｓ１１８）。なお、図においては、第２検証時間および頻度と記載した。

【0109】

第２失報検証時間および頻度以上発生している場合、サーバー１００は、不在の判定結果が失報の可能性があると判定する（Ｓ１１９）。ここでの失報の可能性は、認識不良の可能性である。続いて、サーバー１００は、失報の可能性があることを端末１２０に端末１２０へ出力させる（Ｓ１２０）。さらに、サーバー１００は、不在の判定結果を在に訂正する入力があれば、記録を訂正する（Ｓ１２１）。一方、第２失報検証時間および頻度以上発生していない場合、サーバー１００は、ステップをＳ２００へ進める。Ｓ１１２、Ｓ１１８～Ｓ１２１までの処理は、第３検証段階であり、第３検証部１０７の機能となる。

【0110】

以上の各処理によって、サーバー１００は、在不在を判定し、その判定結果に誤報や失報がないか検証する。

【0111】

以上説明した本実施形態によれば、以下のような効果を奏する。

【0112】

本実施形態では、人の各部位の位置情報が所定の時間以上変化しない場合に、一度「在」として判定したものを誤報として認識する。また、誤報の場合は、「在」の判定結果を「不在」に訂正する。これにより、本実施形態では、誤報の発生を低減することができる。

【0113】

また、本実施形態では、在不在判定に利用する所定部位は認識されているものの判定枠外にある場合、判定枠内に、所定部位以外の部位が第１所定割合以上入っている状態が、第１失報検証時間および頻度以上発生している場合に、失報の可能性があると判定する。これにより、本実施形態では、実際には人がいるにもかかわらず、人の在不在判定結果が「不在」となるような失報の発生を低減することができる。また、このような失報の可能性を出力することで、システム利用者に、判定枠の設定不良の可能性などを注意喚起することができる。システム利用者は、注意喚起を受けて、判定枠の位置を変更したり、生産実績のデータを修正したりできる。

【0114】

また、本実施形態では、在不在判定に利用する所定部位は認識されていないものの、判定枠内に、所定部位以外の部位が第２所定割合以上入っている状態が、第２失報検証時間および頻度以上発生している場合に、失報の可能性があると判定する。これにより、本実施形態では、たとえば、人が、装置や障害物に隠れるなど、カメラ１１５の死角にいる場合や、背景と同化したりした場合に、人の在不在判定結果が「不在」となるような失報の発生を低減することができる。また、このような失報の可能性を出力することで、システム利用者に、注意喚起することができる。システム利用者は、注意喚起を受けて、カメラ位置の調整や変更を行うことができ、また、生産実績のデータを修正できる。

【0115】

以上本発明の実施形態を説明したが、様々な変形が可能である。

【0116】

実施形態は、人判定システム１に設備稼働状態取得部１０８および生産情報記録部１０９を備えることで、生産実績システムとしても提供できるようにした。しかし、実施形態としては、設備稼働状態取得部１０８および生産情報記録部１０９を備えない人判定システム１として提供されてもよい。

【0117】

また、実施形態では、人判定システム１として、誤報を検証する第１検証部１０５、失報を検証する第２検証部１０６および第３検証部１０７と、３つの検証部を設けた。しかし、実施形態としては、誤報を検証するために第１検証部１０５だけ設けてもよい。同様に第２検証部１０６だけ設けてもよいし、第３検証部１０７だけ設けてもよい。また、３つの検証部のうちいずれか２つを組み合わせて設けてもよい。

【0118】

実施形態は、サーバー１００の機能として説明したが、このサーバー１００の機能は、小型のコンピューターに実施させることができる。たとえば、ボードＰＣなどをカメラ１１５に組み込んで、またはカメラ１１５と一体化させて、カメラ１１５内で、実施形態として説明した各機能を実行させてもよい。このようにすることで、実施形態は、カメラ１１５の設置だけで実施できる。

【0119】

また、サーバー１００としては、インターネット上のクラウドサーバーを利用してもよい。クラウドサーバーを利用する場合は、設備１５０およびカメラ１１５に、インターネット接続可能なインターフェースを設け、クラウドサーバーへ、設備１５０の稼働状態およびカメラ１１５の動画像データを送信する。設備１５０およびカメラ１１５と、インターネットとの接続は、無線接続でも、有線接続でもよい。クラウドサーバーを利用する場合は、設備１５０にインターネット接続用のインターフェースを取り付けるだけで、カメラ１１５は既存のインターネット接続可能なウェブカメラが利用できるので、初期投資を抑えることができる。

【0120】

そのほか、実施形態の説明の中で使用した条件や数値などはあくまでも説明のためのものであり、本発明がこれら条件や数値に限定されるものではない。

【0121】

また、本発明は、特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。

【0122】

本発明に係る人判定プログラムは、専用のハードウェア回路によって実現することも可能である。また、この人判定プログラムは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などのコンピューター読み取り可能な記録媒体によって提供したり、記録媒体によらず、インターネットなどのネットワークを介してオンラインで提供したりすることも可能である。オンラインで提供される場合、この判定基準生成プログラムおよび判定プログラムは、ネットワークに接続されたコンピューター内の磁気ディスクなどの記録媒体に記録される。

【0123】

また、本発明に係る人判定プログラムは、それぞれ単独のアプリケーションソフトウェアとして提供したり、一機能として別のソフトウェアに組み込んで提供したりすることも可能である。

【0124】

また、本発明は、特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。

【0125】

本出願は、２０２０年２月２７日に出願された日本国特許出願番号２０２０－０３２３１６号に基づいており、その開示内容は、参照により全体として組み入れられている。

【符号の説明】

【0126】

１ 人判定システム、
４０ ストレージ、
５０ 通信インターフェース、
１００ サーバー、
１０１ 動画像記録部、
１０２ 人部位位置情報取得部、
１０３ 在不在判定枠設定部、
１０４ 在不在判定部、
１０５ 第１検証部、
１０６ 第２検証部、
１０７ 第３検証部、
１０８ 設備稼働状態取得部、
１０９ 生産情報記録部、
１１０ 入出力部、
１１５ カメラ、
１１６ 撮影範囲、
１２０ 端末、
１５０ 設備、
１５１ 積層信号灯、
１５５、１５６、１５７ 物体、
５００～５０６ 人。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】