(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024013015
(43)【公開日】2024-01-31
(54)【発明の名称】三方枠取付支援方法及びシステム
(51)【国際特許分類】
B66B 13/30 20060101AFI20240124BHJP
G01B 11/00 20060101ALI20240124BHJP
G01B 11/26 20060101ALI20240124BHJP
【FI】
B66B13/30 J
G01B11/00 H
G01B11/26 H
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022114910
(22)【出願日】2022-07-19
(71)【出願人】
【識別番号】000232955
【氏名又は名称】株式会社日立ビルシステム
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール弁理士法人
(72)【発明者】
【氏名】山本 晃弘
(72)【発明者】
【氏名】松家 大介
(72)【発明者】
【氏名】伊藤 雅人
【テーマコード(参考)】
2F065
3F307
【Fターム(参考)】
2F065AA04
2F065AA37
2F065AA39
2F065CC14
2F065DD06
2F065RR08
2F065SS13
2F065SS15
3F307BA01
3F307CD21
3F307CD27
(57)【要約】
【課題】
三方枠の姿勢を簡便に計測することができる三方枠取付支援方法及びシステムを提供する。
【解決手段】
一対の縦枠と前記一対の縦枠をつなぐ横枠とで構成された三方枠を敷居に取り付ける作業を支援する三方枠取付支援方法であって、前記三方枠に取り付けられた撮影部で前記敷居を撮影する撮影工程と、撮影された前記敷居の画像、及び前記三方枠が理想的な姿勢である場合における前記三方枠から見た前記敷居の配置である理想的な配置に基づいて、前記三方枠の姿勢を算出する姿勢算出工程と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
一対の縦枠と前記一対の縦枠をつなぐ横枠とで構成された三方枠を敷居に取り付ける作業を支援する三方枠取付支援方法であって、
前記三方枠に取り付けられた撮影部で前記敷居を撮影する撮影工程と、
撮影された前記敷居の画像、及び前記三方枠が理想的な姿勢である場合における前記三方枠から見た前記敷居の配置である理想的な配置に基づいて、前記三方枠の姿勢を算出する姿勢算出工程と、
を備えることを特徴とする三方枠取付支援方法。
【請求項2】
請求項1において、
前記姿勢算出工程において、撮影された前記敷居の画像に基づいて、前記画像における前記敷居の位置及び回転角度を算出し、算出した前記画像における前記敷居の位置及び回転角度と、前記理想的な配置における前記画像における前記敷居の位置及び回転角度とに基づいて前記三方枠の姿勢を算出する
ことを特徴とする三方枠取付支援方法。
【請求項3】
請求項2において、
前記姿勢算出工程において、前記画像における前記敷居の位置及び回転角度、並びに前記理想的な配置における前記画像における前記敷居の位置及び回転角度に基づいて、前記三方枠の姿勢として、前記横枠の回転軸である第1の軸に垂直な第2の軸方向への前記三方枠の倒れ距離と、前記第1の軸と前記第2の軸とに垂直な第3の軸方向への前記三方枠の倒れ距離とを算出する
ことを特徴とする三方枠取付支援方法。
【請求項4】
請求項2において、
前記三方枠に取り付けられた姿勢検出部を用いて、前記横枠の回転軸である第1の軸に垂直な第2の軸の軸回りの角度として、前記三方枠の倒れ角度を算出する倒れ角度算出工程をさらに備え、
前記姿勢算出工程において、前記画像における前記敷居の位置及び回転角度、並びに前記理想的な配置における前記画像における前記敷居の位置及び回転角度に基づいて、前記第2の軸方向への前記三方枠の倒れ距離、並びに前記横枠の回転角度を算出し、前記第2の軸方向への前記三方枠の倒れ距離、前記横枠の回転角度、及び前記三方枠の倒れ角度を前記三方枠の姿勢とする
ことを特徴とする三方枠取付支援方法。
【請求項5】
請求項1において、
前記姿勢算出工程よりも後に、前記三方枠の姿勢を通知する姿勢通知工程をさらに備える
ことを特徴とする三方枠取付支援方法。
【請求項6】
請求項5において、
前記姿勢通知工程において、前記三方枠の姿勢を調整すべき調整方向及び調整量を通知する
ことを特徴とする三方枠取付支援方法。
【請求項7】
請求項1において、
前記姿勢算出工程よりも後に、前記三方枠の姿勢を自動調整する姿勢調整工程をさらに備える三方枠取付支援方法。
【請求項8】
請求項3において、
前記姿勢算出工程よりも後に、前記第2の軸方向への前記三方枠の倒れ距離及び前記第3の軸方向への前記三方枠の倒れ距離に基づいて、前記三方枠に対して力を加えて前記三方枠の姿勢を変化させる自動調整部を用いて、前記第2の軸方向への前記三方枠の倒れ距離及び前記第3の軸方向への前記三方枠の倒れ距離を調整する姿勢調整工程をさらに備える
ことを特徴とする三方枠取付支援方法。
【請求項9】
請求項4において、
前記姿勢算出工程よりも後に、前記第2の軸方向への前記三方枠の倒れ距離、前記横枠の回転角度、及び前記三方枠の倒れ角度に基づいて、前記三方枠に対して力を加えて前記三方枠の姿勢を変化させる自動調整部を用いて、前記第2の軸方向への前記三方枠の倒れ距離、前記横枠の回転角度、及び前記三方枠の倒れ角度を調整する姿勢調整工程をさらに備える
ことを特徴とする三方枠取付支援方法。
【請求項10】
請求項2において、
前記姿勢算出工程において、前記敷居の表面に設けられた検出用マークに基づいて前記画像における前記敷居の位置及び回転角度を算出する
ことを特徴とする三方枠取付支援方法。
【請求項11】
請求項4において、
前記三方枠の倒れ角度に基づいて前記撮影部の撮影方向を調整する撮影方向調整工程をさらに備える
ことを特徴とする三方枠取付支援方法。
【請求項12】
一対の縦枠と前記一対の縦枠をつなぐ横枠とで構成された三方枠を敷居に取り付ける作業を支援する三方枠取付支援システムであって、
前記三方枠に取り付けられ、前記敷居を撮影する撮影部と、
撮影された前記敷居の画像、及び前記三方枠が理想的な姿勢である場合における前記三方枠から見た前記敷居の配置である理想的な配置に基づいて、前記三方枠の姿勢を算出する姿勢算出部と、
を備えることを特徴とする三方枠取付支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三方枠取付支援方法及びシステムに関する。
【背景技術】
【0002】
エレベータの出入口を構成する部品の一つとして三方枠がある。この三方枠の施工作業においては、取り付け位置や取り付け姿勢の基準となる基準位置に対する三方枠の姿勢を計測し、取付精度範囲内を超過しないかを評価し、超過する場合は三方枠の姿勢を調整するといった取り付け調整ループを作業員が実施する。この三方枠の姿勢の調整は、内容が複雑であり作業時間が長くなる。
【0003】
三方枠の施工作業に関するものではないが、エレベータの昇降路内に設置する機器の位置や姿勢を測定するための技術として、例えば、特許文献1がある。
【0004】
特許文献1には、昇降路内に設置してレーザを水平面上に照射し、対象物からの反射光を受光して、対象物の特徴点までの距離を計測する寸法測定装置が記載されている。この装置により、あらかじめ定めておいたレールのエッジ、シルのエッジなどの特徴点までの距離を計測して対象物の2次元配置図を作成し、所定の配置図と比較して修正方向を可視化することで作業支援を実現し、作業時間の短縮を図っている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載された寸法測定装置は、距離計測のためにレーザの照射部と受光部を備えて水平面上にレーザを照射して反射光を受光する必要があり、また、特徴点の高さに合わせてレーザを照射する水平面を変更する必要がある。
【0007】
したがって、三方枠のように鉛直方向に変化する対象物の姿勢を計測するのに適用しようとした場合は都度平面を合わせる必要があり、計測作業が複雑になるという課題がある。
【0008】
本発明の目的は、三方枠の姿勢を簡便に計測することができる三方枠取付支援方法及びシステムを提供することである。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明の三方枠取付支援方法は、例えば、一対の縦枠と前記一対の縦枠をつなぐ横枠とで構成された三方枠を敷居に取り付ける作業を支援する三方枠取付支援方法であって、前記三方枠に取り付けられた撮影部で前記敷居を撮影する撮影工程と、撮影された前記敷居の画像、及び前記三方枠が理想的な姿勢である場合における前記三方枠から見た前記敷居の配置である理想的な配置に基づいて、前記三方枠の姿勢を算出する姿勢算出工程と、を備える。
【0010】
また、本発明の三方枠取付支援システムは、例えば、一対の縦枠と前記一対の縦枠をつなぐ横枠とで構成された三方枠を敷居に取り付ける作業を支援する三方枠取付支援システムであって、前記三方枠に取り付けられ、前記敷居を撮影する撮影部と、撮影された前記敷居の画像、及び前記三方枠が理想的な姿勢である場合における前記三方枠から見た前記敷居の配置である理想的な配置に基づいて、前記三方枠の姿勢を算出する姿勢算出部と、を備える。
【発明の効果】
【0011】
本発明によれば、三方枠の姿勢を簡便に計測することができる三方枠取付支援方法及びシステムを提供することができる。
【0012】
上記の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0013】
【
図1】実施形態1に係る三方枠取付支援システムが取り付けられた三方枠の斜視図である。
【
図2】実施形態1に係る三方枠取付支援システムが取り付けられた三方枠の正面図である。
【
図3】三方枠のx軸方向への倒れを説明する図である。
【
図4】三方枠のy軸方向への倒れを説明する図である。
【
図6】撮影部で撮影した敷居の画像の一例を示す図である。
【
図7】実施形態1に係る三方枠取付支援システムのブロック図である。
【
図8】ピクセル座標系における検出用マークの概略図である。
【
図9】実施形態1に係る通知部の表示の一例を示す図である。
【
図10】実施形態2に係る三方枠取付支援システムが取り付けられた三方枠の斜視図である。
【
図11】自動調整部と縦枠との連結の様子の一例を示す図である。
【
図12】自動調整部と縦枠との連結の様子の一例を示す図である。
【
図13】自動調整部と縦枠との連結の様子をx軸の負の方向から見た図である。
【
図14】実施形態2に係る三方枠取付支援システムのブロック図である。
【
図15】実施形態2に係る姿勢調整工程の手順の一例を示す図である。
【
図16】実施形態3に係る三方枠取付支援システムが取り付けられた三方枠の斜視図である。
【
図17】実施形態3に係る三方枠取付支援システムのブロック図である。
【
図18】実施形態3に係る姿勢調整工程の手順の一例を示す図である。
【
図19】実施形態4に係る三方枠取付支援システムが取り付けられた三方枠の斜視図である。
【
図20】実施形態4に係る撮影方向調整部及び撮影部の斜視図である。
【
図21】実施形態4に係る撮影方向調整部による撮影方向の調整を説明する図である。
【
図22】実施形態4に係る三方枠取付支援システムのブロック図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本発明は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
(実施形態1)
三方枠取付支援システム10の第1の実施形態を説明する。
図1は、実施形態1に係る三方枠取付支援システム10が取り付けられた三方枠4の斜視図である。また、
図2は、実施形態1に係る三方枠取付支援システム10が取り付けられた三方枠4の正面図である。
図1及び2に示すように、建物の壁2a及び2bは、建物の床面1上に設置される。建物の壁2aと2bの間には空間が存在する。
【0015】
敷居3は、昇降路内に設置されたピアノ線などの基準(不図示)に対して所定の位置関係となるように、床面1に設置され、溶接やネジ止めなどで固定されている。敷居3は、
図1及び2に示すように、建物の壁2aと2bとの間の床面1上に固定されている。また、敷居3には、中央部に敷居3の位置を検出するための検出用マーク(不図示)が取り付けられてもよい。敷居3は敷居の背景となる床面1に対して区別できる色になっている。また、検出用マークが敷居3に取り付けられている場合には、検出用マークは、敷居3に対して区別できる色になっていることが望ましい。以下、検出用マークが敷居3に取り付けられている場合について説明する。
【0016】
三方枠4は、縦枠4aと、縦枠4bと、横枠4cとで構成される。縦枠4a及び4bは、一対の縦枠をなし、
図1及び2に示すように、それぞれの一端が敷居3に接続されている。縦枠4a及び4bは例えば同じ長さのものが用いられる。横枠4cは、縦枠4a及び4bのそれぞれの他端と接続することにより縦枠4a及び4bをつなぐ。なお、
図1及び
図2においては、縦枠4a及び4bのそれぞれの一端が床面1に接しているが、これに限定されない。
【0017】
本実施形態に係る三方枠取付支援システム10は、撮影部11と、演算部12と、通知部13とを備える。
【0018】
撮影部11は、三方枠4に取り付けられ、敷居3を撮影する。具体的には、撮影部11は、
図1及び2に示すように、撮影方向が下方向で床面1に設置された敷居3を撮影できるように例えば横枠4cの下側に取り付けられるが、取付位置はこれに限られない。撮影部11は、例えばカメラなどの撮影装置を用いることができる。
【0019】
演算部12は、USBケーブル、イーサネットケーブル、無線通信などで撮影部11と接続され、撮影部11で取得される画像が送信される。演算部12は、撮影部11が取得した画像に基づき、三方枠4の姿勢を算出する。演算部12は、例えばマイクロコントローラやPCなどの演算装置を用いることができる。本実施形態に係る演算部12は、横枠4cの上側に取り付けられるが、取付位置はこれに限定されない。また、作業者が携帯する端末などに演算部12の機能を持たせて取付不要にしてもよい。
【0020】
通知部13は、イーサネットケーブルなどの通信ケーブルを用いた有線通信、無線通信などで演算部12と接続され、演算部12で処理された内容が送信される。通知部13は、例えばディスプレイやスマートデバイスなどの表示画面を持つ装置を用いることができる。また、通知部13は、受信したデータを音声として通知することができる装置を用いることもできる。他にも、通知部13は、表示画面を持ち、受信したデータを表示するとともに、受信したデータを音声として通知することができる装置を用いることもできる。本実施形態に係る通知部13は、例えば横枠4cの上側に設置されるが、取付位置はこれに限定されない。また、作業者が携帯する端末などに通知部13の機能を持たせて取付不要にしてもよい。
【0021】
三方枠4は、縦枠4a及び4bが床面1に対して直立しており、横枠4cが敷居3に対して平行となる姿勢が理想的な姿勢である。しかし、三方枠4の取付時においては、
図1及び
図2に示すように、三方枠4は、縦枠4aと4bの下側でのみ敷居3に接続され、固定されていない状態であるため、接続箇所を支点にx軸方向やy軸方向に倒れる場合もある。倒れた状態である三方枠4の正面図、側面図及び上面図の一例をそれぞれ
図3、4及び5に示す。なお、
図3、4及び5は三方枠4が傾いた姿勢となっている状態を示しており、互いに対応する図である。
【0022】
図3は、三方枠4のx軸方向(第2の軸方向)への倒れを説明する図である。
図3はy軸の負の方向から見た三方枠4の姿勢である。
図3においては、三方枠4の構成の一例として、縦枠4aと4bは同じ長さとし、縦枠4aと4bの下側は敷居3にそれぞれ接続され、上側は横枠4cにそれぞれ接続されている三方枠4の構成を示す。また、
図3は、三方枠4の姿勢の一例として、縦枠4aと4bはx軸の正の方向にそれぞれ倒れ距離D1a及びD1bだけ倒れている状態の三方枠4を示す。本実施形態では、x軸方向に関して、縦枠4aと4bは互いに独立に倒れることができることとし、倒れ距離D1aとD1bは必ずしも同じではないとする。x軸の正の方向に倒れる場合は倒れ距離D1aとD1bは正であり、x軸の負の方向に倒れる場合は負となる。なお、後述する
図4では、横枠4cを敷居3に対して平行ではないように記載している。
図3に記載の横枠4cも
図4と同様であるが、
図3では説明を容易にするために横枠4cを敷居3に対して概略平行に記載している。
【0023】
図4は、三方枠のy軸方向(第3の軸方向)への倒れを説明する図である。
図4はx軸の正の方向から見た三方枠4の姿勢である。
図4において、縦枠4aはy軸の正の方向に倒れ距離D2aだけ倒れており、縦枠4bはy軸の正の方向に倒れ距離D2bだけ倒れている。本実施形態では、y軸方向に関しては、縦枠4aと4bは互いに独立に倒れることができることとし、倒れ距離D2aとD2bは必ずしも同じではないとする。
図4においては、縦枠4aと4bは共にy軸の正の方向に倒れた場合を示しているが、それぞれ正負のどちらにも倒れることが可能であり、y軸の正の方向に倒れるときは倒れ距離D2aとD2bは正であり、y軸の負の方向に倒れるときは負である。
【0024】
図5は、横枠4cの回転を説明する図である。
図5はz軸の正の方向からみた三方枠4の姿勢である。
図5では、y軸方向において縦枠4aと4bがそれぞれ倒れ距離D2aとD2bだけ倒れており、横枠4cはz軸(第1の軸)周りに回転角度θだけ回転する。縦枠4aと4bの倒れ距離の偏差距離D2b-D2aが正である場合は横枠4cはz軸の正の方向からみて反時計回りに回転し、回転角度θは正である。偏差距離D2b-D2aが負である場合は時計回りに回転し、回転角度θは負である。
【0025】
本実施形態に係る三方枠取付支援方法について、
図3、4及び5に示すx及びy軸方向に倒れている三方枠4を対象物として説明する。本実施形態では、三方枠取付支援システム10が三方枠取付支援方法を実現する場合について説明するが、これに限定されない。
【0026】
本実施形態に係る三方枠取付支援方法は、一対の縦枠4a及び4bと一対の縦枠4a及び4bをつなぐ横枠4cとで構成された三方枠4を敷居3に取り付ける作業を支援する三方枠取付支援方法であって、三方枠4に取り付けられた撮影部11で敷居3を撮影する撮影工程と、撮影された敷居3の画像、及び三方枠4が理想的な姿勢である場合における三方枠4から見た敷居3の配置である理想的な配置に基づいて、三方枠4の姿勢を算出する姿勢算出工程と、を備える。
【0027】
撮影工程では、撮影部11が敷居3を撮影する。
図6は、撮影部11で撮影した敷居3の画像の一例を示す図である。画像はw0×h0ピクセルの画素サイズであり、左上が(0,0)で右下が(w0,h0)となるように、ピクセル座標が定められる。
図6では、w軸の正の方向とx軸の正の方向とを同一方向とし、h軸の正の方向とy軸の正の方向とを反対方向とする。そして、画像における敷居3とw軸とがなす角度を画像における敷居3の回転角度とする。画像における敷居3の回転角度は、w軸を起点として時計回りの角度を正とする。
図6において、y軸の正の方向における敷居3の一端21bとy軸の負の方向における敷居3の一端22bと、敷居3に取り付けられた検出マーク23bが撮影される。画像において、三方枠4がx軸の正の方向に倒れる場合は検出用マーク23bがw軸方向の負の方向(画像上左側)に、三方枠4がx軸の負の方向に倒れる場合は検出用マーク23bがw軸方向の正の方向(画像上右側)に移動する。三方枠4がy軸の正の方向に倒れる場合は検出用マーク23bがh軸方向の正の方向(画像上下側)に、y軸の負の方向に倒れる場合は検出用マーク23bがh軸方向の負の方向(画像上上側)に移動する。横枠4cがz軸の正の方向からみて反時計回りに回転する場合は敷居3の一端21bと22bは画像において時計回りに回転した状態になり、横枠4cがz軸の正の方向からみて時計回りに回転する場合は敷居3の一端21bと22bは画像において反時計周りに回転した状態になる。ただし、本実施形態では、横枠4cの回転角度θはz軸の正方向から見て反時計回りを正とし、画像における敷居3の回転角度はz軸の正方向から見て時計回りを正とするので、横枠4cの回転角度θと画像における敷居3の回転角度とは符号を含めて一致する。そこで、以下では画像における敷居3の回転角度もθで表現する。
【0028】
なお、
図6において、21a及び22aはそれぞれ、三方枠4が理想的な姿勢である場合における三方枠4から見た敷居3の一端であり、23aは三方枠4が理想的な姿勢である場合における三方枠4から見た検出用マークである。
【0029】
姿勢算出工程では、演算部12が三方枠4の姿勢を算出する。
図7は、実施形態1に係る三方枠取付支援システム10のブロック図である。
図7に示すように、本実施形態に係る演算部12は、センサ情報取得部101と、敷居エリア識別部102と、姿勢算出部103と、敷居エリア記録部104と、情報通信部105と、を備える。以下、姿勢算出工程を詳細に説明する。
【0030】
センサ情報取得部101は、撮影部11で撮影した画像のデータを受信する。
【0031】
敷居エリア識別部102は、センサ情報取得部101が受信した画像のデータに基づいて、撮影部11で撮影した
図6に示すような画像における敷居3の一端21b及び22bと検出用マーク23bとを検出し、敷居3が含まれるエリアを識別する。前述したように、敷居3は、背景である床面1に対して区別できるように色が設定され、検出用マーク23bは敷居3に対して、区別できるように色が設定されている。そのため、敷居エリア識別部102は、例えば、センサ情報取得部101が受信した画像のデータにおけるRGB値の変化を用いて敷居3の一端21b及び22b並びに検出用マーク23bを識別することができる。
【0032】
敷居エリア識別部102は、識別したエリア情報に基づき、敷居3の配置を算出する。具体的には、敷居エリア識別部102は、敷居3の一端21bに関して、画像の上側において背景色から敷居3の色に変化するN1個のピクセル座標(wk,hk)(k=1~N1)を取得し、ピクセル座標系において最小二乗法を用いた線形近似などで傾きA1を算出する。なお、N1は任意の整数である。そして、敷居エリア識別部102は、傾きA1よりピクセル座標における回転角度φ1=tan-1(A1)を算出する。
【0033】
敷居エリア識別部102は、同様に、敷居3の一端22bに関して、画像の下側において背景色から敷居3の色に変化するN2個のピクセル座標(wk,hk)(k=1~N2)を取得し、ピクセル座標系において最小二乗法を用いた線形近似などで傾きA2を算出する。なお、N2は任意の整数である。敷居エリア識別部102は、傾きA2よりピクセル座標における回転角度φ2=tan-1(A2)を算出する。
【0034】
図8は、ピクセル座標系における検出用マーク23bの概略図である。敷居エリア識別部102は、
図8に示すように、RGB値の変化から検出用マーク23bの4隅の座標を検出し、中央座標(w2,h2)=((w2a+w2b+w2c+w2d)/4,(h2a+h2b+h2c+h2d)/4)を算出する。ここでは、RGB値の変化を用いたが、別のエッジ検出や位置検出を用いてもよい。また、回転角度φ1、φ2の算出に敷居3の一端を用いたが、検出用マーク23bを敷居3の一端と平行になるように配置し、検出用マーク23bの一辺を用いてもよい。
【0035】
また、本実施形態では、敷居3の配置として、画像における敷居3の位置及び回転角度を算出したが、これに限定されない。
【0036】
姿勢算出部103は、敷居エリア識別部102で得られた回転角度φ1及びφ2と、検出用マークの中央位置(w2,h2)とを用いて、三方枠4の姿勢を算出する。姿勢算出部103は、横枠4cの長さをLwとし、三方枠4の姿勢として、次式により各倒れ距離D1a、D1b、D2a、D2bを算出する。
【0037】
【0038】
ここでは、画像における敷居3の回転角度θはφ1とφ2の平均としたが、θ=φ1、θ=φ2としてもよい。式中におけるGw、Ghはそれぞれw軸方向とh軸方向における1ピクセル当たりの距離であり、撮影部11と敷居3との距離及び撮影部11の画角によって定まる。例えば、長さLの物体を垂直に撮影した場合、撮影部11と敷居3との距離及び撮影部11の画角により画像内における物体の大きさが定まり、長さLの物体が画像においてピクセル値として幅waであった場合、Gw=L/waとなる。
【0039】
そして、横枠4cの回転角度θは画像における敷居3の回転角度θと一致するので、画像における敷居3の回転角度θを算出することで、横枠4cの回転角度θが求まる。
【0040】
なお、式(1)において、w1及びh1は、
図6において破線で示すように、三方枠4が理想的な姿勢である場合における三方枠4から見た検出用マーク23aの中央座標(w1,h1)であり、これは敷居3の理想的な配置の情報として敷居エリア記録部104にあらかじめ記録されている。また、敷居エリア記録部104には、検出用マーク23aの中央座標(w1,h1)に加え、敷居3の一端21a及び22aに係わるデータとして敷居3の一端21a及び22aのそれぞれの画像における回転角度φ10及びφ20が、敷居3の理想的な配置の情報としてあらかじめ記録されている。大概の場合、三方枠4は敷居3に対してねじれないように垂直に設置されるため、式(1)においては回転角度φ10及びφ20は共に0としている。回転角度φ10及びφ20が0でない場合は、回転角度φ10及びφ20の平均値又は回転角度φ10若しくは回転角度φ20を基準回転角度θrとし、式(1)において、θをθ-θrに置き換えればよい。
【0041】
敷居エリア記録部104は、先ほど説明したとおり、敷居3の理想的な配置の情報として、三方枠4が理想的な姿勢である場合における三方枠4から見た検出用マーク23aの中央座標(w1,h1)と、画像における敷居3の一端21a及び22aのそれぞれの回転角度φ10及びφ20があらかじめ記録されている。なお、三方枠4が理想的な姿勢である場合において、三方枠4に取り付けられた撮影部11で撮影される敷居3及び検出用マーク23aの画像、例えば
図6において破線部分のみを含むような画像が敷居エリア記録部104にあらかじめ記録されるようにしてもよい。この場合、姿勢算出部103は、式(1)を用いるに際し、敷居エリア記録部104に記録されている画像から検出用マーク23aの中央座標(w1,h1)並びに画像における敷居3の一端21a及び22aの回転角度φ10及びφ20を算出するようにすればよい。
【0042】
敷居エリア記録部104は、各倒れ距離D1a、D1b、D2a及びD2bと横枠4cの回転角度θとに関する取付精度の情報もあらかじめ記録されている。敷居エリア記録部104は、取付精度として、例えば、倒れ距離D1a、D1b、D2a及びD2b並びに横枠4cの回転角度θのそれぞれの許容範囲を記録されている。本実施形態では、敷居エリア記録部104は、後述する
図9に示すように、倒れ距離D1aの許容範囲の下限をD11、上限をD12、倒れ距離D2aの許容範囲の下限をD21、上限をD22、倒れ距離D1bの許容範囲の下限をD13、上限をD14、倒れ距離D2bの許容範囲の下限をD23、上限をD24、横枠4cの回転角度θの許容範囲の下限をθ11、上限をθ12として記録されているものとする。
【0043】
本実施形態に係る三方枠取付支援方法は、姿勢算出工程よりも後に、三方枠4の姿勢を通知する姿勢通知工程をさらに備えることが望ましい。
【0044】
この場合、姿勢通知工程の前に、情報通信部105は、姿勢算出部103で算出された倒れ距離D1a、D1b、D2a及びD2bと、横枠4cの回転角度θと、これらの取付精度とを通知部13に通知する。また、姿勢算出部103は、算出した三方枠4の姿勢から三方枠の姿勢を調整すべき調整方向及び調整量を算出し、これらを情報通信部105を介して通知部13に送信する。ここで、調整方向は、三方枠4の姿勢を取付精度内にするために必要な三方枠4に加える力の方向をいい、調整量は、三方枠4の姿勢と取付精度とのずれ量又は算出した三方枠4の姿勢(実施形態1では、倒れ距離D1a、D1b、D2a及びD2b)をいう。
【0045】
姿勢通知工程では、通知部13は、三方枠4の姿勢を通知する。
図9は、実施形態1に係る通知部13の表示の一例を示す図である。通知部13は、三方枠4の姿勢である倒れ距離D1a、D1b、D2a及びD2bを通知するともに、横枠4cの回転角度θも通知してもよい。また、通知部13は、取付精度を併せて通知してもよい。さらに、通知部13は、三方枠4の姿勢を調整すべき調整方向と調整量を併せて通知してもよい。
図9では、
図3、4及び5に示すようなx軸方向、y軸方向及びz軸方向のそれぞれから見た三方枠の姿勢をそれぞれ表示し、その上に調整方向を矢印で表示するとともに、調整量として三方枠4の姿勢を表示した例を示す。なお、
図9では、横枠4cの回転角度θを調整量として表示しているが、横枠4cの回転角度θに一致する画像における敷居3の回転角度θを調整量として表示してもよい。
【0046】
上述の処理により、取り付け時における三方枠4の姿勢の可視化と、理想的な姿勢に向けた取り付け方法を作業者に通知することができ、作業者の三方枠取付調整を支援することができる。
【0047】
なお、本実施形態では、撮影部11が横枠4cに取り付けられている例について説明したが、これに限定されず、縦枠4a又は4bに取り付けられていてもよい。
【0048】
以上説明したように、本実施形態に係る三方枠取付支援方法及びシステムでは、三方枠4に取り付けられた撮影部11により撮影した画像に基づき、三方枠4の姿勢を算出するので、三方枠の姿勢を簡便に計測することができる。
(実施形態2)
三方枠取付支援システム10の第2の実施形態を説明する。
図10は、実施形態2に係る三方枠取付支援システム10が取り付けられた三方枠4の斜視図である。本実施形態に係る三方枠取付支援システム10は、実施形態1に係る三方枠取付支援システム10に、三方枠4の自動調整機能を追加したものである。以下、実施形態1との相違点を中心に説明する。説明を省略した構成は実施形態1と同様である。
【0049】
本実施形態に係る三方枠取付支援システム10は、自動調整部14、15及び16をさらに備える。
【0050】
なお、本実施形態では、通知部13を用いて演算部12に自動調整部14、15及び16の調整開始指令を通知する。そのため、本実施形態に係る通知部13は、演算部12とデータを送受信できる装置、例えばスマートデバイス等とし、通知部13から演算部12に調整開始指令を送信する。
【0051】
自動調整部14は、
図10に示すように、壁2aに固定された状態で縦枠4aに連結されている。
図11は、自動調整部14と縦枠4aとの連結の様子の一例を示す図である。自動調整部14は、リニアアクチュエータで構成される駆動装置14aが壁2aに固定されており、駆動装置14aの先端には連結部材14bが取り付けられる。連結部材14bはx軸方向に開いた長穴14cが存在し、長穴14cを介してネジなどで縦枠4aに連結される。駆動装置14aはy軸方向に伸縮可能であり、連結部材14bを介して縦枠4aのy軸方向の位置調整が可能である。駆動装置14aによるx軸方向の位置調整は実施されないが、長穴14cにより縦枠4aのx軸方向の動作を阻害しない。
【0052】
自動調整部15及び16は、
図10に示すように、壁2bにそれぞれ固定された状態で縦枠4bに連結されている。
図12は、自動調整部15及び16と縦枠4bとの連結の様子の一例を示す図である。自動調整部15は、リニアアクチュエータで構成される駆動装置15aが壁2b(不図示)に固定されており、駆動装置15aの先端には連結部材15bが取り付けられる。連結部材15bはx軸方向に開いた長穴15cが存在し、長穴15cを介してネジなどで縦枠4bに連結される。駆動装置15aはy軸方向に伸縮可能であり、連結部材15bを介して縦枠4bのy軸方向の位置調整が可能である。駆動装置15aによるx軸方向の位置調整は実施されないが、長穴15cにより縦枠4bのx軸方向の動作を阻害しない。
【0053】
自動調整部16は、リニアアクチュエータで構成される駆動装置16aが壁2bに固定されており、駆動装置16aの先端には連結部材16bの先端に位置する固定部材16cが取り付けられる。
図13は、自動調整部16と縦枠4bとの連結の様子をx軸の負の方向から見た図である。
図13に示すように、固定部材16cには、駆動装置16aが固定部材16cに沿ってy軸方向へのみ相対的に移動できるように、移動可能範囲16dが存在する。駆動装置16aはx軸方向に伸縮可能であり、連結部材16bを介して縦枠4bのx軸方向の位置調整が可能である。
【0054】
自動調整部14及び15は伸びる動作方向はy軸の正の方向であり、縮む動作方向はy軸の負の方向である。自動調整部16は伸びる動作方向はx軸の負の方向であり、縮む動作方向はx軸の正の方向である。
【0055】
図14は、実施形態2に係る三方枠取付支援システム10のブロック図である。
図14に示すように、本実施形態に係る演算部12は、姿勢調整制御部106をさらに備える。
【0056】
本実施形態に係る三方枠取付支援方法は、姿勢算出工程よりも後に、x軸(第2の軸)方向への三方枠4の倒れ距離(D1a、D1b)及びy軸(第3の軸)方向への三方枠の倒れ距離(D2a、D2b)に基づいて、三方枠4に対して力を加えて三方枠4の姿勢を変化させる自動調整部(14、15、16)を用いて、x軸(第2の軸)方向への三方枠4の倒れ距離(D1a、D1b)及びy軸(第3の軸)方向への三方枠の倒れ距離(D2a、D2b)を調整する姿勢調整工程をさらに備える。
図15は、実施形態2に係る姿勢調整工程の手順の一例を示す図である。姿勢調整工程は姿勢調整制御部106が行う。
【0057】
自動調整部14、15及び16を用いた自動調整、すなわち
図15に示す姿勢調整工程を開始するトリガーには、例えば作業者がスマートデバイス等の通知部13の操作ボタンや操作画面を押すなど簡易的な作業により通知部13から演算部12に送信する調整開始指令を用いることができる。この場合、演算部12は、情報通信部105で通知部13からの調整開始指令を受信する。そして、姿勢調整制御部106は、姿勢算出部103を介して調整開始指令を受信することで、
図15に示す三方枠姿勢調整工程を開始する。
【0058】
なお、
図15に示す姿勢調整工程を開始するトリガーは、通知部13から演算部12に送信する調整開始指令に限定されない。例えば、通知部13を用いることなく、演算部12が、三方枠4の姿勢が取付精度の範囲外であることを検出することをトリガーとして自動で姿勢調整工程を開始してもよい。この場合、通知部13を省略してもよい。
【0059】
以下、
図15に示す姿勢調整工程の各ステップを説明する。なお、
図15では、調整完了状態を完了状態と略記する。
【0060】
ステップ201において、自動調整部14、15及び16の状態をクリアし、ステップ202に進む。
【0061】
ステップ202において、y軸方向における縦枠4aの倒れ状態を表す倒れ距離D2aが取付精度の範囲内にあるか判断する。D21≦D2a≦D22を満たす場合はステップ203に進み、満たさない場合はステップ204に進む。
【0062】
ステップ203においては、自動調整部14の状態を調整完了状態にし、ステップ205に進む。
【0063】
ステップ204においては、D2a>D22の場合は自動調整部14の状態を縮む方向の動作指令に、D2a<D21の場合は自動調整部14の状態を伸びる方向の動作指令に設定し、ステップ205に進む。
【0064】
ステップ205において、y軸方向における縦枠4bの倒れ状態を表す倒れ距離D2bが取付精度の範囲内にあるか判断する。D23≦D2b≦D24を満たす場合はステップ206に進み、満たさない場合はステップ207に進む。
【0065】
ステップ206においては、自動調整部15の状態を調整完了状態にし、ステップ208に進む。
【0066】
ステップ207においては、D2b>D24の場合は自動調整部15の状態を縮む方向の動作指令に、D2b<D23の場合は自動調整部15の状態を伸びる方向の動作指令に設定し、ステップ208に進む。
【0067】
ステップ208において、x軸方向における縦枠4a、4bの倒れ状態を表す倒れ距離D1a、D1bが取付精度の範囲内にあるか判断する。D11≦D1a≦D12、D13≦D1b≦D14を満たす場合はステップ209に進み、満たさない場合はステップ210に進む。
【0068】
ステップ209においては、自動調整部16の状態を調整完了状態にし、ステップ211に進む。
【0069】
ステップ210においては、D1a>D12(D1b>D14)の場合は自動調整部16の状態を伸びる方向の動作指令に、D1a<D11(D1b<D13)の場合は自動調整部16の状態を縮む方向の動作指令に設定し、ステップ211に進む。
【0070】
ステップ211において、自動調整部14、15及び16の状態がすべて調整完了状態である場合はステップ212に進み、自動調整部14、15、16のいずれかの状態が調整完了状態でない場合はステップ213に進む。
【0071】
ステップ212において、自動調整部14、15及び16にブレーキ動作指令を送信し、姿勢算出部103に調整完了通知を送信した後に、姿勢調整工程を終了する。
【0072】
ステップ213において、各自動調整部14、15及び16のそれぞれに対して、調整完了状態である場合はブレーキ動作指令を、調整完了状態でない場合は設定された各動作指令をそれぞれ送信してステップ201に進み、次の制御周期で
図15に示す姿勢調整工程を再度行う。
【0073】
姿勢算出部103は、自動調整後の三方枠4の取付姿勢を実施形態1と同様に可視化して、情報通信部105を介して通知部13に送信し、通知部13は受信したデータを表示する。
【0074】
本実施形態に係る三方枠取付支援方法及びシステムにより、作業員はスマートデバイス等の通知部13の操作ボタンや操作画面を押すなど簡易的な作業により通知部13から演算部12に調整開始指令を送信することができる。そして、調整開始指令送信後は、三方枠4が理想的な姿勢となるように自動的に調整され、作業員の三方枠調整を支援することができる。
【0075】
また、演算部12が自動で姿勢調整工程を開始する場合には、撮影工程から姿勢調整工程までの工程を自動で行うこともできる。
(実施形態3)
三方枠取付支援システム10の第3の実施形態を説明する。
図16は、本実施形態3に係る三方枠取付支援システム10が取り付けられた三方枠4の斜視図である。本実施形態に係る三方枠取付支援システム10は、三方枠4の倒れ角度を算出して、三方枠4の倒れ角度を用いて三方枠の姿勢の算出及び調整を行うものである。ここで、三方枠4の倒れ角度とは、
図4に示す三方枠4のx軸周りの角度ψをいい、x軸の正の方向からみて時計周りの回転を正とする。
【0076】
以下、実施形態2との相違点を中心に説明する。説明を省略した構成は実施形態2と同様である。
【0077】
本実施形態に係る三方枠取付支援システム10は、
図16に示すように、横枠4cの上に設置され、姿勢検出部17をさらに備える。姿勢検出部17は、USBケーブル、ネットワークケーブルなどのケーブル類で演算部12に接続される。姿勢検出部17は、3軸加速度センサ及び3軸ジャイロセンサで構成される6軸慣性センサ等の計測装置を用いることができる。本実施形態に係る三方枠取付支援方法は、姿勢検出部17を用いて、三方枠4の倒れ角度ψを算出する倒れ角度算出工程をさらに備える。
【0078】
以下、倒れ角度算出工程について詳細に説明する。姿勢検出部17は加速度情報及び角速度情報を取得する。
【0079】
図17は、三方枠取付支援システム10のブロック図である。姿勢検出部17で取得される加速度情報及び角速度情報はセンサ情報取得部101で受信される。センサ情報取得部101は、姿勢検出部17で取得された加速度情報及び角速度情報から三方枠4のx軸周りの倒れ角度ψを算出する。倒れ角度ψを算出するまでが倒れ角度算出工程である。
【0080】
姿勢算出部103は、姿勢算出工程において、実施形態1に記載の式(1)により、倒れ距離D1a及びD1b並びに画像における敷居3の回転角度θを算出する。横枠4cの回転角度θは画像における敷居3の回転角度θと一致するので、画像における敷居3の回転角度θを算出することで、横枠4cの回転角度θが求まる。なお、姿勢算出部103は、センサ情報取得部101の代わりに、倒れ角度算出工程において、姿勢検出部17で取得される加速度情報及び角速度情報を受信し、倒れ角度ψを算出してもよい。
【0081】
また、姿勢検出部17自身が倒れ角度ψを算出してもよい。この場合、センサ情報取得部101又は姿勢算出部103による加速度情報及び角速度情報の受信並びに倒れ角度ψの算出は省略することができる。
【0082】
以下、センサ情報取得部101で倒れ角度ψを算出する例について説明するが、これに限定されない。
【0083】
本実施形態に係る三方枠取付支援方法及び三方枠取付支援システム10では、倒れ距離D1a及びD1b、横枠4cの回転角度θ、及び三方枠4の倒れ角度ψを三方枠4の姿勢とする。ここで、本実施形態では、横枠4cの回転角度θを三方枠4の姿勢としたが、横枠4cの回転角度θの代わりに、横枠4cの回転角度θに一致する画像における敷居3の回転角度θを三方枠4の姿勢とすることもできる。
【0084】
敷居エリア記録部104には、三方枠4のx軸周りの倒れ角度ψの取付精度として、倒れ角度ψの許容範囲の下限ψ11及び上限ψ12が記録されている。
【0085】
情報通信部105は、姿勢通知工程の前に、センサ情報取得部101で算出された三方枠4のx軸周りの倒れ角度ψと倒れ角度ψの取付精度とを通知部13に通知する。
【0086】
姿勢調整制御部106は、姿勢算出部103から倒れ距離D1a及びD1b並びに横枠4cの回転角度θを取得するとともに、センサ情報取得部101から倒れ角度ψを取得して、三方枠4の姿勢調整に用いる。
【0087】
図18は、実施形態3に係る姿勢調整工程の手順の一例を示す図である。なお、
図18においても、調整完了状態を完了状態と略記する。
【0088】
ステップ231において、自動調整部14、15及び16の状態をクリアする。
【0089】
ステップ232において、横枠4cの回転角度θが取付精度範囲内であるかを判断する。θ11≦θ≦θ12を満たす場合はステップ234に進み、満たさない場合はステップ233に進む。
【0090】
ステップ233においては、θ>θ12を満たす場合において、ψ≧0のときは自動調整部14の状態をブレーキ動作指令に、自動調整部15の状態を縮む方向の動作指令に、ψ<0のときは自動調整部14の状態を伸ばす方向の動作指令に、自動調整部15の状態をブレーキ動作指令に設定する。θ<θ11を満たす場合において、ψ≧0のときは自動調整部14の状態を縮む方向の動作指令に、自動調整部15の状態をブレーキ動作指令に、ψ<0のときは自動調整部14の状態をブレーキ動作指令に、自動調整部15の状態を伸ばす方向の動作指令に設定する。自動調整部16の状態をブレーキ動作指令に設定し、各自動調整部14、15、16に対して動作指令を送信し、次の制御周期でステップ231に進む。
図18では、ステップ233で設定した動作指令を動作指令設定1としている。
【0091】
ステップ234において、x軸周りにおける回転倒れを表す倒れ角度ψが取付精度範囲内にあるかを判断する。ψ11≦ψ≦ψ12を満たす場合はステップ236に進み、満たさない場合はステップ235に進む。
【0092】
ステップ235において、ψ>ψ12を満たす場合は自動調整部14及び15の状態を縮む方向の動作指令に、ψ<ψ11を満たす場合は自動調整部14及び15の状態を伸ばす方向の動作指令に設定する。自動調整部16の状態をブレーキ動作指令に設定し、各自動調整部14、15、16に対して動作指令を送信し、次の制御周期でステップ231に進む。
図18では、ステップ235で設定した動作指令を動作指令設定2としている。
【0093】
ステップ236においては、自動調整部14及び15の状態を調整完了状態とし、ステップ237に進む。
【0094】
ステップ237においては、x軸方向における縦枠4a、4bの倒れ状態を表す倒れ距離D1a、D1bが取付精度の範囲内にあるかを判断する。D11≦D1a≦D12,D13≦D1b≦D14を満たす場合はステップ239に進み、満たさない場合はステップ238に進む。
【0095】
ステップ238においては、D1a>D12(D1b>D14)の場合は自動調整部16の状態を伸びる方向の動作指令に、D1a<D11(D1b<D13)の場合は自動調整部16の状態を縮む方向の動作指令に設定し、自動調整部16に対して動作指令を送信するとともに、自動調整部14及び15の状態が調整完了状態であるため、自動調整部14及び15に対してブレーキ動作指令を送信し、次の制御周期でステップ231に進む。
図18では、ステップ238で設定した動作指令を動作指令設定3としている。
【0096】
ステップ239においては、自動調整部16の状態を調整完了状態にし、ステップ240に進む。
【0097】
ステップ240においては、自動調整部14、15及び16のそれぞれの状態がすべて調整完了状態であるため、各自動調整部14、15及び16に対してブレーキ動作指令を送信し、姿勢調整工程を終了する。
図18では、ステップ240で設定した動作指令を動作指令設定4としている。
【0098】
本実施形態に係る三方枠取付支援方法及びシステムでは、姿勢検出部17を用いて算出した三方枠4の倒れ角度ψを活用することで、三方枠4をより正確に理想的な姿勢で敷居3に取り付けることができ、作業員の三方枠調整を支援することができる。また、姿勢算出部103の計算負荷も減らすことができる。
【0099】
なお、自動調整を行わず、通知部13による通知を介して作業者に調整させてもよい。
(実施形態4)
三方枠取付支援システム10の第4の実施形態を説明する。
図19は、実施形態4に係る三方枠取付支援システム10が取り付けられた三方枠4の斜視図である。本実施形態に係る三方枠取付支援システム10は、姿勢検出部17を用いて算出した倒れ角度ψに基づいて撮影部11の撮影方向を調整する撮影方向調整部18をさらに備える。
図19において、回転軸の回転角度を変更可能なサーボモータなどの駆動装置で構成される撮影方向調整部18が横枠4cに固定され、撮影方向調整部18に撮影部11が設置される。
【0100】
図20は、実施形態4に係る撮影方向調整部18及び撮影部11の斜視図である。
図21は、実施形態4に係る撮影方向調整部18による撮影方向の調整を説明する図である。
図20に示すように、撮影方向調整部18は、横枠4cに固定されるサーボモータ等の撮影部用駆動装置18aと、撮影部用駆動装置18aの回転軸に接続される撮影部用連結部材18bと備える。撮影部用連結部材18bに撮影部11が設置される。撮影部用駆動装置18aの回転軸が回転することで、撮影部用駆動装置18aに対する撮影部用連結部材18bの姿勢が変わるため、横枠4cに対する撮影部11の撮影方向が変更される。すなわち、
図4と同様に三方枠4がx軸の正の方向からみて時計回りに倒れ角度ψで倒れている場合、
図21に示すように撮影部用駆動装置18aの回転軸がx軸の正の方向からみて反時計回りに回転角度ψref=ψだけ回転することで撮影部11の撮影方向が床面に対して垂直に保たれる。
【0101】
図22は、実施形態4に係る三方枠取付支援システム10のブロック図である。本実施形態に係る三方枠取付支援システム10は、撮影方向制御部107をさらに備える。本実施形態に係る三方枠取付支援方法は、三方枠4の倒れ角度ψに基づいて撮影部11の撮影方向を調整する撮影方向調整工程をさらに備える。
【0102】
具体的には、撮影方向制御部107は、センサ情報取得部101より三方枠4のx軸周りの倒れ角度ψを取得し、撮影部用駆動装置18aの回転軸の回転角度指令を回転角度ψref=ψに設定し、撮影方向調整部18を構成する撮影部用駆動装置18aに送信する。三方枠4が敷居3に対して理想的な姿勢で取り付けられている場合は、回転角度指令は回転角度ψref=0に設定される。
【0103】
本実施形態において、説明が省かれている箇所は実施形態1~3と同じである。また、本発明では撮影方向調整部18を横枠4cに設置したが、縦枠4aや4bに設置しても同等の効果を得ることができる。
【0104】
上述の処理により、姿勢検出部17を用いて算出した三方枠4の倒れ角度と撮影方向調整部18を用いて撮影部11で敷居3を撮影することで、画像における敷居エリアを精度よく識別することができ、三方枠4を理想的な姿勢となるように敷居3に取り付けることができ、作業員の枠調整を支援することができる。
【符号の説明】
【0105】
1・・・床面
2a,2b・・・壁
3・・・敷居
4a,4b・・・縦枠
4c・・・横枠
4・・・三方枠
10・・・三方枠取付支援システム
11・・・撮影部
12・・・演算部
13・・・通知部
14~16・・・自動調整部
21a,21b,22a,22b・・・画像における敷居3の一端
23a,23b・・・画像における検出用マーク
101・・・センサ情報取得部
102・・・敷居エリア識別部
103・・・姿勢算出部
104・・・敷居エリア記録部
105・・・情報通信部
106・・・姿勢調整制御部
107・・・撮影方向制御部
201~212・・・実施形態2に係るステップ
231~240・・・実施形態3に係るステップ