特許 7330864 スクラップ画像撮影システム、スクラップ画像撮影方法、撮影支援装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-14

(45)【発行日】2023-08-22

(54)【発明の名称】スクラップ画像撮影システム、スクラップ画像撮影方法、撮影支援装置、及びプログラム

(51)【国際特許分類】

   G03B 15/00 20210101AFI20230815BHJP

   H04N 23/60 20230101ALI20230815BHJP

   H04N 23/695 20230101ALI20230815BHJP

【ＦＩ】

G03B15/00 T

H04N23/60

H04N23/695

H04N23/60 500

【請求項の数】 11

(21)【出願番号】P 2019203114

(22)【出願日】2019-11-08

(65)【公開番号】P2021076711

(43)【公開日】2021-05-20

【審査請求日】2022-08-02

(73)【特許権者】

【識別番号】504358148

【氏名又は名称】株式会社コベルコＥ＆Ｍ

(74)【代理人】

【識別番号】100125645

【弁理士】

【氏名又は名称】是枝 洋介

(74)【代理人】

【識別番号】100145609

【弁理士】

【氏名又は名称】楠屋 宏行

(74)【代理人】

【識別番号】100149490

【弁理士】

【氏名又は名称】羽柴 拓司

(72)【発明者】

【氏名】松永 博之

(72)【発明者】

【氏名】多田 隆良

(72)【発明者】

【氏名】植村 欣司

(72)【発明者】

【氏名】山内 太郎

(72)【発明者】

【氏名】▲高▼次 秀幸

(72)【発明者】

【氏名】原田 和茂

【審査官】殿岡 雅仁

(56)【参考文献】

【文献】特開平１１－２５５３３９（ＪＰ，Ａ）

【文献】特公昭４７－０４６９８３（ＪＰ，Ｂ１）

【文献】国際公開第２０１７／１４１３２１（ＷＯ，Ａ１）

【文献】特開２０１８－１４４９３８（ＪＰ，Ａ）

【文献】特開２０１８－１８７６０５（ＪＰ，Ａ）

【文献】特開２０１９－１１９５４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０３Ｂ １５／００ － １５／１６

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ － ２３／７６

Ｈ０４Ｎ ２３／９０ － ２３／９５９

Ｂ６６Ｃ １／００ － ３／２０

Ｂ６５Ｇ １／００ － １／２０

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

吊り具により鉄スクラップを持ち上げ、搬送するクレーンと、
前記吊り具が所定の高さに到達したことを検知する検知手段と、
前記吊り具が所定の高さに到達した場合に、前記吊り具を含む範囲を撮影して静止画像を生成するカメラと、
を備え、
前記検知手段は、前記吊り具を撮影して生成された動画像に基づいて、前記吊り具が所定の高さに到達したことを検知する、
スクラップ画像撮影システム。

【請求項2】

前記吊り具を撮影して前記動画像を生成するビデオカメラをさらに備える、
請求項１に記載のスクラップ画像撮影システム。

【請求項3】

前記検知手段は、学習用画像中の吊り具の範囲を教師データとして機械学習により予め構築された学習済みモデルを用い、前記動画像中の前記吊り具の範囲を推定する、
請求項１または２に記載のスクラップ画像撮影システム。

【請求項4】

前記検知手段は、鉄スクラップの持ち上げの有無をさらに教師データとして構築された前記学習済みモデルを用い、前記動画像中の前記鉄スクラップの持ち上げの有無をさらに推定し、前記鉄スクラップを持ち上げた前記吊り具が所定の高さに到達したことを検知する、
請求項３に記載のスクラップ画像撮影システム。

【請求項5】

前記検知手段は、前記動画像中に設定された判定線を前記吊り具が越えた場合に、前記吊り具が所定の高さに到達したことを検知する、
請求項１ないし４の何れかに記載のスクラップ画像撮影システム。

【請求項6】

前記動画像中の前記吊り具の位置に基づいて前記カメラの向きを調整する調整手段をさらに備える、
請求項１ないし５の何れかに記載のスクラップ画像撮影システム。

【請求項7】

前記静止画像から、前記吊り具の範囲を基準として画定される、前記吊り具の下方の範囲を少なくとも含む部分画像を抽出する加工手段をさらに備える、
請求項１ないし６の何れかに記載のスクラップ画像撮影システム。

【請求項8】

前記加工手段は、前記部分画像のうち、前記吊り具から下方に向かうに従って徐々に狭まる範囲を表示領域とし、他の範囲を非表示領域とするマスク加工を施す、
請求項７に記載のスクラップ画像撮影システム。

【請求項9】

吊り具により鉄スクラップを持ち上げ、搬送するクレーンの、前記吊り具が所定の高さに到達したことを検知し、
前記吊り具が所定の高さに到達した場合に、カメラにより前記吊り具を含む範囲を撮影して静止画像を生成する、
スクラップ画像撮影方法であって、
前記検知は、前記吊り具を撮影して生成された動画像に基づいて、前記吊り具が所定の高さに到達したことを検知する、
スクラップ画像撮影方法。

【請求項10】

吊り具により鉄スクラップを持ち上げ、搬送するクレーンの、前記吊り具が所定の高さに到達したことを検知する検知手段と、
前記吊り具が所定の高さに到達した場合に、前記吊り具を含む範囲を撮影して静止画像
を生成するカメラに撮影指令を出力する出力手段と、
を備え、
前記検知手段は、前記吊り具を撮影して生成された動画像に基づいて、前記吊り具が所定の高さに到達したことを検知する、
撮影支援装置。

【請求項11】

吊り具により鉄スクラップを持ち上げ、搬送するクレーンの、前記吊り具が所定の高さに到達したことを検知する検知手段、及び、
前記吊り具が所定の高さに到達した場合に、前記吊り具を含む範囲を撮影して静止画像を生成するカメラに撮影指令を出力する出力手段、
としてコンピュータを機能させ、
前記検知手段は、前記吊り具を撮影して生成された動画像に基づいて、前記吊り具が所定の高さに到達したことを検知する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スクラップ画像撮影システム、スクラップ画像撮影方法、撮影支援装置、及びプログラムに関する。

【背景技術】

【0002】

一般に、電炉メーカーのスクラップ受入現場では、リフティングマグネット等の吊り具により鉄スクラップをトラック又は船から持ち上げ、搬送し、スクラップヤードに降ろすところを検収員が観察し、鉄スクラップの等級割合などを判定する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

ところで、上記のような検収員による判定は、検収員の経験等によってばらつきが生じるおそれがあるため、記録として残すだけでなく、再判定などに用いることができるように、吊り具により搬送される鉄スクラップを撮影した画像を保存しておくことが求められている。

【0004】

しかしながら、吊り具により搬送される鉄スクラップを撮影した画像を動画像として保存する場合も、定期的に撮影した静止画像として保存する場合も、検収員による判定の対象となった鉄スクラップの画像を抽出することが困難である。また、動画像では、ボケやブレが生じることがある上、データ量が過大となってしまう。

【0005】

本発明は、上記課題に鑑みてなされたものであり、その主な目的は、吊り具により鉄スクラップが持ち上げられる毎に静止画像を生成することが可能なスクラップ画像撮影システム、スクラップ画像撮影方法、撮影支援装置、及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明の一の態様のスクラップ画像撮影システムは、吊り具により鉄スクラップを持ち上げ、搬送するクレーンと、前記吊り具が所定の高さに到達したことを検知する検知手段と、前記吊り具が所定の高さに到達した場合に、前記吊り具を含む範囲を撮影して静止画像を生成するカメラと、を備える。

【0007】

また、本発明の他の態様のスクラップ画像撮影方法は、吊り具により鉄スクラップを持ち上げ、搬送するクレーンの、前記吊り具が所定の高さに到達したことを検知し、前記吊り具が所定の高さに到達した場合に、カメラにより前記吊り具を含む範囲を撮影して静止画像を生成する。

【0008】

また、本発明の他の態様の撮影支援装置は、吊り具により鉄スクラップを持ち上げ、搬送するクレーンの、前記吊り具が所定の高さに到達したことを検知する検知手段と、前記吊り具が所定の高さに到達した場合に、前記吊り具を含む範囲を撮影して静止画像を生成するカメラに撮影指令を出力する出力手段と、を備える。

【0009】

また、本発明の他の態様のプログラムは、吊り具により鉄スクラップを持ち上げ、搬送するクレーンの、前記吊り具が所定の高さに到達したことを検知する検知手段、及び、前記吊り具が所定の高さに到達した場合に、前記吊り具を含む範囲を撮影して静止画像を生成するカメラに撮影指令を出力する出力手段、としてコンピュータを機能させる。

【発明の効果】

【0010】

本発明によれば、吊り具により鉄スクラップが持ち上げられる毎に静止画像を生成することが可能となる。

【図面の簡単な説明】

【0011】

【図1】スクラップ受入現場の例を示す図である。

【図2】実施形態に係るスクラップ画像撮影システムの構成例を示す図である。

【図3】データセットの例を示す図である。

【図4】学習用画像の例を示す図である。

【図5】学習フェーズの手順例を示すフロー図である。

【図6】推論フェーズの手順例を示すフロー図である。

【図7】ビデオカメラにより撮影される動画像及び推定結果の例を示す図である。

【図8】カメラにより撮影される静止画像の例を示す図である。

【図9】変形例に係る学習用画像の例を示す図である。

【図10】推論フェーズの手順例を示すフロー図である。

【図11】変形例に係るスクラップ画像撮影システムの構成例を示す図である。

【図12】推論フェーズの手順例を示すフロー図である。

【図13】加工処理の手順例を示すフロー図である。

【図14】加工処理を説明するための図である。

【図15】加工処理を説明するための図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、図面を参照しながら説明する。

【0013】

［システム概要］
図１は、実施形態に係るスクラップ画像撮影システム１００が設置されるスクラップ受入現場の例を示す図である。図２は、スクラップ画像撮影システム１００の構成例を示すブロック図である。

【0014】

スクラップ画像撮影システム１００は、電炉メーカー等のスクラップ受入現場においてクレーン９の吊り具９１により持ち上げられた鉄スクラップＳをカメラ３により撮影するためのシステムである。

【0015】

スクラップ受入現場では、クレーン９の吊り具９１により鉄スクラップＳがトラックＴから持ち上げられ、搬送され、スクラップヤードＹに降ろされる。鉄スクラップＳは、例えばヘビー屑であり、種々の大きさのものが混在している。

【0016】

クレーン９は、リフティングマグネット等の吊り具９１を備えており、クレーン運転室Ｒ内の運転者Ａによって操作される。吊り具９１は、リフティングマグネットに限らず、グラブバケット等であってもよい。

【0017】

スクラップ受入現場において、トラックＴが進入する車両進入エリアとスクラップヤードＹとの間には壁Ｗが設置されている。トラックＴの荷台で鉄スクラップＳを保持した吊り具９１は、壁Ｗを超える高さまで上昇し、スクラップヤードＹへ移動する。

【0018】

スプラップ受入現場には、吊り具９１を撮影して動画像を生成するビデオカメラ２と、吊り具９１を撮影して静止画像を生成するカメラ３（スチルカメラ）が設置されている。ビデオカメラ２及びカメラ３は、スクラップ画像撮影システム１００の一部である。

【0019】

ビデオカメラ２は、トラックＴの荷台及びその上方の空間を撮影範囲に含むように設置されており、トラックＴの荷台から鉄スクラップＳを持ち上げる吊り具９１を撮影する（図７参照）。また、ビデオカメラ２は、スクラップヤードＹ及び壁Ｗの上端も撮影範囲に含むように設置されている。

【0020】

カメラ３は、所定の高さに位置する吊り具９１を含む範囲を撮影するように設置されている。具体的には、カメラ３は、所定の高さに位置する吊り具９１及び吊り具９１により持ち上げられた鉄スクラップＳを撮影範囲に含むように設置されている。カメラ３は、ビデオカメラ２の撮影範囲よりも狭い範囲を拡大して撮影する。

【0021】

カメラ３は、複数あってもよい。例えば、吊り具９１により持ち上げられた鉄スクラップＳを互いに異なる角度から撮影するように複数のカメラ３を設けてもよいし、壁Ｗの幅方向における吊り具９１の位置に応じて使用するカメラ３を使い分けるように複数のカメラ３を設けてもよい。

【0022】

カメラ３は、吊り具９１により持ち上げられた鉄スクラップＳをより多く撮影できるように、吊り具９１により持ち上げられた鉄スクラップＳを側方から水平に又は下方から上方に向かって撮影することが好ましい。

【0023】

クレーン運転室Ｒ内には、カメラ３により撮影された画像を表示する表示部４が設置されている。運転者Ａは、検収員を兼ねており、吊り具９１に持ち上げられた実際の鉄スクラップＳと表示部４に表示された鉄スクラップＳとを観察して等級割合などを判定する。

【0024】

また、遠隔の事務所にも表示部４を設置して、事務所にいる１又は複数の検収員Ｂにより、表示部４に表示された鉄スクラップＳを観察して等級割合などを判定してもよい。

【0025】

なお、スクラップ画像撮影システム１００は、スクラップ加工会社におけるスクラップ出荷現場に適用されてもよい。スクラップ出荷現場では、クレーン９の吊り具９１により鉄スクラップＳがスクラップヤードＹから持ち上げられ、搬送され、トラックＴに積込まれる。

【0026】

図２に示すように、スクラップ画像撮影システム１００は、撮影支援装置１、ビデオカメラ２、カメラ３（スチルカメラ）、データベース５、及び学習装置６を備えている。これらの機器は、例えばＬＡＮ等の通信ネットワークを介して相互に通信可能である。

【0027】

撮影支援装置１は、制御部１０を備えている。制御部１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。制御部１０のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。

【0028】

制御部１０は、取得部１１、検知部１２、及び出力部１３を備えている。これらの機能部は、制御部１０のＣＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することによって実現される。

【0029】

プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。

【0030】

学習装置６も、撮影支援装置１と同様に制御部６０を備えている。制御部６０は、取得部６１、学習部６２、及び保存部６３を備えている。なお、学習装置６は、１又は複数のサーバコンピュータで構成されてもよい。

【0031】

撮影支援装置１及び学習装置６は、データベース５にアクセス可能である。データベース５には、学習装置６により構築された学習済みモデル５１が、撮影支援装置１により読出し可能に保存されている。

【0032】

ビデオカメラ２は、鉄スクラップＳを搬送する吊り具９１を撮影し、生成した動画像を撮影支援装置１に出力する。カメラ３は、撮影支援装置１からの撮影指令に応じて鉄スクラップＳを搬送する吊り具９１を撮影し、静止画像を生成する。

【0033】

［学習フェーズ］
図３は、学習フェーズに用いられるデータセットの例を示す図である。図４は、データセットに含まれる学習用画像Ｌの例を示す図である。学習フェーズに用いられるデータセットは、学習用画像、ラベル、及び範囲を含んでいる。

【0034】

「ラベル」は、学習用画像Ｌ中の範囲Ｎに含まれる物体が吊り具９１であることを表す。「範囲」は、学習用画像Ｌ中の吊り具９１を含む範囲Ｎを座標により表す。「ラベル」及び「範囲」は、教師データであり、例えばユーザによって判断され、付与される。

【0035】

図４に示すように、学習用画像Ｌは、例えば鉄スクラップＳを持ち上げる吊り具９１の画像である。吊り具９１に持ち上げられた鉄スクラップＳは、下方に向かうに従って徐々に狭まる略逆円錐形状（側面視において略逆三角形状）となる。学習用画像Ｌには、後述する加工処理が施されてもよい。なお、学習用画像Ｌは、鉄スクラップＳを持ち上げていない吊り具９１の画像を含んでもよい。

【0036】

また、学習用画像Ｌは、スクラップ受入現場に設置されたカメラ３で撮影された画像を含んでもよいし、ビデオカメラ２で撮影された画像を含んでもよい。また、学習用画像Ｌは、他の場所において他のカメラで撮影された他の吊り具の画像を含んでもよい。

【0037】

図５は、学習装置６において実現される学習フェーズの手順例を示すフロー図である。学習装置６の制御部６０は、同図に示す処理をプログラムに従って実行することにより、取得部６１、学習部６２、及び保存部６３として機能する。

【0038】

まず、制御部６０は、学習用画像、ラベル、及び範囲を含むデータセットを多数作成する（Ｓ１１、図３及び図４参照）。

【0039】

次に、制御部６０は、データセットのうちの一部のデータセットを、トレーニングデータとして取得する（Ｓ１２；取得部６１としての処理）。

【0040】

次に、制御部６０は、取得したトレーニングデータを用いて機械学習を実行する（Ｓ１３；学習部６２としての処理）。具体的には、制御部６０は、学習用画像を入力データとし、ラベル及び範囲を教師データとして、画像から吊り具の範囲を推定するための学習済みモデルを機械学習により構築する。

【0041】

学習済みモデルは、例えばYOLO（You Only Look Once）、SSD（Single Shot MultiBox Detector）又はFaster R-CNN等の物体検出モデルである。

【0042】

次に、制御部６０は、データセットのうちのトレーニングデータとは別の一部のデータセットを、テストデータとして取得し（Ｓ１４）、取得したテストデータを用いて学習済みモデルを評価する（Ｓ１５）。

【0043】

その後、制御部６０は、評価が所定以上であった学習済みモデルをデータベース５に保存し（Ｓ１６）、学習フェーズを終了する。

【0044】

［推論フェーズ］

【0045】

図６は、撮影支援装置１において実現される、実施形態に係るスクラップ画像撮影方法としての推論フェーズの手順例を示すフロー図である。撮影支援装置１の制御部１０は、同図に示す処理をプログラムに従って実行することにより、取得部１１、検知部１２、及び出力部１３として機能する。

【0046】

まず、制御部１０は、ビデオカメラ２から動画像を取得する（Ｓ２１；取得部１１としての処理）。

【0047】

次に、制御部１０は、学習フェーズで構築された学習済みモデルを用い、ビデオカメラ２から取得された動画像中の吊り具９１の範囲を推定する（Ｓ２２）。具体的には、制御部１０は、動画像に含まれる複数の静止画像（フレーム）のそれぞれを入力データとして順番に学習済みモデルに入力する。

【0048】

次に、制御部１０は、推定された吊り具９１の範囲に基づいて、吊り具９１が所定の高さに到達したか否かを判定する（Ｓ２３；検知部１２としての処理）。具体的には、制御部１０は、吊り具９１が上昇して所定の高さに到達したか否かを判定する。

【0049】

図７は、ビデオカメラ２により撮影される動画像Ｖの例を示す図である。動画像Ｖには、吊り具９１が鉄スクラップＳをトラックＴの荷台から持ち上げ、壁Ｗを超え、スクラップヤードＹに搬送する様子が映っている。

【0050】

動画像Ｖには、推定結果として、吊り具９１を囲む範囲Ｍと、吊り具９１であることの確度を表す数値とが付されている。さらに、動画像Ｖには、吊り具９１を囲む範囲Ｍの中心点の軌跡Ｋも付されている。

【0051】

動画像Ｖには、吊り具９１が所定の高さに到達したか否かを判定するための判定線Ｌが設定されている。判定線Ｌは、例えばユーザの操作によって任意の位置に設定される。図示の例では、判定線Ｌは、壁Ｗの上端に沿って設定されている。

【0052】

動画像Ｖ中の吊り具９１の範囲Ｍの中心点又は全体が判定線Ｌを下側から上側に超えた場合に、吊り具９１が所定の高さに到達したと判定される。

【0053】

図６の説明に戻り、吊り具９１が所定の高さに到達した場合（Ｓ２３：ＹＥＳ）、制御部１０は、カメラ３に撮影指令を出力し（Ｓ２４；出力部１３としての処理）、カメラ３により生成された静止画像を保存する（Ｓ２５）。カメラ３は、撮影指令を受けると、吊り具９１及びそれに持ち上げられた鉄スクラップＳを撮影して、静止画像を生成する。

【0054】

すなわち、吊り具９１がトラックＴの荷台からスクラップヤードＹに向かうため判定線Ｌを下側から上側に横切った場合に、カメラ３による静止画像の撮影が行われる。一方、吊り具９１がスクラップヤードＹからトラックＴの荷台に向かうため判定線Ｌを上側から下側に横切った場合には、カメラ３による静止画像の撮影は行われれない。

【0055】

なお、制御部１０が撮影指令を出力するタイミングは、吊り具９１が所定の高さに到達した（吊り具９１の範囲Ｍが判定線Ｌを超えた）直後であってもよいし、吊り具９１が所定の高さに到達してから所定時間経過後であってもよい。

【0056】

制御部１０は、トラックＴの荷台から全ての鉄スクラップＳを搬送し終わるまで、上記Ｓ２１～Ｓ２５の処理を繰り返す（Ｓ２６）。全ての鉄スクラップＳを搬送し終えたか否かは、例えば運転者Ａ等によって判断され、入力される。

【0057】

以上に説明した実施形態によれば、吊り具９１が鉄スクラップＳを持ち上げる毎にカメラ３により撮影された複数の静止画像を得ることが可能となる。

【0058】

このように得られる複数の静止画像は、例えば、等級割合などの判定結果を記載した検収伝票に添付される。これにより、検収における判定の根拠を示すことができ、判定結果の信頼性を向上させることが可能となる。また、複数の静止画像を保存しておくことで、検収における判定の根拠を後で見直すことも可能となる上、異物等の受入除外品が混入していた場合に証拠として利用することも可能となる。

【0059】

図８は、カメラ３により撮影される静止画像Ｃの例を示す図である。カメラ３により撮影された静止画像Ｃには、吊り具９１及びそれに持ち上げられた鉄スクラップＳが映っている。静止画像Ｃでは、動画像Ｖ（図７参照）よりも吊り具９１及びそれに持ち上げられた鉄スクラップＳが画像中に占める範囲が大きい。また、静止画像Ｃは、動画像Ｖよりも解像度が高く、ボケやブレが少ない。

【0060】

これに限らず、高解像度の動画像を撮影することが可能なビデオカメラ２であれば、動画像に含まれる複数の静止画像（フレーム）から、吊り具９１が所定の高さに到達したときの静止画像を抽出するように構成してもよい。すなわち、ビデオカメラ２を上記態様における「カメラ」としてもよい。

【0061】

［第１変形例］
図９は、第１変形例に係る学習フェーズに用いられる学習用画像の例を示す図である。図１０は、第１変形例に係る推論フェーズの手順例を示すフロー図である。上記実施形態と重複する構成又は手順については、同番号を付すことで詳細な説明を省略する。

【0062】

図９に示すように、本例に係る学習フェーズに用いられるデータセットは、学習用画像、ラベル、及び範囲に加えて、スクラップ有無をさらに含んでいる。「スクラップ有無」は、吊り具９１が鉄スクラップＳを持ち上げているか否かを表す。

【0063】

学習装置６の制御部６０（図２参照）は、学習用画像を入力データとし、ラベル、範囲及びスクラップ有無を教師データとして、画像から吊り具の範囲及び鉄スクラップの持ち上げの有無を推定するための学習済みモデルを機械学習により構築する。

【0064】

例えば、学習済みモデルの鉄スクラップの持ち上げの有無を表す出力層にはソフトマックス関数が用いられ、鉄スクラップの持ち上げの有無の確度が０～１の間の数値として出力される。

【0065】

図１０に示すように、本例に係る推論フェーズにおいて、制御部１０は、学習フェーズで構築された学習済みモデルを用い、ビデオカメラ２から取得された動画像中の吊り具９１の範囲及び吊り具９１による鉄スクラップＳの持ち上げの有無を推定する（Ｓ３７）。

【0066】

次に、制御部１０は、吊り具９１が鉄スクラップＳを持ち上げており（Ｓ３８：ＹＥＳ）、且つ、吊り具９１が所定の高さに到達した場合に（Ｓ２３：ＹＥＳ）、カメラ３に撮影指令を出力し（Ｓ２４）、カメラ３により生成された静止画像を保存する（Ｓ２５）。

【0067】

このように、鉄スクラップＳを持ち上げている吊り具９１が所定の高さに到達したことを検知してカメラ３で撮影することにより、鉄スクラップＳを持ち上げていない吊り具９１をカメラ３で撮影してしまうことを抑制することが可能となる。

【0068】

［第２変形例］
図１１は、第２変形例に係るスクラップ画像撮影システム１００の構成例を示す図である。図１２は、第２変形例に係る推論フェーズの手順例を示すフロー図である。上記実施形態と重複する構成又は手順については、同番号を付すことで詳細な説明を省略する。

【0069】

図１１に示すように、本例に係るスクラップ画像撮影システム１００は、カメラ３の向きを調整する調整部７をさらに備えている。調整部７は、例えば複数軸のモータを含んでいる。また、撮影支援装置１の制御部１０は、吊り具９１の位置を算出する位置算出部１４と、調整部７を駆動してカメラ３の向きを調整する方向調整部１５と、をさらに含んでいる。

【0070】

図１２に示すように、本例に係る推論フェーズにおいて、制御部１０は、吊り具９１が所定の高さに到達した場合（Ｓ２３：ＹＥＳ）、推定結果に基づいて吊り具９１の位置を算出し（Ｓ４７；位置算出部１４としての処理）、吊り具９１を向くようにカメラ３の撮影方向を調整した上で（Ｓ４８；方向調整部１５としての処理）、カメラ３に撮影指令を出力する（Ｓ２４）。

【0071】

このように、吊り具９１を向くようにカメラ３の撮影方向を調整することにより、静止画像において吊り具９１及びそれに持ち上げられた鉄スクラップＳが見切れてしまうことを抑制することが可能となる。

【0072】

［第３変形例］
図１３は、カメラ３により生成された静止画像Ｃに対する加工処理の手順例を示すフロー図である。図１４及び図１５は、加工処理を説明するための図である。撮影支援装置１の制御部１０は、同図に示す処理をプログラムに従って実行することにより、加工手段として機能する。

【0073】

まず、制御部１０は、カメラ３から静止画像Ｃを取得する（Ｓ５１）。図１４（ａ）に示すように、静止画像Ｃに含まれる鉄スクラップＳは、吊り具９１から下方に向かうに従って徐々に狭まる略逆三角形状となっている。

【0074】

次に、制御部１０は、静止画像Ｃにおける吊り具９１の範囲Ｍを検出する（Ｓ５２）は、吊り具９１の範囲Ｍの検出は、上記Ｓ２２と同様に、学習済みモデルを用いた推定により実現される。

【0075】

次に、制御部１０は、静止画像Ｃから吊り具９１の範囲Ｍを基準として画定される部分画像ＣＯを切り出す（Ｓ５３）。図１４（ｂ）に示すように、部分画像ＣＯは、吊り具９１の下方の範囲を少なくとも含むように画定される。

【0076】

具体的には、部分画像ＣＯの左右端は、吊り具９１の左右端よりもやや外側に位置している。部分画像ＣＯの横幅は、吊り具９１の横幅よりもやや広い程度（例えば１．１～１．５倍程度）とされる。

【0077】

また、部分画像ＣＯの上端は、吊り具９１の上端の位置とされる。部分画像ＣＯの下端は、吊り具９１の下端から所定の高さだけ下方に位置している。具体的には、部分画像ＣＯの下端は、部分画像ＣＯと同じ横幅の、吊り部９１の下端と重なる底辺を持ち、下方に向かうに従って徐々に狭まる逆三角形（例えば、逆直角三角形など）の範囲ＭＮの下端（頂点）の位置とされる。

【0078】

次に、制御部１０は、部分画像ＣＯのうち、逆三角形の範囲ＭＮを表示領域とし、その他の範囲ＭＦを非表示領域とするマスク処理を行う（Ｓ５４）。マスク処理は、逆三角形の範囲ＭＮの左右に隣接する範囲ＭＦを例えば黒く塗りつぶすことによって実現される。又は、範囲ＭＦを透過としてもよい。

【0079】

以上により、加工処理が終了する。このようにして得られる画像は、上記図８に示す静止画像Ｃに代えて、検収伝票に添付されたり、証拠として保存される。これによれば、画像データの保存容量の低減を図ることが可能となる。また、マスク処理が施されているので、着目する必要のない背景部分を除外することも可能となる。

【0080】

なお、表示領域とする範囲ＭＮの形状は、逆三角形に限らず、例えば図１５（ｃ），（ｄ）に示すように、下方に向かうに従って徐々に狭まる逆台形状であってもよいし、図１５（ｅ），（ｆ）に示すように矩形状であってもよい。また、図１５（ｂ），（ｄ），（ｆ）に示すように、表示領域とする範囲ＭＮの上方の吊り具９１及びその両側も、非表示領域として黒く塗りつぶしてもよい。

【0081】

以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。

【0082】

上記実施形態では、学習済みモデルを用いて吊り具９１が所定の高さに到達したか否かを判定したが、これに限らず、例えば吊り具９１の外周面に光学式マークを付しておき、ビデオカメラ２により生成される動画像中で光学式マークを認識することにより、吊り具９１が所定の高さに到達したか否かを判定してもよい。

【0083】

また、上記実施形態では、ビデオカメラ２により生成される動画像に基づいて吊り具９１が所定の高さに到達したか否かを判定したが、これに限らず、例えばクレーン９にレーザー距離計等を設置することによって吊り具９１が所定の高さに到達したか否かを判定してもよい。

【符号の説明】

【0084】

１ 撮影支援装置、１０ 制御部、１１ 取得部、１２ 検知部、１３ 出力部、１４ 位置算出部、１５ 方向調整部、２ ビデオカメラ、３ カメラ、４ 表示部、５ データベース、５１ 学習済みモデル、６ 学習装置、６０ 制御部、６１ 取得部、６２ 学習部、６３ 保存部、７ 調整部、９ クレーン、９１ 吊り具、１００ スクラップ画像撮影システム、Ｙ スクラップヤード、Ｓ 鉄スクラップ、Ｔ トラック、Ｗ 壁、Ｒ クレーン運転室、Ａ 運転者（検収員）、Ｌ 学習用画像、Ｎ 範囲、Ｖ 動画像、Ｍ 範囲、Ｋ 軌跡、Ｌ 判定線、Ｃ 静止画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】