ホーム > 特許ランキング > ＪＦＥプラントエンジ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-02
(45)【発行日】2024-04-10
(54)【発明の名称】計数装置及び計数方法
(51)【国際特許分類】
G06M 9/00 20060101AFI20240403BHJP
G06T 1/00 20060101ALI20240403BHJP
G06T 7/00 20170101ALI20240403BHJP
【ＦＩ】
G06M9/00 Z
G06T1/00 400C
G06T7/00 610
【請求項の数】
18
(21)【出願番号】P 2020094396
(22)【出願日】2020-05-29
(65)【公開番号】P2020201946
(43)【公開日】2020-12-17
【審査請求日】2022-11-24
(31)【優先権主張番号】P 2019105424
(32)【優先日】2019-06-05
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000200334
【氏名又は名称】ＪＦＥプラントエンジ株式会社
(74)【代理人】
【識別番号】100103850
【弁理士】
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100105854
【弁理士】
【氏名又は名称】廣瀬 一
(74)【代理人】
【識別番号】100116012
【弁理士】
【氏名又は名称】宮坂 徹
(74)【代理人】
【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】池田 孝之
(72)【発明者】
【氏名】齋木 順一
(72)【発明者】
【氏名】大井 卓見
【審査官】平野 真樹
(56)【参考文献】
【文献】特開２０１８－０２２３９５（ＪＰ，Ａ）
【文献】特開２０１８－１０６３２５（ＪＰ，Ａ）
【文献】特開２０１２－１７３９０１（ＪＰ，Ａ）
【文献】特開２０１４－２１９８４２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｍ ９／００－９／０２
Ｇ０６Ｔ １／００，７／００
(57)【特許請求の範囲】
【請求項1】
計数対象物の画像を予め定めた所定方向側から撮像する複数の撮像装置と、複数の前記撮像装置で撮像した画像である検出用画像から前記計数対象物の画像を検出し、検出した前記計数対象物の画像の位置及び検出結果が妥当であるかの評点を演算する演算部と、
前記検出用画像の前記演算部で演算した位置に目印を重ねた目印付画像、及び前記演算部で演算した評点を示す情報を表示装置に表示させる表示制御部と、を備え、
前記目印付画像は、前記評点が第１閾値以上であることを示す色が付された第１目印からなる第１目印群を含み、
前記表示制御部は、複数の前記撮像装置により撮像された複数の前記検出用画像を基に得られた前記第１目印群間で、前記第１目印の位置の比較を行い不整合の有無を判定し、不整合があると判定された前記第１目印を第３目印とすることで、前記第３目印からなる第３目印群を生成し、生成した前記第３目印群を表示する計数装置。
【請求項2】
前記目印付画像は、前記評点が前記第１閾値より小さい第２閾値以上で且つ前記第１閾値未満であることを示す色が付された第２目印からなる第２目印群をさらに含む請求項１に記載の計数装置。
【請求項3】
前記第２目印の位置及び前記第３目印の位置の何れかに前記計数対象物の画像が存在するか否かの判定の結果をユーザに入力させる入力装置を備え、前記表示制御部は、前記表示装置に表示させた前記目印付画像毎に、前記入力装置を介してユーザによる判定結果を取得し、取得した判定結果に基づき前記計数対象物の画像が存在すると判定された前記第２目印及び前記第３目印を第４目印とすることで、前記第４目印からなる第４目印群を表示する請求項２に記載の計数装置。
【請求項4】
前記評点を示す情報は、前記評点を示す数値、及び前記評点を示す目印の色の少なくとも何れか一つである請求項１から３の何れか１項に記載の計数装置。
【請求項5】
前記不整合の判定に用いる前記第１目印の位置は、複数の前記撮像装置による撮像結果を予め定めた所定の平面に投影して得られる、投影後の前記検出用画像を基に得られたものである請求項１から４の何れか１項に記載の計数装置。
【請求項6】
前記表示制御部は、撮像から得られた前記第１目印群、前記第２目印群及び前記第３目印群の少なくとも一つと、前記検出用画像とを切り替えて前記表示装置に表示させる表示機能、及び前記目印付画像と前記検出用画像とを切り替えて前記表示装置に表示させる表示機能の少なくとも一方の表示機能を有する、請求項２を直接的又は間接的に引用する請求項３から５の何れか１項に記載の計数装置。
【請求項7】
前記入力装置でユーザが入力した判定結果を記憶装置に記憶させる記憶制御部を備える、請求項３又は請求項３を直接的若しくは間接的に引用する請求項４から６の何れか１項に記載の計数装置。
【請求項8】
前記記憶制御部は、更に、前記検出用画像、前記第１目印群、前記第２目印群、前記第３目印群、前記計数対象物の本来あるべき員数、前記計数対象物の管理番号、前記計数対象物のロット番号、前記計数対象物のスペック及び生産管理用データの少なくとも何れかを前記記憶装置に記憶させる、請求項２を間接的に引用する請求項７に記載の計数装置。
【請求項9】
前記表示制御部は、撮像から得た前記第１目印群に前記第４目印群を重ね合わせる表示機能、撮像から得た前記第１目印群と前記第４目印群とを切り替えて前記表示装置に表示させる表示機能、複数の前記撮像装置による撮像から得られた複数の前記第１目印群を重ね合わせる表示機能及び複数の前記撮像装置による撮像から得られた複数の前記第１目印群を切り替えて前記表示装置に表示させる表示機能の少なくともいずれか一つの表示機能を有する、請求項８に記載の計数装置。
【請求項10】
前記表示制御部は、撮像から得られた前記第１目印群及び前記第４目印群の少なくとも一方と、前記検出用画像とを切り替えて前記表示装置に表示させる表示機能、及び撮像から得られた前記第１目印群及び前記第４目印群の少なくとも一方を前記検出用画像に重ね合わせて前記表示装置に表示させる表示機能の少なくとも一方の表示機能を有する、請求項８又は９に記載の計数装置。
【請求項11】
複数の前記撮像装置により撮像される複数の前記検出用画像のうち、１つの検出用画像における、前記１つの検出用画像の前記第１目印と、前記１つの検出用画像を元に得られた前記第４目印との総数と、他の検出用画像における、前記他の検出用画像の前記第１目印と、前記他の検出用画像を元に得られた前記第４目印との総数とが合致しているかを判定する第１合致判定部を備える、請求項３又は請求項３を直接的若しくは間接的に引用する請求項４から８の何れか１項に記載の計数装置。
【請求項12】
複数の前記撮像装置により撮像される複数の前記検出用画像のうち、少なくとも１つの検出用画像において、前記検出用画像の前記第１目印と、前記検出用画像を元に得られた前記第４目印との総数である前記計数対象物の計数と、前記計数対象物の本来あるべき員数とが合致しているか否かを判定する第２合致判定部を備える、請求項３又は請求項３を直接的若しくは間接的に引用する請求項４から１１の何れか１項に記載の計数装置。
【請求項13】
前記表示制御部は、前記所定方向側から撮像された前記検出用画像を基に得られた前記目印付画像を所定時間毎に自動的に切り替えて、或いは手動切替操作機能により切り替えて前記表示装置に表示させる請求項１から１２の何れか１項に記載の計数装置。
【請求項14】
前記表示制御部は、前記所定方向側から撮像された前記検出用画像を基に得られた前記目印付画像のうちのユーザが選択した前記目印付画像のみを前記切り替えに用いる請求項１３に記載の計数装置。
【請求項15】
前記表示制御部は、更に、前記計数対象物の本来あるべき員数、前記計数対象物の管理番号、前記計数対象物のロット番号及び前記計数対象物のスペック、生産管理用データの少なくとも何れかを前記表示装置に表示させる請求項１から１４の何れか１項に記載の計数装置。
【請求項16】
前記表示制御部は、前記表示装置に表示されている前記目印付画像を、前記検出用画像に一時的に切り替え可能である請求項１から１５の何れか１項に記載の計数装置。
【請求項17】
前記演算部は、前記検出用画像に基づき、推定モデルのアルゴリズムを用いて、前記検出用画像内において前記計数対象物の画像が存在する位置及び前記計数対象物の検出結果が妥当であるかを示す評点を推論する請求項１から１６の何れか１項に記載の計数装置。
【請求項18】
複数の撮像装置、演算部及び表示制御部を備える計数装置で実行され、複数の前記撮像装置が、計数対象物の画像を予め定めた所定方向側から撮像するステップと、
前記演算部が、前記撮像するステップで撮像した画像である検出用画像から前記計数対象物の画像を検出し、検出した前記計数対象物の画像の位置及び検出結果が妥当であるかの評点を演算するステップと、
前記表示制御部が、前記検出用画像の前記演算部で演算した位置に目印を重ねた目印付画像、及び前記評点を示す情報を表示装置に表示させるステップとを含み、
前記目印付画像は、前記評点が第１閾値以上であることを示す色が付された第１目印からなる第１目印群を含み、
前記目印付画像及び前記情報を前記表示装置に表示させるステップでは、複数の前記撮像装置により撮像された複数の前記検出用画像を基に得られた前記第１目印群間で、前記第１目印の位置の比較を行い不整合の有無を判定し、不整合があると判定された前記第１目印を第３目印とすることで、前記第３目印からなる第３目印群を生成し、生成した前記第３目印群を表示する計数方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、計数装置及び計数方法に関する。
【背景技術】
【0002】
従来、例えば、計数対象物を撮像し、撮像して得られた画像に画像処理を施して、計数対象物の員数を計数する計数装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１２－１７３９０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような計数装置としては、ユーザが、画像処理に用いた画像を見て、誤検出や未検出がなかったかを確認するものもある。しかしながら、誤検出や未検出がなかったかを確認する作業では、ユーザが画像全体を見ることが必要となり、ユーザに重負荷となる。
本発明は、上記の問題点に着目してなされたもので、ユーザの負荷を軽減可能な計数装置及び計数方法を提供することを目的とする。
本発明は、上記の問題点に着目してなされたもので、ユーザの負荷を軽減可能な計数装置及び計数方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本発明の一態様に係る計数装置は、計数対象物の画像を撮像する撮像装置と、上記撮像装置で撮像した画像である検出用画像から上記計数対象物の画像を検出し、検出した上記計数対象物の画像の位置及び検出結果が妥当であるかの評点を演算する演算部と、上記検出用画像の上記演算部で演算した位置に目印を重ねた目印付画像、及び上記演算部で演算した評点を示す情報を表示装置に表示させる表示制御部と、を備える。
【0006】
上記計数装置において、上記評点を示す情報は、上記評点を示す数値、及び上記評点を示す目印の色の少なくとも何れか一つである。
上記計数装置において、上記目印付画像は、上記評点が第１閾値以上であることを示す色が付された第１目印からなる第１目印群、及び上記評点が上記第１閾値より小さい第２閾値以上で且つ上記第１閾値未満であることを示す色が付された第２目印からなる第２目印群の少なくとも一方を含む。
上記計数装置において、上記目印付画像は、上記評点が第１閾値以上であることを示す色が付された第１目印からなる第１目印群、及び上記評点が上記第１閾値より小さい第２閾値以上で且つ上記第１閾値未満であることを示す色が付された第２目印からなる第２目印群の少なくとも一方を含む。
【0007】
上記計数装置において、予め定めた所定方向側から撮像可能な複数の上記撮像装置を備え、上記目印付画像は、少なくとも上記第１目印群を含み、上記表示制御部は、複数の上記撮像装置により撮像された複数の上記検出用画像を基に得られた上記第１目印群間で、上記第１目印の位置の比較を行い不整合の有無を判定し、不整合があると判定された上記第１目印を第３目印とすることで、上記第３目印からなる第３目印群を生成し、生成した上記第３目印群を表示する。
上記計数装置において、上記不整合の判定に用いる上記第１目印の位置は、上記撮像装置による撮像結果を予め定めた所定の平面に投影して得られる、投影後の上記検出用画像を基に得られたものである。
上記計数装置において、上記目印付画像は、上記第２目印群を含み、上記第２目印の位置及び上記第３目印の位置の何れかに上記計数対象物の画像が存在するか否かの判定の結果をユーザに入力させる入力装置を備え、上記表示制御部は、上記表示装置に表示させた上記目印付画像毎に、上記入力装置を介してユーザによる判定結果を取得し、取得した判定結果に基づき上記計数対象物の画像が存在すると判定された上記第２目印及び上記第３目印を第４目印とすることで、上記第４目印からなる第４目印群を表示する。
上記計数装置において、上記不整合の判定に用いる上記第１目印の位置は、上記撮像装置による撮像結果を予め定めた所定の平面に投影して得られる、投影後の上記検出用画像を基に得られたものである。
上記計数装置において、上記目印付画像は、上記第２目印群を含み、上記第２目印の位置及び上記第３目印の位置の何れかに上記計数対象物の画像が存在するか否かの判定の結果をユーザに入力させる入力装置を備え、上記表示制御部は、上記表示装置に表示させた上記目印付画像毎に、上記入力装置を介してユーザによる判定結果を取得し、取得した判定結果に基づき上記計数対象物の画像が存在すると判定された上記第２目印及び上記第３目印を第４目印とすることで、上記第４目印からなる第４目印群を表示する。
【0008】
上記計数装置において、上記表示制御部は、撮像から得られた上記第１目印群、上記第２目印群及び上記第３目印群の少なくとも一つと、上記検出用画像とを切り替えて上記表示装置に表示させる表示機能、及び上記目印付画像と上記検出用画像とを切り替えて上記表示装置に表示させる表示機能の少なくとも一方の表示機能を有してもよい。
上記計数装置において、上記入力装置でユーザが入力した判定結果を記憶装置に記憶させる記憶制御部を備える。
上記計数装置において、上記入力装置でユーザが入力した判定結果を記憶装置に記憶させる記憶制御部を備える。
【0009】
上記計数装置において、上記記憶制御部は、更に、上記検出用画像、上記第１目印群、上記第２目印群、上記第３目印群、上記計数対象物の本来あるべき員数、上記計数対象物の管理番号、上記計数対象物のロット番号、上記計数対象物のスペック及び生産管理用データの少なくとも何れかを上記記憶装置に記憶させる
上記計数装置において、上記表示制御部は、撮像から得た上記第１目印群に上記第４目印群を重ね合わせる表示機能、撮像から得た上記第１目印群と上記第４目印群とを切り替えて上記表示装置に表示させる表示機能、複数の上記撮像装置による撮像から得られた複数の上記第１目印群を重ね合わせる表示機能及び複数の上記撮像装置による撮像から得られた複数の上記第１目印群を切り替えて上記表示装置に表示させる表示機能の少なくともいずれか一つの表示機能を有する。
上記計数装置において、上記表示制御部は、撮像から得た上記第１目印群に上記第４目印群を重ね合わせる表示機能、撮像から得た上記第１目印群と上記第４目印群とを切り替えて上記表示装置に表示させる表示機能、複数の上記撮像装置による撮像から得られた複数の上記第１目印群を重ね合わせる表示機能及び複数の上記撮像装置による撮像から得られた複数の上記第１目印群を切り替えて上記表示装置に表示させる表示機能の少なくともいずれか一つの表示機能を有する。
【0010】
上記計数装置において、上記表示制御部は、撮像から得られた上記第１目印群及び上記第４目印群の少なくとも一方と、上記検出用画像とを切り替えて上記表示装置に表示させる表示機能、及び撮像から得られた上記第１目印群及び上記第４目印群の少なくとも一方を上記検出用画像に重ね合わせて上記表示装置に表示させる表示機能の少なくとも一方の表示機能を有する。
上記計数装置において、複数の上記撮像装置により撮像される複数の上記検出用画像のうち、１つの検出用画像における、上記１つの検出用画像の上記第１目印と、上記１つの検出用画像を元に得られた上記第４目印との総数と、他の検出用画像における、上記他の検出用画像の上記第１目印と、上記他の検出用画像を元に得られた上記第４目印との総数とが合致しているかを判定する第１合致判定部を備える。
上記計数装置において、複数の上記撮像装置により撮像される複数の上記検出用画像のうち、１つの検出用画像における、上記１つの検出用画像の上記第１目印と、上記１つの検出用画像を元に得られた上記第４目印との総数と、他の検出用画像における、上記他の検出用画像の上記第１目印と、上記他の検出用画像を元に得られた上記第４目印との総数とが合致しているかを判定する第１合致判定部を備える。
【0011】
上記計数装置において、複数の上記撮像装置により撮像される複数の上記検出用画像のうち、少なくとも１つの検出用画像において、上記検出用画像の上記第１目印と、上記検出用画像を元に得られた上記第４目印との総数である上記計数対象物の計数と、上記計数対象物の本来あるべき員数とが合致しているか否かを判定する第２合致判定部を備える。
上記計数装置において、上記表示制御部は、上記所定方向側から撮像された上記検出用画像を基に得られた上記目印付画像を所定時間毎に自動的に切り替えて、或いは手動切替操作機能により切り替えて上記表示装置に表示させる。
上記計数装置において、上記表示制御部は、上記所定方向側から撮像された上記検出用画像を基に得られた上記目印付画像を所定時間毎に自動的に切り替えて、或いは手動切替操作機能により切り替えて上記表示装置に表示させる。
【0012】
上記計数装置において、上記表示制御部は、上記所定方向側から撮像された上記検出用画像を基に得られた上記目印付画像のうちのユーザが選択した上記目印付画像のみを上記切り替えに用いる。
上記計数装置において、上記表示制御部は、更に、上記計数対象物の本来あるべき員数、上記計数対象物の管理番号、上記計数対象物のロット番号及び上記計数対象物のスペック、生産管理用データの少なくとも何れかを上記表示装置に表示させる。
上記計数装置において、上記表示制御部は、更に、上記計数対象物の本来あるべき員数、上記計数対象物の管理番号、上記計数対象物のロット番号及び上記計数対象物のスペック、生産管理用データの少なくとも何れかを上記表示装置に表示させる。
【0013】
上記計数装置において、上記表示制御部は、上記表示装置に表示されている上記目印付画像を、上記検出用画像に一時的に切り替え可能である。
上記計数装置において、上記演算部は、上記検出用画像に基づき、推定モデルのアルゴリズムを用いて、上記検出用画像内において上記計数対象物の画像が存在する位置及び上記計数対象物である評点を推論する。
上記計数装置において、上記演算部は、上記検出用画像に基づき、推定モデルのアルゴリズムを用いて、上記検出用画像内において上記計数対象物の画像が存在する位置及び上記計数対象物である評点を推論する。
【0014】
また、本発明の一態様に係る計数方法は、撮像装置、演算部及び表示制御部を備える計数装置で実行され、上記撮像装置が、計数対象物の画像を撮像するステップと、上記演算部が、上記画像である検出用画像から上記計数対象物の画像を検出し、検出した上記計数対象物の画像が存在する位置及び検出結果が妥当である評点を演算するステップと、上記表示制御部が、上記検出用画像の上記演算部で演算した位置に目印を重ねた目印付画像、及び上記評点を示す情報を表示装置に表示させるステップとを含む。
【発明の効果】
【0015】
本発明によれば、ユーザは、計数対象物が存在する評点が低い箇所を調べればよく、ユーザの負荷を軽減可能な計数装置及び計数方法を提供することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施形態に係る計数システムの構成を示す構成図である。
【図2】情報処理装置を示す構成図である。
【図3】端末装置を示す構成図である。
【図4】計数処理を示すフローチャートである。
【図5】検出用画像を示す図である。
【図6】検出用画像の生成方法を示す図である。
【図7】検出用画像の生成方法を示す図である。
【図8】第１目印群を示す図である。
【図9】第２目印群を示す図である。
【図10】第３目印群を示す図である。
【図11】目印付画像を示す図である。
【図12】入力を促すメッセージを説明するための図である。
【図13】第４目印群を示す図である。
【図14】第５目印群を示す図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態に係る計数装置及び計数方法について、図面を参照しつつ説明する。本実施形態の計数装置は、計数対象物を撮像し、撮像して得られた画像から、画像に写っている計数対象物の員数を計数するための計数システムを構成している。また、位置ズレ、欠品等で画像上に全く存在しない(そもそも撮像できる場所にない)等の理由で、計数できないことや不整合があることを報知するための報知システムも構成している。
【0018】
（構成）
図１に示すように、本実施形態に係る計数システム１は、計数装置２を備えている。図１は、本実施形態に係る計数システム１に、更に、計数対象物３群を所定法方向へ搬送する搬送装置４を備えている例を示している。搬送装置４は、図１に示した搬送装置４とは別の形態の装置でもよく、例えば、図示されている方向とは直角方向に搬送する装置であってもよく、ウォーキングビームやローラーを用いて搬送する装置であってもよい。図１では、計数対象物３として、棒鋼を採用した一例を示している。図１では、棒鋼が番線等で結束されて、端面が搬送方向に向くように搬送ベルトに載せられた一例を示している。
なお、本実施形態では、計数対象物３として、棒鋼を用いる例を示したが、他の構成を採用することもできる。例えば、平形鋼、パイプ、山形鋼、Ｈ形鋼を用いてもよい。
図１に示すように、本実施形態に係る計数システム１は、計数装置２を備えている。図１は、本実施形態に係る計数システム１に、更に、計数対象物３群を所定法方向へ搬送する搬送装置４を備えている例を示している。搬送装置４は、図１に示した搬送装置４とは別の形態の装置でもよく、例えば、図示されている方向とは直角方向に搬送する装置であってもよく、ウォーキングビームやローラーを用いて搬送する装置であってもよい。図１では、計数対象物３として、棒鋼を採用した一例を示している。図１では、棒鋼が番線等で結束されて、端面が搬送方向に向くように搬送ベルトに載せられた一例を示している。
なお、本実施形態では、計数対象物３として、棒鋼を用いる例を示したが、他の構成を採用することもできる。例えば、平形鋼、パイプ、山形鋼、Ｈ形鋼を用いてもよい。
【0019】
（計数装置）
計数装置２は、撮像装置５１～５n（ｎは２以上の整数）と、情報処理装置６と、端末装置７とを備えている。撮像装置５１～５nと情報処理装置６とは、ケーブル８１～８nを介してデータを送受信可能となっている。また、情報処理装置６と端末装置７とは、ケーブル９を介して、データを送受信可能となっている。
計数装置２は、撮像装置５１～５n（ｎは２以上の整数）と、情報処理装置６と、端末装置７とを備えている。撮像装置５１～５nと情報処理装置６とは、ケーブル８１～８nを介してデータを送受信可能となっている。また、情報処理装置６と端末装置７とは、ケーブル９を介して、データを送受信可能となっている。
【0020】
（撮像装置）
撮像装置５１～５nのそれぞれは、搬送装置４の上方であって、所定方向側である搬送方向下流側の位置に左右又は上下に並べて複数台配置され、搬送される計数対象物３群の正面を撮像する。これにより、計数対象物３群が写っている画像のデータ（ここでは、一例として棒鋼の束の端面が写っている画像のデータ）を生成する。図１では、撮像装置５１～５nが搬送方向下流側の位置に配置され棒鋼の束の正面を撮像する構成を一例として示している。撮像装置５１～５nとしては、例えばデジタルビデオカメラやデジタルカメラを採用することができる。生成した画像のデータは情報処理装置６へ送信される。
撮像装置５１～５nのそれぞれは、搬送装置４の上方であって、所定方向側である搬送方向下流側の位置に左右又は上下に並べて複数台配置され、搬送される計数対象物３群の正面を撮像する。これにより、計数対象物３群が写っている画像のデータ（ここでは、一例として棒鋼の束の端面が写っている画像のデータ）を生成する。図１では、撮像装置５１～５nが搬送方向下流側の位置に配置され棒鋼の束の正面を撮像する構成を一例として示している。撮像装置５１～５nとしては、例えばデジタルビデオカメラやデジタルカメラを採用することができる。生成した画像のデータは情報処理装置６へ送信される。
【0021】
（情報処理装置）
情報処理装置６は、図２に示すように、記憶装置１０と、制御装置１１とを備えている。情報処理装置６としては、例えば、パソコンを採用することができる。
記憶装置１０は、撮像データ１２、推定アルゴリズム用データ１３、推定アルゴリズム（以下、「ＩＡＬ」と記述）製品判定プログラム１４(推定演算プログラムの一例)、対象物データ１５及び処理結果データ１６を記憶する。記憶装置１０としては、例えばハードディスクドライブ、ＳＳＤ（Solid State Drive）等の単体或いはこれらの組み合わせを採用できる。
情報処理装置６は、図２に示すように、記憶装置１０と、制御装置１１とを備えている。情報処理装置６としては、例えば、パソコンを採用することができる。
記憶装置１０は、撮像データ１２、推定アルゴリズム用データ１３、推定アルゴリズム（以下、「ＩＡＬ」と記述）製品判定プログラム１４(推定演算プログラムの一例)、対象物データ１５及び処理結果データ１６を記憶する。記憶装置１０としては、例えばハードディスクドライブ、ＳＳＤ（Solid State Drive）等の単体或いはこれらの組み合わせを採用できる。
【0022】
撮像データ１２は、撮像装置５１～５nから送信される画像のデータである。
推定アルゴリズム用データ１３は、制御装置１１のＩＡＬ製品判定プログラム１４が推定アルゴリズムを調整するために使用する一連のデータである。例えば、計数対象物３群が写っている画像のデータを採用できる。推定アルゴリズム用データ１３の取得方法としては、例えば、後述する計数処理によって撮像装置５１～５nで撮像された画像のデータを蓄積する方法、情報処理装置６の管理者に入力させる方法、情報処理装置６に外部のリソースから取得させる方法を採用することができる。また、推定アルゴリズム用データ１３として、撮像装置５１～５nで撮像された画像のデータと、ユーザに入力させるその画像内の特定の位置に計数対象物３の画像が存在するか否かの判定結果との組み合わせから得たデータを追加できる構成としてもよい。
推定アルゴリズム用データ１３は、制御装置１１のＩＡＬ製品判定プログラム１４が推定アルゴリズムを調整するために使用する一連のデータである。例えば、計数対象物３群が写っている画像のデータを採用できる。推定アルゴリズム用データ１３の取得方法としては、例えば、後述する計数処理によって撮像装置５１～５nで撮像された画像のデータを蓄積する方法、情報処理装置６の管理者に入力させる方法、情報処理装置６に外部のリソースから取得させる方法を採用することができる。また、推定アルゴリズム用データ１３として、撮像装置５１～５nで撮像された画像のデータと、ユーザに入力させるその画像内の特定の位置に計数対象物３の画像が存在するか否かの判定結果との組み合わせから得たデータを追加できる構成としてもよい。
【0023】
ＩＡＬ製品判定プログラム１４は、撮像装置５１～５nで撮像された画像から計数対象物３の画像が存在する位置及び検出結果が妥当である評点を演算するために使用するプログラムである。評点（スコア）は、数値や割合として示されてもよく、妥当性を表す確率として示されてもよい。本実施形態では、一例として、評点は、存在する位置及び検出結果の妥当性の百分率で示される確率であるとする。例えば、制御装置１１がＩＡＬのアルゴリズムによって構築した推定モデルのプログラムを採用できる。また、外部の計算機がＩＡＬのアルゴリズムによって構築した推定モデルのプログラムを外部のリソースから取得して採用するようにしてもよい。
対象物データ１５は、計数対象物３群毎に、計数対象物３の本来あるべき員数、計数対象物３の管理番号、計数対象物３のロット番号及び計数対象物３のスペック、生産管理用データ等の各種情報を示すデータである。計数対象物３の本来あるべき員数としては、製造時において計数対象物３群に含ませる計数対象物３の員数の目標値を採用できる。
処理結果データ１６は、ＩＡＬ製品判定プログラム１４の処理で得られるデータである。
記憶装置１０は、制御装置１１の動作に必要な各種データ及びプログラムも記憶する。
対象物データ１５は、計数対象物３群毎に、計数対象物３の本来あるべき員数、計数対象物３の管理番号、計数対象物３のロット番号及び計数対象物３のスペック、生産管理用データ等の各種情報を示すデータである。計数対象物３の本来あるべき員数としては、製造時において計数対象物３群に含ませる計数対象物３の員数の目標値を採用できる。
処理結果データ１６は、ＩＡＬ製品判定プログラム１４の処理で得られるデータである。
記憶装置１０は、制御装置１１の動作に必要な各種データ及びプログラムも記憶する。
【0024】
制御装置１１は、情報処理装置６が備える各機能ブロックをはじめとする情報処理装置６の全体を制御及び管理するプロセッサである。例えば、パソコンを採用することができる。制御装置１１は、端末装置７から計数対象物３の計数の開始を指示する操作が検出されると、記憶装置１０から計数用プログラムを読み出し、読み出した計数用プログラムを実行する。そして、計数用プログラムにより、画像取得部１７、演算部１８、表示制御部１９、不整合判定部２０、第１合致判定部２１、第２合致判定部２２及び記憶制御部２３等を実現する。画像取得部１７、演算部１８、表示制御部１９、不整合判定部２０、第１合致判定部２１、第２合致判定部２２及び記憶制御部２３等は、計数処理を実行する。
また、制御装置１１は、撮像装置５１～５nから画像のデータが送信されると、送信されたデータのそれぞれを撮像データ１２として記憶装置１０に記憶させる。
また、制御装置１１は、撮像装置５１～５nから画像のデータが送信されると、送信されたデータのそれぞれを撮像データ１２として記憶装置１０に記憶させる。
【0025】
（端末装置）
端末装置７は、図３に示すように、表示装置２４と、入力装置２５と、制御装置２６とを備えている。端末装置７としては、例えば、パソコンを採用することができる。
表示装置２４は、制御装置２６から出力される画像信号に従って、各種画像や各種データを表示する。例えば、液晶表示装置、有機ＥＬ表示装置を採用することができる。
入力装置２５は、ユーザによって操作され、操作内容を示す操作信号を制御装置２６に出力する。例えば、キーボード、マウス、タッチパネルを採用することができる。
制御装置２６は、情報処理装置６から送信される信号に従って、各種画像や各種データを表示させる画像信号を表示装置２４に出力する。また、制御装置２６は、入力装置２５から出力される操作信号を情報処理装置６に送信する。
端末装置７は、図３に示すように、表示装置２４と、入力装置２５と、制御装置２６とを備えている。端末装置７としては、例えば、パソコンを採用することができる。
表示装置２４は、制御装置２６から出力される画像信号に従って、各種画像や各種データを表示する。例えば、液晶表示装置、有機ＥＬ表示装置を採用することができる。
入力装置２５は、ユーザによって操作され、操作内容を示す操作信号を制御装置２６に出力する。例えば、キーボード、マウス、タッチパネルを採用することができる。
制御装置２６は、情報処理装置６から送信される信号に従って、各種画像や各種データを表示させる画像信号を表示装置２４に出力する。また、制御装置２６は、入力装置２５から出力される操作信号を情報処理装置６に送信する。
【0026】
（計数処理）
次に画像取得部１７、演算部１８、表示制御部１９、不整合判定部２０、第１合致判定部２１、第２合致判定部２２及び記憶制御部２３が実行する計数処理について説明する。
図４に示すように、まずステップＳ１０１では、画像取得部１７が、記憶装置１０が記憶している撮像データ１２のうちから、図５に示すように、搬送装置４で搬送される計数対象物３群が写っている検出用画像のデータを取得する。具体的には、撮像装置５１～５nのそれぞれから得られた、同一の計数対象物３群が正面側から写っている画像（以下、「検出用画像」とも呼ぶ）のデータを取得する。図５では、検出用画像のデータとして、棒鋼の束の端面が正面側から写っている画像のデータを一例として示している。これにより、ｎ個の検出用画像が取得される。なお、検出用画像としては、計数対象物３の正面を撮像して得たものが用いられる。
次に画像取得部１７、演算部１８、表示制御部１９、不整合判定部２０、第１合致判定部２１、第２合致判定部２２及び記憶制御部２３が実行する計数処理について説明する。
図４に示すように、まずステップＳ１０１では、画像取得部１７が、記憶装置１０が記憶している撮像データ１２のうちから、図５に示すように、搬送装置４で搬送される計数対象物３群が写っている検出用画像のデータを取得する。具体的には、撮像装置５１～５nのそれぞれから得られた、同一の計数対象物３群が正面側から写っている画像（以下、「検出用画像」とも呼ぶ）のデータを取得する。図５では、検出用画像のデータとして、棒鋼の束の端面が正面側から写っている画像のデータを一例として示している。これにより、ｎ個の検出用画像が取得される。なお、検出用画像としては、計数対象物３の正面を撮像して得たものが用いられる。
【0027】
ここで、計数対象物３群の正面が撮像装置５１～５nで撮像されるが、図６に示すように、各撮像装置５１～５nの位置が互いに異なるので、撮像結果（生画像）は、図７の一行目に示すように、計数対象物３群の正面を違う角度から撮像したものとなる。図６及び図７では、撮像装置５１～５nとして、３台の撮像装置５１～５３を用いた一例を示している。それゆえ、図７の二行目に示すように、角度違いによる斜めの画像や、飛び出した計数対象物３による死角のでき方が異なる画像ができるため、そのままでは位置の整合チェック等を適切に行うことが難しくなる可能性がある。図７の二行目では、左側の撮像装置５１による検出用画像は右側が小さくなっており、右側の撮像装置５３による検出用画像は左側が小さくなっている。また、飛び出した棒鋼の位置ずれが大きくなるとともに、飛び出した棒鋼により死角が発生している。飛び出した棒鋼の影になると、影になった棒鋼のカウント確率（精度）が低下する。そのため、整合チェック等を適切に行うことができるように、図６及び図７の三行目に示すように、撮像結果を予め定めた所定の平面に投影して、投影後の検出用画像を得るようにしてもよい。図６及び図７の三行目では、撮像装置５１、５３の撮像結果を、撮像装置５２の撮像結果の平面に投影した一例を示している。
【0028】
続いてステップＳ１０２に移行して、演算部１８が、ステップＳ１０１で取得したｎ個の検出用画像のデータに基づきＩＡＬ判定処理を行う。ＩＡＬ判定処理では、ｎ個の検出用画像毎に、ＩＡＬによって構築された推定調整済アルゴリズムのプログラムを用いて、検出用画像から計数対象物３の画像を検出する。続いて、各検出用画像内において、検出した計数対象物３の画像の位置及び検出結果が妥当である評点（以下、「妥当評点」とも呼ぶ）を推論する。ＩＡＬは多層構造のニューラルネットワークを利用して、データの特徴量を自動で計算及び学習する技術である深層学習であってもよく、ＩＡＬはデータから対象を検出し、その検出結果の確からしさ（妥当評点）を演算する機能を有している。
【0029】
推定モデルのアルゴリズムには、記憶装置１０が記憶している推定アルゴリズム用データ１３を用いるようにしてもよい。また、外部の計算機により別の推定アルゴリズム用データを用いて推定モデルを調整させてもよい。さらに、検出結果が妥当であるかの評点（妥当評点）としては、例えば、推定された位置に計数対象物３が存在すると推定したことへの妥当評点を用いることができる。
なお、本実施形態では、記憶装置１０が記憶している推定アルゴリズム用データ１３を用いて推定モデルの調整を行う例を示したが、他の構成を採用することもできる。例えば、外部のリソースから取得した推定アルゴリズム用データ１３を用いて推定モデルの推定を行う構成としてもよい。
なお、本実施形態では、記憶装置１０が記憶している推定アルゴリズム用データ１３を用いて推定モデルの調整を行う例を示したが、他の構成を採用することもできる。例えば、外部のリソースから取得した推定アルゴリズム用データ１３を用いて推定モデルの推定を行う構成としてもよい。
【0030】
続いてステップＳ１０３に移行して、表示制御部１９が、ステップＳ１０２でＩＡＬ判定処理を行ったｎ個の検出用画像毎に、第１目印２７及び第２目印２８をそれぞれ生成する。
第１目印２７は、ステップＳ１０２で演算した位置のうち、妥当評点が第１閾値以上の位置を示す目印である。また、第２目印２８は、ステップＳ１０２で演算した位置のうち、妥当評点が第１閾値未満で且つ第２閾値以上の位置を示す目印である。第１閾値として、例えば、計数対象物３が存在していると確実に判断できる数値を用いてもよい。例えば、第１閾値を７０％とする。第２閾値としては、計数対象物３の画像が存在していると確実には判断できないが、可能性が僅かにあると判断できる数値を用いる。例えば、第２閾値を２０％とする。
第１目印２７は、ステップＳ１０２で演算した位置のうち、妥当評点が第１閾値以上の位置を示す目印である。また、第２目印２８は、ステップＳ１０２で演算した位置のうち、妥当評点が第１閾値未満で且つ第２閾値以上の位置を示す目印である。第１閾値として、例えば、計数対象物３が存在していると確実に判断できる数値を用いてもよい。例えば、第１閾値を７０％とする。第２閾値としては、計数対象物３の画像が存在していると確実には判断できないが、可能性が僅かにあると判断できる数値を用いる。例えば、第２閾値を２０％とする。
【0031】
第１目印２７としては、図８に示すように、円形状の画像を用いてもよい。妥当評点を示す情報としては、妥当評点を示す数値、妥当評点を示す目印の色（色相や濃度を含む）の少なくとも何れかを用いてもよい。妥当評点を示す目印の色を用いる場合、第１目印２７には、妥当評点が第１閾値以上であることを示す色が付される。
図８では、ハッチング部分は青色を表すものとし、第１目印２７として青丸の画像を採用した一例を示している。青丸は、計数対象物３として棒鋼を用いる場合、棒鋼の端面が隠れないように、棒鋼の端面よりも小さいものを用いてもよい。そして、図８に示すように、複数の第１目印２７からなる画像である第１目印群を生成する。これにより、第１目印群として、ｎ個の検出用画像に対応させて計数対象物３が存在する評点が第１閾値以上である部分を示すｎ個の画像が生成される。
図８では、ハッチング部分は青色を表すものとし、第１目印２７として青丸の画像を採用した一例を示している。青丸は、計数対象物３として棒鋼を用いる場合、棒鋼の端面が隠れないように、棒鋼の端面よりも小さいものを用いてもよい。そして、図８に示すように、複数の第１目印２７からなる画像である第１目印群を生成する。これにより、第１目印群として、ｎ個の検出用画像に対応させて計数対象物３が存在する評点が第１閾値以上である部分を示すｎ個の画像が生成される。
【0032】
第２目印２８としては、図９に示すように、円形状の画像を用いてもよい。妥当評点を示す情報としては、妥当評点を示す数値、妥当評点を示す目印の色（色相や濃度を含む）の少なくとも何れかを用いてもよい。妥当評点を示す目印の色を用いる場合、第２目印２８には、妥当評点が第１閾値未満且つ第２閾値以上であることを示す色が付される。図９では、ハッチング部分は赤色を表すものとし、第２目印２８として赤丸の画像を採用した一例を示している。そして、図９に示すように複数の第２目印２８からなる画像を第２目印群として生成する。これにより、第２目印群として、ｎ個の検出用画像に対応させて計数対象物３が存在する評点が第１閾値未満で且つ第２閾値以上である部分を示すｎ個の画像が生成される。
なお、本実施形態では、第１目印２７又は第２目印２８として、青丸又は赤丸を用いる例を示したが、他の構成を採用することもできる。例えば、他の色のマーカーを用いてもよいし、三角形、四角形、楕円形等の他の形状のマーカーを用いてもよいし、評点を表す数値表示を用いてもよい。
なお、本実施形態では、第１目印２７又は第２目印２８として、青丸又は赤丸を用いる例を示したが、他の構成を採用することもできる。例えば、他の色のマーカーを用いてもよいし、三角形、四角形、楕円形等の他の形状のマーカーを用いてもよいし、評点を表す数値表示を用いてもよい。
【0033】
続いてステップＳ１０４に移行して、表示制御部１９が、ステップＳ１０３で生成された第１目印群間で、第１目印２７の位置の不整合の有無を判定する。位置の不整合の有無の判定では、１つの第１目印群の第１目印の位置と他の第１目印群の第１目印の位置とを比較し、１つの第１目印群内には存在せず、他の第１目印群内にのみ存在する第１目印があるかを判定する。そして、そのような第１目印があると判定した場合に、第１目印の位置の不整合があると判定する。なお、位置の不整合とは、第１目印２７の位置について、各撮像装置５１～５ｎからの検出位置が近似的に合致しないことを指す。近似的にとは、撮像装置５１～５ｎ等の分解能やその他により座標が完全に一致しないことをある程度の誤差までを許すことを表現している。続いて、表示制御部１９が、不整合があると判定された第１目印２７を第３目印（ここでは一例として黄丸の画像）２９とすることで、第３目印２９の群からなる第３目印群を生成する。これにより、図１０に示すように、複数の第３目印群が生成される。なお、ステップＳ１０４における位置の不整合の有無の判定では、複数の第１目印群の画像として、特定の平面、例えば、棒鋼の束との垂直面で棒鋼の束の端面の平均位置に投影されたものを用いることが好ましい。図７で説明したように、複数の撮像装置５１～５ｎで撮像した画像は、各撮像装置５１～５ｎと撮像面との相対位置が異なる。このため、画像のゆがみが異なるためにそのままの比較をすると誤差が生じる可能性がある。このため、目印画像との重ね合わせを行うために目印画像と同じ同一平面歪み等の投影を行い、各目印と位置とを合致させることが好ましい。なお、第３目印群は、各第１目印群について、１つずつ生成してもよい。この場合、第３目印群１つの第１目印群と他の第１目印群との組み合わせ（つまり、第３目印群を生成する際に用いられる、撮像装置５１～５ｎで撮像された画像の組み合せ）は、あらかじめ設定またはユーザにより選択されることで決定されてもよい。
【0034】
続いてステップＳ１０５に移行して、表示制御部１９が、各撮像単位に第２目印及び第３目印の少なくとも一方が存在するか、つまり第２目印群及び第３目印群の少なくとも一方がステップＳ１０３，Ｓ１０４で生成されたかを判定する。そして、第２目印群及び第３目印群の少なくとも一方が生成されたと判定した場合には（Ｙｅｓ）、ステップＳ１０６に移行する。一方、第２目印群及び第３目印群の少なくとも一方が生成されなかったと判定した場合には（Ｎｏ）、ステップＳ１１２に移行する。
【0035】
ステップＳ１０６では、表示制御部１９が、図１１に示すように、ステップＳ１０１で取得したｎ個の検出用画像それぞれに、ステップＳ１０３で生成した第１目印群及び第２目印群、並びにステップＳ１０４で生成した第３目印群を重ねた画像（以下、「目印付画像」とも呼ぶ）を表示装置２４に表示させる。これにより、表示装置２４には、複数の目印付画像が表示される。また、ステップＳ１０６では、第１目印群、第２目印群及び第３目印群を検出用画像に重ね合わせるだけでなく、検出用画像と目印付画像とを切り替えて表示させるようにしてもよく、第１目印群、第２目印群及び第３目印群の少なくとも一つと検出用画像とを切り替えて表示させるようにしてもよい。この際、画像の切り替えは、ユーザ操作によって行われてもよく、設定された所定時間で連続的に行われてもよい。検出用画像と、目印付画像（又は第１目印群、第２目印群及び第３目印群の少なくとも一つ）とを切り替えて表示することで、後述するユーザによる判定において、目印付画像のみを表示する場合に比べて、精度よく判定することができる。さらに、画像の重ね合わせや切り替えを行う場合、棒鋼の長手方向と垂直な仮想平面に投影して表示、または、検出用画像の撮像方向と垂直な平面に各目印群を投影して表示するようにしてもよい。
【0036】
ステップＳ１０６では、表示制御部１９が、図１２に示すように、第２目印２８の位置及び第３目印２９の位置の何れかに計数対象物３が存在するか否かの判定の入力をユーザに促すメッセージを表示装置２４に表示させる。そして、ステップＳ１０６では、ユーザによる入力装置２５を介した変更入力が必要に応じて行われる。この変更入力では、ユーザが第２目印２８及び第３目印２９が表示された目印付画像を確認し、第２目印２８及び第３目印２９が表示された箇所に計数対象物の画像（図１２では、棒鋼の端面の画像）が重なっているかを判断する。次いで、計数対象物３の画像と第２目印２８及び第３目印２９の何れかとに重なっている箇所がある場合には、当該箇所の座標等が、入力装置を介して入力される。また、表示制御部１９が、記憶装置１０を参照し、計数対象物３の本来あるべき員数、計数対象物３の管理番号、計数対象物３のロット番号及び計数対象物３のスペック、生産管理用データの少なくとも何れかを表示装置２４の表示画面の例えば角部付近に表示させてもよい。
【0037】
この際、入力装置２５を介して、目印付画像と検出用画像との切り替え操作が入力されると、表示制御部１９が、表示装置２４に表示されている目印付画像のそれぞれを、第１目印群や第２目印群、第３目印群が重ねられていない検出用画像に一時的に切り替える。これにより、目印付画像において、検出用画像の計数対象物３が第２目印２８や第３目印２９で隠れている場合にも、計数対象物３の有無をユーザに視認させることができる。
また、入力装置２５を介して、第２目印２８や第３目印２９の位置に計数対象物３の画像が存在しないと判定した箇所の座標等が入力されると、不整合判定部２０が、入力された座標等を取得する。これにより、計数対象物３が誤検出された箇所のデータやＩＡＬ判定で未検出となった箇所のデータを収集し、収集したデータを推定アルゴリズム等に活用できる。
また、入力装置２５を介して、第２目印２８や第３目印２９の位置に計数対象物３の画像が存在しないと判定した箇所の座標等が入力されると、不整合判定部２０が、入力された座標等を取得する。これにより、計数対象物３が誤検出された箇所のデータやＩＡＬ判定で未検出となった箇所のデータを収集し、収集したデータを推定アルゴリズム等に活用できる。
【0038】
ステップＳ１０６の後、ステップＳ１０７では、表示制御部１９は、入力装置２５を介したユーザによる変更入力が行われたかを判断する。そして、変更入力が行われたと判断された場合には（Ｙｅｓ）、ステップＳ１０８に移行する。一方、変更入力が行われていないと判断された場合には（Ｎｏ）、ステップＳ１１２に移行する。
ステップＳ１０８では、表示制御部１９が、ステップＳ１０６で表示装置２４に表示させた目印付画像毎に、入力装置２５を介して、ユーザによる判定結果を取得する。これにより、目印付画像それぞれに対し、第２目印２８や第３目印２９で示された箇所のうち、計数対象物３の画像が存在する箇所の座標等が取得される。続いて、表示制御部１９が、取得した座標等（判定結果）に基づき、計数対象物３の画像が存在すると判定された第２目印２８及び第３目印２９を第４目印（ここでは一例として緑丸の画像）とする。これにより、表示装置２４に表示されているｎ個以下の目印付画像を随時書き換え、ユーザが計数対象物と判断したものをその第２目印２８や第３目印２９に代えて、第４目印３０群からなる第４目印群を表示装置２４に表示させる。これにより、図１３に示すように複数の第４目印群が生成される。つまり、ステップＳ１０８では、ユーザからの入力結果であるユーザマーキングにより、第４目印群が生成される。
ステップＳ１０８では、表示制御部１９が、ステップＳ１０６で表示装置２４に表示させた目印付画像毎に、入力装置２５を介して、ユーザによる判定結果を取得する。これにより、目印付画像それぞれに対し、第２目印２８や第３目印２９で示された箇所のうち、計数対象物３の画像が存在する箇所の座標等が取得される。続いて、表示制御部１９が、取得した座標等（判定結果）に基づき、計数対象物３の画像が存在すると判定された第２目印２８及び第３目印２９を第４目印（ここでは一例として緑丸の画像）とする。これにより、表示装置２４に表示されているｎ個以下の目印付画像を随時書き換え、ユーザが計数対象物と判断したものをその第２目印２８や第３目印２９に代えて、第４目印３０群からなる第４目印群を表示装置２４に表示させる。これにより、図１３に示すように複数の第４目印群が生成される。つまり、ステップＳ１０８では、ユーザからの入力結果であるユーザマーキングにより、第４目印群が生成される。
【0039】
ステップＳ１０８の後、ステップＳ１０９では、不整合判定部２０が、図１４に示すように、ステップＳ１０３で抽出した第１目印群毎に、第１目印群に、ステップＳ１０８で生成した第４目印群を重ねた目印群（以下、「第５目印群」とも呼ぶ）を生成する。
続いて、ステップＳ１１０では、生成した第５目印群間で、第１目印２７及び第４目印３０（以下、まとめて「第５目印」とも呼ぶ）の位置の不整合の有無を判定する。位置の不整合の有無の判定では、一の第５目印群の第５目印の位置と他の第５目印群の第５目印の位置とを比較し、一の第５目印群内には存在せず、他の第５目印群内にのみ存在する第５目印があるかを判定する。そして、そのような第５目印があると判定した場合に、第５目印の位置の不整合があると判定し、そのような第５目印がないと判定した場合に、第５目印の位置の不整合がないと判定する。そして、不整合判定部２０が、位置の不整合が無いと判定した場合には（Ｙｅｓ）、ステップＳ１１２に移行する。一方、位置の不整合があると判定した場合には（Ｎｏ）ステップＳ１１１に移行する。
続いて、ステップＳ１１０では、生成した第５目印群間で、第１目印２７及び第４目印３０（以下、まとめて「第５目印」とも呼ぶ）の位置の不整合の有無を判定する。位置の不整合の有無の判定では、一の第５目印群の第５目印の位置と他の第５目印群の第５目印の位置とを比較し、一の第５目印群内には存在せず、他の第５目印群内にのみ存在する第５目印があるかを判定する。そして、そのような第５目印があると判定した場合に、第５目印の位置の不整合があると判定し、そのような第５目印がないと判定した場合に、第５目印の位置の不整合がないと判定する。そして、不整合判定部２０が、位置の不整合が無いと判定した場合には（Ｙｅｓ）、ステップＳ１１２に移行する。一方、位置の不整合があると判定した場合には（Ｎｏ）ステップＳ１１１に移行する。
【0040】
ステップＳ１１１では、表示制御部１９が、複数の撮像装置５１～５ｎにおける第５目印の位置が相互に整合がとれていないことを示す情報（不整合情報）を、ステップＳ１０１で取得した検出用画像、ステップＳ１０３で生成した第１目印群及び第２目印群、並びにステップＳ１０４で生成した第３目印群に付与した後、ステップＳ１１７に移行する。続いて、表示制御部１９が、表示装置２４の表示画面の例えば角部付近に「位置チェック結果ＮＧ」を表示させる。
【0041】
ステップＳ１１２では、第１合致判定部２１が、各撮像装置毎の第１目印２７及び第４目印３０のそれぞれの総数、つまり第５目印の数を計数する。これによりステップＳ１０１で取得したｎ個の検出用画像から把握可能な計数対象物３の員数を計数する。
続いてステップＳ１１３に移行して、第１合致判定部２１が、ステップＳ１１２で計数した員数の計数結果、例えば撮像装置５１で撮像された検出用画像を基に得られた員数の計数結果（以下、「第１計数結果」とも呼ぶ）と、撮像装置５２，５３で撮像された少なくとも１つの検出用画像を基に得られた員数の計数結果（以下、「第２計数結果、第３計数結果」とも呼ぶ）とが合致しているかどうかを判定する。なお、第２計数結果及び第３計数結果は、撮像装置５２，５３で撮像された検出用画像に第１計数結果と同様の演算を行うことで得られる。そして、複数の計数結果が相互に合致していると判定した場合には（Ｙｅｓ）、ステップＳ１１４に移行する。この際、例えば、第１計数結果～第３計数結果が得られた場合には、第１計数結果と第２計数結果との比較、第１計数結果と第３計数結果との比較がそれぞれ行われ、全ての比較結果が合致しているかが判定される。一方、合致していないと判定した場合には（Ｎｏ）、ステップＳ１１５に移行する。これにより、例えば、計数対象物が棒鋼である場合には、棒鋼の端面が揃っておらず、棒鋼の何れかが棒鋼の束の内側に引っ込んでいる状態や、棒鋼の長さが揃っておらず、短尺の棒鋼が棒鋼の束の内側に引っ込んでいる状態、端部が曲がった棒鋼の端面が検出用画像からはみだした状態等にある場合に、第１計数結果と第２計数結果とが合致していないと判定され、ステップＳ１１５に移行される。
続いてステップＳ１１３に移行して、第１合致判定部２１が、ステップＳ１１２で計数した員数の計数結果、例えば撮像装置５１で撮像された検出用画像を基に得られた員数の計数結果（以下、「第１計数結果」とも呼ぶ）と、撮像装置５２，５３で撮像された少なくとも１つの検出用画像を基に得られた員数の計数結果（以下、「第２計数結果、第３計数結果」とも呼ぶ）とが合致しているかどうかを判定する。なお、第２計数結果及び第３計数結果は、撮像装置５２，５３で撮像された検出用画像に第１計数結果と同様の演算を行うことで得られる。そして、複数の計数結果が相互に合致していると判定した場合には（Ｙｅｓ）、ステップＳ１１４に移行する。この際、例えば、第１計数結果～第３計数結果が得られた場合には、第１計数結果と第２計数結果との比較、第１計数結果と第３計数結果との比較がそれぞれ行われ、全ての比較結果が合致しているかが判定される。一方、合致していないと判定した場合には（Ｎｏ）、ステップＳ１１５に移行する。これにより、例えば、計数対象物が棒鋼である場合には、棒鋼の端面が揃っておらず、棒鋼の何れかが棒鋼の束の内側に引っ込んでいる状態や、棒鋼の長さが揃っておらず、短尺の棒鋼が棒鋼の束の内側に引っ込んでいる状態、端部が曲がった棒鋼の端面が検出用画像からはみだした状態等にある場合に、第１計数結果と第２計数結果とが合致していないと判定され、ステップＳ１１５に移行される。
【0042】
ステップＳ１１４では、第２合致判定部２２が、ステップＳ１１１で計数した員数の計数結果（例えば、第１計数結果）と計数対象物３の本来あるべき員数とが合致しているかどうかを判定する。そして、合致していると判定した場合には（Ｙｅｓ）、ステップＳ１１７に移行する。一方、合致していないと判定した場合には（Ｎｏ）ステップＳ１１６に移行する。
【0043】
ステップＳ１１５では、表示制御部１９が、複数の撮像装置５１～５ｎの計数結果が相互に整合がとれていないことを示す情報（不整合情報）を、ステップＳ１０１で取得した検出用画像、ステップＳ１０３で生成した第１目印群及び第２目印群、並びにステップＳ１０４で生成した第３目印群に付与した後、ステップＳ１１７に移行する。続いて、表示制御部１９が、表示装置２４の表示画面の例えば角部付近に「計数結果不一致ＮＧ」を表示させる。なお、この表示では、例えば、「第１・第ｎ計数結果不一致ＮＧ」のように、具体的にどの計数結果同士で整合が取れていないかを具体的に表示するようにしてもよい。
【0044】
ステップＳ１１６では、表示制御部１９が、複数の撮像装置５１～５ｎの計数結果と本来あるべき員数との整合がとれていないことを示す情報（不整合情報）を、ステップＳ１０１で取得した検出用画像、ステップＳ１０３で生成した第１目印群及び第２目印群、並びにステップＳ１０４で生成した第３目印群に付与した後、ステップＳ１１７に移行する。続いて、表示制御部１９が、表示装置２４の表示画面の例えば角部付近に「計数結果ＮＧ」を表示させる。なお、この表示では、例えば、「第１計数結果ＮＧ」のように、具体的にどの計数結果であるべき員数との整合が取れていないかを具体的に表示するようにしてもよい。
【0045】
ステップＳ１１７では、記憶制御部２３が、ステップＳ１０８で入力装置２５を介してユーザが入力した判定結果を記憶装置に記憶させる。すなわち、ステップＳ１０８で収集された計数対象物３が誤検出された箇所のデータ、未検出となった箇所のデータを記憶装置１０に記憶させる。また、記憶制御部２３が、ステップＳ１１１，Ｓ１１５，Ｓ１１６で情報が付与された検出用画像、第１目印群、第２目印群、第３目印群を記憶装置１０に記憶させる。さらに、記憶制御部２３が、ステップＳ１１２で計数された第１目印２７と第４目印３０との総数、計数対象物３の本来あるべき員数、計数対象物３の管理番号、計数対象物３のロット番号、計数対象物３のスペック及び生産管理用データを記憶装置１０に記憶させた後、この演算を終了する。
【0046】
以上説明したように、本発明の実施形態に係る計数装置２は、計数対象物３の画像を撮像する撮像装置５１～５nと、撮像装置５１～５nで撮像した画像から計数対象物３の画像を検出し、検出した計数対象物３の画像が存在する位置及び検出結果が妥当である評点を演算する演算部１８と、検出用画像の演算部１８で演算した位置に目印を重ねた目印付画像、及び演算部１８で演算した評点を示す情報を表示装置２４に表示させる表示制御部１９とを備えるようにした。それゆえ、ユーザは、計数対象物３の画像が存在する評点が低い箇所を調べればよく、ユーザの負荷を軽減可能な計数装置２を提供できる。また第２目印２８の位置を計数対象物３の画像と判定した評点を定量的に把握できる。
【0047】
また、本発明の実施形態に係る計数装置２では、評点を示す情報を、評点を示す数値、及び評点を示す目印の色の少なくとも何れかとした。それゆえ、数値や色によって、検出結果が妥当である評点をユーザに比較的容易に把握させることができる。
また、本発明の実施形態に係る計数装置２では、目印付画像が、評点が第１閾値以上であることを示す色が付された第１目印２７からなる第１目印群、及び評点が第１閾値より小さい第２閾値以上で且つ第１閾値未満であることを示す色が付された第２目印２８からなる第２目印群の少なくとも何れかを含むようにした。それゆえ、検出結果が妥当である評点の高低をユーザにより容易に把握させることができる。
また、本発明の実施形態に係る計数装置２では、目印付画像が、評点が第１閾値以上であることを示す色が付された第１目印２７からなる第１目印群、及び評点が第１閾値より小さい第２閾値以上で且つ第１閾値未満であることを示す色が付された第２目印２８からなる第２目印群の少なくとも何れかを含むようにした。それゆえ、検出結果が妥当である評点の高低をユーザにより容易に把握させることができる。
【0048】
また、本発明の実施形態に係る計数装置２では、予め定めた所定方向側から撮像可能な撮像装置５１～５nを少なくとも２つ備えるようにした例を主として説明した。撮像装置が１台の場合には、複数の撮像装置５１～５nがないためその整合チェック機能は使用できないが、本来あるべき員数とのチェック、ユーザーマーキング機能と計数機能は使用できる。また、表示制御部１９は、所定方向側から撮像された検出用画像を基に得られた第１目印群間で、第１目印２７の位置の不整合の有無を判定し、不整合があると判定された第１目印２７を第３目印２９とすることで、第３目印２９からなる第３目印群を生成し、生成した第３目印群を表示するようにした。それゆえ、第３目印２９の付近に計数対象物３の画像が存在するかを、ユーザに調べさせることができる。また、これらの不整合が発生しない場合は、ユーザの負荷をゼロにできる可能性も充分にある。
【0049】
また、本発明の実施形態に係る計数装置２では、不整合の判定に用いる第１目印２７の位置を、撮像装置５１～５nによる撮像結果を予め定めた所定の平面に投影して得られる、投影後の検出用画像を基に得られたものとした。それゆえ、第１目印群間における、第１目印２７の位置の不整合の判定をより適切に行うことができる。
【0050】
また、本発明の実施形態に係る計数装置２では、第２目印２８の位置及び第３目印２９の位置の何れかに計数対象物３の画像が存在するか否かの判定の結果をユーザに入力させる入力装置２５を備えるようにした。また、表示制御部１９は、表示装置２４に表示させた目印付画像毎に、入力装置２５を介して、ユーザによる判定結果を取得し、取得した判定結果に基づき、計数対象物３の画像が存在すると判定された第２目印２８及び第３目印２９を第４目印３０とすることで、第４目印３０からなる第４目印群を表示するようにした。それゆえ、第２目印２８及び第３目印２９の位置に計数対象物３の画像が存在するかを調べた結果を、ユーザに入力させることができる。
【0051】
また、本発明の実施形態に係る計数装置２では、入力装置２５でユーザが入力した判定結果を記憶装置１０に記憶させる記憶制御部２３を備えるようにした。それゆえ、判定結果をＩＡＬの推定アルゴリズム用データとして使用でき、計数対象物３の演算精度の向上に利用できる。
【0052】
さらに、本発明の実施形態に係る計数装置２では、記憶制御部２３は、更に、検出用画像、第１目印群、第２目印群、第３目印群、計数対象物３の本来あるべき員数、計数対象物３の管理番号、計数対象物３のロット番号及び計数対象物３のスペック、生産管理用データの少なくとも何れかを記憶装置１０に記憶させるようにした。それゆえ、各種画像の記録を残すことができるため、計数対象物３の各種画像と判定結果、ユーザーマーキング結果の検証を遡って行うこともできる。
【0053】
また、本発明の実施形態に係る計数装置２では、第１目印群それぞれに、第４目印群を重ねた画像である第５目印群を生成し、生成した第５目印群毎に、第１目印及び第４目印を含む目印の位置の不整合が無いか否かを判定する不整合判定部２０を備えるようにした。それゆえ、計数対象物３の計数結果の信頼性を向上できる。また、不整合が発生しない場合は、負荷ゼロにできる可能性も充分にある。
【0054】
また、本発明の実施形態に係る計数装置２では、所定方向側から撮像された１つの検出用画像を基に得られた第１目印から第３目印のマーキング部分を差し引いて第４目印のマーキング部分の和の総数と計数対象物３の本来あるべき員数とが合致しているか否かを判定する第２合致判定部２２を備えるようにした。言い換えると、第２合致判定部２２では、所定方向側から撮像された１つの検出用画像を基に得られた第１目印の位置の不整合チェック後に残った第１目印の数と第４目印の総数と、計数対象物３の本来あるべき員数とが合致しているか否かを判定するようにした。
それゆえ、例えば、計数対象物３の何れかが計数対象物３の束の内側に引っ込んでいる状態等にあり、第１目印及び第４目印の総数と、本来あるべき員数とが異なることを、比較的容易に判断することができる。
それゆえ、例えば、計数対象物３の何れかが計数対象物３の束の内側に引っ込んでいる状態等にあり、第１目印及び第４目印の総数と、本来あるべき員数とが異なることを、比較的容易に判断することができる。
【0055】
また、本発明の実施形態に係る計数装置２では、表示制御部１９は、更に、計数対象物３の本来あるべき員数、計数対象物３の管理番号、計数対象物３のロット番号及び計数対象物３のスペック、生産管理用データの少なくとも何れかを表示装置２４に表示させる。それゆえ、本来あるべき員数等の各種情報をユーザに把握させることができる。
【0056】
また、本発明の実施形態に係る計数装置２では、表示制御部１９が、表示装置２４に表示されている目印付画像を、検出用画像に一時的に表示画像を切り替え可能とした。それゆえ、目印で隠れている場合にも、計数対象物３の有無を視認させることができる。
【0057】
また、本発明の実施形態に係る計数装置２では、演算部１８は、検出用画像に基づき、ＩＡＬのアルゴリズムによって構築された演算モデルを用いて、検出用画像内において計数対象物３の画像が存在する位置及び検出結果が妥当である評点を推論するようにした。それゆえ、他のアルゴリズムによって構築した演算モデルを用いる方法に比べ、演算精度を劇的に向上できる。また、複数の撮像装置５１～５nから取得した検出用画像から得られる計数対象物３の計数結果や、計数対象物３の画像の位置情報の整合性をチェックすることで、計数結果における間違いの発生確率を激減することもできる。
【0058】
また、本発明の実施形態に係る計数方法は、撮像装置５１～５n、演算部１８及び表示制御部１９を備える計数装置２で実行される。そして、撮像装置５１～５nが、計数対象物３の画像を撮像するステップと、演算部１８が、撮像した画像である検出用画像から計数対象物３の画像を検出し、検出した計数対象物３の画像が存在する位置及び検出結果が妥当である評点を演算するステップと、表示制御部１９が、検出用画像の演算部１８で演算し検出した位置に目印を重ねた目印付画像、及び評点を示す情報を表示装置２４に表示させるステップとを含むようにした。それゆえ、ユーザは、計数対象物３の画像が存在する評点が低い箇所を調べればよく、ユーザの負荷を軽減することができる。
【0059】
（変形例）
（１）なお、本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は、本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
具体的には、例えば、上記実施形態では、計数システム１は、独立した情報処理装置６を備えると説明したが、例えば、情報処理装置６は複数に分割されていてもよい。また、撮像装置５１～５nや表示装置２４の少なくとも何れかに包含されていてもよい。
（１）なお、本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は、本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
具体的には、例えば、上記実施形態では、計数システム１は、独立した情報処理装置６を備えると説明したが、例えば、情報処理装置６は複数に分割されていてもよい。また、撮像装置５１～５nや表示装置２４の少なくとも何れかに包含されていてもよい。
【0060】
（２）また、上記実施形態では、計数システム１は、目印付画像等を表示する構成となっているが、必ずしもそれらすべての情報を表示しない構成であってもよい。例えば、目印付画像等を他の用途に用いるようにしてもよい。例えば、製品の形状のバラツキ分析や、生産量、生産能率、歩留まり、異常検出等の分析に使用するようにしてもよい。また、その他、所定の搬送される製品毎の情報を活用可能な任意の用途に使用してもよい。
（３）さらに、上記実施形態では、評点を示す情報として、目印の色（青丸、赤丸）を用いる構成となっているが、他の構成を採用することもできる。例えば、濃淡表示や、熱画像のような連続色による等高線表示を用いるようにしてもよい。濃淡表示を用いる場合、連続表示が行われることにより、青丸・赤丸の２段階マーキングと異なり、中間値を表示できる。このような表示は、推定用モデルの推定アルゴリズム用データとして採用するかどうかの情報の一部として使用できる。なお、人間が最終的な計数対象かどうかの判別を行うための画像としては青丸・赤丸の２段階マーキング表示の方がわかりやすく能率も上がる。
（３）さらに、上記実施形態では、評点を示す情報として、目印の色（青丸、赤丸）を用いる構成となっているが、他の構成を採用することもできる。例えば、濃淡表示や、熱画像のような連続色による等高線表示を用いるようにしてもよい。濃淡表示を用いる場合、連続表示が行われることにより、青丸・赤丸の２段階マーキングと異なり、中間値を表示できる。このような表示は、推定用モデルの推定アルゴリズム用データとして採用するかどうかの情報の一部として使用できる。なお、人間が最終的な計数対象かどうかの判別を行うための画像としては青丸・赤丸の２段階マーキング表示の方がわかりやすく能率も上がる。
【0061】
（４）また、上記実施形態では、ユーザに計数対象物３の画像の位置を入力させるために、目印付画像を表示装置２４に表示させる構成となっているが、他の構成を採用することもできる。例えば、表示制御部１９が、所定方向側から撮像された検出用画像を基に得られた目印付画像を所定時間毎に自動的に切り替えて、或いは手動切替操作機能により切り替えて表示装置２４に表示させる構成としてもよい。手動操作切替機能としては、例えば、ユーザに、入力装置２５を介して、目印付画像の切り替え指示を入力させ、切り替え指示が入力されると、目印付画像を切り替える機能である。その際、表示制御部１９が、所定方向側から撮像された検出用画像を基に得られた目印付画像のうちの、ユーザが選択した目印付画像のみを、切り替えに用いてもよい。
【0062】
（５）また、上記実施形態では、ステップＳ１０６にて必要に応じてユーザによる変更入力をするとしたが、他の構成を採用することもできる。例えば、ＩＡＬ判定処理の精度が高く、検出結果の評点が高い場合や検出位置に不整合がない場合、つまり計数対象物３の画像の位置等の演算精度が高い場合は、ユーザによる変更入力をする必要がない。この際、過去の検出結果についてユーザによる変更入力がされたデータを学習することでＩＡＬ判定処理の精度を高めることができる。このようにすることで、ユーザの負荷をなくすことができ、無人化も可能となる。
【0063】
（６）また、上記実施形態では、複数の撮像装置５１～５nを搬送装置４の搬送方向下流側の位置に配置するとしたが、他の構成を採用することもできる。例えば、搬送装置４の搬送方向上流側に少なくとも１台の撮像装置５をさらに設ける構成であってもよい。この場合、搬送方向上流側の撮像装置５では、下流側の複数の撮像装置５１～５nと同様に、計数対象物３の上流側の同一面における第１目印群や第２目印群、第３目印群、第４目印群が生成され、搬送方向上流側における計数結果が演算される。この搬送方向上流側における計数結果と搬送方向下流側における計数結果とから、計数対象物３の数に問題がないかが判断されてもよい。このようにすることで、判定結果を基に、計数対象物３（ここでは一例として棒鋼）の端面が揃っておらず計数対象物３の何れかが計数対象物３の束の内側に引っ込んでいる状態や、計数対象物３の長さが揃っておらず短尺の計数対象物３が計数対象物３の束の内側に引っ込んでいる状態、端部が曲がった計数対象物３の端面が検出用画像からはみだした状態等にあることを判断できる。
【0064】
さらに、複数の撮像装置５１～５nを搬送装置４は、計数対象物３の一方の端面を少なくとも撮像できればよいため、搬送方向上流側のように所定方向側の位置に配置させてもよい。さらに、所定方向側に配置する撮像装置５の数は、少なくとも１つであればよい。撮像装置５が１つの場合、検出用画像から第１目印群及び第２目印群を生成する。次いで、生成された第２目印２８についてステップＳ１０６～Ｓ１０８と同様な処理をすることで、第４目印群を生成する。その後、生成された第１目印群と第４目印群とを用いて上記実施形態と同様にステップＳ１０９以降の処理を行うことができる。なお、撮像装置５の数を複数とすることで、異なる画角で撮像される複数の検出用画像を用いることができ、一方向からでは視認することが難しい計数対象物３があっても精度よく計数することができる。また、ユーザが判定する際に、位置の整合がとれていないところを調べればよいため、ユーザの負担を軽減することができる。
【0065】
（７）また、表示制御部１９は、撮像から得た第１目印群に第４目印群を重ね合わせる表示機能、撮像から得た第１目印群と第４目印群とを切り替えて表示装置２４に表示させる表示機能、複数の撮像装置による撮像から得られた複数の第１目印群を重ね合わせる表示機能及び複数の撮像装置による撮像から得られた複数の第１目印群を切り替えて表示装置２４に表示させる表示機能の少なくともいずれか一つの表示機能を有してもよい。これらの表示機能によれば、ステップＳ１０６にてユーザが変更入力を行う際や、ユーザが精度よく判定することができる。また、ステップＳ１０８にてユーザマーキングにより生成される第４目印群の画像をユーザが確認することができる。さらに、表示制御部１９は、第１目印群及び第４目印群の少なくとも一方と、検出用画像とを切り替えて表示装置２４に表示させる表示機能、及び第１目印群及び第４目印群の少なくとも一方を検出用画像に重ね合わせて表示装置２４に表示させる表示機能の少なくとも一方の表示機能を有してもよい。
【符号の説明】
【0066】
１…計数システム、２…計数装置、３…計数対象物、４…搬送装置、５、５１、５２、５n…撮像装置、６…情報処理装置、７…端末装置、８１、８２、８n、９…ケーブル、１０…記憶装置、１１…制御装置、１２…撮像データ、１３…推定アルゴリズム用データ、１４…ＩＡＬ製品判定プログラム、１５…対象物データ、１６…処理結果データ、１７…画像取得部、１８…演算部、１９…表示制御部、２０…不整合判定部、２１…第１合致判定部、２２…第２合致判定部、２３…記憶制御部、２４…表示装置、２５…入力装置、２６…制御装置、２７…第１目印、２８…第２目印、２９…第３目印、３０…第４目印
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】