(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024016391
(43)【公開日】2024-02-07
(54)【発明の名称】情報処理装置、情報処理システム、プログラム、記憶媒体
(51)【国際特許分類】
G06Q 50/02 20240101AFI20240131BHJP
G06Q 10/06 20230101ALI20240131BHJP
G06M 7/00 20060101ALI20240131BHJP
G06T 7/60 20170101ALI20240131BHJP
G06V 10/70 20220101ALI20240131BHJP
【FI】
G06Q50/02
G06Q10/06
G06M7/00 301Q
G06T7/60 110
G06V10/70
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2022118462
(22)【出願日】2022-07-26
(71)【出願人】
【識別番号】593064489
【氏名又は名称】株式会社ラックランド
(74)【代理人】
【識別番号】100144749
【弁理士】
【氏名又は名称】小林 正英
(74)【代理人】
【識別番号】100076369
【弁理士】
【氏名又は名称】小林 正治
(72)【発明者】
【氏名】望月 圭一郎
【テーマコード(参考)】
5L049
5L096
【Fターム(参考)】
5L049AA06
5L049CC01
5L096FA52
5L096JA11
5L096KA04
(57)【要約】
【課題】 各作業者の処理個数をカウントできるようにする。
【解決手段】 本発明の情報処理装置は、画像を取得する画像取得部と、画像取得部で取得した画像から処理対象物の状態を判定する状態判定部と、処理対象物が第一状態と判定された後に当該処理対象物が第二状態と判定されたときに処理個数をカウントするカウント部を備えた装置である。本発明の情報処理システムは、管理装置と、撮影装置と、情報処理装置を備えたシステムである。管理装置は開始・終了制御部を備え、撮影装置は撮影部と通信部を備え、情報処理装置として本発明の情報処理装置を備えている。本発明のプログラムは、コンピュータを本発明の情報処理装置として機能させるためのものであり、本発明の記憶媒体は、当該プログラムが記憶されたコンピュータ読み取り可能なものである。
【選択図】
図1
【特許請求の範囲】
【請求項1】
情報処理装置であって、
画像を取得する画像取得部と、
前記画像取得部で取得した画像から処理対象物の状態を判定する状態判定部と、
前記処理対象物が第一状態と判定された後に当該処理対象物が第二状態と判定されたときに処理個数をカウントするカウント部を備えた、
ことを特徴とする情報処理装置。
【請求項2】
請求項1記載の情報処理装置において、
状態判定部は、
同一の処理対象物について所定回数連続して第一状態と判定された場合に第一状態と確定し、
同一の処理対象物について所定回数連続して第二状態と判定された場合に第二状態と確定する、
ことを特徴とする情報処理装置。
【請求項3】
請求項1記載の情報処理装置において、
カウント部は、所定時間内に処理個数が複数回カウントされた場合に処理個数を一つとカウントする、
ことを特徴とする情報処理装置。
【請求項4】
請求項1記載の情報処理装置において、
状態判定部は、予め生成された状態推定モデルを用いて処理対象物の状態が第一状態又は第二状態であることを推定する、
ことを特徴とする情報処理装置。
【請求項5】
請求項4記載の情報処理装置において、
状態推定モデルは処理対象物の画像と処理対象物の第一状態及び第二状態を含むデータセットを学習用データとする機械学習によって生成された、
ことを特徴とする情報処理装置。
【請求項6】
請求項1記載の情報処理装置において、
画像取得部で取得した画像から作業者を識別する作業者識別部を備えた、
ことを特徴とする情報処理装置。
【請求項7】
請求項6記載の情報処理装置において、
カウント部で得られた処理個数に関するデータと作業者識別部で得られた作業者に関するデータとを紐づけて出力する結果出力部を備えた、
ことを特徴とする情報処理装置。
【請求項8】
請求項6記載の情報処理装置において、
作業者識別部で識別された作業者に関するデータと、カウント部によって得られた処理個数に関するデータを出力する結果出力部を備えた、
ことを特徴とする情報処理装置。
【請求項9】
管理装置と、撮影装置と、情報処理装置を備えたシステムであって、
前記管理装置は、前記情報処理装置での処理の開始及び終了を制御する開始・終了制御部を備え、
前記撮影装置は、処理対象物を含む画像を撮影する撮影部と、前記撮影部で撮影された画像を前記情報処理装置に送信する通信部を備え、
前記情報処理装置は、請求項1から請求項8のいずれか1項に記載の情報処理装置である、
ことを特徴とする情報処理システム。
【請求項10】
請求項9記載の情報処理システムにおいて、
情報処理装置は、画像取得部で取得した画像から作業者を識別する作業者識別部を備えた、
ことを特徴とする情報処理システム。
【請求項11】
請求項10記載の情報処理システムにおいて、
カウント部によって得られた処理個数に関するデータと作業者識別部で識別された作業者に関するデータを出力する結果出力部を備えた、
ことを特徴とする情報処理システム。
【請求項12】
請求項11記載の情報処理システムにおいて、
結果出力部で出力されたデータを記憶するデータ記憶部を備えた、
ことを特徴とする情報処理システム。
【請求項13】
請求項12記載の情報処理システムにおいて、
データ記憶部に記憶されたデータに基づいて図表を生成する図表生成部を備えた、
ことを特徴とする情報処理システム。
【請求項14】
コンピュータを請求項1から請求項8のいずれか1項に記載の情報処理装置として機能させるためのプログラム。
【請求項15】
請求項14記載のプログラムが記憶されたコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、貝類の殻剥きの処理個数のカウントに用いることのできる情報処理装置、情報処理システム、プログラム、記憶媒体に関する。
【背景技術】
【0002】
従来、作業者を含む撮影画像に基づいて、作業者の生産数量をカウントするシステムが知られている(特許文献1)。
【0003】
このシステムは、設備の稼働状態を取得する取得部と、作業者の位置を検出する検出部と、設備の稼働状態と作業者の位置の組み合わせから生産数量をカウントする生産数量カウント部を備えている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、海産物の加工処理の現場では、各種処理が手作業で行われている。たとえば、帆立貝から貝柱を取り出す際には、作業者が一つずつ貝を開いて貝柱を取り出している。この作業は、作業者の熟練度によって単位時間当たりの処理個数に差が生じる。
【0006】
このため、生産計画や作業シフトを決める際には作業者の熟練度を考慮していたが、作業者の熟練度を図る明確な基準はなく、生産計画や作業シフトを決める人の感覚によらざるを得ないため、必ずしも精度が高いとは言えなかった。
【0007】
このような状況下、海産物の加工処理を行う業界では、各作業者の処理個数をカウントできる方策の提案が望まれている。
【0008】
本発明はかかる事情に鑑みてなされたものであり、その解決課題は、各作業者の処理個数をカウントすることのできる情報処理装置、情報処理システム、プログラム、記憶媒体を提供することにある。
【課題を解決するための手段】
【0009】
[情報処理装置]
本発明の情報処理装置は、画像を取得する画像取得部と、画像取得部で取得した画像から処理対象物の状態を判定する状態判定部と、処理対象物が第一状態と判定された後に当該処理対象物が第二状態と判定されたときに処理個数をカウントするカウント部を備えたものである。
【0010】
[情報処理システム]
本発明の情報処理システムは、管理装置と、撮影装置と、情報処理装置を備えたシステムであり、管理装置は、情報処理装置での処理の開始及び終了を制御する開始・終了制御部を備え、撮影装置は、処理対象物を含む画像を撮影する撮影部と、撮影部で撮影された画像を情報処理装置に送信する通信部を備え、情報処理装置として、本発明の情報処理装置を備えたものである。
【0011】
[プログラム]
本発明のプログラムは、コンピュータを本発明の情報処理装置として機能させるためのプログラムである。
【0012】
[記憶媒体]
本発明の記憶媒体は、本発明のプログラムが記憶されたコンピュータ読み取り可能な記憶媒体である。
【発明の効果】
【0013】
本発明によれば、各作業者の処理個数をカウントすることができる。
【図面の簡単な説明】
【0014】
【
図1】(a)は情報処理装置のハードウェア構成の一例を示すブロック図、(b)は情報処理装置の機能ブロック図。
【
図2】(a)は帆立貝が閉じた状態を示すもの、(b)は帆立貝の殻を一枚剥がした状態であってヒモやエラ等が残った状態を示すもの、(c)は帆立貝の殻を一枚剥がしてヒモやエラ等を除去した状態を示すもの。
【
図3】状態推定モデルの生成プロセスの一例を示す説明図。
【
図4】(a)はカウント処理の一例を示す説明図、(b)はカウント処理の他例を示す説明図、(c)は所定時間内に複数カウントされた場合の処理の説明図。
【
図5】情報処理装置での処理の流れの一例を示すフローチャート。
【
図6】情報処理システムの第一の実施形態を示すブロック図。
【
図7】(a)は管理装置に接続されたモニタに表示されるメイン画面の一例を示すもの、(b)は管理装置に接続されたモニタに表示される設定画面の一例を示すもの。
【
図9】(a)は作業者マスタテーブルの一例を示す説明図、(b)はカウント結果テーブルの一例を示す説明図。
【
図10】(a)は図表生成部で生成された図表の一例を示すもの、(b)は図表生成部で生成された図表の他例を示すもの。
【
図11】撮影装置のハードウェア構成の一例を示すブロック図。
【
図12】
図6の情報処理システムにおける装置間のデータの流れの一例を示すシーケンス図。
【
図13】情報処理システムの第二の実施形態を示すブロック図。
【
図14】情報処理システムの第三の実施形態を示すブロック図。
【発明を実施するための形態】
【0015】
(情報処理装置の実施形態)
本発明の情報処理装置10の一例を、図面を参照して説明する。ここでは、本発明の情報処理装置10を、帆立貝の殻剥き作業における処理個数(殻剥き個数)のカウントを行う処理数カウント装置として用いる場合を一例として説明する。
【0016】
<情報処理装置の構成>
はじめに、情報処理装置10のハードウェア構成について説明する。
図1(a)は情報処理装置10のハードウェア構成の一例を示すブロック図である。
【0017】
図1(a)に示すように、情報処理装置10は、プロセッサ11やメモリ12、ストレージ13、通信部14、入出力部15を主要構成として備えている。各構成はバス16を通じて電気的に接続されている。情報処理装置10は各種計算処理モジュールやPC等で構成することができる。
【0018】
前記プロセッサ11は、バス16で接続された各機器を制御するものであり、たとえば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)、MPU(Micro Processor Unit)等で構成される。プロセッサ11は、処理の実行に必要なアプリケーションプログラムをストレージ13からメモリ12にロードし、各処理を実行する。
【0019】
前記メモリ12は、データや命令を記憶する主記憶装置であり、たとえば、ROM(Read Only Memory)やRAM(Random Access Memory)等で構成される。
【0020】
前記ストレージ13は、プログラムやデータを保存する補助記憶装置であり、たとえば、HDD(Hard Disk Drive)やSSD(Solid State Drive)、フラッシュメモリ等で構成される。ストレージ13には、処理個数のカウントを行うアプリケーションプログラム(以下「カウンターアプリ」という)をはじめとするプログラムが格納されている。
【0021】
前記通信部14は、外部機器と無線通信(データ通信)を行うためのインターフェースであり、TCP/IPをはじめ、Bluetooth Low Energy(登録商標)やBluetooth(登録商標)、3G、4G(LTE)、5G等の各種通信規格に従って通信が行われる。
【0022】
前記入出力部15は、情報処理装置10に入力装置や出力装置を接続するためのインターフェースであり、たとえば、ネットワークカメラやキーボード、マウス、タッチパネル、マイク等の各種入力装置、ディスプレイやプロジェクタ、プリンタ、スピーカ等の各種出力装置が含まれる。
【0023】
<情報処理装置の機能>
次に、情報処理装置10の機能について説明する。
図1(b)は本実施形態の情報処理装置10の機能ブロック図である。
【0024】
本実施形態の情報処理装置10は、ステータス判定部20と、カウント開始制御部21と、カウント終了制御部22と、画像取得部23と、作業者識別部24と、状態判定部25と、カウント部26と、結果出力部27を主要構成として備えている。
【0025】
本実施形態では、画像取得部23や作業者識別部24、状態判定部25、カウント部26、結果出力部27をクラス(カウントクラス)として構築し、ステータス判定部20、カウント開始制御部21及びカウント終了制御部22をカウントクラスとAPI(Application Programming Interface)連携可能な別プログラムとして構成している。
【0026】
前記ステータス判定部20は、情報処理装置10でのカウント処理の実行状況を判定する機能部である。具体的には、ステータス判定部20は、カウント処理が「実行中」であるか「未実行」であるかを判定する。ステータス判定部20での判定は、外部機器(たとえば、後述する管理装置30)から送信される信号に基づいて行われるようにすることができる。
【0027】
前記カウント開始制御部21は、情報処理装置10でのカウント処理の開始を制御する機能部である。カウント開始制御部21での制御も、外部機器(たとえば、後述する管理装置30)から送信される信号に基づいて行われるようにすることができる。
【0028】
前記カウント終了制御部22は、情報処理装置10でのカウント処理の終了を制御する機能部である。カウント終了制御部22での制御も、外部機器(たとえば、後述する管理装置30)から送信される信号に基づいて行われるようにすることができる。
【0029】
前記画像取得部23は、外部装置(たとえば、後述する撮影装置50)から画像を取得する機能部である。画像取得部23では、撮影装置50から送信される画像を取得する。画像取得部23で取得される画像は、静止画を構成するフレームが連続するものである。
【0030】
前記作業者識別部24は、画像取得部23で取得した画像から作業者を識別する機能部である。作業者の識別は種々の方法で行うことができる。本実施形態では、作業者の識別にAR(拡張現実)マーカを用いている。
【0031】
具体的には、作業者が着用する帽子にARマーカを付しておき、そのARマーカの情報を取得することで作業者を識別できるようにしてある。作業者の識別は、ARマーカを用いる方法以外の方法で行うこともできる。
【0032】
なお、この実施形態では、作業者を識別できなかった場合に、作業者識別部24によって仮の作業者IDが付与されるようにしてある。
【0033】
前記状態判定部25は、画像取得部23で取得した画像から、作業者が処理する処理対象物の状態を判定する機能部である。この実施形態では、状態判定部25によって、処理対象物が、第一状態であるか第二状態であるかの判定が行われる。
【0034】
帆立貝の状態は、殻剥き前の状態(
図2(a))と殻剥き後の状態に大別され、殻剥き後の状態については、更にヒモやエラ、ウロといった貝柱以外の部分(以下「周辺部」という)が付いた状態(
図2(b))と、周辺部が付いていない状態(
図2(c))に分けられる。
【0035】
本実施形態では、殻剥き前の状態を「第一状態(閉じ)」、殻剥き後の周辺部が付いた状態及び周辺部が付いていない状態を「第二状態(開き)」として、状態が判定されるようにしてある。
【0036】
ただし、この分類は一例であり、殻剥き前の状態及び殻剥き後の周辺部が付いた状態を「第一状態(閉じ)」、周辺部が付いていない状態を「第二状態(開き)」として、状態が判定されるようにすることもできる。
【0037】
また、状態があいまいな場合、たとえば、殻剥き前であるか殻剥き後の周辺部が付いた状態であるかの判断が難しい場合を、「第三状態(あいまい)」として、状態が判定されるようにすることもできる。
【0038】
状態判定部25では、画像取得部23で取得されるすべてのフレームについて状態の判定が行われる。状態の判定には、たとえば、予め生成された学習済みモデル(状態推定モデル)を用いることができる。
【0039】
図3に示すように、状態推定モデルは、教師データを用いた機械学習によって生成することができる。この実施形態では、教師データとして、切り出したフレーム内の帆立貝にタグ付けを行ったアノテーションデータを用いている。
【0040】
具体的には、画像中の帆立貝について、殻剥き前の状態であることを示す「殻剥き未」、殻剥き後の周辺部が付いた状態であることを示す「殻剥き中」、殻剥き後の周辺部が付いていない状態であることを示す「殻剥き済」のいずれかのタグを付けたデータを、教師データとして用いている。
【0041】
教師データにはこれら以外のデータセットを用いることもできる。たとえば、画像中の帆立貝について、「殻剥き未」タグを付けるべきか、「殻剥き中」タグを付けるべきかの判断が難しい場合に、状態があいまいであることを示す「あいまい」タグを付けたデータを、教師データとして用いることができる。
【0042】
前記三つのタグを付けたデータに加え、「あいまい」タグを付けたデータを教師データとして用いて生成された状態推定モデルでは、「第一状態(閉じ)」でないものを「第一状態(閉じ)」と判定し、「第二状態(開き)」でないものを「第二状態(開き)」と判定するエラーが減り、高精度の判定を実現することができる。
【0043】
機械学習を行う手法としては、ニューラルネットワークやランダムフォレスト、SVM等の各種アルゴリズムを用いることができる。機械学習を行う手法はこれ以外であってもよい。
【0044】
カウント部26は、処理個数をカウントする(数える)機能部である。処理対象物が「第一状態(閉じ)」と判定された後に、当該処理対象物が「第二状態(開き)」と判定された場合に処理個数を1つとしてカウントするようにしてある。
【0045】
たとえば、
図4(a)に示すように、連続するフレームF1~F6において、二つ目のフレームF2に含まれる処理対象物の状態が「第一状態(閉じ)」と判定された後、三つ目のフレームF3に含まれる処理対象物が第二状態(「開き」)と判定された場合に、一つ分の殻剥き作業が完了したものとして処理個数が1カウントされる。
【0046】
図4(a)の例では、「第一状態(閉じ)」と一回(1フレーム)判定されたときに当該処理対象物の状態が「第一状態(閉じ)」であると確定され、「第二状態(開き)」と一回(1フレーム)判定されたときに当該処理対象物が「第二状態(開き)」であると確定されるようにしてあるが、同じ状態が複数回(複数フレーム)連続して判定されたときにはじめて、当該処理対象物の状態が確定されるようにすることもできる。
【0047】
たとえば、所定状態が3回(3フレーム)連続して判定されたときに当該処理対象物が当該状態であると確定されるように設定した場合、
図4(b)のように、フレームF1に含まれる処理対象物が「第一状態(閉じ)」と判定され、続くフレームF2に含まれる処理対象物が「第二状態(開き)」と判定されただけでは、処理個数はカウントされない。
【0048】
これに対し、同図のフレームF3~F5のように3回(3フレーム)連続して処理対象物が「第一状態(閉じ)」と判定された場合に、当該処理対象物の状態が「第一状態(閉じ)」であることが確定され、フレームF6~F8のように3回(3フレーム)連続して処理対象物が「第二状態(開き)」と判定された場合に、当該処理対象物の状態が「第二状態(開き)」であることが確定され、「第一状態(閉じ)」の後に「第二状態(開き)」が判定されたものとして、処理回数が1カウントされる。
【0049】
このように、同じ状態が2回(2フレーム)以上の任意の回数連続した場合のみ、所定の状態であると特定されるようにすることで、カウント精度を高めることができる。なお、前記の例で示した回数(フレーム数)は一例であり、この回数(フレーム数)は、任意に設定することができる。
【0050】
前記カウント部26では、
図4(c)のように、予め設定された基準時間T内に処理個数のカウントが複数回行われた場合に、1カウント分が重複してカウントされたものとみなし、処理個数を1個としてカウントするようにすることもできる。
【0051】
たとえば、基準時間を5秒と設定した場合、5秒の間に2回以上カウントされたときは、1回とカウントされるように設定することができる。このようにすることで、カウント精度を高めることができる。
【0052】
なお、前記基準時間Tは任意に設定することができ、たとえば、熟練者が最速で処理した場合の単位時間当たりの処理個数を基準として設定することができる。いずれの場合も、基準時間は、経験値の高い作業員であっても2個以上の処理が不可能な時間を設定するのが好ましい。前記基準時間Tは、作業者の処理速度に応じて自動で設定されるようにすることもできる。
【0053】
図4(a)~(c)の例では、状態判定部25において、処理対象物が「第一状態(閉じ)」と「第二状態(開き)」のいずれかに判定される場合を一例としているが、状態判定部25において、処理対象物が「第一状態(閉じ)」、「第二状態(開き)」及び「第三状態(あいまい)」のいずれかに判定されるようにすることもできる。
【0054】
この場合、「第三状態(あいまい)」と判定された処理対象物が、カウント対象から除外されるようにすることができる。このようにすることで、「第一状態(閉じ)」でないものを「第一状態(閉じ)」と判定し、「第二状態(開き)」でないものを「第二状態(開き)」と判定するエラーを減らし、カウント精度を向上させることができる。
【0055】
前記結果出力部27は、作業者識別部24で識別された作業者に関するデータ(以下「作業者データ」という)やカウント部26で得られた処理個数に関するデータ(以下「処理個数データ」という)を、後述するデータ記憶部32等の外部機器に出力する機能部である。
【0056】
ここでいう「作業者データ」には、作業者IDや作業者名等の情報が、「処理個数データ」には、作業者IDやカウント数、AI―UNIT名、カウント座標、カウント時刻などの情報が含まれる。
【0057】
結果出力部27は、作業者データと処理個数データを紐づけて外部機器に出力することも、作業者データと処理個数データのそれぞれを個別の情報として外部機器に出力することもできる。後者の場合、データ記憶部32等の外部機器内に格納される際に両者の紐づけが行われる。
【0058】
本発明の情報処理装置10の構成は本実施形態の構成に限定されるものではなく、所期の目的を達成できる範囲内で、構成の追加や入れ替え、省略といった変更を加えることができる。
【0059】
たとえば、本発明の情報処理装置10は、帆立貝の殻剥き処理の個数のほか、牡蛎やホッキガイ、ハマグリ、アサリ等の各種二枚貝の殻剥き処理の個数をカウントするシステムとして用いることができる。
【0060】
なお、前記実施形態では、作業者識別部24と状態判定部25の双方を含む場合を一例としているが、本発明の情報処理装置10は、作業者識別部24と状態判定部25のいずれか一方のみを備えた装置としても利用することができる。
【0061】
<情報処理装置での処理>
次に、本実施形態の情報処理装置10での処理の流れについて説明する。
【0062】
(1)
図5に示すように、情報処理装置10は、はじめに、外部機器(たとえば、後述する管理装置30)から送信されるカウント開始信号を受信する(S101)。カウント開始信号には、処理範囲の座標情報(x、y、h、w)が含まれる。
(2)画像取得部23は、外部機器(たとえば、後述する撮影装置50)から送信される画像を取得する(S102)。具体的には、ネットワークカメラ等を用いて撮影された作業者及び作業現場の画像を取得する。取得した画像は作業者識別部24及び状態判定部25に入力される。
(3)画像取得部23から画像が入力されると、作業者識別部24は、入力された各画像の処理範囲に含まれる識別マーカ(たとえば、ARマーカ)を検出し、作業者(作業者ID)と特定する(S103)。作業者識別部24が識別マーカを検出できなかった場合、仮の作業者IDを付与する。
(4)画像取得部23から画像が入力されると、状態判定部25は、入力された各画像の処理範囲に含まれる処理対象物の状態を判定する(S104)。状態の判定は、状態推定モデルを用いて行われる。
(5)状態判定部25で状態の判定が行われると、カウント部26は、状態判定部25での判定結果に基づいて、処理個数をカウントする(S105)。具体的には、同一の処理対象物について、「第一状態(閉じ)」と判定された後に「第二状態(開き)」が判定されたときに、1つの処理対象の殻剥き作業が完了したものとして処理個数が1カウントされる。
(6)作業者の識別及び処理個数のカウントが完了すると、結果出力部27は、作業者データと処理個数データを外部機器(たとえば、後述する管理装置30)に出力する(S106)。
【0063】
本実施形態の情報処理装置10では、以上の処理をカウント開始制御部21によってカウント処理が開始されてからカウント終了制御部22でカウント処理が終了されるまでの間継続して実行される。
【0064】
ここで説明した処理の流れは一例であり、不要な処理は適宜省略することができる。また、所期の目的を達成できる範囲で、処理の順番を入れ替えたり、他の処理を加えたりすることもできる。
【0065】
たとえば、同じ状態が2回(2フレーム)以上連続した場合のみ、当該処理対象物が所定の状態であると特定されるようにした場合、前記(5)の工程において、「第一状態(閉じ)」が所定回連続したのち、「第二状態(開き)」が所定回連続した場合に1カウントされるようにすることができる。
【0066】
また、予め設定された基準時間T内に処理個数のカウントが複数回行われた場合に、処理個数を1個としてカウントするようにした場合、前記(5)の工程において、基準時間T内に処理個数のカウントが複数回行われた場合には処理個数を1個としてカウントするようにすることができる。
【0067】
(情報処理システムの実施形態1)
次に、本発明の情報処理装置10を用いた情報処理システムの一例を、図面を参照して説明する。ここでは、本発明の情報処理システムを、帆立貝の処理個数(殻剥き個数)のカウントを行う処理数カウントシステムとして用いる場合を一例として説明する。
【0068】
本発明の情報処理システムは、オンプレミス環境で構築することも、クラウド環境で構築することもできる。はじめに、情報処理システムをオンプレミス環境で構築する場合について説明する。
【0069】
<情報処理システムの全体構成>
一例として
図6に示す情報処理システムは、情報処理装置10と、管理装置30と、撮影装置50を備えている。各装置は一台ずつでもよく、必要に応じて二台ずつ以上設けることもできる。
【0070】
<情報処理装置>
前記情報処理装置10は、撮影装置50で撮影された画像を取得して、処理個数をカウントする装置である。ここでは情報処理装置10として、前記情報処理装置の実施形態で説明したものを用いている。情報処理装置10の構成及び機能については既に説明済みであるため、ここでは、その説明を省略する。
【0071】
<管理装置>
前記管理装置30は、情報処理装置10の管理者が使用するコンピュータである。管理装置30のハードウェア構成は情報処理装置10と同様である(
図1(a)参照)。管理装置30は、各種計算処理モジュールやPC等で構成することができる。
【0072】
図6に示すように、この実施形態の管理装置30は、開始・終了制御部31と、データ記憶部32と、図表生成部33を備えている。
【0073】
前記開始・終了制御部31は、カウントの開始及び終了を制御するための機能部である。本実施形態では、開始・終了制御部31をユーザインターフェース(UI)としてモニタに表示し、当該UI上でカウントの開始や終了の制御を実行できるようにしてある。
【0074】
図7(a)に前記UIのメイン画面34の一例を示す。メイン画面34には、状況表示部34aと、状況表示部34aの下側に設けられた「表更新」ボタン34b、「追加」ボタン34c、「変更」ボタン34d及び「削除」ボタン34eの各ボタンと、各ボタンの下側に設けられた「処理開始」ボタン34f及び「処理終了」ボタン34gが含まれている。
【0075】
状況表示部34aには、情報処理装置10の名称が表示される「AIユニット名称」欄、各情報処理装置10のIPアドレスが表示される「IPアドレス」欄、各情報処理装置10の稼働状況が表示される「状況」欄を備えた一覧表が表示される。管理装置30の管理者は、この表によって各情報処理装置10の稼働状況を把握することができる。
【0076】
「AIユニット名称」欄に記載された「AI-ユニット」とは情報処理装置10のことであり、「AI-ユニット01」等の数字付きの表示は個々の情報処理装置10を識別する表示である。また、「IPアドレス」欄に記載された数字は、各情報処理装置10に割り当てられた固有のIPアドレスを意味する。
【0077】
「状況」欄には「未処理」「処理中」「エラー」のいずれかが表示される。「未処理」とは当該情報処理装置10がカウント処理を実行していない状態(停止状態)であることを、「処理中」とは当該情報処理装置10がカウント処理を実行中であることを、「エラー」とは当該情報処理装置10に何らかのエラーが発生していることを意味する。
【0078】
この実施形態では「表更新」ボタン34bを押下することで、状況表示部34aの一覧表が更新され、予め管理装置30に登録された情報処理装置10の現状の稼働状況が表示されるようにしてある。
【0079】
状況表示部34aに表示された一覧表の中から任意の情報処理装置10を選択し、「処理開始」ボタン34fを押すことで、情報処理装置10にカウント処理の開始信号が送信され、カウント処理が開始される。
【0080】
情報処理装置10でのカウント処理を終了するためには、状況表示部34aに表示された一覧表の中からカウント処理を終了させたい情報処理装置10を選択し、「処理終了」ボタン34gを押下する。これにより、当該情報処理装置10に対して、カウント処理の終了信号が送信され、カウント処理が終了する。
【0081】
メイン画面34上で「追加」ボタン34cが押下されると、メイン画面34から設定画面35に遷移する。
図7(b)に設定画面35の一例を示す。この設定画面35には、左側に「AIユニット名称」表示ボックス35a、「IPアドレス」表示ボックス35b、「画像取得」ボタン35c及び作業者が写る範囲の指定方法が示されている。
【0082】
この実施形態では、設定画面35の「画像取得」ボタン35cを押下することによって、処理範囲を設定するための画像を取得できるようにしてある。ここでは、撮影装置50で撮影された画像が情報処理装置10を経由して取り込まれるようにしてある。
【0083】
取り込まれた画像は設定画面35の右側の画像表示部35dに表示される。マウスで操作を行う場合、表示された画像上で左クリックしながらドラッグすることで、処理範囲を設定することができる。処理範囲は、座標(x、y、h、w)によって特定される。
【0084】
具体的には、
図8に示すように、画像左角の原点(0、0)を基準に、囲い枠Rの左上のポイント(以下「基準ポイント」という)を座標(x、y)として特定し、その基準ポイントからの縦方向の距離(高さh)と、横方向の距離(幅w)によって処理範囲が特定される。
【0085】
この実施形態では、各処理範囲(囲い枠R)内に、作業者一人と、当該作業者が取り出した貝柱を回収する貝柱回収口H1と、周辺部等を入れる周辺部等の貝柱以外の部分を回収する周辺部回収口H2が含まれるようにしてあるが、処理範囲は、作業台や作業場の形状や広さ等に応じて設定することができる。
【0086】
画像に複数人の作業者が含まれることが予定されている場合、前記処理範囲は、作業者ごとの処理個数をカウントできるように設定する。具体的には、各作業者について前記手順で処理範囲(座標x、y、h、w)の設定を行う。
【0087】
なお、この実施形態では、囲い枠Rの線上で右クリックすることによって、当該処理範囲(囲い枠R)を削除できるようにしてある。
【0088】
図7(b)の設定画面35の画像表示部の下側には、「キャンセル」ボタン35e及び「反映」ボタン35fが表示され、「キャンセル」ボタン35eを押下することで設定をキャンセルすることができ、「反映」ボタン35fを押下することで設定を反映させることができるようにしてある。
【0089】
なお、メイン画面34において、一覧表に表示された任意の情報処理装置10を選択した後、一覧表の下の「削除」ボタンを押下することで、当該選択された情報処理装置10を一覧表から削除することができる。
【0090】
前記データ記憶部32は、作業者データや処理個数データ等をデータベースとして格納する装置である。データ記憶部32の管理には、既存の又は新規の各種管理システムを用いることができる。
【0091】
この実施形態では、データベース管理システム(RDBMS)として、オープンソースのPostgreSQLを用いているが、管理システムはこれ以外であってもよく、たとえば、同じくオープンソースのMySQL等を用いることができる。
【0092】
本実施形態のデータ記憶部32には、作業者データが集約された作業者マスタテーブル32aと、処理個数データが集約されたカウント結果テーブル32bが設けられている。
図9(a)に作業者マスタテーブル32aの一例を、
図9(b)にカウント結果テーブル32bの一例を示す。
【0093】
この作業者マスタテーブル32aには、「作業者ID」、「作業者名」、「登録日時」の項目が設けられている。「作業者ID」には作業者ごとに割り当てられた固有の識別コードが、「作業者名」には作業者の名前が、「登録日時」には作業者マスタテーブル32aに情報が登録された日時が格納される。
【0094】
カウント結果テーブル32bには、「作業者ID」、「カウント数」、「AI-UNIT名」「カウント座標」「カウント時刻」の項目が設けられている。
【0095】
「作業者ID」には作業者ごとに割り当てられた固有の識別コードが、「カウント数」にはカウントされた処理個数が、「AI-UNIT名」はカウント処理を実行した情報処理装置10を特定する名称が、「カウント座標」には処理範囲を特定する座標(x、y、h、w)が、「カウント時刻」にはカウント処理が行われた時間帯が格納される。
【0096】
ここで説明したテーブルは一例であり、各テーブルにはこれら以外の情報が格納されるようにすることもできる。また、データ記憶部32には、これら以外のテーブルを設けることもできる。
【0097】
なお、データ記憶部32は管理装置30のストレージ内に構築するほか、管理装置30のストレージとは別の各種記憶装置内に構築することもできる。
【0098】
前記図表生成部33は、データ記憶部32に格納されたデータを呼び出して、各種図表を生成する機能部である。図表は既存の又は新規のアプリケーションを用いて生成することができ、たとえば、マイクロソフト社が提供するVBA(Visual Basic for Applications)等を用いることができる。
【0099】
図10(a)(b)に、図表生成部33で生成された図表の一例を示す。
図10(a)は、対象作業者の作業時間帯別の処理個数を示すものである。この図表には、検索条件を入力する条件入力部36aと、検索を実行する「検索」ボタン36bと、検索結果を表す結果表示部36cと、生成された図表を表示する図表表示部36dが含まれ、図表表示部36dには、結果表示部36cに示された数値を基に生成された棒グラフが示されている。
【0100】
結果表示部36cには、「日付」及び「名前」という項目を含む表と、「カウント時刻」及び「カウント数」という項目を含む表が表示されている。「カウント時刻」には6時台であることを意味する「6」、7時台であることを意味する「7」等の数字が入力され、「カウント数」には、その時間帯の累積処理個数を示す数字が表示される。
【0101】
図10(b)は、対象作業者の日別の処理個数を示すものである。この図表には、検索条件を入力する条件入力部36eと、検索実行する「検索」ボタン36fと、検索結果を表す結果表示部36gと、図表表示部36hが含まれ、図表表示部36hには、結果表示部36gに示された数値を基に生成された棒グラフが示されている。
【0102】
結果表示部36gには、「日付」という項目を含む表と、「ID」「名前」及び「カウント数」という項目を含む表が表示されている。「ID」には作業者固有の作業者IDが、「名前」には作業者IDと紐づけられた作業者の氏名が、「カウント数」には当該作業者による対象日の累積処理個数が表示される。
【0103】
ここで示した図表は一例であり、図表生成部33では、これら以外の図表を生成することもできる。図表生成部33では、データ記憶部32の作業者マスタテーブル32a及びカウント結果テーブル32bに格納された情報やその他の情報から任意の図表を生成し、生産契約や作業シフトの精度の向上をはじめ、作業者の評価等の各種場面で利用することができる。
【0104】
<撮影装置>
前記撮影装置50は、殻剥き作業を行っている作業者及び作業対象物等を撮影する装置である。
図11は本実施形態の撮影装置50のハードウェア構成の一例を示すブロック図である。
【0105】
同図に示すように、撮影装置50は、プロセッサ51やメモリ52、ストレージ53、通信部54、入出力部55に加え、撮影部57を主要構成として備えている。各構成はバス56を通じて電気的に接続されている。撮影装置50は、IPアドレスが割り当てられた既存の又は新規のネットワークカメラやWebカメラ等で構成することができる。
【0106】
この実施形態では、一台の撮影装置50で複数人の作業者が撮影されるようにしてあるが、一台の撮影装置50で一人の作業者が撮影されるようにしてもよい。撮影装置50の台数は、作業者の人数や作業場の広さなどに応じて一台又は複数台とすることができる。複数台の撮影装置50を設置する場合、一台の撮影装置50につき、一つの情報処理装置10が設置される。ただし、複数台の撮影装置50につき、一つの情報処理装置10を設置するようにしてもよい。
【0107】
撮影部57は作業場や作業者を撮影する機能部である。撮影部57で撮影された動画は、静止画(フレーム)が連続する画像の集まりである。この実施形態では、画像内に複数人の作業者が含まれるようにしてあるが、画像内に含まれる作業者は一人でもよい。
【0108】
撮影部57で撮影された画像は、通信部54を介して情報処理装置10に送信される。この実施形態では、RTSP(Real Time Streaming Protocol)のような、映像や音声をリアルタイムに送信する通信プロトコルに従って、画像が送信されるようにしてある。画像は、RTSP以外の通信プロトコルに従って送信されるようにしてもよい。
【0109】
[各装置間でのデータ・信号の流れ]
次に、この実施形態の情報処理システムの情報処理装置10、管理装置30及び撮影装置50間で行われるデータの流れについて、
図12を参照して説明する。
【0110】
(1)はじめに、管理装置30からステータスの確認を要求する信号(以下「ステータス確認信号」という)が情報処理装置10に送信される(S201)。
(2)情報処理装置10は、ステータス確認信号を受信すると、当該情報処理装置10のステータス(状況)を示す信号(以下「ステータス情報」という)を管理装置30に返す(S202)。
(3)次いで、管理装置30からカウントの開始を指示する信号(以下「カウント開始信号」という)が情報処理装置10に送信される(S203)。
(4)情報処理装置10は、カウント開始信号を受信すると、撮影の開始を指示する信号(以下「撮影開始信号」という)を撮影装置50に送信する(S204)。
(5)撮影装置50は、撮影開始信号を受信すると、作業者を含む作業場の撮影を開始する(S205)。
(6)撮影装置50で撮影された画像は、画像としてリアルタイムに撮影装置から情報処理装置10に送信される(S206)。
(7)画像を受信すると、情報処理装置10の作業者識別部24は、画像の処理範囲内に含まれる作業者を識別する(S207)。
(8)画像を受信すると、情報処理装置10の状態判定部25は、当該画像の処理範囲内に含まれる処理対象物の状態を判定する(S208)。
(9)情報処理装置10のカウント部26は、状態判定部25で得られた判定結果に基づいて、処理個数をカウントする(S209)。
(10)情報処理装置10の結果出力部27は、処理個数と作業者データを管理装置30に出力する(S210)。
(11)管理装置30は、情報処理装置10から作業者データや処理個数データ等のデータを受け取ると、管理装置30内のデータベース(カウント結果テーブル32b)に格納する(S211)。
(12)その後、管理装置30からカウントの終了を指示する信号(以下「カウント終了信号」という)が情報処理装置10に送信される(S212)。
(13)カウント終了信号を受信すると、情報処理装置10のカウント終了制御部22は、撮影の終了を指示する信号(以下「撮影終了信号」という)を撮影装置50に送信する(S213)。
(14)撮影終了信号を受信すると、撮影装置50は撮影を終了する(S214)。
【0111】
ここでは、情報処理装置10及び撮影装置50が一台ずつの場合を一例としているが、情報処理装置10及び撮影装置50が複数台設置される場合は、管理装置30から送信されるステータス確認信号やカウント開始信号、カウント終了信号には、情報処理装置10を特定する情報が含まれる。
【0112】
(情報処理システムの実施形態2)
次に、情報処理システムの第2の実施形態として、情報処理システムの一部をクラウド環境で構築する場合の一例について説明する。以下では、前記情報処理システムの実施形態1と異なる部分を中心に説明し、共通する部分については説明を適宜省略する。
【0113】
一例として
図13に示す情報処理システムは、情報処理装置10と、管理装置30と、撮影装置50と、クラウドサーバ70(説明の便宜上、以下「クラウドサーバ70A」という)を備えている。これらの機器は、インターネット等の通信ネットワークNを介して接続されている。
【0114】
この実施形態の情報処理システムと前記情報処理システムの実施形態1とは、後者において、管理装置30に実装されていたデータ記憶部32の機能と図表生成部33を、クラウドサーバ70Aに実装した点が異なる。
【0115】
クラウドサーバ70Aのハードウェア構成は情報処理装置10と同様である(
図1(a)参照)。クラウドサーバ70は、各種計算処理モジュールやPC等で構成することができる。安定的な処理を実現できるよう、クラウドサーバ70は、電源や記憶装置、無停電電源、バックアップ装置等を備えた構成とするのが好ましい。
【0116】
クラウドサーバ70Aは、一台又は二台以上のコンピュータで構成することもできる。また、クラウドサーバ70Aは国内と国外のいずれに設置されたものであっても良い。
【0117】
この実施形態のクラウドサーバ70Aは、カウント収集部71と、データ記憶部72と、図表生成部73を主要構成として備えている。
【0118】
前記カウント収集部71は、情報処理装置10から送信される作業者データ及び処理個数データを取得する機能部である。カウント収集部71は、作業者データ及び処理個数データをデータ記憶部72に送信する。
【0119】
前記データ記憶部72は作業者データや処理個数データ等をデータベースに格納する機能部である。データ記憶部72の構成は、前記情報処理システムの実施形態1のデータ記憶部32と同様であり、作業者マスタテーブル32a及びカウント結果テーブル32bと同様の作業者マスタテーブル72a及びカウント結果テーブル72bを備えている。
【0120】
前記図表生成部73はデータ記憶部72に格納されたデータを呼び出して、各種図表を生成する機能部である。図表生成部73の構成は、前記情報処理システムの実施形態1の図表生成部33と同様である。
【0121】
この実施形態の情報処理システムでは、カウント収集部71が情報処理装置10から作業者データや処理個数データを取得する。データ記憶部72はカウント収集部71が取得した各データを作業者マスタテーブル72a及びカウント結果テーブル72bに格納する。
【0122】
図表生成部73は、管理装置30からリクエストを受けると、データ記憶部72に記憶されたデータを呼び出してリクエストされた図表を生成する。作成された図表は、クラウドサーバ70Aから通信ネットワークNを介して管理装置30に返され、当該管理装置30上に表示される。
【0123】
(情報処理システムの実施形態3)
最後に、情報処理システムの第3の実施形態として、情報処理システムの一部をクラウド環境で構築する場合の他例について説明する。以下では、前記情報処理システムの実施形態1と異なる部分を中心に説明し、共通する部分については説明を適宜省略する。
【0124】
一例として
図14に示す情報処理システムは、管理装置30と、撮影装置50と、エッジコンピュータ80と、クラウドサーバ70(説明の便宜上、以下「クラウドサーバ70B」という)を備えている。これらの機器は、インターネット等の通信ネットワークNを介して接続されている。
【0125】
この実施形態の情報処理システムと前記情報処理システムの実施形態1とは、後者において、管理装置30に実装されていたデータ記憶部32と図表生成部33に加え、情報処理装置10に実装されていた機能をクラウドサーバ70Bに実装した点、情報処理装置10に変えてエッジコンピュータ80を用いた点が異なる。
【0126】
クラウドサーバ70Bのハードウェア構成は情報処理装置10と同様である(
図1(a)参照)。クラウドサーバ70Bは、各種計算処理モジュールやPC等で構成することができる。安定的な処理を実現できるよう、クラウドサーバ70Bは、電源や記憶装置、無停電電源、バックアップ装置等を備えた構成とするのが好ましい。
【0127】
クラウドサーバ70Bは、一台又は二台以上のコンピュータで構成することもできる。またクラウドサーバ70Bは国内と国外のいずれに設置されたものであっても良い。
【0128】
この実施形態のクラウドサーバ70Bは、カウント処理部74と、データ記憶部72と、図表生成部73を主要構成として備えている。
【0129】
前記カウント処理部74は、後述するエッジコンピュータ80から送信される画像を取得して、処理個数をカウントする機能部である。カウント処理部74でのカウントは、情報処理装置10でのカウント処理と同様に行われる(情報処理装置の実施形態参照)。
【0130】
前記データ記憶部72は作業者データや処理個数データ等をデータベースとして格納する機能部である。データ記憶部72の構成は、前記情報処理システムの実施形態1のデータ記憶部32と同様であり、作業者マスタテーブル32a及びカウント結果テーブル32bと同様の作業者マスタテーブル72a及びカウント結果テーブル72bを備えている。
【0131】
前記図表生成部73はデータ記憶部72に格納されたデータを呼び出して、各種図表を生成する機能部である。図表生成部73の構成は、前記情報処理システムの実施形態1の図表生成部33と同様である。
【0132】
前記エッジコンピュータ80は、撮影装置50から送信される画像を取得して、クラウドサーバ70Bに送信する装置である。エッジコンピュータ80にはデータ通信を行うためのUSBドングル(図示しない)が接続されている。
【0133】
エッジコンピュータ80は、ラズベリーパイ(登録商標)をはじめ、Arduino(登録商標)等の各種シングルボードコンピュータ等を用いて構成することができる。
【0134】
この実施形態の情報処理システムでは、カウント処理部74がエッジコンピュータ80から送信された画像を取得し、当該画像を用いて処理個数のカウントを行う。データ記憶部72はカウント処理部74でのカウント処理によって得られた作業者データ及び処理個数データを作業者マスタテーブル72a及びカウント結果テーブル72bに格納する。
【0135】
図表生成部73は、管理装置30からリクエストを受けると、データ記憶部72に記憶されたデータを呼び出してリクエストされた図表を生成する。作成された図表は、クラウドサーバ70Bから通信ネットワークNを介して管理装置30に返され、当該管理装置30上に表示される。
【0136】
(情報処理システムのその他の実施形態)
本発明の情報処理システムの構成は前記各実施形態の構成に限定されるものではなく、所期の目的を達成できる範囲内で、構成の追加や入れ替え、省略といった変更を加えることができる。
【0137】
たとえば、本発明の情報処理システムは、帆立貝の殻剥き処理の個数のカウントに限らず、牡蛎やホッキガイ、ハマグリ、アサリ等の各種二枚貝の殻剥き処理の個数をカウントするシステムとして用いることができる。
【産業上の利用可能性】
【0138】
本発明の情報処理装置10及び情報処理システムは、種々の対象物の処理装置及び処理システムとして利用することができ、特に、帆立をはじめ、牡蛎やホッキガイ、ハマグリ、アサリ等の各種二枚貝の処理個数をカウントする装置及びシステムとして、好適に利用することができる。
【符号の説明】
【0139】
10 情報処理装置
11 プロセッサ
12 メモリ
13 ストレージ
14 通信部
15 入出力部
16 バス
20 ステータス判定部
21 カウント開始制御部
22 カウント終了制御部
23 画像取得部
24 作業者識別部
25 状態判定部
26 カウント部
27 結果出力部
30 管理装置
31 開始・終了制御部
32 データ記憶部
32a 作業者マスタテーブル
32b カウント結果テーブル
33 図表生成部
34 メイン画面
34a 状況表示部
34b 「表更新」ボタン
34c 「追加」ボタン
34d 「変更」ボタン
34e 「削除」ボタン
34f 「処理開始」ボタン
34g 「処理終了」ボタン
35 設定画面
35a 「AIユニット名称」表示ボックス
35b 「IPアドレス」表示ボックス
35c 「画像取得」ボタン
35d 画像表示部
35e 「キャンセル」ボタン
35f 「反映」ボタン
36a 条件入力部
36b 「検索」ボタン
36c 結果表示部
36d 図表表示部
36e 条件入力部
36f 「検索」ボタン
36g 結果表示部
36h 図表表示部
50 撮影装置
51 プロセッサ
52 メモリ
53 ストレージ
54 通信部
55 入出力部
56 バス
57 撮影部
70、70A、70B クラウドサーバ
71 カウント収集部
72 データ記憶部
72a 作業者マスタテーブル
72b カウント結果テーブル
73 図表生成部
74 カウント処理部
80 エッジコンピュータ
H1 貝柱回収口
H2 周辺部回収口
N 通信ネットワーク
R 囲い枠