(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024107437
(43)【公開日】2024-08-08
(54)【発明の名称】案内制御装置、情報処理システム、情報処理方法、プログラム
(51)【国際特許分類】
B65G 1/137 20060101AFI20240801BHJP
【FI】
B65G1/137 F
【審査請求】有
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2024096450
(22)【出願日】2024-06-14
(62)【分割の表示】P 2022112635の分割
【原出願日】2019-03-25
(31)【優先権主張番号】P 2018065938
(32)【優先日】2018-03-29
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【弁理士】
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】藤嶋 孝宜
(72)【発明者】
【氏名】見好 佑三
(72)【発明者】
【氏名】丸山 力
(72)【発明者】
【氏名】岡本 貴宏
(57)【要約】
【課題】表示装置を用いることなく、対象者が行う所定行為を特定し、かつ、対象者に所定行為を案内する案内制御装置を提供する。
【解決手段】案内制御装置は、投影装置による画像投影を制御する。案内制御装置は、対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成するとともに、対象者が視認可能な第二位置に対応する第二投影範囲に投影して対象者に所定行為の案内を行う案内画像を生成する。これにより、案内制御装置は、対象者特定画像と案内画像とを含む投影画像を投影するよう投影装置を制御する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
投影装置と通信接続可能な案内制御装置であって、
作業者の所定行為を行う第一位置に対応する第一投影範囲に投影する第一の投影画像を生成するとともに、前記作業者が視認可能な第二位置に対応する第二投影範囲に投影して前記作業者に前記所定行為の案内を行う第二の投影画像を生成し、前記第一の投影画像と前記第二の投影画像を投影するよう前記投影装置を制御する投影制御部と、
前記作業者の行為を認識し、前記作業者の行為が前記所定行為と相違している場合に、警告画像を生成する行為管理部と、を備え、
前記投影制御部は、前記警告画像を含む前記投影画像を投影するよう前記投影装置を制御する、
案内制御装置。
【請求項2】
前記第二の投影画像は、前記作業者の作業内容に基づいて、作業のための容器に対応する前記第二位置に作業指示を示す情報を含む前記第二の投影画像を投影する
請求項1に記載の案内制御装置。
【請求項3】
前記作業内容は、第1および第2の作業を含み、
第1の作業のための容器に対応する位置に投影した後に、第2の作業のための容器に対応する位置に投影するように前記投影装置を制御する、
請求項2に記載の案内制御装置。
【請求項4】
前記投影制御部は、前記容器の近傍に投影するように前記投影装置を制御する、
請求項2又は3に記載の案内制御装置。
【請求項5】
前記容器は、商品又は物品を収容可能である、
請求項2ないし4のいずれか一項に記載の案内制御装置。
【請求項6】
前記投影制御部は、前記容器に対して作業を行う商品又は物品の数量に関する情報を投影するように前記投影装置を制御する、
請求項4に記載の案内制御装置。
【請求項7】
前記作業者の動作を撮影した撮影画像を取得する取得部と、
前記撮影画像に基づいて、前記容器に対して前記作業者が作業内容に基づく作業を完了したか否かを判定する判定部と、を備える、
請求項2ないし5のいずれか一項に記載の案内制御装置。
【請求項8】
前記容器に対して作業者が作業内容に基づく作業を完了していないと判定された場合に、前記作業者に通知を行う通知部を備える、
請求項7に記載の案内制御装置。
【請求項9】
前記投影制御部は、前記容器に対して作業者が作業内容に基づく作業を完了していないと判定された場合に、警告情報を投影するように前記投影装置を制御する、
請求項7に記載の案内制御装置。
【請求項10】
前記投影制御部は、前記容器の近傍の予め定められた位置に前記警告情報を投影するように前記投影装置を制御する、
請求項9に記載の案内制御装置。
【請求項11】
前記判定部は、前記作業者による作業が、前記作業内容に基づく作業と相違しているかを判定し、
前記投影制御部は、前記作業者による作業が、前記作業内容に基づく作業と相違していると判定された場合に、警告情報を投影するように前記投影装置を制御する、
請求項7ないし10のいずれか一項に記載の案内制御装置。
【請求項12】
前記投影制御部は、前記容器に対する作業を案内する案内情報を前記作業者が視認可能な位置に投影するように前記投影装置を制御する、
請求項2ないし11のいずれか一項に記載の案内制御装置。
【請求項13】
前記投影制御部は、前記容器に対する作業を案内する情報を表示装置に表示させる、
請求項2ないし11のいずれか一項に記載の案内制御装置。
【請求項14】
前記第一の投影画像は特定画像であり、前記第二の投影画像は案内画像である
請求項1ないし請求項13のいずれか一項に記載の案内制御装置。
【請求項15】
投影装置と通信接続可能な情報処理システムであって、
作業者の所定行為を行う第一位置に対応する第一投影範囲に投影する第一の投影画像を生成するとともに、前記作業者が視認可能な第二位置に対応する第二投影範囲に投影して前記作業者に前記所定行為の案内を行う第二の投影画像を生成し、前記第一の投影画像と前記第二の投影画像を投影するよう前記投影装置を制御する投影制御部と、
前記作業者の行為を認識し、前記作業者の行為が前記所定行為と相違している場合に、警告画像を生成する行為管理部と、を備え、
前記投影制御部は、前記警告画像を含む前記投影画像を投影するよう前記投影装置を制御する、
情報処理システム。
【請求項16】
投影装置と通信接続可能な案内制御装置が、
作業者の所定行為を行う第一位置に対応する第一投影範囲に投影する第一の投影画像を生成するとともに、前記作業者が視認可能な第二位置に対応する第二投影範囲に投影して前記作業者に前記所定行為の案内を行う第二の投影画像を生成し、前記第一の投影画像と前記第二の投影画像を投影するよう前記投影装置を制御し、
前記作業者の行為を認識し、前記作業者の行為が前記所定行為と相違している場合に、警告画像を生成し、
前記警告画像を含む前記投影画像を投影するよう前記投影装置を制御する、
情報処理方法。
【請求項17】
投影装置と通信接続可能な案内制御装置のコンピュータを、
作業者の所定行為を行う第一位置に対応する第一投影範囲に投影する第一の投影画像を生成するとともに、前記作業者が視認可能な第二位置に対応する第二投影範囲に投影して前記作業者に前記所定行為の案内を行う第二の投影画像を生成し、前記第一の投影画像と前記第二の投影画像を投影するよう前記投影装置を制御する投影制御手段、
前記作業者の行為を認識し、前記作業者の行為が前記所定行為と相違している場合に、警告画像を生成する行為管理手段として機能させ、
前記投影制御手段は、前記警告画像を含む前記投影画像を投影するよう前記投影装置を制御する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、案内制御装置、情報処理システム、情報処理方法、プログラムに関する。
【背景技術】
【0002】
商品配送センタなどの作業現場において、作業者に所定の作業を行うよう案内情報を画面表示する技術が知られている。例えば、配送センタにおいては、商品を配送先毎に個別に仕分けをするために、どの配送先に何の商品を何個配送するかを作業者に案内する案内情報をデジタル表示装置などの所定のモニタに表示する技術が利用されている。特許文献1は、表示器を用いることなく物品の仕分け作業に関する情報(作業指示情報)を表示可能な物品の仕分け設備を開示している。具体的には、ユーザから注文を受けた物品をユーザ注文が割り付けられた集品容器に集めて配送するピッキング設備において、拡張現実(AR:AugmentedReality)を用いたヘッドマウントディスプレイ(HMD)システムに作業指示情報を表示している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述のように、作業者に対する案内情報を表示する技術では、作業者が作業を行うときに表示装置を用いずに誤りなく作業を精度良く行えるように案内情報を提示する必要がある。商品配送センタなどの作業現場では、複数の作業者が近接した位置で同時に作業を行っており、作業対象物(商品)と作業個所(仕分け容器)との位置関係が複雑となり、作業誤りが発生する可能性がある。また、作業者にヘッドマウントディスプレイを装着すると、作業者に負担をかけることになる。
【0005】
本発明は、上述の課題を解決するためになされたものであり、作業などの案内情報を提示する情報処理装置および案内制御装置、情報処理システム、情報処理方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第一態様は、投影装置と通信接続可能な案内制御装置である。案内制御装置は、対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成するとともに、対象者が視認可能な第二位置に対応する第二投影範囲に投影して対象者に所定行為の案内を行う案内画像を生成し、対象者特定画像と案内画像とを含む投影画像を投影するよう投影装置を制御する投影制御部を備える。
【0007】
本発明の第二態様は、投影装置と、投影装置と通信接続可能な案内制御装置とを備えた案内制御システムである。案内制御装置は、対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成するとともに、対象者が視認可能な第二位置に対応する第二投影範囲に投影して対象者に所定行為の案内を行う案内画像を生成し、投影装置を制御して、対象者特定画像と案内画像とを含む投影画像を投影する。
【0008】
本発明の第三態様は、案内制御方法である。案内制御方法は、対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成し、対象者が視認可能な第二位置に対応する第二投影範囲に投影して対象者に所定行為の案内を行う案内画像を生成し、対象者特定画像と案内画像とを含む投影画像を投影する。
【0009】
本発明の第四態様は、コンピュータに対して所定の処理過程を実行させるプログラムを記憶した記憶媒体である。所定の処理過程は、対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成する処理過程と、対象者が視認可能な第二位置に対応する第二投影範囲に投影して対象者に所定行為の案内を行う案内画像を生成する処理過程と、対象者特定画像と案内画像とを含む投影画像を投影する処理過程と、を具備する。
【発明の効果】
【0010】
本発明によれば、表示装置を用いることなく、対象者が行う所定行為を特定し、かつ、対象者に所定行為を案内することができる。また、対象者が所定行為を誤りなく精度よく行うことができる。
【図面の簡単な説明】
【0011】
【
図1】本発明の一実施形態に係る案内制御システムの全体構成を示す斜視図である。
【
図2】本発明の一実施形態に係る案内制御システムが適用される作業現場における作業状況を示す平面図である。
【
図3】本発明の一実施形態に係る案内制御装置のハードウェア構成図である。
【
図4】本発明の一実施形態に係る案内制御装置の機能ブロック図である。
【
図5】本発明の一実施形態に係る案内制御装置に適用される端末の処理手順を示すフローチャートである。
【
図6】本発明の一実施形態に係る案内制御装置による画像投影処理のフローチャートである。
【
図7】画像投影処理に用いられる各種のデータテーブルの例を示す。
【
図8】本発明の一実施形態に係る案内制御装置により生成される投影画像の例を示す。
【
図9】作業者に対する案内画像を含む投影画像の生成処理を示すフローチャートである。
【
図10】本発明の一実施形態に係る案内制御装置による仕分け作業判定処理を示すフローチャートである。
【
図11】本発明の一実施形態に係る案内制御装置の最小構成を示すブロック図である。
【発明を実施するための形態】
【0012】
本発明に係る案内制御装置および案内制御方法について添付図面を参照して説明する。
図1は、本発明の一実施形態に係る案内制御装置1が適用される案内制御システム100の全体構成を示す斜視図である。案内制御システム100は、案内制御装置1、プロジェクタ(投影装置)2、カメラ(撮影装置)3、及び端末(管理装置)5を備えている。案内制御装置1は、プロジェクタ2、カメラ3、及び端末5と通信接続されている。プロジェクタ2は、作業者の上方に設置され、下方に向けて画像を投影する。つまり、プロジェクタ2は、案内制御装置1から出力された画像を所定の投影範囲に投影する。カメラ3は、作業者の上方に設置され、下方の所定の撮影範囲に映る画像を撮影して、その撮影画像を案内制御装置1へ送信する。端末5は、作業者により利用される。作業対象物を商品とした場合、案内制御システム100は、商品配送先としての店舗に商品を配送する配送センタに設置される。
【0013】
説明の便宜上、
図1では、1台のプロジェクタ2と1台のカメラ3が案内制御装置1に通信接続されているが、実際には、案内制御装置1は、複数のプロジェクタ2と複数のカメラ3と通信接続されている。この場合、プロジェクタ2は異なる投影範囲に画像を投影する。また、カメラ3は異なる撮影範囲に映る画像を撮影する。なお、投影装置はプロジェクタに限定されるものではなく、所定の画像を所定位置に投影できるものであればよい。また、撮影装置もカメラに限定されるものではなく、所定の撮影範囲に映る画像を良好な解像度で撮影できるものであればよい。また、管理装置も端末に限定されるものではなく、案内制御装置1に対して所定の指示や情報入力を行えるものであればよい。また、本実施形態では、作業者(対象者)が行う所定行為を店舗宛の商品の仕分け作業として説明しているが、店舗で販売される商品以外の他の物品(例えば、工業製品の組み立てに必要な部品など)を取り扱うようにしてもよい。
【0014】
配送センタにおいて、作業者は、カート4に乗せた商品かご41内の商品を所定の配送先に対応する配送かご51に順次投入するという作業を行う。このとき、案内制御装置1は、所望の配送先の配送かご51の前の通路床面の第一投影範囲に、その配送かご51に商品を投入すべき作業者を特定するための対象者特定画像が投影されるようプロジェクタ2を制御する。案内制御装置1は、所望の配送先の配送かご51の前に止まったカート4を押す作業者が、その配送かご51に商品を投入すべき作業者である場合に、カート4に取り付けられた案内プレート42(第二投影範囲)に案内画像420が投影されるよう制御する。なお、案内プレート42は、作業者に対する仕分け作業の案内画像420を投影する板状の構造物である。本実施形態では、一例として、案内プレート42はカート4の上部に取り付けられる。
【0015】
図2は、配送センタにおける作業状況を示す平面図である。
図2は、複数の作業者の作業状況を上方から見た平面図である。
図2において、通路6の両側には、異なる配送先の複数の配送かご51が配送先エリア毎に配置されている。配送かご51の近傍の通路6の床面には、第1投影範囲61が位置する。第一投影範囲61には、作業者を特定する対象者特定画像610が投影される。例えば、作業者には、複数の商品や物品(例えば、ひよこ、ぶどう、など)などの予め設定された複数の画像(対象者特定画像610)のうち何れかが割り当てられる。案内制御装置1は、作業者に割り当てられた対象者特定画像610のうち、所望の配送先に対して配送すべき商品を仕分ける作業者を特定する。案内制御装置1は、作業者に割り当てた対象者特定画像610を特定し、配送先の配送かご51の前の第一投影範囲61に、その対象者特定画像610が投影されるようプロジェクタ2を制御する。案内制御装置1は、カート4に設けられた案内プレート42に案内画像420が投影されるようプロジェクタ2を制御する。
【0016】
案内制御装置1は、複数の配送先に対応する対象者特定画像610と、案内画像420とを含む投影画像を生成して、それらの画像に対応する配送かご51に対応する配送先エリアに設置されたプロジェクタ2に対して投影画像を投影するよう制御する。
【0017】
図3は、案内制御装置1のハードウェア構成図である。案内制御装置1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、HDD(Hard Disk Drive)104、インタフェース105、及び通信モジュール106を具備する。なお、HDD103は、SDD(SolidState Drive)としてもよい。
【0018】
図4は、案内制御装置1の機能ブロック図である。案内制御装置1は、CPU101がROM102などの記憶部に予め記憶される案内制御プログラムを読み出して実行することにより、機能部10~15を実装するものである。すなわち、案内制御装置1は、制御部10、登録受付部11、投影制御部12、作業者認識部13、行為管理部14、及び管理情報更新部15を具備する。制御部10は、登録受付部11、投影制御部12、作業者認識部13、行為管理部14、及び管理情報更新部15を制御する。
【0019】
登録受付部11は、対象者(作業者)と、その対象者が行う所定行為(仕分け作業)を示す情報との対応関係の登録を受け付ける。所定行為を示す情報とは、例えば、仕分け作業を行う商品種別と、カート4の商品かご41に投入する商品の数量などである。投影制御部12は、対象者特定画像610や案内画像420を含む投影画像を生成して、その投影画像をプロジェクタ2へ出力する。これにより、プロジェクタ2は配送かご51近傍の所定エリアに投影画像を投影する。作業者認識部13は、カメラ3が撮影した画像に基づいて作業者を認識する。行為管理部14は、作業者が行う仕分け作業をカメラ3の撮影画像に基づいて認識する。管理情報更新部15は、作業完了の有無に従って作業に関する管理情報を記憶する仕分け管理テーブルを更新する。なお、案内制御装置1は、仕分け管理テーブルを記録したデータベース40と接続される。
【0020】
次に、作業者が作業を開始するときに利用する端末5の処理手順について説明する。
図5は、端末5の処理手順を示すフローチャートである(ステップS101~S103)。作業者は、一例として、1種類の商品をカート4に載せた商品かご41に1個又は複数個投入して、配送センタのフロアに配置された配送かご51に順次投入して、商品仕分け作業を行う。作業者は、まず、端末5を利用して自身が仕分けを行う商品を登録する。具体的には、端末5のモニタに登録画像が表示されている。登録画像には、氏名選択ボタン、商品選択ボタン、1度にカート4で運ぶ商品の運搬数量選択ボタンなどが表示される。端末5のモニタは、一例として、タッチパネルを備えたディスプレイである。作業者は、端末5のモニタにおいて、作業者自身の氏名、識別情報(ID)などの作業者識別情報を選択し、商品を選択し、1度にカート4で運ぶ商品の運搬作業を選択する。例えば、作業者は、自身の氏名及びIDを選択した後に、複数の異なる商品の中から、「卵」を選択し、1度にカート4で運ぶ卵の運搬数量を「100」個と選択する。端末5は、作業者の選択した情報(作業者識別情報、商品識別情報、運搬数量など)を取得する(S101)。端末5は、作業者の選択情報に基づいて、商品名「卵」、運搬数量「100」、作業者識別情報に紐づいて記憶された対象者特定画像610(例えば、「ひよこ」の画像)、確認ボタンなどを示す確認画面を生成してモニタに表示する(S102)。なお、対象者特定画像610の「ひよこ」は、作業者に対して作業対象物(例えば、商品「卵」)を連想させる画像を意味する。作業者は、対象者特定画像610を視認することにより、端末5のモニタに表示される画像が、作業者自身の作業を示すものであることを認識することができる。作業者は、確認画面の表示情報を確認し、作業者自身が行う仕分け作業の対象商品の商品名と運搬数量とが、予め登録した情報と一致した場合、対象者特定画像610を認識した上で確認ボタンを操作する。端末5は、確認ボタンの操作を検出すると、作業者氏名に対応する作業者ID、商品「卵」の商品ID、卵の運搬数量、作業者IDに対応する対象者特定画像610を示す対象者画像IDを含む登録要求を案内制御装置1へ出力する(S103)。作業者は、商品かご41に卵を100個投入して、カート4に載せる。作業者は、カート4を押して、配送かご51が両側に並べられた通路上を移動して、商品「卵」の仕分け作業を行う。
【0021】
次に、案内制御装置1がプロジェクタ2を制御して投影する画像の処理(画像投影処理)について説明する。
図6は、画像投影処理のフローチャートである(S201~S208)。
図7は、画像投影処理に使用される各種のデータテーブルの例を示す。
まず、案内制御装置1の登録受付部11は、端末5から登録要求を受信する(S201)。登録受付部11は、作業者ID、仕分け作業の対象商品の商品ID、運搬数量、対象者画像IDを紐づけてデータベース40に記憶される仕分け管理テーブルに書き込む(S202)。これにより、作業者が仕分け作業を行う商品に関する情報がデータベース40に記録される。
【0022】
図7において、商品配送テーブルは、配送先の店舗の識別情報(店舗ID)、店舗が配送を希望する商品の識別情報(商品ID)、店舗が配送を希望する商品の配送数量、仕分け作業完了までの残りの商品の数量(残り仕分け数量)、仕分け作業完了の有無を示すフラグなどを、紐づけて記憶している。また、投影管理テーブルは、配送先の店舗の識別情報(店舗ID)、その店舗宛の配送かご51に対応する投影画像の投影位置を示す第一投影範囲61の座標、その座標に画像を投影するプロジェクタ2の識別情報(プロジェクタID)を記憶する。投影制御テーブルは、作業者ID、商品ID、対象者識別画像ID、及び店舗IDを記憶する。案内制御装置1は、上述のデータテーブルを生成してRAM103などの記憶部に記憶する。
【0023】
案内制御装置1の投影制御部12は、仕分け管理テーブルの記録情報を読み込む。また、投影制御部12は、商品配送テーブルの記憶情報を読み込む。新たな登録要求が発せられると、投影制御部12は、登録要求に含まれる仕分け作業の対象商品の商品IDと運搬数量とを取得する。投影制御部12は、商品配送テーブル上にて商品IDに紐づく残り仕分け数量が「0」となっていない店舗IDを1つ又は複数特定する(S203)。この店舗IDは、登録要求に含まれる商品IDに係る商品の配送先の店舗に相当する。また、投影制御部12は、登録要求に含まれる作業者ID、商品ID、対象者特定画像IDに加えて、1つ又は複数の店舗IDを含む投影制御情報を生成する(S204)。
【0024】
図8は、案内制御装置1により制御されたプロジェクタ2により投影される投影画像の例を示す。投影画像として、1つ又は複数の店舗宛の配送かご51の前に位置する第一投影範囲61に投影される店舗前画像と、カート4の案内プレート42に投影される案内画像420とが存在する。店舗前画像には、1つ又は複数の対象者特定画像610が含まれる。投影制御部12は、投影制御情報を生成して、投影制御情報に基づいて
図8に示すような投影画像を生成する。なお、投影画像の投影範囲にカート4の案内プレート42が含まれていない場合には、投影制御部12の生成する投影画像には案内画像420は含まれない。上述のように、投影画像には複数の店舗宛の配送かご51の前に位置する第一投影範囲61に投影される店舗前画像が含まれるため、本実施形態においては、複数の店舗前画像に対応する店舗IDに紐づいて投影画像が記憶される。投影制御部12は、投影画像に含まれる店舗毎の店舗前画像の範囲を示す座標を店舗ID毎に記憶している。
【0025】
投影制御部12は、投影制御テーブルに記録される投影制御情報を一つ読み込み、その投影制御情報に含まれる店舗IDを取得する(S205)。投影制御部12は、店舗IDに紐づく投影画像をRAM103などの記憶部から取得する。また、投影制御部12は、店舗IDに対応する店舗前画像の投影範囲の座標を取得する。投影制御部12は、対象者特定画像610をデータベース40から取得する。投影制御部12は、店舗IDで特定される店舗前画像の投影範囲の座標に対応して対象者特定画像610を含む投影画像を生成する(S206)。投影制御部12は、投影画像を記憶する。
【0026】
投影制御部12は、投影画像を投影するためのプロジェクタ2を、店舗IDに紐づけて投影管理テーブルに記録されているプロジェクタIDに基づいて特定する。投影制御部12は、プロジェクタIDに基づいて、投影画像の送信先のプロジェクタ2のネットワークアドレスを取得する。投影制御部12は、投影画像をネットワークアドレスで特定されるプロジェクタ2へ送信する(S207)。プロジェクタ2は、投影制御部12より受信した投影画像を、配送かご51の前の通路上の所定の投影範囲に投影する。
【0027】
投影制御部12は、投影制御情報に他の店舗IDが含まれているか判定する(S208)。投影制御情報に他の店舗IDが含まれている場合、上述の処理により、他の店舗IDに紐づけて投影画像を生成又は更新して、投影制御を行う。また、投影制御部12は、次の投影制御情報が生成されているか判定してもよい。次の投影制御情報が生成されている場合には、投影制御部12は、次の投影制御情報に基づいて、投影画像を生成又は更新するような投影制御を繰り返す。投影制御部12は、案内制御装置1の電源オフなどにより画像投影処理を終了する場合には、投影制御を終了する。
【0028】
上述のように、案内制御装置1は、対象者特定画像610を1つ又は複数含む店舗前画像を生成して、店舗前画像を含む投影画像を複数並べて通路上の第一投影範囲61に投影する。作業者は、店舗前画像に自身の対象者特定画像610が表示されている場合に、所定の店舗宛の配送かご51に対して商品の仕分け作業を行う必要があることを認識する。例えば、作業者が端末5を用いて仕分け作業の対象商品を「卵」と登録した場合、カート4を通路上で移動して、作業者自身の対象者特定画像610が投影された第一投影範囲61の近傍で停止し、その第一投影範囲61に対応する配送かご51に所定数の卵を投入すればよい。これにより、作業者は、どの店舗に対応する作業を行えばよいかの判断を、床面に投影された対象者特定画像610を視認するだけで行うことができ、仕分け作業の効率を向上することができ、仕分け作業の誤りを軽減することができる。
【0029】
作業者が、自身の対象者特定画像610が投影された第一投影範囲61の前でカート4を停止すると、案内プレート42には、仕分け作業を行う商品名や店舗かご51に投入すべき商品の数量を含む案内画像420が投影される。
【0030】
次に、作業者に対する案内画像420を含む投影画像の生成処理について説明する。
図9は、案内制御装置1による案内画像を含む投影画像の生成処理を示すフローチャートである(ステップS300~S308)。上述の投影制御情報は、作業者が仕分け作業を行う商品の登録完了後に直ちに生成される。一方、案内画像420は、商品登録完了後に、作業者が仕分け作業を行うためにカート4を移動して、商品の配送先の店舗に対応する店舗かご51の前に位置し、カメラ3の撮影範囲に入ったときに、その作業者を検知した案内制御装置1により生成される。
【0031】
作業者は、カート4を押して通路に入り、店舗かご51の前の第一投影範囲61に作業者自身の対象者特定画像610が投影されているかを確認しながら移動する。作業者は、通路床面の第一投影範囲61に作業者自身の対象者特定画像610が投影されている場合、その第一投影範囲61に対応するカート配置位置やその近傍にカート4を停止する。カメラ3は、所定時間間隔(例えば、1秒)で所定の撮影範囲に映る画像を撮影して、その撮影画像を案内制御装置1へ送信している。なお、カメラ3は静止画像ではなく、動画像を案内制御装置1へ送信してもよい。案内制御装置1は、撮影画像又は動画像をカメラ3から受信する。
【0032】
案内制御装置1の作業者認識部13は、カメラ3から受信した撮影画像(又は動画像)を取得する(S300)。例えば、カメラ3の撮影範囲は、複数の店舗かご51や、その店舗かご51の前の通路部分を含んでいる。なお、カメラ3の撮影範囲とプロジェクタ2の投影範囲とは重複していても、重複しなくてもよい。案内制御装置1は、カメラ3の撮影範囲に映る画像の座標と、プロジェクタ2の投影範囲に投影される投影画像の座標や店舗IDとの対応関係をデータベース40に記憶する。従って、案内制御装置1は、投影画像を更新する場合には、撮影画像の座標により、どの店舗の店舗IDに対応する投影画像を更新するかを認識することができる。
【0033】
作業者認識部13は、カメラ3の撮影画像に作業者識別コードが含まれているかを検出する(S301)。作業者識別コードは一例として、カメラ3から撮影できるカート4や案内プレート42に印字されている。或いは、作業者識別コードは、作業者が身に着ける作業服などのように、カメラ3から撮影できる位置に印字されてもよい。作業者識別コードは、2次元コードや英数字の組み合わせであってもよい。作業者認識部13は、撮影画像において作業者識別コードを検出すると、その作業者識別コードに紐づいて予め記憶した作業者IDをデータベース40から取得する。また、作業者認識部13は、撮影画像中の作業者識別コードの座標を取得する。作業者認識部13は、撮影画像中の作業者識別コードの座標に対応する店舗IDをデータベース40から取得する。例えば、作業者認識部13は、作業者IDと、撮影画像中の作業者識別コードの座標に対応する店舗IDと、それらの識別情報の取得に用いた撮影画像の送信元のカメラ3を示すカメラIDと、を含む案内画像生成要求を投影制御部12へ送出する(S302)。また、作業者認識部13は、作業者IDと、作業者IDに紐づいて仕分け管理テーブルに記録されている商品IDと、上述の処理で取得した店舗IDと、カメラIDと、を含む行為確認要求を行為管理部14へ送出する(S303)。
【0034】
投影制御部12は、案内画像生成要求に含まれるカメラIDに対応するカメラ3の撮影画像を取得する。投影制御部12は、カメラ3の撮影画像に映る案内プレート42の座標を検出する。投影制御部12は、案内画像生成要求から店舗IDを取得する。また、投影制御部12は、カメラ3の撮影画像に映る案内プレート42の座標に対応するプロジェクタ2を特定する。投影制御部12は、撮影画像中の案内プレート42の座標を投影画像中の案内プレート42の座標に変換して、投影画像内に配置する案内画像420の位置を決定する(S304)。
【0035】
投影制御部12は、案内画像生成要求から作業者IDと店舗IDとを取得する。投影制御部12は、作業者IDに紐づいて仕分け管理テーブルに記録されている商品IDを取得する。商品IDは、作業者が店舗かご51に投入すべき商品を示す情報である。
【0036】
投影制御部12は、案内画像生成要求から取得した商品IDと店舗IDとに紐づけて商品配送テーブルに記録された商品の残り仕分け数量を取得する。残り仕分け数量とは、店舗IDが示す店舗に対して仕分けが必要な商品の数量を示す。
【0037】
投影制御部12は、作業者IDと商品IDとに紐づいて仕分け管理テーブルに記録された運搬数量を取得する。運搬数量は、作業者IDの示す作業者がカート4で現在運んでいる商品IDの示す商品の数量である。
【0038】
投影制御部12は、残り仕分け数量が1以上の値であり、運搬数量が残り仕分け数量以上の値を示す場合には、残り仕分け数量を作業者の仕分け数量と判定する。投影制御部12は、残り仕分け数量が1以上の値であり、運搬数量が残り仕分け数量未満の値を示す場合には、運搬数量を作業者の仕分け数量と判定する。また、仕分け数量が1以上の場合には、投影制御部12は作業者IDと、店舗IDと、商品IDと、仕分け数量とを記述した行為情報を生成する(S305)。投影制御部12は、行為情報をRAM103などの記憶部に記憶する。行為情報は、作業者がどのような仕分け作業を行うべきかを示す情報である。投影制御部12は、残り仕分け数量が「0」の場合には、仕分け数量がゼロであると判定し、仕分け作業を終了する。
【0039】
投影制御部12は、商品IDに対応する商品名と、その商品IDに対応する商品画像と、作業者の仕分け数量とを示す案内画像420を生成する(S306)。そして、投影制御部12は、所定位置に案内画像420を配置した投影画像を生成又は更新する(S307)。投影制御部12は、案内プレート42の座標に対応するプロジェクタ2のネットワークアドレスを取得し、そのネットワークアドレスに向けて投影画像を送信する(S308)。プロジェクタ2は、投影制御部12から受信した投影画像を、第一投影範囲61や案内プレート42に投影する。なお、案内制御装置1は、上述のステップS300~S308を複数のカメラ3から得た撮影画像に対して並列に実行する。
【0040】
上述の処理により、カート4に設置された案内プレート42に案内画像420が投影される。案内制御装置1は、案内プレート42の座標に従って投影画像内に配置する案内画像420の位置を決定する。このため、案内プレート42の位置がカメラ3の撮影範囲に含まれており、かつ、案内プレート42の撮影画像中の座標に対応するプロジェクタ2の投影範囲中の座標が特定できれば、案内制御装置1は、案内画像420が案内プレート42の位置に投影されるよう位置合わせを行った投影画像を生成することができる。
【0041】
作業者は、案内プレート42に投影された案内画像420に含まれる商品名と、商品画像と、仕分け数量と、を目視して、作業者自身が運んでいる商品の種類と数量とに齟齬がないか確認し、仕分け数量分の商品を商品かご41から取り出して店舗かご51へ投入する。これにより、作業者は、所定の店舗宛の商品の仕分け作業を完了する。その後、作業者は、自身を示す対象者特定画像610が床面の通路に映る位置までカート4を移動して、再度、商品の仕分け作業を商品かご41内の商品が無くなるまで続ける。
【0042】
案内画像420を案内プレート42に表示することにより、作業者は、作業内容を精度良く認識することができる。また、作業者は、案内画像420に従って作業を素早くかつ精度よく行うことができる。なお、案内画像420は案内プレート42に投影する必要はなく、他の床面領域や配送かご51に投影するようにしてもよい。
【0043】
案内制御装置1は、作業者が仕分け作業を行ったかどうかの判定と、仕分け作業が行われた場合に仕分け管理テーブルや商品配送テーブルの情報を更新する必要がある。また、作業者認識部13は、通路床面の第一投影範囲61に投影された対象者特定画像610に対応する作業者の位置が、作業者が運搬する商品の配送を依頼する店舗の位置(すなわち、店舗かご51の位置)に一致するか判定してもよい。この場合、作業者認識部13は、カメラ3の撮影画像中の作業者識別コードに対応する作業者IDに紐づいて仕分け管理テーブルに記録された商品IDを取得する。また、作業者認識部13は、カメラ3の撮影画像中の作業者識別コードの座標に対応する店舗の店舗IDに紐づいて商品配送テーブルに記録される商品IDを取得する。上記の2つの商品IDが一致した場合には、作業者の位置が作業者の運搬する商品の配送依頼する店舗への仕分け作業を行う位置と一致すると判定できる。投影制御部12は、第一投影範囲61に投影された対象者特定画像610に対応する作業者の位置が仕分け作業を行う位置に一致すると判定された場合に、作業者に仕分け作業を促す案内画像420を案内プレート42(第二投影範囲)に投影するようプロジェクタ2を制御してもよい。
【0044】
次に、案内制御装置1による作業者が仕分け作業を行ったかを判定する処理(仕分け作業判定処理)について説明する。
図10は、仕分け作業判定処理のフローチャートである(ステップS401~S414)。
案内制御装置1の行為管理部14は、作業者認識部13から送出された行為確認要求を取得する(S401)。また、行為管理部14は、行為確認要求に含まれるカメラIDに対応するカメラ3の撮影画像を作業者認識部13と同様に取得する(S402)。行為管理部14は、カメラ3の撮影画像に映る作業者の骨格情報を検出する(S403)。前述のように、カメラ3は上方から作業者を撮影している。撮影画像には作業者の頭部や腕部分が含まれているため、画像解析により作業者の頭部や腕を伸ばした場合の腕の延出方向を検出することができる。行為管理部14は、骨格情報に基づいて、撮影画像に映る作業者の腕の長さや腕の延出方向をベクトルとして算出する。なお、公知の技術を用いて、物体の大きさや移動方向に係るベクトルを算出することができる。行為管理部14は、行為確認情報に記録された店舗IDに対応する店舗宛の配送かご51の座標をデータベースか40から取得する。行為管理部14は、作業者の腕の延出方向を示すベクトルと、配送かご51の座標とに基づいて、腕先端部が配送かご51の座標の範囲に入ったか否かを判定する(S404)。すなわち、行為管理部14は、作業者の腕の延出方向のベクトルと作業者の腕の長さで定まる腕先端部(又は、作業者の手部分)が行為確認要求に記録された店舗IDに対応する配送かご51の座標の範囲に入ったかを判定する。行為管理部14は、作業者の腕先端部が行為確認要求に記録された店舗IDに対応する配送かご51の座標の範囲に入ったと判定して、仕分け作業が完了したと判定する(S405)。なお、行為管理部14は、作業者の身体の一部が所定行為に関する位置の所定範囲に入ったかどうかにより作業の完了を判定するが、上述の判定は行為管理部14の判定処理の一態様である。ステップS404の判定結果が「NO」の場合、行為管理部14は、作業者の上での延出方向のベクトルと配送かご51の座標に基づいて、作業者の腕先端部が他の配送かご51の座標の範囲に入ったか否かを判定する(S406)。すなわち、行為管理部14は、上述のベクトルと作業者の腕の長さで定まる腕先端部が行為確認要求に含まれる店舗IDに対応する配送かご51以外の他の店舗宛の配送かご51の座標の範囲に入ったか否かを判定する。ステップS406の判定結果が「NO」の場合、処理フローはステップS401に戻り、行為管理部14は仕分け作業完了と判定しない。
【0045】
ステップS404の判定結果が「YES」の場合、行為管理部14は、仕分け作業完了と判定し(S405)、行為確認要求に含まれる作業者IDと、店舗IDと、商品IDとを含む行為情報がRAM103などの記憶部に記憶されているか判定する。行為情報とは、
図9において説明したように、投影制御部12が案内画像420を生成する際に生成した情報である。作業者IDと、店舗IDと、商品IDとを含む行為情報が記憶部に記憶されている場合、行為管理部14は、行為情報に含まれる仕分け数量を取得する。行為管理部14は、仕分け作業完了と判定した場合、作業者による商品の仕分け数量を確認する(S407)。行為管理部14は、作業者IDと商品IDとに紐づいて仕分け管理テーブルに記録される運搬数量を読み取って、仕分け数量の値を運搬数量から減じる(S408)。また、作業管理部14は、店舗IDと商品IDとに紐づいて商品配送テーブルに記録される残り仕分け数量を読み取って、行為情報に含まれる仕分け数量を残り仕分け数量から減じる(S409)。これにより、作業者が仕分け作業完了した場合に、店舗宛に配送すべき商品の残り仕分け数量が更新される。
【0046】
ステップS406の判定結果が「YES」の場合、行為管理部14は、作業者の腕先端部が行為確認要求の店舗IDに対応する配送かご51以外の他の店舗宛の配送かご51の座標範囲に入ったと判定しており、作業者の仕分け作業に誤りがあると判定することとなる。この場合、行為管理部14は、警告画像(又は、警告情報)を生成する(S410)。行為管理部14は、警告画像と、行為確認要求に含まれる作業者IDと店舗IDとを含む警告画像投影要求を投影制御部12へ送出する。なお、行為管理部14は、作業者の腕先端部が行為確認要求に含まれる店舗IDに対応する配送かご51の座標範囲に入ったと判定することが所定時間以上できない場合には、作業者に仕分け作業が完了していないことを示す警告画像を、配送センタの壁などに備えられた表示装置に表示してもよい。
【0047】
投影制御部12は、警告画像投影要求に含まれる店舗IDと作業者IDとに基づいて、作業者IDに対応する作業者が押すカート4の案内プレート42の座標範囲をカメラ3の撮影画像から特定する。
図9で説明したように、投影制御部12は、カメラ3の撮影画像に映る案内プレート42の座標範囲を特定する。投影制御部12は、撮影画像内の案内プレート42の座標を投影画像内の案内プレート42の座標に変換して、投影画像内に配置する警告画像の位置を決定する(S411)。そして、投影制御部12は、警告画像(警告情報)を上述の位置に配置した投影画像を生成する(S412)。投影制御部12は、案内プレート42の座標に対応するプロジェクタ2のネットワークアドレスを取得し、そのネットワークアドレスに向けて投影画像を送信する(S413)。これにより、プロジェクタ2は、投影画像を所定の投影範囲に投影する。その後、行為管理部14は、他の行為確認要求を取得しているかにより、上述の処理を終了するか判定する(S414)。他の行為確認要求を取得している場合には、処理フローがステップS401に戻り、上述のステップを繰り返す。
【0048】
上述のステップS406、S410~S413により、作業者が仕分け作業に係る商品を投入すべき店舗かご51を他の店舗かご51と間違えた場合には、警告画像(警告情報)を作業者に通知することができる。これにより、仕分け作業の精度を高めることができる。
【0049】
案内制御装置1は、商品配送テーブルに記録される店舗IDに対応する店舗宛の商品の配送数量の合計値に基づいて、各店舗宛の配送総量を算出し、その配送総量に基づいて店舗かご51を配置する通路沿いのスペースの広さを算出してもよい。つまり、案内制御装置1の算出した配送総量に応じた各店舗宛の店舗かご51の配置スペースの広さに基づいて、作業者が配送かご51を配送センタのフロアに配置してもよい。これにより、各店舗宛の配送総量に応じて配送かご51を適切に通路沿いに配置することができる。
【0050】
図11は、案内制御装置1の最小構成を示すブロック図である。案内制御装置1は、少なくとも投影制御部12を備える必要がある。投影制御部12は、投影装置(プロジェクタ2)を制御して、対象者(作業者)を示す対象者特定画像610を対象者の所定行為を行う位置に関連する第一投影範囲61に投影し、かつ、対象者に所定行為を行うよう案内する案内画像420を対象者の所定行為を行う位置に関連する第二投影範囲に投影する。
【0051】
上述の説明においては、案内制御システム100が配送センタに設置されて、作業者が商品の仕分け作業を行うという状況における案内制御装置1の構成及び機能を説明した。しかし、案内制御装置1は、配送センタに限定されるものではなく、他の用途に用いてもよい。例えば、店舗の来店者に対して、来店者が視認できる案内画像420を生成して、来店者が商品棚から商品を手に取るなどの行為を行う位置の近傍の投影範囲に案内画像420を含む投影画像を投影してもよい。案内画像420は、例えば、所定の商品の広告などであってもよい。
【0052】
案内制御装置1は、内部にコンピュータシステムを有しており、上述の処理過程はコンピュータプログラムとしてコンピュータ読み取り可能な記録媒体に記憶されている。すなわち、コンピュータが記録媒体からコンピュータプログラムを読み出して実行することにより、上述の処理過程が実行される。ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリなどをいう。また、コンピュータプログラムを通信回線経由でコンピュータに配信し、コンピュータがコンピュータプログラムを実行するようにしてもよい。上述のコンピュータプログラムは、前述の案内制御装置1の機能の一部を実現するものであってもよい。また、上述のコンピュータプログラムは、前述の機能をコンピュータシステムに既に記憶されているプリインストールプログラムとの組み合わせで実現できる差分ファイル(差分プログラム)であってもよい。
【0053】
最後に、本発明は上述の一実施形態に限定されるものではなく、添付した特許請求の範囲に規定される発明の範囲を逸脱しない種々の改造や設計変更をも包含するものである。
【0054】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例であり、発明の範囲を限定しない。これらの実施形態は、発明の要旨を逸脱しない範囲で、種々の追加、省略、置き換え、変更を行ってよい。
【0055】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限らない。
【0056】
(付記1)
投影装置と通信接続可能な案内制御装置であって、
対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成するとともに、前記対象者が視認可能な第二位置に対応する第二投影範囲に投影して前記対象者に前記所定行為の案内を行う案内画像を生成し、前記対象者特定画像と前記案内画像とを含む投影画像を投影するよう前記投影装置を制御する投影制御部を備えた案内制御装置。
【0057】
(付記2)
前記対象者特定画像に関連する前記対象者の識別情報を認識する対象者認識部を更に備え、前記投影制御部は、前記対象者の識別情報に対応して、前記案内画像を前記第二投影範囲に投影するよう前記投影装置を制御する、付記1に記載の案内制御装置。
【0058】
(付記3)
前記対象者による前記所定行為の完了有無を判定する行為管理部と、
前記行為管理部の判定結果に従って、前記所定行為に関する管理情報を更新する管理情報更新部と、
を更に備える付記2に記載の案内制御装置。
【0059】
(付記4)
前記行為管理部は、前記対象者の身体の一部が前記所定行為を行う前記第一位置に対応する所定範囲に入ったことを検出して、前記所定行為の完了有無を判定する、付記3に記載の案内制御装置。
【0060】
(付記5)
前記行為管理部は、前記対象者の行為が前記所定行為と相違している場合に、警告画像を生成し、前記投影制御部は、前記警告画像を含む前記投影画像を投影するよう前記投影装置を制御する、付記3に記載の案内制御装置。
【0061】
(付記6)
前記対象者と前記所定行為との対応関係の登録を受け付ける登録受付部を更に備える、付記3に記載の案内制御装置。
【0062】
(付記7)
前記投影制御部は、前記対象者認識部により認識された前記対象者の識別情報に対応する前記所定行為を前記対応関係に従って特定し、前記特定した所定行為の案内を行う前記案内画像を前記第二投影範囲に投影するよう前記投影装置を制御する、付記6に記載の案内制御装置。
【0063】
(付記8)
前記所定行為は、物品の仕分け作業であり、前記投影制御部は、前記仕分け作業を行った物品の配送先と、前記物品の種類と、前記物品の数量と、を前記案内画像に含めて、前記第二投影範囲に投影する、付記1に記載の案内制御装置。
【0064】
(付記9)
前記対象者認識部は、前記第一投影範囲に投影された前記対象者特定画像に対応する前記対象者の現在位置が前記所定行為を行う前記第一位置に一致するかを判定し、前記投影制御部は、前記対象者の現在位置が前記第一位置に一致する場合に、前記対象者に前記所定行為を行うよう促す前記案内画像と前記第二投影範囲に投影する、付記2に記載の案内制御装置。
【0065】
(付記10)
投影装置と、
前記投影装置と通信接続可能な案内制御装置とを備え、
前記案内制御装置は、対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成するとともに、前記対象者が視認可能な第二位置に対応する第二投影範囲に投影して前記対象者に前記所定行為の案内を行う案内画像を生成し、前記投影装置を制御して、前記対象者特定画像と前記案内画像とを含む投影画像を投影する案内制御システム。
【0066】
(付記11)
対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成し、
前記対象者が視認可能な第二位置に対応する第二投影範囲に投影して前記対象者に前記所定行為の案内を行う案内画像を生成し、
前記対象者特定画像と前記案内画像とを含む投影画像を投影する案内制御方法。
【0067】
(付記12)
コンピュータに対して、
対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成する処理過程と、
前記対象者が視認可能な第二位置に対応する第二投影範囲に投影して前記対象者に前記所定行為の案内を行う案内画像を生成する処理過程と、
前記対象者特定画像と前記案内画像とを含む投影画像を投影する処理過程と、を実行させるプログラムを記憶した記憶媒体。
【0068】
本願は、2018年3月29日に、日本国に出願された特願2018-65938号に基づき優先権を主張し、その内容をここに援用する。
【産業上の利用可能性】
【0069】
本発明は、商品センタに案内制御装置を設置して、商品の仕分け作業を行う作業者に対して作業内容の案内を行うものであるが、これに限定されるものではない。例えば、案内制御装置を店舗に設置して、来店者の商品購入や決済のときに案内情報を提供することができる。さらに、鉄道の駅や空港などの公共施設に案内制御装置を設置して、乗客や利用者に案内情報を提供してもよい。
【符号の説明】
【0070】
1 案内制御装置
2 プロジェクタ(投影装置)
3 カメラ(撮影装置)
4 カート
5 端末(管理装置)
10 制御部
11 登録受付部
12 投影制御部
13 作業者認識部
14 行為管理部
15 管理情報更新部
40 データベース
41 商品かご
42 案内プレート
51 店舗かご
420 案内画像
610 対象者特定画像