IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社三菱電機ビジネスシステムの特許一覧

特許7523644処理実行装置、処理実行方法及び処理実行プログラム
<>
  • 特許-処理実行装置、処理実行方法及び処理実行プログラム 図1
  • 特許-処理実行装置、処理実行方法及び処理実行プログラム 図2
  • 特許-処理実行装置、処理実行方法及び処理実行プログラム 図3
  • 特許-処理実行装置、処理実行方法及び処理実行プログラム 図4
  • 特許-処理実行装置、処理実行方法及び処理実行プログラム 図5
  • 特許-処理実行装置、処理実行方法及び処理実行プログラム 図6
  • 特許-処理実行装置、処理実行方法及び処理実行プログラム 図7
  • 特許-処理実行装置、処理実行方法及び処理実行プログラム 図8
  • 特許-処理実行装置、処理実行方法及び処理実行プログラム 図9
  • 特許-処理実行装置、処理実行方法及び処理実行プログラム 図10
  • 特許-処理実行装置、処理実行方法及び処理実行プログラム 図11
  • 特許-処理実行装置、処理実行方法及び処理実行プログラム 図12
  • 特許-処理実行装置、処理実行方法及び処理実行プログラム 図13
  • 特許-処理実行装置、処理実行方法及び処理実行プログラム 図14
  • 特許-処理実行装置、処理実行方法及び処理実行プログラム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-18
(45)【発行日】2024-07-26
(54)【発明の名称】処理実行装置、処理実行方法及び処理実行プログラム
(51)【国際特許分類】
   G06F 3/01 20060101AFI20240719BHJP
【FI】
G06F3/01 510
【請求項の数】 4
(21)【出願番号】P 2023133735
(22)【出願日】2023-08-21
(62)【分割の表示】P 2022016986の分割
【原出願日】2022-02-07
(65)【公開番号】P2023160843
(43)【公開日】2023-11-02
【審査請求日】2023-08-21
(73)【特許権者】
【識別番号】395011562
【氏名又は名称】三菱電機ITソリューションズ株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】安川 武史
(72)【発明者】
【氏名】加藤 嘉之
(72)【発明者】
【氏名】加藤 泰継
(72)【発明者】
【氏名】福永 賀一
(72)【発明者】
【氏名】奥野 雄太
【審査官】岸 智史
(56)【参考文献】
【文献】特開2000-082107(JP,A)
【文献】特表2010-534895(JP,A)
【文献】特開2017-010183(JP,A)
【文献】特開2013-257686(JP,A)
【文献】特開2016-057838(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01、3/048-3/04895
(57)【特許請求の範囲】
【請求項1】
第1物と、前記第1物とは異なる第2物とのどちらかが、画像データにおける特定領域において検出されたか否かを判定する検出判定部と、
前記検出判定部によって前記第2物が検出されたと判定された場合に、前記第2物に示された識別情報が示す利用者を特定する二次認証部と、
前記第1物が検出された場合には第1の処理を実行し、前記二次認証部によって前記利用者が特定された場合には前記第1の処理とは異なる第2の処理を実行する処理実行部と
を備える処理実行装置。
【請求項2】
前記検出判定部は、前記画像データにおける複数の特定領域のうちのいずれかの特定領域において対象物が検出されたか否かを判定し、
前記処理実行部は、前記複数の特定領域のうちのどの特定領域で前記第1物が検出されたかに応じて異なる処理を前記第1の処理として実行するとともに、前記複数の特定領域のうちのどの特定領域で前記第2物が検出されたかに応じて異なる処理を前記第2の処理として実行する
請求項1に記載の処理実行装置。
【請求項3】
コンピュータが、第1物と、前記第1物とは異なる第2物とのどちらかが、画像データにおける特定領域において検出されたか否かを判定し、
コンピュータが、前記第2物が検出されたと判定された場合に、前記第2物に示された識別情報が示す利用者を特定し、
コンピュータが、前記第1物が検出された場合には第1の処理を実行し、前記利用者が特定された場合には前記第1の処理とは異なる第2の処理を実行する処理実行方法。
【請求項4】
第1物と、前記第1物とは異なる第2物とのどちらかが、画像データにおける特定領域において検出されたか否かを判定する検出判定処理と、
前記検出判定処理によって前記第2物が検出されたと判定された場合に、前記第2物に示された識別情報が示す利用者を特定する二次認証処理と、
前記第1物が検出された場合には第1の処理を実行し、前記二次認証処理によって前記利用者が特定された場合には前記第1の処理とは異なる第2の処理を実行する処理実行処理と
を行う処理実行装置としてコンピュータを機能させる処理実行プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、カメラを使って非接触で処理の指示を行う技術に関する。
【背景技術】
【0002】
機器に触れることにより、ウイルス感染のリスクが高くなる。また、飲食業では、濡れた手又は油が付着した手で機器に触れることにより、機器の故障に繋がる。そのため、機器に接触することなく、機器を利用可能にしたいという要求がある。
【0003】
特許文献1には、複数の非接触センサを用いて、利用者からの指示を受け付けることが記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第6962419号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1のように、操作対象の機器によっては、複数の非接触センサを搭載させることが困難な場合がある。また、操作対象の機器に複数の非接触センサを搭載させるとコストがかかってしまう。
本開示は、簡便な構成により、非接触で処理の指示を可能にすることを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る処理実行装置は、
画像データにおける特定領域において対象物が検出されたか否かを判定する検出判定部と、
前記検出判定部によって前記対象物が検出されたと判定された場合に、検出された前記対象物が識別情報を含まない第1物と識別情報を含む第2物とのどちらであるかに応じて異なる処理を実行する処理実行部とを備える。
【0007】
前記検出判定部は、前記画像データにおける複数の特定領域のうちのいずれかの特定領域において対象物が検出されたか否かを判定し、
前記処理実行部は、前記複数の特定領域のうちのどの特定領域で前記対象物が検出されたかと、検出された前記対象物が前記第1物と前記第2物とのどちらであるかとに応じて異なる処理を実行する。
【0008】
本開示に係る処理実行方法は、
コンピュータが、画像データにおける特定領域において対象物が検出されたか否かを判定し、
コンピュータが、前記対象物が検出されたと判定された場合に、検出された前記対象物が識別情報を含まない第1物と識別情報を含む第2物とのどちらであるかに応じて異なる処理を実行する。
【0009】
本開示に係る処理実行プログラムは、
画像データにおける特定領域において対象物が検出されたか否かを判定する検出判定処理と、
前記検出判定処理によって前記対象物が検出されたと判定された場合に、検出された前記対象物が識別情報を含まない第1物と識別情報を含む第2物とのどちらであるかに応じて異なる処理を実行する処理実行処理と
を行う処理実行装置としてコンピュータを機能させる。
【発明の効果】
【0010】
本開示では、検出された対象物が識別情報を含むか否かに応じて異なる処理が実行される。これにより、カメラを用いて簡便に非接触で処理の指示を受け付けることが可能である。
【図面の簡単な説明】
【0011】
図1】実施の形態1に係る処理実行システム100の構成図。
図2】実施の形態1に係る処理実行装置10の構成図。
図3】実施の形態1に係る領域情報31の説明図。
図4】実施の形態1に係る処理実行装置10の処理の流れを示すフローチャート。
図5】実施の形態1に係る表示処理の説明図。
図6】変形例4の説明図。
図7】変形例5に係る処理実行装置10の構成図。
図8】実施の形態2に係る領域情報31の説明図。
図9】変形例8に係る領域情報31の説明図。
図10】実施の形態3に係る処理実行装置10の構成図。
図11】実施の形態3に係る処理実行装置10の処理の流れを示すフローチャート。
図12】実施の形態3に係る履歴を示す図。
図13】変形例9に係る特定領域51の説明図。
図14】実施の形態3に係る処理実行装置10の構成図。
図15】実施の形態4に係る処理実行装置10の処理の流れを示すフローチャート。
【発明を実施するための形態】
【0012】
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る処理実行システム100の構成を説明する。
処理実行システム100は、処理実行装置10と、操作端末40とを備える。処理実行装置10と操作端末40とは、伝送路90を介して接続されている。伝送路90は、具体例としてはLAN又はインターネットである。LANは、Local Area Networkの略である。
処理実行装置10は、指示された処理を特定して、処理を実行するサーバ等のコンピュータである。操作端末40は、処理実行装置10に対する指示の入力を受け付ける装置である。操作端末40には、カメラ41が設けられている。カメラ41は、操作端末40に搭載されていてもよいし、外付けされていてもよい。操作端末40は、具体例としては、カメラ41が搭載されたノートPCである。PCは、Personal Computerの略である。また、操作端末40は、具体例としては、カメラ41と表示装置との組合せである。カメラ41には、静止画を撮影するものと、動画を撮影するビデオカメラとを含むものとする。
【0013】
図2を参照して、実施の形態1に係る処理実行装置10の構成を説明する。
処理実行装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【0014】
プロセッサ11は、プロセッシングを行うICである。ICは、Integrated
Circuitの略である。プロセッサ11は、具体例としては、CPU、DSP、GPUである。CPUは、Central Processing Unitの略である。DSPは、Digital Signal Processorの略である。GPUは、Graphics Processing Unitの略である。
【0015】
メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM、DRAMである。SRAMは、Static Random Access Memoryの略である。DRAMは、Dynamic Random Access Memoryの略である。
【0016】
ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDDである。HDDは、Hard Disk Driveの略である。また、ストレージ13は、SD(登録商標)メモリカード、CF、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Blu-ray(登録商標)ディスク、DVDといった可搬記録媒体であってもよい。SDは、Secure Digitalの略である。CFは、CompactFlash(登録商標)の略である。DVDは、Digital Versatile Diskの略である。
【0017】
通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB、HDMI(登録商標)のポートである。USBは、Universal Serial Busの略である。HDMIは、High-Definition Multimedia Interfaceの略である。
処理実行装置10は、通信インタフェース14を介して、操作端末40のカメラ41と接続されている。
【0018】
処理実行装置10は、機能構成要素として、画像取得部21と、表示部22と、検出判定部23と、処理実行部24とを備える。処理実行装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、処理実行装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、
プロセッサ11によって実行される。これにより、処理実行装置10の各機能構成要素の機能が実現される。
【0019】
ストレージ13には、領域情報31が記憶される。
【0020】
図2では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
【0021】
***動作の説明***
図3から図5を参照して、実施の形態1に係る処理実行装置10の動作を説明する。
実施の形態1に係る処理実行装置10の動作手順は、実施の形態1に係る処理実行方法に相当する。また、実施の形態1に係る処理実行装置10の動作を実現するプログラムは、実施の形態1に係る処理実行プログラムに相当する。
【0022】
図3を参照して、実施の形態1に係る領域情報31を説明する。
領域情報31は、複数の特定領域51それぞれについて、位置情報と、処理情報とを含む。
位置情報は、画像データ52における特定領域51の位置を示す。画像データ52は、カメラ41によって取得されるデータである。実施の形態1では、特定領域51は、矩形である。位置情報は、特定領域51の左上の座標と右下の座標とを示している。但し、特定領域51は、矩形に限るものではなく、楕円形等の他の形状でもよい。
処理情報は、実行される処理を示す。図3では、処理実行システム100が勤怠管理に利用される例が示されている。特定領域51Aには出勤時刻の記録処理が割り当てられている。特定領域51Bには退勤時刻の記録処理が割り当てられている。
【0023】
図4を参照して、実施の形態1に係る処理実行装置10の処理の流れを説明する。
(ステップS11:画像取得処理)
画像取得部21は、操作端末40からカメラ41によって取得された最新フレームの画像データ52を取得する。ここでは、カメラ41は、周期的に画像データ52を取得している。
【0024】
(ステップS12:表示処理)
表示部22は、ステップS11で取得された画像データ52に、複数の特定領域51を示して表示する。
具体的には、表示部22は、領域情報31の位置情報を参照することにより、複数の特定領域51それぞれの位置を特定する。そして、表示部22は、カメラ41が撮影した画像データ52に、領域情報31に基づき複数の特定領域51それぞれの枠と、領域情報31に記憶された特定領域51の処理情報とを示して、操作端末40の表示装置に表示する。図5では“領域A”、“領域B”という表記になっているが、具体的には”領域A”には、「出勤時間の記録処理」と表示される。また”領域B”には、「退勤時間の記録処理」と表示される。なお処理情報の表記は、特定領域51を示す枠の外でも中でもよい。また処理情報そのものでなく、処理情報を加工して、利用者がわかりやすい表示に変更してもよい。例えば、「出勤時刻を記録します」という表示が考えられる。
図3のように領域情報31が設定されているとする。この場合には、図5に示すように、複数の特定領域51が示された画像データ52が表示される。
【0025】
(ステップS13:検出判定処理)
検出判定部23は、ステップS11で取得された画像データ52における複数の特定領域51のうちのいずれかの特定領域51において対象物が検出されたか否かを判定する。
実施の形態1では、対象物は体の一部又は特定の物等、どのようなものであっても構わない。実施の形態1では、対象物は手とする。対象物が手である場合には、検出判定部23は、いずれかの特定領域51に手がかざされたか否かを判定することになる。
検出判定部23は、対象物が検出された場合には、処理をステップS14に進める。一方、検出判定部23は、対象物が検出されなかった場合には、処理をステップS11に戻す。
【0026】
具体的には、検出判定部23は、複数の特定領域51それぞれを対象の特定領域51に設定する。検出判定部23は、画像データ52における対象の特定領域51の部分画像を入力として、対象物を検出されるか否かを判定する。検出判定部23は、領域情報31の位置情報を参照することにより、各特定領域51の位置を特定する。これにより、検出判定部23は、画像データ52から対象の特定領域51の部分画像を切り出すことができる。
例えば、検出判定部23は、画像を入力として対象物を検出する学習済みモデルに部分画像を入力することにより、対象の特定領域51から対象物を検出する。また、検出判定部23は、いわゆるパターンマッチングにより、対象の特定領域51から対象物を検出してもよい。
【0027】
(ステップS14:処理実行処理)
処理実行部24は、複数の特定領域51のうちのどの特定領域51で対象物が検出されたかに応じて異なる処理を実行する。
具体的には、処理実行部24は、領域情報31を参照して、対象物が検出された特定領域51に対応する処理を特定する。図3のように領域情報31が設定されているとする。この場合には、処理実行部24は、対象物である手が特定領域51Aで検出された場合には、出勤時刻の記録処理を実行する。つまり、処理実行部24は、特定領域51Aに手がかざされると、出勤時刻を記録する。また、処理実行部24は、対象物である手が特定領域51Bで検出された場合には、退勤時刻の記録処理を実行する。つまり、処理実行部24は、特定領域51Bに手がかざされると、退勤時刻を記録する。
【0028】
なお、処理実行部24は、実行した処理を利用者に通知してもよい。具体的には、処理実行部24は、実行した処理内容を操作端末40に表示してもよい。例えば、処理実行部24は、出勤時刻を記録した場合には、“出勤時刻を記録しました”というメッセージを操作端末40に表示してもよい。
【0029】
***実施の形態1の効果***
以上のように、実施の形態1に係る処理実行装置10は、カメラ41によって取得された画像データ52における複数の特定領域51のうちのどの特定領域51で対象物が検出されたかに応じて異なる処理が実行される。これにより、カメラ41を用いて簡便に非接触で処理の指示を受け付けることが可能である。
【0030】
実施の形態1に係る処理実行装置10は、特定領域51の数を任意に設定することができる。これにより、処理実行装置10により操作したい機器に応じて、適切な処理の割り当てを行うことが可能である。
【0031】
***他の構成***
<変形例1>
実施の形態1では、処理実行装置10が対象物を検出した。しかし、操作端末40が対象物を検出してもよい。操作端末40がPCのように処理を実行可能な装置である場合には、操作端末40に処理実行装置10が内包されるように構成してもよい。その場合は、図4で示した、画像取得処理、表示処理、検出判定処理及び処理実行処理が全て操作端末
40内で実行され、データの送受信処理は機能構成要素間の情報の受渡しとして処理される。
操作端末40と処理実行装置10との一体化により、画像データ52に関して、以下変形例が可能となる。実施の形態1では、カメラ41で撮影された最新フレームである画像データ52を取得して特定領域51で対象物が検出されたとき、領域情報31に定められた処理情報により処理を実行するとした。しかし画像データ52は、カメラ41からリアルタイムで取得するものだけではなく、ストレージ13に記憶された過去に撮影されたものであってもよい。また画像データ52は、他の処理装置(図示せず)から処理実行装置に受け渡されるものであってもよい。このような構成により、リアルタイムに処理が実行できない場合や実行する必要がない場合にも適用可能となる。
【0032】
また、操作端末40がPCのように処理を実行可能な装置である場合には、操作端末40が処理実行装置10の一部の処理を行う構成であってもよい。
例えば、処理実行装置10に代わって操作端末40が対象物を検出してもよい。図4を参照してこの場合の処理を具体的に説明する。ステップS11で操作端末40は、画像データ52に代えて検出結果を処理実行装置10に送信する。検出結果は、各特定領域51について対象物が検出されたか否かを示す。ステップS12で操作端末40は画像データ52に複数の特定領域51等を示して表示する。ステップS13で検出判定部23は、検出結果に基づき、複数の特定領域51のうちのいずれかの領域において対象物が検出されたか否かを判定する。ステップS14で処理実行部24は、検出結果に基づき、どの特定領域51で対象物が検出されたかを特定する。そして、処理実行部24は、対象物が検出された特定領域51に応じた処理を実行する。
【0033】
また、例えば、操作端末40が、領域情報31を記憶しておき、処理実行装置10に代わって操作端末40が、どの処理を実行するかを特定してもよい。つまり、操作端末40は、領域情報31を参照して、特定領域51で対象物が検出されたかを特定し、どの処理を実行するかを特定する。この場合には、操作端末40は、検出結果に実行する処理の識別情報を含める。ステップS14で処理実行部24は、検出結果に含まれた識別情報が示す処理を実行する。
【0034】
<変形例2>
処理実行装置10は、複数の操作端末40と接続されていてもよい。この場合には、領域情報31は、操作端末40毎に、複数の特定領域51それぞれについて、位置情報と、処理情報とを含む。そして、図4に示す処理が、複数の操作端末40それぞれを対象の操作端末40として実行される。ステップS12及びステップS13では、対象の操作端末40に対応する位置情報が用いられる。また、ステップS14では、対象の操作端末40に対応する処理情報が用いられる。
【0035】
<変形例3>
実施の形態1では、処理実行システム100が勤怠管理に利用される例を用いて説明した。しかし、処理実行システム100は、勤怠管理に限らず、様々な機器又はシステムに利用可能である。
例えば、飲食店等での発注システムに利用することが考えられる。この場合には、特定領域51毎に注文する商品を割り当てることが考えられる。例えば、特定領域51Aにはお茶、特定領域51Bにはコーヒーが割り当てられる。これにより、特定領域51Aに手がかざされると、お茶が注文され、特定領域51Bに手がかざされると、コーヒーが注文される。
【0036】
<変形例4>
実施の形態1では、全ての特定領域51に処理が割り当てられていた。しかし、複数の
特定領域51のうちいずれか1つの特定領域51にのみ処理を割り当てておいてもよい。
図6を参照して具体例を説明する。ここでは、処理実行システム100が扉の解錠システムに利用されているとする。図6では、6個の特定領域51が示されている。このうち、事前に設定された特定領域51Xに対して手がかざされた場合にのみ、処理実行部24は扉を解錠する処理を実行する。一方、他の特定領域51に手がかざされても、処理実行部24は扉を解錠する処理を実行しない。これにより、どの特定領域51に扉を解錠する処理が割り当てられている利用者だけが扉を解錠できる。
なお、他の特定領域51に連続して基準回数以上手がかざされた場合には、警備室等に通知を行ってもよい。この際、手がかざされたときの画像データ52を警備室に送ってもよい。手がかざされたときの画像データ52には、手をかざしている人の顔等が映っている可能性がある。
【0037】
<変形例5>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例5として、各機能構成要素はハードウェアで実現されてもよい。この変形例5について、実施の形態1と異なる点を説明する。
【0038】
図7を参照して、変形例5に係る処理実行装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、処理実行装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
【0039】
電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、ASIC、FPGAが想定される。GAは、Gate Arrayの略である。ASICは、Application Specific Integrated Circuitの略である。FPGAは、Field-Programmable Gate Arrayの略である。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
【0040】
<変形例6>
変形例6として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
【0041】
プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
【0042】
実施の形態2.
実施の形態2は、検出された対象物の向きに応じて異なる処理を実行する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
【0043】
***動作の説明***
図8を参照して、実施の形態2に係る領域情報31を説明する。
領域情報31は、複数の特定領域51それぞれについて、位置情報と、向きと、処理情報とを含む。向きは、対象物の向きである。対象物が手の場合には、対象物の向きは、手の先がどちらを向いているかを意味する。
図8では、特定領域51Aにはお茶の注文に関する処理が割り当てられている。特定領域51Aについて向きが上の場合には、注文数を1増やす処理が割り当てられている。特
定領域51Aについて向きが下の場合には、注文数を1減らす処理が割り当てられている。特定領域51Bにはコーヒーの注文に関する処理が割り当てられている。特定領域51Bについて向きが上の場合には、注文数を1増やす処理が割り当てられている。特定領域51Bについて向きが下の場合には、注文数を1減らす処理が割り当てられている。特定領域51Cには、向きに関わらず、注文の確定処理が割り当てられている。
【0044】
図4を参照して、実施の形態2に係る処理実行装置10の処理の流れを説明する。
ステップS11及びステップS12の処理は、実施の形態1と同じである。
【0045】
(ステップS13:検出判定処理)
検出判定部23は、ステップS11で取得された画像データ52における複数の特定領域51のうちのいずれかの特定領域51において対象物が検出されたか否かを判定する。検出判定部23は、対象物が検出された場合には、対象物の向きを特定する。対象物の向きは、対象物の検出と合わせて学習済みモデルにより行うことが考えられる。
【0046】
(ステップS14:処理実行処理)
処理実行部24は、複数の特定領域51のうちのどの特定領域51で対象物が検出されたかに加えて、対象物がどの向きかに応じて異なる処理を実行する。
具体的には、処理実行部24は、領域情報31を参照して、対象物が検出された特定領域51と、検出された対象物の向きとに対応する処理を特定する。図8のように領域情報31が設定されているとする。この場合には、特定領域51Aに上向きの手がかざされると、お茶の注文数が1つ増える。特定領域51Aに下向きの手がかざされると、お茶の注文数が1つ減る。同様に、特定領域51Bに上向きの手がかざされると、コーヒーの注文数が1つ増える。特定領域51Bに下向きの手がかざされると、コーヒーの注文数が1つ減る。特定領域51Cに手がかざされると、注文が確定される。例えば、特定領域51Aに上向きの手が3回かざされ、特定領域51Bに上向きの手が2回かざされた後に、特定領域51Cに手がかざされると、お茶3つとコーヒー2つの注文が確定される。
【0047】
***実施の形態2の効果***
以上のように、実施の形態2に係る処理実行装置10は、検出された対象物の向きに応じて異なる処理を実行する。これにより、実施の形態1に比べ、より柔軟な操作が可能になる。
【0048】
***他の構成***
<変形例7>
実施の形態2では、実施の形態1との組合せであったため、特定領域51が複数存在することが前提であった。しかし、特定領域51は1つだけでもよい。この場合には、図4のステップS14で処理実行部24は、検出された対象物の向きにのみ応じた処理を実行する。
【0049】
<変形例8>
実施の形態2では、対象物の向きに応じて異なる処理が実行された。対象物の種類に応じて異なる処理が実行されてもよい。例えば、対象物が複数の種類の札であるとする。図4のステップS13では、検出判定部23は、複数の特定領域51のうちのいずれかの特定領域51においていずれかの札が検出されたか否かを判定する。図4のステップS14では、処理実行部24は、複数の特定領域51のうちのどの特定領域51で対象物が検出されたかに加えて、どの種類の札が検出されたかに応じて異なる処理を実行する。この際、処理実行部24は、対象物の向きにも応じて異なる処理を実行してもよい。
【0050】
この場合には、図9に示すように、領域情報31は、複数の特定領域51それぞれにつ
いて、位置情報と、種類と、処理情報とを含む。向きを考慮する場合には、領域情報31は、複数の特定領域51それぞれについて、位置情報と、向きと、種類と、処理情報とを含む。
図9では、特定領域51Aにはお茶の注文に関する処理が割り当てられている。特定領域51Aについて種類1の札の場合には、注文数を1増やす処理が割り当てられている。特定領域51Aについて種類2の札の場合には、注文数を1減らす処理が割り当てられている。特定領域51Bにはコーヒーの注文に関する処理が割り当てられている。特定領域51Bについて種類1の札の場合には、注文数を1増やす処理が割り当てられている。特定領域51Bについて種類2の札の場合には、注文数を1減らす処理が割り当てられている。特定領域51Cには、札の種類に関わらず、注文の確定処理が割り当てられている。
【0051】
なお、変形例7と同様に、特定領域51は1つだけでもよい。この場合には、図4のステップS14で処理実行部24は、検出された対象物の種類のみに応じた処理を実行する。
【0052】
実施の形態3.
実施の形態3は、顔認証を行う点が実施の形態1,2と異なる。実施の形態では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態3では、実施の形態1に変更を加えた場合を説明する。しかし、実施の形態2に変更を加えることも可能である。
【0053】
***構成の説明***
図10を参照して、実施の形態3に係る処理実行装置10の構成を説明する。
処理実行装置10は、機能構成要素として、顔認証部25を備える点が図2に示す処理実行装置10と異なる。顔認証部25の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
【0054】
***動作の説明***
図11を参照して、実施の形態3に係る処理実行装置10の処理の流れを説明する。
図11に示す処理の前提として、処理実行装置10のストレージ13には1人以上の利用者それぞれの顔の画像が利用者属性情報と対応付けられた照合画像として記憶されている。また顔認証について、虹彩認証としてもよく、その場合は利用者の目の虹彩模様が判別できる画像を照合画像として記憶する。以下の説明で顔認証には、虹彩認証を含むものとする。
【0055】
ステップS21からステップS22の処理は、図4のステップS11からステップS12の処理と同じである。ステップS24からステップS25の処理は、図4のステップS13からステップS14の処理と同じである。
【0056】
(ステップS23:顔認証処理)
顔認証部25は、ステップS21で取得された画像データ52に含まれる顔画像に基づき認証を行う。
具体的には、顔認証部25は、画像データ52から顔を検出する。顔の検出は、例えば、画像を入力として顔を検出する学習済みモデルに部分画像を入力することにより実現される。顔認証部25は、検出された顔部分の画像である顔画像と、1人以上の利用者それぞれの照合画像とを比較する。顔認証部25は、類似度が基準以上の照合画像があったか否かを判定する。顔認証部25は、類似度が基準以上の照合画像があった場合には、認証が成功したと判定する。一方、顔認証部25は、類似度が基準以上の照合画像がなかった場合には、認証が失敗したと判定する。
顔認証部25は、認証が成功した場合には、照合画像に対応する利用者を特定する。な
お、類似度が基準以上の照合画像が複数あった場合には、最も類似度が高い照合画像に対応する利用者を特定する。そして、顔認証部25は、処理をステップS24に進める。一方、顔認証部25は、認証が失敗した場合には、処理をステップS21に戻す。
【0057】
(ステップS26:履歴記憶処理)
処理実行部24は、ステップS24で実行した処理内容と、ステップS23で特定された利用者とを対応付けて履歴としてストレージ13に書き込む。例えば、処理実行システム100が勤怠管理に利用されるとする。この場合には、図12に示すように、各利用者の出勤時刻と退勤時刻とが記録されることになる。
【0058】
***実施の形態3の効果***
以上のように、実施の形態3に係る処理実行装置10は、顔認証を行う。処理実行装置10は、カメラ41で取得された画像データ52を用いて処理の指示を受け付ける。そのため、処理の指示をする際に、併せて顔認証を行うことが可能である。これにより、適切な利用者だけが処理を指示できるようにすることが可能である。
【0059】
また、処理を指示した利用者を特定することが可能である。そのため、勤怠管理のように利用者を特定する必要があるシステムに処理実行システム100が利用される場合には、別途利用者を特定する必要がなくなる。
【0060】
実施の形態3の機能を、変形例4に記載された解錠の例と合わせることが考えられる。これにより、顔認証に成功し、かつ、どの特定領域51に扉を解錠する処理が割り当てられているかを知る利用者だけが扉を解錠できる。
【0061】
<変形例9>
以上の説明では、特定領域51の位置は固定されていた。しかし、特定領域51は、画像データ52に含まれる顔の位置に応じて決定されてもよい。この場合には、図13に示すように、領域情報31は、位置情報として、顔の位置を基準とした位置が設定される。顔の位置は、顔の検出枠の位置である。図13では、特定領域51Aは、顔の検出枠の左上に、顔の検出枠の1.5倍の大きさで表示されるように設定されている。特定領域51Bは、顔の検出枠の右上に、顔の検出枠の1.5倍の大きさで表示されるように設定されている。
利用者の位置又は身長等によっては、特定領域51に対象物をかざしづらい可能性がある。顔の位置を基準とすることにより、利用者が対象物をかざしやすい位置に特定領域51を設定することが可能である。
【0062】
実施の形態4.
実施の形態4は、対象物が利用者を識別する識別情報を含む点が実施の形態3と異なる。実施の形態4では、この異なる点を説明し、同一の点については説明を省略する。
【0063】
***構成の説明***
図14を参照して、実施の形態3に係る処理実行装置10の構成を説明する。
処理実行装置10は、機能構成要素として、二次認証部26を備える点が図10に示す処理実行装置10と異なる。二次認証部26の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
【0064】
***動作の説明***
図15を参照して、実施の形態4に係る処理実行装置10の処理の流れを説明する。
実施の形態4では、対象物は、利用者の識別情報を記録した二次元コードであるとする。これに限らず、対象物は、利用者の識別情報を示す社員証等であってもよい。
【0065】
ステップS31からステップS34の処理は、図11のステップS21からステップS24の処理と同じである。ステップS36からステップS37の処理は、図11のステップS25からステップS26の処理と同じである。
【0066】
(ステップS35:二次認証処理)
二次認証部26は、ステップS34で検出された対象物に含まれる識別情報が示す利用者が、顔画像から特定される利用者と一致するか否かを判定する。
具体的には、二次認証部26は、ステップS34で検出された対象物から識別情報を抽出する。ここでは、二次認証部26は、二次元コードを読み取ることにより、識別情報を抽出する。二次認証部26は、識別情報が示す利用者を特定する。二次認証部26は、特定された利用者が、ステップS33で特定された利用者と一致するか否かを判定する。
二次認証部26は、一致する場合には、処理をステップS36に進める。一方、二次認証部26は、一致しない場合には、処理をステップS31に戻す。
【0067】
***実施の形態4の効果***
以上のように、実施の形態4に係る処理実行装置10は、顔認証に加えて、対象物に含まれる識別情報による認証を行う。これにより、利用者をより適切に識別可能である。
【0068】
<変形例10>
変形例8では、対象物の種類に応じて異なる処理が実行されるとした。対象物として、識別情報を含まない第1物と、識別情報を含む第2物とを設定してもよい。そして、第1物がかざされた場合と、第2物がかざされた場合とで異なる処理が実行されてもよい。
例えば、第1物を手とし、第2物を二次元コードとする。そして、手をかざすと部屋の中の人を呼ぶ処理が実行される。二次元コードをかざすと扉を解錠する処理が実行される。これにより、二次元コードが示された社員証等を忘れた利用者は、扉を開けることはできないが、中の人を呼ぶことができる。
【0069】
<変形例11>
実施の形態4では、ステップS35において、ステップS33で認証された顔画像と対応付けられた利用者と、ステップS34で検出された識別情報が示す利用者とが一致するか否かを判定した。しかし、ステップS33の処理を省略し、ステップS34で識別された識別情報および利用者属性情報と、予めストレージ13に記憶された識別情報と利用者属性情報とが一致するかをステップS35で判定するように構成してもよい。なお利用者属性情報とは、利用者氏名、社員番号等を示す。
【0070】
なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。
【0071】
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
【符号の説明】
【0072】
100 処理実行システム、10 処理実行装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 画像取得部、22 表示部、23 検出判定部、24 処理実行部、25 顔認証部、26 二次認証部、31 領域情報、40 操作端末、41 カメラ、51 特定領域、52 画像データ、90 伝送路。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15