(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022185622
(43)【公開日】2022-12-15
(54)【発明の名称】物品認識方法および物品認識システム
(51)【国際特許分類】
G06T 7/49 20170101AFI20221208BHJP
G06K 19/06 20060101ALI20221208BHJP
G06K 7/14 20060101ALI20221208BHJP
G06T 7/70 20170101ALI20221208BHJP
G06T 7/00 20170101ALI20221208BHJP
G07G 1/00 20060101ALI20221208BHJP
【ＦＩ】
G06T7/49
G06K19/06 009
G06K7/14
G06T7/70 B
G06T7/00 350B
G07G1/00 311D
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021093351
(22)【出願日】2021-06-03
(71)【出願人】
【識別番号】305027401
【氏名又は名称】東京都公立大学法人
(74)【代理人】
【識別番号】100137752
【弁理士】
【氏名又は名称】亀井 岳行
(72)【発明者】
【氏名】和田 一義
(72)【発明者】
【氏名】菊竹 雪
(72)【発明者】
【氏名】加納 諒也
(72)【発明者】
【氏名】▲柳▼田 亮
(72)【発明者】
【氏名】廣田 海洋
(72)【発明者】
【氏名】太田 聡海
(72)【発明者】
【氏名】加藤 光晴
(72)【発明者】
【氏名】津久井 千佳
(72)【発明者】
【氏名】小島 理恵
(72)【発明者】
【氏名】日向野 由理
【テーマコード（参考）】
3E142
5L096
【Ｆターム（参考）】
3E142AA01
3E142AA03
3E142GA35
5L096BA05
5L096CA02
5L096DA02
5L096FA44
5L096FA52
5L096FA66
5L096FA67
5L096FA69
(57)【要約】
【課題】バーコードや２次元コードを使用する場合に比べて、商品の種類を簡便且つ確実に認識すること。
【解決手段】模様単位（１０２）が予め定められた方向に繰り返し配列されて構成された模様（１０３）と物品（５）との対応関係が記憶される記憶工程と、物品（５）の外装（１０７）に付与された模様（１０３）を読み取る読取工程と、読み取られた模様（１０３）と対応関係とに基づいて、物品（５）を特定する特定工程と、を実行することを特徴とする物品認識方法。
【選択図】図２
【解決手段】模様単位（１０２）が予め定められた方向に繰り返し配列されて構成された模様（１０３）と物品（５）との対応関係が記憶される記憶工程と、物品（５）の外装（１０７）に付与された模様（１０３）を読み取る読取工程と、読み取られた模様（１０３）と対応関係とに基づいて、物品（５）を特定する特定工程と、を実行することを特徴とする物品認識方法。
【選択図】図２
【特許請求の範囲】
【請求項1】
予め定められた模様単位が予め定められた方向に繰り返し配列されて構成された模様と物品との対応関係が記憶される記憶工程と、
物品の表面付与された模様を読み取る読取工程と、
読み取られた模様と、前記記憶された対応関係とに基づいて、物品を特定する特定工程と、
を実行することを特徴とする物品認識方法。
物品の表面付与された模様を読み取る読取工程と、
読み取られた模様と、前記記憶された対応関係とに基づいて、物品を特定する特定工程と、
を実行することを特徴とする物品認識方法。
【請求項2】
物品に関連する文字が、複数個、所定の間隔、所定の向きに並べられて構成された前記模様単位が使用される
ことを特徴とする請求項１に記載の物品認識方法。
ことを特徴とする請求項１に記載の物品認識方法。
【請求項3】
同一の物品に対して、製造場所、製造時期および使用期限の少なくともいずれか１つが異なるたびに、前記物品に関連する文字の個数、間隔、向きが異なる前記模様単位が使用される
ことを特徴とする請求項２に記載の物品認識方法。
ことを特徴とする請求項２に記載の物品認識方法。
【請求項4】
前記物品における予め定められた３カ所以上の位置に姿勢特定用の第２の模様が付され、読み取られた３つ以上の前記第２の模様の位置に基づいて、前記物品の姿勢を特定する姿勢特定工程と、
をさらに実行することを特徴とする請求項１ないし３のいずれかに記載の物品認識方法。
をさらに実行することを特徴とする請求項１ないし３のいずれかに記載の物品認識方法。
【請求項5】
予め定められた模様単位が予め定められた方向に繰り返し配列されて構成された模様と、物品との対応関係を記憶する記憶手段と、
物品の表面に付与された模様を読み取る読取手段と、
読み取られた模様と、前記記憶手段に記憶された対応関係とに基づいて、物品を特定する特定手段と、
を備えたことを特徴とする物品認識システム。
物品の表面に付与された模様を読み取る読取手段と、
読み取られた模様と、前記記憶手段に記憶された対応関係とに基づいて、物品を特定する特定手段と、
を備えたことを特徴とする物品認識システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物品を認識する物品認識方法および物品認識システムに関し、特に、物品の種類や姿勢を認識可能な物品認識方法および物品認識システムに関する。
【背景技術】
【0002】
コンビニエンスストアやスーパーマーケット等の商品陳列棚に対して、商品（物品）の補充や商品の撤去、入れ替え等のように、商品を陳列棚に自動的に陳列する装置に関し、下記の非特許文献１，２および特許文献１に記載の技術が公知である。
【0003】
非特許文献１，２には、サンドイッチや弁当、飲料を棚に補充したり棚から取り出したりするロボットにおいて、サンドイッチ等の外面に付与されたＡＲ（Augmented Reality）マーカーを使用して、サンドイッチ等の種類や姿勢を推定する技術が記載されている。
【0004】
特許文献１（特開２０１５－２１０６５１号公報）には、陳列棚に陳列されている商品を識別する商品識別システムにおいて、デジタルカメラ等で撮影した商品の外観の画像から、商品を識別する技術が記載されている。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】G. A. Garcia Ricardez、他１０名, "Restock and straightening system for retail automation using compliant and mobile manipulation", ADVANCED ROBOTICS,2020,VOL.34,NOS.3-4,235-249
【非特許文献2】Ryo Sakai、他１０名, "A mobile dual-arm manipulation robot system for stocking and disposing of items in a convenience store by using universal vacuum grippers for grasping items" ,ADVANCED ROBOTICS,2020,VOL.34,NOS.3-4,219-234
【特許文献】
【0006】
【特許文献1】特開２０１５－２１０６５１号公報（「００２８」―「００７２」、図４）
【発明の概要】
【発明が解決しようとする課題】
【0007】
（従来技術の問題点）
非特許文献１，２や特許文献１に記載の技術のように、ロボットハンドで物体（商品、物品）を把持して持ち上げ、搬送して、置く一連の工程において、商品ごとに置く位置が決まっている場合、まず、その商品の種類を特定する、すなわち、商品を認識する必要がある。このとき、例えば、商品がサンドイッチであっても、たまごサンドイッチと、ツナサンドイッチとでは、置く位置が異なっている場合があり、サンドイッチの種類を認識する必要がある。
非特許文献１，２や特許文献１に記載の技術のように、ロボットハンドで物体（商品、物品）を把持して持ち上げ、搬送して、置く一連の工程において、商品ごとに置く位置が決まっている場合、まず、その商品の種類を特定する、すなわち、商品を認識する必要がある。このとき、例えば、商品がサンドイッチであっても、たまごサンドイッチと、ツナサンドイッチとでは、置く位置が異なっている場合があり、サンドイッチの種類を認識する必要がある。
【0008】
現在、商品の種類を認識する技術としては、バーコードや二次元コード（ＱＲコード（登録商標））が知られている。しかしながら、バーコード等は商品の様々な位置に付与されており、バーコード等を読取部材（スキャナやカメラ）の読み取り面に向ける必要がある。特に、バーコード等が底面に付与されている場合には、商品をひっくり返さないとバーコード等を読み取ることができない。すなわち、商品の姿勢を判断して、バーコード等の位置が読取り面に向くように姿勢を変更しないと商品の種類を認識できず、バーコード等を使用する場合には、商品の種類を簡易且つ確実に認識できない問題がある。
【0009】
特許文献１記載のような画像認識技術では、商品の向きが少し変わるだけで、商品の外面の模様が変化することとなり、認識精度を向上させるには数多くの学習が必要となる。したがって、認識精度に限界があるととともに、商品のパッケージをリニューアルする場合に多くの学習が必要となり、リニューアルの手間暇がかかる問題もある。
また、非特許文献１，２のように、物体の姿勢や位置を推定するための技術として、ＡＲマーカーが知られており、特に、ＡＲマーカーの一例としてのＡｒＵｃｏマーカー（アルコマーカー）が知られている。しかしながら、ＡｒＵｃｏマーカーを使用して姿勢等を推定する技術では、マーカー自体がある程度の大きさが必要であるとともに、マーカーが１つではマーカーが付与された面が隠れるとマーカーが読み取れなくなるためマーカーを商品の複数の面に付与する必要がある。したがって、商品の外装にある程度の大きさのあるＡｒＵｃｏマーカーを複数個付与すると、商品の外装の美観を損なう問題がある。また、ＡｒＵｃｏマーカーの一部でも隠れると、姿勢等の推定ができなくなる問題もある。
また、非特許文献１，２のように、物体の姿勢や位置を推定するための技術として、ＡＲマーカーが知られており、特に、ＡＲマーカーの一例としてのＡｒＵｃｏマーカー（アルコマーカー）が知られている。しかしながら、ＡｒＵｃｏマーカーを使用して姿勢等を推定する技術では、マーカー自体がある程度の大きさが必要であるとともに、マーカーが１つではマーカーが付与された面が隠れるとマーカーが読み取れなくなるためマーカーを商品の複数の面に付与する必要がある。したがって、商品の外装にある程度の大きさのあるＡｒＵｃｏマーカーを複数個付与すると、商品の外装の美観を損なう問題がある。また、ＡｒＵｃｏマーカーの一部でも隠れると、姿勢等の推定ができなくなる問題もある。
【0010】
本発明は、バーコードや２次元コードを使用する場合に比べて、商品の種類を簡便且つ確実に認識することを技術的課題とする。
【課題を解決するための手段】
【0011】
前記技術的課題を解決するために、請求項１に記載の発明の物品認識方法は、
予め定められた模様単位が予め定められた方向に繰り返し配列されて構成された模様と物品との対応関係が記憶される記憶工程と、
物品の表面に付与された模様を読み取る読取工程と、
読み取られた模様と、前記記憶された対応関係とに基づいて、物品を特定する特定工程と、
を実行することを特徴とする。
予め定められた模様単位が予め定められた方向に繰り返し配列されて構成された模様と物品との対応関係が記憶される記憶工程と、
物品の表面に付与された模様を読み取る読取工程と、
読み取られた模様と、前記記憶された対応関係とに基づいて、物品を特定する特定工程と、
を実行することを特徴とする。
【0012】
請求項２に記載の発明は、請求項１に記載の物品認識方法において、
物品に関連する文字が、複数個、所定の間隔、所定の向きに並べられて構成された前記模様単位が使用される
ことを特徴とする。
物品に関連する文字が、複数個、所定の間隔、所定の向きに並べられて構成された前記模様単位が使用される
ことを特徴とする。
【0013】
請求項３に記載の発明は、請求項２に記載の物品認識方法において、
同一の物品に対して、製造場所、製造時期および使用期限の少なくともいずれか１つが異なるたびに、前記物品に関連する文字の個数、間隔、向きが異なる前記模様単位が使用される
ことを特徴とする。
同一の物品に対して、製造場所、製造時期および使用期限の少なくともいずれか１つが異なるたびに、前記物品に関連する文字の個数、間隔、向きが異なる前記模様単位が使用される
ことを特徴とする。
【0014】
請求項４に記載の発明は、請求項１ないし３のいずれかに記載の物品認識方法において、
前記物品における予め定められた３カ所以上の位置に位置推定用の第２の模様が付され、読み取られた３つ以上の前記第２の模様の位置に基づいて、前記物品の姿勢を特定する姿勢特定工程と、
をさらに実行することを特徴とする。
前記物品における予め定められた３カ所以上の位置に位置推定用の第２の模様が付され、読み取られた３つ以上の前記第２の模様の位置に基づいて、前記物品の姿勢を特定する姿勢特定工程と、
をさらに実行することを特徴とする。
【0015】
前記技術的課題を解決するために、請求項５に記載の発明の物品認識システムは、
予め定められた模様単位が予め定められた方向に繰り返し配列されて構成された模様と、物品との対応関係を記憶する記憶手段と、
物品の表面に付与された模様を読み取る読取手段と、
読み取られた模様と、前記記憶手段に記憶された対応関係とに基づいて、物品を特定する特定手段と、
を備えたことを特徴とする。
予め定められた模様単位が予め定められた方向に繰り返し配列されて構成された模様と、物品との対応関係を記憶する記憶手段と、
物品の表面に付与された模様を読み取る読取手段と、
読み取られた模様と、前記記憶手段に記憶された対応関係とに基づいて、物品を特定する特定手段と、
を備えたことを特徴とする。
【発明の効果】
【0016】
請求項１，５に記載の発明によれば、バーコードや２次元コードを使用する場合に比べて、商品の種類を簡便且つ確実に認識することができる。
請求項２に記載の発明によれば、物品に関連する文字を模様単位に使用することで、暗号化された従来のコードを使用する場合に比べて、利用者が模様を見て物品を認識することができる。
請求項３に記載の発明によれば、模様を読み取ることで、製造場所、製造時期、使用期限の違いを認識することができる。
請求項４に記載の発明によれば、第２の模様を読み取ることで、物品の姿勢も認識することができる。
請求項２に記載の発明によれば、物品に関連する文字を模様単位に使用することで、暗号化された従来のコードを使用する場合に比べて、利用者が模様を見て物品を認識することができる。
請求項３に記載の発明によれば、模様を読み取ることで、製造場所、製造時期、使用期限の違いを認識することができる。
請求項４に記載の発明によれば、第２の模様を読み取ることで、物品の姿勢も認識することができる。
【図面の簡単な説明】
【0017】
【図3】図３は実施例１の模様単位の一例の説明図であり、図３Ａは入力された文字の一例の説明図、図３Ｂは図３Ａの文字から生成された模様単位の一例の説明図、図３Ｃは図３Ａの文字から生成された模様単位の他の例の説明図、図３Ｄは図３Ａの文字から生成された模様単位のさらに他の例の説明図、図３Ｅは図３Ａの文字から生成された模様単位のさらに他の例の説明図、図３Ｆは図３Ａの文字から生成された模様単位のさらに他の例の説明図である。
【発明を実施するための形態】
【0018】
次に図面を参照しながら、本発明の実施の形態の具体例（以下、実施例と記載する）を説明するが、本発明は以下の実施例に限定されるものではない。
なお、以下の図面を使用した説明において、理解の容易のために説明に必要な部材以外の図示は適宜省略されている。
なお、以下の図面を使用した説明において、理解の容易のために説明に必要な部材以外の図示は適宜省略されている。
【実施例0019】
図１は本発明の実施例１の物品認識システムの説明図である。
図１において、本発明の実施例１の物品認識システム１は、情報処理装置の一例としてのコンピュータ装置２と、読取部材の一例としてのカメラ３とを有する。コンピュータ装置２は、装置本体２ａと、出力部の一例としてのディスプレイ２ｂと、入力部の一例としてのキーボード２ｃおよびマウス２ｄと、を有する。
カメラ３は、コンピュータ装置２との間で、無線通信または有線通信が可能な構成となっており、情報の送受信が可能に構成されている。
また、実施例１のコンピュータ装置２は、物品５を把持して所定の位置から目的の位置まで搬送する搬送装置６に接続されている。搬送装置６は、従来公知の種々の構成を採用可能であり、例えば、特許文献１（特開２０１５－２１０６５１号公報）に記載されたものを採用可能であるため、詳細な説明は省略する。
図１において、本発明の実施例１の物品認識システム１は、情報処理装置の一例としてのコンピュータ装置２と、読取部材の一例としてのカメラ３とを有する。コンピュータ装置２は、装置本体２ａと、出力部の一例としてのディスプレイ２ｂと、入力部の一例としてのキーボード２ｃおよびマウス２ｄと、を有する。
カメラ３は、コンピュータ装置２との間で、無線通信または有線通信が可能な構成となっており、情報の送受信が可能に構成されている。
また、実施例１のコンピュータ装置２は、物品５を把持して所定の位置から目的の位置まで搬送する搬送装置６に接続されている。搬送装置６は、従来公知の種々の構成を採用可能であり、例えば、特許文献１（特開２０１５－２１０６５１号公報）に記載されたものを採用可能であるため、詳細な説明は省略する。
【0020】
（実施例１の搬送機１の制御手段の説明）
図２は実施例１の制御手段の説明図である。
図２において、実施例１のコンピュータ装置２は、制御手段の一例としての制御部１１が設置されている。制御部１１は、外部との信号の入出力および入出力信号レベルの調節等を行うＩ／Ｏ（入出力インターフェース）、必要な起動処理を行うためのプログラムおよびデータ等が記憶されたＲＯＭ（リードオンリーメモリ）、必要なデータ及びプログラムを一時的に記憶するためのＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ等に記憶された起動プログラムに応じた処理を行うＣＰＵ（中央演算処理装置）ならびにクロック発振器等を有するコンピュータ装置により構成されており、前記ＲＯＭ及びＲＡＭ等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
制御部１１には、基本動作を制御する基本ソフト、いわゆる、オペレーティングシステムＯＳ、アプリケーションプログラムの一例としての物品認識プログラムＡＰ１、搬送制御プログラムＡＰ２、その他の図示しないソフトウェアが記憶されている。
図２は実施例１の制御手段の説明図である。
図２において、実施例１のコンピュータ装置２は、制御手段の一例としての制御部１１が設置されている。制御部１１は、外部との信号の入出力および入出力信号レベルの調節等を行うＩ／Ｏ（入出力インターフェース）、必要な起動処理を行うためのプログラムおよびデータ等が記憶されたＲＯＭ（リードオンリーメモリ）、必要なデータ及びプログラムを一時的に記憶するためのＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ等に記憶された起動プログラムに応じた処理を行うＣＰＵ（中央演算処理装置）ならびにクロック発振器等を有するコンピュータ装置により構成されており、前記ＲＯＭ及びＲＡＭ等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
制御部１１には、基本動作を制御する基本ソフト、いわゆる、オペレーティングシステムＯＳ、アプリケーションプログラムの一例としての物品認識プログラムＡＰ１、搬送制御プログラムＡＰ２、その他の図示しないソフトウェアが記憶されている。
【0021】
（実施例１の制御部１１に接続された要素）
制御部１１には、キーボード２ｃやマウス２ｄ、カメラ３等の信号出力要素からの出力信号が入力されている。
また、実施例１の制御部１１は、ディスプレイ２ｂや搬送装置６等の被制御要素へ制御信号を出力している。
制御部１１には、キーボード２ｃやマウス２ｄ、カメラ３等の信号出力要素からの出力信号が入力されている。
また、実施例１の制御部１１は、ディスプレイ２ｂや搬送装置６等の被制御要素へ制御信号を出力している。
【0022】
（制御部１１の機能）
実施例１の制御部１１の物品認識プログラムＡＰ１は、下記の機能手段（プログラムモジュール）２１～２６を有する。
実施例１の制御部１１の物品認識プログラムＡＰ１は、下記の機能手段（プログラムモジュール）２１～２６を有する。
【0023】
図３は実施例１の模様単位の一例の説明図であり、図３Ａは入力された文字の一例の説明図、図３Ｂは図３Ａの文字から生成された模様単位の一例の説明図、図３Ｃは図３Ａの文字から生成された模様単位の他の例の説明図、図３Ｄは図３Ａの文字から生成された模様単位のさらに他の例の説明図、図３Ｅは図３Ａの文字から生成された模様単位のさらに他の例の説明図、図３Ｆは図３Ａの文字から生成された模様単位のさらに他の例の説明図である。
模様単位生成手段２１は、配置設定手段２１Ａを有し、模様の繰り返し単位である模様単位を生成する。図３において、実施例１の模様単位生成手段２１は、キーボード２ｃやマウス２ｄを介して作業者が入力した文字１０１に基づいて、模様単位１０２ａ～１０２ｅを生成する。
配置設定手段２１Ａは、入力された文字１０１に基づいて模様単位１０２ａ～１０２ｅを生成する際に、模様単位１０２ａ～１０２ｅの文字１０１の配置を設定する。すなわち、配置設定手段２１Ａは、模様単位１０２ａ～１０２ｅで使用される文字１０１の個数、文字１０１の向き（文字１０１の水平に対する回転角度、文字１０１が複数の場合はそれぞれの文字１０１の回転角度）、文字１０１が複数の場合は文字１０１どうしの間隔（距離）、を設定する。なお、個数や向き、間隔は、乱数等でランダムに生成して設定することも可能であるし、作業者が入力して設定することも可能であるし、個数等が予め定められた固定値のものを使用することも可能である。
模様単位生成手段２１は、配置設定手段２１Ａを有し、模様の繰り返し単位である模様単位を生成する。図３において、実施例１の模様単位生成手段２１は、キーボード２ｃやマウス２ｄを介して作業者が入力した文字１０１に基づいて、模様単位１０２ａ～１０２ｅを生成する。
配置設定手段２１Ａは、入力された文字１０１に基づいて模様単位１０２ａ～１０２ｅを生成する際に、模様単位１０２ａ～１０２ｅの文字１０１の配置を設定する。すなわち、配置設定手段２１Ａは、模様単位１０２ａ～１０２ｅで使用される文字１０１の個数、文字１０１の向き（文字１０１の水平に対する回転角度、文字１０１が複数の場合はそれぞれの文字１０１の回転角度）、文字１０１が複数の場合は文字１０１どうしの間隔（距離）、を設定する。なお、個数や向き、間隔は、乱数等でランダムに生成して設定することも可能であるし、作業者が入力して設定することも可能であるし、個数等が予め定められた固定値のものを使用することも可能である。
【0024】
図３Ａにおいて、一例として、入力された文字１０１が「ｓｅ」の場合、図３Ｂに示す第１の模様単位１０２ａでは、文字１０１の個数が２つで、１つが水平に沿い、他方が水平に対して１２０°回転した位置に配置され、「ｓ」の文字どうしの間隔が近接して配置されたものが生成されている。また、図３Ｃに示す第２の模様単位１０２ｂでは、文字１０１の個数が２つで、１つが水平に沿い、他方が水平に対して９０°回転した位置に配置され、「ｓ」の文字どうしの間隔が近接して配置されたものが生成されている。また、図３Ｄに示す第３の模様単位１０２ｃでは、文字１０１の個数が３つで、１つが水平に沿い、もう一つが水平に対して９０°回転、さらに１つが１８０°回転した位置に配置され、「ｓ」の文字どうしの間隔が近接して配置されたものが生成されている。さらに、図３Ｅに示す第４の模様単位１０２ｄでは、文字１０１の個数が３つで、１つが水平に沿い、残り二つが互いに１２０°間隔で回転した位置に配置され、「ｓ」の文字どうしの間隔が近接して配置されたものが生成されている。また、図３Ｆに示す第５の模様単位１０２ｅでは、文字１０１の個数が３つで、１つが水平に沿い、残り二つが互いに１２０°間隔で回転した位置に配置され、「ｓ」の文字どうしの間隔が図３Ｅよりも間隔をあけて配置されたものが生成されている。
【0025】
図４は実施例１の模様の一例の説明図であり、図４Ａは図３Ｃの模様単位から生成された模様の一例の説明図、図４Ｂは図３Ｃの模様単位から生成された模様の他の例の説明図、図４Ｃは図３Ｃの模様単位から生成された模様のさらに他の例の説明図、図４Ｄは図３Ｅの模様単位から生成された模様の一例の説明図、図４Ｅは図３Ｅの模様単位から生成された模様の他の例の説明図、図４Ｆは図３Ｅの模様単位から生成された模様のさらに他の例の説明図である。
模様生成手段２２は、繰り返し設定手段２２Ａを有し、模様単位１０２（１０２ａ～１０２ｅ）が所定の方向に沿って所定の間隔で繰り返し配列された模様１０３（１０３ａ～１０３ｆ）を生成する。実施例１の模様生成手段２２は、模様単位生成手段２１で生成された模様単位１０２を使用して、模様１０３ａ～１０３ｆを生成する。
繰り返し設定手段２２Ａは、模様１０３ａ～１０３ｆを生成する際に、模様単位１０２ａ～１０２ｅを繰り返して配置する向きや間隔を設定する。なお、向きや間隔は、乱数等でランダムに生成して設定することも可能であるし、作業者が入力して設定することも可能であるし、向き等が予め定められた固定値のものを使用することも可能である。
模様生成手段２２は、繰り返し設定手段２２Ａを有し、模様単位１０２（１０２ａ～１０２ｅ）が所定の方向に沿って所定の間隔で繰り返し配列された模様１０３（１０３ａ～１０３ｆ）を生成する。実施例１の模様生成手段２２は、模様単位生成手段２１で生成された模様単位１０２を使用して、模様１０３ａ～１０３ｆを生成する。
繰り返し設定手段２２Ａは、模様１０３ａ～１０３ｆを生成する際に、模様単位１０２ａ～１０２ｅを繰り返して配置する向きや間隔を設定する。なお、向きや間隔は、乱数等でランダムに生成して設定することも可能であるし、作業者が入力して設定することも可能であるし、向き等が予め定められた固定値のものを使用することも可能である。
【0026】
図４Ａでは、一例として、図３Ｃの模様単位１０２ｂを水平方向に沿い（０°の向き）且つ重力方向に沿って（水平に対して９０°の向き）で、近接した間隔で繰り返し配置した模様１０３ａが生成されている。また、図４Ｂでは、一例として、図３Ｃの模様単位１０２ｂにおいて、水平に対して時計回り方向に３０°傾斜した向きに沿って近接した間隔で繰り返し模様単位１０２ｂが配置された模様１０３ｂが生成されている。さらに、図４Ｃでは、一例として、図３Ｃの模様単位１０２ｂを水平に対して時計回り方向に３０°傾斜した向きで、模様単位１０２ｂの間隔が上下左右方向全て等しくなるように繰り返し配置した模様１０３ｃが生成されている。また、図４Ｄでは、一例として、図３Ｅの模様単位１０２ｄを水平方向（０°の向き）で、近接した間隔で繰り返し配置した模様１０３ｄが生成されている。さらに、図４Ｅでは、一例として、図３Ｅの模様単位１０２ｄを水平に対して時計回り方向に３０°傾斜した向きに沿って、図４Ｄよりも広い間隔で繰り返し配置した模様１０３ｅが生成されている。また、図４Ｆでは、一例として、図３Ｅの模様単位１０２ｄを水平に対して時計回り方向に３０°傾斜した向きで、図４Ｄよりも広い間隔で繰り返し配置した模様１０３ｆが生成されている。
したがって、１つ模様単位１０２ｂ（，１０２ｄ）から、向きや間隔を変えることで、複数の模様１０３ａ～１０３ｃ（１０３ｄ～１０３ｆ）が生成可能である。
したがって、１つ模様単位１０２ｂ（，１０２ｄ）から、向きや間隔を変えることで、複数の模様１０３ａ～１０３ｃ（１０３ｄ～１０３ｆ）が生成可能である。
【0027】
記憶手段２３は、物品・模様対応情報の記憶手段２３Ａと、姿勢・模様対応情報の記憶手段２３Ｂと、を有し、模様１０３と物品５の種類との対応関係を特定する情報や、物品５と姿勢特定用の模様との対応関係を特定する情報、その他の物品認識プログラムＡＰ１の処理に必要な情報を記憶する。
物品・模様対応情報の記憶手段２３Ａは、模様生成手段２２で生成された模様１０３ａ～１０３ｆと、物品５との対応関係を特定する情報を記憶する。すなわち、どの物品５にどの模様１０３ａ～１０３ｆが付与されているか、の対応関係を特定する情報を記憶する。なお、どの物品５にどの模様１０３ａ～１０３ｆを付与するかは、作業者がキーボード２ｃ等で入力して設定され、記憶される。
したがって、例えば、物品５の一例としてのサンドイッチについて、たまごサンドイッチやミックスサンドイッチ、レタスサンドイッチ等の種類の違いに応じて異なる模様１０３を付与することも可能であるし、同じたまごサンドイッチでも、Ａ工場で製造されたものとＢ工場で製造されたものとで異なる模様１０３を付与したり、同じたまごサンドイッチで同じＡ工場で製造されても、製造時期が午前と午後とで異なる模様１０３を付与したりすることも可能である。すなわち、物品５の種類としては、内容物の違いだけでなく、製造場所や製造時期（や使用期限（消費期限、賞味期限））等が異なれば、異なる種類とする場合も含む。
物品・模様対応情報の記憶手段２３Ａは、模様生成手段２２で生成された模様１０３ａ～１０３ｆと、物品５との対応関係を特定する情報を記憶する。すなわち、どの物品５にどの模様１０３ａ～１０３ｆが付与されているか、の対応関係を特定する情報を記憶する。なお、どの物品５にどの模様１０３ａ～１０３ｆを付与するかは、作業者がキーボード２ｃ等で入力して設定され、記憶される。
したがって、例えば、物品５の一例としてのサンドイッチについて、たまごサンドイッチやミックスサンドイッチ、レタスサンドイッチ等の種類の違いに応じて異なる模様１０３を付与することも可能であるし、同じたまごサンドイッチでも、Ａ工場で製造されたものとＢ工場で製造されたものとで異なる模様１０３を付与したり、同じたまごサンドイッチで同じＡ工場で製造されても、製造時期が午前と午後とで異なる模様１０３を付与したりすることも可能である。すなわち、物品５の種類としては、内容物の違いだけでなく、製造場所や製造時期（や使用期限（消費期限、賞味期限））等が異なれば、異なる種類とする場合も含む。
【0028】
よって、例えば、たまごサンドイッチは、模様単位１０２ａを使用し、製造工場や製造時期に応じて、向きや間隔が異なる模様１０３を付与し、ミックスサンドイッチは模様単位１０２ｂを使用し、製造工場や製造時期に応じて、向きや間隔が異なる模様１０３を付与する、といったように、内容物の違いは模様単位１０２を対応させ、製造工場や製造時期の違いを繰り返しの向きや間隔で対応させることも可能である。
他にも、内容物の違いを模様単位１０２の違いで対応させ、製造工場の違いを文字のフォントを変えることで対応させ、製造時期の違いを繰り返しの向きや間隔で対応させる、といった利用方法も可能である。
他にも、内容物の違いを模様単位１０２の違いで対応させ、製造工場の違いを文字のフォントを変えることで対応させ、製造時期の違いを繰り返しの向きや間隔で対応させる、といった利用方法も可能である。
【0029】
図５は実施例１の姿勢特定用の模様の一例の説明図であり、サンドイッチの包装袋用の姿勢特定用の模様の一例の説明図である。図５Ａは１０種類の姿勢特定用の模様の一例の説明図であり、図５Ｂは姿勢特定用の模様が付与された包装袋の展開図、図５Ｃは包装袋で包装されたサンドイッチの斜視図である。
姿勢・模様対応情報の記憶手段２３Ｂは、物品５と姿勢特定用の模様１０６（１０６－０～１０６－９）との対応関係を特定する情報を記憶する。図５において、物品５の一例としてのサンドイッチの包装袋１０７は、側面視直角二等辺三角柱に構成されており、５つの面１０７ａ～１０７ｅを有する。実施例１では、５つの面１０７ａ～１０７ｅのそれぞれに対して２つずつ姿勢特定用の模様１０６－０～１０６－９を付与する（２種類×５面＝１０種類）ことで、模様の一部やいくつかが隠れていてカメラ３で読み取れなくても、姿勢を推定できるようにしている。
姿勢・模様対応情報の記憶手段２３Ｂは、物品５と姿勢特定用の模様１０６（１０６－０～１０６－９）との対応関係を特定する情報を記憶する。図５において、物品５の一例としてのサンドイッチの包装袋１０７は、側面視直角二等辺三角柱に構成されており、５つの面１０７ａ～１０７ｅを有する。実施例１では、５つの面１０７ａ～１０７ｅのそれぞれに対して２つずつ姿勢特定用の模様１０６－０～１０６－９を付与する（２種類×５面＝１０種類）ことで、模様の一部やいくつかが隠れていてカメラ３で読み取れなくても、姿勢を推定できるようにしている。
【0030】
図５Ｂにおいて、第１の面１０７ａの一端部の縁に沿って第１の姿勢特定用の模様１０６－０が付与され、他端部の縁に沿って第２の姿勢特定用の模様１０６－１が付与されている。第２の面１０７ｂの一端部の縁に沿って第３の姿勢特定用の模様１０６－２が付与され、他端部の縁に沿って第４の姿勢特定用の模様１０６－３が付与されている。第３の面１０７ｃの一端部の縁に沿って第５の姿勢特定用の模様１０６－４が付与され、他端部の縁に沿って第６の姿勢特定用の模様１０６－５が付与されている。第４の面１０７ｄの一端部の角に第７の姿勢特定用の模様１０６－６が付与され、他端部の縁に沿って第８の姿勢特定用の模様１０６－７が付与されている。第５の面１０７ｅの一端部の角に第９の姿勢特定用の模様１０６－８が付与され、他端部の縁に沿って第１０の姿勢特定用の模様１０６－９が付与されている。
【0031】
読取手段２４は、カメラ３が撮影した画像に基づいて、物品５の模様１０３を読み取る。実施例１では、模様１０３の読み取りに合わせて、姿勢特定用の模様１０６も読み取る。
特定手段２６は、学習手段２６Ａと、種類特定手段２６Ｂと、姿勢特定手段２６Ｃとを有し、読み取られた模様１０３と、記憶手段２３に記憶された対応関係とに基づいて、物品５を特定する。実施例１では、模様１０３から物品５を特定すると共に、姿勢特定用の模様１０６から物品５の姿勢も特定（推定）する。実施例１の特定手段２６としては、人工知能（ＡＩ）の一例としてのＹＯＬＯｖ３－Ｔｉｎｙが使用されているが、これに限定されず、画像解析等、従来公知の任意のソフトウェアを使用可能である。
学習手段２６Ａは、教師画像の一例として、模様１０３が付与された物品５を様々な方向から観察した複数の画像（＝物品５をランダムに回転させた画像）を使用して、模様１０３から物品５を特定する処理や、姿勢特定用の模様１０６から物品５の姿勢を特定する処理について学習を行う。なお、学習を行う際に、物品５を回転させた画像を、さまざまな背景画像に合成、重畳した画像を使用することで、コンビニエンスストア等の実際の店舗における認識精度を向上させることも可能である。
特定手段２６は、学習手段２６Ａと、種類特定手段２６Ｂと、姿勢特定手段２６Ｃとを有し、読み取られた模様１０３と、記憶手段２３に記憶された対応関係とに基づいて、物品５を特定する。実施例１では、模様１０３から物品５を特定すると共に、姿勢特定用の模様１０６から物品５の姿勢も特定（推定）する。実施例１の特定手段２６としては、人工知能（ＡＩ）の一例としてのＹＯＬＯｖ３－Ｔｉｎｙが使用されているが、これに限定されず、画像解析等、従来公知の任意のソフトウェアを使用可能である。
学習手段２６Ａは、教師画像の一例として、模様１０３が付与された物品５を様々な方向から観察した複数の画像（＝物品５をランダムに回転させた画像）を使用して、模様１０３から物品５を特定する処理や、姿勢特定用の模様１０６から物品５の姿勢を特定する処理について学習を行う。なお、学習を行う際に、物品５を回転させた画像を、さまざまな背景画像に合成、重畳した画像を使用することで、コンビニエンスストア等の実際の店舗における認識精度を向上させることも可能である。
【0032】
種類特定手段２６Ｂは、カメラ３で読み取られた模様１０３から、物品５を特定する。実施例１の種類特定手段２６Ｂは、学習手段２６Ａで学習後のＡＩの識別器を使用して、記憶手段２３に記憶された模様１０３に対応付けられている物品５を特定（推定、認識）する。
姿勢特定手段２６Ｃは、カメラ３で読み取られた姿勢特定用の模様１０６から、物品５の姿勢を特定する。実施例１の姿勢特定手段２６Ｃは、学習手段２６Ａで学習後のＡＩの識別器を使用して、記憶手段２３に記憶された模様１０６から物品５の姿勢を特定（推定、認識）する。
姿勢特定手段２６Ｃは、カメラ３で読み取られた姿勢特定用の模様１０６から、物品５の姿勢を特定する。実施例１の姿勢特定手段２６Ｃは、学習手段２６Ａで学習後のＡＩの識別器を使用して、記憶手段２３に記憶された模様１０６から物品５の姿勢を特定（推定、認識）する。
【0033】
実施例１の制御部１１の搬送制御プログラムＡＰ２は、下記の機能手段（プログラムモジュール）３１～３２を有する。
目的位置記憶手段３１は、物品５を移動させる目的位置を記憶する。一例として、物品５がたまごサンドイッチの場合は、陳列棚のたまごサンドイッチの陳列位置を記憶する。なお、目的位置は、物品５の種類ごとに記憶されている。
搬送制御手段３２は、搬送装置６を制御して、物品５を目的の位置まで搬送させる。実施例１の搬送制御手段３２は、物品認識プログラムＡＰ１で認識された物品５の種類から目的の位置を特定し、物品５をロボットハンドで搬送する。また、実施例１の搬送制御手段３２は、物品認識プログラムＡＰ１で認識（推定）された物品５の姿勢に応じて、ロボットハンドを制御して、物品５を把持する。
目的位置記憶手段３１は、物品５を移動させる目的位置を記憶する。一例として、物品５がたまごサンドイッチの場合は、陳列棚のたまごサンドイッチの陳列位置を記憶する。なお、目的位置は、物品５の種類ごとに記憶されている。
搬送制御手段３２は、搬送装置６を制御して、物品５を目的の位置まで搬送させる。実施例１の搬送制御手段３２は、物品認識プログラムＡＰ１で認識された物品５の種類から目的の位置を特定し、物品５をロボットハンドで搬送する。また、実施例１の搬送制御手段３２は、物品認識プログラムＡＰ１で認識（推定）された物品５の姿勢に応じて、ロボットハンドを制御して、物品５を把持する。
【0034】
（実施例１の作用）
前記構成を備えた実施例１の物品認識システム１では、模様単位１０２が繰り返された模様１０３が包装袋１０７に付与された物品５をカメラ３で観察して、模様１０３から物品５が特定される。したがって、模様１０３は、物品５の包装袋１０７の外装の広い面、多くの面に付与することが可能となる。よって、バーコードや２次元コードを使用する場合では物品５の姿勢によっては、バーコード等が読み取れないことがあるのに対して、実施例１では、物品５の姿勢がどのような姿勢であっても模様１０３を読み取れやすく、バーコード等を使用する場合に比べて、模様１０３から物品５の種類を簡便且つ確実に認識することができる。
特に、実施例１では、模様１０３が使用されており、包装袋１０７の前面に付与しても統一感を損なわず、デザイン性が向上する。
前記構成を備えた実施例１の物品認識システム１では、模様単位１０２が繰り返された模様１０３が包装袋１０７に付与された物品５をカメラ３で観察して、模様１０３から物品５が特定される。したがって、模様１０３は、物品５の包装袋１０７の外装の広い面、多くの面に付与することが可能となる。よって、バーコードや２次元コードを使用する場合では物品５の姿勢によっては、バーコード等が読み取れないことがあるのに対して、実施例１では、物品５の姿勢がどのような姿勢であっても模様１０３を読み取れやすく、バーコード等を使用する場合に比べて、模様１０３から物品５の種類を簡便且つ確実に認識することができる。
特に、実施例１では、模様１０３が使用されており、包装袋１０７の前面に付与しても統一感を損なわず、デザイン性が向上する。
【0035】
さらに、実施例１では、模様単位１０２から模様１０３が自動的に生成されると共に、向きや間隔を少しずつ変えることで、ほぼ無限に近い個数の模様１０３が生成可能である。したがって、作業者の好みに応じた模様１０３を選択する自由度が広くなる。
また、商品の模様替え等で、模様１０３を変更することも容易である。この時、模様単位１０２を変更しなければ、学習手段２６Ａで再学習する際に、模様単位１０２が共通であるため、学習の回数も少なくて済むことが期待でき、模様１０３が変更されても特定手段２６の再学習等の改修を短時間で行うことが期待できる。特に、ＡＩのような機械学習では、２次元コードのようなモザイク状の情報に比べて、文字情報は見分けやすく、認識精度も向上しやすい。
また、商品の模様替え等で、模様１０３を変更することも容易である。この時、模様単位１０２を変更しなければ、学習手段２６Ａで再学習する際に、模様単位１０２が共通であるため、学習の回数も少なくて済むことが期待でき、模様１０３が変更されても特定手段２６の再学習等の改修を短時間で行うことが期待できる。特に、ＡＩのような機械学習では、２次元コードのようなモザイク状の情報に比べて、文字情報は見分けやすく、認識精度も向上しやすい。
【0036】
また、実施例１では、模様単位１０２を生成する場合に、文字が入力されている。このとき、文字を、物品５に関連する文字、特に、物品５の内容物の種類に関連する文字とすることも可能である。一例として、たまごサンドイッチの場合は「sandwich egg」の頭文字「ＳＥ」、ミックスサンドイッチの場合は「sandwich mix」の頭文字「ＳＭ」、レタスサンドイッチの場合は「sandwich lettuce」の頭文字「ＳＬ」として、模様１０３を生成することが可能である。このようにすることで、模様１０３を作業者や顧客が見て、ＳＥやＳＭ、ＳＬから、内容物と包装袋１０７とが一致しているかを確認、認識できるようにすることも可能である。特に、バーコードや２次元コードでは表示部分が暗号化されており、コードを作業者が見ただけでは、物品５の内容物等の種類を特定することができないが、実施例１では暗号化されておらず、作業者が目視で確認が容易になっている。
【0037】
なお、文字は、アルファベットに限定されず、平仮名や片仮名、漢字、その他の文字を使用することが可能である。また、文字のフォントを変更することで模様単位１０２の種類（バリエーション）を増やすことも可能である。さらに、文字は、「ＳＥ」や「ＳＭ」等の２文字の場合を例示したが、これに限定されない。１文字や３文字以上とすることも可能である。例えば、「たらこのおにぎり」の場合は、「riceball tarako」から「ｒｔｒ」とすることも可能である。また、商品の頭文字のアナグラムを例示したがこれに限定されず、任意の文字列とすることも可能である。さらに、模様単位１０２として文字に限定されず、たまごの図柄やレタスの図柄、梅やたらこの図柄等の図柄や、青海波等の伝統文様や幾何学模様を使用して、向きや間隔、大きさ（拡大、縮小）を変えて模様単位１０２を自動的に多数生成することも可能である。
【0038】
さらに、実施例１では、包装袋１０７の縁に付与された姿勢特定用の模様１０６から物品５の姿勢を特定している。従来のＡｒＵｃｏマーカーを使用する技術では、マーカー自体にある程度の大きさが必要であったり、ＡｒＵｃｏマーカーの一部が隠れると位置を推定できない問題があったが、実施例１では、ＡｒＵｃｏマーカーに比べて、小さい構成で、姿勢の特定が可能である。よって、包装袋１０７の外観、美観を損ないにくい。
また、各面の対向する縁に２つずつ姿勢特定用の模様１０６が付与されており、物品５の一部がカメラ３から隠れていても残りの部分をカメラ３で読み取れやすい。よって、ＡｒＵｃｏマーカーを使用する場合に比べて、物品５の姿勢を推定しやすい。
また、各面の対向する縁に２つずつ姿勢特定用の模様１０６が付与されており、物品５の一部がカメラ３から隠れていても残りの部分をカメラ３で読み取れやすい。よって、ＡｒＵｃｏマーカーを使用する場合に比べて、物品５の姿勢を推定しやすい。
【0039】
（変更例）
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例（Ｈ01）～（Ｈ04）を下記に例示する。
（Ｈ01）前記実施例において、物品認識システム１を物品の搬送に使用する構成を例示したが、これに限定されない。例えば、物品５の在庫管理や、無人店舗での顧客の購入物品５の認識等にも適用可能である。
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例（Ｈ01）～（Ｈ04）を下記に例示する。
（Ｈ01）前記実施例において、物品認識システム１を物品の搬送に使用する構成を例示したが、これに限定されない。例えば、物品５の在庫管理や、無人店舗での顧客の購入物品５の認識等にも適用可能である。
【0040】
（Ｈ02）前記実施例において、物品５の一例としてサンドイッチを例示したが、これに限定されず、おにぎりや弁当、冷凍食品、菓子等の食品類、飲料類等、任意の物品に対して適用が可能である。したがって、模様１０６は、物品のパッケージ、外装、包装に付与される場合だけでなく、物品の表面に直接付与される形態とすることも可能である。
（Ｈ03）前記実施例において、姿勢特定用の模様１０６を使用することが好ましいが、ＡｒＵｃｏマーカーのような公知の位置特定用の模様を使用することも可能である。
（Ｈ04）前記実施例において、位置特定用の模様（第２の模様）１０６を、各面に２種類ずつ設けることが望ましいが、位置を特定するだけであれば、全体で最低３つ配置すればよく、３つ以上とすることが可能である。
（Ｈ03）前記実施例において、姿勢特定用の模様１０６を使用することが好ましいが、ＡｒＵｃｏマーカーのような公知の位置特定用の模様を使用することも可能である。
（Ｈ04）前記実施例において、位置特定用の模様（第２の模様）１０６を、各面に２種類ずつ設けることが望ましいが、位置を特定するだけであれば、全体で最低３つ配置すればよく、３つ以上とすることが可能である。
【符号の説明】
【0041】
１…物品認識システム、
５…物品、
２３…記憶手段、
２４…読取手段、
２６…特定手段、
１０１…物品に関連する文字、
１０２…模様単位、
１０３…模様、
１０６…第２の模様、
１０７…外装。
５…物品、
２３…記憶手段、
２４…読取手段、
２６…特定手段、
１０１…物品に関連する文字、
１０２…模様単位、
１０３…模様、
１０６…第２の模様、
１０７…外装。
【図1】
【図2】
【図3】
【図4】
【図5】
