特許 7549620 梱包箱体、情報処理装置、情報処理システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-03

(45)【発行日】2024-09-11

(54)【発明の名称】梱包箱体、情報処理装置、情報処理システム、及びプログラム

(51)【国際特許分類】

   B65D 25/20 20060101AFI20240904BHJP

   G06Q 30/08 20120101ALI20240904BHJP

【ＦＩ】

B65D25/20 P

G06Q30/08

B65D25/20 Q

【請求項の数】 7

(21)【出願番号】P 2022052613

(22)【出願日】2022-03-28

(65)【公開番号】P2023145247

(43)【公開日】2023-10-11

【審査請求日】2023-09-12

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】100122275

【弁理士】

【氏名又は名称】竹居 信利

(72)【発明者】

【氏名】友岡 高志

(72)【発明者】

【氏名】中澤 満

【審査官】加藤 信秀

(56)【参考文献】

【文献】国際公開第２０１４／０８７５２５（ＷＯ，Ａ１）

【文献】特開２００２－０３２０７３（ＪＰ，Ａ）

【文献】特開２０２０－０８７１６３（ＪＰ，Ａ）

【文献】特開２００４－０１３２１２（ＪＰ，Ａ）

【文献】特開２００５－２５８６３４（ＪＰ，Ａ）

【文献】特開２０１０－１７６６２０（ＪＰ，Ａ）

【文献】国際公開第２００７／０２３６１９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０３７０７２１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６５Ｄ ２５／２０

Ｇ０６Ｑ ３０／０６

Ｇ０６Ｑ ３０／０８

(57)【特許請求の範囲】

【請求項1】

取引の対象となる物品と、この物品を梱包する梱包箱体とを含む画像を撮像する撮像手段と、
前記撮像した画像に含まれる物品のサイズを、前記撮像した画像に基づいて推定する推定手段と、
を含み、
前記梱包箱体は、少なくとも互いに隣接する２つの側面とのそれぞれを対象面として、各対象面に符号画像が形成されている梱包箱体であり、
前記符号画像は、前記梱包箱体のサイズを表すサイズ情報を含む情報を符号化した符号画像であり、
前記推定手段は、前記撮像した画像に基づき、当該符号画像に基づいて得られる前記梱包箱体のサイズと、前記撮像した画像上での梱包箱体の各辺のピクセル数との比を利用して、前記撮像した画像に含まれる物品のサイズを推定し、
前記推定された物品のサイズの情報が、当該物品の取引先候補である取引の希望者に提供される情報処理装置。

【請求項2】

取引の対象となる物品と、この物品を梱包する梱包箱体とを含む画像を撮像する撮像手段と、
前記撮像した画像に含まれる物品のサイズを、前記撮像した画像に基づいて推定する推定手段と、
を含み、
前記梱包箱体は、少なくとも互いに隣接する２つの側面とのそれぞれを対象面として、各対象面に符号画像が形成されている梱包箱体であり、
前記符号画像は、所定サイズの符号画像であり、
前記推定手段は、前記撮像した画像に基づき、当該梱包箱体に形成された符号画像のサイズと、前記撮像した画像上での符号画像のピクセル数との比を利用して、前記撮像した画像に含まれる物品のサイズを推定し、
前記推定された物品のサイズの情報が、当該物品の取引先候補である取引の希望者に提供される情報処理装置。

【請求項3】

取引の対象となる物品と、この物品を梱包する梱包箱体とを含む画像を撮像する撮像手段と、
前記撮像した画像に含まれる物品のサイズを、前記撮像した画像に基づいて推定する推定手段と、
を含み、
前記梱包箱体は、少なくとも互いに隣接する２つの側面とのそれぞれを対象面として、各対象面に符号画像が形成されている梱包箱体であり、
前記対象面のそれぞれには、符号画像が複数形成され、前記対象面のそれぞれの面内において、前記複数の符号画像のうち少なくとも一対の符号画像の間の距離が、予め規定されている距離であり、
前記推定手段は、前記撮像した画像に基づき、当該梱包箱体に形成された符号画像間の距離と、前記撮像した画像上での符号画像間のピクセル数との比を利用して、前記撮像した画像に含まれる物品のサイズを推定し、
前記推定された物品のサイズの情報が、当該物品の取引先候補である取引の希望者に提供される情報処理装置。

【請求項4】

請求項１から３のいずれか一項に記載の情報処理装置であって、
前記符号画像には、電子署名に係る情報が符号化されて含まれ、
前記情報処理装置は、この電子署名を検証する手段をさらに含み、
当該検証の結果、梱包箱体が正規の梱包箱体であると判断される場合に、前記推定手段による物品のサイズの推定を行う情報処理装置。

【請求項5】

コンピュータを、
取引の対象となる物品と、この物品を梱包する梱包箱体とを含む画像を撮像する撮像手段と、
前記撮像した画像に含まれる物品のサイズを、前記撮像した画像に基づいて推定する推定手段と、
として機能させ、
前記梱包箱体は、少なくとも互いに隣接する２つの側面とのそれぞれを対象面として、各対象面に符号画像が形成されている梱包箱体であり、
前記符号画像は、前記梱包箱体のサイズを表すサイズ情報を含む情報を符号化した符号画像であり、
前記推定手段として機能させる際には、コンピュータに、前記撮像した画像に基づき、当該符号画像に基づいて得られる前記梱包箱体のサイズと、前記撮像した画像上での梱包箱体の各辺のピクセル数との比を利用して、前記撮像した画像に含まれる物品のサイズを推定させ、
前記推定された物品のサイズの情報を、当該物品の取引先候補である取引の希望者に提供させるプログラム。

【請求項6】

コンピュータを、
取引の対象となる物品と、この物品を梱包する梱包箱体とを含む画像を撮像する撮像手段と、
前記撮像した画像に含まれる物品のサイズを、前記撮像した画像に基づいて推定する推定手段と、
として機能させ、
前記梱包箱体は、少なくとも互いに隣接する２つの側面とのそれぞれを対象面として、各対象面に符号画像が形成されている梱包箱体であり、
前記符号画像は、所定サイズの符号画像であり、
前記推定手段として機能させる際には、コンピュータに、前記撮像した画像に基づき、当該梱包箱体に形成された符号画像のサイズと、前記撮像した画像上での符号画像のピクセル数との比を利用して、前記撮像した画像に含まれる物品のサイズを推定させ、
前記推定された物品のサイズの情報を、当該物品の取引先候補である取引の希望者に提供させるプログラム。

【請求項7】

コンピュータを、
取引の対象となる物品と、この物品を梱包する梱包箱体とを含む画像を撮像する撮像手段と、
前記撮像した画像に含まれる物品のサイズを、前記撮像した画像に基づいて推定する推定手段と、
として機能させ、
前記梱包箱体は、少なくとも互いに隣接する２つの側面とのそれぞれを対象面として、各対象面に符号画像が形成されている梱包箱体であり、
前記対象面のそれぞれには、符号画像が複数形成され、前記対象面のそれぞれの面内において、前記複数の符号画像のうち少なくとも一対の符号画像の間の距離が、予め規定されている距離であり、
前記推定手段として機能させる際には、コンピュータに、前記撮像した画像に基づき、当該梱包箱体に形成された符号画像間の距離と、前記撮像した画像上での符号画像間のピクセル数との比を利用して、前記撮像した画像に含まれる物品のサイズを推定させ、
前記推定された物品のサイズの情報を、当該物品の取引先候補である取引の希望者に提供させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、梱包箱体、情報処理装置、及びプログラムに関する。

【背景技術】

【0002】

近年、ユーザ間での商品などの売買を仲介する、いわゆるＣ２Ｃマーケットプレイスサービスが広く利用されている。特許文献１には、販売者の商品発送手続の負担を軽減するため、撮像装置により撮像される画像を用いた物体計測手段により、商品のサイズを示す商品サイズ情報を取得し、当該取得した商品サイズ情報及び商品サイズ情報に基づく梱包材のサイズを示す梱包材サイズ情報の少なくとも一つを含む梱包情報を他の情報処理装置に送信する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１０７１３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来例の技術では、計測されたサイズが梱包材サイズの特定等、出品者側の利便に供する目的で利用されるものであるので、当該サイズを購入希望者側に通知しても、計測に誤りがないか、あるいは計測された対象物が現実に出品される商品と同じであるといった情報を購入希望者が知り得ないなど、実際に出品者の手元にある商品の出品であるか否かの担保を支援するという観点が十分に考慮されていないという問題点があった。

【0005】

本発明は上記実情に鑑みて為されたもので、購入希望者の観点を考慮し、購入希望者が安心して電子商取引に参加できるように配慮した梱包箱体、情報処理装置、情報処理システム、及びプログラムを提供することを、その目的の一つとする。

【課題を解決するための手段】

【0006】

上記従来例の問題点を解決する本発明の一態様に係る情報処理装置は、梱包箱体と物品とを含む画像を撮像する撮像手段と、前記梱包箱体のサイズに係る情報を取得する取得手段と、前記撮像した画像に含まれる物品のサイズを、前記取得した梱包箱体のサイズに係る情報と、前記撮像した画像とに基づいて推定する推定手段と、を含み、前記推定された物品のサイズの情報が、当該物品の取引に係る所定処理に供されることとしたものである。

【発明の効果】

【0007】

本発明によると、購入希望者の観点を考慮し、購入希望者が安心して電子商取引に参加できるよう配慮した処理が行われる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態に係る情報処理装置の構成ブロック図である。

【図2】本発明の実施の形態に係る梱包箱体の概略斜視図である。

【図3】本発明の実施の形態に係る梱包箱体の例を表す展開図である。

【図4】本発明の実施の形態に係る情報処理装置の一例を表す機能ブロック図である。

【図5】本発明の実施の形態に係る梱包箱体の利用態様の例を表す説明図である。

【図6】本発明の実施の形態に係る情報処理装置の動作例を表すフローチャート図である。

【図7】本発明の実施の形態に係る梱包箱体の別の例を表す概略斜視図である。

【図8】本発明の実施の形態に係る梱包箱体に形成される記入欄の例を表す説明図である。

【発明を実施するための形態】

【0009】

本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明や図面において、各部の形状やサイズ、比率等は、一例であり、適宜設計的に変更可能なものである。

【0010】

本発明の実施の形態に係る情報処理装置１０は、例えばスマートフォンやタブレット端末、パーソナルコンピュータ等であり、図１に例示するように制御部１１，記憶部１２，操作部１３，表示部１４，撮像部１５，及び通信部１６を含んで構成される。

【0011】

また本実施の形態では、図２，図３に例示する梱包箱体２０を用いる。図２は梱包箱体２０の概略斜視図、図３は梱包箱体２０の表面側の展開図を示したものである。この梱包箱体２０は図３に例示したような展開図の一枚の板材を、所定の線で折って各面を形成し、互いに隣接する面を接着または板材に形成されたスリットに差し込むなどして固定し、組み立てられるものであってよい。ここで板材は例えば段ボール板でよい。またこの板材では、各面を接着するための糊代ＧやフラップＰ等が形成されていてもよい（図中破線で示す）。

【0012】

図２，図３に例示した梱包箱体２０は、組み立てた状態では六面体の形状をなし、そのうち一つの面（図２，３の例では上面Ｔ）が折り目Ｑを軸として開閉可能な蓋となっており、ユーザはこの蓋となる面を開くことで梱包箱体２０の内部にアクセス可能となる。

【0013】

本実施の形態において特徴的なことの一つは、この梱包箱体２０の上面Ｔと、少なくとも互いに隣接する２つの側面とのそれぞれを対象面として、各対象面に符号画像Ｍが形成されていることである。ここで符号画像Ｍは、コンピュータ可読なバーコード、好ましくは所定の面積を有する二次元バーコード等である。

【0014】

本実施の形態のある例では、図３に例示の通り、各対象面の２以上の頂点近傍に符号画像Ｍが形成される。つまり、２以上の頂点のそれぞれからそれに最も近い符号画像Ｍの中心までの距離が対象面の当該頂点を含む辺の長さの１／２よりも十分短い距離となるよう、符号画像Ｍが配される。この例では、対象面ごとに複数の、少なくとも２つの符号画像Ｍが形成された状態となる。

【0015】

またこの符号画像Ｍは、
（Ａ）符号画像Ｍが付された梱包箱体２０の現実のサイズを表すサイズ情報（幅Ｗ、奥行きＤ、高さＨのそれぞれの長さを特定する情報）、
（Ｂ）符号画像Ｍが複数ある場合に、各符号画像Ｍ間の距離（実際の距離ＬＷ，ＬＤ，ＬＨ）を表す距離情報、
（Ｃ）符号画像Ｍ自身のサイズ（縦横の長さ）を特定する符号サイズ情報、
（Ｄ）梱包箱体２０ごとに固有の識別情報、
の少なくとも一方の情報が符号化されたものである。もっともこれは一例であり、符号化された情報には、これ以外の情報が含まれていてもよい。
なお、以下では、上記（Ａ）乃至（Ｃ）の情報のように、梱包箱体２０や、それに梱包される物品のサイズの推定に利用可能なサイズや距離の情報を、計測基準情報と呼ぶ。

【0016】

またこの符号画像Ｍには、梱包箱体２０が正規の梱包箱体であることを示すことを目的として、電子署名にかかる情報が含まれてもよい。ここで、電子署名は、例えば、梱包箱体２０ごとに固有な識別情報（ＢＩＤ）等を平文とする暗号化情報（ハッシュ値等）であり、外部のサーバ等の管理者が管理する秘密鍵で、上記平文を暗号化して生成すればよい。情報処理装置１０は、ネットワーク等の通信手段を利用して外部のサーバ等と通信することで、符号画像Ｍが示す電子署名の検証を行い、検証の結果、梱包箱体２０が正規の梱包箱体であると判断される場合に、その後、符号画像Ｍの撮像処理に基づく物品３０のサイズの推定等を行ってもよい。

【0017】

次に、情報処理装置１０の各部の動作について説明する。情報処理装置１０の制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態の一例では、この制御部１１は、梱包箱体２０と、この梱包箱体２０によって梱包される、取引の対象とする物品３０とを含む画像を撮像して取得し、当該梱包箱体２０のサイズに係る情報を取得する。そして制御部１１は、撮像した画像に含まれる物品３０のサイズを、取得した梱包箱体のサイズに係る情報と、撮像した画像とに基づいて推定し、当該推定した物品３０のサイズの情報を、当該物品３０の取引に係る所定処理に供する。この制御部１１の詳しい処理の内容については後に述べる。

【0018】

記憶部１２は、メモリデバイス等であり、制御部１１によって実行されるプログラムを保持する。またこの記憶部１２は、制御部１１のワークメモリとしても動作する。本実施の形態においてこのプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。操作部１３は、タッチパネル、またはマウスやキーボード等であり、ユーザの操作を受け入れて、制御部１１に対して当該操作の内容を表す情報を出力する。

【0019】

表示部１４は、ディスプレイ等であり、制御部１１から入力される指示に従って情報を表示する。またこの表示部１４には制御部１１から入力される指示により、撮像部１５で撮像された画像が表示される。撮像部１５は、カメラ等であり、その視線方向の所定の画角の画像を逐次的に撮像して得た画像データを、制御部１１に出力している。撮像部１５は、単眼カメラでもよいし、複眼カメラ（ステレオカメラ）であってもよい。情報処理装置１０は、深度カメラ（深度センサ）などの検知部をさらに含んでよい。後述の物品３０のサイズの決定方法は、撮像部１５や検知部の態様によって、既知または慣用の方法のうちから採用されてよい。

【0020】

通信部１６は、有線または無線によるネットワークインタフェース等であり、ネットワークを介して受信するデータを制御部１１に出力する。またこの通信部１６は、制御部１１から入力される指示に従い、指示された宛て先に対してネットワークを介して、指示されたデータを送出する。

【0021】

ここで、情報処理装置１０の制御部１１の動作について説明する。本実施の形態の一例に係る制御部１１は、記憶部１２に格納されたプログラムを実行することで、図４に例示するように、撮像処理部２１と、取得部２２と、サイズ推定部２３と、取引処理部２４とを機能的に含む構成を実現する。

【0022】

撮像処理部２１は、撮像部１５が撮像する画像データを逐次的に受け入れ、受け入れた画像データを取得部２２に出力する。本実施の形態では、情報処理装置１０のユーザは、梱包箱体２０と、当該梱包箱体２０に梱包して発送する物品（取引の対象となる物品）３０とを一つの画面に収めて撮像するものとする。

【0023】

取得部２２は、撮像処理部２１が逐次的に受け入れた画像データから、撮像されている対象物（梱包箱体２０及び物品３０）上の特徴点群を検出する。取得部２２は、さらに、この特徴点群を用いて、撮像して得られた画像データから、梱包箱体２０（比較的大きい六面体）と物品３０とを検出する。取得部２２は、所定の三次元計測処理により、物品３０のサイズに係る情報の取得を行うことができる。このような三次元計測処理を実現するものとして既に知られた技術を採用できるので、その詳しい説明を省略する。一例として、この取得部２２は、例えば、佐藤淳，“コンピュータビジョン -視覚の幾何学-”，コロナ社，（１９９９）に記載の技術など、既に知られた技術を、ここでの三次元計測処理の方法として採用することができる。

【0024】

取得部２２は、検出した梱包箱体２０の手前側の辺に平行な軸をＸ軸、梱包箱体２０の上面を構成する辺のうち、Ｘ軸に直交する辺に平行な軸をＹ軸、上面の法線方向をＺ軸とし、検出した梱包箱体２０の底面のうち手前左側の頂点を原点として、ＸＹＺ直交座標系（ワールド座標系）を設定する。

【0025】

取得部２２は、さらに、梱包箱体２０のサイズに関する情報を取得する。ここで梱包箱体２０のサイズは、梱包箱体２０の、現実空間でのサイズ（以下現実サイズと呼ぶ）を意味し、当該現実サイズに関する情報は、上記広く知られている三次元計測処理により取得することとしてもよい。

【0026】

また本実施の形態の一例では、梱包箱体２０に符号画像Ｍが形成されているため、梱包箱体２０の現実サイズを表す現実サイズ情報を含めて符号化しておけば、取得部２２が当該符号画像Ｍを、画像データから検出して復号することで梱包箱体２０のサイズに関する情報を取得してもよい。

【0027】

ここでの例では、梱包箱体２０の現実サイズとして、梱包箱体２０の幅（Ｗ：Ｘ軸方向の辺の長さ）と、奥行き（Ｄ：Ｙ軸方向の辺の長さ）と、高さ（Ｈ：Ｚ軸方向の辺の長さ）との情報を、梱包箱体２０のサイズに関する情報を取得するものとする。

【0028】

さらに本実施の形態の取得部２２は、梱包箱体２０の画像データ中でのサイズ（ピクセル数）を取得する。以下では現実空間でのサイズの情報と、この画像データ中でのサイズとを区別するため、画像データ中でのサイズを「仮想サイズ」と呼ぶ。

【0029】

取得部２２は、撮像された画像データから梱包箱体２０の幅方向（Ｘ軸方向）に平行な辺の一つを注目幅辺として選択して、当該注目幅辺の長さ（ピクセル数）ｗを仮想サイズの幅方向の長さとして求める。同様に、取得部２２は、撮像された画像データから梱包箱体２０の奥行き方向（Ｙ軸方向）に平行な辺の一つと、高さ方向（Ｚ軸方向）の辺の一つとを、それぞれ注目奥行き辺、注目高さ辺として選択して、当該注目奥行き辺及び注目高さ辺の長さ（ピクセル数）ｄ，ｈを仮想サイズの奥行き及び高さ方向の長さとして求める。

【0030】

なお注目幅辺，注目奥行き辺，注目高さ辺の選択は、例えば幅方向の辺のうち最も長いものを注目幅辺とするなど、予め定めた条件に従って選択すればよい。

【0031】

推定部２３は、撮像して得られた画像データに含まれる物品３０の現実サイズを、取得部２２が取得した梱包箱体のサイズ（現実サイズ）に係る情報と、撮像して得られた画像データとに基づいて推定する。

【0032】

この推定部２３は、検出した物品３０に外接、あるいは検出した物品３０を内包する六面体（バウンディングボックス）を表す情報を生成し、当該バウンディングボックスのサイズ（現実サイズ）を、上記三次元計測処理により取得する。すなわち推定部２３は、梱包箱体２０の現実サイズの情報（Ｗ（幅），Ｄ（奥行き），Ｈ（高さ））と、仮想サイズの情報（ｗ，ｄ，ｈ）とを取得部２２から受け入れる。また推定部２３は、撮像して得られた画像データから得た、物品３０を含むバウンディングボックスの仮想サイズの情報（ｗt，ｄt，ｈt）を得る。

【0033】

推定部２３は、そして、梱包箱体２０の現実サイズと仮想サイズとの比、（ｒw，ｒd，ｒh）を求める。ここで、
ｒw＝Ｗ／ｗ
ｒd＝Ｄ／ｄ
ｒh＝Ｈ／ｈ
とする。

【0034】

推定部２３は、物品３０を含むバウンディングボックスの現実サイズ（Ｗt，Ｄt，Ｈt）を、
Ｗt＝ｒw×ｗt
Ｄt＝ｒd×ｄt
Ｈt＝ｒh×ｈt
として求める。

【0035】

このように本実施の形態の推定部２３は、比較的小さい、物品３０の現実サイズを、比較的大きい対象物である梱包箱体２０の現実サイズ及び仮想サイズと、物品３０の仮想サイズとを利用して推定する。これにより三次元計測処理では誤差が大きくなる、比較的小さい対象物である物品３０の現実サイズを、比較的精度よく求めることが可能となる。

【0036】

なお、取得部２２は、J. Xiao, R. Bryan and T. Antonio, "Localizing 3D cuboids in single-view images." Advances in neural information processing systems 25 (2012).などに記載の既知の手法を、ここでの三次元計測処理として採用することができる。取得部２２は、物品３０の形状について、上述のバウンディングボックスの例のように、立方体、直方体、円柱、中空円柱、円錐、円環面（トーラス）、三角柱、三角錐、四角錐、六角柱、六角錐、球体、半球体、楕円体などの単純な幾何学的形状を呈するオブジェクトとして抽象化し、抽象化されたオブジェクトのサイズに基づき、物品３０のサイズを決定してもよい。ここで取得部２２は、１以上の符号画像Ｍを利用して得られる計測基準情報（メトリックな情報）にさらに基づき、単純な幾何学的形状を呈するオブジェクトとして抽象化された物品３０のサイズを決定する。ここで抽象化とは、対象の事物（物品３０など）に外接する、または当該事物を内包するサイズおよび幾何学的形状を決定することを指す。なお、取得部２２は、少なくとも物品３０にかかる特徴点群を学習済みの機械学習モデルに入力することで抽象化されたオブジェクトを推定し決定してよい。

【0037】

また取得部２２は、物品３０にかかる点群、計測点群、３次元点群に基づき物品３０の形状認識を行い、物品３０のサイズを決定してもよい。ここで、取得部２２は、レーザースキャナ、深度センサ、ＴｏＦセンサなどの検知部により得られたセンシングデータに基づき、物品３０にかかる点群などを決定してよい。また、ここで、取得部２２は、少なくとも点群などをＰｏｉｎｔＮｅｔ、ＶｏｔｅＮｅｔ、ＶｏｘｅｌＮｅｔ、ＰｏｉｎｔＰｉｌｌａｒｓなどの学習済みの機械学習モデルに入力することで物品３０の形状認識を行ってよい。ここで、取得部２２は、１以上の符号画像Ｍを利用して得られる計測基準情報にさらに基づき、物品３０のサイズを決定する。

【0038】

さらに取得部２２は、ＳＬＡＭ(Simultaneous Localization and Mapping)の態様で、撮像部１５を含む情報処理装置１０の自己位置推定と、環境地図作成と、を同時に行うことで、物品３０のサイズを決定してもよい。この例の取得部２２は、レーザースキャナ、深度センサ、ＴｏＦセンサなどの検知部により得られたセンシングデータにさらに基づき、自己位置推定および環境地図作成を同時に行ってよい。また、ここで、取得部２２は、１以上の符号画像Ｍを利用して得られる計測基準情報にさらに基づき、自己位置推定および環境地図作成を同時に行い、物品３０のサイズを決定してもよい。

【0039】

さらにまた、この取得部２２は、連続して撮像された複数の画像データに基づき物品３０のサイズを決定してもよいし、撮像された単一の画像データ（ワンショット）に基づき物品３０のサイズを決定してもよい。取得部２２は、物品３０のサイズ決定に際し単眼カメラの態様の撮像部１５により取得された画像データを用いる場合、ｍｏｎｏｄｅｐｔｈ、ｍｏｎｏｄｅｐｔｈ２、ＳｆＭ Ｌｅａｒｎｅｒなどの単眼深度推定モデルを用いて物品３０近傍の奥行方向の距離を決定し、物品３０のサイズを決定してもよい。このとき、取得部２２は、１以上の符号画像Ｍを利用して得られる計測基準情報にさらに基づき、物品３０のサイズを決定してもよい。

【0040】

取引処理部２４は、推定部２３が推定した物品３０のサイズ（現実サイズ）の情報を、当該物品３０の取引に係る所定の処理に供する。一例としてこの取引処理部２４は、ユーザに対して電子商取引サイトへのログインを促し、ユーザが電子商取引サイトへログインすると、出品の対象となる物品３０に関する名称等の入力をユーザに求める。取引処理部２４は、ユーザが物品３０の名称等の情報を入力すると、当該ユーザが入力した情報とともに、物品３０に関して推定部２３が推定した現実サイズの情報を、電子商取引サイトのサーバへ送出し、電子商取引の対象物に関する情報として登録する。ここで登録された情報は、電子商取引の希望者（購入希望者）等に対して提供され、取引の用に供される。この取引の処理の例についても後に述べる。

【0041】

［動作例］
本実施の形態の情報処理装置１０は以上の構成を備えており、次のように動作する。情報処理装置１０のユーザは、電子商取引の対象とする物品３０と、その物品３０を梱包して発送する際に利用する梱包箱体２０とを近接させて配し、これらを含んだ画像を、情報処理装置１０を用いて撮像する。ユーザはこのとき、情報処理装置１０の、梱包箱体２０等に対する位置を変化させつつ逐次的に撮像を行う（スキャニングする）。

【0042】

以下の例では、梱包箱体２０の上面Ｔと、４つの側面とのそれぞれを対象面として、各対象面に符号画像Ｍを形成しておく。ここでの例では符号画像Ｍは、二次元バーコードであり、この符号画像Ｍが付された梱包箱体２０の現実サイズを表すサイズ情報（幅Ｗ、奥行きＤ、高さＨのそれぞれ長さを特定する情報）と、梱包箱体２０ごとに固有な識別情報（ＢＩＤ）とが符号化されたものであるとする。

【0043】

例えばユーザは、図５に例示するように、梱包箱体２０の上面に、電子商取引の対象とする物品３０を載せて、その全体を、情報処理装置１０を用いて撮像する。情報処理装置１０は、図６に示す処理を開始し、逐次的に撮像した画像データから、撮像されている対象物（梱包箱体２０及び物品３０）上の特徴点群を検出する。情報処理装置１０は、検出した特徴点群を用いて、画像データから、梱包箱体２０と物品３０とを検出する（Ｓ１１）。

【0044】

さらに情報処理装置１０は、これら梱包箱体２０と物品３０とを検出した、三次元空間を表す座標系を設定する（Ｓ１２）。ここで座標系は、図２に例示するＸＹＺ座標系のように、例えば梱包箱体２０の例えば上面の幅（Ｗ）方向の辺に平行な軸をＸ軸、奥行き（Ｄ）方向の辺に平行な軸をＹ軸、上面の法線方向（高さ（Ｈ）方向）をＺ軸とするなど、検出した物品３０の形状に応じて設定したものとする。

【0045】

情報処理装置１０は、次に、この梱包箱体２０の現実サイズに関する情報と、仮想サイズとを取得する。本実施の形態の例では、情報処理装置１０は、撮像された画像データから、符号画像Ｍを検出して復号する（Ｓ１３）。本実施の形態のここでの例では、符号画像Ｍが、上面Ｔと、４つの側面とのそれぞれを対象面として、各対象面に形成されているので、どの向きから撮像した画像データであっても、少なくともいずれかの対象面に配された符号画像を検出できる。

【0046】

情報処理装置１０は、ステップＳ１３において、復号して得た情報から、梱包箱体２０の現実サイズに関する情報を取得する。また情報処理装置１０は、梱包箱体２０の画像データ中での仮想サイズ（ピクセル数）を取得する（Ｓ１４）。

【0047】

また情報処理装置１０は、検出した、電子商取引の対象とする物品３０を内包するバウンディングボックスを表す情報を生成し、当該バウンディングボックスの仮想サイズの情報（ｗt，ｄt，ｈt）を得る（Ｓ１５）。

【0048】

情報処理装置１０はステップＳ１３、Ｓ１４で得た情報を用い、梱包箱体２０の現実サイズと仮想サイズとの比、（ｒw，ｒd，ｒh）を、
ｒw＝Ｗ／ｗ
ｒd＝Ｄ／ｄ
ｒh＝Ｈ／ｈ
として求める。

【0049】

そして情報処理装置１０は、物品３０を含むバウンディングボックスの現実サイズ（Ｗt，Ｄt，Ｈt）を、
Ｗt＝ｒw×ｗt
Ｄt＝ｒd×ｄt
Ｈt＝ｒh×ｈt
と推定する（Ｓ１６）。

【0050】

情報処理装置１０は、ステップＳ１６により物品３０の現実サイズに対応する、物品３０を含むバウンディングボックスの現実サイズを得ると、ユーザから別途入力される指示に従って、電子商取引サイトのサーバへアクセスし、ユーザを識別する情報と、ユーザが別途入力した、電子商取引の対象とする物品３０の情報（物品３０の名称等）と、ステップＳ１３で得た、梱包箱体２０に固有な識別情報（ＢＩＤ）と、ステップＳ１６で推定した物品３０の現実サイズに関する情報とを関連付けて、当該サーバに管理させる（Ｓ１７：取引処理）。

【0051】

［電子商取引サイトのサーバでの処理］
電子商取引サイトのサーバは、物品３０を出品するユーザの情報処理装置１０から、ユーザを特定する情報と、物品３０に関する情報と、当該情報処理装置１０が推定した物品３０の現実サイズに関する情報と、当該情報処理装置１０が物品３０とともに撮像した梱包箱体２０に固有な識別情報とを受け入れてこれらを互いに関連付けて保持する。

【0052】

このサーバは、物品３０の購入を希望する購入希望者からのアクセスを受けて、上記物品３０に関する情報や、その現実サイズに関する情報を提供する。そして物品３０の購入の指示を受けると、このサーバは、当該指示された物品３０に関する情報に関連付けられている情報で特定されるユーザに対して物品３０の発送をするよう指示する。

【0053】

ユーザがこの指示に応じて、物品３０を、梱包箱体２０に梱包して発送し、その後購入希望者側でこの梱包箱体２０とともに物品３０を受領すると、購入希望者は、梱包箱体２０の画像を、購入希望者が所有するスマートフォンなどで撮像して、梱包箱体２０に形成された符号画像Ｍを読み取り、当該符号画像Ｍが表す情報を復号して、当該符号画像Ｍが付された梱包箱体に固有の識別情報を取得する。そして購入希望者は、スマートフォンなどに対して電子商取引サイトのサーバに対して当該取得した識別情報を送出させる。電子商取引サイトのサーバは、購入希望者側から梱包箱体２０の識別情報を受信すると、受領が完了したものとして、当該受信した識別情報に関連付けて登録されている、ユーザを特定する情報と、物品３０に関する情報と、当該情報処理装置１０が推定した物品３０の現実サイズに関する情報とを削除する。

【0054】

本実施の形態によると、購入希望者は予め物品３０の情報として、情報処理装置１０により推定された現実サイズの情報を参照でき、また、梱包箱体２０の識別情報により、出品者の発送した物品３０の入手が確認できる。このように本実施の形態では購入希望者の観点が考慮され、購入希望者が安心して電子商取引に参加できるよう促すことができる。

【0055】

［符号画像の形成位置の別の例］
ここまでの説明において、符号画像Ｍは、梱包箱体２０の外面側に配されるものとしたが、本実施の形態はこれに限られない。すなわち符号画像Ｍは、梱包箱体２０の外面側だけでなく、あるいは外面側に代えて（つまり外面側には符号画像Ｍを配することなく）、梱包箱体２０の内面側に配されてもよい（図７）。

【0056】

このように符号画像Ｍを梱包箱体２０の内面側に配する場合には、梱包箱体２０には、その内側底面と、少なくとも互いに隣接する２つの内側側面とのそれぞれを対象面として、当該対象面のそれぞれに符号画像Ｍを配する。

【0057】

ユーザは、梱包箱体２０の蓋となる面を開き、梱包箱体２０の内部に物品３０を配して、梱包箱体２０と物品３０とを含んだ画像を、情報処理装置１０を用いて撮像する。ユーザはこのとき、情報処理装置１０の、梱包箱体２０等に対する位置を変化させつつ逐次的に撮像を行う（スキャニングする）。

【0058】

以下の例では、梱包箱体２０の内側底面と、４つの内側側面とのそれぞれを対象面として、各対象面に符号画像Ｍを形成しておく。ここでの例でも符号画像Ｍは、二次元バーコードであり、この符号画像Ｍが付された梱包箱体２０の現実サイズを表すサイズ情報（幅Ｗ、奥行きＤ、高さＨのそれぞれ長さを特定する情報）と、梱包箱体２０ごとに固有な識別情報（ＢＩＤ）とが符号化されたものであるとする。

【0059】

情報処理装置１０は、特徴点群を検出し、当該特徴点群を用いて、画像データから、梱包箱体２０と物品３０とを検出する（ステップＳ１１）。そして情報処理装置１０は、これら梱包箱体２０と物品３０とを検出した、三次元空間を表す座標系を設定し（ステップＳ１２）、梱包箱体２０の現実サイズに関する情報を、符号画像Ｍを検出して復号する（ステップＳ１３）。また情報処理装置１０は、撮像して得られた画像データから梱包箱体２０の仮想サイズを取得する。ここでの例では、符号画像Ｍとして符号化された現実サイズの情報は、梱包箱体２０の内面の幅Ｗ、奥行きＤ、及び高さＨ（内のり）を指すものとし、情報処理装置１０は、特徴点群の情報を利用して、梱包箱体２０内面の幅方向の仮想サイズ（ピクセル数）ｗ、奥行き方向の仮想サイズ（ピクセル数）ｄ、及び高さ方向の仮想サイズ（ピクセル数）ｈを取得する（ステップＳ１４）。

【0060】

また情報処理装置１０は、電子商取引の対象とする物品３０を内包するバウンディングボックスを表す情報を生成し、当該バウンディングボックスの仮想サイズの情報（ｗt，ｄt，ｈt）を得る（ステップＳ１５）。そして情報処理装置１０は、既に説明したステップＳ１６の処理により、物品３０を含むバウンディングボックスの現実サイズ（Ｗt，Ｄt，Ｈt）を推定する。

【0061】

この例でも推定された物品３０に関する現実サイズの情報（上記バウンディングボックスの情報）は、所定の取引処理に供されて利用される。

【0062】

［符号画像を利用した物品のサイズ推定の別の例（１）］
また、ここまでの説明では情報処理装置１０は、梱包箱体２０のサイズに関する情報として、梱包箱体２０自体の現実サイズの情報を用いて物品３０の現実サイズを推定することとしているが、本実施の形態はこの例に限られない。

【0063】

本実施の形態の別の例では、情報処理装置１０は、梱包箱体２０のサイズに関する情報として、梱包箱体２０自体の現実サイズに代えて、梱包箱体２０の対象面のそれぞれに、複数形成された符号画像Ｍのうちの一対の符号画像Ｍ間の距離を用いてもよい（例えば図２のＬＷ，ＬＤ，ＬＨ）。これらＬＷ，ＬＤ，ＬＨは、例えば図２に例示したように一対の符号画像の中心間距離でもよいし、一対の符号画像の対向する辺の距離であってもよい。

【0064】

なお、この符号画像Ｍ間の現実の距離の情報は、符号化されて符号画像Ｍに含まれてもよい。この場合情報処理装置１０は、符号画像Ｍを復号して当該情報を得る。もっともこの例では符号画像Ｍは、必ずしも何らかの情報を符号化したものである必要はなく、単にコンピュータにより検出可能な図形であってもよい。この場合は、符号画像Ｍの幅方向の現実の距離ＬＷと、奥行き方向の現実の距離ＬＤと、高さ方向の現実の距離ＬＨは、予め規定され、既知であるものとする。

【0065】

この例では情報処理装置１０は、図６に例示した処理のステップＳ１１，Ｓ１２の処理により、梱包箱体２０と物品３０とを検出した後、梱包箱体２０上に形成された符号画像Ｍを検出し、当該符号画像Ｍの間の画像データ上の幅方向の距離（ピクセル数）Ｌｗ，奥行き方向の距離（ピクセル数）Ｌｄ，高さ方向の距離（ピクセル数）Ｌｈを、梱包箱体２０のサイズに関する情報として取得する。

【0066】

そして情報処理装置１０は、梱包箱体２０上に形成した符号画像間の現実の距離と画像データ上の距離との比、（ｒ′w，ｒ′d，ｒ′h）を、
ｒ′w＝ＬＷ／Ｌｗ
ｒ′d＝ＬＤ／Ｌｄ
ｒ′h＝ＬＨ／Ｌｈ
として求める。

【0067】

情報処理装置１０は、電子商取引の対象とする物品３０を内包するバウンディングボックスを表す情報を生成し、当該バウンディングボックスの仮想サイズの情報（ｗt，ｄt，ｈt）を得る（ステップＳ１５）。そして情報処理装置１０は、図６のステップＳ１６と同様の処理により、物品３０を含むバウンディングボックスの現実サイズ（Ｗt，Ｄt，Ｈt）を、
Ｗt＝ｒ′w×ｗt
Ｄt＝ｒ′d×ｄt
Ｈt＝ｒ′h×ｈt
と推定する。

【0068】

この例でも推定された物品３０に関する現実サイズの情報（上記バウンディングボックスの情報）は、所定の取引処理に供されて利用される。

【0069】

本実施の形態のこの例では、梱包箱体２０の各面に、少なくとも互いに直交する３辺（Ｘ軸方向、Ｙ軸方向、及びＺ軸方向）のそれぞれに沿った方向に、一対の符号画像Ｍが配列するように符号画像Ｍを形成しておくことが好適である。

【0070】

［符号画像を利用した物品のサイズ推定の別の例（２）］
本実施の形態のまた別の例では、情報処理装置１０は、梱包箱体２０のサイズに関する情報として、梱包箱体２０自体の現実サイズに代えて、梱包箱体２０の対象面のそれぞれに、形成された符号画像Ｍ自体のサイズの情報を用いてもよい。本実施の形態のある例では、符号画像Ｍは正方形状をなす。

【0071】

そして符号画像Ｍの現実のサイズ（縦横のサイズＬ）は、符号化されて符号画像Ｍに含まれてもよい。この場合情報処理装置１０は、符号画像Ｍを復号して当該情報を得る。もっともこの例でも、符号画像Ｍは、必ずしも何らかの情報を符号化したものである必要はなく、単にコンピュータにより検出可能な図形であってもよい。この場合は、符号画像Ｍの現実のサイズ（サイズＬ）は、所定のサイズとして既知（予め設定されているもの）であるものとする。

【0072】

この例では情報処理装置１０は、図６に例示した処理のステップＳ１１，Ｓ１２の処理により、梱包箱体２０と物品３０とを検出した後、梱包箱体２０上に形成された符号画像Ｍを検出し、各面の符号画像Ｍの横方向または縦方向の距離（ピクセル数）ｌを、梱包箱体２０のサイズに関する情報として取得する。

【0073】

そして情報処理装置１０は、梱包箱体２０上に形成した符号画像間の現実の距離と画像データ上の距離との比、（ｒ″w，ｒ″d，ｒ″h）を、
ｒ″w＝Ｌ／ｌ
ｒ″d＝Ｌ／ｌ
ｒ″h＝Ｌ／ｌ
として求める。

【0074】

情報処理装置１０は、電子商取引の対象とする物品３０を内包するバウンディングボックスを表す情報を生成し、当該バウンディングボックスの仮想サイズの情報（ｗt，ｄt，ｈt）を得る（ステップＳ１５）。そして情報処理装置１０は、図６のステップＳ１６と同様の処理により、物品３０を含むバウンディングボックスの現実サイズ（Ｗt，Ｄt，Ｈt）を、
Ｗt＝ｒ′w×ｗt
Ｄt＝ｒ′d×ｄt
Ｈt＝ｒ′h×ｈt
と推定する。

【0075】

この例でも推定された物品３０に関する現実サイズの情報（上記バウンディングボックスの情報）は、所定の取引処理に供されて利用される。

【0076】

［符号画像を利用しない物品のサイズ推定の例］
さらに本実施の形態の別の例では、情報処理装置１０は、符号画像を利用せずに物品３０のサイズを推定する。この例では、情報処理装置１０は、梱包箱体２０のサイズに関する情報としての梱包箱体２０自体の現実サイズを、三次元計測処理により取得する。

【0077】

例えば、情報処理装置１０は、三次元計測処理での平面認識を用いて、梱包箱体２０の撮像されている面（上面Ｔと、前面Ｆ及び、右又は左側面ＲまたはＬ）を認識する。そして当該認識された梱包箱体２０のＸＹＺ直交座標系での位置に基づいて上面Ｔの幅方向の長さＷＴ及び奥行き方向長さＤＴ、前面Ｆの幅方向の長さＷＦ及び高さ方向の長さＨＦ、及び／または側面の奥行き方向長さＤＳ及び高さ方向長さＨＳを取得する。ここで取得する長さはいずれも現実の長さである。

【0078】

そして情報処理装置１０は、梱包箱体２０の現実のサイズ（Ｗ，Ｄ，Ｈ）を、
Ｗ＝ＷＦ （またはＷ＝ＷＴ，あるいはＷ＝（ＷＦ＋ＷＴ）／２）、
Ｄ＝ＤＴ （またはＤ＝ＤＳ，あるいはＤ＝（ＤＴ＋ＤＳ）／２）、
Ｈ＝ＨＦ （またはＨ＝ＨＳ，あるいはＨ＝（ＨＦ＋ＨＳ）／２）、
により求める。

【0079】

またこの例では、情報処理装置１０は梱包箱体２０の現実サイズと仮想サイズとの比、（ｒw，ｒd，ｒh）を、梱包箱体２０の画像データ中での仮想サイズ（ピクセル数）（ｗ，ｄ，ｈ）を用い、
ｒw＝Ｗ／ｗ
ｒd＝Ｄ／ｄ
ｒh＝Ｈ／ｈ
として求め、物品３０を含むバウンディングボックスの現実サイズ（Ｗt，Ｄt，Ｈt）を、図６のステップＳ１６の処理により、
Ｗt＝ｒw×ｗt
Ｄt＝ｒd×ｄt
Ｈt＝ｒh×ｈt
と推定する。

【0080】

本実施の形態のこの例では、梱包箱体２０に必ずしも符号画像を形成する必要はなくなる。すなわち、一般的な段ボールの箱体を用いることが可能となる。

【0081】

［ユーザによる作業を要求する例］
本実施の形態において、梱包箱体２０の外側表面または内側表面には、ユーザが、コンピュータ可読な情報を記入可能な記入欄が形成されていてもよい。この記入欄は、図８に例示するように、ユーザにより塗りつぶし可能な複数の枠Ｕを含む。またこの枠Ｕの近傍には、各枠Ｕを識別可能なように、識別情報（図８では番号Ｎ）が関連付けて形成されていてもよい。

【0082】

このような記入欄を備える梱包箱体２０を利用する場合、情報処理装置１０は、例えば図６に例示した処理を行うに先立って、記入欄とともに形成されている識別情報のいずれかをランダムに発行し、当該発行した識別情報に対応する枠Ｕを塗りつぶすよう、ユーザに対して案内する。

【0083】

ユーザがこの案内に従い、上記発行された識別情報に対応する枠Ｕを塗りつぶし、情報処理装置１０の処理を続行させると、情報処理装置１０は、ユーザに対して梱包箱体２０を物品３０とともに撮像するよう案内する。

【0084】

ユーザはこの案内に従って、例えば物品３０を梱包箱体２０の上面に配して撮像を開始する。その後、ユーザが情報処理装置１０（の撮像部１５）の位置や視線方向を変化させながら撮像を続けると、情報処理装置１０は、梱包箱体２０の現実サイズ等の情報を取得するとともに、上記記入欄の枠Ｕのうち、どの枠Ｕが塗りつぶされた状態にあるかを識別する。

【0085】

この識別の処理は、いわゆるマークシート（コンピュータ可読回答カード）の識別と同様の処理であり、広く知られているので、識別の処理の内容については説明を省略する。

【0086】

情報処理装置１０は、上記識別の結果、塗りつぶされた枠Ｕの識別情報が、先に自らが発行した識別情報に一致するか否かを調べ、一致していれば処理を続けて物品３０の現実サイズの推定や、出品に関わる処理を実行する。

【0087】

一方、ここで識別の結果、塗りつぶされた枠Ｕの識別情報が、先に自らが発行した識別情報に一致しないと判断すると、そこで処理を中断する。あるいは、ユーザに対して、正しい枠が塗りつぶされていない旨の案内を行って処理を終了してもよい。

【0088】

この例によると、現実サイズの計測に利用した梱包箱体２０と、過去に物品３０の購入に利用したものなど、現実サイズの異なる別の梱包箱体２０とを取り違えて物品３０を発送してしまうなどといった誤りを防止できる。

【0089】

［符号画像のさらに別の利用］
また、ここまでの説明において符号画像Ｍは、梱包箱体２０のサイズに関する情報の取得等に利用されるものとしたが、本実施の形態のある例においては、情報処理装置１０は、この符号画像Ｍを、梱包箱体２０の各面の認識に用いてもよい。また、情報処理装置１０は、この符号画像Ｍを、梱包箱体２０自体の検出に用いてもよい。

【符号の説明】

【0090】

１０ 情報処理装置、１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、１５ 撮像部、１６ 通信部、２０ 梱包箱体、２１ 撮像処理部、２２ 取得部、２３ サイズ推定部、２４ 取引処理部、３０ 物品。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】