IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社デイ・ディライトの特許一覧

特開2024-2661情報処理装置、情報処理方法、及びプログラム
<>
  • 特開-情報処理装置、情報処理方法、及びプログラム 図1
  • 特開-情報処理装置、情報処理方法、及びプログラム 図2
  • 特開-情報処理装置、情報処理方法、及びプログラム 図3
  • 特開-情報処理装置、情報処理方法、及びプログラム 図4
  • 特開-情報処理装置、情報処理方法、及びプログラム 図5
  • 特開-情報処理装置、情報処理方法、及びプログラム 図6
  • 特開-情報処理装置、情報処理方法、及びプログラム 図7
  • 特開-情報処理装置、情報処理方法、及びプログラム 図8
  • 特開-情報処理装置、情報処理方法、及びプログラム 図9
  • 特開-情報処理装置、情報処理方法、及びプログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024002661
(43)【公開日】2024-01-11
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
   G01B 11/00 20060101AFI20231228BHJP
【FI】
G01B11/00 H
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022101992
(22)【出願日】2022-06-24
(71)【出願人】
【識別番号】514050814
【氏名又は名称】株式会社デイ・ディライト
(74)【代理人】
【識別番号】100126000
【弁理士】
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100154748
【弁理士】
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】藤原 克明
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA59
2F065BB05
2F065CC11
2F065DD06
2F065FF01
2F065FF04
2F065JJ03
2F065JJ07
2F065JJ26
2F065MM06
2F065PP04
2F065QQ21
2F065QQ31
2F065QQ38
(57)【要約】
【課題】光学的に取得した被測定物の画像から被測定物の体積を測定すること。
【解決手段】撮像情報取得部51は、被写体としてのトラックの背面画像、側面画像を処理対象画像として取得すると共に、当該トラックを撮像した撮像位置の座標、加速度、方向を取得する。合成出力部52は、処理対象画像においてAR処理部61により画像内の地面の領域をマーカとして認識して、当該マーカに基づいて測定用の例えば矩形の仮想オブジェクトを当該処理対象画像に合成した結果得られる処理対象合成画像を出力する。フィッティング部54は、トラックの画像に仮想オブジェクトがフィットしていない場合にフィッティングする。体積出力部55は、トラックの画像にフィッティングされた仮想オブジェクトに基づいて、トラックの荷台に積まれている廃棄物の体積を生成して出力する。
【選択図】図3
【特許請求の範囲】
【請求項1】
異なる複数の撮像ポイントの夫々において被測定物が被写体として夫々撮像された結果得られる複数の画像のうち、所定撮像ポイントの画像を処理対象画像として取得すると共に、当該所定撮像ポイントに関する情報を取得する撮像情報取得手段と、
前記処理対象画像において、拡張現実手段により所定の領域をマーカとして認識して、当該マーカに基づいて所定の測定用の仮想オブジェクトを当該処理対象画像に合成した結果得られる画像を、処理対象合成画像として出力する合成出力手段と、
前記処理対象合成画像において、前記仮想オブジェクトが前記被測定物にフィットしていない場合にフィッティングするフィッティング手段と、
前記被測定物にフィッティングされた前記仮想オブジェクトに基づいて、前記被測定物の体積情報を生成して出力する体積出力手段と、
を備え、
前記撮像情報取得手段、前記合成出力手段、及び前記フィッティング手段は、前記複数の画像のうち、少なくとも2以上の画像について夫々の処理を実行し、
前記体積出力手段は、前記少なくとも2以上の画像についての前記夫々の処理の結果として得られた前記仮想オブジェクトに基づいて、前記被測定物の体積情報を生成して出力する、
情報処理装置。
【請求項2】
前記フィッティング手段は、ユーザからの所定の操作に基づいて、前記処理対象合成画像において、前記仮想オブジェクトを前記被測定物にフィットさせる、
請求項1に記載の情報処理装置。
【請求項3】
前記フィッティング手段は、前記処理対象合成画像において、前記被測定物の所定部位を1以上抽出し、1以上の当該所定部位に基づいて、前記仮想オブジェクトを前記被測定物にフィットさせる、
請求項1に記載の情報処理装置。
【請求項4】
前記撮像情報取得手段、前記合成出力手段、及び前記フィッティング手段に対して、前記複数の画像のうち、少なくとも2以上の画像について夫々の処理を繰り返し実行させる制御を実行する繰り返し手段をさらに備え、
前記体積出力手段は、繰り返しの最終回の前記処理の結果得られた前記仮想オブジェクトに基づいて、前記被測定物の体積情報を生成して出力する、
請求項1に記載の情報処理装置。
【請求項5】
前記体積出力手段は、さらに、前記フィッティング手段の繰り返しの前記処理毎に、前記被測定物の体積情報を生成し、
前記繰り返し手段は、今回と前回の体積情報との差分が閾値を超えている場合には、次回の繰り返しの前記処理を実行させ、前記差分が前記閾値以下となった場合には、前記今回を前記最終回として、当該最終回の前記体積情報を出力させる制御を実行する、
請求項4に記載の情報処理装置。
【請求項6】
情報処理装置が実行する情報処理方法において、
異なる複数の撮像ポイントの夫々において被測定物が被写体として夫々撮像された結果得られる複数の画像のうち、所定撮像ポイントの画像を処理対象画像として取得すると共に、当該所定撮像ポイントに関する情報を取得する撮像情報取得ステップと、
前記処理対象画像において、拡張現実手段により所定の領域をマーカとして認識して、当該マーカに基づいて所定の測定用の仮想オブジェクトを当該処理対象画像に合成した結果得られる画像を、処理対象合成画像として出力する合成出力ステップと、
前記処理対象合成画像において、前記仮想オブジェクトが前記被測定物にフィットしていない場合にフィッティングするフィッティングステップと、
前記被測定物にフィッティングされた前記仮想オブジェクトに基づいて、前記被測定物の体積情報を生成して出力する体積出力ステップと、
を含み、
前記情報処理装置は、
前記撮像情報取得ステップ、前記合成出力ステップ、及び前記フィッティングステップの処理として、前記複数の画像のうち、少なくとも2以上の画像について夫々実行し、
前記体積出力ステップの処理として、前記少なくとも2以上の画像についての前記夫々の処理の結果として得られた前記仮想オブジェクトに基づいて、前記被測定物の体積情報を生成して出力する処理を実行させる、
情報処理方法。
【請求項7】
コンピュータに、
異なる複数の撮像ポイントの夫々において被測定物が被写体として夫々撮像された結果得られる複数の画像のうち、所定撮像ポイントの画像を処理対象画像として取得すると共に、当該所定撮像ポイントに関する情報を取得する撮像情報取得ステップと、
前記処理対象画像において、拡張現実手段により所定の領域をマーカとして認識して、当該マーカに基づいて所定の測定用の仮想オブジェクトを当該処理対象画像に合成した結果得られる画像を、処理対象合成画像として出力する合成出力ステップと、
前記処理対象合成画像において、前記仮想オブジェクトが前記被測定物にフィットしていない場合にフィッティングするフィッティングステップと、
前記被測定物にフィッティングされた前記仮想オブジェクトに基づいて、前記被測定物の体積情報を生成して出力する体積出力ステップと、
を含む制御処理を実行させ、
前記撮像情報取得ステップ、前記合成出力ステップ、及び前記フィッティングステップの処理として、前記複数の画像のうち、少なくとも2以上の画像について夫々実行させ、
前記体積出力ステップの処理として、前記少なくとも2以上の画像についての前記夫々の処理の結果として得られた前記仮想オブジェクトに基づいて、前記被測定物の体積情報を生成して出力する処理を実行させる、
プログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来から、撮像した被測定物の画像に、直方体形状の測定用仮想オブジェクトを合成して出力し、画面上でフィッティングすることにより被測定物の寸法を測定するシステムが知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第6821222号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、所定の方向から被測定物を撮像した画像に撮像されていない部位があった場合でも体積を測定できる仕組みは提案されていない。
【0005】
本発明は、このような状況に鑑みてなされたものであり、光学的に取得した被測定物の画像から被測定物の体積を測定することができるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理装置は、
異なる複数の撮像ポイントの夫々において被測定物が被写体として夫々撮像された結果得られる複数の画像のうち、所定撮像ポイントの画像を処理対象画像として取得すると共に、当該所定撮像ポイントに関する情報を取得する撮像情報取得手段と、
前記処理対象画像において、拡張現実手段により所定の領域をマーカとして認識して、当該マーカに基づいて所定の測定用の仮想オブジェクトを当該処理対象画像に合成した結果得られる画像を、処理対象合成画像として出力する合成出力手段と、
前記処理対象合成画像において、前記仮想オブジェクトが前記被測定物にフィットしていない場合にフィッティングするフィッティング手段と、
前記被測定物にフィッティングされた前記仮想オブジェクトに基づいて、前記被測定物の体積情報を生成して出力する体積出力手段と、
を備え、
前記撮像情報取得手段、前記合成出力手段、及び前記フィッティング手段は、前記複数の画像のうち、少なくとも2以上の画像について夫々の処理を実行し、
前記体積出力手段は、前記少なくとも2以上の画像についての前記夫々の処理の結果として得られた前記仮想オブジェクトに基づいて、前記被測定物の体積情報を生成して出力する。
【0007】
本発明の一態様の情報処理方法及びプログラムの夫々は、本発明の一態様の情報処理装置に対応する方法及びプログラムの夫々である。
【発明の効果】
【0008】
本発明によれば、光学的に取得した被測定物の画像から被測定物の体積を測定することができる。
【図面の簡単な説明】
【0009】
図1】本発明の情報処理装置の一実施形態に係るサーバが適用される情報処理システムの構成の一例を示す図である。
図2図1の情報処理システムのうち、本発明の情報処理装置の一実施形態に係るサーバのハードウェア構成の一例を示すブロック図である。
図3図2のサーバの機能的構成の一例を示すブロック図である。
図4図3のサーバにより実行される被測定対象物の体積計測処理の一例を説明するフローチャートを示している。
図5図3のサーバにより実行される被測定対象物の体積計測処理の際のアプリ画面の一例を示す図である。
図6図3のサーバにより実行される被測定対象物の体積計測処理の際のアプリ画面の一例を示す図である。
図7図3のサーバにより実行される被測定対象物の体積計測処理の際のアプリ画面の一例を示す図である。
図8図3のサーバにより実行される被測定対象物の体積計測処理の際のアプリ画面の一例を示す図である。
図9図3のサーバにより実行される被測定対象物の体積計測処理の際のアプリ画面の一例を示す図である。
図10図3のサーバを含む情報処理システムにより実現されるビジネスモデルの一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、図面を用いて説明する。
図1は、本発明の情報処理装置の一実施形態に係るサーバが適用される情報処理システムの構成の一例を示す図である。
【0011】
図1に示す情報処理システムは、サーバ1と、ユーザ端末2とを含むように構成されている。
サーバ1及びユーザ端末2は、インターネット等の所定のネットワークを介して相互に通信可能に接続されている。
サーバ1は、サービス提供者により管理されるサーバコンピュータ等の情報処理装置である。サーバ1は、企業から排出される不燃ゴミ等の廃棄物や不用品が積載されるトラックやその荷台等の被測定対象物の体積を計測することを支援する。
【0012】
具体的には、サーバ1は、被写体としてのトラックの背面画像、側面画像等を処理対象画像として取得すると共に、当該トラックを撮像した撮像位置の座標、加速度、方向を画像と共に取得する。
サーバ1は、ユーザ端末2において、カメラでトラックの写真が撮像される際に、トラックの背面画像、側面画像等において仮想現実処理(AR処理)により表示中の画像内の空間(立体形状)を認識し、画像内の地面の領域をマーカとして認識して、当該マーカに基づいて測定用の仮想オブジェクト(例えば矩形オブジェクト等)を当該処理対象画像に合成した結果得られる処理対象合成画像を出力する。
そして、サーバ1は、処理対象合成画像において、トラックの画像に仮想オブジェクトがフィットしていない場合にフィッティングする。
サーバ1は、フィッティングの結果、トラックの画像にフィッティングされた仮想オブジェクトに基づいて、トラックの荷台の体積を生成してユーザ端末2へ出力する。
すなわち、サーバ1は、ユーザ端末2により撮像された計測対象、例えばトラック等の画像から、トラックの体積情報(例えばトラックの荷台の体積等)を生成してユーザ端末2へ出力する。
なお、被測定物を撮像する端末と被測定物の体積情報を出力する端末とは必ずしも同じである必要はなく、別の端末であってもよい。
【0013】
ユーザ端末2は、上記不用品を排出する企業の担当者等のユーザにより操作される、パーソナルコンピュータ、タブレット、スマートフォン等で構成される情報処理端末である。
ユーザ端末2が、例えばスマートフォンの場合、ユーザ端末2には、スマートフォン用のアプリケーションプログラム(以下「アプリ」と称す)がインストールされている。
なお、企業は、サーバ1を管理するサービス提供者からすると、顧客と言える。
【0014】
図2は、図1に示す情報処理システムのうちサーバのハードウェア構成の一例を示すブロック図である。
【0015】
サーバ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、入力部16と、出力部17と、記憶部18と、通信部19と、ドライブ20とを備えている。
【0016】
CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0017】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、入力部16、出力部17、記憶部18、通信部19及びドライブ20が接続されている。
【0018】
入力部16は、例えばキーボード等により構成され、各種情報を入力する。
出力部17は、液晶等のディスプレイやスピーカ等により構成され、各種情報を画像や音声として出力する。
記憶部18は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、インターネットを含むネットワークNWを介して他の装置(例えばユーザ端末2等)との間で通信を行う。
【0019】
ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア30が適宜装着される。ドライブ20によってリムーバブルメディア30から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。
また、リムーバブルメディア30は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
【0020】
このような図2のサーバ1の各種ハードウェアと各種ソフトウェアとの協働により、各種処理の実行が可能になる。
以下、図3を参照して、本実施形態のサーバ1がこのような各種処理を実行するための機能的構成について説明する。
図3は、図3のサーバの機能的構成の一例を示すブロック図である。
【0021】
図3に示すように、サーバ1のCPU11においては、撮像情報取得部51と、合成出力部52と、合成確認部53と、フィッティング部54と、体積出力部55と、繰り返し部56とが機能する。
また、サーバ1の記憶部18には、データベース71(以下「DB71」と称す)が記憶されている。
【0022】
DB71には、ユーザ端末2から取得される2以上の撮像画像、及び撮像画像の夫々が撮像された撮像ポイントに関する情報(撮像位置の座標、加速度、方向等)が記憶される。
DB71には、処理対象画像と仮想現実空間上に配置可能な立体オブジェクト(以下「仮想オブジェクト」と称す)とがフィットしているか否かを判定するための閾値(面積差の許容値等)が記憶されている。
なお、フィッティング判定や仮想オブジェクトのフィッティングをAIにより実行させることができる。この場合、フィッティング用のAIモデルが合成確認部53とフィッティング部54として機能する。AIモデルは、DB71に記憶されてもよく、CPUの1機能として実装されてもよい。
DB71には、取得された撮像情報と、体積出力部55により生成される体積情報が記憶される。
撮像情報は、写真の画像データと、画像データの属性情報である。属性情報には、写真の撮像ポイントに関する情報が含まれる。撮像ポイントに関する情報には、写真を撮影した撮像ポイントの撮像位置の座標、加速度、方向と、画像内を空間認識して得られたマーカ(地面の領域)やマーカからの凹凸を示す3次元情報等が含まれる。
体積情報は、計測された被測定対象物(トラック等)の識別情報(名称やナンバー等)と、既定のオブジェクトと、既定のオブジェクトの属性情報(サイズ(縦、横、高さ等)や体積(XX立方メートル)等)と、フィッティング後のオブジェクトとその属性情報(サイズや体積等)とが対応した情報である。なお、被写体の体積を簡易的に計測し提示するだけであれば、計測した体積を一時的に記憶部に記憶するだけでもよい。
【0023】
撮像情報取得部51は、異なる複数の撮像位置の夫々において被測定物のトラックが被写体として夫々撮像された結果得られるトラックの背面画像、側面画像、斜め後ろからの画像のうち、トラックの背面画像、側面画像等を処理対象画像として取得すると共に、当該所定撮像ポイントに関する撮像位置の座標、加速度、方向を取得する。
【0024】
合成出力部52は、Augmented Reality処理部61(以下「AR処理部61」と称す)を有する。AR処理部61は、写真撮影の際に表示中の画像内を空間認識してマーカ(地面の領域)を検出し、マーカからの凹凸を示す3次元情報を生成し画像データと対応付ける。合成出力部52は、撮像情報からマーカを読み出し、当該マーカに基づいて、仮想オブジェクトを処理対象画像(トラックやその荷台等)に重ねる合成処理(AR処理)を実行する。
即ち、合成出力部52は、処理対象画像においてAR処理部61により画像内の地面の領域をマーカとして認識して、当該マーカに基づいて測定用の矩形の仮想オブジェクトを当該処理対象画像に合成した結果得られる処理対象合成画像を出力する。
【0025】
合成確認部53は、処理対象合成画像において、例えば直方体オブジェクト等の仮想オブジェクトがトラックにフィットしているか否かを判定する。
具体的には、合成確認部53は、トラックの画像と直方体オブジェクトとを一方向から投影した場合の面積差が予めDB71に記憶されている閾値以下であればフィットしていると判定し、閾値を超えていればフィットしていないと判定する。
【0026】
フィッティング部54は、処理対象合成画像において、仮想オブジェクトがトラックの画像にフィットしていない場合にフィッティングする。
なお、フィッティングとは、処理対象合成画像における所定領域(トラックの領域の画像やその一部の荷台や荷台に積載されている物品の領域の画像等)に対して、仮想オブジェクトの向きや縮尺を変えて仮想オブジェクトを近似させる処理をいう。
具体的には、フィッティング部54は、合成確認部53によりフィットしていないと判定された仮想オブジェクトに対するユーザからの所定の操作(例えば移動、拡大、回転、横幅、縦幅、奥行、移動等の調整操作等)に基づいて、直方体オブジェクトの形状を変化させてトラックの部位にフィットさせる。
【0027】
なお、ユーザからの操作以外に、合成確認部53とフィッティング部54を、例えばフィッティングAI等にすることで、直方体オブジェクトの形状を自動的に変化させてフィッティングすることができる。
この場合、フィッティング部54は、処理対象合成画像において、トラックの画像の所定部位(例えば多角形の頂点等)を1以上抽出し、1以上の多角形の頂点に基づいて、直方体オブジェクトをトラックの画像にフィットさせる。
【0028】
繰り返し部56は、撮像情報取得部51、合成出力部52、フィッティング部54に対して、複数の画像のうち、少なくとも2以上の画像について夫々の処理を繰り返し実行させる制御を実行する。なお、繰り返し部56の制御対象に合成確認部53を含めてもよい。
これにより、上記撮像情報取得部51、合成出力部52、及びフィッティング部54は、複数の画像のうち、少なくとも2以上の画像について夫々の処理を実行する。
【0029】
体積出力部55は、トラックの画像にフィッティングされた仮想オブジェクトに基づいて、トラックの荷台(荷台から露出した物品を含む)の体積を生成して出力する。
具体的には、体積出力部55は、少なくとも2以上の画像についての夫々の処理の結果として得られた、立方体のオブジェクトをフィッティングさせた形状のオブジェクト(加工オブジェクト)に基づいて、トラックやその荷台に積載されている廃棄物な゛戸の日測定対象物の体積情報を生成して出力する。
例えば基準の立方体のオブジェクトの属性情報(サイズ)から加工オブジェクトに変化したサイズの変化量に応じて体積情報を算出することができる。
体積出力部55は、繰り返しの最終回の処理の結果得られた仮想オブジェクト(フィッティング後のオブジェクト)に基づいて、トラックの体積情報を生成して出力する。
さらに、体積出力部55は、フィッティング部54の繰り返しの処理毎に、トラックの体積情報を生成する。
【0030】
なお、体積情報は、ユーザ端末2に出力するだけでなく、DB71に記憶してもよく、DB71に被測定物固有の識別情報(例えばトラックのナンバー等)と共に体積情報を記憶しておくことで、被測定対象物が過去に測定した被測定物として認識された場合又は指定された場合に、DB71の体積情報を再利用することができる。
【0031】
以下、図4のフローチャートを参照して被測定対象物の体積計測処理の詳細動作を説明する。
図4は、図3のサーバにより実行される被測定対象物の体積計測処理の一例を説明するフローチャートを示している。
【0032】
ステップS11において、撮像情報取得部51は、異なる複数の撮像ポイントの夫々においてトラックが被写体として夫々撮像された結果得られる複数の画像のうち、所定撮像ポイントの画像を処理対象画像として取得すると共に、当該所定撮像ポイントに関する情報を取得する。取得後、処理はステップS12に進む。
【0033】
ステップS12において、合成出力部52は、処理対象画像において、AR処理部61により例えば画像内の地面の領域をマーカとして認識して、当該マーカに基づいて直方体オブジェクト等の仮想オブジェクトを当該処理対象画像に合成した結果得られる画像を、処理対象合成画像として出力する。その後、処理はステップS13に進む。
【0034】
ここで、ステップS13において、合成確認部53は、処理対象合成画像に含まれるトラックの画像と直方体オブジェクトとを一方向から投影した場合の面積差が予めDB71に記憶されている閾値以下であればフィットしていると判定し(ステップS13のYes)、閾値を超えていればフィットしていないと判定する(ステップS13のNo)。
直方体オブジェクトがフィットしていないと判定した場合、処理はステップS14に進む。
【0035】
処理対象合成画像に含まれる被測定対象物(トラックの画像等)に、直方体オブジェクトがフィットしていない場合に、ステップS14において、フィッティング部54は、直方体オブジェクトの向きや大きさを変化(移動及び伸縮)させてフィッティングする。
【0036】
トラックの画像に、直方体オブジェクト又は変形させたオブジェクト(以下これを「加工オブジェクト」と称す)がフィットすると、次のステップS15において、繰り返し部56は、2以上の処理対象合成画像について、上記画像処理をいくつの画像に実行したか否かを判定し、1つの画像のみであれば、上記ステップS11乃至S14の夫々の処理を各部に繰り返させる。
【0037】
そして、2以上の処理対象合成画像について、上記処理が実行されると、ステップS16において、体積出力部55は、2以上の処理対象合成画像についてフィッティングされた複数の加工オブジェクトに基づいて、トラックやトラックの荷台に積まれている廃棄物の体積情報を生成して出力する処理を実行する。
具体的には、体積出力部55は、異なる方向からフィッティングした複数の加工オブジェクトを組み合わせて立体(トラック又はその荷台に積まれている廃棄物とほぼ同等の外形模型)を形成し、DB71に記憶されている既知の立方体オブジェクトのサイズから当該立体の体積を算出する。
体積出力部55は、立体のデータと、算出した体積と、トラックの画像とを対応させて体積情報としてDB71に記憶すると共に、その体積情報をユーザ端末2へ出力する。
これにより、ユーザ端末2のアプリ画面に、トラック又はその荷台に積まれている廃棄物の体積が表示される。
【0038】
以下、図5乃至図9を参照して、ユーザ端末のアプリによる体積の計測手順を説明する。
図5乃至図9は、図3のサーバにより実行される被測定対象物の体積計測処理の際のアプリ画面の一例を示す図である。
以下に説明する事例は、例えば不用品回収用のトラックの荷台の体積を計測する事例である。
【0039】
この場合、事前操作として、被測定対象物であるトラックの画像を複数枚サーバ1へアップロードしておくものとする。
具体的には、ユーザの操作によりユーザ端末2のアプリを起動すると、ユーザ端末2にアプリ画面(図示せず)が表示される。
ユーザ端末2に表示されたアプリ画面において、新規作成のボタンをクリック操作すると、新規作成画面が表示される。そして、新規作成画面の写真の追加ボタンをタップすると、カメラ機能が起動して撮像画面が表示される。
【0040】
ユーザは、被測定対象物であるトラックを被写体としてユーザ端末2の撮像画面に表示させて、アングルや撮像位置を変えて、シャッターボタンをタップして、複数枚の写真(画像)を連続して撮像することで、ユーザ端末2によって撮像された画像は、サーバ1へアップロードされて、サーバ1のDB71に記憶される。
【0041】
トラックの荷台の体積を計測する場合、図5(A)に示すように、ユーザ端末2には、アプリにより案件詳細画面101が表示される。
この案件詳細画面101には、案件番号(例えば「案件番号XX」)と、回収地点の情報(住所等)と、回収条件詳細と、回収費用合計額等の各項目と、被測定対象物(トラック)の写真の表示エリア102と、不用品の種類と、体積、個数等の情報設定欄とが設けられている。
【0042】
ユーザは、この案件詳細画面101の各項目に情報を入力した後、表示エリア102をタップ(操作)すると、図5(B)に示す写真詳細画面103が表示される。
写真詳細画面103には、事前に連続して撮像されたトラックの写真(又は写真のリスト)が縦方向に表示される。
表示された写真の中からユーザにより所望のトラックの写真がタップされると、図5(C)の体積測定画面104が表示される。
体積測定画面104には、タップされたトラックの写真が横幅いっぱいに表示される他、合計体積の表示欄と、オブジェクト追加ボタン105が表示される。
ユーザによりオブジェクト追加ボタン105がタップされると、図6(A)に示すように、オブジェクト選択画面106が体積測定画面104の上に重畳して表示される。
【0043】
オブジェクト選択画面106には、例えば立方体、円柱、三角錐、円錐等の仮想オブジェクト名のリストが選択可能に表示される。
この中から、所望の仮想オブジェクト名(例えば立方体等)がタップされると、図6(B)に示すように、オブジェクト名称設定画面107が体積測定画面104の上に重畳して表示される。
【0044】
オブジェクト名称設定画面107には、配置する仮想オブジェクトに名称を設定するために入力欄108と、「キャンセル」ボタン109と、「OK」ボタン110とが配置されている。
「キャンセル」ボタン109をタップすると、前の画面に遷移する。
また、入力欄108にオブジェクト名を入力した後、「OK」ボタン110をタップすると、選択されたオブジェクトに名称が設定されると共に、図6(C)に示すように、オブジェクト調整画面111が表示される。
【0045】
オブジェクト調整画面111には、上部に体積表示欄112と、中央部に写真の表示エリア113と、下部に操作モード指定エリア114と、が配置されている。
上部に体積表示欄112には、立方体のオブジェクトの合計体積と、トラック荷台の体積とが表示される。なお、立方体のオブジェクトに対してトラック荷台の体積が同じであれば、夫々の体積は、同じ数値となる。初期値は、同じ数値となっている。
中央部の表示エリア113には、選択されたオブジェクト、例えば立方体のオブジェクト115が、写真に重畳させて表示される。オブジェクト115の基本サイズは、所定の体積(例えば28.2m等)である。
下部に操作モード指定エリア114には、「横幅」、「縦幅」、「奥行き」の各操作モードをそれぞれ指定するための指定ボタンと、「縦移動」、「横移動」、「回転」の各操作モードを指定するための指定ボタンと、ごみ箱、追加ボタン(+)が配置されている。
「横幅」、「縦幅」、「奥行き」の各操作モードには、夫々増加ボタンと減少ボタンが設けられている。
オブジェクト115の初期表示位置は、画面中央のため、写真の不要品が積まれた荷台と離れた位置及びサイズである場合が多い。このため、オブジェクト115を移動及びサイズ変更して荷台に合わせる必要がある。
【0046】
以下、図7乃至図9を参照して、ステップS1乃至S7の順に、アプリ画面によるオブジェクトのフィッティング手順を説明する。
まず、ステップS1では、オブジェクトの位置を不要品が積まれた荷台の位置に合わせる。
この場合、図6(C)の操作モード指定エリア114の操作モードを「横幅」又は「縦幅」に夫々切り替えた上で、オブジェクト115を操作して縮小し、図7(A)のように、縮小されたオブジェクト116とする。
さらに、指定ボタン117で「横移動」を設定して、オブジェクト116を横に移動させてオブジェクト116を荷台の位置に合わせる。オブジェクト116は、0.1mまで縮小可能である。
【0047】
ステップS2では、オブジェクトの縦幅を不要品が積まれた荷台の縦幅に合わせる。
この場合、図7(B)に示すように、操作モード118の「縦幅」を指定し、オブジェクト116の縦幅を広げて、トラックの荷台に積まれた不要品の高さに合わせるように調整し、縦に長いオブジェクト119とする。
【0048】
ステップS3では、オブジェクトを不用品の角に合わせる。
この場合、図7(B)の表示エリア113の「次の画像」のボタン120をタップすることで、アングルの異なる次の写真が読み出されて、図7(C)に示すように、表示エリア113に新たな写真が表示されるので、操作モード121を切り替えて、「縦移動」、「横移動」、「回転」を設定してオブジェクト122の向きを変えることにより、その写真におけるオブジェクト122のカメラの視点を調整する。
カメラの視点を調整後、操作モード121を「横移動」に設定し、視点を変えたオブジェクト122の位置を、不用品を含むトラックの右後方の角と重なるように調整する。以降、この合わせた角を基準として微調整を行う。
【0049】
ステップS4では、オブジェクトの横幅を不要品が積まれた荷台の横幅に合わせる。
この場合、図7(C)のオブジェクト調整画面111の「前の画像」のボタン123、「次の画像」のボタン120をタップして、図8(A)に示すように、アングルの異なる写真(この例ではトラックの背面写真)を表示エリア113に表示させて、操作モード121を切り替えて、「縦移動」、「横移動」、「回転」の設定とオブジェクト122の操作によりオブジェクト122の角度(アングル)を調整して、その写真におけるオブジェクト122のカメラの視点を調整する。
その後、横幅増加ボタン124を操作して、図7(C)のオブジェクト122の横幅を広げてゆき、不要品が積まれた荷台の横幅に合わせる。
次に、操作モード121を「横移動」に切り替えて、横幅を広げたオブジェクト122の位置を左右に移動して、不要品が積まれた荷台(写真では荷台背面)と重なるように調整することで、図8(A)のようなオブジェクト125になる。
【0050】
ステップS5では、オブジェクトの奥行きを不要品が積まれた荷台の奥行きに合わせる。
この場合、図8(A)のオブジェクト調整画面111の「前の画像」のボタン123又は「次の画像」のボタン120をタップして、図8(B)に示すように、アングルの異なる写真(この例ではトラックの側面写真)を表示エリア113に表示させて、操作モード121を切り替えて、「縦移動」、「横移動」、「回転」の設定とオブジェクト126の操作によりオブジェクト126の角度(アングル)を調整して、写真におけるオブジェクト126のカメラの視点を調整することで、オブジェクト126と写真のトラックの角度を合わせる。
次に、奥行き増加ボタン127を操作して、図8(C)のオブジェクト126の奥行きを広げてゆき、オブジェクト126の奥行きを不要品が積まれた荷台の奥行きに合わせる。
そして、操作モード121を「横移動」に切り替えて、奥行きを広げたオブジェクト126を左右に移動して、オブジェクト126を不要品が積まれた荷台(写真では荷台側面)と重なるように調整する。
【0051】
ステップS6では、オブジェクトの縦位置を不要品が積まれた荷台の縦位置に合わせる。
この場合、図8(B)のオブジェクト調整画面111の「前の画像」のボタン123又は「次の画像」のボタン120をタップして、図8(C)に示すように、アングルの異なる写真(この例ではトラックの斜め後方写真)を表示エリア113に表示させて、操作モード121を切り替えて、「縦移動」、「横移動」、「回転」の設定とオブジェクト128の操作によりオブジェクト128の角度(アングル)を調整して、その写真におけるオブジェクト128のカメラの視点を調整することで、図8(C)のオブジェクト128とする。
次に、操作モード121を「縦移動」に切り替えて、角度(アングル)を調整したオブジェクト128を左右に移動して、オブジェクト128を不要品が積まれた荷台(写真では荷台を斜め右後方向から見た視点の画像)と重なるように調整する。
そして、縦幅減少ボタン129にて、オブジェクト128の縦幅を不要品が積まれた荷台の縦幅に合わせる。この時点で、オブジェクト調整画面111の合計体積の表示欄を確認したところ、不要品が積まれた荷台(不要品全体)の体積が8.8mである。
表示エリア113のオブジェクト128と写真の不要品が積まれた荷台(不要品全体)との重なり具合を見ると、不要品全体の領域よりもオブジェクト128の方が若干大きいことが分かる。
【0052】
そこで、次のステップS7では、オブジェクトを微調整する。
この場合、オブジェクト調整画面111の「前の画像」のボタン123又は「次の画像」のボタン120をタップして、アングルの異なる写真(この例ではトラックの斜め後方写真のうちの他の写真)を表示エリア113に表示させて、操作モード指定エリア130の「横幅拡大ボタン」、「横幅減少ボタン」、「縦幅拡大ボタン」、「縦幅減少ボタン」、「奥行き拡大ボタン」、「奥行き縮小ボタン」をそれぞれ指定しつつオブジェクト128の形状を微調整することにより、図9のオブジェクト131とする。
この微調整の結果、不要品が積まれた荷台(不要品全体)と近似したオブジェクト131の最終的な体積は、8.0mとなった。
【0053】
次に、図10を参照して廃棄物回収のビジネスモデルを説明する。
図10は、図3のサーバを含む情報処理システムにより実現されるビジネスモデルの一例を示す図である。
【0054】
図10に示すように、廃棄物回収のビジネスモデルは、例えば顧客(不燃ゴミや不用品等の廃棄物を排出する企業等)と、廃棄物を運搬する運搬業者と、本サービスを提供する管理者が管理するサーバ1により公開される管理サイトと、ユーザ端末2にインストールさたアプリ(撮影アプリ及び計測アプリ)と、サーバ1により動作する体積計測に関する機能的構成(図3参照)との間で実現される。
【0055】
図10に示すビジネスモデルでは、ステップS21において、顧客で案件が発生すると、顧客は、ユーザ端末2を操作し、サーバ1により会員に公開されている管理サイトにアクセスすると、ログイン画面が表示される。
【0056】
ログイン画面では、ステップS22において、既存の顧客か否かをチェックし、既存の顧客の場合は、マイページに遷移する。また、既存の顧客ではない場合は、ステップS23において、新規に顧客の情報をサーバ1に登録する。
具体的には、顧客がログイン画面にユーザIDとパスワードを入力し、サーバ1に保持されているユーザ情報と一致すると、既存の顧客として、顧客のマイページへ遷移する。
【0057】
一方、ログイン画面に入力されたユーザIDとパスワードがサーバ1に保持されているユーザ情報と不一致、又は新規登録のボタン操作があると、サーバ1は、新規顧客と判定して、登録画面に遷移し、登録画面に顧客により入力された顧客の情報を新規の会員ユーザとしてDB71に登録し、新たにユーザIDとパスワードを発行する。
【0058】
ステップS22において、既存の顧客(会員ユーザ)であれば、顧客のユーザ端末2にマイページが表示される。
【0059】
ここで、ステップS24において、サーバ1は、会員ユーザが案件を登録するか否かを問い合わせて、案件を新たに登録する場合は、ユーザ端末2の撮影アプリを起動して、ステップS25において、顧客に撮影アプリで案件を登録させる。
また、顧客が案件を登録しないのであれば、ステップS26において、業者が管理サイトから案件をサーバ1のDB71に登録する。
【0060】
ステップS27において、管理サイトは、顧客及び案件を管理する。具体的には、管理サイトは、顧客や業者等の会員ユーザがアップロードしてきた画像データを案件情報に対応付けてDB71に記憶すると共に、ステップS28において、DB71から案件情報を読み出してステータス(案件進捗)を確認する。
【0061】
例えば、ある案件において、ステップS29において、ユーザ端末2の撮影アプリにより撮影又は再撮影された不燃ゴミ等の廃棄物を含むトラックの撮像情報がサーバ1の管理サイトにアップロードされる。
【0062】
ステップS30において、ユーザ端末2の計測アプリは、サーバ1の管理サイトにアップロードされた撮像情報に基づいて廃棄物の体積を計測する。
ステップS31において、ステップS30の体積計測の結果として得られる体積データが正常か否かを判定し、体積データが正常であれば、DB71に記憶する。
【0063】
また、ステップS31における判定結果が、データNGの場合は、ステップS32において、計測アプリは、画像の再撮影を依頼、つまり撮像情報の再取得を管理サイトに依頼する。
【0064】
再撮影の依頼を受けた管理サイトは、ステップS33において、撮影アプリに対して再撮影を依頼する。撮影アプリは、再撮影の依頼に対して、再撮影したトラックの画像を管理サイトにアップロードする。
【0065】
顧客が管理サイトにアクセスし、廃棄物回収の見積もりを依頼された場合、運搬業者に対して見積もりを依頼する。
この見積もり依頼に対して、ステップS34において、運搬業者が管理サイトに見積情報をアップロードすると、サーバ1は、見積情報をDB71に記憶し、DB71の情報を更新する。
運搬業者からの見積もりがあると、サーバ1は、ステップS35において、DB71から見積内容(見積情報)を読み出して、ステップS36において、当該見積内容(見積情報)を見積もり依頼元の顧客のユーザ端末2又はマイページに提示する。
ステップS37において、顧客は、提示された見積内容(見積情報)がOKか否かを判断する。
判断の結果、見積内容(見積情報)がOKでなければ(ステップS37のNo)、顧客は、ユーザ端末2の操作により、見積内容を認めることができない旨を管理サイト又はマイページに返答する。この返答を受け付けたサーバ1は、ステップS38において、搬送業者の見積に対して不成立処理を実行する。
また、判断の結果、見積内容(見積情報)がOKであれば(ステップS37のYes)、ステップS39において、顧客は、ユーザ端末2の操作により、管理サイト又はマイページにおいて廃棄物の回収を依頼する。
この依頼を受け付けたサーバ1は、ステップS40において、搬送業者の見積もりの成立処理を実行する。具体的な成立処理は、顧客の廃棄物の回収を搬送業者へ依頼する処理である。
【0066】
以上説明したように、本実施形態のビジネスモデルによれば、スマートフォンでの撮影によって廃棄物の体積を測り、見積もりまで人を介さずにスマートフォン1台で実現することができる。
また、顧客と搬送業者間のやり取りを管理サイト及びユーザ端末2のアプリにより仲介することで、見積もりから廃棄物の回収に繋がる一連のやり取りをスムーズに進めることができる。
【0067】
本実施形態では、図5乃至図9において、ユーザ端末2のアプリ画面の遷移について順を追って説明したが、ユーザへの体積の提示の形態は、特に限定されない。
【0068】
上記実施形態では、仮想オブジェクトの一例として、直方体のオブジェクトを例にして説明したが、これに限らず、多面体や円柱、円錐、球等、パラメータが既知のあらゆる立体オブジェクトが使用可能である。
【0069】
上記実施形態では、手作業によるフィッティング及び体積計測の動作について説明したが、自動処理部を設けて、フィッティングを自動的に実行するようにしてもよい。
この場合、自動処理部は、1枚目の画像撮像について、地面/床面検出、仮想オブジェクト描出、特徴点抽出、フィッティングという処理を実行し、次に、2枚目の画像撮像、地面/床面検出を実行し、その後、1枚目の画像でフィッティング済みの仮想オブジェクト(加工オブジェクト)を抽出し、当該加工オブジェクトと2枚目の画像でフィッティング済みの仮想オブジェクト(加工オブジェクト)とを組み合わせて、最終的に体積計測対象のオブジェクトを形成し、そのオブジェクトの体積を算出する、という処理を実行することで、自動的なフィッティングも可能となる。
【0070】
上記実施形態では、アングルが異なる2つの写真を順に利用してオブジェクトをフィッティングしつつ変形させて、最終的なオブジェクトとしたが、この他、例えば画像一枚毎にオブジェクトをフィッティングし、オブジェクトの面を近似させただけの簡易的な体積を複数算出し、面を合わせた複数のオブジェクトの夫々の体積にパラメータをかけて、最終的な形状のオブジェクトの体積を求めても良い。
【0071】
また、例えば初めに地面/床面を検出しておき、連続で写真を撮るときに、空間(SCENE)を共有してもよい。
つまり1枚目の画像においてフィッティング用のオブジェクトを配置した時点で、2枚目の画像(アングルが異なる画像)にも当該オブジェクトが表示されるようする。
そして、2枚目の画像に対してオブジェクトをフィッティングする際に奥行きを調整すれば、1枚目にもその調整した情報が反映されるようにする。
このようにすることで、前後2枚の画像を見比べて、トラックの荷台(不用品を含む)の形状とオブジェクトの形状とをより近似させるようなフィッティングをすることができる。
【0072】
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものとみなす。
【0073】
また、図1に示すシステム構成、図2に示すサーバ1のハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
【0074】
また、図3に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図3の例に限定されない。
【0075】
また、機能ブロックの存在場所も、図3に限定されず、任意でよい。
例えば、図3の例において、上述の処理はサーバ1側で行われる構成となっているが、これに限定されず、ユーザ端末2や、図示せぬ他の情報処理装置側で処理の少なくとも一部が行われてもよい。
【0076】
また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
また、1つの機能ブロック及びデータベースは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0077】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0078】
このようなプログラムを含む記録媒体は、装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態で提供される記録媒体等で構成される。
【0079】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0080】
以上まとめると、本発明が適用される情報処理システムは、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
【0081】
即ち、本発明が適用される情報処理装置(例えば図1乃至図3のサーバ1)は、
異なる複数の撮像ポイント(撮像者が撮像する位置等)の夫々において被測定物(例えばトラックやトラックの一部の荷台に積まれている廃棄物等)が被写体として夫々撮像された結果得られる複数の画像(例えばトラックの背面画像、側面画像、斜め後ろからの画像等)のうち、所定撮像ポイントの画像を処理対象画像として取得すると共に、当該所定撮像ポイントに関する情報(撮像位置の座標、加速度、方向等)を取得する撮像情報取得手段(例えば図3の撮像情報取得部51等)と、
前記処理対象画像において、拡張現実手段(例えば図3のAR処理部61等)により所定の領域(例えば画像内の地面の領域)をマーカとして認識して、当該マーカに基づいて所定の測定用の仮想オブジェクト(例えばサイズが既知の直方体オブジェクト等)を当該処理対象画像に合成した結果得られる画像を、処理対象合成画像として出力する合成出力手段(例えば図3の合成出力部52等)と、
前記処理対象合成画像において、前記仮想オブジェクト(例えば直方体オブジェクト等)が前記被測定物(例えばトラック等)にフィットしていない場合にフィッティングするフィッティング手段(例えば図3のフィッティング部54等)と、
前記被測定物(例えばトラックやトラックの一部の荷台に積まれている廃棄物等)にフィッティングされた前記仮想オブジェクト(例えば立方体オブジェクトをフィッティングさせた形状のオブジェクト等)に基づいて、前記被測定物(例えばトラックやトラックの一部の荷台に積まれている廃棄物等)の体積情報(例えばトラックの体積やその荷台に積まれている廃棄物の体積等)を生成して出力する体積出力手段(例えば図3の体積出力部55等)と、
を備え、
前記撮像情報取得手段(例えば図3の撮像情報取得部51等)、前記合成出力手段(例えば図3の合成出力部52等)、及び前記フィッティング手段(例えば図3のフィッティング部54等)は、前記複数の画像のうち、少なくとも2以上の画像について夫々の処理を実行し、
前記体積出力手段(例えば図3の体積出力部55等)は、前記少なくとも2以上の画像についての前記夫々の処理の結果として得られた前記仮想オブジェクト(例えば立方体オブジェクトをフィッティングさせた形状のオブジェクト等)に基づいて、前記被測定物(例えばトラック等)の体積情報を生成して出力する。
これにより、所定の方向から被測定物(例えばトラック等)を撮像した画像に撮像されていない部位があった場合でも、異なる撮像ポイントにおいて被測定物を撮像した複数の異なる画像(2以上の画像)に基づいて、被測定物(例えばトラック等)の体積を測定することができる。
【0082】
前記フィッティング手段(例えば図3のフィッティング部54等)は、ユーザからの所定の操作(例えば移動、拡大、回転、横幅、縦幅、奥行、移動等の調整操作等)に基づいて、前記処理対象合成画像において、前記仮想オブジェクト(例えば直方体オブジェクト等)を前記被測定物(例えばトラック等)にフィットさせる。
これにより、ユーザが自らの操作により仮想オブジェクト(例えば直方体オブジェクト等)を被測定物(例えばトラック等)に的確にフィットさせることができる。
【0083】
前記フィッティング手段(例えば図3のフィッティング部54等)は、前記処理対象合成画像において、前記被測定物(例えばトラック等)の所定部位(例えば多角形の頂点等)を1以上抽出し、1以上の当該所定部位(例えば多角形の頂点等)に基づいて、前記仮想オブジェクト(例えば直方体オブジェクト等)を前記被測定物(例えばトラック等)にフィットさせる。
これにより、ユーザの操作を要せず仮想オブジェクト(例えば多角形の頂点等)を被測定物(例えばトラック等)に自動的にフィットさせることができる。
【0084】
前記撮像情報取得手段、前記合成出力手段、及び前記フィッティング手段に対して、前記複数の画像のうち、少なくとも2以上の画像について夫々の処理を繰り返し実行させる制御を実行する繰り返し手段(例えば図3の繰り返し部56等)をさらに備え、
前記体積出力手段(例えば図3の体積出力部55等)は、繰り返しの最終回の前記処理の結果得られた前記仮想オブジェクト(例えば立方体オブジェクトをフィッティングさせた形状の加工オブジェクト等)に基づいて、前記被測定物(例えばトラック等)の体積情報を生成して出力する。
これにより、異なる複数の画像により、撮像されている被測定物(例えばトラック等)のすべての部位の画像を反映した高精度の体積情報を得ることができる。
【0085】
前記体積出力手段(例えば図3の体積出力部55等)は、さらに、前記フィッティング手段(例えば図3のフィッティング部54等)の繰り返しの前記処理毎に、前記被測定物(例えばトラック等)の体積情報を生成し、
前記繰り返し手段(例えば図3の繰り返し部56等)は、今回と前回の体積情報との差分が閾値を超えている場合には、次回の繰り返しの前記処理を実行させ、前記差分が前記閾値以下となった場合には、前記今回を前記最終回として、当該最終回の前記体積情報を出力させる制御を実行する。
これにより、ある程度の誤差範囲を見込んだうえで、仮想オブジェクト(例えば直方体オブジェクト等)を被測定物に高速にフィットさせることができる。
【0086】
情報処理方法は、情報処理装置が実行する情報処理方法であっては、
異なる複数の撮像ポイントの夫々において被測定物(例えばトラック等)が被写体として夫々撮像された結果得られる複数の画像のうち、所定撮像ポイントの画像を処理対象画像として取得すると共に、当該所定撮像ポイントに関する情報を取得する撮像情報取得ステップ(例えば図4の撮像情報取得ステップS11等)と、
前記処理対象画像において、拡張現実手段(例えば図3のAR処理部61等)により所定の領域(例えば画像内の地面の領域)をマーカとして認識して、当該マーカに基づいて所定の測定用の仮想オブジェクト(例えば直方体オブジェクト等)を当該処理対象画像に合成した結果得られる画像を、処理対象合成画像として出力する合成出力ステップ(例えば図4の合成出力ステップS12等)と、
前記処理対象合成画像において、前記仮想オブジェクト(例えば直方体オブジェクト等)が前記被測定物(例えばトラックやトラックの一部の荷台に積まれている廃棄物等)にフィットしていない場合にフィッティングするフィッティングステップ(例えば図4の体積出力ステップS14等)と、
前記被測定物(例えばトラックやトラックの一部の荷台に積まれている廃棄物等)にフィッティングされた前記仮想オブジェクト(例えば立方体オブジェクトをフィッティングさせた形状のオブジェクト等)に基づいて、前記被測定物(例えばトラックやトラックの一部の荷台に積まれている廃棄物等)の体積情報を生成して出力する体積出力ステップ(例えば図4の体積出力ステップS16等)と、
を含み、
前記情報処理装置(例えば図3のサーバ1等)は、
前記撮像情報取得ステップ、前記合成出力ステップ、及び前記フィッティングステップの処理として、前記複数の画像のうち、少なくとも2以上の画像について夫々実行し、
前記体積出力ステップ(例えば図4の体積出力ステップS16等)の処理として、前記少なくとも2以上の画像についての前記夫々の処理の結果として得られた前記仮想オブジェクト(例えば加工オブジェクト等)に基づいて、前記被測定物(例えばトラックやトラックの一部の荷台に積まれている廃棄物等)の体積情報を生成して出力する処理を実行させる。
これにより、所定の方向から被測定物(例えばトラック等)を撮像した画像に撮像されていない部位があった場合でも、異なる複数の撮像ポイントにおいて被測定物(例えばトラック等)を撮像した複数の画像に基づいて、光学的に取得した被測定物(例えばトラック等)を含む2次元画像(撮像画像等)から、被測定物(例えばトラックやその荷台に積まれている廃棄物等)の体積を測定することができる。
【0087】
プログラムは、コンピュータ(例えばサーバ1のCPU11等)に、
異なる複数の撮像ポイントの夫々において被測定物(例えばトラック等)が被写体として夫々撮像された結果得られる複数の画像のうち、所定撮像ポイントの画像を処理対象画像として取得すると共に、当該所定撮像ポイントに関する情報を取得する撮像情報取得ステップ(例えば図4の撮像情報取得ステップS11等)と、
前記処理対象画像において、拡張現実手段(例えば図3のAR処理部61等)により所定の領域(例えば画像内の地面の領域)をマーカとして認識して、当該マーカに基づいて所定の測定用の仮想オブジェクト(例えば直方体オブジェクト等)を当該処理対象画像に合成した結果得られる画像を、処理対象合成画像として出力する合成出力ステップ(例えば図4の合成出力ステップS12等)と、
前記処理対象合成画像において、前記仮想オブジェクト(例えば立方体オブジェクト)が前記被測定物(例えばトラック等)にフィットしていない場合にフィッティングするフィッティングステップ(例えば図4の体積出力ステップS14等)と、
前記被測定物にフィッティングされた前記仮想オブジェクト(例えば加工オブジェクト等)に基づいて、前記被測定物(例えばトラックやその荷台に積まれている廃棄物等)の体積情報を生成して出力する体積出力ステップ(例えば図4の体積出力ステップS16等)と、
を含む制御処理を実行させ、
前記撮像情報取得ステップ、前記合成出力ステップ、及び前記フィッティングステップの処理として、前記複数の画像のうち、少なくとも2以上の画像について夫々実行させ、
前記体積出力ステップ(例えば図4の体積出力ステップS16等)の処理として、前記少なくとも2以上の画像についての前記夫々の処理の結果として得られた前記仮想オブジェクト(例えば加工オブジェクト等)に基づいて、前記被測定物(例えばトラックやその荷台に積まれている廃棄物等)の体積情報を生成して出力する処理を実行させる。
これにより、所定の方向から被測定物(例えばトラック等)を撮像した画像に撮像されていない部位があった場合でも、複数の撮像ポイントにおいて被測定物(例えばトラック等)を撮像した複数の画像に基づいて、光学的に取得した被測定物(例えばトラック等)を含む2次元画像(撮像画像等)から、被測定物(例えばトラックやその荷台に積まれている廃棄物等)の体積を測定することができる。
【符号の説明】
【0088】
1・・・サーバ、2・・・ユーザ端末、11・・・CPU、18・・・記憶部、19・・・通信部、51・・・撮像情報取得部、52・・・合成出力部、53・・・合成確認部、54・・・フィッティング部、55・・・体積出力部、56・・・繰り返し部、61・・・AR処理部、71・・・データベース(DB)

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10