特開 2024-148135 薬品識別支援システム、薬品識別支援方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024148135

(43)【公開日】2024-10-17

(54)【発明の名称】薬品識別支援システム、薬品識別支援方法、及び、プログラム

(51)【国際特許分類】

   A61J 3/00 20060101AFI20241009BHJP

   G06T 7/10 20170101ALI20241009BHJP

   G06T 3/00 20240101ALI20241009BHJP

   G06T 1/00 20060101ALI20241009BHJP

   G06T 7/00 20170101ALI20241009BHJP

【ＦＩ】

A61J3/00 310K

G06T7/10

G06T3/00

G06T1/00 510

G06T7/00 610Z

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2024001003

(22)【出願日】2024-01-09

(31)【優先権主張番号】P 2023060876

(32)【優先日】2023-04-04

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】592246705

【氏名又は名称】株式会社湯山製作所

(74)【代理人】

【識別番号】100104444

【弁理士】

【氏名又は名称】上羽 秀敏

(74)【代理人】

【識別番号】100132506

【弁理士】

【氏名又は名称】山内 哲文

(72)【発明者】

【氏名】▲杉▼本 知大

(72)【発明者】

【氏名】家田 啓史

(72)【発明者】

【氏名】兒嶋 信紀

(72)【発明者】

【氏名】北村 直樹

【テーマコード（参考）】

4C047

5B057

5L096

【Ｆターム（参考）】

4C047CC15

4C047CC16

4C047KK03

4C047KK13

4C047KK15

4C047KK17

4C047KK28

4C047KK30

4C047KK32

5B057AA20

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CD12

5B057CE17

5B057DA08

5B057DA12

5B057DB02

5B057DB06

5B057DB09

5B057DC16

5B057DC40

5L096AA02

5L096AA06

5L096BA03

5L096BA18

5L096CA02

5L096DA01

5L096DA02

5L096EA33

5L096EA35

5L096FA06

5L096FA15

5L096FA19

5L096FA26

5L096FA66

5L096FA69

5L096GA10

5L096GA55

5L096HA11

(57)【要約】

【課題】様々な場所又は状況において、薬品の識別のための画像の取得及び管理を容易にする。
【解決手段】薬品識別支援システム１０は、個人の新規記録の指示入力をユーザから受け付け、固有データを生成して記憶部６に記録する個人記録部１と、識別対象の薬品の画像の入力を受け付け、記憶部６に記録する画像記録部２とを備える。画像記録部２は、個人の新規記録の後、新規記録された個人の薬品の画像の入力を受け付ける受付期間において入力された画像を、固有データに対応付けて記憶部６に記録する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザからの個人の新規記録の指示入力を受け付けた場合に、新規に記録する個人の固有データを生成し、記憶部に記録する個人記録部と、
識別対象の薬品の画像の入力を受け付け、前記画像を前記記憶部に記録する画像記録部と、を備え、
前記画像記録部は、前記個人の新規記録の後、新規記録された前記個人の薬品の画像の入力を受け付ける受付期間において入力された画像を、前記固有データに対応付けて前記記憶部に記録する、薬品識別支援システム。

【請求項2】

請求項１に記載の薬品識別支援システムであって、
ユーザからのグループの指示入力に基づいて、前記固有データに対応付けられた前記画像、又は、前記画像において識別された薬品が属するグループを決定し、決定したグループを示す情報を前記画像又は薬品と対応付けて前記記憶部に記録する、グループ決定部をさらに備える、薬品識別支援システム。

【請求項3】

請求項２に記載の薬品識別支援システムであって、
前記グループ決定部は、前記固有データに対応付けられた前記画像又は前記画像において識別された薬品のうち属するグループが未定である未グループの薬品を表示し、ユーザから前記未グループの薬品が属するべきグループを指定する入力を受け付ける、薬品識別支援システム。

【請求項4】

請求項１に記載の薬品識別支援システムであって、
前記画像記録部により記録された前記画像を、識別処理を実行する識別システムに提供し、前記識別システムから前記画像に含まれる薬品の識別結果を取得し、前記記憶部に記録する識別結果取得部をさらに備える、薬品識別支援システム。

【請求項5】

請求項４に記載の薬品識別支援システムであって、
前記識別結果取得部は、ユーザからの識別指示を契機として前記記憶部に記録された画像を前記識別システムに提供して識別結果を取得する、薬品識別支援システム。

【請求項6】

請求項１～５のいずれか１項に記載の薬品識別支援システムの前記画像記録部により記録される薬品の画像を撮影するために用いられる薬品載置台であって、
薬品を載置する載置面を有し、
前記載置面には互いに離間した複数のマーカが設けられ、前記複数のマーカの各々は、２以上の基準色の組み合わせを含む、薬品載置台。

【請求項7】

請求項４又は５に記載の薬品識別支援システムであって、
前記識別システムをさらに備え、
前記識別システムは、
２以上の基準色を含むマーカが複数設けられた載置面に載置された薬品の撮影画像を取得し、前記撮影画像に対して、前記複数のマーカの画像における位置に基づく台形補正、及び、前記複数のマーカそれぞれの基準色の組み合わせの画像における色に基づく色補正を施すことで補正画像を生成する補正部と、
前記補正画像から薬品領域を抽出する薬品領域抽出部と、
前記薬品領域の部分画像に基づき、前記薬品領域の薬品を識別する識別部とを含む、薬品識別支援システム。

【請求項8】

ユーザからの個人の新規記録の指示入力を受け付けた場合に、新規に記録する個人の固有データを生成し、記憶部に記録する個人記録処理と、
識別対象の薬品の画像の入力を受け付け、前記画像を前記記憶部に記録する画像記録処理と、をコンピュータに実行させ、
前記画像記録処理は、前記個人の新規記録の後、新規記録された前記個人の薬品の画像の入力を受け付ける受付期間において入力された画像を、前記固有データに対応付けて前記記憶部に記録する処理を含む、プログラム。

【請求項9】

ユーザからの個人の新規記録の指示入力を受け付けた場合に、新規に記録する個人の固有データを生成し、記憶部に記録する個人記録工程と、
識別対象の薬品の画像の入力を受け付け、前記画像を前記記憶部に記録する画像記録工程と、を有し、
前記画像記録工程は、前記個人の新規記録の後、新規記録された前記個人の薬品の画像の入力を受け付ける受付期間において入力された画像を、前記固有データに対応付けて前記記憶部に記録する工程を含む、コンピュータにより実行される薬品識別支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータシステムを用いて薬品の識別を支援する技術に関する。

【背景技術】

【0002】

国際公開第２０２２／１６３５０８号（特許文献１）には、薬剤識別装置が開示されている。薬剤識別装置は、識別対象薬剤の画像から薬剤の領域を検出し、薬剤の刻印及び／又は印字を抽出した刻印印字抽出画像を取得する。薬剤識別装置は、刻印印字抽出画像から薬種を推論し、薬剤の薬種の候補を取得する。薬種の推論には、刻印印字抽出画像を入力し、対応する薬剤の薬種を出力する学習済みモデルが用いられる。

【0003】

特開２０２０－１８２５２５号公報（特許文献２）には、簡易な構成で患者の持参薬の鑑別結果を取得できるようにするための、薬剤撮影装置が開示されている。薬剤撮影装置は、薬剤が載置される載置部と、携帯端末を設置可能な上方支持部とを有する。携帯端末は、載置部に載置された薬剤を撮影する撮影部を備える。撮影された画像データは、外部のサーバへ送信され、外部のサーバにおいて画像データ内の薬剤の鑑別処理を行うことができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０２２／１６３５０８号

【特許文献2】特開２０２０－１８２５２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

個人が医療サービスを受ける場合に、医療者は、個人に処方された薬を把握する必要が生じることがある。１又は複数の医療機関から個人に対して処方された薬がある場合、医療者は、個人の処方箋、お薬手帳又は薬包の記載事項、又は薬自体の外観を基に、処方された薬を特定する。このように、薬品を特定する作業を、薬品の識別と称する。薬品の識別は、薬剤師等の有資格者によって行われる。近年、医療サービスの範囲は広がっており、医療機関又は個人の自宅等、個人の薬品の識別をする場所や状況が多様になっている。

【0006】

そこで、本願は、様々な場所又は状況において、薬品の識別のための画像の取得及び管理を容易にできる薬品識別支援システム、薬品識別支援方法、及びプログラムを開示する。

【課題を解決するための手段】

【0007】

本発明の実施形態における薬品識別支援システムは、ユーザからの個人の新規記録の指示入力を受け付けた場合に、新規に記録する個人の固有データを生成し、記憶部に記録する個人記録部と、
識別対象の薬品の画像の入力を受け付け、前記画像を前記記憶部に記録する画像記録部と、を備え、
前記画像記録部は、前記個人の新規記録の後、新規記録された前記個人の薬品の画像の入力を受け付ける受付期間において入力された画像を、前記固有データに対応付けて前記記憶部に記録する。

【図面の簡単な説明】

【0008】

【図1】本実施形態の薬品識別支援システムの構成例を示す図である。

【図2】図１に示す薬品識別支援システム及び識別システムを構成するコンピュータの構成例を示す図である。

【図3】図１に示す薬品識別支援システムの動作例を示すフロー図である。

【図4】撮影画面の例を示す図である。

【図5】識別結果を表示し、ユーザから確認の入力を受け付ける識別画面の例を示す図である。

【図6】グループ指定画面の例を示す図である。

【図7】グループ指定画面の他の例を示す図である。

【図8】薬品識別支援システムの他の動作例を示すフロー図である。

【図9】識別システムの識別処理の例を示すフローチャートである。

【図10】薬品載置台の構成例を示す上面図である。

【図11】台形補正の処理例を示すフローチャートである。

【図12】色補正の処理例を示すフローチャートである。

【図13】薬品のテキストの画像に対する識別処理の例を示すフローチャートである。

【図14】薬品載置台の変形例を示す上面図である。

【図15】薬品載置台の他の変形例を示す上面図である。

【図16】薬品載置台の他の変形例を示す上面図である。

【図17】図１７は、図２のＳ４における画面の変形例を示す図である。

【図18】図１８は、記憶部に記録された個人の一覧を表示する画面の例を示す図である。

【発明を実施するための形態】

【0009】

（構成１）
本発明の実施形態における薬品識別支援システムは、ユーザからの個人の新規記録の指示入力を受け付けた場合に、新規に記録する個人の固有データを生成し、記憶部に記録する個人記録部と、
識別対象の薬品の画像の入力を受け付け、前記画像を前記記憶部に記録する画像記録部と、を備え、
前記画像記録部は、前記個人の新規記録の後、新規記録された前記個人の薬品の画像の入力を受け付ける受付期間において入力された画像を、前記固有データに対応付けて前記記憶部に記録する。

【0010】

上記構成１によれば、ユーザが個人の新規記録の指示入力をした後の受付期間において入力された画像が、固有データに対応付けて記録される。固有データは、個人の新規記録の指示入力がされた場合に生成される。そのため、ユーザによる個人の新規記録の指示入力と、個人の薬品の画像の入力という簡単な操作によって、その個人の薬品の画像を記録できる。また、固有データに画像が対応付けられるので、ある個人の薬品の画像が誤って他の個人の薬品の画像として取り扱われたり、１つの画像が複数の個人の画像として取り扱われたりすることが起こりにくくなる。その結果、薬品識別のための各個人の薬品の画像の取得とその管理が容易になる。

【0011】

例えば、上記構成１の薬品識別支援システムによれば、ユーザが個人の新規記録の指示入力をした後であれば、個人の情報（個人名、生年月日等）を入力する前であっても、受付期間に入力された画像は、固有データに対応付けられて記録される。そのため、例えば、ユーザは、訪問先にて、個人の薬品の画像の取得を優先して行い、薬局に戻った後に、個人情報を入力することができる。

【0012】

個人記録部が受け付ける個人の新規記録の指示入力は、個人の新規記録を指示する情報の入力であってもよい。個人の新規記録の指示入力で入力される情報は、個人の情報（個人名、生年月日等）を含んでなくてもよい。

【0013】

例えば、個人記録部は、個人を特定するための情報が含まれない形で個人の新規記録の指示入力を受け付け、指示入力の際にユーザから入力された情報を使わずに固有データを生成し、記憶部に記録してもよい。これにより、ユーザは個人の情報を入力しなくても個人の新規記録を指示できる。この場合、画像記録部は、新規記録の指示入力の後であって新規記録された個人の情報（氏名、生年月日等）が入力される前の前記受付期間において入力された画像を、前記個人の固有データに対応付けて記録することができる。

【0014】

一例として、画像記録部は、新規記録された個人の名前が入力される前に、前記個人の薬品の画像を受け付ける受付期間において入力された画像を、前記個人の固有データに対応付けて記録することができる。

【0015】

個人の新規記録の際に生成される固有データは、例えば、その新規記録の指示入力の時間又は場所に基づくデータであってもよい。これにより、指示入力の際にユーザから入力された情報を使わずに固有データを生成でき、且つ、新規記録の時の時間又は場所が固有データで示されるため、ユーザが、固有データを見て個人を把握しやすい。なお、固有データは、これに限られない。固有データは、例えば、患者情報、日時情報、時間のみの情報、場所情報、記号、数字、イニシャル、家の特徴、患者の特徴、ニックネーム等、個人の新規記録を指示したユーザが、その個人を想起しやすいものとすることができる。

【0016】

新規記録された前記個人の薬品の画像を受け付ける受付期間は、ユーザの操作に応じて決められてもよい。例えば、ユーザが個人の画像入力開始を指定する操作をしてから、画像入力終了を指定する操作をするまで又は所定時間経過するまでの期間を、その個人の薬品の画像の受付期間とすることができる。このように、受付期間の開始と終了は、予め決められたユーザ操作に関する条件に基づいて決められてもよい。

【0017】

受付期間は、例えば、ユーザによる対象の個人を特定して画像入力を開始する操作を条件として開始されてもよい。個人の特定は、個人の新規記録の指示入力、又はすでに記録された固有データの個人を指定する入力であってもよい。受付期間の終了条件は、例えば、ユーザによる対象の個人の薬品の画像入力の終了を示す入力であってもよいし、受付期間の開始から所定時間経過後であってもよい。例えば、ユーザ操作によって個人の薬品の画像が入力された場合に、受付期間を終了してもよい。

【0018】

（構成２）
上記構成１において、前記薬品識別支援システムは、ユーザからのグループの指示入力に基づいて、前記固有データに対応付けられた前記画像、又は、前記画像において識別された薬品が属するグループを決定し、決定したグループを示す情報を前記画像又は薬品と対応付けて前記記憶部に記録する、グループ決定部をさらに備えてもよい。これにより、一人の個人に処方された薬品の画像又は識別された薬品を１つ以上のグループに分けて記録できる。例えば、個人の薬品を、薬品の提供元の医療機関ごとにグループ化して記録できる。

【0019】

グループ決定部は、１つの固有データに対応付けられた複数の画像群又は薬品群を、ユーザからのグループの指示入力に基づき、少なくとも１つのグループに分類してもよい。ユーザからのグループの指示入力は、例えば、各画像又は識別結果で示される各薬品に対して属すべきグループを明示的に指定する入力であってもよい。又は、前記画像記録部が前記受付期間における画像の入力を受け付ける際に、ユーザからのグループの指示入力を受け付けてもよい。例えば、画像の入力とともに、その画像のグループを指示する入力を受け付けてもよい。又は、薬品の画像の入力の前又は後にその薬品の薬袋、お薬手帳、又は処方箋等の薬品に関する情報が記載された物の画像の入力を、グループの指示入力として受け付けてもよい。

【0020】

グループ決定部は、同じ画像に含まれる薬品は同じグループに分類されるようにしてもよい。一例として、グループ決定部は、同じ画像に含まれる薬品を、ユーザが一括して同じグループに指定可能な態様で、表示してもよい。

【0021】

（構成３）
上記構成２において、前記グループ決定部は、前記固有データに対応付けられた前記画像又は前記画像において識別された薬品のうち属するグループが未定である未グループの薬品を表示し、ユーザから前記未グループの薬品が属するべきグループを指定する入力を受け付けてもよい。これにより、グループに分類されていない画像又は薬品に対するユーザのグループの指示入力が容易になる。

【0022】

上記構成１～３のいずれかにおいて、前記薬品識別支援システムは、前記画像記録部により記録された前記画像を、識別処理を実行する識別システムに提供し、前記識別システムから前記画像に含まれる薬品の識別結果を取得し、前記記憶部に記録する識別結果取得部をさらに備えてもよい。これにより、記録された画像における薬品を識別することができる。

【0023】

前記識別結果取得部は、前記取得した識別結果が示す前記画像に含まれる薬品の情報を、前記画像に対応付けられた前記固有データに対応付けて前記記憶部に記録してもよい。これにより、識別結果を個人と対応付けて記録することができる。

【0024】

前記薬品識別支援システムは、前記識別結果取得部が取得した前記識別結果が示す前記画像に含まれる薬品の情報を、前記画像とともにユーザに表示し、識別システムによる識別結果の確認の入力をユーザから受け付けてもよい。これにより、ユーザは、画像において識別された薬品の情報と、その基となった画像の両方を参照しながら、識別結果を確認できる。そのため、ユーザはと効率よく識別結果を確認できる。

【0025】

（構成５）
上記構成１～４のいずれかにおいて、前記識別結果取得部は、ユーザからの識別指示を契機として前記記憶部に記録された画像を前記識別システムに提供して識別結果を取得してもよい。これにより、ユーザによる識別処理の実行時機の制御が可能になる。例えば、ユーザは、複数の個人の薬品の画像入力を優先して行い、その後、複数の個人の薬品についてまとめて識別処理を実行させることができる。

【0026】

識別結果取得部は、ユーザからの識別指示を契機として前記記憶部に記録された画像を前記識別システムに提供して識別結果を取得するか、前記記憶部への画像の記録を契機として前記記憶部に記録された画像を前記識別システムに提供して識別結果を取得するかを、ユーザの指示に基づき切り替えてもよい。これにより、ユーザの利便性がより向上する。

【0027】

前記画像記録部は、前記薬品の画像とともに、前記画像における薬品の態様の指定をユーザから受け付けてもよい。前記画像記録部は、ユーザに指定された薬品の態様を、画像に対応付けて記憶部に記録してもよい。識別結果取得部は、画像における薬品の態様に応じて、識別システムにおけるその画像の薬品の識別処理を選択してもよい。例えば、識別結果取得部は、薬品の画像とともに、その画像における薬品の態様を示す情報を識別システムに提供してもよい。識別結果取得部は、画像における薬品の態様に応じた識別処理の識別結果を取得できる。

【0028】

薬品の態様の指定は、例えば、撮影の対象が薬品自体か又は薬品の情報を示すテキストかを指定するものであってもよい。撮影の対象が薬品自体の場合、さらに、薬品の状態によって細かく態様が指定されてもよい。指定を受け付ける薬品の態様は、一例として、薬品自体、薬品の情報を示すテキスト、薬品のコードのうち少なくとも１つを含んでもよい。薬品自体については、さらに、裸錠、薬包、ＰＴＰシート等、薬品自体の状態を指定可能であってもよい。薬品のテキストについては、処方箋、薬袋、又はお薬手帳等、記載物の種類を指定可能であってもよい。コードについては、ＧＳ１、ＱＲコード（登録商標）等、コードの種類を指定可能であってもよい。これにより、画像に写る薬品の態様に応じて適切な識別処理を実行することができる。また、より多様な状態の薬品の識別作業が容易になる。なお、裸錠は、薬包等で梱包されておらず露出した状態の錠剤又はカプセル剤である。

【0029】

前記画像記録部は、ユーザによる薬品の撮影操作を受け付けてもよい。すなわち、前記画像記録部は、ユーザによる薬品の撮影操作により得られる画像を、前記記憶部に記録してもよい。画像記録部は、ユーザによる撮影操作とともに、ユーザから薬品の態様の指定を受け付けることができる。この場合、薬品の態様の指定に応じて撮影モードを切り替え可能とすることができる。撮影モードの切り替えにより、例えば、撮影操作を受け付ける画面が切り替えられてもよい。

【0030】

前記画像記録部は、ユーザから前記画像の入力を受け付ける際に、前記画像における識別対象範囲の指定を受け付けてもよい。これにより、画像中の識別対象範囲を示す情報が得られる。識別結果取得部は、前記画像とともに、前記識別対象範囲を、前記識別システムに提供してもよい。前記識別対象システムは、前記画像の前記識別対象範囲に対して薬品の識別処理を実行することができる。例えば、前記画像記録部は、前記識別対象範囲として、薬包の１包分の範囲の指定を受け付けてもよい。

【0031】

前記画像記録部は、マーカを有する薬品載置台に置かれた薬品の撮影操作を受け付けてもよい。すなわち、マーカを有する薬品載置台におかれた薬品の画像の入力を受け付けてもよい。薬品と薬品載置台のマーカを含む画像が記録される。前記画像記録部は、ユーザが操作するカメラの撮影画像におけるマーカを検出し、撮影画像におけるマーカの位置に基づいて、ユーザに撮影操作を指示してもよい。例えば、カメラの位置及び向きの少なくとも１つに関する指示をユーザに出力してもよい。前記画像記録部は、画像における薬品載置台のマーカの位置を基準とした識別対象範囲の指定をユーザから受け付けてもよい。

【0032】

前記薬品識別支援システムは、前記識別システムによる複数の画像における薬品の識別結果に基づき、前記複数の画像から抽出された類似度の高い２以上の画像を、同じ薬品を重複して撮影した画像の候補としてユーザに表示する重複候補表示部をさらに備えてもよい。類似度が高い２以上の画像の抽出は、例えば、各画像の日時、各画像における薬品の位置、及び識別された薬品の情報を用いて抽出することができる。例えば、識別結果に含まれる画像の日時、画像における薬品の位置、及び識別された薬品の情報の少なくとも１つを画像間で比較することで類似度が計算されてもよい。類似度が所定の条件を満たす２以上の画像を、重複候補の画像として抽出することができる。この抽出処理は、薬品識別支援システムで実行されてもよいし、識別システムで実行されてもよい。

【0033】

前記画像記録部は、前記識別結果取得部が取得した識別結果が、識別不可の画像又は画像中の薬品領域を示す場合、識別不可とされた画像又は薬品領域を表示し、ユーザによる薬品の撮影操作を受け付けてもよい。これにより、識別不可とされた画像又は薬品領域の薬品について再撮影の機会をユーザに与えることができる。また、画像記録部は、識別不可とされた画像の範囲より狭い範囲での撮影操作又は、識別不可とされた薬品領域に絞った範囲の撮影操作をユーザから受け付けてもよい。例えば、撮影モードを、通常より薬品に接近して撮影する接近モードとして撮影操作を受け付けることができる。これにより、例えば、識別対象の薬品が分布する範囲の全体を撮影した画像で、識別結果として、候補薬品が得られない画像又は薬品領域がある場合に、薬品に接近して撮影された画像が得られる。この場合、１錠あたりの解像度が増える。そのため、識別精度が向上する。また、例えば、撮影画面において、薬剤が存在すると認識された薬剤領域を示し、ユーザがその薬剤領域を指定して撮影した場合に、指定した薬剤領域について識別処理が実行されてもよい。

【0034】

（構成６）
本発明の実施形態における薬品載置台は、薬品を載置する載置面を有する。前記載置面には互いに離間した複数のマーカが設けられ、前記複数のマーカの各々は、２色以上の基準色の組み合わせを含む。載置台の載置面に載置された薬品を撮影して得られる画像は、複数のマーカを含むことになる。そのため、薬品の画像に対して、複数のマーカの画像における位置に基づく台形補正、及び、複数のマーカそれぞれの基準色の組み合わせに基づく色補正が可能になる。これにより、薬品の撮影条件による識別精度への影響が抑えられる。その結果、様々な場所又は状況における薬品の識別が容易になる。

【0035】

複数のマーカは、同じ基準色の組み合わせを含む。すなわち、１つのマーカの基準色の組み合わせは、他のマーカの基準色の組み合わせと同じである。基準色は、画像処理において、各画素の輝度値の基準となる色とすることができる。基準色の組み合わせは、特に限定されないが、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色の組み合わせであってもよい。

【0036】

前記薬品載置台は、例えば、上記構成１～５のいずれかの薬品識別支援システムの前記画像記録部により記録される薬品の画像を撮影するために用いられる。この場合、画像記録部は、載置台の載置面に載置された薬品の画像であって、複数のマーカと薬品を含む画像の入力を受け付けてもよい。識別結果取得部は、載置台の載置面に載置された薬品の画像であって、複数のマーカと薬品を含む画像を識別システムに提供してもよい。

【0037】

前記薬品載置台は、近距離の無線通信により読み取り可能なデータを保持するＩＣタグを備えてもよい。ＩＣタグは、前記薬品識別支援システムを構成するコンピュータに所定のアプリケーションを実行させるためのデータを保持してもよい。これにより、薬品載置台にコンピュータを近づけるユーザの動作により、前記薬品識別支援システムに関連するアプリケーションを実行することができる。そのため、薬品の識別がより容易になる。所定のアプリケーションは、例えば、コンピュータを薬品識別支援システムとして動作させるためのアプリケーション又は薬品識別支援システムの一部の機能を実行するアプリケーションであってもよい。或いは、所定のアプリケーションは、薬品のＧＳ１コードを用いて薬品の情報を取得する処理を実行するアプリケーションであってもよい。

【0038】

（構成７）
薬品の画像に基づき薬品の識別処理を実行する識別システムも、本発明の実施形態に含まれる。識別システムは、２以上の基準色の組み合わせを含むマーカが複数設けられた載置面に載置された薬品の撮影画像を取得し、前記撮影画像に対して、前記複数のマーカの画像における位置に基づく台形補正、及び、前記複数のマーカそれぞれの基準色の組み合わせの画像における色に基づく色補正を施すことで補正画像を生成する補正部と、前記補正画像から薬品領域を抽出する薬品領域抽出部と、前記薬品領域の部分画像に基づき、前記薬品領域の薬品を識別する識別部とを含んでもよい。この識別システムでは、薬品の撮影画像に含まれるマーカを用いて台形補正及び色補正が可能になる。これにより、薬品の撮影条件による識別精度への影響が抑えられる。その結果、様々な場所又は状況における薬品の識別が容易になる。上記構成１～５の薬品識別支援システムは、前記識別システムをさらに備えてもよい。

【0039】

上記構成７において、前記識別システムの前記薬品領域抽出部は、インスタンスセグメンテーションを用いて前記薬品領域を抽出してもよい。これにより、複数の薬品が重なった状態又は薬品の縁が他の薬品の縁と接触した状態で写った画像において、効率よく各薬品の領域を抽出することができる。識別の精度を向上できる。

【0040】

本発明の実施形態におけるプログラムは、ユーザからの個人の新規記録の指示入力を受け付けた場合に、新規に記録する個人の固有データを生成し、記憶部に記録する個人記録処理と、
識別対象の薬品の画像の入力を受け付け、前記画像を前記記憶部に記録する画像記録処理と、をコンピュータに実行させる。
前記画像記録処理は、前記個人の新規記録の後、新規記録された前記個人の薬品の画像の入力を受け付ける受付期間において入力された画像を、前記固有データに対応付けて前記記憶部に記録する処理を含む。

【0041】

本発明の実施形態における薬品識別支援方法は、コンピュータにより実行される下記工程を有する。すなわち、前記薬品識別支援方法は、ユーザからの個人の新規記録の指示入力を受け付けた場合に、新規に記録する個人の固有データを生成し、記憶部に記録する個人記録工程と、
識別対象の薬品の画像の入力を受け付け、前記画像を前記記憶部に記録する画像記録工程と、を有する。
前記画像記録工程は、前記個人の新規記録の後、新規記録された前記個人の薬品の画像の入力を受け付ける受付期間において入力された画像を、前記固有データに対応付けて前記記憶部に記録する工程を含む。

【0042】

以下、図面を参照しながら、本発明の実施形態について説明する。
［実施形態］
（システム構成例）
図１は、本実施形態の薬品識別支援システム１０の構成例を示す図である。薬品識別支援システム１０は、個人の薬品の画像の入力を受け付けて、画像を記録し、識別システムへ提供する。これにより、画像を用いた薬品の識別を支援する。薬品識別支援システム１０は、記憶部６、入出力デバイス７、及びカメラ８に無線又は有線で接続される。入出力デバイス７は、ユーザが情報を入力するデバイス、及びユーザに情報を出力するデバイスを含む。薬品識別支援システム１０は、識別システム２０とデータ通信可能である。識別システム２０は、薬品の画像を用いて、画像に含まれる薬品を識別する識別処理を実行する。薬品識別支援システム１０は、識別システム２０へ薬品の画像を提供し、識別システム２０から識別結果を取得する。

【0043】

薬品識別支援システム１０は、個人記録部１、画像記録部２、識別結果取得部３、グループ決定部４，重複候補表示部５を備える。識別システム２０は、補正部２１、薬品領域抽出部２２、及び、識別部２３を備える。

【0044】

個人記録部１は、個人の新規記録の指示入力をユーザから受け付け、個人を新規記録する。個人記録部１は、ユーザから新規記録の指示入力があった場合、固有データを生成して記憶部６に記録する。固有データは、例えば、ユーザの指示入力の時間及び場所の少なくとも１つに基づく固有データを記憶部６に記録する。固有データは、個人の初期識別子となる。ユーザによる個人の新規記録の指示入力は、入出力デバイス７を介して行われる。例えば、個人記録部１は、入出力デバイス７の画面に、ユーザからの個人の新規記録の指示入力の操作を受け付けるボタン又はリンク等を表示してもよい。

【0045】

固有データは、指示入力の時間又は場所を示す情報を含むデータであってもよい。固有データは、例えば、指示入力の日時を示すタイムスタンプであってもよいし、指示入力を受け付けた場所を示すロケーションスタンプであってもよい。又は、日時及び場所の両方を含むデータを固有データとしてもよい。場所は、例えば、住所、又は緯度及び経度等の現実の場所でもよいし、ネットワークにおける論理アドレス、又は仮想空間における座標など、仮想的な場所でもよい。また、固有データは、指示入力の時間及び場所の少なくとも１つを直接的に示すデータであってもよいし、指示入力の時間及び場所を加工して得られるデータ（例えば、ハッシュ値等）であってもよい。なお、個人記録部１は、個人の新規記録の指示入力として、個人を特定するデータ（名前又は生年月日等）の入力を受け付けてもよい。個人を特定するデータが固有データに対応付けられて記録されてもよい。

【0046】

画像記録部２は、識別対象の薬品の画像の入力を受け付ける。画像記録部２は、入力された画像を記憶部６に記録する。画像記録部２は、例えば、ユーザの操作によりカメラ８で撮影された薬品の画像を取得して、記憶部６に記録してもよい。画像記録部２は、ユーザが薬品を撮影する操作を、入出力デバイス７を介して受け付ける。この場合、画像記録部２は、ユーザの撮影操作に伴って、薬品の態様の指定を受け付けてもよい。撮影された画像に、薬品の態様が対応付けて記録されてもよい。図１の例では、撮影される薬品の態様として、薬品載置台５０に載置された裸錠の薬品Ｄ又は薬包Ｈに内包された薬品Ｄ、薬品の情報を示すバーコード（ＧＳ１コード）又は２次元コード、又は、薬品の情報を示すテキストのいずれかが指定可能となっている。

【0047】

画像記録部２は、個人の新規記録の後、その個人の薬品の画像の入力を受け付ける受付期間において入力された画像を、固有データに対応付けて記憶部６に記録する。例えば、ユーザが個人を指定する操作をした場合、個人の指定から、指定の解除条件が満たされるまでの期間が受付期間となる。この受付期間に入力された画像は、その個人の固有データに対応付けて記録される。受付期間の開始の契機となるユーザによる個人の指定は、例えば、新規記録の指示入力であってもよいし、画面に表示された固有データその他の個人情報を指定する操作としてもよい。個人の指定の解除条件は、特に限定されないが、例えば、画像入力が完了した場合、他の個人の指定その他ユーザの指定解除操作がなされた場合、又は、所定時間が経過した場合等とすることができる。このように、画像記録部２は、ある個人の画像の受付期間に入力された画像は、その個人の薬品の画像と判断し、その個人の固有データに対応付けて記録することができる。

【0048】

識別結果取得部３は、画像記録部２により記録された画像を、識別処理を実行する識別システム２０に提供し、識別システム２０から画像に含まれる薬品の識別結果を取得する。識別結果は、その画像に対応付けて記憶部１２に記録される。これにより、識別結果は、固有データに対応付けて記録される。識別結果は、画像に含まれる薬品の情報を含んでもよい。例えば、識別結果は、画像に含まれる可能性のある薬品の情報、すなわち候補薬品の情報を含んでもよい。画像における１つの薬品について、複数の候補薬品の情報が識別結果に含まれてもよい。

【0049】

識別結果取得部３は、ユーザからの識別指示を契機として、記憶部６に記録された画像を識別システム２０に提供して識別結果を取得してもよい。これにより、ユーザは、例えば、画像入力（撮影）の作業を優先して行い、識別の作業は、後で一括して行う等、柔軟な対応が可能になる。識別結果取得部３は、例えば、ユーザからの識別指示を契機として記憶部６に記録された画像を識別システムに提供して識別結果を取得するモード（ＫＥＥＰモード）と、記憶部６への画像の記録を契機として、記憶部６に記録された画像を識別システム２０に提供して識別結果を取得するモード（ＳＥＮＤモード）を、ユーザの指示に基づき切り替え可能としてもよい。

【0050】

薬品識別支援システム１０は、識別結果取得部３が取得した識別結果が示す画像に含まれる薬品の情報を、その画像とともにユーザに表示し、識別システム２０による識別結果の確認の入力をユーザから受け付けてもよい。例えば、候補薬品をユーザに表示し、ユーザが候補薬品のうち該当する薬品と判断したものを選択可能としてもよい。すなわち、ユーザによる候補薬品の選択を、確認の入力として、受け付けてもよい。

【0051】

グループ決定部４は、ユーザからのグループの指示入力に基づいて、固有データに対応付けられた画像又は画像に含まれる個人の各薬品を、その個人において設定される少なくとも１つのグループに分類し、分類したグループを示す情報を記憶部６に記録する。グループ決定部４により、識別された個人の薬品の情報を、ユーザが決めた任意のグループに分類して記録することが可能になる。グループ決定部４は、識別された個人の各薬品を選択可能に表示し、薬品の選択及び選択された薬品のグループ指定を受け付けることができる。グループ決定部４は、固有データに対応付けられた画像又は薬品の各々が属するグループを示す情報を、記憶部６に記録する。グループを示す情報は、例えば、グループ名又はグループ番号等のグループを識別する情報であってもよいし、固有データに対応付けられた複数の画像又は薬品におけるグループの区切り（切れ目）を示す情報であってもよい。

【0052】

例えば、１人の個人に処方される薬品は、複数の提供元（薬局、病院等）から提供される場合がある。グループ決定部４により、個人の薬品を提供元ごとのグループに分類して記録することが可能になる。例えば、ユーザが、固有データに対応付けられた各画像、又は、各画像に基づく識別後の薬品の各々に、提供元ごとのグループを指定することができる。これにより、識別された個人の薬品の提供元を区別することができる。

【0053】

なお、ユーザのグループ指定は、識別後の薬品に限られない。識別前においても、入力される画像とともに、ユーザから、グループの指定入力を受け付けることができる。例えば、ユーザの連続する撮影操作により複数の画像の入力を受け付ける際に、撮影操作の間にグループの切れ目又はグループ情報の入力を、ユーザから受け付けてもよい。

【0054】

重複候補表示部５は、識別システム２０による複数の画像における薬品の識別結果に基づき、複数の画像から抽出された類似度の高い２以上の画像を、重複撮影画像の候補としてユーザに表示する。同じ薬品を撮影した画像が２以上存在する場合、識別システム２０による識別により、薬品が重複して識別される。例えば、撮影した画像の薬品がブレているため再撮影することや、画像内が少し暗いため、明るさを調整して再撮影することが起こり得る。この場合、同じ薬品を重複して撮影した複数の画像が記録される。重複候補表示部５により、重複撮影の可能性がある画像をユーザに通知することが可能になる。

【0055】

本実施形態では、ユーザによる個人の新規記録の指示入力の際に自動的に生成された固有データが、個人の初期識別子として記録され、その後の受付期間に入力された個人の画像が固有データに紐付けられる。これにより、ユーザは、新規記録の指示の後、個人の情報（個人名、生年月日等）を入力しなくても、その個人の薬品の画像の入力（撮影）を開始できる。また、指示入力の時間又は場所に基づく固有データに画像が対応付けられるので、個人の間で画像の取り違いや重複が発生しない。また、個人記録の指示入力の時間又は場所に基づく固有データが記録された場合、ユーザが固有データを元に孤児音を把握しやすくなる。例えば、個人の情報が未入力の状態で、個人記録の指示入力の時間又は場所に基づく固有データが表示された場合、ユーザは、固有データで示される時間又は場所によりユーザが個人を把握できる。

【0056】

病棟、薬局、在宅医療現場において、医療者は多忙である。個人の持参薬、自宅の残薬や常備薬を、医療者が把握するためには、まず、撮影、すなわち、薬品の画像の取得が必要になる場合が多い。本実施形態の薬品識別支援システムでは、ユーザ（例えば、薬剤師）は、現場において、個人情報の入力を後回しにして、個人の薬品を撮影する作業を優先的に実行できる。ユーザは、現場で画像を入力して、薬局に戻った後、個人情報を追加で入力することで、個人情報を、その個人の画像と対応付けて記録することができる。

【0057】

（識別システム２０の構成例）
図１の例では、識別システム２０は、補正部２１、薬品領域抽出部２２、識別部２３を有する。補正部２１は、薬品の撮影画像に対して、台形補正、及び、色補正を施すことで補正画像を生成する。図１の例では、薬品載置台５０の載置面に載置された薬品Ｄを撮影した画像が、識別システム２０に提供される場合がある。薬品載置台５０の載置面には、複数のマーカＭ１～Ｍ４が設けられる。複数のマーカＭ１～Ｍ４の各々は、２以上の基準色の組み合わせを含む。そのため、薬品載置台５０の載置面に載置された薬品Ｄを撮影した画像には、薬品ＤとマーカＭ１～Ｍ４が含まれる。補正部２１は、画像に含まれる複数のマーカＭ１～Ｍ４の画像における位置に基づき、台形補正を実行する。台形補正は、例えば、画像におけるマーカＭ１～Ｍ４それぞれの１つの基準色が目標位置に配置されるよう画像の各画素を変換する演算により実行されてもよい。補正部２１は、マーカＭ１～Ｍ４それぞれの基準色の組み合わせの画像における色に基づいて、色補正を実行する。色補正は、各基準色について、画像のマーカＭ１～Ｍ４における色（階調値）のばらつきを低減するように、各画素の値を補正する演算により実行されてもよい。

【0058】

薬品領域抽出部２２は、補正部２１で生成された補正画像において薬品領域を抽出する。薬品領域の抽出処理は、例えば、画像において所定の画像処理を実行し、所定の条件を満たす領域を薬品領域として抽出するルールベースの処理であってもよい。或いは、薬品領域の抽出処理は、学習済みモデルを用いて実行されてもよい。学習済みモデルは、画像を入力し、薬品領域を出力する。学習済みモデルは、例えば、画像と薬品領域のセットを教師データとする機械学習により生成することができる。ルールベースの処理は、例えば、対象画像と予め記録されたルール（例えば、テンプレート）とを比較することで、対象画像の特徴を認識（抽出）する処理とすることができる。

【0059】

識別部２３は、薬品領域の部分画像に基づき、前記薬品領域の薬品を識別する。識別部２３は、薬品領域の部分画像において、薬品の刻印又は印刷を抽出する刻印印刷抽出部と、刻印印刷抽出部で抽出された画像をデータベースの薬品のマスタ画像と比較し、一致度が高い薬品を候補薬品としてピックアップするマッチング部を有してもよい。薬品の刻印又は印刷の抽出も、ルールベースで、又は、学習済みモデルを用いて実行することができる。部分画像は、例えば、１つの薬品の中の所定の特徴を有する部分（例えば、刻印又はプリント）であってもよい。

【0060】

薬品領域の抽出、もしくは、刻印又は印刷の抽出に用いられる学習済みモデルには、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）を適用できる。学習済みモデルは、例えば、オブジェクトディテクション、セマンティックセグメンテーション又はインスタンスセグメンテーションのいずれかのモデルを用いることができる。インスタンスセグメンテーションを用いて薬品領域抽出を実行することで、複数の薬品が重なる場合でも、薬品ごとに領域を抽出することができる。インスタンスセグメンテーションのモデルとしては、例えば、ＳＯＬＯ、Ｍａｓｋ Ｒ－ＣＮＮ又はＤｅｔｅｃｔｒｏｎ等を用いることができる。

【0061】

識別部２３は、識別結果として、画像に含まれる薬品の候補すなわち候補薬品の情報を出力する。例えば、画像に含まれる各薬品について、一致度が条件を満たす複数の候補薬品の情報が、識別結果として出力されてもよい。また、識別結果には、画像における薬品の領域（位置）、サイズ、錠数、その他の識別に関わる情報が含まれてもよい。

【0062】

図１の例では、識別システム２０の補正部２１、薬品領域抽出部２２，及び識別部２３は、薬品自体を撮影した画像に対する識別処理を実行する。識別システム２０は、薬品を記載するテキストを撮影した画像に対する識別処理を実行可能であってもよい。この場合、識別システム２０は、画像の文字を認識する文字認識部、認識した文字の文字列を、マスタの薬品名と比較して、一致度の高い薬品を候補薬品とするテキスト識別部を含んでもよい。

【0063】

識別システム２０は、識別結果取得部３から識別対象の画像とともに、その画像の薬品の態様を示す情報の提供を受け、薬品の態様に応じた識別処理を実行してもよい。例えば、識別システム２０は、対象の画像の薬品の態様が薬品自体であれば、薬品自体の画像に対する識別処理を実行し、薬品の態様が薬品を記載するテキストであれば、薬品テキストの画像に対する識別処理を実行する。薬品自体として、裸錠、薬包等さらに詳細に薬品の態様が指定される場合は、裸錠、薬包等の詳細な薬品の態様のそれぞれに応じた識別処理が実行されてもよい。

【0064】

薬品識別支援システム１０及び識別システム２０は、１又は複数のコンピュータにより構成することができる。薬品識別支援システム１０及び識別システム２０の各機能部は、コンピュータのプロセッサがメモリのプログラムを実行することで実現可能である。そのようなプログラム及びプログラムを記憶した非一時的（non-transitory）な記憶媒体も本発明の実施形態に含まれる。記憶部６は、薬品識別支援システム１０を構成するコンピュータがアクセス可能な１又は複数のストレージ、及び／又はメモリによって構成することができる。

【0065】

図２は、薬品識別支援システム１０及び識別システム２０を構成するコンピュータの構成例を示す図である。図２の例において、薬品識別支援システム１０は、携帯端末３０に実装される。識別システム２０は、携帯端末３０と通信可能なコンピュータ４０に実装される。携帯端末３０は、プロセッサ３１、メモリ３２、記憶装置３３、タッチパネル７ａ（入出力デバイスの一例）、カメラ８を有する。コンピュータ４０は、プロセッサ４１、メモリ４２、及び記憶装置４３を有する。コンピュータ４０は、携帯端末３０に対してネットワーク上の近い位置で処理を実行するエッジコンピューティングにより識別システム２０の機能を実現する構成であってもよい。例えば、コンピュータ４０は、インターネットを介さずに携帯端末３０と通信可能、且つ、携帯可能なエッジコンピュータ（例えば、エッジＰＣ又はエッジサーバ）であってもよい。これにより、ネットワーク負荷及び遅延の低減並びにセキュリティの向上が可能になる。また、コンピュータ４０は、ネットワークを介して携帯端末３０と通信可能なコンピュータ（例えば、クラウドサーバ）であってもよい。

【0066】

図２の構成において、薬品識別支援システム１０は、識別結果取得部３は、携帯端末３０と、コンピュータ４０との通信状態に応じて、画像記録部２により記録された画像を識別システム２０へ提供するか否か（例えば、ＳＥＮＤモード又はＫＥＥＰモードのいずれにするか）を制御し、且つ、その制御状態を表示してもよい。なお、図２の構成においても、薬品識別支援システム１０の一部がコンピュータ４０で実装されてもよい。識別システム２０の一部が携帯端末３０で実装されてもよい。

【0067】

（動作例）
図３は、図１に示す薬品識別支援システム１０の動作例を示すフロー図である。図３の例では、Ｓ１で薬品識別支援システム１０により表示されるメニュー画面Ｇ１において、ユーザが「新規個人記録」を選択する操作が、個人の新規記録指示入力となる。新規記録指示入力を受け、Ｓ２で、個人記録部１が、新規記録指示入力の日時を示すタイムスタンプを、新規記録の個人の固有データとして、記憶部６に記録する。

【0068】

Ｓ３で、新規記録した個人の個人情報画面Ｇ２が表示される。個人情報画面Ｇ２には、個人を示す情報と、撮影（画像入力）、又は、個人情報入力の開始を指示するためのユーザインタフェースが含まれる。この例では、画面Ｇ２において、個人名は未入力であることが示され、個人を示す情報として、固有データである記録日時を示すタイムスタンプの情報が示される。画面Ｇ２でユーザが「撮影」を選択する操作により、この個人の薬品の画像の入力を受け付ける受付期間が開始する。

【0069】

Ｓ４で画像記録部２は、ユーザから画像の入力を受け付ける。画像記録部２は、ユーザが薬品を撮影するための撮影画面を表示する。画像記録部２は、ユーザが、撮影対象の薬品の態様の指定を入力可能とする。画像記録部２は、ユーザの指定する薬品の態様に応じて撮影画面を切り替える。

【0070】

図４は、ユーザからの薬品の態様の指定により切り替えられる撮影画面の例を示す図である。図４の例では、撮影対象の薬品の態様が、裸錠、薬包、ＧＳ１コード、ＱＲコード（登録商標）、及びテキスト（ＯＣＲ）のそれぞれの場合の撮影画面Ｇ３－１～５の例である。いずれの撮影画面も、カメラ８の撮影範囲の画像をリアルタイムで表示するモニタ領域Ａ１を有する。ＧＳ１コード及びＱＲコード（登録商標）の撮影画面Ｇ３－３、Ｇ３－４のモニタ領域Ａ１では、画像に含まれるコードが認識され、コードの部分を示すガイド線が表示される。

【0071】

テキストの撮影画面Ｇ３－５では、画像に含まれる薬品を示すテキストの可能性がある薬品記載領域がガイド線で示される。これにより、ユーザは、モニタ領域Ａ１を見ながら、薬品について記載された領域が撮影範囲に入るように、カメラ８の位置と向きを調整することが容易になる。例えば、カメラ８の撮影範囲の画像において文字認識（ＯＣＲ）処理で認識された文字列のうち薬品記載領域が抽出される。抽出される薬品記載領域は、認識された文字列のうち、予め決められた薬品記載の条件を満たす部分である。薬品記載の条件は、例えば、文字列の文字間隔、連続する文字数、末尾付近の数値の有無の少なくとも１つとすることができる。画像における薬品記載領域の抽出処理は、識別システム２９０で実行されてもよいし、薬品識別支援システム１０で実行されてもよい。また、画像記録部２は、ユーザが、モニタ領域Ａ１で薬品記載領域を選択可能として、ユーザから薬品記載領域の指定を受け付けてもよい。

【0072】

図３のＳ４において、画像記録部２が、ユーザの操作によって撮影された薬品の画像の入力を受け付けると、入力された画像を記憶部６に記録する（Ｓ５）。本例では、この画像の記録により、個人の薬品の画像入力の受付期間が一旦終わる。画像記録部２は、Ｓ４で入力された画像を、Ｓ２で記録された固有データに対応付けて記録する。

【0073】

Ｓ５で画像が記録されると、これを契機として、識別結果取得部３が、記録された画像を識別システム２０へ提供する（Ｓ６）。画像の提供は、画像データ自体の送信であってもよいし、画像へのアクセスを可能にする処理（例えば、画像へのアクセス情報を提供）であってもよい。識別システム２０は、提供された画像に含まれる薬品を識別する処理を実行する（Ｓ７）。識別結果取得部３は、識別システム２０から識別結果を取得し、記憶部６に記録する。識別結果は、画像に対応付けられて記録される。薬品識別支援システム１０は、その画像の薬品の識別結果を示す識別画面Ｇ４をユーザに表示し、ユーザによる確認を受け付ける（Ｓ１０）。

【0074】

図５は、識別結果を表示し、ユーザから確認の入力を受け付ける識別画面Ｇ４の例を示す図である。図５の例では、識別対象の画像と、画像に含まれる薬品の候補である候補薬品が同時に表示される。画面Ｇ４―１、画面Ｇ４－３では、識別の対象の画像の全体が表示され、薬品の領域が視認可能な態様で表示される。各薬品領域の表示態様は、薬品の識別結果のユーザによる確認の状態によって異なるよう制御されてもよい。例えば、識別結果をユーザが未確認の薬品領域と、ユーザが識別結果を確認済みの薬品領域、識別処理が未完了の薬品領域が、互いに異なる態様で表示されてもよい。画面Ｇ４―２、画面Ｇ４－４では、画像に含まれる１つの薬品について、その薬品の画像と、１以上の候補薬品の情報が選択可能に表示される。例えば、画面Ｇ４－１における全体の画像において、１つの薬品領域をユーザが指定した場合に、指定した薬品領域の画像とその候補薬品を表示する画面Ｇ４―２が表示されてもよい。ユーザは、候補薬品から１つを選択することで、識別結果の確認を入力することができる。これにより、識別結果の薬品が、確認済みすなわち識別確定した薬品として記録される。すなわち、ユーザによる確認結果が記録される（図３のＳ１１）。なお、画面Ｇ４－１、Ｇ４－２は、薬品自体を撮影した画像に対する識別結果の例であり、画面Ｇ４－３、Ｇ４－４は、薬品のテキストを撮影した画像に対する識別結果の例である。

【0075】

画面Ｇ４－１及びＧ４－３の例のように、薬品識別支援システム１０は、識別結果として、撮影された画像において識別された薬品の領域を視認可能な態様で表示することができる。この場合、画像において、識別された薬品の領域を示す指示要素（例えば、図５のＢ１、Ｂ２）が画像に重畳して表示される。指示要素は、例えば、識別された薬品（例えば、薬品自体又は薬品名テキスト）の領域の少なくとも一部を囲む形状の画像要素であってもよい。指示要素は、例えば、ポリゴンであってもよい。指示要素の表示態様は、表示される画像の拡大率によって変化してもよい。これにより、薬品の視認性を高めることができる。例えば、指示要素の透明度を画像の拡大率によって調整することができる。一例として、画像の拡大率が高くなるに従って、指示要素の透明度を高くしてもよい。これにより、薬品の領域を拡大表示することで指示要素が薬品と重なる部分が大きくなり、視認性が低下するのを防ぐことができる。拡大率によって調整する指示要素の表示態様は、透明度に限られない。例えば、指示要素の太さ（幅）、色、又は、その他の属性を拡大率によって変化させることができる。

【0076】

具体例としては、画像の拡大率に応じて、指示要素のポリゴンのアルファチャンネルの値を変化させてもよい。すなわち、アルファチャンネルの値は拡大率に応じて決定されてもよい。例えば、画像全体を表示している時（縮小表示時）は、指示要素のポリゴンのアルファチャンネルの値を大きく、薬品の領域を拡大して表示している時（拡大表示時）は、アルファチャンネルの値が縮小表示時より小さくなるよう設定されてもよい。これにより、縮小表示時には、指示要素によって、画像における薬品の位置が把握しやすくなり、拡大表示時には、各薬品の詳細（刻印又は薬品名テキスト等）が指示要素によって遮られることなく把握できるようになる。

【0077】

画面Ｇ４－４の例のように、薬品識別支援システム１０は、識別結果として、画像において薬品名と認識されたテキストを含む領域の部分画像を表示することができる。これにより、ユーザは、撮影されたテキストの画像を見て薬品名を確認できる。この場合、薬品名のテキストを含む領域の縦横比が所定の条件を満たさない場合は、薬品名として認識されたテキストの横方向（左右方向）に余裕をもった領域の部分画像を表示することができる。これにより、１つの薬品名のテキストのうち一部のみが識別結果として抽出された場合に、この薬品名のテキストの他の部分の画像も含む領域を表示できる。そのため、ユーザがテキストの画像を見て薬品名を特定できる確率が上がる。例えば、図５のＧ４－３における１つの薬品名のテキスト「キプレス顆粒４ｍｇ 「ＡＡ製薬」」のうち薬品メーカの記載「ＡＡ製薬」の部分が１つの薬品の識別結果として抽出される場合がある。この場合に、「ＡＡ製薬」のテキスト部分から左右に拡張した領域を表示することで、ユーザが薬品名を特定しやすくなる。一例として、１つの薬品名候補として抽出されたテキストを含む矩形領域の縦横比が所定の範囲外である場合（例えば、縦に対する横の比率が所定値より小さい場合）に、テキストの左右方向に所定幅分拡張した矩形領域を表示することができる。

【0078】

また、１つの薬品名として認識されたテキストを含む部分画像を表示する際に、ユーザがスライド操作等により表示する部分画像の範囲を調整可能としてもよい。これにより、１つの薬品名の記載のうち一部のみの画像が識別結果として表示された場合に、ユーザが表示範囲を調整して画像中の薬品名を確認しやすくなる。この場合も、１つの薬品名と認識されたテキストの領域の縦横比が所定範囲外の場合にテキストから左右方向に拡張した領域を表示することで、確認するためのユーザの操作量（スライド量）を少なくすることができる。

【0079】

識別結果が、画像又は画像中の薬品領域について識別不可を示す場合がある。この場合、識別不可とされた画像又は薬品領域を表示し、再度、Ｓ４の画像入力を受け付ける処理が実行されてもよい。この場合、再撮影モードの撮影画面が表示されてもよい。再撮影モードでは、薬品をより近くで撮影するためのユーザインタフェースが提供されてもよい。例えば、ユーザが、薬剤にカメラを近づけピントが合ったところで、撮影画面に表示された薬品領域を指定して撮影ボタンを押す操作を可能にしてもよい。この場合、識別結果取得部３は、指定された薬品領域の画像に対する識別結果を識別システム２０から取得してもよい。

【0080】

図３のＳ１２では、薬品識別支援システム１０は、さらに、撮影を続けるか否かを、ユーザからの入力に基づき、判断する。撮影を続ける場合はＳ４、続けない場合はＳ１３の処理が実行される。図３の例では、画像の入力（撮影）及び記録を契機として、その画像の識別処理が実行され、その識別結果の記録、及び、確認入力受付が実行される。この場合、ユーザは、識別結果を薬品の撮影後、迅速に知り、確認することができる。なお、撮影終了の判断は、図３の例に限られない。例えば、Ｓ４で表示される撮影画面において、撮影終了の指示入力（例えば、戻るボタンの選択）を受け付けてもよい。

【0081】

図３のＳ１３において、薬品識別支援システム１０は、グループ化処理を実行するか否かを、ユーザからの入力に基づき判断する。グループ化しないと判断されると（Ｓ１３でＮＯ）と、Ｓ１のメニュー画面表示へ戻る。

【0082】

グループ化する（Ｓ１３でＹＥＳ）場合、グループ決定部４は、グループ指定画面Ｇ５を表示し（Ｓ１４）、ユーザから識別された個人の薬品それぞれに対するグループの指定を受け付ける（Ｓ１５）。図６は、グループ指定画面Ｇ５の例を示す図である。図６の例では、識別された個人の薬品のリストが画面Ｇ５―１において表示される。ユーザが薬品のグループ指定を開始する操作をする（画面Ｓ５―２）と、画面Ｇ５―３において、グループが未指定の薬品が表示される。この例では、グループ未指定の個人の薬品はすべて自動的に選択された状態で受付画面Ｇ５―３が初期表示される。ユーザは、各薬品について、選択／非選択を入力可能である。画面Ｇ５―３では、選択された薬品についてのグループＮｏ．及びグループ名の入力を受け付ける。ユーザが「グループ化」ボタンを押して決定操作をすると、選択された薬品が、指定されたＮｏ．のグループに分類される。これにより、選択された薬品の属するグループが決定される。画面Ｇ５－４にその分類結果が表示される。

【0083】

図７は、個人の薬品のグループがすでに決定されている場合に、新たに識別された薬品が追加された場合のグループの指定の受け付け処理の例を示す図である。図７の例では、画面Ｇ５－６では、個人の薬品がすべて表示される。すでにグループが決定されている薬品には、グループ番号が表示されている。ユーザがグループ指定を開始する操作をすると（画面Ｇ５―７）、グループ決定部４は、未グループの薬品を、選択／非選択を指定できる態様で表示する（画面Ｇ５－８）。画面Ｇ５－８では、グループＮｏ．及びグループ名の入力も可能である。この例では、未グループの薬品「ミオナール」が選択され、且つ、グループＮｏ．として新たなグループのＮｏ．が入力された状態で受付画面Ｇ５―３が初期表示される。ユーザが「グループ化」ボタンを押して決定操作をすると、選択された薬品「ミオナール」が、指定されたＮｏ．（＝２）のグループに分類される。画面Ｇ５－９にその分類結果が表示される。

【0084】

このように、新たに識別された薬品が追加された場合、属するグループが決定されていない未グループの薬品を表示し、指示を受け付けることで、ユーザによるグループの指示操作を簡単にすることができる。

【0085】

図３の例では、グループの指示入力を受け付ける処理Ｓ１４、Ｓ１５は、１つの画像の識別結果の確認の終了後に、識別結果で追加された薬品についてグループの指示入力を受け付ける。これにより、適切な時期にグループの指示入力を受け付けることができる。なお、グループの指示入力を受け付ける時機は、図３の例に限られない。

【0086】

図８は、薬品識別支援システム１０の他の動作例を示すフロー図である。図８は、撮影及び画像の記録の後、ユーザの指示を契機として、その画像の薬品の識別が処理される場合の例である。図８のＳ１～Ｓ３は、図３のＳ１～Ｓ３と同様である。図８のＳ４では、撮影操作による複数の画像の入力の受付及び記録が連続して実行される（Ｓ５―１～Ｓ５－３）。この複数の画像の入力の受け付けにおいて、画像記録部２は、グループの区切りを示す画像の入力を受け付けてもよい。例えば、薬品の提供元の区切りを示す画像の入力を受け付けてもよい。例えば、薬局の薬袋やお薬手帳の記載を撮影した画像を、区切りを示す画像として、受け付けてもよい。グループ決定部４は、この区切りを示す画像の入力に基づいて、画像が属するグループを決定してもよい。これにより、画像の薬品をグループ分類できる。例えば、区切り画像の前に入力された画像で識別された薬品と、区切り画像の後に入力された画像で識別された薬品が異なるグループになるよう画像又は薬品のグループ決定が実行されてもよい。

【0087】

図８の例では、複数の画像の入力（Ｓ５－１～３）の受付期間の開始及び終了は、ユーザからの指示に基づいて制御される。この例では、ユーザが個人情報画面Ｇ２の撮影を選択する操作が、受付期間の開始条件である。撮影画面から他の画面に遷移するユーザの操作が受付期間の終了条件となる。

【0088】

図８の例では、ユーザは、現場で、個人の薬品の撮影を終了した後、一旦、薬品識別支援システム１０を終了させる。その後、ユーザは、薬局に帰って、薬品識別支援システム１０を起動し、メニュー画面を表示させ（Ｓ１）、画像一括識別を選択する。これにより、識別結果取得部３は、記録されている未識別の画像を、一括して識別システム２０に提供し、識別システム２０からそれらの画像の識別結果を取得し、記憶部６に記録する（Ｓ６～Ｓ９）。各画像の識別システム２０への提供、識別結果の取得、記録及び確認の処理は、図３のＳ６～Ｓ９と同様に実行できる。

【0089】

（識別処理の例）
図９は、識別システム２０の識別処理の例を示すフローチャートである。図９は、薬品載置台５０の載置面に載置された薬品を撮影した画像における薬品の識別処理の例である。図１０は、薬品載置台５０の構成例を示す上面図である。図１０の例では、薬品載置台５０はシート状である。薬品載置台５０の載置面に互いに離間した複数のマーカＭ１～Ｍ４が設けられる。マーカＭ１～Ｍ４を結ぶ線の内側の領域が、薬品を載置する領域、すなわち、撮影対象の領域となる。図１０のマーカＭ１～Ｍ４は、矩形の角に対応する４か所に配置される。この矩形の内側の領域Ｒ１が、薬品を載置する領域となる。マーカＭ１～Ｍ４のそれぞれは、基準色の組み合わせＭ１１～Ｍ１３、Ｍ２１～Ｍ２３、Ｍ３１～Ｍ３３、Ｍ４１～Ｍ４３を含む。この例では、基準色の組み合わせは、赤、緑、青の組み合わせである。基準色の組み合わせは、例えば、画像データにおいて、画素値（階調値）が表す色成分の組み合わせと同じであってもよい。なお、マーカＭ１～Ｍ４の数、形状及び配置は、図１０の例に限られない。例えば、マーカの数は３つ、又は、５つ以上であってもよい。

【0090】

（台形補正の例）
図９において、補正部２１は、薬品の撮影画像に対して、マーカＭ１～Ｍ４の画像における位置に基づく台形補正を実行する（Ｓ２１）。図１１は、台形補正の処理例を示すフローチャートである。図１１の例では、補正部２１が撮影画像Ｃ１を取得する（Ｓ２１１）。補正部２１は、撮影画像Ｃ１における第１基準色の領域を抽出する（Ｓ２１２）。第１基準色は、基準色の組み合わせのうちの１色（例えば、赤）である。Ｓ２１２において、補正部２１は、撮影画像Ｃ１における画素値が所定の範囲の画素を、第１基準色の領域として抽出することができる。画像Ｃ２の白い領域が、Ｓ２１２で抽出された領域である。

【0091】

Ｓ２１３では、補正部２１は、Ｓ２１２で抽出された領域のうち、形状が、マーカＭ１～Ｍ４の第１基準色の形状に近い形状の領域を、マーカＭ１～Ｍ４の数（本例では４）だけ抽出する。画像Ｃ３の白い領域は、Ｓ２１３で抽出された領域である。抽出された領域は、マーカＭ１～Ｍ４のそれぞれの第１基準色に対応する領域である。すなわち、撮影画像におけるマーカＭ１～Ｍ４の領域が抽出される。Ｓ２１３において、もし、マーカＭ１～Ｍ４の全ての領域が抽出できない場合は、他の基準色（第２又は第３の基準色）について、Ｓ２１２及びＳ２１３の抽出処理が実行されてもよい。

【0092】

Ｓ２１３で、補正部２１は、Ｓ２１３で抽出された各領域の代表点を決定する。代表点は、撮影画像Ｃ１におけるマーカＭ１～Ｍ４の位置に対応する点である。補正部２１は、代表点が目標点に近づくように画像を変換する（Ｓ２１４）。一例として、補正部２１は、マーカＭ１～Ｍ４の位置に対応する代表点と、それぞれの目標点の座標を取得する。目標点の座標は、薬品載置台５０の載置面におけるマーカＭ１～Ｍ４の位置に基づいて特定されてもよい。例えば、載置面の法線方向から見たマーカＭ１～Ｍ４の位置を目標点の位置としてもよい。補正部２１は、代表点の座標を目標点の座標に変換する変換行列を求める。変換行列は、透視変換行列であってもよい。補正部２１は、透視変換行列を用いて、撮影画像Ｃ１の全体を透視変換する（Ｓ２１５）。変換後の画像は、台形補正が施された画像すなわち台形補正画像となる。透視変換行列の計算は、例えば、ＯｐｅｎＣＶの関数を用いて実行できる。図１１の画像Ｃ４は、撮影画像Ｃ１を台形補正し、さらにトリミングした画像である。

【0093】

（色補正の例）
補正部２１は、台形補正画像に対して、色補正を施す（図９のＳ２２）。図１２は、色補正の処理例を示すフローチャートである。図１２の例では、台形補正がされた台形補正画像におけるマーカＭ１～Ｍ４のそれぞれの第ｎ基準色（本例では、ｎ＝１、２、３）の画素値（階調値）を決定する（Ｓ２２１）。例えば、補正画像のマーカＭ１～Ｍ４のそれぞれの第ｎ基準色に対応する領域の画素値の平均値を、マーカＭ１～Ｍ４のそれぞれの第ｎ基準色の画素値としてもよい。

【0094】

補正部２１は、マーカＭ１～Ｍ４のそれぞれの第ｎ基準色の画素値を基に、台形補正画像に対して第ｎ基準色成分の色補正を施すための補正値（補正パラメータ）を算出する（Ｓ２２２）。例えば、マーカＭ１～Ｍ４の第ｎ基準色の画素値を同じ又は近くするように、マーカＭ１～Ｍ４の第ｎ基準色の画素に対する補正値を算出してもよい。マーカＭ１～Ｍ４を結ぶ線の内側の領域の画素に対する補正値は、補間、例えば、線形補間によって算出してもよい。

【0095】

補正部２１は、Ｓ２２２で算出された補正値を用いて台形補正画像における第ｎ基準色成分の画素値を補正する（Ｓ２２３）。Ｓ２２１～Ｓ２２３の処理は、各基準色について実行される。これにより、台形補正画像に対して色補正が施される。すなわち、撮影画像に対して、台形補正及び色補正が施された補正画像が得られる。各マーカの基準色のように、載置面で互いに離間し且つ同じ色の領域が、撮影環境の影響により、撮影画像では異なる画素値になる場合がある。各マーカの基準色の組み合わせに基づいて色補正をすることで、このような撮影環境の影響による画素値の変動を修正することができる。

【0096】

図９のＳ２３において、撮影画像に対して、台形補正及び色補正が施された補正画像において、薬品領域が抽出される。一例として、補正部２１は、学習済みモデルを用いて、補正画像における薬品領域を特定する。学習済モデルは、例えば、画像と、画像における薬品の領域を含む学習データセットを教師データとした学習により生成することができる。教師データは、薬品の他、ペンライナーや手書き又は印刷された文字の領域を含んでもよい。学習済みモデルは、例えば、インスタンスセグメンテーションの学習済みモデルを用いることができる。これにより、入力された画像における薬品のそれぞれの領域を薬品領域として抽出することができる。

【0097】

補正部２１は、Ｓ２３で抽出された薬品領域のそれぞれについて、Ｓ２４～Ｓ２６の処理を実行する。Ｓ２４は、薬品領域における刻印又は印刷を抽出する処理である。例えば、薬品領域から刻印又は印刷の特徴を示す特徴画像が抽出される。刻印又は印刷を抽出には、エッジ検出その他変換処理等の予め決められた画像処理によりルールベースで実行されてもよい。又は、例えば、学習済みモデルを用いて刻印又は印刷を抽出することができる。学習済みモデルは、薬品領域の画像と、画像から抽出された刻印又は印刷の特徴とのセットを教師データとする機械学習により生成することができる。学習済みモデルは、例えば、セマンティックセグメンテーションの学習済みモデルであってもよい。

【0098】

Ｓ２５は、Ｓ２４で抽出された刻印又は印刷を、マスタ画像と比較して、一致度（スコア）の高い薬品を候補薬品として決定するマッチング処理である。マッチング処理は、例えば、テンプレートマッチングである。マスタ画像は、薬品の刻印及び印刷のマスタ画像を用いることができる。Ｓ２６において、補正部２１は、薬品領域における薬品の識別結果を出力する。識別結果には、候補薬品の情報が含まれる。

【0099】

図９は、薬品自体を撮影した画像に対する識別処理の例である。例えば、対象の薬品の態様が、裸錠又は薬包であった場合、いずれも図９の処理を適用可能である。裸錠の識別処理と、薬包の識別処理は、異なっていてもよい。例えば、図９におけるＳ２３のｆ抽出処理及びＳ２４の刻印印刷抽出処理が、裸錠の場合と、薬包の場合とで異なっていてもよい。

【0100】

（薬品のテキストの画像に対する識別処理の例）
図１３は、薬品のテキストの画像に対する識別処理の例を示すフローチャートである。図１３の例では、識別システム２０は、画像に対して文字認識処理を実行する（Ｓ３１）。文字認識処理は、既存のＯＣＲ技術を用いて実行できる。文字認識処理は、画像に対する二値化処理及びエッジの平滑化処理等の前処理を含んでもよい。識別システム２０は、Ｓ３１で認識された文字を、連結又は分離することで、薬品識別に適した文字列にする（Ｓ３２）。例えば、認識された文字の位置及び大きさに基づいて、文字を連結又は分離することで薬品識別の対象となる文字列が生成される。Ｓ３２で生成された文字列をマスタの薬品名と比較することで、文字列に一致度の高い候補薬品が決定される（Ｓ３３）。このマッチング処理では、文字列とマスタ薬品名の文字列との一致度（相違度）を示す距離（スコア）が計算される。距離は、例えば、一方の文字列を他方の文字列に変形するのに必要な挿入、削除又は置換の回数に基づいて計算されてもよい。Ｓ３３で決定された候補薬品の情報が、識別結果として薬品識別支援システム１０へ出力される（Ｓ３４）。識別結果には、候補薬品の薬品を特定する情報の他、画像における識別された薬品記載の位置（薬品記載領域）が含まれてもよい。

【0101】

識別システム２０による画像に対する文字認識処理は、画像における薬品名が記載されている可能性が高い候補領域を限定する候補領域限定処理を含んでもよい。この場合、候補領域限定処理で限定された領域について文字認識処理が実行される。候補領域限定処理は、例えば、二値化された画像において罫線部分を除去する処理、及び二値化された画像で抽出される輪郭のうち文字として扱えない細かい輪郭を除去する処理の少なくとも１つを含んでもよい。これにより、文字認識処理において、画像の薬品名が記載されている可能性が高い部分に対してＯＣＲ処理を実行できる。そのため、処理時間短縮及び認識精度向上が可能になる。

【0102】

罫線部分を除去する処理は、例えば、二値化された画像に対してフィルタリングにより画像の横方向（水平方向）に強いエッジ及び縦方向（垂直方向）に強いエッジを抽出する処理、及び、抽出されたエッジを含む領域をマスクとして、マスク領域を除去する処理を含んでもよい。マスクは、例えば、横方向に強いエッジを反転させた横マスクと、縦方向に強いエッジを反転させた縦マスクを合成した合成マスクとすることができる。

【0103】

細かい輪郭を除去する処理は、例えば、二値化された画像における輪郭群において隣接する輪郭を結合する処理と、結合処理後に残った輪郭のうち所定の大きさに満たないものを除去する処理とを含んでもよい。輪郭を結合する処理は、例えば、二値化された画像を反転した画像の白部分の輪郭群のうち所定距離内にあるものを互いに結合する処理を含んでもよい。細かい輪郭を除去する処理により、薬品名記載部分の周辺のノイズを除去できる。

【0104】

また、上記の罫線部分を除去する処理によって罫線部分が除去された画像に対して、上記の細かい輪郭を除去する処理を実行することで、より正確に、薬品名候補領域を限定することができる。例えば、罫線部分が除去された画像を反転させた画像において、隣接する輪郭を結合してもよい。

【0105】

（薬品載置台の変形例）
図１４は、薬品載置台の変形例を示す上面図である。図１４の例では、載置面にグリッド線が描かれている。グリッド線Ｌ１は、マーカＭ１～Ｍ４を結ぶ線（仮想線）の内側の領域において、複数の区画を示す。グリッド線Ｌ１で示される１つの区間は、１錠の裸錠が載置可能な広さに設定される。

【0106】

裸錠の裏と表の両面を撮影する際に、グリッド線Ｌ１で示される複数の区間の少なくとも１つの区間において、１区間につき１錠が載置される。ユーザは、１区間につき１錠の錠剤をおいて１回目の撮影をする。画像記録部２は、１回目の画像を記録する。次に、ユーザは、各区間の錠剤のひっくり返す、すなわち、上下を逆にして２回目の撮影をする。画像記録部２は、２回目の画像を、１回目の画像と対応付けて記憶部６に記録する。

【0107】

このように、画像記録部２は、錠剤の両面の画像の入力を受け付けることができる。この場合、画像記録部２は、ユーザから、薬品の態様の指定として、裸錠の両面又は片面の指定を受け付ける。裸錠の両面が指定された場合、画像記録部２は、ユーザに対して、１区画につき１錠を載置する指示を通知し、１回目の撮影を受け付ける。１回目の撮影後に、各区画内で錠剤をひっくり返して２回目の撮影をする指示をユーザに通知し、２回目の撮影を受け付ける。

【0108】

１回目及び２回目の撮影により、各区画の錠剤の表面の画像と裏面の画像が互いに対応付けられて記憶部６に記録される。識別結果取得部３は、これらの２枚の画像を錠剤の両面の画像として、識別システム２０に提供する。識別システム２０は、１つの錠剤について表面と裏面の両面の画像を用いて識別処理を実行することができる。これにより、識別精度が向上する。また、転がりやすい形状の錠剤をひっくり返した場合に、錠剤の位置がずれることにより錠剤の表面の画像と裏面の画像の対応を誤って識別処理する可能性が低くなる。

【0109】

図１５は、薬品載置台５０の他の変形例を示す斜視図である。図１５に示す薬品載置台５０は折り畳み可能に構成される。図１５（ａ）は、折り畳まれた状態の薬品載置台５０を示す。図１５（ｂ）及び図１５（ｃ）は、薬品載置台５０の開いた状態を示す。薬品載置台５０は、蝶番（ヒンジ）で接続された２枚の板部５０１、５０２を有する。図１５の例では、折り畳まれた状態では、２枚の板部５０１、５０２の載置面５０ａが外側に、２枚の板部５０１、５０２の載置面５０ａの裏面５０ｂが内側になる。すなわち、薬品載置台５０は、裏面５０ｂが内側になるように折り畳み可能に構成される。薬品載置台５０は、載置面５０ａが内側になる向きに折れないように構成される。薬品載置台５０が開いた状態では、２枚の板部５０１、５０２の載置面５０ａが同じ平面上に配置される。薬品載置台５０は、開いた状態で載置面５０ａを上にして使用される。

【0110】

図１５の例では、薬品載置台５０の裏面５０ｂには、開いた状態を保持するためのストッパ５１がスライド可能に設けられる。ストッパ５１は、板部５０１と板部５０２に設けられたガイド５２に沿ってスライド可能に設けられる。ガイド５２は、例えば、２枚の板部５０１、５０２の裏面５０ｂに設けられた溝又はリブで構成されてもよい。薬品載置台５０が開いた状態において、ストッパ５１は、２枚の板部５０１、５０２の両方に渡って配置される第１の位置と、２枚の板部５０１、５０２のうち一方のみに配置される第２の位置との間で、スライド可能である。ストッパ５１が第１の位置にある時には、ストッパ５１によって、薬品載置台５０の開いた状態が保持される。すなわち、開いた薬品載置台５０は、第１の位置にあるストッパ５１によって折れない状態となる。ストッパ５１が第２の位置にある時は、薬品載置台５０は、裏面５０ｂが内側になるように折り畳み可能である。

【0111】

薬品載置台５０にストッパ５１を設けることで、薬品載置台５０は、開いた状態で持ち上げられても、折れずに開いた状態を維持できる。そのため、薬品載置台５０が折れることで、薬品が載置面５０ａから落ちることが防がれる。これにより、薬品を載せた状態で薬品載置台５０を持ち上げて移動させることが容易になる。また、裏面５０ｂにスライド可能に取り付けられたストッパ５１により、薬品載置台５０をコンパクトにしつつ、開いた状態を維持できる。例えば、トルクヒンジ等を用いる構成に比べて、薬品載置台５０をコンパクトにできる。

【0112】

ストッパ５１は、例えば、図１５に示すように、スライド方向を長手方向とする板で形成されてもよい。ストッパ５１の材料は、特に限定されないが、例えば、金属又は樹脂であってもよい。例えば、ストッパ５１をステンレス材（ＳＵＳ材）で形成することで、薄くて曲げ応力が高いストッパ５１を構成できる。

【0113】

薬品載置台５０は、ストッパ５１を第１の位置及び第２の位置の少なくとも一方で係止する係止部材をさらに備えてもよい。図１６は、係止部材の例として、磁石５３ａ、５３ｂを設けた薬品載置台５０の構成例を示す斜視図である。図１６の例では、ストッパ５１は、磁石に引き寄せられる材料で形成される。第１の位置のストッパ５１と載置面５０ａに垂直な方向から見て重なる位置に磁石５３ａが配置される。第１の位置でストッパ５１を磁石５３ａに引き寄せる力が作用することで、ストッパ５１が第１の位置で係止される。また、図１６の例では、第２の位置のストッパ５１と載置面５０ａに垂直な方向から見て重なる位置に磁石５３ｂが配置される。第２の位置でストッパ５１を磁石５３ｂに引き寄せる力が作用することで、ストッパ５１が第２の位置で係止される。なお、係止部材は、磁石に限らない。例えば、第１の位置及び第２の位置の少なくとも一方でストッパ５１と係合する突起又は凹部を係止部材としてもよい。

【0114】

（薬品載置台のＩＣタグの例）
図１４の例では、薬品載置台５０は、ＩＣタグＴを備える。ＩＣタグＴは、薬品載置台５０の表面に貼付又は内部に埋め込まれる。ＩＣタグＴは、近距離の無線通信により読み取り可能なデータを保持する。ＩＣタグＴは、ＲＦＩＤタグである。ＩＣタグＴは、例えば、ＮＦＣ（Near Field Communication）規格の通信可能なＮＦＣタグであってもよい。ＩＣタグの通信規格は、ＮＦＣに限定されず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は、その他のＲＦＩＤの規格であってもよい。

【0115】

ＩＣタグＴは、コンピュータが所定のアプリケーションを起動するためのデータを保持する。ＩＣタグＴは、薬品識別支援システム１０を構成するコンピュータに、薬品識別支援システム１０に関連するアプリケーションを実行させるためのデータを記録する。薬品識別支援システム１０を構成するコンピュータは、ＩＣタグＴのデータを読み取る無線通信部を備えてもよい。例えば、図２に示す携帯端末３０は、無線通信部として、ＩＣタグＴのデータを読み取るリーダを有してもよい。コンピュータは、ＩＣタグＴから読み取られたデータを用いて所定のアプリケーションを実行する。

【0116】

一例として、ＩＣタグＴは、薬品識別支援システムの少なくとも一部の機能を実現するアプリケーションを起動するためのデータを記録してもよい。この場合、アプリケーションがインストールされたコンピュータが、薬品載置台５０に近づくと、ＩＣタグＴのデータを用いて、自動的にアプリケーションを実行することできる。例えば、コンピュータを薬品載置台５０に近づけることで自動的に薬品識別支援システム１０のアプリケーションが起動するようＩＣタグＴに起動のためのデータを記録しておくことができる。

【0117】

ＩＣタグＴのデータで実行されるアプリケーションは、薬品のＧＳ１コードを用いて薬品の情報を取得する処理を実行するアプリケーションであってもよい。一例として、薬品の包装上のＧＳ１バーコードを読み取り、ＧＳ１バーコードの情報を用いて、データベースにおけるＧＳ１バーコードの情報で特定される薬品に関する情報（例えば、独立行政法人医薬品医療機器総合機構（ＰＭＤＡ）が提供する添付文書情報等）を閲覧可能にするアプリケーションであってもよい。

【0118】

薬品載置台５０は、折り畳み可能であってもよい。例えば、載置台は、２つ折りできるよう構成されてもよい。薬品載置台５０の載置面は、例えば、光が反射しにくい材料で形成されてもよい。これにより、外乱光による薬品の誤識別を発生しにくくできる。発明者らは、例えば、撮影環境における照明の光が載置面の狭い範囲に集中して反射することにより、撮影画像にハレーションのように反射光が写り、これが錠剤と識別される場合があることに気が付いた。薬品載置台５０を載置面は、光が反射しにくい材料で形成することにより、誤識別を抑制できる。また、同様の観点から、載置面の色は、黒であることが好ましい。一例として、載置面に光が反射しにくい材料のシートが貼り付けられてもよい。光が反射しにくい材料としては、例えば、ポリカーボネートが挙げられる。また、光が反射しにくい材料のシートは、反射抑制機能を有する光学薄膜であってもよい。光学薄膜は、例えば、アンチグレアフィルム又はアンチリフレクションフィルムであってもよい。

【0119】

薬品載置台５０は、例えば、シリコーン樹脂で形成されてもよい。これにより、薬品載置台５０をアルコールで清掃できる。また、薬品載置台５０の載置面のグリップ力が高くなり、載置面で薬品が滑りにくくなる。一例として、薬品載置台５０は、黒色シリコンゴムで形成されてもよい。黒色シリコンゴムの表面にマーカ等を印刷したシートを薬品載置台５０とすることができる。これにより、薄いシートでコンパクトな薬品載置台５０を構成できる。

【0120】

図１７は、図２のＳ４において、ユーザから画像の入力を受け付ける画面の変形例を示す図である。図１７の例では、画像記録部２がユーザから、撮影操作とともに、識別対象範囲の指定を受け付ける。画面Ｇ３－６では、撮影画面のモニタ領域Ａ１において、識別対象範囲を示す枠Ｋ１が画像に重畳して表示される。枠Ｋ１の位置及び大きさがユーザにより操作可能にされる。ユーザは、撮影操作をしながら、リアルタイムで枠Ｋ１を操作することで、識別対象範囲を指定することができる。例えば、ユーザは、ズーム動作により枠Ｋ１の範囲を変えることができる。

【0121】

例えば、図１７のように、薬品載置台５０のマーカＭ１～Ｍ４で示される薬品を載置する領域Ｒ１には、複数の薬包が入る場合がある。このような場合に、ユーザは、識別対象範囲として、１包分の範囲を指定することができる。画像記録部２は、ユーザに指定された識別対象範囲の座標を、撮影画像とともに記憶部６に記録する。識別結果取得部３は、画像と識別対象範囲を示すデータを、識別システム２０に提供する。識別システム２０では、１包分の薬品の識別処理が可能になる。これにより、処理時間を短縮できる。また、識別結果を、１包ごとに区別して記録することができる。

【0122】

図１７の例では、撮影画面に、薬品載置台５０のマーカＭ１～Ｍ４が含まれる。画像記録部２は、撮影画面におけるマーカＭ１～Ｍ４の位置を検出してもよい。画像記録部２は、マーカＭ１～Ｍ４の位置に基づいて、ユーザに撮影指示を出力してもよい。例えば、撮影画面に全てのマーカＭ１～Ｍ４が含まれていない場合に、全てのマーカＭ１～Ｍ４が撮影範囲に入れることをユーザに促すメッセージが出力されてもよい。また、マーカＭ１～Ｍ４の内側の領域Ｒ１の形状が、台形補正可能な範囲にないと判断される場合に、カメラの角度を変えることをユーザに促すメッセージが出力されてもよい。また、画像記録部２は、カメラの撮影画像のマーカで囲まれる領域Ｒ１における識別対象範囲Ｋ１の指定をユーザから受け付けることができる。

【0123】

画像記録部２は、複数のマーカＭ１～Ｍ４を含む薬品載置台５０に載置された薬品を撮影して得られる画像の入力を受け付ける。画像記録部２は、上記例のように、複数のマーカＭ１～Ｍ４の全てのマーカを含む画像の入力を受け付けてもよい。変形例として、画像記録部２は、複数のマーカＭ１～Ｍ４のうち１つのマーカのみを含む撮影画像の入力を受け付けてもよい。なお、本変形例においては、１つのマーカは、複数の２色以上の基準色の組み合わせを含んでもよいし、１色のみであってもよい。この場合、識別システム２０の補正部２１は、撮影画像に含まれる１つのマーカの寸法から、画像における薬品（薬品領域）のサイズ補正を実行してもよい。また、補正部２１は、撮影画像に含まれる１つのマーカの形状に基づく寸法補正（例えば、台形補正）を、撮影画像に対して施してもよい。また、補正部２１は、撮影画像に含まれる１つのマーカの位置に基づいて、撮影画像における識別対象領域を決定してもよい。これにより、複数のマーカＭ１～Ｍ４の全てを含む撮影画像よりも、薬品に対して近接した位置で撮影した近接撮影画像を取得できる。近接撮影画像から薬品を識別することで、薬品の刻印等がより明瞭になった撮影画像から薬品を識別できる。そのため、識別精度を高めることができる。

【0124】

画像記録部２は、例えば、複数のうち１つのマーカのみを含む撮影画像における１つのマーカが近接撮影条件を満たす場合に、その撮影画像を近接撮影画像として受け付け、記録してもよい。近接撮影条件は、例えば、撮影画像におけるマーカの大きさ又は形状の少なくとも１つに関する条件を含んでもよい。一例として、撮影画像におけるマーカの大きさ（サイズ）が閾値以上であることが近接撮影条件に含まれてもよい。マーカの大きさは、例えば、マーカの辺の長さにより判断されてもよい。マーカの大きさを条件とすることで、１つのマーカを用いた補正に適した画像が得られる。また、撮影画像におけるマーカの傾きが許容範囲内であることが近接撮影条件に含まれてもよい。マーカの傾きは、例えば、マーカの辺の水平又は垂直方向に対する傾きにより判断されてもよい。マーカの傾きを条件とすることで、１つのマーカを用いた薬品領域決定に適した画像が得られる。

【0125】

画像記録部２は、撮影操作を受け付ける際に、撮影条件が近接撮影条件を満たしているか否かをユーザに対して出力してもよい。また、画像記録部２は、撮影画面におけるマーカの形態に基づいて、ユーザに撮影指示を出力してもよい。例えば、撮影画面に複数のマーカＭ１～Ｍ４のうち１つのマーカのみが含まれており、そのマーカの形態が近接撮影条件を満たさない場合に、近接撮影条件を満たすための撮影指示をユーザに出力してもよい。例えば、マーカの大きさが閾値より小さい場合に、カメラをより載置面に近づけるための指示が出力されてもよい。また、マーカの傾きが許容範囲外の場合、カメラの光軸を載置面に垂直な方向に近づけるための指示が出力されてもよい。

【0126】

画像記録部２は、複数のマーカＭ１～Ｍ４の全てを撮影範囲とする全マーカ撮影モードと、複数のマーカＭ１～Ｍ４のうち１つのマーカのみを撮影範囲とする近接撮影モードとの切り替えの操作をユーザから受け付けてもよい。又は、画像記録部２は、撮影範囲に含まれるマーカの形態に応じて、全マーカ撮影モード及び近接撮影モードを自動的に切り替えてもよい。

【0127】

識別システム２０の補正部２１は、撮影画像に含まれる１つのマーカに基づく寸法補正として、マーカの大きさに基づく薬品のサイズ補正を実行してもよい。例えば、撮影画像において認識された薬品領域の部分画像のサイズ（例えば、部分画像の辺の長さ）を、撮影画像におけるマーカの大きさ（例えば、辺の長さ）に対して所定の比率になるよう補正することができる。また、補正部２１は、マーカの形状に基づく台形補正を実行してもよい。台形補正として、例えば、撮影画像におけるマーカの形状が、目標形状（例えば、正方向又は長方形）に近づくよう画像を変換する処理が実行されてもよい。補正部２１は、例えば、１つのマーカとして１色（例えば、赤）のマーカの形状に基づいて寸法補正を実行してもよい。

【0128】

補正部２１は、１つのマーカの位置に基づく識別対象領域を決定薬品領域決定として、例えば、マーカの位置によってマスキングする領域を変える処理が実行されてもよい。マスキングは、例えば、１つのマーカの周辺のマスキング、及び、マーカを基準とした線を境とするマスキングの組み合わせであってもよい。マーカを基準とした線は、例えば、マーカから水平方向に延びる線及び垂直方向に延びる線としてもよい。線のどちら側をマスキングするかは、撮影画像におけるマーカの位置に応じて決定されてもよい。補正部２１は、例えば、１つのマーカとして１色（例えば、赤）のマーカに基づいてマスキングを決定してもよい。或いは、１つのマーカとして２色以上の基準色（例えば、赤、緑、青）のマーカに基づいてマスキングを決定してもよい。

【0129】

図１８は、個人記録部１により記憶部６に記録された個人の一覧を表示する画面の例を示す図である。例えば、図２のＳ１で表示されるメニュー画面Ｇ１で「個人一覧」をユーザが選択した場合に、個人一覧画面が表示される。図１８の個人一覧を表示する画面Ｇ１－１には、地図が表示される。個人を示す情報が、地図上の撮影地点と対応付けられて表示される。撮影地点は、対応する個人の薬品の画像が撮影された地点である。地図に表示された撮影地点をユーザが指定すると、その個人の個人情報画面Ｇ１－２に遷移する。

【0130】

記憶部６に記録された画像は、ＥＸＩＦ情報として画像の撮影場所を含んでもよい。記憶部６の画像は、個人を識別する固有データに対応付けられている。そのため、固有データで識別される個人の情報（例えば、名前、年齢等）と、画像の撮影場所が紐づけられる。薬品識別支援システム１０は、固有データで識別される個人の情報と、固有データに対応付けられた画像の撮影場所とを取得する。薬品識別支援システム１０は、取得した個人の情報と撮影場所を基に、地図上に、個人の情報を撮影場所と対応付けて表示する。図１８の例では、地図に表示される個人の情報として、名前又は固有データ、撮影日時、及び撮影枚数が含まれる。また、図１８の例では、撮影地点で撮影された画像が、識別システム２０に送信済みか否かが把握できる形態で表示される。

【0131】

このように、地図上の撮影地点と個人情報を対応付けて表示することで、ユーザは、個人の薬品の画像をどこで撮影したかを視覚的に把握できる。また、地図上で個人が選択可能に表示されるため、ユーザは、直感的な操作で所望の情報にアクセスできる。

【0132】

図１８の例では、個人情報が、画像の撮影地点と対応付けられて表示される。この変形例として、個人情報が、新規記録の地点と対応付けられて表示されてもよい。個人記録部１は、ユーザが個人の新規記録の指示入力をした場合に、新規記録の指示入力の場所に基づき固有データを生成することができる。この場合、固有データに新規記録の場所を示す情報が含まれる。薬品識別支援システム１０は、記憶部６の固有データで識別される個人の情報と、固有データに含まれる新規記録の場所を基に、地図上に、個人の情報を新規記録の地点と対応付けて表示することができる。

【0133】

薬品識別支援システム１０は、ユーザから指定された薬品のＧＳ１コードを取得し、ＧＳ１コードを用いて薬品の添付文書を取得して出力する添付文書出力部を備えてもよい。ＧＳ１コードの取得は、例えば、薬品の包装のＧＳ１バーコードのカメラでの撮影、識別システム２０の識別結果、又は、薬品名を基にしたＧＳ１コード検索、のいずれかによって取得することができる。ＧＳ１コードを用いた薬品の添付文書の取得は、例えば、ＧＳ１コードに対応する薬品の添付文書を提供する外部システムから取得してもよい。又は、又は薬品識別支援システム１０は、識別システム２０が有する薬品マスタデータに対応付けられた添付文書のデータを取得してもよい。添付文書の出力形式は、特に限定されず、例えば、表示、送信又は記録であってもよい。

【0134】

（識別結果の共有例）
薬品識別支援システム１０は、識別結果を、バーコード又は２次元コードに変換し画面に表示又はプリントアウトしてもよい。又は、識別システム２０が、識別結果を、ネットワークを介して閲覧可能な形式で保持してもよい。識別システム２０は、識別結果のデータを提供するＷｅｂサーバを含んでもよい。これにより、外部からＷｅｂブラウザで、識別システム２０の識別結果が閲覧可能になる。

【0135】

薬品識別支援システム１０は、ユーザの操作に応じて、薬品の識別結果をテキストデータにしたものを、貼り付け可能な状態で一時的に保存する、いわゆるクリップボードにコピーする機能を有してもよい。これにより、識別結果を利用するためのユーザ操作が簡単になる。例えば、ユーザが個人を指定して識別結果の出力を指示する操作をした場合、指定された個人の薬品の識別結果を示すテキストデータをクリップボードにコピーしてもよい。この場合、指定された個人の固有データに対応付けられた画像を基に識別された薬品を示すテキストデータが貼り付け可能な状態で一時的に保存されてもよい。一例として、ユーザが個人の薬品の識別結果を示すバーコード又は２次元コードの出力を指示する操作をした場合に、その個人の薬品の識別結果を示すテキストデータがクリップボードにコピーされてもよい。また、一時的に保存されるテキストデータのフォーマットをユーザが選択可能としてもよい。

【0136】

上記の実施形態における薬品識別支援システム及び識別システムは、例えば、患者に処方された薬を鑑別するための薬品鑑別支援システム及び鑑別システムとして用いることができる。上記実施形態の識別を、鑑別とすることができる。これにより、医療現場で想定される様々な状況に適した鑑別の支援、又は鑑別が可能になる。また、薬品識別支援システム及び識別システムにおいて、識別の対象となり得る薬品には、医師が処方する薬品の他、処方せんなしに購入できるＯＴＣ薬品（市販薬）も含まれる。また、識別の対象となり得る薬品は、患者の持参薬であってもよいし、病院内で返品された薬（返品薬）であってもよい。

【0137】

薬品載置台の実施形態は、上記例に限られない。例えば、薬品載置台は、薬品載置面の外側に上方に延びる壁を有してもよい。壁により、薬品が載置面の外側へ出るのを防ぐことができる。この場合、マーカは、載置面に設けられてもよいし、壁の一部に設けられてもよい。例えば、載置面の４つの角のうち少なくとも２つの角に対応する位置の壁の上面にマーカが配置されてもよい。一例として、薬品載置台は、凹部を有する上方に開口した容器で形成されてもよい。この場合、凹部の底面が載置面となり、載置面を囲む容器の側壁が壁となる。また、薬品載置台の壁は、載置台の薬品を撮影するカメラを支持するための支持部を有してもよい。これにより、支持部により、載置台の薬品の撮影に適した位置でカメラを支持できる。なお、１つのマーカは、上記例のように、複数の２色以上の基準色の組み合わせを含んでもよいし、１色のみ（例えば、赤、青、緑のうちいずれか１色）であってもよい。

【0138】

上記の実施形態は、本発明の例であって、本発明は、この例に限られない。また、上記の実施形態で説明する構成及び処理機能は取捨選択して任意に組み合わせることも可能である。

【符号の説明】

【0139】

１：個人記録部、２：画像記録部、３：識別結果取得部、４：グループ決定部、５：重複候補表示部、１０：薬品識別支援システム、２０：識別システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】