IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルムRIファーマ株式会社の特許一覧

特開2023-119446医療品情報登録システム、医療品情報登録方法、情報処理装置、医療情報システム及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023119446
(43)【公開日】2023-08-28
(54)【発明の名称】医療品情報登録システム、医療品情報登録方法、情報処理装置、医療情報システム及びプログラム
(51)【国際特許分類】
   G16H 70/40 20180101AFI20230821BHJP
【FI】
G16H70/40
【審査請求】未請求
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2022022358
(22)【出願日】2022-02-16
(71)【出願人】
【識別番号】000149837
【氏名又は名称】富士フイルム富山化学株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】高島 正伸
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA00
5L099AA25
(57)【要約】
【課題】医療情報システムの医療品マスタデータベースに不足する医療品マスタ情報を簡便に登録でき、正確性及び即時性を担保することができる医療品情報登録システム、医療品情報登録方法、情報処理装置、医療情報システム及びプログラムを提供する。
【解決手段】医療品情報登録システムは、医療品を識別又は検索する処理と、第1の医療品マスタデータベースから、識別又は検索によって特定された医療品名と該当する医療品に関する別情報のテキスト情報とをコード化して第1の情報コードを作成する処理と、第1の情報コードを出力させる処理と、を実行する1つ以上の第1のプロセッサを含む第1の情報処理装置と、第1の情報コードを読み取るコード読取装置と、第1の情報コードから読み取った情報を医療情報システムの第2の医療品マスタデータベースに取得させる1つ以上の第2のプロセッサと、を含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
1つ以上の第1のプロセッサと、第1の医療品マスタデータベースが記憶される第1の記憶装置と、を含み、前記1つ以上の前記第1のプロセッサが、
医療品を識別又は検索する処理と、
前記第1の医療品マスタデータベースから、前記識別又は前記検索によって特定された医療品名と該当する前記医療品に関する別情報とのテキスト情報をコード化して第1の情報コードを作成する処理と、
前記第1の情報コードを出力させる処理と、
を実行する第1の情報処理装置と、
前記出力された前記第1の情報コードを読み取るコード読取装置と、
前記第1の情報コードから読み取った情報を医療情報システムの第2の医療品マスタデータベースに取得させる1つ以上の第2のプロセッサと、
を備える、
医療品情報登録システム。
【請求項2】
前記第1の情報処理装置は、前記第1の情報コードを表示する第1の表示装置を備える、請求項1に記載の医療品情報登録システム。
【請求項3】
前記第1の情報処理装置は、カメラと、前記第1の表示装置としてのタッチパネルディスプレイと、を備える携帯情報端末である、
請求項2に記載の医療品情報登録システム。
【請求項4】
前記第1の情報コードを印刷するプリンタを備える、
請求項1から3のいずれか一項に記載の医療品情報登録システム。
【請求項5】
前記1つ以上の前記第2のプロセッサは、前記第1の情報コードから読み取った情報である第1の医療品情報を前記第2の医療品マスタデータベースに登録する際に、前記第1の医療品情報を前記第2の医療品マスタデータベースと照合し、前記第1の医療品情報が前記第2の医療品マスタデータベースに未登録である場合に、前記第2の医療品マスタデータベースに前記第1の医療品情報を追加する、
請求項1から4のいずれか一項に記載の医療品情報登録システム。
【請求項6】
前記医療情報システムは、
前記1つ以上の前記第2のプロセッサと、
前記第2の医療品マスタデータベースが記憶される第2の記憶装置と、
を備える、請求項1から5のいずれか一項に記載の医療品情報登録システム。
【請求項7】
前記医療情報システムは、
前記第2の医療品マスタデータベースを含むサーバと、
前記サーバに対して通信回線を介して接続される第2の情報処理装置と、を備え、
前記コード読取装置は、前記第2の情報処理装置に接続され、
前記サーバ及び前記第2の情報処理装置の少なくとも一方は、前記1つ以上の前記第2のプロセッサを含む、
請求項1から6のいずれか一項に記載の医療品情報登録システム。
【請求項8】
前記第1の情報処理装置は、インターネットに接続する通信装置を備え、
前記1つ以上の前記第1のプロセッサは、前記インターネットを介して最新の医療品マスタを取得することにより、前記最新の医療品マスタを前記第1の医療品マスタデータベースに取り込み、前記第1の医療品マスタデータベースを更新する、
請求項1から7のいずれか一項に記載の医療品情報登録システム。
【請求項9】
前記1つ以上の前記第1のプロセッサは、
前記医療品の識別結果又は検索結果を示すテキスト情報をコード化して第2の情報コードを作成する処理と、
前記第2の情報コードを出力させる処理と、を実行し、
前記1つ以上の前記第2のプロセッサは、
前記コード読取装置を用いて前記第2の情報コードから読み取った前記識別結果又は前記検索結果を示す情報を前記医療情報システムに登録する、
請求項1から8のいずれか一項に記載の医療品情報登録システム。
【請求項10】
前記1つ以上の前記第2のプロセッサは、
前記第2の情報コードから読み取った前記識別結果又は前記検索結果を示す情報である第2の医療品情報を前記第2の医療品マスタデータベースと照合し、
前記第2の医療品情報の中に、前記第2の医療品マスタデータベースに未登録の医薬品に関する情報が含まれている場合に、前記未登録の医療品を特定する情報を出力させる処理を行う、
請求項9に記載の医療品情報登録システム。
【請求項11】
前記医療情報システムは、前記未登録の医薬品を特定する情報を含むメッセージを表示する第2の表示装置を含む、
請求項10に記載の医療品情報登録システム。
【請求項12】
前記1つ以上の前記第1のプロセッサは、前記識別結果又は前記検索結果を表示する画面に、前記第1の情報コードの作成の指示を受け付ける操作ボタンを表示させ、
前記第1の情報コードの作成の指示を受けた場合に、前記第1の医療品マスタデータベースから該当する医薬品の情報をコード化して前記第1の情報コードを作成する、
請求項9から11のいずれか一項に記載の医療品情報登録システム。
【請求項13】
前記医療情報システムは、電子カルテシステムを含む、
請求項1から12のいずれか一項に記載の医療品情報登録システム。
【請求項14】
医療品を識別又は検索することにより特定された医療品に関する情報を医療情報システムに登録する医療品情報登録方法であって、
1つ以上の第1のプロセッサが、
医療品を識別又は検索する処理と、
第1の医療品マスタデータベースから、前記識別又は前記検索によって特定された医療品名と該当する前記医療品に関する別情報とのテキスト情報をコード化して第1の情報コードを生成する処理と、
前記第1の情報コードを出力させる処理と、を実行することと、
前記1つ以上の第1のプロセッサが出力させた前記第1の情報コードをコード読取装置によって読み取ることと、
前記第1の情報コードから読み取った情報を、1つ以上の第2のプロセッサが前記医療情報システムの第2の医療品マスタデータベースに取得させることと、
を含む、
医療品情報登録方法。
【請求項15】
1つ以上の第1のプロセッサと、第1の医療品マスタデータベースが記憶される第1の記憶装置と、を含み、
前記1つ以上の前記第1のプロセッサは、
医療品を識別又は検索する処理と、
前記第1の医療品マスタデータベースから、前記識別又は前記検索によって特定された医療品名と該当する前記医療品に関する別情報のテキスト情報とをコード化して第1の情報コードを作成する処理と、
前記第1の情報コードを出力させる処理と、
を実行する、情報処理装置。
【請求項16】
請求項15に記載の情報処理装置を用いて医療品を識別又は検索することにより特定された医療品に関する情報の入力を受け付ける医療情報システムであって、
1つ以上の第2のプロセッサと、第2の医療品マスタデータベースが記憶される第2の記憶装置と、を含み、
前記1つ以上の前記第2のプロセッサは、
コード読取装置を用いて前記第1の情報コードから読み取られた情報を取得し、
前記第1の情報コードから読み取られた情報を前記第2の医療品マスタデータベースに取得させる、
医療情報システム。
【請求項17】
コンピュータに、
第1の医療品マスタデータベースを記憶させる機能と、
医療品を識別又は検索する機能と、
第1の医療品マスタデータベースから、前記識別又は前記検索によって特定された医療品名と該当する前記医療品に関する別情報のテキスト情報とをコード化して第1の情報コードを作成する機能と、
前記第1の情報コードを出力させる機能と、
を実現させるプログラム。
【請求項18】
請求項17に記載のプログラムを実行する第1のコンピュータとは異なる第2のコンピュータに、
第2の医療品マスタデータベースを記憶させる機能と、
コード読取装置を用いて前記第1の情報コードから読み取られた情報を取得する機能と、
前記第1の情報コードから読み取られた情報を前記第2の医療品マスタデータベースに取得させる機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療品情報登録方法、情報処理装置、医療情報システム及びプログラムに係り、特に電子カルテなどの医療情報システムに医療品に関する情報を登録する情報処理技術に関する。
【背景技術】
【0002】
病院などの医療機関における業務を支援する医療情報システムは、医薬品マスタなど各種のマスタデータベースを備えている。特許文献1には、電子カルテシステムの記憶装置に、医薬品マスタ、病名マスタ、医療行為マスタ等の各種データベースが記憶される構成が記載されている。
【0003】
特許文献2には、薬剤仕分装置において扱われる薬剤の種類を特定するために用いられる薬剤データベースに、新たな薬剤に関する薬剤データを追加してデータベースを更新する構成が記載されている。
【0004】
特許文献3には、バーコードを利用し、医薬品インジェクタシステムに関連する医薬品データベースをオフライン更新するシステムが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008-71365号公報
【特許文献2】特開2022-245号公報
【特許文献3】特許第6976259号
【発明の概要】
【発明が解決しようとする課題】
【0006】
薬剤及び医療材料など医療品の種類は膨大な数であり、病院ごとに使用される医療品の種類も様々である。各医療機関の医療情報システム内に備える医薬品マスタなどのマスタデータベースは、必ずしも全ての医療品に関する情報を網羅できておらず、システム内のマスタデータベースに登録されていない医薬品等を扱う場合も多い。
【0007】
例えば、一般的な電子カルテシステムは、自院にない薬を持参薬として鑑別して医薬品名を入力しその後に持参薬の使用をオーダリングしようとしても、そもそも電子カルテ側の医薬品マスタデータベースに、該当する医薬品の情報が登録されておらず、医薬品マスタの登録作業を並行して実施しなければならないことがある。また、新しく収載された医薬品又は医療材料などのマスタ登録が適宜更新されていないことがあると、院内の監査やトレーサビリティ業務に支障が出ることもある。
【0008】
このように、医療情報システムの医療品マスタは、必要に応じて随時に新たなマスタ情報を追加して更新することが求められるが、データの入力項目が多く手入力では手間がかかり、正確性及び即時性を担保することも難しい。医療情報システム内の医療品マスタデータベースをネットワーク経由で最新のマスタに自動更新することも考えられるが、カルテなどの医療情報は秘匿性が高い情報が含まれていることなどもあり、外部のシステムとのネットワーク連携に消極的な医療機関も多い。
【0009】
本開示はこのような事情に鑑みてなされたもので、医療品の識別又は検索によって特定された医療品に関する情報を医療情報システムの医療品マスタデータベースに簡便に登録でき、正確性及び即時性を担保することができる医療品情報登録システム、医療品情報登録方法、情報処理装置、医療情報システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本開示の一態様に係る医療品情報登録システムは、1つ以上の第1のプロセッサと、第1の医療品マスタデータベースが記憶される第1の記憶装置と、を含み、1つ以上の第1のプロセッサが、医療品を識別又は検索する処理と、第1の医療品マスタデータベースから、識別又は検索によって特定された医療品名と該当する医療品に関する別情報とのテキスト情報をコード化して第1の情報コードを作成する処理と、第1の情報コードを出力させる処理と、を実行する第1の情報処理装置と、出力された第1の情報コードを読み取るコード読取装置と、第1の情報コードから読み取った情報を医療情報システムの第2の医療品マスタデータベースに取得させる1つ以上の第2のプロセッサと、を備える。
【0011】
コード化される「別情報」は、医療品名以外の情報であり、第1の医療品マスタデータベースにおいて該当する医療品名と紐付けされている情報を含む。
【0012】
本態様の医療品情報システムは、医療品の識別又は検索を行う第1の情報処理装置側の第1の医療品マスタデータベースから該当する医薬品に関する情報をコード化し、第1の情報コードの読み取りによって、医療情報システム側の第2の医療品マスタデータベースに医療品の情報を取り込むことができる。本態様によれば、医療情報システム側の第2の医療品マスタデータベースに不足する医療品マスタ情報を簡便に登録でき、データ入力の正確性及び即時性を担保することができる。
【0013】
第1の情報処理装置は、第1の情報コードを表示する第1の表示装置を備える構成であってもよい。第1の表示装置に表示された第1の情報コードをコード読取装置によって読み取ることが可能である。
【0014】
第1の情報処理装置は、カメラと、第1の表示装置としてのタッチパネルディスプレイと、を備える携帯情報端末であってもよい。
【0015】
本開示の他の態様に係る医療品情報登録システムにおいて、第1の情報コードを印刷するプリンタを備える構成であってもよい。プリンタから出力された印刷物に印刷された第1の情報コードをコード読取装置によって読み取ることが可能である。
【0016】
本開示の他の態様に係る医療品情報登録システムにおいて、1つ以上の第2のプロセッサは、第1の情報コードから読み取った情報である第1の医療品情報を第2の医療品マスタデータベースに登録する際に、第1の医療品情報を第2の医療品マスタデータベースと照合し、第1の医療品情報が第2の医療品マスタデータベースに未登録である場合に、第2の医療品マスタデータベースに第1の医療品情報を追加する構成であってもよい。
【0017】
本開示の他の態様に係る医療品情報登録システムにおいて、医療情報システムは、1つ以上の第2のプロセッサと、第2の医療品マスタデータベースが記憶される第2の記憶装置と、を備える構成であってもよい。
【0018】
医療情報システムは、第2の医療品マスタデータベースを含むサーバと、サーバに対して通信回線を介して接続される第2の情報処理装置と、を備え、コード読取装置は、第2の情報処理装置に接続され、サーバ及び第2の情報処理装置の少なくとも一方は、1つ以上の第2のプロセッサを含む構成であってもよい。
【0019】
第1の情報処理装置は、インターネットに接続する通信装置を備え、1つ以上の第1のプロセッサは、インターネットを介して最新の医療品マスタを取得することにより、最新の医療品マスタを第1の医療品マスタデータベースに取り込み、第1の医療品マスタデータベースを更新する構成であってもよい。
【0020】
本開示の他の態様に係る医療品情報登録システムにおいて、1つ以上の第1のプロセッサは、医療品の識別結果又は検索結果を示すテキスト情報をコード化して第2の情報コードを作成する処理と、第2の情報コードを出力させる処理と、を実行し、1つ以上の第2のプロセッサは、コード読取装置を用いて第2の情報コードから読み取った識別結果又は検索結果を示す情報を医療情報システムに登録する構成であってもよい。
【0021】
1つ以上の第2のプロセッサは、第2の情報コードから読み取った識別結果又は検索結果を示す情報である第2の医療品情報を第2の医療品マスタデータベースと照合し、第2の医療品情報の中に、第2の医療品マスタデータベースに未登録の医薬品に関する情報が含まれている場合に、未登録の医療品を特定する情報を出力させる処理を行う構成であってもよい。
【0022】
医療情報システムは、未登録の医薬品を特定する情報を含むメッセージを表示する第2の表示装置を含む構成であってもよい。
【0023】
1つ以上の第1のプロセッサは、識別結果又は検索結果を表示する画面に、第1の情報コードの作成の指示を受け付ける操作ボタンを表示させ、第1の情報コードの作成の指示を受けた場合に、第1の医療品マスタデータベースから該当する医薬品の情報をコード化して第1の情報コードを作成する構成であってもよい。
【0024】
医療情報システムは、電子カルテシステムを含む構成であってもよい。
【0025】
本開示の他の態様に係る医療品情報登録方法は、医療品を識別又は検索することにより特定された医療品に関する情報を医療情報システムに登録する医療品情報登録方法であって、1つ以上の第1のプロセッサが、医療品を識別又は検索する処理と、第1の医療品マスタデータベースから、識別又は検索によって特定された医療品名と該当する医療品に関する別情報とのテキスト情報をコード化して第1の情報コードを生成する処理と、第1の情報コードを出力させる処理と、を実行することと、1つ以上の第1のプロセッサが出力させた第1の情報コードをコード読取装置によって読み取ることと、第1の情報コードから読み取った情報を、1つ以上の第2のプロセッサが医療情報システムの第2の医療品マスタデータベースに取得させることと、を含む。
【0026】
本開示の他の態様に係る情報処理装置は、1つ以上の第1のプロセッサと、第1の医療品マスタデータベースが記憶される第1の記憶装置と、を含み、1つ以上の第1のプロセッサは、医療品を識別又は検索する処理と、第1の医療品マスタデータベースから、識別又は検索によって特定された医療品名と該当する医療品に関する別情報のテキスト情報とをコード化して第1の情報コードを作成する処理と、第1の情報コードを出力させる処理と、を実行する。
【0027】
本開示の他の態様に係る医療情報システムは、上記態様に係る情報処理装置を用いて医療品を識別又は検索することにより特定された医療品に関する情報の入力を受け付ける医療情報システムであって、1つ以上の第2のプロセッサと、第2の医療品マスタデータベースが記憶される第2の記憶装置と、を含み、1つ以上の第2のプロセッサは、コード読取装置を用いて第1の情報コードから読み取られた情報を取得し、第1の情報コードから読み取られた情報を第2の医療品マスタデータベースに取得させる。
【0028】
本開示の他の態様に係るプログラムは、コンピュータに、第1の医療品マスタデータベースを記憶させる機能と、医療品を識別又は検索する機能と、第1の医療品マスタデータベースから、識別又は検索によって特定された医療品名と該当する医療品に関する別情報のテキスト情報とをコード化して第1の情報コードを作成する機能と、第1の情報コードを出力させる機能と、を実現させる。
【0029】
本開示の他の態様に係るプログラムは、上記態様に係るプログラムを実行する第1のコンピュータとは異なる第2のコンピュータに、第2の医療品マスタデータベースを記憶させる機能と、コード読取装置を用いて第1の情報コードから読み取られた情報を取得する機能と、第1の情報コードから読み取られた情報を第2の医療品マスタデータベースに取得させる機能と、を実現させる。
【発明の効果】
【0030】
本開示によれば、医療品を識別又は検索することにより特定された医療品に関する情報を医療情報システムの医療品マスタデータベースに簡便に登録することができる。また、本開示によれば、医療情報システムへの情報入力の正確性と即時性とが担保される。
【図面の簡単な説明】
【0031】
図1図1は、実施形態に係る医療品情報登録システムの構成を概略的に示すブロック図である。
図2図2は、医療品情報登録システムの使用例を示すフローチャートである。
図3図3は、スマートフォンの画面に表示される識別結果の表示例を示す。
図4図4は、電子カルテシステム側の動作の例を示すフローチャートである。
図5図5に、未登録医薬品についての登録要否の問い合わせ表示の例を示す。
図6図6は、図1で説明した医療品情報登録システムを適用した医療情報システムにおいて持参薬の鑑別を行う場合の概要を示す説明図である。
図7図7は、持参薬鑑別依頼書の例を示す図である。
図8図8は、タッチパネルディスプレイに表示される鑑別結果一覧画面の例を示す図である。
図9図9は、タッチパネルディスプレイに表示される鑑別結果のコード表示画面の例を示す図である。
図10図10は、タッチパネルディスプレイに表示されるマスタ登録用のコード表示画面の例を示す図である。
図11図11は、医薬品マスタ情報に含まれる情報の項目の例を示す図表である。
図12図12は、スマートフォンを用いて持参薬の鑑別を行う場合の手順の例を示すフローチャートである。
図13図13は、持参薬の鑑別結果を電子カルテに入力する際の手順を示すフローチャートである。
図14図14は、鑑別結果一覧画面から特定の医薬品のマスタ情報をコード化する処理の例を示すフローチャートである。
図15図15は、スマートフォンの正面斜視図である。
図16図16は、スマートフォンの背面斜視図である。
図17図17は、スマートフォンの電気的構成を示すブロック図である。
図18図18は、スマートフォンによって実現される薬剤識別装置の機能構成の例1を示すブロック図である。
図19図19は、薬剤識別装置を用いた薬剤識別方法の工程を示すフローチャートである。
図20図20は、薬剤識別方法の工程のプロセスを示す図である。
図21図21は、スマートフォンによって実現される薬剤識別装置の機能構成の例2を示すブロック図である。
図22図22は、マスタ画像記憶部に記憶されたある薬剤のマスタ画像の一例を示す図である。
図23図23は、薬剤識別装置を用いた薬剤識別方法の工程を示すフローチャートである。
図24図24は、タッチパネルディスプレイの画面表示の例を示す図である。
図25図25は、タッチパネルディスプレイの画面表示の例を示す図である。
図26図26は、タッチパネルディスプレイの画面表示の例を示す図である。
図27図27は、タッチパネルディスプレイの画面表示の例を示す図である。
図28図28は、タッチパネルディスプレイの画面表示の例を示す図である。
図29図29は、持参薬鑑別依頼書の載置領域に、患者の持参薬の1回服用分を載置して撮影する様子を示す図である。
図30図30は、スマートフォンによって実現される薬剤識別装置の機能構成の例3を示すブロック図である。
図31図31は、図30に示す第4学習済みモデルによる推論方法の一例を示すフローチャートである。
【発明を実施するための形態】
【0032】
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【0033】
〔システムの概要〕
図1は、実施形態に係る医療品情報登録システム2の構成を概略的に示すブロック図である。ここでは、医薬品の識別又は検索を行う装置としてスマートフォン10を用い、スマートフォン10から出力された情報を電子カルテシステム500に登録するシステムの例を示す。「登録」は、記録及び保存の概念を含む。医薬品は本開示における「医療品」の一例である。医薬品を識別するという場合の「識別」は、鑑別及び監査の概念を含む用語として用いる。
【0034】
スマートフォン10は本開示における「第1の情報処理装置」、「携帯情報端末」、「情報処理装置」、及び「第1のコンピュータ」の一例である。電子カルテシステム500は本開示における「医療情報システム」の一例である。電子カルテシステム500は、不図示のオーダリングシステム、会計システム、医療画像管理システム及び診断支援システムなどのうちの少なくとも1つの他のシステムとともに病院情報システム(Hospital Information System:HIS)を構成してもよい。
【0035】
スマートフォン10を用いて医薬品の識別又は検索を行った場合の識別結果又は検索結果を電子カルテシステム500に受け渡す際に、電子カルテシステム500側の医薬品マスタデータベース534に該当する医薬品のマスタ情報が登録されていないケースがあり得る。このような場合に、本実施形態に係る医療品情報登録システム2は、スマートフォン10側に構築されている医薬品マスタデータベース35から、該当する医薬品に関する情報をコード化し、電子カルテシステム500に接続されたコードリーダー566を用いて情報コードを読み取らせて電子カルテシステム500側に情報を渡すことで、電子カルテシステム500側の医薬品マスタデータベース534に不足している医薬品マスタを登録させることができる。
【0036】
すなわち、医療品情報登録システム2では、スマートフォン10側に医薬品マスタデータベース35を保有させ、該当する医薬品に関するマスタのテキスト情報をコード化してスマートフォン10から情報コードを出力し、情報コードのコード読み取りによって電子カルテシステム500側の医薬品マスタデータベース534に必要な情報を取得させ、医薬品マスタを登録する仕組みが提供される。医療品情報登録システム2は医薬品に関するマスタ情報を追加登録して医薬品マスタデータベース534を更新する医療品マスタ登録システムとして機能する。医薬品マスタデータベース35は本開示における「第1の医療品マスタデータベース」の一例であり、医薬品マスタデータベース534は本開示における「第2の医療品マスタデータベース」の一例である。
【0037】
《システムの構成例》
スマートフォン10は、プロセッサ11と、記憶装置13と、タッチパネルディスプレイ14と、通信装置15と、撮像部21と、照明部23とを含む。プロセッサ11はCPU(Central Processing Unit)を含む。プロセッサ11はGPU(Graphics Processing Unit)を含んでもよい。記憶装置13は、有体物たる非一時的なコンピュータ可読媒体であり、例えば、主記憶装置であるメモリ及び補助記憶装置であるストレージを含む。プロセッサ11は本開示における「第1のプロセッサ」の一例であり、記憶装置13は本開示における「第1の記憶装置」の一例である。
【0038】
記憶装置13にはプロセッサ11が実行するプログラム及び様々なデータが記憶されている。プロセッサ11は、記憶装置13に記憶されているプログラムの命令を実行することにより、各種の制御及び処理を行う。本例のスマートフォン10には、医薬品を識別したり検索したりすることができるアプリケーション(以下、「医薬品識別検索アプリ」という。)がインストールされており、プロセッサ11が医薬品識別検索アプリの命令を実行することにより、スマートフォン10は医薬品の識別装置あるいは検索装置として機能する。「アプリケーション」はプログラムと同義である。
【0039】
記憶装置13には、医薬品マスタデータベース35が記憶されている。医薬品識別検索アプリが医薬品マスタデータベース35を含む構成であってもよい。
【0040】
通信装置15は、移動体通信網への接続及びインターネットへの接続を行い、それぞれの通信規格に従って通信を行うモジュールを含む。通信装置15は、近距離無線通信を行うモジュールを含んでもよい。スマートフォン10は、インターネットを通じて不図示のクラウドサーバ等から最新の医薬品マスタを適時に取得し、スマートフォン10内の医薬品マスタデータベース35を最新マスタに更新し得る。
【0041】
プロセッサ11は、タッチパネルディスプレイ14と接続されている。照明部23は、図示しない光源を含み、被写体(撮影対象物)を照明する。照明部23は複数の光源を含んでもよい。
【0042】
被写体には識別対象となる医薬品が含まれる。識別対象となる医薬品は内服薬、外用薬又は注射薬などであり、具体的にはPTP(Press Through Package)シート、一包化された錠剤やカプセル剤、目薬、貼付剤、軟膏、自己注射薬等である。なお、PTPシートについては、製薬メーカーから供給された定形のシート(所定数量の薬剤が包装された状態)の単位に限らず、定形のシートの一部を切り取った状態の端数シートであってもよい。また、錠剤やカプセル剤などは包装されていない状態であってもよい。
【0043】
撮像部21は、図示しない撮影レンズと撮像素子とを含むカメラであり、被写体の像を電気信号に変換して被写体に応じたカラー画像を取得する。撮像素子は、例えば、CCD(charge-coupled device)センサ又はCMOS(complementary metal-oxide semiconductor device)センサであってよい。撮像部21は、撮像素子から得られる電気信号をデジタル画像データに変換する信号処理回路を含む。撮像部21は、静止画を撮影してもよいし、動画を撮影してもよい。スマートフォン10は複数の撮像部21を備える構成であってもよく、複数の撮像部21のそれぞれに対応して複数の照明部23が配置されてもよい。撮像部21によって撮影された画像(撮影画像)はプロセッサ11に入力される。すなわち、プロセッサ11は、照明部23の照明動作及び撮像部21による撮像動作を制御し、識別対象としての医薬品の撮影画像を取得する。また照明部23としてはスマートフォン10に内蔵されていない照明部であってもよく、LED(Light Emitting Diode)を環状に配した連続点灯型リングライトであって、包装されていない錠剤などの医薬品の周りに設置し直接及び間接的に斜め上方から照射する照明部であってもよい。
【0044】
プロセッサ11は、撮像部21を用いて撮影された撮影画像を基に医薬品の識別処理を行う識別処理部60と、検索処理部62と、出力処理部64として機能する。
【0045】
識別処理部60は、撮像部21から取得した撮影画像を処理し、撮影対象物に係る医薬品を識別する処理を行う。識別処理には、医薬品名を特定する処理が含まれる。識別処理部60は、医薬品マスタデータベース35に保存されているマスタ情報を参照することにより、医薬品の種別を特定し得る。医薬品マスタデータベース35は、医薬品のマスタ画像やGS1標準コードと医薬品名を含む属性情報とが関連付けられて登録されているデータベースである。医薬品マスタデータベース35は、図示しない電気通信回線を介して通信可能に接続されたクラウドサーバ等の外部の記憶装置に保存されていてもよい。
【0046】
また、識別処理部60は、撮像部21によって撮影されたバーコードから医薬品名を識別してもよい。例えば、識別対象の医薬品にGS1標準コードが付いている場合、識別処理部60は撮影画像からGS1標準コードを抽出し、GS1標準コードに基づいて医薬品名を識別してもよい。GS1標準コードと医薬品名との対応関係が記述された対応表のデータは、医薬品マスタデータベース35に含まれていてもよいし、図示しない別のデータベースに含まれていてもよい。
【0047】
一包化された錠剤やカプセル剤については、識別処理部60が撮影画像から錠剤の刻印及び/又はカプセル剤に印字された文字等の識別情報を画像認識し、刻印及び/又は文字等の識別情報を基にテーブルを参照するなどして医薬品名を識別する。刻印及び/又は文字等の識別情報と医薬品名との対応関係が記述された対応表のデータは、医薬品マスタデータベース35に含まれていてもよいし、図示しない別のデータベースに含まれていてもよい。なお、識別処理部60はテンプレートマッチングによって医薬品を識別してもよいし、学習済みの機械学習モデルを用いて医薬品を識別してもよい。
【0048】
検索処理部62は、タッチパネルディスプレイ14から入力された文字情報、又は音声入力された情報を検索キーとして医薬品マスタデータベース35から医薬品の情報を検索する処理を行う。例えば、GS1標準コードが付いていない医薬品などは、ユーザ(オペレータ)が目視識別して、検索キーなど必要事項をタッチパネルディスプレイ14から入力することにより、プロセッサ11が医薬品マスタデータベース35を検索して、その検索結果をタッチパネルディスプレイ14に表示させることができる。ユーザは検索結果の妥当性を判断して、識別結果としての採否を決定することができる。
【0049】
出力処理部64は、識別処理部60による識別結果あるいは検索処理部62による検索結果の情報をタッチパネルディスプレイ14及び/又はプリンタ66に出力させる処理を行う。
【0050】
出力処理には、タッチパネルディスプレイ14の表示内容を制御する表示制御処理及び/又はプリンタ66による印刷内容を制御する印刷制御処理が含まれる。出力処理部64は、テキスト情報をコード化するコード化処理部65を含む。
【0051】
コード化処理部65によってコード化されるテキスト情報は、例えば、スマートフォン10を用いて鑑別又は検索した医薬品名と、医薬品マスタデータベース35に保存されている該当する医薬品に関する情報とが含まれる。医薬品マスタデータベース35において医薬品名に紐付けされて保存されている情報には、例えば、個別識別コード(YJコード)、GS1標準コード、HOTコード、薬効分類、毒劇区分、刻印コード、商品名、一般名、読み仮名、製販会社名、規格、及び薬価などがあり得る。
【0052】
出力処理部64は、識別処理部60によって識別された医薬品あるいは検索処理部62によって検索された医薬品の医薬品名及び該当する医薬品の別のテキスト情報をコード化して情報コードを生成する処理と、タッチパネルディスプレイ14及び/又はプリンタ66に、医薬品名を表す文字列の表示(文字表示)と、その医薬品名を含むテキスト情報をコード化した情報コードのコード表示とを並べて表示もしくは印刷させる出力処理を行う。
【0053】
医薬品名のテキスト情報とは、例えば、ジェネリック医薬品であるピタバスタチンCa錠2mg「FFP」の場合は、カタカナ及び漢字だけでなく、「Ca」、「mg」及び「FFP」(英字)、ならびに「2」(数字)及び屋号部分の「」(記号)も対象とし、コード化処理部65は医薬品名として判別できる名前のまま情報コード化する。情報コードは、QRコード(登録商標)に代表される二次元コードが好ましい。
【0054】
また、出力処理部64は、識別された医薬品名に加えて、該当する医薬品に関して医薬品マスタデータベース35に保存されている別情報のテキスト情報と、この別情報のテキスト情報をコード化した情報コードとを並べて表示させる出力処理を行ってもよいし、これらを一体的にコード化してもよい。ここでの「別情報」は、例えば、ハイリスク薬か否かを示す情報、ジェネリック医薬品の場合は対応する先発医薬品名、医薬品が一包化されていることを示す情報、GS1識別コード情報、YJコード、製造会社名などである。これら情報はあわせてCSVファイルの形式でコード化してもよいし、電子カルテ側で予め決められた形式でコード化してもよい。
【0055】
タッチパネルディスプレイ14とプリンタ66とは、それぞれプロセッサ11の処理結果を含む情報出力を行う。タッチパネルディスプレイ14は本開示における「第1の表示装置」の一例である。タッチパネルディスプレイ14の画面には、識別又は検索された医薬品名と、その医薬品名を含むテキスト情報をコード化した情報コードとが同時に又は一体的に表示される。また、該当する場合には、タッチパネルディスプレイ14の画面に、医薬品名以外の情報のテキスト情報とその情報コードとが表示されてもよい。
【0056】
プリンタ66は、識別又は検索された医薬品名と、その医薬品名を含むテキスト情報をコード化した情報コードとが1枚のシートに同時に又は一体的に印刷された印刷物68を出力する。また、プリンタ66は、複数の医薬品名と、それぞれの医薬品のテキスト情報をコード化した複数の情報コードとを含む印刷物を出力してもよい。
【0057】
プリンタ66は、ラベルプリンタであってもよい。ラベルプリンタは、剥離紙を剥がして粘着層を露出させて貼り付けるシールタイプの印刷物68を出力する。
【0058】
電子カルテシステム500は、電子カルテサーバ510と、電子カルテ端末550とを含んで構成される。電子カルテ端末550は、電子カルテサーバ510にアクセス可能なクライアント端末である。なお、図1では1台の電子カルテ端末550を図示するが、電子カルテシステム500は、複数台の電子カルテ端末550を含んでよい。電子カルテサーバ510は本開示における「サーバ」の一例である。電子カルテ端末550は本開示における「第2の情報処理装置」の一例である。電子カルテサーバ510及び電子カルテ端末550のそれぞれは本開示における「第2のコンピュータ」の一例である。
【0059】
電子カルテ端末550は、通信回線560を介して電子カルテサーバ510と通信可能に接続される。通信回線560の一部又は全部は無線通信回線であってもよい。通信回線560は、医療機関内のローカルエリアネットワークであってよい。通信回線560はワイドエリアネットワークを含んでもよい。
【0060】
電子カルテサーバ510は、電子カルテのデータを保存及び管理するサーバコンピュータであり、プロセッサ512と、記憶装置514と、通信装置516とを含む。電子カルテサーバ510は、オンプレミスサーバであってもよいし、クラウドサーバであってもよい。プロセッサ512はCPUを含む。プロセッサ512はGPUを含んでもよい。記憶装置514は、メモリと大記憶容量のストレージとを含むコンピュータ可読媒体である。記憶装置514には、プロセッサ512に実行させる各種のプログラム及び各種のデータが記憶される。記憶装置514には電子カルテデータベース532と、医薬品マスタデータベース534とを含む各種のデータベースが記憶される。記憶装置514は本開示における「第2の記憶装置」の一例である。
【0061】
電子カルテデータベース532は、患者ごとに紐付けされた電子カルテのデータを含む。医薬品マスタデータベース534は、様々な医薬品についての医薬品名とその医薬品に関する属性情報とが紐付けされた医薬品情報のマスタデータ(医薬品マスタ)を含む。
【0062】
プロセッサ512は、記憶装置514に記憶されたプログラムの命令を実行することにより、電子カルテ管理部522、マスタ管理部524及びテキスト化処理部526として機能する。電子カルテ管理部522は、電子カルテのデータを管理する。電子カルテ管理部522は、電子カルテデータベース532に対するデータの追加、修正、削除及び読み出しなどを行う。マスタ管理部524は、医薬品マスタを含む各種マスタを管理する。マスタ管理部524は、医薬品マスタデータベース534などのマスタデータベースに対するデータの追加、修正、削除及び読み出しなどを行う。テキスト化処理部526は、電子カルテ端末550のテキスト化処理部553と同様の処理を行う。コードリーダー566によって読み取られた情報コードのテキスト化処理は、テキスト火処理部553の代わりに、電子カルテサーバ510のテキスト化処理部526が実行してもよい。
【0063】
通信装置516は、通信回線560に接続可能な通信インターフェースと通信処理部とを含む。電子カルテサーバ510は図示しない入力装置及び表示装置を備えていてもよい。
【0064】
電子カルテ端末550は、電子カルテサーバ510に保存されている患者ごとのカルテのデータを閲覧したり、電子カルテに対する情報の追加、修正あるいは削除などの操作を受け付けたりすることができる情報処理装置である。電子カルテ端末550の形態は特に限定されず、パーソナルコンピュータであってもよいし、ワークステーションであってもよいし、タブレット端末などであってもよい。
【0065】
電子カルテ端末550は、プロセッサ552と、記憶装置554と、通信装置556と、を備える。プロセッサ552は、CPUを含む。プロセッサ552はGPUを含んでもよい。記憶装置554は、メモリとストレージとを含むコンピュータ可読媒体である。ストレージは例えばハードディスク装置、ソリッドステートドライブ装置などであってよい。記憶装置554には、プロセッサ552に実行させる各種のプログラム及び各種のデータが記憶される。記憶装置554に電子カルテサーバ510内と同じ医薬品マスタデータベース534が保存されてもよい。
【0066】
通信装置556は、通信回線560に接続可能な通信インターフェースと通信処理部とを含む。また、通信装置556は近距離無線通信規格に基づく通信処理部を含んでもよい。
【0067】
電子カルテ端末550は、入力装置562と表示装置564とを備える。入力装置562は、例えば、キーボード、マウス、タッチパネル、若しくはその他のポインティングデバイス、若しくは音声入力装置、又はこれらの適宜の組み合わせによって構成される。表示装置564は、例えば、液晶ディスプレイ、有機EL(organic electro-luminescence:OEL)ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組み合わせによって構成される。なお、タッチパネルのように入力装置562と表示装置564とが一体的に構成されてもよい。表示装置564は本開示における「第2の表示装置」の一例である。プロセッサ512及びプロセッサ552のそれぞれは本開示における「第2のプロセッサ」の一例である。
【0068】
また、電子カルテ端末550にはコードリーダー566が接続される。コードリーダー566は、バーコード及び二次元コードなどの情報コードを読み取る装置である。スマートフォン10の画面及び/又は印刷物68に表示された情報コードは、コードリーダー566によって読み取られ、読み取られた情報は電子カルテ端末550に取り込まれる。コードリーダー566は本開示における「コード読取装置」の一例である。なお、コード読取専用のコードリーダー566の代わりに、例えば、カメラ付きタブレット端末のカメラを用いた撮影機能とコード読取プログラムとによって情報コードの読み取りを行うことも可能である。この場合、カメラ付きタブレット端末はコード読取装置として機能する。
【0069】
プロセッサ552は、コードリーダー566によって読み取られた情報コードをテキスト情報に変換するテキスト化処理部553を含む。テキスト化処理部553によって得られたテキスト情報は、表示装置564に表示させることができる。また、テキスト化処理部553によって得られたテキスト情報は、通信回線560を通じて電子カルテサーバ510に送られ、電子カルテ管理部522又はマスタ管理部524を通じて電子カルテデータベース532又は医薬品マスタデータベース534等における所望の項目欄に登録することができる。
【0070】
プロセッサ11は本開示における「第1のプロセッサ」の一例である。電子カルテシステム500は本開示における「医療情報システム」の一例である。
【0071】
[システムの使用例1]
図2は、医療品情報登録システム2の使用例1を示すフローチャートである。ここでは、持参薬のPTPシートについて医薬品名を識別する例を示す。
【0072】
ステップS101では、スマートフォン10を用い、対象とする医薬品のPTPシートの裏面に印刷されているGS1標準コード(Global Trade Item Number:GTIN)の読み取りを行う。
【0073】
ステップS102では、スマートフォン10のプロセッサ11は、読み取ったGS1標準コードから医薬品マスタデータベース35を参照して対応する医薬品情報を取得する。医薬品情報には、医薬品名のテキスト情報が含まれる。
【0074】
ステップS103では、プロセッサ11は、読み取ったGS1標準コードに対応する医薬品名のテキスト情報を二次元コード化する。
【0075】
ステップS104では、プロセッサ11は、GS1標準コードから識別した医薬品名を示す文字列と、当該医薬品名のテキストの二次元コードとをタッチパネルディスプレイ14の画面に表示させる(図3参照)。また、プロセッサ11は、プリンタ66に対して印刷用のデータを送信することにより、識別結果の医薬品名と当該医薬品名のテキストに対応する二次元コードとを含む印刷物68をプリンタ66から出力させることができる。
【0076】
タッチパネルディスプレイ14又は印刷物68に表示された二次元コードを、電子カルテ端末550に接続されたコードリーダー566を用いて読み取ることにより、スマートフォン10から出力された識別結果の情報が電子カルテ端末550に受け渡される。
【0077】
ステップS105では、プロセッサ11は、識別結果の表示を終了するか否かを判定する。ステップS105の判定結果がNo判定である場合、プロセッサ11はステップS104に戻り、医薬品名と二次元コードとを含む画面表示を継続する。その一方、ステップS104による画面表示を終了させる指示をユーザが入力した場合など、ステップS105の判定結果がYes判定である場合、プロセッサ11は医薬品名を示す文字列(医薬品名のテキスト)と二次元コードとを含む画面表示を終了させて、図2のフローチャートを終了する。
【0078】
図3は、スマートフォン10の画面に表示される識別結果の表示例を示す。タッチパネルディスプレイ14には、例えば、識別した医薬品名を示す「ABC錠20mg」という文字列TX1と、この文字列TX1のテキスト情報をコード化した二次元コードCD1とが表示される。また医薬品名を示す文字列TX1の代わりに、識別した医薬品のYJコード情報を文字列TX1として二次元コードCD1として表示してもよい。
【0079】
タッチパネルディスプレイ14に表示された二次元コードCD1は、コードリーダー566を用いて読み取ることができる。また、医薬品名の文字列TX1と二次元コードCD1とを含む印刷用のデータをスマートフォン10からプリンタ66に送ることで、医薬品名の文字列TX1と二次元コードCD1とを含む印刷物68を得ることができる。
【0080】
図4は、電子カルテシステム500側の動作の例を示すフローチャートである。ステップS211では、電子カルテ端末550に接続されたコードリーダー566を用いて二次元コードCD1を読み取る。読み取られた二次元コードCD1の情報は、電子カルテ端末550から電子カルテサーバ510に送られる。
【0081】
ステップS212では、プロセッサ512は、電子カルテ側の医薬品マスタデータベース534に保存されている医薬品マスタと、読み取られた二次元コードCD1が示す該当医薬品名とを照合する。
【0082】
ステップS213では、プロセッサ512は、ステップS212の照合結果から医薬品名が電子カルテの医薬品マスタに登録されているか否かを判定する。該当医薬品名が電子カルテの医薬品マスタに登録されておらず、ステップS213の判定結果がNo判定である場合、プロセッサ512はステップS214に進む。
【0083】
ステップS214では、電子カルテ端末550の表示装置564に、未登録医薬品についての登録要否を問い合わせる表示を行う(図5参照)。
【0084】
ステップS215では、電子カルテ端末550の表示画面において未登録医薬品についての登録要否の指示を受け付ける。電子カルテ端末550が受け付けた指示は電子カルテサーバ510に送られる。
【0085】
ステップS216では、プロセッサ512は未登録医薬品について登録するか否かを判定する。ステップS216の判定結果がYes判定である場合、プロセッサ512はステップS217に進み、電子カルテの医薬品マスタへの登録処理を行う。ステップS217の登録処理では、二次元コードCD1から読み取った情報を医薬品マスタデータベース534に登録してもよいし、別途ユーザに対してマスタ登録用の操作を促し、新たに登録しようとする未登録医薬品の医薬品名と該当する別情報とを含むテキストをスマートフォン10にてコード化し、このマスタ登録用の二次元コードをコードリーダー566によって読み取らせることにより、読み取った情報を医薬品マスタデータベース534に登録してもよい。ステップS217の後、プロセッサ512は、ステップS218に進む。
【0086】
一方、ステップS216の判定結果がNo判定である場合、プロセッサ512は、ステップS217の登録処理を実施せずに、ステップS218に進む。また、ステップS213の判定がYes判定である場合、すなわち、該当医薬品名が電子カルテの医薬品マスタに登録されている場合、プロセッサ512はステップS218に進む。
【0087】
ステップS218では、プロセッサ512は、二次元コードCD1から読み取った情報を、対象患者のカルテに取り込む。ステップS218の後、図4のフローチャートを終了する。二次元コードCD1から読み取った情報が医薬品マスタ情報となり得る場合の二次元コードCD1は本開示における「第1の情報コード」の一例である。
【0088】
図4のフローチャートでは、識別又は検索した結果の情報を電子カルテに取り込む際に、電子カルテ側の医薬品マスタと照合して登録の有無を判定し、未登録である場合に電子カルテへの情報の取り込みを一時的に中断して、医薬品マスタへの登録処理を行う例を説明したが、識別又は検索した結果を電子カルテに取り込み終えた後に、医薬品マスタへの登録要否の問い合わせ表示と登録処理とを行う構成であってもよい。すなわち、図4のステップS218は、ステップS211とステップS212との間に実施されてもよい。
【0089】
また、図4のフローチャートの説明において、プロセッサ512が実行する処理として説明した処理の一部又は全部は、電子カルテ端末550のプロセッサ552が実行してもよい。
【0090】
図5に、未登録医薬品についての登録要否の問い合わせ表示の例を示す。例えば、図3に例示した医薬品についての情報が電子カルテシステム500側の医薬品マスタデータベース534に登録されていなかった場合、電子カルテ端末550の表示装置564には、図5のように「ABC錠20mgは電子カルテの医薬品マスタに登録されていません。新たに登録しますか?」という問い合わせのメッセージと共に、YESボタン570とNOボタン572とが表示される。この表示画面において、YESボタン570が押されると、当該医薬品名のデータが電子カルテシステム500側の医薬品マスタデータベース534に取り込まれる。
【0091】
その一方、NOボタン572が押されると、プロセッサ512は、医薬品マスタデータベース534への登録を行わずに、電子カルテデータベース532の該当患者のカルテに該当医薬品名の情報を取り込む。なお、YESボタン570などのGUI(graphical user interface)ボタンについて「押す」あるいは「押下する」という表現には、クリックする、タッチする、タップする、選択する、あるいは指定するなどの操作により、ボタンに対応した指令の入力を行う動作の概念が含まれる。
【0092】
図2図5を用いて説明した医薬品マスタの登録方法は本開示における「医療品情報登録方法」の一例である。
【0093】
[システムの使用例2]
上記の使用例1における医薬品名に加えて、個装箱及びPTPシートのGS1標準コード(GTIN)、YJコード(薬価基準収載医薬品コード)、製造販売業者名、薬効分類、毒劇物区分、及び一般名など、医薬品マスタデータベース35のレコードに含まれている各種の情報項目のテキスト情報についてもスマートフォン10のタッチパネルディスプレイ14に表示させ、これら情報項目の全てをカンマで区切り(すなわち、CSVファイル化し)、そのデータ群をまとめて二次元コード化してもよい。このような二次元コードを電子カルテ端末550のコードリーダー566を用いて読み取り、電子カルテシステム500に取り込む構成については、上記の使用例1と同様であってよい。
【0094】
なお、該当する医薬品の医薬品名が電子カルテ側の医薬品マスタデータベース534に登録されている場合であっても、該当する医薬品に関する複数の情報項目のうちの一部の情報項目に関する情報が不足している(未登録である)場合は、その不足している情報のみを医薬品マスタデータベース534に取得させ、情報を追加登録してもよい。
【0095】
[システムの使用例3]
次に、スマートフォン10を用いて持参薬を鑑別する場合の例を説明する。図6は、図1で説明した医療品情報登録システム2を適用した電子カルテシステム500を含む医療情報システム600において持参薬の鑑別を行う場合の概要を示す説明図である。図6において、図1で説明した構成と共通する要素には同一の符号を付し、重複する説明は省略する。
【0096】
図6に示す医療情報システム600は、医療機関の病棟に設置される電子カルテ端末550A及びプリンタ66Aと、医療機関の薬剤部のフロアに設置される電子カルテ端末550B及びプリンタ66Bとを含む。電子カルテ端末550A、550Bのそれぞれは、図1の電子カルテ端末550と同様の構成であってよい。図6において図示は省略するが、電子カルテ端末550A、550Bのそれぞれは、入力装置562と表示装置564とを備える。プリンタ66A、66Bのそれぞれは、図1のプリンタ66と同様の構成であってよい。電子カルテ端末550Bにはコードリーダー566が接続される。
【0097】
持参薬の鑑別は、次のような手順1~手順3で行われる。
【0098】
[手順1]ある患者の持参薬を鑑別する場合、病棟の看護師などの医療従事者は、電子カルテ端末550Aを用いて電子カルテから患者IDを指定して持参薬鑑別依頼書602を発行する(図7参照)。図7に持参薬鑑別依頼書602の例を示す。持参薬鑑別依頼書602には、患者に固有の識別記号である患者ID、患者名、性別、生年月日、所属の病棟、病室、診療科、主治医の名前、及び確認者の押印欄などが印刷されている。持参薬鑑別依頼書602には、患者IDをコード化したバーコード610が付されていることが好ましい。持参薬鑑別依頼書602と、鑑別対象の持参薬604とは薬剤部に渡される。
【0099】
[手順2]薬剤部の薬剤師は、持参薬604と持参薬鑑別依頼書602とスマートフォン10とを用いて、持参薬604を鑑別する。薬剤師は、例えば、次のような作業を行う。
【0100】
薬剤師は、持参薬鑑別依頼書602から患者IDのバーコード610をスマートフォン10によって読み取り後に、持参薬604の鑑別を開始する。持参薬604は複数の医薬品を含んでもよい。鑑別に際しては、一包化薬は袋から出して撮影を行い、画像解析に基づいて薬剤を識別する。スマートフォン10を用いた画像解析に基づく薬剤識別処理の具体的な処理内容の例について詳細は後述する。
【0101】
PTPシートのようにGTINのバーコードが付されているものについては、バーコードを読み込み、GTINから医薬品名を特定する。
【0102】
PTPシートから一部を切り離したバラのPTP(端数シート)のように、GTINのバーコードが判読できないものについては、医薬品名のテキスト検索、音声検索、刻印のテキスト検索又は音声検索などを実施して医薬品名を特定する。
【0103】
薬剤師は、対象の医薬品について医薬品名を確定後、数量や服用時点など、その他必要事項をスマートフォン10に入力する。こうして、特定した持参薬604の鑑別結果のテキスト情報をスマートフォン10にて二次元コード化し、鑑別結果を示す二次元コード606をスマートフォン10の画面に表示させる。
【0104】
また、鑑別結果はプリンタ66Bによって印刷されてもよい。プリンタ66Bから出力される鑑別報告書620には鑑別結果の一覧と共に、二次元コード606が印刷される。鑑別結果の一覧は、処方箋形式に直して出力してもよい。スマートフォン10は、鑑別結果を二次元コード化する際に、鑑別した複数の医薬品についての鑑別結果一覧をまとめてコード化してもよいし、鑑別した医薬品ごとにコード化してもよく、あるいは、医薬品名、数量、服用時点等の記載項目を個別にコード化してもよい。生成された二次元コード606は、スマートフォン10の画面に表示させてもよいし、表示の代わりに、又は表示と組み合わせてプリンタ66Bによって印刷されてもよい。その後、薬剤師は、電子カルテ端末550Bに接続されたコードリーダー566を用いて二次元コード606の読み取りを行い、鑑別結果の情報を電子カルテ端末550Bに入力する。
【0105】
なお、スマートフォン10上で数量及び服用時点などの情報の入力を受け付ける態様に限らず、スマートフォン10を用いて鑑別した医薬品名の情報を電子カルテ端末550Bに取り込んだ後に、電子カルテ端末550Bを用いて該当する医薬品の数量及び服用時点などを直接入力して電子カルテ上で鑑別結果一覧を完成させてもよい。
【0106】
[手順3]二次元コード606の読み取りによって、鑑別結果一覧を電子カルテ端末550に取り込んだ際に、鑑別結果の情報と電子カルテサーバ510内に保存されている医薬品マスタデータベース534とが照合される。照合の結果、鑑別結果の中にマスタ未登録の医薬品が含まれていた場合には、電子カルテ端末550Bの画面に、該当する医薬品についてのマスタ登録の要否を問い合わせるメッセージが表示される(図5参照)。
【0107】
新たな医薬品に関する情報を医薬品マスタデータベース534に登録する場合には、例えば、薬剤師は、スマートフォン10の鑑別結果一覧の画面にて、該当する医薬品名の医薬品欄のマスタ作成ボタン(図8の符号720)を押下する。マスタ作成ボタン720が押されると、プロセッサ11はスマートフォン10内の医薬品マスタデータベース35からマスタ登録に必要な情報を取り出して二次元コード化する。マスタ登録用の二次元コードはスマートフォン10の画面に表示され、及び/又はプリンタ66Bによって印刷される。
【0108】
電子カルテ端末550Bの画面に表示された問い合わせメッセージに対して、薬剤師がYESボタン570を押下した後、スマートフォン10の画面もしくは印刷物からマスタ登録用の二次元コードをコードリーダー566によって読み込んで電子カルテサーバ510の医薬品マスタデータベース534への未登録マスタの登録を完了する。
【0109】
その後、改めて、鑑別結果一覧の二次元コード606の読み込みを行い、鑑別結果を電子カルテサーバ510に取得させてもよい。
【0110】
なお、鑑別結果及び未登録マスタの情報を電子カルテサーバ510に受け渡すタイミングは、上述の例に限らず、二次元コード606の読み込みによって鑑別結果を電子カルテに登録する処理を完了した後に、未登録マスタの登録処理を実施してもよい。すなわち、電子カルテシステム500にマスタを登録するタイミングは、鑑別結果を電子カルテ側が受領及び記録した後であってもよいし、電子カルテ側が鑑別結果を記録する前であってもよい。
【0111】
〔スマートフォン10の画面例〕
図8は、スマートフォン10のタッチパネルディスプレイ14に表示される鑑別結果一覧画面700の例である。
【0112】
鑑別結果一覧画面700は、持参薬鑑別結果を電子カルテに登録するための鑑別結果登録ボタン710と、患者情報表示欄712と、医薬品表示欄716と、ツールバー718とを含む。鑑別結果登録ボタン710が押されると、鑑別結果のテキスト内容がまとめて二次元コード化され、二次元コード606が画面表示及び/又は印刷される。
【0113】
患者情報表示欄712には、患者を特定する情報が表示される。患者情報には、患者ID、患者の氏名、及び生年月日などが含まれる。
【0114】
医薬品表示欄716には、鑑別された医薬品名、マスタ作成ボタン720、各医薬品の残量、及び服用時点とその際に飲む数量などが医薬品の種別ごとに表形式で表示される。各セルの値は、識別処理によってそれぞれの医薬品種を確定後に都度、テキスト入力又は音声入力してもよいし、図8に示す鑑別結果一覧画面700にてまとめて入力してもよい。マスタ作成ボタン720は、医薬品名の文字表示の横に並べて表示させることが好ましい。マスタ作成ボタン720は本開示における「操作ボタン」の一例である。
【0115】
ツールバー718は、鑑別結果表示ボタン731と、バーコード読取ボタン732と、医薬品名検索ボタン733と、錠剤画像読取ボタン734とを含む。鑑別結果表示ボタン731が押されると、図8に示すような鑑別結果の一覧が表示される。バーコード読取ボタン732はGTIN等のバーコードを読み取る際に押されるボタンである。バーコード読取ボタン732が押されると、スマートフォン10のカメラ機能によりバーコード及び二次元コードなどの情報コードの読み取りが可能になる。
【0116】
医薬品名検索ボタン733は、薬品名あるいは識別コードのテキスト検索又は音声検索を行う際に押されるボタンである。医薬品名検索ボタン733が押されると、文字入力又は音声入力による検索が可能になる。錠剤画像読取ボタン734は、錠剤等の医薬品を撮影して画像認識によって医薬品種を識別する際に押されるボタンである。錠剤画像読取ボタン734が押されると、画像認識に基づく医薬品の識別処理が可能になる。
【0117】
鑑別結果登録ボタン710が押されると、鑑別結果のテキスト内容がまとめて二次元コード化され、二次元コード606が画面表示及び/又は印刷される。
【0118】
図9は、鑑別結果登録ボタン710の押下によってスマートフォン10のタッチパネルディスプレイ14に表示される鑑別結果のコード表示画面702の例である。
【0119】
鑑別結果のコード表示画面702は、戻るボタン740と、二次元コード表示欄742とを含む。二次元コード表示欄742には、鑑別結果をコード化した二次元コード606が表示される。二次元コード606は本開示における「第2の情報コード」の一例である。二次元コード606としてコード化されている鑑別結果の情報は本開示における「第2の医療品情報」の一例である。
【0120】
電子カルテ端末550B(図6参照)に接続されたコードリーダー566を用いて二次元コード606の読み取りが行われる。
【0121】
電子カルテサーバ510の医薬品マスタデータベース534に、鑑別結果の医薬品が全て登録されていた場合は、鑑別結果の受け渡しを終了する。その一方で、電子カルテサーバ510の医薬品マスタデータベース534に、鑑別結果の医薬品のうち未登録のものがある場合、電子カルテ端末550Bの表示装置564にその旨が表示される。例えば、鑑別結果の医薬品のうち「DE錠10mg」が未登録であった場合、電子カルテ端末550Bの表示装置564において、『「DE10mg」が電子カルテに未登録です。新たに登録してください。』などのメッセージが表示される。なお、二次元コード606から読み込まれた鑑別結果そのものは電子カルテ側の医薬品マスタの有無にかかわらず、電子カルテサーバ510に保存されてよい。
【0122】
電子カルテ端末550Bの表示装置564に表示される未登録の医薬品についてのお知らせと、登録を促すメッセージを受けたユーザ(ここでは薬剤師)は、未登録の医薬品についてのマスタ情報をスマートフォン10から出力させて、電子カルテシステム500への登録を行うことができる。例えば、薬剤師は、図9における戻るボタン740を押して、元の鑑別結果一覧画面700(図8)を表示させる。
【0123】
鑑別結果一覧画面700において、未登録に係る「DE錠10mg」のマスタ欄のマスタ作成ボタン720を押すと、別画面になり、例えば、図10に示すような、マスタ登録用のコード表示画面703が表示される。
【0124】
マスタ登録用のコード表示画面703は、医薬品名表示欄750と、二次元コード表示欄752とを含む。医薬品名表示欄750には、医薬品種を特定する医薬品名が表示される。二次元コード表示欄752には、該当する医薬品(ここではDE錠10mg)の医薬品マスタ情報をまとめたマスタ登録用の二次元コード754が表示される。二次元コード754は本開示における「第1の情報コード」の一例である。二次元コード754としてコード化されている医薬品マスタ情報は本開示における「第1の医療品情報」の一例である。
【0125】
図11に、医薬品マスタ情報に含まれる情報の項目の例を示す。図11に例示する項目のすべてをまとめた二次元コード754が作成されてもよいし、一部の項目の情報をまとめた二次元コード754が作成されてもよい。二次元コード化する医薬品マスタ情報の項目の組み合わせについては、様々な態様があり得る。
【0126】
また、スマートフォン10からプリンタ66Bにデータを送ることにより、二次元コード754を印刷することができる。
【0127】
電子カルテ端末550B(図6参照)に接続されたコードリーダー566を用いて二次元コード754の読み取りが行われることにより、電子カルテサーバ510の医薬品マスタデータベース534に新たな医薬品マスタ情報が登録される。二次元コード754から読み込まれた情報についても医薬品マスタデータベース534と照合され、未登録の情報のみが医薬品マスタデータベース534に登録される。なお、マスタ作成ボタン720の押し間違えなど、二次元コード754の読み取りによって取り込まれた情報が電子カルテサーバ510の医薬品マスタデータベース534に登録済みであるケースも想定されるため、医薬品マスタデータベース534にマスタ情報を取り込む際には、登録の有無を確認するデータの照合が行われることが望ましい。照合の結果、読み込んだ情報の情報項目の一部又は全部が医薬品マスタデータベース534に登録済みである場合には、電子カルテ端末550Bにおいて、上書き又はキャンセルの可否を問い合わせるメッセージを表示させて、上書き又はキャンセルの指示の入力を受け付ける構成が望ましい。
【0128】
〔持参薬鑑別のフロー〕
図12は、スマートフォン10を用いて持参薬の鑑別を行う場合の手順の例を示すフローチャートである。
【0129】
ステップS111では、患者IDのバーコード610が記入された持参薬鑑別依頼書602と持参薬604とが用意される。
【0130】
ステップS112では、スマートフォン10を用いて薬剤を識別する処理が行われる。そして、ステップS113では、スマートフォン10のプロセッサ11は、識別によって特定した薬剤についての数量及び服用時点などの情報入力を受け付ける。なお、「薬剤」という用語は「医薬品」と同義である。
【0131】
例えば、薬剤師は、ABC錠60mgのPTPシートのGTINを読み取り、その後、数量と服用時点をスマートフォン10の画面から入力する。一包化されている薬剤の場合、薬剤師は、一包化された袋を破り、袋から取り出したDE錠10mg、FG錠20mg、及びHI錠40mgを一括して、又は個別に撮影する。錠剤の撮影の際には照明としてLEDリングライトなどを用いてもよい。スマートフォン10のプロセッサ11は、撮影された画像を解析し、それぞれの薬剤を識別する。画像解析によって複数の医薬品名の候補が提示される場合もある。薬剤師は、提示される複数の候補の中から該当する医薬品名を確定させる指示を入力することができる。
【0132】
DE錠10mgとして医薬品種を確定後、薬剤師はスマートフォン10の画面からその数量及び服用時点をテキスト入力、又は音声入力する。同様に、薬剤師はFG錠20mg、HI錠40mgそれぞれ医薬品種を確定後、数量及び服用時点などを入力し、これらの薬剤が一包化である旨を入力する。
【0133】
ステップS114では、プロセッサ11は、数量及び服用時点などの情報受け付けを完了したか否かを判定する。ステップS114の判定結果がNo判定である場合、プロセッサ11はステップS113に戻る。識別された薬剤に関する必要な情報の入力が完了し、ステップS114の判定結果がYes判定である場合、プロセッサ11はステップS115に進む。
【0134】
ステップS115では、プロセッサ11は持参薬の鑑別を終了するか否かを判定する。ステップS115の判定結果がNo判定である場合、プロセッサ11はステップS112に戻り、薬剤識別の処理を続ける。一方、鑑別を終了してステップS115の判定結果がYes判定である場合、プロセッサ11はステップS116に進む。
【0135】
ステップS116では、プロセッサ11は鑑別結果をタッチパネルディスプレイ14に表示させる。鑑別結果には、医薬品種(医薬品名)、数量、服用時点、及び一包化フラグなどの情報項目が含まれ得る。
【0136】
また、ステップS117では、プロセッサ11は持参薬604の鑑別結果をまとめて二次元コード化する。鑑別結果のコード化は、自動的に実施されてもよいし、ユーザからの指示の入力に応動して実施されてもよい。
【0137】
鑑別結果の二次元コードは、ステップS116の表示の際に、識別結果の表示と共に表示させてもよいし、ユーザからの指示の入力に応動して表示させてもよい。
【0138】
さらに、ステップS118では、プロセッサ11は、鑑別結果の印刷の指示を受け付け、印刷の指示に基づき、鑑別結果の一覧とともに、又は鑑別結果の一覧とは別のシートで鑑別結果の二次元コード606をプリンタ66Bに印刷させることができる。
【0139】
ステップS118の後、プロセッサ11は、図12のフローチャートを終了する。
【0140】
図13は、持参薬の鑑別結果を電子カルテに入力する際の手順を示すフローチャートである。ステップS231では、電子カルテ端末550Bのコードリーダー566を用いて、二次元コード606を読み取る。読み取られた情報は電子カルテサーバ510に送られる。
【0141】
ステップS232では、プロセッサ512は電子カルテサーバ510内の医薬品マスタデータベース534に保存されている医薬品マスタと鑑別結果に含まれる該当医薬品名とを照合する。
【0142】
ステップS233では、プロセッサ512該当医薬品名が電子カルテ側の医薬品マスタに登録されているか否かを判定する。電子カルテ側の医薬品マスタデータベース534に該当する医薬品が登録されているか否かの登録の有無を判定する際のコードは、例えば、YJコードとする。
【0143】
ステップS233の判定結果がNo判定である場合、プロセッサ512はステップS234に進む。ステップS234では、図5で説明したように、電子カルテ端末550Bの画面に、未登録情報の登録の要否を問い合わせるメッセージが表示される。
【0144】
例えば、電子カルテ側の医薬品マスタデータベース534に、「DE錠10mg」が登録されていなかった場合は、その旨を電子カルテ端末550Bの表示装置564に表示させ、鑑別結果の取り込みを一時中断する。
【0145】
ステップS235では、電子カルテ端末550Bのプロセッサ552は未登録の医薬品についての登録要否の指示を受け付ける。ユーザはYESボタン570又はNOボタン572を押すことによって登録の要否を指定することができる。
【0146】
ステップS236では、プロセッサ552は登録の要否を判定する。YESボタン570が押され、ステップS236の判定結果がYes判定である場合、プロセッサ552はステップS237に進む。
【0147】
ステップS237では、プロセッサ552は、コードリーダー566を介して未登録情報の二次元コードの読み取りを受け付ける。
【0148】
薬剤師はスマートフォン10を操作してテキスト入力又は音声入力により、未登録である医薬品(「DE錠10mg」)のデータを検索し、スマートフォン10側の医薬品マスタデータベース35から該当する医薬品情報を読み出し、医薬品名と該当する医薬品情報とをまとめて二次元コード化することができる。
【0149】
また、スマートフォン10の鑑別結果一覧画面700から、鑑別結果に含まれるそれぞれの医薬品のマスタ情報を読み出してコード化することが可能である。
【0150】
こうして、スマートフォン10側の医薬品マスタデータベース35から読み出した情報の二次元コード(例えば、図10に示す二次元コード754)をコードリーダー566によって読み取ることにより、スマートフォン10から電子カルテ側に未登録の医薬品マスタ情報を受け渡すことができる。
【0151】
ステップS238では、プロセッサ552は、二次元コードの読み取りを完了したか否かを判定する。ステップS238の判定結果がNo判定である場合、プロセッサ552はステップS237に戻る。
【0152】
ステップS238の判定結果がYes判定である場合、プロセッサ552はステップS239に進み、二次元コードから読み取った情報を電子カルテサーバ510に送り、電子カルテ側の医薬品マスタへの登録処理を実行させる。電子カルテサーバ510のプロセッサ512は、電子カルテ端末550Bから受信したデータを医薬品マスタデータベース534に登録する処理を行う。
【0153】
ステップS239にて登録後、ステップS231に戻り、改めて鑑別結果の二次元コード606の読み取りが行われてよい。
【0154】
ステップS233の判定結果がYes判定である場合、プロセッサ512はステップS240に進み、対象患者のカルテに鑑別結果を取り込む処理を行う。
【0155】
ステップS240の後、図9のフローチャートを終了する。また、ステップS236の判定結果がNo判定である場合、プロセッサ512はマスタ登録を実行せずに、ステップS240に進み、対象患者のカルテに鑑別結果の入力を行う。なお、ステップS231にて読み込まれる鑑別結果の二次元コード606には、患者IDの情報を入れてもよい。ステップS240の後、図13のフローチャートを終了する。
【0156】
図14は、スマートフォン10における鑑別結果一覧画面700から特定の医薬品のマスタ情報をコード化する処理の例を示すフローチャートである。
【0157】
ステップS131では、プロセッサ11はタッチパネルディスプレイ14に鑑別結果一覧を表示させる。
【0158】
ステップS132では、プロセッサ11は識別結果一覧の表示画面にて医薬品欄に表示されている医薬品についてのマスタ作成の指示を受け付ける。例えば、鑑別結果一覧の医薬品欄における各医薬品名の横にはマスタ作成ボタン720が表示され、マスタ作成ボタン720の押下による指示が受け付けられる。ユーザは、新たにマスタ登録しようとする医薬品を選択してマスタ作成ボタン720を押すことにより、該当する医薬品についてのマスタ登録用データのコード化を指示することが可能である。
【0159】
ステップS133では、プロセッサ11はマスタ作成ボタン720が押下されたか否かを判定する。ステップS133の判定結果がNO判定である場合、プロセッサ11はステップS134に進む。ステップS134では、プロセッサ11は鑑別結果の表示がキャンセルされたか否かを判定する。ステップS134の判定結果がNO判定である場合、プロセッサ11はステップS132に戻り、マスタ作成の指示の受け付けが継続される。ステップS134の判定結果がYes判定である場合、プロセッサ131は、鑑別結果一覧の表示を終了して、図14のフローチャートを終了する。
【0160】
ステップS132においてマスタ作成ボタン720が押されて、ステップS133の判定結果がYes判定である場合、プロセッサ11はステップS135に進む。
【0161】
ステップS135では、プロセッサ11は、医薬品マスタデータベース35から、該当する医薬品に関する必要な情報を取り出して二次元コード化する。このコード化に際しては、電子カルテ側の医薬品マスタデータベース534の医薬品マスタドーマットに適したデータ形式で二次元コードを作成することが好ましい。
【0162】
ステップS136では、プロセッサ11は電子カルテ側のマスタ登録用の二次元コード754を表示させる。また、ステップS137では、プロセッサ11は必要に応じてマスタ登録用の二次元コード754をプリンタ66Bに印刷させる。
【0163】
タッチパネルディスプレイ14に表示させた二次元コード754又はプリンタ66Bによって印刷した二次元コード754を、コードリーダー566によって読み取ることにより、電子カルテ端末550Bにマスタ登録用データが取り込まれる。
【0164】
ステップS137の後、プロセッサ11は、図14のフローチャートを終了してよい。図12図14のフローチャートを用いて説明した医薬品マスタの登録方法は本開示における「医療品情報登録方法」の一例である。
【0165】
《スマートフォン10を用いた薬剤識別処理の具体例》
〔スマートフォンの外観〕
図15は、スマートフォン10の正面斜視図である。スマートフォン10は、平板状の筐体12を有する。スマートフォン10は、筐体12の正面にタッチパネルディスプレイ14、スピーカ16、マイクロフォン18、及びインカメラ20を備えている。
【0166】
タッチパネルディスプレイ14は、画像等を表示するディスプレイ部、及びディスプレイ部の前面に配置され、タッチ入力を受け付けるタッチパネル部を備える。ディスプレイ部は、例えばカラーLCD(Liquid Crystal Display)パネルである。
【0167】
タッチパネル部は、例えば光透過性を有する基板本体の上に面状に設けられ、光透過性を有する位置検出用電極、及び位置検出用電極上に設けられた絶縁層を有する静電容量式タッチパネルである。タッチパネル部は、ユーザのタッチ操作に対応した2次元の位置座標情報を生成して出力する。タッチ操作は、タップ操作、ダブルタップ操作、フリック操作、スワイプ操作、ドラッグ操作、ピンチイン操作、及びピンチアウト操作を含む。
【0168】
スピーカ16は、通話時及び動画再生時に音声を出力する音声出力部である。マイクロフォン18は、通話時及び動画撮影時に音声が入力される音声入力部である。インカメラ20は、動画及び静止画を撮影する撮像装置である。
【0169】
図16は、スマートフォン10の背面斜視図である。図16に示すように、スマートフォン10は、筐体12の背面にアウトカメラ22、及びライト24を備えている。アウトカメラ22は、動画及び静止画を撮影する撮像装置である。ライト24は、アウトカメラ22で撮影を行う際に照明光を照射する光源であり、例えばLED(Light Emitting Diode)により構成される。
【0170】
さらに、図15及び図16に示すように、スマートフォン10は、筐体12の正面及び側面に、それぞれスイッチ26を備えている。スイッチ26は、ユーザからの指示を受け付ける入力部材である。スイッチ26は、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。
【0171】
なお、筐体12の構成はこれに限定されず、折り畳み構造又はスライド機構を有する構成を採用してもよい。
【0172】
〔スマートフォンの電気的構成〕
スマートフォン10の主たる機能として、基地局装置と移動体通信網とを介した移動無線通信を行う無線通信機能を備える。
【0173】
図17は、スマートフォン10の電気的構成を示すブロック図である。図17に示すように、スマートフォン10は、前述のタッチパネルディスプレイ14、スピーカ16、マイクロフォン18、インカメラ20、アウトカメラ22、ライト24、及びスイッチ26の他、CPU(Central Processing Unit)28、無線通信部30、通話部32、メモリ34、外部入出力部40、GPS受信部42、及び電源部44を有する。
【0174】
CPU28は図1のプロセッサ11に相当する。メモリ34は記憶装置13に相当する。CPU28は、メモリ34が記憶する制御プログラム及び制御データに従って動作し、スマートフォン10の各部を統括して制御する。CPU28は、無線通信部30を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動体通信制御機能と、アプリケーション処理機能を備える。
【0175】
また、CPU28は、動画、静止画、及び文字等をタッチパネルディスプレイ14に表示する画像処理機能を備える。この画像処理機能により、静止画、動画、及び文字等の情報が視覚的にユーザに伝達される。また、CPU28は、タッチパネルディスプレイ14のタッチパネル部からユーザのタッチ操作に対応した二次元の位置座標情報を取得する。さらに、CPU28は、スイッチ26からの入力信号を取得する。
【0176】
インカメラ20及びアウトカメラ22は、CPU28の指示に従って、動画及び静止画を撮影する。CPU28は、インカメラ20及びアウトカメラ22が撮影した動画及び静止画をメモリ34に記憶させる。また、CPU28は、インカメラ20及びアウトカメラ22が撮影した動画及び静止画を無線通信部30又は外部入出力部40を通じてスマートフォン10の外部に出力してもよい。
【0177】
さらに、CPU28は、インカメラ20及びアウトカメラ22が撮影した動画及び静止画をタッチパネルディスプレイ14に表示する。CPU28は、インカメラ20及びアウトカメラ22が撮影した動画及び静止画をアプリケーションソフトウェア内で利用してもよい。
【0178】
なお、CPU28は、アウトカメラ22による撮影の際に、ライト24を点灯させることで被写体に撮影補助光を照射してもよい。ライト24は、ユーザによるタッチパネルディスプレイ14のタッチ操作、又はスイッチ26の操作によって点灯及び消灯が制御されてもよい。
【0179】
無線通信部30は、CPU28の指示に従って、移動体通信網に収容された基地局装置に対し無線通信を行う。スマートフォン10は、この無線通信を使用して、音声データ及び画像データ等の各種ファイルデータ、電子メールデータ等の送受信、Web(World Wide Webの略称)データ及びストリーミングデータ等の受信を行う。無線通信部30は図1の通信装置15に相当する。
【0180】
通話部32は、スピーカ16及びマイクロフォン18が接続される。通話部32は、無線通信部30により受信された音声データを復号してスピーカ16から出力する。通話部32は、マイクロフォン18を通じて入力されたユーザの音声をCPU28が処理可能な音声データに変換してCPU28に出力する。
【0181】
メモリ34は、CPU28に実行させるための命令を記憶する。メモリ34は、スマートフォン10に内蔵される内部記憶部36、及びスマートフォン10に着脱自在な外部記憶部38により構成される。内部記憶部36及び外部記憶部38は、公知の格納媒体を用いて実現される。
【0182】
メモリ34は、CPU28の制御プログラム、制御データ、アプリケーションソフトウェア、通信相手の名称及び電話番号等が対応付けられたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータ、及びダウンロードしたコンテンツデータ等を記憶する。また、メモリ34は、ストリーミングデータ等を一時的に記憶してもよい。
【0183】
外部入出力部40は、スマートフォン10に連結される外部機器とのインターフェースの役割を果たす。スマートフォン10は、外部入出力部40を介して通信等により直接的又は間接的に他の外部機器に接続される。外部入出力部40は、外部機器から受信したデータをスマートフォン10の内部の各構成要素に伝達し、かつスマートフォン10の内部のデータを外部機器に送信する。
【0184】
通信等の手段は、例えばユニバーサルシリアルバス(Universal Serial Bus)、IEEE(Institute of Electrical and Electronics Engineers)1394、インターネット、無線LAN(Local Area Network)、Bluetooth(登録商標)、RFID(Radio Frequency Identification)、及び赤外線通信である。また、外部機器は、例えばヘッドセット、外部充電器、データポート、オーディオ機器、ビデオ機器、スマートフォン、PDA(Personal Digital Assistant)、パーソナルコンピュータ、及びイヤホンである。
【0185】
GPS受信部42は、GPS衛星ST1,ST2,…,STnからの測位情報に基づいて、スマートフォン10の位置を検出する。
【0186】
電源部44は、不図示の電源回路を介してスマートフォン10の各部に電力を供給する電力供給源である。電源部44は、リチウムイオン二次電池を含む。電源部44は、外部のAC電源からDC電圧を生成するA/D変換部を含んでもよい。
【0187】
このように構成されたスマートフォン10は、タッチパネルディスプレイ14等を用いたユーザからの指示入力により撮影モードに設定され、インカメラ20及びアウトカメラ22によって動画及び静止画を撮影することができる。
【0188】
スマートフォン10が撮影モードに設定されると、撮影スタンバイ状態となり、インカメラ20又はアウトカメラ22によって動画が撮影され、撮影された動画がライブビュー画像としてタッチパネルディスプレイ14に表示される。
【0189】
ユーザは、タッチパネルディスプレイ14に表示されるライブビュー画像を視認して、構図を決定したり、撮影したい被写体を確認したり、撮影条件を設定したりすることができる。
【0190】
スマートフォン10は、撮影スタンバイ状態においてタッチパネルディスプレイ14等を用いたユーザからの指示入力により撮影が指示されると、AF(Autofocus)及びAE(Auto Exposure)制御を行い、動画及び静止画の撮影及び記憶を行う。
【0191】
〔薬剤識別装置の機能構成の例1〕
図18は、スマートフォン10によって実現される薬剤識別装置120の機能構成を示すブロック図である。薬剤識別装置120の各機能は、CPU28がメモリ34に記憶されたプログラムを実行することで具現化される。図18に示すように、薬剤識別装置120は、画像取得部102、薬剤検出部106、刻印印字抽出部108、第1薬種認識部110、候補出力部112、確定部114、第2薬種認識部122、薬剤付随情報記憶部123、及び薬剤付随情報取得部124を有する。
【0192】
画像取得部102は、刻印及び/又は印字が付加された識別対象薬剤が撮影された撮影画像を取得する。撮影画像は、例えばインカメラ20又はアウトカメラ22によって撮影された画像である。撮影画像は、無線通信部30、外部記憶部38、又は外部入出力部40を介して他の装置から取得した画像であってもよい。
【0193】
撮影画像は、識別対象薬剤及びマーカが撮影された画像であってもよい。マーカは複数であってもよいし、ArUcoマーカ、円形マーカ、又は四角形マーカであってもよい。ArUcoマーカを用いることにより、より適切かつ頑健に標準化画像を取得することができる。また、円形マーカ、又は四角形マーカを用いることにより、深層学習ベースでの検出が容易となる。
【0194】
円形マーカは同心状の円形を含み、四角形マーカは同心状の四角形を含むことが好ましい。これにより、マーカの中心点座標を決定しやすくなり、様々なノイズに対して頑健に標準化画像を取得することができる。撮影画像は、識別対象薬剤及び基準となるグレーの色が撮影された画像であってもよい。
【0195】
撮影画像は、標準となる撮影距離及び撮影視点で撮影された画像であってもよい。撮影距離とは、識別対象薬剤及び撮影レンズの間の距離と撮影レンズの焦点距離とから表すことができる。また、撮影視点とは、マーカ印刷面と撮影レンズの光軸とが成す角度から表すことができる。
【0196】
撮影画像は、複数の識別対象薬剤が含まれていてもよい。複数の識別対象薬剤は、同じ薬種の識別対象薬剤に限定されず、それぞれ異なる薬種の識別対象薬剤であってもよい。
【0197】
画像取得部102は、画像補正部104を有する。画像補正部104は、撮影画像にマーカが含まれる場合に、マーカに基づいて撮影画像の撮影距離及び撮影視点の標準化を行って標準化画像を取得する。また、画像補正部104は、撮影画像に基準となるグレーの色の領域が含まれる場合に、基準となるグレーの色に基づいて撮影画像の色調補正を行う。
【0198】
薬剤検出部106は、画像取得部102が取得した撮影画像から識別対象薬剤の領域を検出する。薬剤検出部106は、画像補正部104によって標準化画像が取得された場合は、標準化画像から識別対象薬剤の領域を検出する、薬剤検出部106は、撮影画像に複数の識別対象薬剤が含まれている場合は、複数の識別対象薬剤のそれぞれの領域を検出する。
【0199】
刻印印字抽出部108は、撮影画像の少なくとも識別対象薬剤の領域を処理して識別対象薬剤の外形エッジ情報を排し、刻印及び/又は印字を抽出した刻印印字抽出画像を取得する。ここでは、刻印印字抽出画像は、刻印部分又は印字部分の輝度が刻印部分又は印字部分以外の部分の輝度よりも相対的に高く表現されることで、刻印及び/又は印字が強調された画像である。
【0200】
薬剤検出部106によって複数の識別対象薬剤のそれぞれの領域が検出された場合は、刻印印字抽出部108は、複数の識別対象薬剤にそれぞれ対応する複数の刻印印字抽出画像を取得する。
【0201】
刻印印字抽出部108は、第1学習済みモデル108Aを含む。第1学習済みモデル108Aは、刻印及び/又は印字が付加された薬剤の第1画像を入力として与えると薬剤の刻印及び/又は印字が抽出された第2画像を出力する学習済みモデルである。第1学習済みモデル108Aは、刻印及び/又は印字が付加された複数の異なる薬剤の学習データセットであって、刻印及び/又は印字が付加された薬剤の画像と、薬剤の刻印及び/又は印字が抽出された画像とをセットとする学習用の学習データセットにより機械学習が行われたものである。第1学習済みモデル108Aは、畳み込みニューラルネットワーク(Convolution Neural Network:CNN)を適用することができる。
【0202】
ここでは、画像補正部104によって撮影画像の撮影距離及び撮影視点の標準化と色調補正とが行われているため、第1学習済みモデル108Aの安定動作を期待することができる。
【0203】
第1薬種認識部110は、刻印印字抽出画像を入力して識別対象薬剤の薬種を推論し、識別対象薬剤の薬種の候補を取得する。薬種の候補は、薬剤名、商品名、略称、又はこれらの組合せからなる薬剤識別情報を含む。第1薬種認識部110は、複数の識別対象薬剤にそれぞれ対応する複数の刻印印字抽出画像が入力された場合は、複数の識別対象薬剤にそれぞれ対応する薬種の候補を取得する。
【0204】
第1薬種認識部110は、第2学習済みモデル110Aを含む。第2学習済みモデル110Aは、薬剤の刻印及び/又は印字が抽出された第2画像を入力として与えると薬剤の刻印及び/又は印字に対応する薬剤の薬種を出力する学習済みモデルである。第2学習済みモデル110Aは、刻印及び/又は印字が付加された複数の異なる薬剤の学習データセットであって、刻印及び/又は印字が抽出された薬剤の画像と、薬剤の刻印及び/又は印字に対応する薬剤の薬種とをセットとする学習用の学習データセットにより機械学習が行われたものである。第2学習済みモデル110Aは、第1学習済みモデル108Aと同様に、CNNを適用することができる。
【0205】
このように、第1薬種認識部110は、色情報を用いずに刻印及び/又は印字情報をベースに認識を行うため、撮影環境の影響に対してロバストとなる。
【0206】
候補出力部112は、第1薬種認識部110が取得した識別対象薬剤の薬種の候補を出力する。候補出力部112は、例えば識別対象薬剤の薬種の複数の候補を選択可能にタッチパネルディスプレイ14に表示させてもよいし、識別対象薬剤の薬種の候補を1つのみ表示し、識別対象薬剤と違う場合は検索機能を用いて別の候補薬剤を選択可能にしてもよい。
【0207】
確定部114は、識別対象薬剤の薬種の候補から識別対象薬剤の正解薬剤を確定させる。確定部114は、例えばタッチパネルディスプレイ14に表示させた識別対象薬剤の薬種の複数の候補からユーザに選択された薬種の候補を正解薬剤として確定させる。確定部114は、候補出力部112によって出力された識別対象薬剤の薬種の候補が1つのみの場合は、その薬種の候補を正解薬剤として確定させてもよい。
【0208】
第2薬種認識部122は、撮影画像の少なくとも識別対象薬剤の領域を入力して識別対象薬剤の薬種を推論する。第2薬種認識部122は、複数の識別対象薬剤にそれぞれ対応する複数の領域が入力された場合は、複数の識別対象薬剤にそれぞれ対応する薬種を推論する。第2薬種認識部122に入力される画像は、識別対象薬剤の領域の画像ではなく、識別対象薬剤の領域の画像に刻印印字抽出部108によって生成された刻印印字抽出画像の輝度を反転して合成した画像(合成抽出画像)であってもよい。
【0209】
第2薬種認識部122は、第3学習済みモデル122Aを含む。第3学習済みモデル122Aは、刻印及び/又は印字が付加された薬剤の第1画像を入力として与えると薬剤の薬種を出力する学習済みモデルである。第3学習済みモデル122Aは、刻印及び/又は印字が付加された複数の異なる薬剤の学習データセットであって、刻印及び/又は印字が付加された薬剤の画像と、薬剤の刻印及び/又は印字に対応する薬剤の薬種とをセットとする学習用の学習データセットにより機械学習が行われたものである。第3学習済みモデル122Aは、第1学習済みモデル108A、及び第2学習済みモデル110Aと同様に、CNNを適用することができる。
【0210】
第2薬種認識部122は、撮影画像の少なくとも識別対象薬剤の領域を入力とするため、識別対象薬剤の刻印及び/又は印字による識別情報だけでなく、色、大きさ、及び形状の少なくとも1つを含めて認識を行う。
【0211】
薬剤付随情報記憶部123は、複数の薬剤の薬剤付随情報を記憶する。薬剤付随情報は、薬剤の名称、及び識別記号の他、薬剤の形状、大きさ、及び色のうちの少なくとも1つの情報を含む。薬剤付随情報は、刻印及び/又は印字が類似した薬剤の情報を含んでもよい。
【0212】
薬剤付随情報取得部124は、薬剤付随情報記憶部123から所定の薬剤の薬剤付随情報を取得する。
【0213】
〔薬剤識別方法〕
図19は、薬剤識別装置120を用いた薬剤識別方法の工程を示すフローチャートである。また、図20は、薬剤識別方法の工程のプロセスを示す図である。薬剤識別方法は、CPU28がメモリ34から薬剤識別プログラムを読み出して実行することにより実現される。薬剤識別プログラムは、無線通信部30、又は外部入出力部40を介して提供されてもよい。
【0214】
画像取得工程であるステップS1では、画像取得部102は、刻印及び/又は印字が付加された識別対象薬剤が撮影された撮影画像を取得する。ここでは、画像取得部102は、アウトカメラ22によって撮影された撮影画像I1を取得する。撮影画像I1は、ライト24によって識別対象薬剤に照明光が照射された画像であってもよい。
【0215】
図20は、撮影画像I1に識別対象薬剤である錠剤T1、T2、及びT3が写っている例を示している。錠剤とは、圧縮成形により一定の形に成型された固形の薬剤である。錠剤T1、T2、及びT3は、それぞれ刻印及び/又は印字により識別情報が付加されている。
【0216】
また、撮影画像I1には、基準となるグレーの色の領域である背景BGが写っている。さらに、撮影画像I1には、4つのマーカM1、M2、M3、及びM4が写っている。マーカM1~M4は、それぞれArUcoマーカである。3つの錠剤T1、T2、及びT3は、マーカM1~M4に囲まれた位置に写っている。
【0217】
このように、撮影画像I1は、識別対象薬剤、マーカM1~M4、及び基準となるグレーの色の領域が同時に撮影された画像である。画像補正部104は、マーカM1~M4に基づいて撮影画像I1の撮影距離及び撮影視点の標準化処理を行い、かつ背景BGのグレーの色に基づいて撮影画像I1の色調補正を行い、標準化画像I1を取得する(プロセスP1)。
【0218】
ここで、撮影距離及び撮影視点の標準化処理は、以下のように行う。
【0219】
まず、画像補正部104は、撮影画像I1の4つのマーカM1、M2、M3、及びM4のそれぞれの4つの頂点V1、V2、V3、及びV4の画像内の座標を取得する。続いて、画像補正部104は、位置合わせに用いる4つの頂点の座標を特定する。ここでは、画像補正部104は、左上に配置されたマーカM1の左上の頂点V1、右上に配置されたマーカM2の右上の頂点V2、右下に配置されたマーカM3の右下の頂点V3、及び左下に配置されたマーカM4の左下の頂点V4の座標を特定する。
【0220】
さらに、画像補正部104は、座標を特定した4つの頂点V1~V4が撮影距離及び撮影視点の標準化後に行く先の座標を指定する。画像補正部104は、座標を特定した4つの頂点V1~V4が、指定した座標の位置に変換されるような透視変換行列を求める。このような透視変換行列は、4点あれば一意に定まる。例えば、OpenCVのgetPerspectiveTransform関数によって、4点の対応関係があれば変換行列を求めることができる。
【0221】
画像補正部104は、求めた透視変換行列を用いて、元の撮影画像I1の全体を透視変換し、変換後の画像を取得する。このような透視変換は、OpenCVのwarpPerspective関数を用いることで実行することができる。この変換後の画像が、撮影距離及び撮影視点が標準化された標準化画像I1である。
【0222】
薬剤検出工程であるステップS2では、薬剤検出部106は、標準化画像I1から錠剤T1~T3のそれぞれの領域を検出する。薬剤検出部106は、薬剤検出用学習済みモデルを用いて錠剤T1~T3のそれぞれの領域を検出してもよい。図20は、薬剤検出部106が錠剤T1の領域を検出し、領域画像I1を取得した例を示している(プロセスP2)。
【0223】
なお、撮影画像I1にマーカ及びグレーの領域が写っていない等のために画像補正部104によって標準化画像I1を取得していない場合は、薬剤検出部106は、撮影画像IC1から錠剤T1~T3のそれぞれの領域を検出すればよい。
【0224】
刻印印字抽出工程であるステップS3では、刻印印字抽出部108は、ステップS2で検出された錠剤T1~T3のそれぞれの領域を処理して錠剤T1~T3のそれぞれの刻印及び/又は印字を抽出した刻印印字抽出画像を取得する。刻印印字抽出部108は、第1学習済みモデル108Aによって刻印印字抽出画像を取得してもよい。図20は、刻印印字抽出部108が領域画像I1を処理して錠剤T1の刻印を抽出した刻印印字抽出画像I1を取得した例を示している(プロセスP3)。刻印印字抽出画像I1は、刻印部分又は印字部分の輝度が刻印部分又は印字部分とは異なる部分の輝度よりも相対的に高い画像である。
【0225】
第1薬種認識工程であるステップS4では、第1薬種認識部110は、ステップS3で取得した錠剤T1~T3のそれぞれの刻印印字抽出画像から錠剤T1~T3のそれぞれの薬種を推論し、錠剤T1~T3の薬種の候補を取得する。第1薬種認識部110は、第2学習済みモデル110Aによって錠剤T1の薬種の候補R1を取得してもよい。図20は、第1薬種認識部110が錠剤T1の刻印印字抽出画像I1から錠剤T1の薬種の候補R1を取得した例を示している(プロセスP4)。図20に示す例では、錠剤T1の薬種の候補R1は、「AB錠1mg」及び「AC錠1mg」の2つの薬剤であり、それぞれスコア値である確率が「0.5」及び「0.4」である。
【0226】
第2薬種認識工程であるステップS11では、第2薬種認識部122は、ステップS2で検出された錠剤T1~T3のそれぞれの領域を処理して錠剤T1~T3のそれぞれの薬種を推論する。第2薬種認識部122は、第3学習済みモデル122Aによって錠剤T1~T3のそれぞれの薬種を推論してもよい。図20は、第2薬種認識部122が錠剤T1の領域画像IR1から錠剤T1の薬種の候補R2を取得した例を示している(プロセスP5)。
【0227】
図20に示す例では、錠剤T1の薬種の候補R2は、「AB錠1mg」及び「AC錠1mg」の2つの薬剤であり、それぞれスコア値である確率が「0.9」及び「0.3」である。
【0228】
なお、第1薬種認識工程、及び第2薬種認識工程の順序は特に限定されず、いずれの工程を先に行ってもよい。
【0229】
薬剤付随情報取得工程であるステップS12では、薬剤付随情報取得部124は、ステップS4で取得した第1薬種認識部110の推論結果とステップS11で取得した第2薬種認識部122の推論結果から、関連する薬種の薬剤の薬剤付随情報を薬剤付随情報記憶部123から取得する。図20は、薬剤付随情報取得部124が錠剤T1の薬種の候補R1及び候補R2である「AB錠1mg」及び「AC錠1mg」の薬剤付随情報INFを取得した例を示している(プロセスP6)。
【0230】
図20に示す例では、取得した薬剤付随情報INFは大きさの情報であり、「AB錠1mg」及び「AC錠1mg」の大きさの情報は、それぞれ「直径12mm」及び「直径10mm」である。
【0231】
候補取得工程であるステップS13では、第1薬種認識部110は、ステップS11で取得した第2薬種認識部122の推論結果、及びステップS12で取得した薬剤付随情報をステップS4で取得した第1薬種認識部110の推論結果に統合して、錠剤T1~T3のそれぞれの薬種の候補を取得する。
【0232】
第1薬種認識部110の推論結果と第2薬種認識部122の推論結果とを統合する方式は、両者の推論結果を重み付けして識別結果を得る方式であってもよい。両者の重み付けは、経験則に基づいてもよいし、機械学習ベースで薬剤毎に行ってもよい。
【0233】
第1薬種認識部110の推論結果と第2薬種認識部122の推論結果とを統合する方式は、第1薬種認識部110のスコア値と第2薬種認識部122のスコア値の和をとり、降順に並べる方式であってもよいし、第1薬種認識部110のスコア値と第2薬種認識部122のスコア値とに全薬種共通の係数をそれぞれ乗算して和をとって降順に並べる方式であってもよい。また、第1薬種認識部110の推論結果と第2薬種認識部122の推論結果とを統合する方式は、第1薬種認識部110のスコア値と第2薬種認識部122のスコア値とにそれぞれ薬種固有の係数をそれぞれ乗算して和をとって降順に並べる方式であってもよいし、薬種の識別性能を最大化するように学習を行った薬種固有の係数を、第1薬種認識部110のスコア値と第2薬種認識部122のスコア値とにそれぞれ乗算して和をとって降順に並べる方式であってもよい。
【0234】
図20は、第1薬種認識部110が候補R2、及び薬剤付随情報INFを候補R1に統合して候補R3を取得した例を示している(プロセスP7)。図20に示す例では、錠剤T1の薬種の候補R3は、「AB錠1mg」及び「AC錠1mg」であり、それぞれスコア値である確率が「0.99」及び「0.2」である。
【0235】
候補出力工程であるステップS14では、候補出力部112は、ステップS4で取得された錠剤T1の薬種の候補R1を出力する。ここでは、候補出力部112は、ステップS4で取得された錠剤T1の薬種の候補R1をタッチパネルディスプレイ14に選択可能に表示させる。これにより、ユーザは、錠剤T1の薬種の候補が「AB錠1mg」及び「AC錠1mg」であることを認識することができる。
【0236】
候補出力部112は、錠剤T1~T3のそれぞれの薬種の候補をまとめてタッチパネルディスプレイ14に表示してもよい。
【0237】
確定工程であるステップS15では、確定部114は、ステップS14で表示された薬種の候補R1の中から錠剤T1の正解薬剤を確定する。ここでは、確定部114は、「AB錠1mg」及び「AC錠1mg」のうちタッチパネルディスプレイ14によってユーザに選択された薬剤を錠剤T1の正解薬剤として確定する。
【0238】
第1薬種認識部110は、色情報を用いずに刻印及び/又は印字情報をベースに認識を行うため、刻印・印字情報が同一又は類似で、かつ色が異なる薬剤の識別精度が低下する可能性がある。一方、第2薬種認識部122は、色の情報を使用するため、撮影環境の影響を受ける可能性がある。薬剤識別装置120によれば、第1薬種認識部110の推論結果と第2薬種認識部122の推論結果と薬剤識別情報とを統合することで、互いの欠点を補完し、より精度の高い薬種の候補を取得することができる。なお、薬剤識別装置120は、少なくとも第2薬種認識部122の推論結果を第1薬種認識部110の推論結果に統合すればよい。
【0239】
〔薬剤識別装置の機能構成の例2〕
図21は、スマートフォン10によって実現される薬剤識別装置130の機能構成を示すブロック図である。なお、図21において、図18と共通する部分には同一の符号を付し、その詳細な説明は省略する。図21に示す薬剤識別装置130は、図18に示す薬剤識別装置120の構成に加えて、マスタ画像記憶部126を有する。また、薬剤識別装置130の第1薬種認識部110は、マスタ画像取得部127、及びテンプレートマッチング部128を有する。
【0240】
マスタ画像記憶部126は、複数の薬剤のマスタ画像を記憶する。図22は、マスタ画像記憶部126に記憶されたある薬剤のマスタ画像の一例を示す図である。マスタ画像記憶部126には、1つの薬剤について、表面の領域画像IA、表面の刻印印字抽出画像IA、表面の合成抽出画像IA、裏面の領域画像IB、裏面の刻印印字抽出画像IB、及び裏面の合成抽出画像IB、の6枚のマスタ画像が記憶されている。
【0241】
表面の領域画像IA、及び裏面の領域画像IBは、それぞれ薬剤の表面の撮影画像、及び裏面の撮影画像から薬剤検出された薬剤の領域の画像である。元となる撮影画像は、コントロールされた環境で撮影された、撮影距離及び撮影視点が既知の撮影画像である。
【0242】
表面の刻印印字抽出画像IA、及び裏面の刻印印字抽出画像IBは、それぞれ表面の領域画像IA、及び裏面の領域画像IBについて刻印印字抽出処理が行われた画像である。刻印印字抽出処理は、刻印部分又は印字部分の輝度が刻印部分又は印字部分以外の部分の輝度よりも相対的に高く表現される処理であり、画像処理によって行われてもよいし、ユーザによる手動で行われてもよい。刻印印字抽出画像IA、及び裏面の刻印印字抽出画像IBは、本実施形態において薬剤のテンプレートマッチングを行う際に各薬剤の基準となる画像であり、刻印マスタ画像と呼ぶ場合がある。
【0243】
表面の合成抽出画像IAは、表面の刻印印字抽出画像IAの輝度を反転して表面の領域画像IAに重畳させた画像である。同様に、裏面の合成抽出画像IBは、裏面の刻印印字抽出画像IBの輝度を反転して裏面の領域画像IBに重畳させた画像である。
【0244】
なお、マスタ画像記憶部126は、カプセル剤のように回転対称性のある画像についても、便宜上6枚の画像を保持している。ただしその場合は、刻印印字抽出画像についてはブランクのファイルとして保持している。また、カプセル剤のマスタ画像として回転対称性で分析可能で取り得る回転角度の多数の画像(例えば1°刻みに回転させた360枚)を保持していてもよく刻印印字抽出画像も同数を保持していてもよい。なお、カプセル剤とは、粉末又は顆粒がカプセル基剤に充填された薬剤である。
【0245】
図21の説明に戻り、マスタ画像取得部127は、所定の薬種の刻印マスタ画像をマスタ画像記憶部126から取得する。
【0246】
テンプレートマッチング部128は、複数の薬種の候補の薬剤の刻印印字抽出画像とマスタ画像取得部127が取得した刻印マスタ画像とのテンプレートマッチングを行う。テンプレートマッチングとは、薬剤の刻印印字抽出画像と刻印マスタ画像とを比較することにより、刻印印字抽出画像と一致する刻印マスタ画像を探索し、刻印印字抽出画像の薬剤がどの薬種の薬剤であるかを特定する画像処理である。本実施形態では、画像補正部104によって標準化画像を生成してから領域画像を取得するので、撮影距離及び撮影視点が既知の撮影画像から生成された刻印マスタ画像とのテンプレートマッチングを行うことができる。
【0247】
図23は、薬剤識別装置130を用いた薬剤識別方法の工程を示すフローチャートである。なお、図23において、図19と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0248】
ステップS1~ステップS4、及びステップS11~ステップS13の処理は、図19の同様である。
【0249】
マスタ画像取得工程であるステップS21では、マスタ画像取得部127は、ステップS13で取得した錠剤T1~T3のそれぞれの薬種の候補の刻印マスタ画像を、マスタ画像記憶部126から取得する。
【0250】
例えば、第2の実施形態で説明した例では、錠剤T1の薬種の候補R3は、「AB錠1mg」及び「AC錠1mg」である。したがって、マスタ画像取得部127は、錠剤T1について「AB錠1mg」の刻印マスタ画像、及び「AC錠1mg」の刻印マスタ画像を取得する。薬種の候補が多数存在する場合は、スコアが上位のN個(例えばN=10)の薬剤の候補の刻印マスタ画像を取得してもよい。
【0251】
テンプレートマッチング工程であるステップS22では、テンプレートマッチング部128は、錠剤T1~T3のそれぞれの刻印印字抽出画像について、ステップS21で取得した刻印マスタ画像とのテンプレートマッチングを行う。
【0252】
例えば、テンプレートマッチング部128は、錠剤T1について、刻印印字抽出画像I1と「AB錠1mg」の刻印マスタ画像とのテンプレートマッチング、及び刻印印字抽出画像I1と「AC錠1mg」の刻印マスタ画像とのテンプレートマッチングを行い、錠剤T1の薬種が「AB錠1mg」及び「AC錠1mg」のいずれであるかを特定する。
【0253】
ここで、テンプレートマッチング部128は、刻印印字抽出画像I1に対して刻印マスタ画像を回転及び並行移動することで刻印印字抽出画像I1とそれぞれの刻印マスタ画像とを比較し、一致度を示すスコアの高い刻印マスタ画像の薬剤を特定する。刻印印字抽出画像I1の刻印及び/又は印字の向きは任意である。したがって、薬剤の回転任意性に対応するため、テンプレートマッチング部128は、例えば1°刻みに刻印マスタ画像を回転させてテンプレートマッチングを行う。
【0254】
また、マスタ画像取得部127は、ステップS13で取得した薬種の候補の薬剤だけでなく、その薬剤に刻印及び/又は印字が類似する薬剤を候補に加え、刻印及び/又は印字が類似する薬剤の刻印マスタ画像を取得してもよい。例えば、予め刻印マスタ画像について総当たりでテンプレートマッチングを行うことによって、互いに刻印及び/又は印字が類似する薬剤の情報を刻印マスタ画像に保持させておく。この情報により、マスタ画像取得部127は、薬剤の刻印マスタ画像を取得する際に、刻印及び/又は印字が類似する薬剤の刻印マスタ画像を取得することができる。テンプレートマッチング部128において、スコア上位の薬剤の候補に加え、それらの薬剤の類似薬剤も候補についてもテンプレートマッチングを行うことで、抜けもれなく薬剤を抽出して薬剤認識の精度を向上させることができる。
【0255】
二次候補取得工程であるステップS23では、第1薬種認識部110は、ステップS22のテンプレートマッチングの結果から、錠剤T1~T3のさらに絞られた薬種の候補を取得する。
【0256】
続くステップS24、及びステップS25の処理は、図19のステップS14、及びステップS15の処理と同様である。なお、ステップS22のテンプレートマッチングによって特定された薬剤を、錠剤T1~T3の正解薬剤として確定させてもよい。
【0257】
刻印情報が抽出できれば、刻印マスタ画像とのテンプレートマッチングによって高精度の照合が可能であるが、テンプレートマッチングは、検索対象が全薬種であり、回転角任意の場合には非常に時間がかかる(数10~数100秒)という欠点があった。一方、学習済みモデルによって照合を行うと非常に短時間で識別結果を得られるが(数10ミリ秒)、正解率は刻印マスタ画像とのテンプレートマッチングに及ばない。第3の実施形態に係る薬剤識別装置130によれば、第1薬種認識部110によって取得した候補の上位の薬剤についてテンプレートマッチングを行うようにしたので、精度と速度とを両立させて識別対象薬剤の薬種の候補を取得することが可能となる。
【0258】
<カプセル剤の対応>
カプセル剤は、同色、同型、及び同サイズのものが存在し、薬種特定にはカプセルに記載された識別記号を認識することが必要である。識別記号が記載されたカプセル剤への対応として錠剤の識別方法と同様の手法をとることが可能である。しかしながら、カプセル剤は、識別記号が記載されていないものも多く、さらにカプセル剤の画像には回転及びかみ合わせの任意性によって、膨大なパターンが存在する。このため、機械学習ベース、及びテンプレートマッチングベース共に実現が困難である。
【0259】
以上を鑑みて、薬剤識別装置120、130は、カプセル剤については、色、大きさ、及び形状によって第一段階の識別を行い、薬種の候補を少数に絞ることも可能である。薬種の候補は、上位スコアN位(例えばN=5)までのカプセル剤、又は一定スコア以上のカプセル剤とすることができる。
【0260】
薬剤識別装置120、130は、これらの1つ又は少数の候補について、マスタ画像、識別記号、及び薬剤名をユーザに並べて提示する。加えて、薬剤識別装置120、130は、撮影画像を拡大表示したり、刻印及び/又は印字を抽出した画像を同時に表示したりすることで、ユーザが正解薬剤選択をしやすくするよう表示する。
【0261】
<スマートフォン10のGUI(Graphical User Interface)の例>
図24図28は、薬剤識別方法の各工程におけるスマートフォン10のタッチパネルディスプレイ14の画面表示の例である。図24は、画像取得工程における画面表示D1を示している。画面表示D1には、撮影対象のライブビュー画像IV、及び撮影ボタンB1が表示される。
【0262】
ライブビュー画像IVは、アウトカメラ22によって動画撮影された領域がリアルタイムに表示された画像である。ここでのライブビュー画像IVは、錠剤T1~T3、マーカM1~M4、及び基準となるグレーの色の背景BGを含む。
【0263】
ユーザが撮影ボタンB1をタップ操作すると、アウトカメラ22による本撮影が行われ、画面表示D1から画面表示D2(図25参照)に移行する。本撮影された静止画である撮影画像は、メモリ34に記憶される。
【0264】
図25は、薬剤検出工程における画面表示D2を示している。画面表示D2には、標準化画像I、及び再撮影ボタンB2が表示される。標準化画像Iは、撮影画像について標準化処理が施された後、マーカM1~M4を結ぶ直線で囲まれた領域が切り出された画像である。ここでは、標準化画像Iから検出された錠剤T1、T2、及びT3の領域をそれぞれ囲う枠F1、F2、及びF3が表示されている。
【0265】
画面表示D2では、標準化画像Iは、ユーザによるタッチパネルディスプレイ14のピンチ操作に応じて、拡大表示される。
【0266】
画面表示D2において錠剤T1~T3のいずれかの領域(枠F1~F3で囲まれたいずれかの領域)がタップ操作されると、画面表示D2から画面表示D3(図26参照)に移行する。また、再撮影ボタンB2がタップ操作されると、画面表示D2から画面表示D1に移行する。
【0267】
図26は、候補出力工程における画面表示D3を示している。ここでは、画面表示D2において錠剤T1の領域(枠F1で囲まれた領域)がタップ操作されることにより、錠剤T1の薬種の候補を取得した場合を示している。
【0268】
画面表示D3には、画面表示D2においてタップ操作された識別対象薬剤である錠剤T1の領域画像I、及び領域画像Iの刻印印字抽出画像Iが並べて表示される。さらに、錠剤T1の合成抽出画像が並べて表示されてもよい。
【0269】
また、画面表示D3には、テキストボックスB、検索ボタンB3、戻るボタンB4、及び再撮影ボタンB2が表示される。
【0270】
戻るボタンB4がタップ操作されると、画面表示D3から画面表示D2に移行する。また、再撮影ボタンB2がタップ操作されると、画面表示D3から画面表示D1に移行する。
【0271】
さらに、画面表示D3は、候補薬剤表示領域A1を有する。候補薬剤表示領域A1には、錠剤T1の薬剤の薬種の候補として認識された複数の候補薬剤がスコアの高い順に上から下に選択可能に表示される。候補薬剤表示領域A2には、ユーザの画面下から画面上方向に向けたスワイプ操作に応じて、よりスコアの低い候補薬剤が表示される。候補薬剤表示領域A1には、その後のユーザの画面上から画面下方向に向けたスワイプ操作に応じて、よりスコアの高い候補薬剤が表示される。または候補薬剤表示領域A1には、錠剤T1の薬剤の薬種の候補として認識された複数の候補薬剤がスコアの高いものを1つのみ表示してもよい。スマートフォン10の画面サイズは必ずしも大きくないので、候補薬剤の表示を1つのみとし、候補薬剤が違う場合は後述のテキストボックスBで検索して新たな候補薬剤として代替表示してもよい。
【0272】
候補薬剤表示領域A1には、錠剤T1の候補薬剤C1~C5のそれぞれのマスタ画像の表面及び裏面の合成抽出画像と、錠剤T1の刻印印字抽出画像とマスタ画像の対象面の刻印印字抽出画像とを重畳させた重ね合わせ画像とが表示される。重ね合わせ画像は、テンプレートマッチングによってスコアが最大となったマスタ画像の回転角及び平行移動位置について、マスタ画像の向きを基準にして表示され、合成抽出画像は重ね合わせ画像と刻印及び/又は印字を揃えた向きで表示される。ここでは、一番上に表示された候補薬剤C1は、錠剤T1の刻印印字抽出画像とマスタ画像の刻印印字抽出画像とが一致するため、重ね合わせ画像が明確に表示されている。
【0273】
このように、画面表示D3には、錠剤T1の領域画像I、及び刻印印字抽出画像Iとともに、錠剤T1の候補薬剤C1~C5のマスタ画像の表面及び裏面の合成抽出画像、及びテンプレートマッチングで最も一致スコアの高かった回転角及び平行移動位置における重ね合わせ画像が表示されることで、ユーザによる認識結果の正誤判断を視認性高くできるようにしている。
【0274】
画面表示D3において候補薬剤表示領域A1の任意の候補薬剤がタップ操作されると、画面表示D3から画面表示D4(図27参照)に移行する。
【0275】
テキストボックスBは、文字列を入力可能な検索ウィンドウであり、ユーザが入力した文字列によって錠剤T1の薬種を特定するためのインターフェースである。候補薬剤表示領域A1に正解薬剤が存在しない場合は、ユーザは、画面表示D3の錠剤T1の領域画像I、及び刻印印字抽出画像Iを参考にしてテキストボックスBに錠剤T1の識別記号をテキスト入力し、検索ボタンB3をタップ操作することで、入力された文字列の薬種の候補を取得することができる。入力するテキストは、「AB12」の様な識別記号でもよいし、薬剤名でもよい。なお、スマートフォン10は、テキストボックスBが選択された場合に、画面下部にキーボードを表示することでテキストボックスBにテキストを入力させてもよいし、いわゆる音声入力によってテキストを入力させてもよい。
【0276】
画面表示D3においてテキストボックスBにテキストが入力され、かつ検索ボタンB3がタップ操作されると、画面表示D3から画面表示D5(図28)に移行する。
【0277】
図27は、画面表示D3から移行した画面表示D4を示している。ここでは、画面表示D3において候補薬剤C1がタップ操作された場合を示している。
【0278】
画面表示D4には、識別対象薬剤である錠剤T1の領域画像I、及び刻印印字抽出画像Iの他、上位移行ボタンB5、下位移行ボタンB6、確定ボタンB7、及び戻るボタンB8が表示される。
【0279】
戻るボタンB8がタップ操作されると、画面表示D4から画面表示D3に移行する。
【0280】
また、画面表示D4は、選択薬剤表示領域Aを有する。選択薬剤表示領域Aには、画面表示D3においてタップ操作された薬剤の情報が表示される。ここでは、選択薬剤表示領域Aには、候補薬剤C1の名称、合成抽出画像、識別記号、薬効分類、剤形、YJコード(個別医薬品コード)、主成分、薬価、及び先後発等の候補薬剤C1に関連する情報が表示されている。副作用情報や相互作用情報等、さらに候補薬剤C1に関連する情報が表示されていてもよい。
【0281】
上位移行ボタンB5がタップ操作されると、選択薬剤表示領域Aには、表示中の候補薬剤よりもスコアが1つ上位の候補薬剤が表示される。一方、下位移行ボタンB6がタップ操作されると、選択薬剤表示領域Aには、表示中の候補薬剤よりもスコアが1つ下位の候補薬剤が表示される。また、確定ボタンB7がタップ操作されると、識別対象薬剤である錠剤T1の正解薬剤が、タップ操作時に選択薬剤表示領域Aに表示されている薬剤に確定する。
【0282】
図28は、画面表示D3から移行した画面表示D5を示している。画面表示D3において検索ボタンB3がタップ操作されると、第1薬種認識部110は、入力されたテキストで薬剤付随情報記憶部123を検索することで、入力されたテキストに対応する薬種の候補を取得する。ここでは、画面表示D3においてテキストボックスBに「AB12」が入力された後、検索ボタンB3がタップ操作された場合を示している。
【0283】
画面表示D5には、識別対象薬剤である錠剤T1の領域画像I、及び刻印印字抽出画像Iの他、テキストボックスB、検索ボタンB3、戻るボタンB4、及び再撮影ボタンB2が表示される。
【0284】
戻るボタンB4がタップ操作されると、画面表示D5から画面表示D2に移行する。また、再撮影ボタンB2がタップ操作されると、画面表示D5から画面表示D1に移行する。
【0285】
また、画面表示D5は、候補薬剤表示領域A2を有する。候補薬剤表示領域A2には、画面表示D3においてテキストボックスBに入力されたテキストに対応する薬種の候補のマスタ画像が表示される。入力されたテキストに対応する薬種候補が複数ある場合は複数の薬種の候補のマスタ画像がテキストとの一致度の高い順に上から下に選択可能に表示される。
【0286】
ここでは、候補薬剤表示領域A2には、候補薬剤C11のマスタ画像の表面及び裏面の合成抽出画像が表示されている。
【0287】
候補薬剤表示領域A2で薬種候補が複数ある場合には、ユーザの画面下から画面上方向に向けたスワイプ操作に応じて、テキスト検索結果の一致度が相対的に低い候補薬剤が表示される。候補薬剤表示領域A2には、その後のユーザの画面上から画面下方向に向けたスワイプ操作に応じて、テキスト検索結果の一致度が相対的に高い候補薬剤が表示される。
【0288】
画面表示D5において候補薬剤表示領域A2の任意の候補薬剤がタップ操作されると、画面表示D5から画面表示D4に移行する。
【0289】
このように、薬種の候補を適切に取得できなかった場合であっても、テキストボックスBを用いることで、ユーザが識別対象薬剤である錠剤T1の領域画像I、及び刻印印字抽出画像Iを参考にしながらテキストによる検索で候補薬剤を取得することができる。
【0290】
なお、候補薬剤表示領域A2に正解薬剤が存在しない場合は、ユーザは、異なるテキストをテキストボックスBに入力し、検索ボタンB3をタップ操作することで、正解薬剤を再検索することができる。
【0291】
〔薬剤撮影方法の例〕
図29は、スマートフォン10を用いて識別対象の薬剤を撮影する際の様子を示す斜視図である。図29に示す持参薬鑑別依頼書D30は、持参薬の載置領域Aを含む。載置領域Aは、識別対象薬剤である患者の持参薬を撮影する際に持参薬を載置するための領域である。載置領域Aは、基準となるグレーの色の領域である背景BGと、背景BGの四隅に配置された4つのマーカM11、M12、M13、及びM14と、を含む。載置領域Aは、プリンタ66Aにより印刷されるのに限らず、別途用意した紙、繊維、ゴム、ガラス、又はプラスチック製の薬剤載置台を持参薬鑑別依頼書に載せたものであってもよい。
【0292】
図29は、持参薬鑑別依頼書D30の載置領域Aに、患者の持参薬の1回服用分を載置して撮影する様子を示す図である。ここでは、載置領域Aに4つの錠剤T21、T22、T23、及びT24を載置している。一回の撮影単位は、電子カルテシステム500が入力として期待する単位と一致さえしてればよく、服用時点毎の一回服用分、又は一日服用分、又はその他の撮影単位であってもよい。また、一回服用分の薬剤の量が多い場合は、同一服用時点の薬剤を複数の持参薬鑑別依頼書D30で分けて撮影する方式であってもよいし、持参薬鑑別依頼書D30上に複数の載置領域Aを配置するレイアウトとして一枚の持参薬鑑別依頼書D30で複数回の撮影を行う方式としてもよい。
【0293】
〔薬剤識別装置の機能構成の例3〕
図30は、スマートフォン10によって実現される薬剤識別装置400の機能構成の例3を示すブロック図である。なお、図30において、図18と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0294】
スマートフォン10などの携帯情報端末装置では記憶容量に制限があるため、マーカ検出と薬剤検出とを同一の学習済みモデルで行うことが望ましい。図30に示す薬剤識別装置400では、1つの学習済みモデルで、標準化前画像に対する基準マーカの検出、及び標準化画像に対する薬剤検出の2つの検出タスクを実行する。
【0295】
図30に示すように、薬剤識別装置400の画像補正部104、及び薬剤検出部106は、第4学習済みモデル104Aを含む。なお、メモリ34(図17参照)に記憶された単一の第4学習済みモデル104Aを画像補正部104、及び薬剤検出部106が共通で使用すればよく、画像補正部104、及び薬剤検出部106がそれぞれ備える必要はない。
【0296】
第4学習済みモデル104Aは、画像(標準化前画像、標準化画像)を入力として与えると、検出した物体の領域に対応する回転矩形バウンディングボックス(中心座標、幅、高さ、回転角度)、物体のクラス、及び物体らしさの確率を出力する学習済みモデルである。第4学習済みモデル104Aは、第1学習済みモデル108Aと同様に、CNNを適用することができる。第4学習済みモデル104Aは、物体の回転矩形バウンディングボックス(中心座標、幅、高さ、回転角度)と物体のクラスと物体らしさの確率を推定できるものであれば、特に限定されない。
【0297】
物体のクラスは、少なくとも「マーカ」、及び「薬剤」を含む。「マーカ」、及び「薬剤」のそれぞれを細かくグループ分けしてもよい。例えば、マーカの4つの位置を判別するため、形状及び大きさの異なるマーカを別クラスにしてもよい。また、後に行われる薬剤識別処理を見据え、薬剤を「円形錠剤」、「楕円形錠剤」、及び「カプセル剤」に分類してもよい。
【0298】
〔学習データセットの作成〕
第4学習済みモデル104Aを学習させるための学習データセットの作成について説明する。第4学習済みモデル104Aの学習には、基準マーカの学習データセットである第1の学習データセット、及び薬剤の学習データセットである第2の学習データセットが必要である。
【0299】
第1の学習データセットは、下記の5つの条件を満たす複数の画像から構成される。
【0300】
・様々な撮影距離及び撮影視点によって撮影されている標準化前画像。
【0301】
・円形マーカ、又は四角形マーカのみが複数写っている(薬剤は写っていない)。
【0302】
・円形マーカ、及び四角形マーカの領域を示す回転矩形バウンディングボックスの中心点座標、幅、高さ、及び回転角度が正解データとして与えられている。
【0303】
・円形マーカ、及び四角形マーカに対して、常に回転角度が0度の回転矩形バウンディングボックスを正解データとして付与する。回転矩形バウンディングボックスは、長方形が円形マーカ、又は四角形マーカに対して外接するように与える。
【0304】
・円形マーカ、及び四角形マーカに対しては、クラス「マーカ」が付与される。
【0305】
なお、薬剤が写っていない標準化前画像を使用するのは、歪みのある標準化前画像における薬剤の回転矩形バウンディングボックスの教師データの作成が困難であるためである。
【0306】
〔推論方法〕
図31は、第4学習済みモデル104Aによる推論方法(推論フェーズ)の一例を示すフローチャートである。推論方法の各工程は、薬剤識別方法の画像取得工程、及び薬剤検出工程に含まれる。
【0307】
ステップS61では、画像補正部104(図30参照)に、マーカ及び薬剤が写っている撮影距離及び撮影視点が不定の標準化前画像が入力される。標準化前画像は、例えばスマートフォン10のアウトカメラ22によって撮影された画像である。
【0308】
ステップS62では、画像補正部104は、ステップS61で入力された標準化前画像に対し、第6学習済みモデル104Aによりマーカ検出のための1回目の推論を行う。画像補正部104は、推論結果でクラスが「マーカ」と判定された物体のみを抽出し、マーカの中心点座標を4つ抽出する。なお、クラスが「薬剤」と推論された物体は、ここでは破棄する。
【0309】
ステップS63では、画像補正部104は、ステップS62で抽出された4つの中心点座標に基づいて透視変換を行い、撮影距離及び撮影視点が標準化された透視変換後画像(標準化画像)を取得する。なお、4つのマーカの中心点を基に画像を切り出すと、標準化画像の四隅にそれぞれマーカの4分の1が切り出されるので、必要に応じてこの部分にマスクをかけてもよい。
【0310】
ステップS64では、薬剤検出部106は、ステップS63で取得した標準化画像に対して2回目の推論を行う。ステップS65では、薬剤検出部106は、ステップS64の推論結果として標準化画像に写っている薬剤の回転矩形バウンディングボックスを取得する。
【0311】
薬剤検出部106は、ステップS64で取得したバウンディングボックスを用いて標準化画像から個々の薬剤の領域を切り出す。これにより、薬剤識別装置400は、前述の刻印印字抽出工程、及び第1薬種認識工程等を実施することができる。
【0312】
第4の学習済みモデル104Aは、標準化前画像に対するマーカ検出と、標準化後画像に対する薬剤検出との2つのタスクを実行することができるので、学習済みモデルの容量制限を受けやすいモバイルデバイス上で学習済みモデルを動作させる場合に都合がよい。
【0313】
標準化前画像は歪んでいるため、標準化前画像において特に楕円形の錠剤、及びカプセル剤等の回転矩形バウンディングボックスの教師データ(特に回転角)を定義するのは難しい。しかし、本手法では、薬剤が写っている教師データは標準化後画像についてのみ作成すればよく、また標準化前画像にはマーカのみ写っているため、この問題は生じない。
【0314】
本手法では、標準化前画像におけるマーカに対しても回転矩形バウンディングボックスの回転角に関する教師データを付与する必要があるが、単にマーカに対して常に回転角度が0度の正解データを与えればよいので、教師データ作成が可能かつ容易である。なお、四角形マーカを使用する場合も回転角度が0度の正解データを与えることは可能であるが、四角形マーカには直線部が存在するために第6の学習済みモデルが推論時に困惑する可能性がある。この点、構造が滑らかな円形マーカを用いる方が望ましい。
【0315】
また、第4の学習済みモデル104Aは、マーカ及び薬剤の検出を学習しているので、1回目の推論時であっても薬剤とマーカとの両方が写った標準化前画像を用いることができる。
【0316】
《各処理部及び制御部のハードウェア構成について》
図1で説明した識別処理部60、検索処理部62、出力処理部64、コード化処理部65、電子カルテ管理部522、マスタ管理部524、テキスト化処理部526、553、図18で説明した画像取得部102、画像補正部104、薬剤検出部106、刻印印字抽出部108、第1薬種認識部110、候補出力部112、確定部114、第2薬種認識部122、薬剤付随情報取得部124、図21で説明したマスタ画像取得部127、及びテンプレートマッチング部128などの各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。
【0317】
各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0318】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサで構成されてもよい。例えば、1つの処理部は、複数のFPGA、或いは、CPUとFPGAの組み合わせ、又は、CPUとGPUの組み合わせなどによって構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0319】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
【0320】
《コンピュータを用いて医療品情報登録システム2の機能を実現させるためのプログラムについて》
上記の実施形態で説明した医療品情報登録システム2の処理機能の一部又は全部をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
【0321】
また、上記の実施形態で説明した医療品情報登録システム2の処理機能の一部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。
【0322】
[実施形態に係る医療品情報登録システム2による効果]
実施形態に係る医療品情報登録システム2及びこのシステムを用いて実施される医療品マスタ登録方法によれば、医薬品を識別又は検索することにより特定された医薬品の該当するマスタ情報を電子カルテシステム500の医薬品マスタデータベース534に簡便に登録することができる。登録の際の情報の入力は、二次元コードを読み込めばよいため、正確な入力が可能であり、即時性も担保される。
【0323】
[変形例1]
上述の実施形態では持参薬の鑑別について説明したが、薬剤監査を行う場合についても本開示の技術を適用できる。
【0324】
[変形例2]
上述の実施形態では医薬品のマスタを登録する例を説明したが、医薬品は医療品の一例である。医薬品に限らず、医療材料など他の医療品の識別又は検索を行い、識別又は検索の結果に基づき医療品のマスタ登録を行う場合についても、医療品情報登録システム2と同様の仕組みを適用できる。
【0325】
医療材料についてマスタ登録される情報は、例えば、商品名、商品コード、JANコード、製販会社名、用途、規格、入数、価格、レセプト電算コード、診療行為コード、クラス分類などであってよい。
【0326】
医療材料の識別は、例えば、病院が購入せず預託として在庫しているもののマスタ登録を行う際に実施される。新しく預託されたものや、初めて手術等に使う医療材料の場合は電子カルテシステム500の医療材料マスタデータベースに登録されていないことも多い。本実施形態で説明した医療品情報登録システム2と同様のシステムを適用して、電子カルテシステム500の医療材料マスタデータベースに未登録の医療材料のマスタを登録することができる。
【0327】
医療情報システムは、電子カルテに限らず、電子薬歴、保険請求システム、もしくは薬科機器、またはこれらの適宜の組み合わせであってもよい。
【0328】
実施形態に係る医療品情報登録システム2によれば、予め最新の医薬品や医療材料のマスタデータをスマートフォン10などの情報処理装置に保有し、該当する医薬品や医療材料を識別又は検索できる情報処理装置のマスタデータベースから、該当するものの名前(医療品名)や識別コード等の情報をまとめてコード化して医療情報システムに受け渡すことができるため、正確で迅速にマスタ登録を行うことができる。
【0329】
また、情報の受け渡しは二次元コードの作成と読み取りとによって行われるため、大掛かりな装置が不要であり、簡便な操作で正確なマスタ登録処理が可能である。
【0330】
《その他》
本発明の技術的範囲は、上記した実施形態及び変形例に記載の範囲には限定されない。実施形態及び変形例における構成等は、本発明の趣旨を逸脱しない範囲で変更可能であり、実施形態及び変形例間で適宜組み合わせることができる。
【符号の説明】
【0331】
2 医療品情報登録システム
10 スマートフォン
11 プロセッサ
12 筐体
13 記憶装置
14 タッチパネルディスプレイ
15 通信装置
16 スピーカ
18 マイクロフォン
20 インカメラ
21 撮像部
22 アウトカメラ
23 照明部
24 ライト
26 スイッチ
30 無線通信部
32 通話部
34 メモリ
35 医薬品マスタデータベース
36 内部記憶部
38 外部記憶部
40 外部入出力部
42 GPS受信部
44 電源部
60 識別処理部
62 検索処理部
64 出力処理部
65 コード化処理部
66,66A,66B プリンタ
68 印刷物
102 画像取得部
104 画像補正部
104A 第4学習済みモデル
106 薬剤検出部
108 刻印印字抽出部
108A 第1学習済みモデル
110 第1薬種認識部
110A 第2学習済みモデル
112 候補出力部
114 確定部
120 薬剤識別装置
122 第2薬種認識部
122A 第3学習済みモデル
123 薬剤付随情報記憶部
124 薬剤付随情報取得部
126 マスタ画像記憶部
127 マスタ画像取得部
128 テンプレートマッチング部
130 薬剤識別装置
131 プロセッサ
400 薬剤識別装置
500 電子カルテシステム
510 電子カルテサーバ
512 プロセッサ
514 記憶装置
516 通信装置
522 電子カルテ管理部
524 マスタ管理部
526 テキスト化処理部
532 電子カルテデータベース
534 医薬品マスタデータベース
550,550A,550B 電子カルテ端末
552 プロセッサ
553 テキスト化処理部
554 記憶装置
556 通信装置
560 通信回線
562 入力装置
564 表示装置
566 コードリーダー
570 YESボタン
572 NOボタン
600 医療情報システム
602 持参薬鑑別依頼書
604 持参薬
606 二次元コード
610 バーコード
620 鑑別報告書
700 鑑別結果一覧画面
702 コード表示画面
703 コード表示画面
710 鑑別結果登録ボタン
712 患者情報表示欄
716 医薬品表示欄
718 ツールバー
720 マスタ作成ボタン
731 鑑別結果表示ボタン
732 バーコード読取ボタン
733 医薬品名検索ボタン
734 錠剤画像読取ボタン
740 戻るボタン
742 二次元コード表示欄
750 医薬品名表示欄
752 二次元コード表示欄
754 二次元コード
1 候補薬剤表示領域
2 候補薬剤表示領域
載置領域
選択薬剤表示領域
テキストボックス
BG 背景
1 撮影ボタン
2 再撮影ボタン
3 検索ボタン
4 戻るボタン
5 上位移行ボタン
6 下位移行ボタン
7 確定ボタン
8 戻るボタン
CD1 二次元コード
1 候補薬剤
2 候補薬剤
3 候補薬剤
4 候補薬剤
5 候補薬剤
11 候補薬剤
D1 画面表示
D2 画面表示
D3 画面表示
D4 画面表示
D5 画面表示
D30 持参薬鑑別依頼書
F1 枠
F2 枠
F3 枠
GTIN 標準コード
1 撮影画像
刻印印字抽出画像
1 刻印印字抽出画像
A 刻印印字抽出画像
B 刻印印字抽出画像
V ライブビュー画像
INF 薬剤付随情報
領域画像
1 領域画像
A 領域画像
B 領域画像
標準化画像
1 標準化画像
A 合成抽出画像
B 合成抽出画像
M1 マーカ
M2 マーカ
M3 マーカ
M4 マーカ
M11 マーカ
M12 マーカ
M13 マーカ
1 候補
2 候補
3 候補
ST1 GPS衛星
ST2 GPS衛星
T1 錠剤
T2 錠剤
T3 錠剤
T21 錠剤
T22 錠剤
T23 錠剤
TX1 文字列
P1~P7 薬剤識別方法の各プロセス
S1~S4,S11~S15,S21~S25薬剤識別方法の各ステップ
S61~S65 第4学習済みモデルによる推論方法の各ステップ
S101~S105 医療品情報登録システムの動作の各ステップ
S111~S118 持参薬の鑑別方法の各ステップ
S131~S137 マスタ情報をコード化する場合の処理の各ステップ
S211~S218 電子カルテシステムの動作の各ステップ
S231~S240 電子カルテシステムの動作の各ステップ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31