WO2004112685A1 - Drug auditing device - Google Patents

Drug auditing device Download PDF

Info

Publication number
WO2004112685A1
WO2004112685A1 PCT/JP2004/008937 JP2004008937W WO2004112685A1 WO 2004112685 A1 WO2004112685 A1 WO 2004112685A1 JP 2004008937 W JP2004008937 W JP 2004008937W WO 2004112685 A1 WO2004112685 A1 WO 2004112685A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
medicine
drug
medicine container
stored
Prior art date
Application number
PCT/JP2004/008937
Other languages
French (fr)
Japanese (ja)
Inventor
Hiroyuki Yuyama
Gakuji Goto
Katsumasa Shirai
Ken Kodama
Yoshito Goto
Hiroyasu Hamada
Original Assignee
Yuyama Mfg. Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuyama Mfg. Co., Ltd. filed Critical Yuyama Mfg. Co., Ltd.
Priority to JP2005507292A priority Critical patent/JP4857768B2/en
Publication of WO2004112685A1 publication Critical patent/WO2004112685A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/66Trinkets, e.g. shirt buttons or jewellery items
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Medicinal Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

A drug auditing device comprising a storing means (19) for storing in advance the images of a large number of drug containers (8) in association with the names of drugs, an auditing table (4) for mounting thereon a drug container (8) to be audited, an imaging means (5) for picking up the image of a drug container (8) on the auditing table (4), a judging means (18) judging whether or not an image obtained by the imaging means (5) can be found in images stored in the storing means (19). Accordingly, drugs can be audited quickly and easily, and an accurate collation can prevent an auditing error.

Description

明 細 書  Specification
技術分野 . Technical field .
本発明はアンプル等の薬剤を自動的に監査する薬剤監査装置に関する。 背景技術  The present invention relates to a medicine inspection device for automatically inspecting medicine such as an ampule. Background art
病院や調剤薬局において患者に投与する錠剤、 散薬、 注射薬等の薬剤が処方に 該当するか否かの監査作業は、 医療ミスを防止する上で非常に重要であり、 従来 より薬剤の監査を自動的に行なう装置が種々提案されている。 例えば、 錠剤の形 状の良否を検査するもの (例えば日本の特開 2000— 276583号公報参 照) 、 錠剤の個数を検出するもの (例えば日本の特開平 7— 200770号公報、 特開平 7— 204253号公報、 特開平 9一 299448号公報、 特開平 11一 206855号公報参照) がある。 し力、しながら、 アンプル等の注射剤が注射箋 に対応している力否かをチェックする監查作業は、 監査者により人為的に目視で 行なわれていた。 すなわち、 監査者は、 払い出されたアンプルの表面に貼り付け られた表示を目視して、 薬剤名称を読み取り、 注射箋に記載の薬剤と同じか否か を照合していた。  Auditing whether or not drugs, such as tablets, powders, and injections, to be administered to patients at hospitals and dispensing pharmacies fall under prescriptions is very important in preventing medical mistakes. Various devices have been proposed that perform this automatically. For example, a device for inspecting the quality of a tablet (for example, see Japanese Patent Application Laid-Open No. 2000-276583), a device for detecting the number of tablets (for example, Japanese Patent Application Laid-Open No. 7-200770, Japanese Patent Application Laid-Open No. 204253, JP-A-9-1299448, and JP-A-11-206855). Inspection work to check whether or not injections such as ampoules correspond to injection notes was manually performed visually by the auditor. In other words, the inspector visually checked the label attached to the surface of the dispensed ampule, read the name of the drug, and checked whether or not it was the same as the drug described on the injection note.
このような目視による監查は、 監査ミスが生じないように神経を使い、 非常に 煩わしい作業であった。 また、 例えば 1日 800処方 (1処方平均 5本のアンプ ル) を 6人で監査するとしても、 1人当たりの監查本数は 700本弱となり、 多 大な時間と労力を有する。 ·  Such visual inspection was a very cumbersome task, using nerves to prevent audit errors. Also, for example, if 800 prescriptions a day (an average of 5 ampoules per prescription) are audited by six people, the number of supervisions per person is less than 700, which means a lot of time and labor. ·
特に、 注射薬には、 外観が似ている場合だけでなく、 名称が類似する場合や、 名称が同一で含有量が相違する場合 (名称の語尾に含有量が含まれている場合) がある。 例えば、 名称が類似する例として、 ウテメリンとメテナリン、 ァダラー トとァダタート L、 アミサリンとァリナミン、 エバミールとエバデール等のよう に、 非常に紛らわしい名称が使われている。 ロゴ表記も類似していると、 照合率 が 90%以上の確率で、 両者は一致するという判断をしてしまう恐れがあった。 名称が同一で含有量が相違する場合、 例えば A薬 3 mlと A薬 8 mlの場合は、 照合率が 9 8 %以上で、 両者は一致するという判断をしてしまう問題があった。 このため、 オーダーが A薬 3 m 1であるのに、 誤って A薬 8 m 1が払い出される と、 患者に倍量以上の薬剤が投与される危険性があった。 ■ In particular, injections have not only similar appearances but also similar names or cases with the same name but different contents (contents are included at the end of the name). . For example, very confusing names are used, such as Utemerin and Methenaline, Adalart and Adatat L, Amisalin and Alinamin, Evamir and Eberdale, and similar names. If the logos are similar, the matching rate could be judged to be the same with a probability of more than 90%. If the name is the same and the content is different, for example, 3 ml of medicine A and 8 ml of medicine A, When the matching rate was 98% or more, there was a problem that the two were judged to be the same. For this reason, if 8 ml of medicine A was dispensed by mistake when the order was 3 m1 for medicine A, there was a risk that the patient would be administered twice or more the amount of medicine. ■
また、 輸液に薬剤を混注して患者に提供する場合、 投与時には既に混注作業が 完了しているので、 処方通りに混注されたのかが確認できず、 また混注作業の履 歴が分からないという問題があつた。 発明の開示  Also, when a drug is co-injected into an infusion and provided to a patient, the co-infusion work has already been completed at the time of administration, so it is not possible to confirm that the co-infusion has been performed as prescribed and the history of co-infusion work cannot be known There was. Disclosure of the invention
本発明は前記問題点に鑑みてなされたもので、 薬剤の監查作業を迅速かつ容易 にするとともに、 正確な照合により監査ミスを防止すること'ができる薬剤監查装 置を提供することを課題とするものである。  The present invention has been made in view of the above-mentioned problems, and provides a drug monitoring device that can quickly and easily perform a drug monitoring operation and that can prevent an audit error by accurate collation. It is an issue.
また、 本発明は、 混注作業の履歴を残すことができる薬剤監査装置を提供する ことを課題とするものである。  Another object of the present invention is to provide a medicine inspection device capable of leaving a history of co-injection work.
前記課題を解決するために、 本発明は、  In order to solve the above problems, the present invention provides
予め多数の薬剤容器の画像をそれらの薬剤名称と対応させて記憶する記憶手段 と、  Storage means for storing in advance images of a large number of drug containers in association with their drug names,
監査する薬剤容器を搭載する監査台と、  An audit table equipped with drug containers to be audited,
該監查台に搭載された薬剤容器の画像を撮像する撮像手段と、  Imaging means for capturing an image of a medicine container mounted on the monitoring stand;
該撮像手段で得られた画像に前記記憶手段に記憶した画像が有るか否かを判別 する判別手段とを備えたものである。  Determining means for determining whether or not the image obtained by the imaging means includes the image stored in the storage means.
ここで、 薬剤容器は、 アンプル等の断面円形の薬剤容器だけでなく、 注射剤キ ットまたは輸液バッグのような断面非円形の薬剤容器を含む。 撮像手段には、 C C Dカメラが好ましい。  Here, the medicine container includes not only a medicine container having a circular cross section such as an ampoule but also a medicine container having a non-circular cross section such as an injection kit or an infusion bag. As the imaging means, a CCD camera is preferable.
前記構成により、 本発明は、 薬剤容器が種々の形態を有していても、 各薬剤容 器の画像を記憶しておくことで、 撮像手段により撮像した薬剤容器の画像中に記 憶画像が有る力無いかをサーチして、 薬剤容器を迅速かつ容易に判別し、 正確に 照合することができる。  With the above-described configuration, the present invention stores an image of each medicine container even if the medicine container has various forms, so that the memorized image is included in the image of the medicine container taken by the imaging means. By searching for a weak force, drug containers can be identified quickly and easily, and accurate collation can be performed.
前記記憶手段は、 薬剤容器の特徴的な部分の画像を記憶することが好ましい。 ここで、 特徴的な部分とは、 容器の特殊な外形部分、 薬剤名称のうちの特殊な表 現の文字、 特殊なロゴの文字等、 他の薬剤容器と識別し得るような部分をいう。 このように、 記憶手段に薬剤容器の特徴的な部分の画像を記憶することで、 より 迅速かつ正確に照合することができる。 Preferably, the storage means stores an image of a characteristic portion of the medicine container. Here, the characteristic part is a special outer part of the container or a special table of drug names. The part that can be distinguished from other drug containers, such as the current character or the character of a special logo. In this way, by storing the image of the characteristic portion of the medicine container in the storage means, it is possible to perform quicker and more accurate collation.
前記記憶手段は、 薬剤容器の複数の特徴的な部分の画像を記憶し、  The storage means stores images of a plurality of characteristic portions of the medicine container,
前記判別手段は、 前記撮像手段で得られた画像に前記記憶手段に記憶した複数 の特 ^ [敷的な部分の画像がいずれも有る力否かを判別することが好ましい。 このよ うに、 薬剤容器の複数の特徴的な部分の画像を記憶することで、 紛らわしレ、薬剤 容器であっても、 迅速かつ正確に照合することができる。  It is preferable that the determination means determines whether or not the image obtained by the imaging means has any of a plurality of characteristic images stored in the storage means. In this way, by storing images of a plurality of characteristic portions of the medicine container, it is possible to quickly and accurately check even a misleading or medicine container.
前記判別手段は、 前記撮像手段で得られた画像に前記記憶手段に記憶した特徴 的な部分の画像がいずれも有る力否かを判別する際に、 前記特徴的な部分の画像 毎に異なる閾値で判別することが好ましい。 これにより、 照合率が向上し、 閾値 を下げることができる。  The discriminating means, when judging whether or not the image obtained by the imaging means has any image of the characteristic part stored in the storage means, a threshold value different for each image of the characteristic part It is preferable to judge by. As a result, the matching rate is improved, and the threshold can be lowered.
前記監査台は、 薬剤容器の姿勢を変化させる手段を備えることが好ましい。 こ れにより、 撮像手段からみて隠れた部分も撮像することができ、 正確な監査を行 なうことができる。  It is preferable that the inspection table includes means for changing a posture of the medicine container. As a result, it is also possible to take an image of a part hidden from the viewpoint of the imaging means, and to perform an accurate audit.
前記薬剤容器の姿勢を変化させる手段は、 前記薬剤容器を支持し回転させる 1 対のローラであることが好ましい。 これにより、 薬剤容器を監査台に搭載するだ けで、 薬剤容器の全周を撮像することができる。  The means for changing the posture of the medicine container is preferably a pair of rollers that support and rotate the medicine container. Thus, the entire circumference of the medicine container can be imaged only by mounting the medicine container on the inspection table.
薬剤容器に光を照射する光源をさらに備え、  Further comprising a light source for irradiating the medicine container with light,
前記光源は調光可能で、 明るさを全体的に均一化させるすりガラスを有するこ とが好ましい。 これにより、 光の陰がなく、 薬剤を正確に判別することができる。 前記薬剤容器の画像の背景が白色系となるように、 薬剤容器の背後に白色系の カラー板を備えることが好ましい。 これにより、 透明な薬剤容器に透明な薬剤が 収容されていても、 背景が白色系になって、 薬剤容器表面の名称を明瞭に撮像す ることができる。  Preferably, the light source is dimmable and has frosted glass for uniform brightness. Thus, there is no shade of light, and the medicine can be accurately discriminated. It is preferable that a white color plate is provided behind the medicine container so that the image of the medicine container has a white background. As a result, even if the transparent medicine container contains a transparent medicine, the background becomes white, and the name of the medicine container surface can be clearly imaged.
前記撮像手段は、 薬剤容器の平面画像とその他の面の画像を撮像することが好 ましい。 これにより、 薬剤容器の平面画像とその他の面の画像の両方により正確 な判別を行なうことができる。  It is preferable that the imaging means captures a planar image of the medicine container and an image of another surface. Thus, accurate determination can be made based on both the planar image of the medicine container and the images of the other surfaces.
前記薬剤容器のその他の面の画像は薬剤容器の裏面画像であり、 前記撮像手段 は鏡面体により撮像方向に反射される裏面画像を撮像することが好ましい。 これ により、 撮像手段は薬剤容器の平面画像と裏面画像を両方を撮像することができ、 正確な判別を行なうことができる。 The image of the other surface of the medicine container is a back surface image of the medicine container, and the imaging unit It is preferable to capture the back surface image reflected by the mirror body in the imaging direction. Thus, the imaging unit can capture both the planar image and the back surface image of the medicine container, and can perform accurate determination.
前記記憶手段に記憶する薬剤容器の画像を前記撮像手段から取得する画像取得 手段をさらに備え、  Image acquisition means for acquiring an image of the medicine container stored in the storage means from the imaging means,
前記画像取得手段は、 取得した薬剤容器の画像の中から選択された特徴的な部 分の画像を切り出し、 前記切り出した特徴的な部分の画像を所定の画像調整用閾 値でフィルタリングし、 得られた特徴的な部分の画像データを前記画像調整用閾 値とともに薬剤名称と対応させて前記記憶手段に記憶させることが好ましい。 こ れにより、 記憶画像を鮮明にすることができ、 判定の信頼性が向上する。  The image obtaining means cuts out an image of a characteristic portion selected from the obtained image of the medicine container, and filters the image of the cut out characteristic portion with a predetermined image adjustment threshold value. It is preferable that the image data of the characteristic portion obtained is stored in the storage unit in association with the medicine name together with the image adjustment threshold value. As a result, the stored image can be sharpened, and the reliability of the determination is improved.
前記撮像手段で撮像した画像を前記所定の画像調整用閾値と同じ閾値でフィル タリングすることが好ましい。 これにより、 監査対象の画像を記憶画像と同程度 に鮮明にすることができ、 判定の速度と信頼性が向上する。  It is preferable that the image picked up by the image pickup means is filtered with the same threshold value as the predetermined image adjustment threshold value. This allows the image to be audited to be as sharp as the stored image, improving the speed and reliability of the judgment.
前記画像調整用閾値を変更可能にすることが好ましい。 これにより撮像環境に 応じて閾値を調整することができ、 記憶画像をより鮮明にすることができ、 判定 の信頼性がさらに向上する。  It is preferable that the image adjustment threshold can be changed. As a result, the threshold value can be adjusted according to the imaging environment, the stored image can be made clearer, and the reliability of determination can be further improved.
前記判別手段は、 記憶画像を所定角度傾斜させて記憶画像と比較することが好 ましい。 監查対象の薬剤が鑑査台に斜めに設置されていても、 正確に判定するこ とができ、 判定の信頼性がさらに向上する。  It is preferable that the determination unit tilts the storage image by a predetermined angle and compares the tilted storage image with the storage image. Even if the drug to be monitored is placed diagonally on the inspection table, accurate determination can be made, and the reliability of the determination is further improved.
前記判別手段は、 近似的な相関計算を行つて記憶画像と類似する複数の候捕点 を探し出す候補点サーチと、 前記候補点について相関計算を行って記憶画像と一 致する画像を絞り込む最終サーチとを行うことが好ましい。 このようにすること で、 サーチの速度と信賴性が向上する。  The discriminating means includes: a candidate point search for performing an approximate correlation calculation to search for a plurality of catch points similar to the storage image; and a final search for performing a correlation calculation for the candidate points to narrow down an image that matches the storage image. Is preferably performed. By doing so, the speed and reliability of the search are improved.
前記候補点サーチの閾値は最終サーチの閾値より小さくすることが好ましい。 前記判別手段は、 前記候補点サーチを行うときに、 記憶画像から一定ピッチで ピクセルを除去して再構成した簡易記憶画像を使用することが好ましい。 これに より、 サーチ速度をさらに向上させることができる。  It is preferable that the threshold value of the candidate point search is smaller than the threshold value of the final search. It is preferable that, when performing the candidate point search, the discriminating means use a simplified storage image reconstructed by removing pixels from the storage image at a constant pitch. As a result, the search speed can be further improved.
前記記憶手段は、 予め多数の薬剤容器の画像を複数の領域に分割してそれらの 薬剤名称と対応させて記憶し、 前記判別手段は、 前記撮像手段で得られた画像と前記記憶手段に記憶した各領 域の画像との一致度を判定し、 各領域の画像の一致度の格差を算出し、 前記一致 度の格差を所定の格差閾値と比較することにより、 前記撮像手段で得られた画像 に前記記憶手段に記憶した画像が有るか否かを判別することが好ましい。 このよ うにすることで、 画像の一部が異なるような場合でも確実に判別することができ る。 The storage means divides images of a large number of medicine containers into a plurality of areas in advance and stores them in association with the medicine names, The determination unit determines a degree of coincidence between the image obtained by the imaging unit and an image of each area stored in the storage unit, calculates a difference in the degree of coincidence of the image of each area, It is preferable to determine whether or not the image obtained by the imaging means includes an image stored in the storage means by comparing the disparity with a predetermined threshold value. By doing so, it is possible to reliably determine even if a part of the image is different.
前記判別手段による判別の履歴を表示する表示手段をさらに有することが好ま しい。 これにより、 薬剤の監查後の例えば患者への薬剤の投与時に、 履歴を見る ことで、 薬剤が処方通りに混注されたことを確認することができる。 図面の簡単な説明  It is preferable that the apparatus further includes a display unit that displays a history of the determination by the determination unit. Thus, when the drug is administered to a patient, for example, after the drug is monitored, the history can be checked to confirm that the drug has been co-injected as prescribed. BRIEF DESCRIPTION OF THE FIGURES
図 1は、 本発明の第 1実施形態にかかる薬剤監査システムの概略構成図。 図 2は、 薬剤監査装置の側面図。  FIG. 1 is a schematic configuration diagram of a medicine inspection system according to a first embodiment of the present invention. Figure 2 is a side view of the drug inspection device.
図 3は、 監査台の正面図。  Figure 3 is a front view of the audit table.
図 4は、 薬剤容器の特徴画像を記憶する動作を示すフローチヤ一ト。  FIG. 4 is a flowchart showing an operation of storing a characteristic image of a medicine container.
図 5は、 形状を特徴画像とする薬剤容器の平面図。  FIG. 5 is a plan view of a medicine container whose shape is a feature image.
図 6は、 文字を特徴画像とする薬剤容器の平面図。  Figure 6 is a plan view of a medicine container with character images.
図 7は、 薬剤容器の識別動作を示すフローチヤ一ト。  FIG. 7 is a flowchart showing the operation of identifying a medicine container.
図 8は、 監查台の他の例を示す正面図。  FIG. 8 is a front view showing another example of the monitoring stand.
図 9は、 本発明の第 2実施形態にかかる薬剤監査システムの概略構成図。 図 1 0は、 監查装置の斜視図。  FIG. 9 is a schematic configuration diagram of a medicine inspection system according to the second embodiment of the present invention. FIG. 10 is a perspective view of the monitoring device.
図 1 1は、 監査装置の下部ケースの断面図。  Figure 11 is a cross-sectional view of the lower case of the inspection device.
図 1 2は、 光源、の分解斜視図。  FIG. 12 is an exploded perspective view of a light source.
図 1 3は、 アンプルの監査時における監査装置の断面図。  Fig. 13 is a cross-sectional view of the audit device at the time of the ampoule audit.
図 1 4は、 注射剤キットの監査時における監査装置の断面図。  Fig. 14 is a cross-sectional view of the inspection device at the time of inspection of the injection kit.
図 1 5は、 注射剤キットの斜視図。  Figure 15 is a perspective view of the injection kit.
図 1 6は、 薬剤容器の特徴画像を記憶する動作を示すフローチャート。  FIG. 16 is a flowchart showing an operation of storing a characteristic image of a medicine container.
図 1 7は、 薬剤容器の識別動作を示すフローチャート。 FIG. 17 is a flowchart showing the operation of identifying a medicine container.
図 1 8は、 本発明の第 3実施形態にかかる薬剤監査システムの画像認識ライブ ラリの位置付けを示す図。 FIG. 18 is an image recognition live of the drug inspection system according to the third embodiment of the present invention. The figure which shows the positioning of a rally.
図 1 9は、 画像認識ライブラリによるパネル画面を示す図。  Figure 19 is a diagram showing a panel screen using the image recognition library.
図 2 0は、 画像登録のフローチャート。  FIG. 20 is a flowchart of image registration.
図 2 1 Aは、 特徴画像の取込み時のファイル名と特徴画像の一例を示す図。 図 2 1 Bは、 特徴画像の登録時の形態を示す図。  FIG. 21A is a diagram showing an example of a file name and a feature image when a feature image is captured. FIG. 21B is a diagram showing a form at the time of registration of a feature image.
図 2 2は、 閾値を変化させたときの特徴画像 Aの変化を示す図。  FIG. 22 is a diagram illustrating a change in the feature image A when the threshold value is changed.
図 2 3は、 閾値を変化させたときの特徴画像 Bの変化を示す図。  FIG. 23 is a diagram illustrating a change in the feature image B when the threshold value is changed.
図 2 4は、 閾値を変化させたときの特徴画像 Cの変化を示す図。  FIG. 24 is a diagram illustrating a change in the feature image C when the threshold value is changed.
図 2 5は、 特徴画像のデータ構造を示す図。  Figure 25 is a diagram showing the data structure of a feature image.
図 2 6は、 特徴画像を分割した例を示す図。  FIG. 26 is a diagram showing an example in which a feature image is divided.
図 2 7は、 画像監査のフローを示す図。  Figure 27 shows the flow of image inspection.
図 2 8は、 画像判定のフローを示す図。  FIG. 28 is a diagram showing a flow of image determination.
図 2 9は、 処方データ判定結果取得のフローを示す図。  FIG. 29 is a diagram showing a flow of obtaining prescription data judgment results.
図 3 0は、 画像サーチの方向を示す図。  FIG. 30 is a diagram showing directions of image search.
図 3 1は、 画像サーチの他の例を示す図。  FIG. 31 is a diagram showing another example of an image search.
図 3 2は、 記憶画像と監査対象の画像のドットの闋係を示す図。  FIG. 32 is a diagram showing a relationship between a stored image and dots of an image to be inspected.
図 3 3は、 記憶画像のパターンの一例を示す図。  FIG. 33 is a diagram showing an example of a pattern of a stored image.
図 3 4は、 簡易記憶画像のパターンの一例を示す図。  FIG. 34 is a diagram showing an example of a pattern of a simple storage image.
図 3 5 A, Bは、 それぞれ実像画像とその判定結果を一例を示す図。  FIGS. 35A and 35B are diagrams each showing an example of a real image and a determination result thereof.
図 3 6 A, Bは、 それぞれベタ塗り画像とその判定結果の一例を示す図。 図 3 7 A, Bは、 それぞれ一部が欠けた実像画像とその判定結果を示す図。 図 3 8は、 混注監查システムの初期画面を示す図。  FIGS. 36A and 36B are diagrams each showing an example of a solid-filled image and its determination result. FIGS. 37A and 37B are diagrams showing a real image partly missing and a determination result thereof. Figure 38 is a diagram showing the initial screen of the mixed injection monitoring system.
図 3 9は、 混注監查システムのメュユー画面を示す図。  Figure 39 shows the menu screen of the mixed injection monitoring system.
図 4 0は、 混注監査モニタ画面を示す。  Figure 40 shows the mixed injection audit monitor screen.
図 4 1は、 混注監査モニタ画面の患者情報欄の拡大図。  Figure 41 is an enlarged view of the patient information column on the mixed injection audit monitor screen.
図 4 2は、 混注監查モニタ画面の混注情報欄の拡大図。  Figure 42 is an enlarged view of the mixed injection information column on the mixed injection monitoring screen.
図 4 3は、 混注監査モニタ画面の明細情報欄の拡大図。  Figure 43 is an enlarged view of the detail information column on the mixed injection audit monitor screen.
図 4 4は、 監査結果を表示した明細情報欄の拡大図。  Figure 44 Figure 4 is an enlarged view of the detailed information column displaying the audit results.
図 4 5は、 バーコ一ド読取りによる輸液の監査のメッセージを示す図。 図 4 6は、 各種環境設定画面を示す図。 Figure 45 shows the message of the infusion audit by barcode reading. Figure 46 shows various environment setting screens.
図 4 7は、 薬剤判定閾値設定画面を示す図。  FIG. 47 is a diagram showing a drug determination threshold setting screen.
図 4 8は、 初期薬剤判定閾値設定画面を示す図。  FIG. 48 is a diagram showing an initial drug determination threshold setting screen.
図 4 9は、 最終薬剤判定閾値設定画面を示す図。  FIG. 49 is a view showing a final drug determination threshold setting screen.
図 5 0は、 マスタメンテナンス画面を示す図。 発明を実施するための最良の形態  FIG. 50 is a diagram showing a master maintenance screen. BEST MODE FOR CARRYING OUT THE INVENTION
以下、 本発明の実施の形態を添付図面に従って説明する。  Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
1 . 第 1実施形態  1. First Embodiment
図 1は、 本発明の第 1実施形態にかかる薬剤監査システムを示し、 1は監査装 置、 2はパーソナルコンピュータである。  FIG. 1 shows a medicine inspection system according to a first embodiment of the present invention, wherein 1 is an inspection device, and 2 is a personal computer.
監查装置 1は、 図 2に示すように、 矩形箱状のケース 3内に監査台 4と、 該監 查台 4の上方に撮像手段としてカメラ 5を有している。 監査台 4とカメラ 5の間 にはハーフミラー 6が 4 5 ° 傾斜して配置されている。 このハーフミラー 6は、 該ハーフミラー 6の後方に設置された光源のランプ 7からの光を下方に反射して 監査台 4に搭載される薬剤容器 8を照射するようになっている。 監査台 4は、 図 3に示すように、 接触しないように一定の間隔で平行に配置され、 かつ、 回転可 能に支持された 1対のローラ 9 a , 9 bからなり、 一方のローラ 9 aの後端はギ ャ 1 0 a , 1 0 bを介してモータ 1 1に接続されている。 監査台 4の一対のロー ラ 9 a , 9 bの間には、 ケース 3の正面下方に形成された開口部 1 2から導入さ れる薬剤容器 8が搭載可能になっている。 カメラ 5は、 アーム 1 3を介して昇降 ガイド 1 4に昇降可能に支持されている。 カメラ 5には、 交換可能なレンズ 1 5 と、 監査台 4に搭載される薬剤容器 8までの距離を測定する距離センサ 1 6と、 該距離センサ 1 6で測定された距離に応じて焦点を制御する焦点制御装置 1 7と を有している。  As shown in FIG. 2, the monitoring device 1 has an inspection table 4 in a rectangular box-shaped case 3, and a camera 5 as an imaging unit above the monitoring table 4. A half mirror 6 is arranged between the audit table 4 and the camera 5 at an angle of 45 °. The half mirror 6 reflects the light from the lamp 7 of the light source installed behind the half mirror 6 downward to irradiate the medicine container 8 mounted on the inspection table 4. As shown in FIG. 3, the inspection table 4 is composed of a pair of rollers 9a and 9b which are arranged in parallel at regular intervals so as not to contact with each other and are rotatably supported. The rear end of a is connected to the motor 11 via gears 10a and 10b. Between the pair of rollers 9 a and 9 b of the inspection table 4, a medicine container 8 to be introduced from an opening 12 formed below the front of the case 3 can be mounted. The camera 5 is supported by a lift guide 14 via an arm 13 so as to be able to move up and down. The camera 5 has an interchangeable lens 15, a distance sensor 16 for measuring the distance to the medicine container 8 mounted on the inspection table 4, and a focus corresponding to the distance measured by the distance sensor 16. And a focus control device 17 for control.
パーソナルコンピュータ 2は、 図 1に示すように、 中央演算処理部 ( C P U) 1 8、 ハードディスク 1 9、 メモリ 2 0およびモニタ 2 1を有している。 パーソ ナルコンピュータ 2には、 ホストコンピュータ 2 2から注射箋データが入力され、 また前記監査装置 1のカメラ 5からの画像データが入力されるようになっている。 また、 パーソナルコンピュータ 2からは、 前記監查台 4のモータ 2 1を駆動する モータ駆動回路 2 3に駆動信号が出力され、 前記力メラ 5の被写体深度調整のた めのカメラ昇降回路 2 4に昇降信号が出力されるようになっている。 ハードディ スク 1 9には、 識別ソフトが格納されるとともに、 予め各種薬剤容器 8の特徴画 像がその薬剤名または I Dと関連させて格納され、 さらに各種薬剤容器 8のサイ ズに対応した被写体深度が得られるようなカメラ停止位置がその薬剤名または I Dと関連させて格納されている。 As shown in FIG. 1, the personal computer 2 has a central processing unit (CPU) 18, a hard disk 19, a memory 20, and a monitor 21. Injection note data is input from the host computer 22 to the personal computer 2, and image data from the camera 5 of the inspection device 1 is input to the personal computer 2. A drive signal is output from the personal computer 2 to a motor drive circuit 23 that drives the motor 21 of the monitor 4, and the drive signal is output to a camera elevating circuit 24 for adjusting the depth of field of the power camera 5. An elevating signal is output. The hard disk 19 stores identification software, and also stores in advance characteristic images of the various medicine containers 8 in association with the names or IDs of the medicine containers, and a depth of field corresponding to the size of each medicine container 8. Is stored in association with the drug name or ID.
次に、 前記監査システムによる薬剤容器 8 (以下、 アンプルという。 ) の監査 手順について説明する。  Next, an inspection procedure of the medicine container 8 (hereinafter, referred to as an ampoule) by the inspection system will be described.
<カメラの調整 > <Adjusting the camera>
まず、 カメラ 5の調整について説明する。 基準サイズのアンプル 8を複数用意 し、 トレイ 2 5に載置しておく。 最初の 1つのアンプル 8を監査台 4に搭載して、 識別ソフトを起動する。 続いて、 監查台 4の一対のローラ 9 a , 9 bを回転させ、 該ローラ 9 a , 9 b上のァンプル 8を撮像し、 モニタ 2 1で撮像ァンプルを確認 するとともに、 アンプル 8の搭载サイズを認識する。 カメラ 5の位置、 傾きを調 整し、 カメラ 5を昇降させて最も被写  First, the adjustment of the camera 5 will be described. Prepare a plurality of standard size ampules 8 and place them on tray 25. Mount the first one ampule 8 on the audit stand 4 and start the identification software. Subsequently, the pair of rollers 9 a and 9 b of the monitor 4 is rotated to capture an image of the ampule 8 on the rollers 9 a and 9 b, the captured image is confirmed on the monitor 21, and the ampoule 8 is mounted. Recognize the size. Adjust the position and tilt of camera 5, raise and lower camera 5, and adjust
体深度が狭くなるような位置で停止する。 この停止位置を搭載サイズと関連させ て記憶する。 同様の動作を、 全てのサイズのアンプノレ 8について行う。 Stop at a position where body depth is reduced. This stop position is stored in association with the mounting size. The same operation is performed for amplifiers 8 of all sizes.
くァンプルの特徴画像の記憶 > Memorize feature image of sample>
パーソナルコンピュータ 2のハードディスク 1 9に各種アンプル 8の特徴画像 を取り込む手順について図 4のフローチャートに従って説明すると、 ステップ 1 0 1で監査台 4の一対のローラ 9 a , 9 bを回転させる。 この監查台 4にアンプ ノレ 8を載せると、 ステップ 1 0 2でアンプル 8を撮像し、 このアンプル画像をス テツプ 1 0 3でモニタ 2 1に表示し、 ステップ 1 0 4で、 ァンプル画像中の特徵 ある画像を選択する。 この場合、 図 5に示すように、 アンプル 8の外形の一部に 特徴があるものは、 その一部の外形を特徴画像とし、 図 6に示すように、 アンプ ル 8の表面に表示された文字、 例えば 「強力」 に特徴があるものはその文字を特 徴画像とする。 このようにして特徴画像を選択すると、 ステップ 1 0 5でその特 徴画像を取り込み、 ステップ 1 0 6でァンプル 8の名称または I Dと関連させて ハードディスク 1 9に記憶する。 ステップ 1 0 7で次のアンプノレ 8があれば、 同 様のステツプを繰返し、 ァンプル 8がなければ処理を終了する。 The procedure for taking the characteristic images of the various ampules 8 into the hard disk 19 of the personal computer 2 will be described with reference to the flowchart of FIG. 4. In step 101, the pair of rollers 9a and 9b of the audit table 4 are rotated. When the amplifier 8 is placed on the monitor 4, the ampule 8 is imaged in step 102, this ampule image is displayed on the monitor 21 in step 103, and in step 104, the Select a certain image. In this case, as shown in Fig. 5, if the outer shape of the ampoule 8 has a characteristic, a part of the outer shape is used as a feature image and displayed on the surface of the ampoule 8 as shown in Fig. 6. Characters, for example, those that are characterized by “strong” use that character as the feature image. When a feature image is selected in this way, the feature image is captured in step 105 and associated with the name or ID of the sample 8 in step 106. Store them on hard disk 19. If there is the next amplifier 8 in step 107, the same steps are repeated, and if there is no amplifier 8, the process is terminated.
<アンプルの識別 > <Identification of ampoule>
アンプルの識別監査は、 まず、 ステップ 2 0 1で注射箋データを受信し、 この 注射箋データに記載のアンプル 8を準備し、 トレイ 2 5に集めておく。 ステップ 2 0 2でァンプル 8が準備されたことを確認する。 この確認、により、 「始めま す」 等の案内を行うことが好ましい。 ステップ 2 0 3でローラ 9 a , 9 bを回転 させ、 最初に識別するアンプノレ 8を監査台 4の 1対のローラ 9 a, 9 bに搭載す る。 ステップ 2 0 4で搭载ァンプル 8を撮像し、 ステップ 2 0 5で搭載ァンプル 8の搭載サイズを認識して、 該搭載サイズに適した被写体深度になるように、 当 該搭载サイズに対応して前記ハードディスク 1 9に格納された位置でカメラ 5を 停止する。 この場合、 サイズの小さいアンプル 8から識別監查を始めるとカメラ 5の自動調整がスムーズに行われ、 認識速度が速くなる。 ステップ 2 0 6で搭載 ァンプル 8の画像データを取り込む。 ステップ 2 0 7で搭載ァンプル 8の画像デ ータ中に特徴画像がある力否かをサーチしてパターン認識する。 特徴画像がなけ れば、 アンプノレ 8が無いか搭載位置が悪いので、 アンプル 8を搭載する力 搭載 位置を変えて、 ステップ 2 0 4に戻る。 特 ί敷画像があれば、 ステップ 2 0 8でモ ユタ 2 1に認識確認の表示を行う。 この場合、 音声による報知を同時に行うこと が好ましい。 ステップ 2 0 9で次のアンプノレ 8が有れば、 ステップ 2 0 3に戻り、 同様のステップを繰り返す。 アンプル 8が無ければ、 ステップ 2 1 0で認識確認 表示の記録を行う。 この記録は、 電子カルテ、 レセプト等に記載され、 薬剤事故 が発生した場合に監査が適切に行われたことの重要な証拠に使用することができ る。  In the ampoule identification audit, first, in step 201, the injection note data is received, and the ampules 8 described in the injection note data are prepared and collected in the tray 25. Confirm that sample 8 has been prepared in step 202. With this confirmation, it is preferable to provide guidance such as "Begin." In step 203, the rollers 9a and 9b are rotated, and the amplifier 8 to be identified first is mounted on the pair of rollers 9a and 9b of the audit table 4. In step 204, the image of the mounted sample 8 is taken, and in step 205, the mounted size of the mounted sample 8 is recognized, and the depth corresponding to the mounted size is adjusted so that the subject depth is suitable for the mounted size. Stop camera 5 at the position stored in hard disk 19. In this case, when the identification monitoring is started from the small-sized ampule 8, the automatic adjustment of the camera 5 is performed smoothly, and the recognition speed is increased. In step 206, the image data of the mounted sample 8 is imported. At step 207, a pattern recognition is performed by searching whether or not a characteristic image has a force in the image data of the mounted sample 8. If there is no characteristic image, there is no amplifier 8 or the mounting position is poor. Therefore, the force for mounting the ampoule 8 is changed, and the process returns to step 204. If there is a special image, the recognition confirmation is displayed on the monitor 21 in step 208. In this case, it is preferable to perform the notification by voice at the same time. If there is the next amplifier 8 in step 209, the process returns to step 203 and the same steps are repeated. If there is no ampoule 8, record the recognition confirmation display in step 210. This record is recorded on electronic medical records, receipts, etc., and can be used as important evidence that the audit was properly performed in the event of a drug accident.
前記実施形態では、 監査台 4を 1対のローラ 9 a , 9 bで構成して搭載された 薬剤容器8を回転させることで、 薬剤容器 8の全周を撮像するようにしたが、 薬 剤容器 8を回転させずに裏面を撮像するようにしてもよい。 例えば、 図 8に示す ように、 監査台 4を 2本の平行に配置したワイヤ 2 6 a , 2 6 bで構成し、 該 1 対のワイヤ 2 6 a , 2 6 bに搭載した薬剤容器 8の左下方と右下方からミラー 2 7 a , 2 7 bで反射させて薬剤容器 8の裏面を撮像する。 このようにすることで、 薬剤容器 8を回転する必要がなく、 構造が簡単になる。 2 . 第 2実施形態 In the above embodiment, the inspection table 4 is constituted by a pair of rollers 9 a and 9 b, and the mounted medicine container 8 is rotated to take an image of the entire circumference of the medicine container 8. The back surface may be imaged without rotating the container 8. For example, as shown in FIG. 8, the inspection table 4 is composed of two parallel wires 26a and 26b, and the medicine container 8 mounted on the pair of wires 26a and 26b. An image of the back surface of the medicine container 8 is reflected by the mirrors 27a and 27b from the lower left and lower right of the container. By doing this, There is no need to rotate the medicine container 8, and the structure is simplified. 2. Second Embodiment
図 9は、 本発明の第 2実施形態にかかる薬剤監查システムを示す。 この薬剤監 查システムにおいて、 前記第 1実施形態と同一部分には同一符号を付して説明を 省略する。  FIG. 9 shows a drug monitoring system according to a second embodiment of the present invention. In this drug monitoring system, the same portions as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.
監査装置 3 1は、 図 1 0に示すように、 矩形箱状の下部ケース 3 2 aと、 該下 部ケース 3 2 aの後端部から上方に立ち上がってさらに前方に延びる上部ケース 3 2 bとからなるケースを有している。  As shown in FIG. 10, the inspection device 31 includes a rectangular box-shaped lower case 32 a and an upper case 32 b rising upward from the rear end of the lower case 32 a and extending further forward. And a case consisting of
下部ケース 3 2 aの上面の後半部分には、 開口部 3 3が設けられ、 該開口部 3 The second part of the upper surface of the lower casing 3 2 a, the opening 3 3 is provided, the openings 3
3から露出する第 1監查台 3 4と、 開口部 3 3の周囲に位置する第 2監查台3 5 が設けられている。 第 1監查台 3 4は、 前記実施形態と同様に、 平行に配置され、 かつ、 回転可能に支持された 1対のローラ 9 a, 9 bからなり、 図 1 3に示すよ うに、 一方のローラ 9 aの後端はモータ 1 1に接続されている。 第 1監査台 3 4 の一対のローラ 9 a, 9 bの間には、 図 1 1に示すように、 アンプル等の断面円 形の薬剤容器 8が搭載可能になっている。 第 2監査台 3 5には、 図 1 5に示す注 射剤キットまたは輸液バッグのような断面が非円形の薬剤容器 8 aが載置可能に なっている。 下部ケース 3 2 bの上面の前半部分は、 図 1 0に示すように、 前方 に向かって下り勾配で傾斜する取出台 3 6となっている。 取出台 3 6の中央は、 '後述する押出片 4 6によって第 2監査台 3 5から押し出された薬剤容器 8が転が るのを防止する浅い溝からなるシュート 3 7が形成されている。 A first監查table 3 4 exposed from 3, second監查stand 35 located around the opening 3 3 is provided. The first monitoring stand 34 includes a pair of rollers 9a and 9b which are arranged in parallel and rotatably supported, as in the above-described embodiment. As shown in FIG. The rear end of the roller 9a is connected to the motor 11. As shown in FIG. 11, between the pair of rollers 9a and 9b of the first inspection table 34, a medicine container 8 having a circular cross section such as an ampule can be mounted. On the second inspection table 35, a drug container 8a having a non-circular cross section such as an injection kit or an infusion bag shown in FIG. 15 can be placed. The first half of the upper surface of the lower case 32b is a take-out stand 36 inclined downward and forward as shown in FIG. A chute 37 having a shallow groove is formed at the center of the take-out table 36 to prevent the medicine container 8 extruded from the second inspection table 35 by a pushing piece 46 described later from rolling.
下部ケース 3 2 aの内部には、 図 1 3に示すように、 第 1監查台 3 4の下方に 第 1ミラー 3 8が 4 5 ° 傾斜して配置され、 該第 1ミラー 3 8の後方に撮像手 段である第 1カメラ 3 9が配置されている。 第 1ミラー 3 8は、 前記第 1監査台 3 4の 1対のローラ 9 a , 9 bに支持された薬剤容器 8からの光束を反射して第 As shown in FIG. 13, a first mirror 38 is arranged at an angle of 45 ° below the first monitoring stand 34 inside the lower case 32 a, as shown in FIG. A first camera 39, which is an imaging means, is arranged at the rear. The first mirror 38 reflects the light beam from the medicine container 8 supported by the pair of rollers 9 a and 9 b of the first
1カメラ 3 9に導くものである。 図 1 1に示すように、 第 1ミラー 3 8の一方に 隣接して、 前記第 1監查台 3 4の 1対のローラ 9 a , 9 bに支持された薬剤容器 8に光を照射する第 1光源 4 0が配置され、 他方に隣接して、 前記第 1監查台 3 4の 1対のローラ 9 a , 9 b間に薬剤容器 8が有るか否かを検出する第 1薬剤検 出センサ 4 1が配置されている。 また、 下部ケース 3 2 aの内部には、 第 2監查 台 3 5に薬剤容器 8 aが有る力否かを検出する第 2薬剤検出センサ 4 2が配置さ れている。 One camera leads to 39. As shown in FIG. 11, light is applied to the medicine container 8 supported by a pair of rollers 9 a and 9 b of the first monitoring table 34 adjacent to one of the first mirrors 38. A first light source 40 is disposed, and a first medicine detection device for detecting whether or not there is a medicine container 8 between a pair of rollers 9 a and 9 b of the first monitoring table 34 adjacent to the other. Outgoing sensor 41 is arranged. Further, inside the lower case 32 a, a second medicine detection sensor 42 for detecting whether or not the medicine container 8 a has a force on the second monitoring table 35 is arranged.
第 1監査台 3 4の側方には、 細長いスライド部材 4 3が支持板 4 4上を装置の 前後方向にスライド可能に設けられている。 スライド部材 4 3の一方の側面には ラック 4 5が形成され、 他方の側面には水平に延びて前記第 1監査台 3 4の 1対 のローラ 9 a, 9 b間に立ち上がる押出片 4 6が突設されている。 前記スライ ド 部材 4 3のラック 4 5には、 モータ 4 7の駆動軸に設けたピユオンギヤ 4 8が嚙 合し、 これによりモータ 4 7を駆動すると、 スライ ド部材 4 3が前後方向にスラ イドして移動するようになっている。 スライ ド部材 4 3が前方に移動すると、 前 記第 1監查台 3 4の 1対のローラ 9 a , 9 b間に支持された薬剤容器 8が押し出 されて前記取出台 3 6のシュート 3 7上に排出される。 An elongated slide member 43 is provided on the side of the first inspection table 34 so as to be slidable on the support plate 44 in the front-rear direction of the device. On one side of the slide member 4 3 rack 4 5 is formed, the other of the pair of rollers on the side extend horizontally the first audit table 3 4 9 a, 9 b pushing piece rises to between 4 6 Is protruding. A pinion gear 48 provided on the drive shaft of the motor 47 is engaged with the rack 45 of the slide member 43. When the motor 47 is driven by this, the slide member 43 slides in the front-rear direction. And move. When the slide member 43 moves forward, the medicine container 8 supported between the pair of rollers 9a and 9b of the first monitoring table 34 is pushed out and the chute of the discharge table 36 is pushed. It is discharged on 37.
上部ケース 3 2 bの下面には、 図 1 3に示すように、 前記下部ケース 3 2 aの 第 1監查台 3 4および第 2監査台 3 5と対向する開口部 4 9が形成されている。 上部ケース 3 2 bの内部には、 第 2ミラー 5 0が 4 5 ° 傾斜して配置され、 該 第 2ミラー 5 0の後方に撮像手段である第 2カメラ 5 1が配置されている。 第 2 ミラー 5 0は、 図 1 4に示すように、 前記第 2監査台 3 5に载置された薬剤容器 8 aからの光束を反射して第 2カメラ 5 1に導くものである。 第 2ミラー 5 0と 第 2カメラ 5 1の間には、 光束が通過する孔 5 2 aを有する白色のカラー板 5 2 が配設されている。 カラー板 5 2は、 第 2ミラー 5 0に対向する側が白色であれ ばよい。 第 2ミラー 5 0に隣接して、 前記第 2監査台 3 5に載置された薬剤容器 8 aに光を照射する第 2光源 5 3が配置されている。 また、 上部ケース 3 2 bの 上面の傾斜面には、 図 1 0に示すように、 電源スィツチ 5 4と表示ランプ 5 5が 配置されている。  As shown in FIG. 13, an opening 49 facing the first monitoring table 34 and the second monitoring table 35 of the lower case 32 a is formed on the lower surface of the upper case 32 b. I have. Inside the upper case 32 b, a second mirror 50 is arranged at an angle of 45 °, and behind the second mirror 50, a second camera 51, which is imaging means, is arranged. As shown in FIG. 14, the second mirror 50 reflects the light beam from the medicine container 8 a placed on the second inspection table 35 and guides the light beam to the second camera 51. A white color plate 52 having a hole 52a through which a light beam passes is provided between the second mirror 50 and the second camera 51. The color plate 52 only needs to be white on the side facing the second mirror 50. A second light source 53 for irradiating the medicine container 8a mounted on the second inspection table 35 with light is arranged adjacent to the second mirror 50. As shown in FIG. 10, a power switch 54 and a display lamp 55 are arranged on the upper inclined surface of the upper case 32b.
前記下部ケース 3 2 bの第 1光源 4 0と下部ケース 3 2 aの第 2光源 5 3は、 図 1 2に示すように、 多数の発光ダイオード 5 6を整列して配設した基板 5 7を 細長い矩形のケース 5 8に収容し、 該ケース 5 8の開口部 5 9を発光ダイォード 5 6と対向するようにすりガラスからなる力パー 6 0で閉塞したものである。 多 数の発光ダイオード 5 6からの光は、 すりガラスにより明るさが均一化されると ともに、 図示しない制御回路により調光可能になっている。 また、 第 1光?原 4 0 および第 2光源 5 3は、 ケース 3 2に取り付けられた保持金具 6 1に保持され、 該保持金具 6 1は取付金具 6 2にねじ 6 3で取り付けられ、 該ねじ 6 3が揷通す る取付金具 6 2のねじ孔 6 4は水平方向に延びていて、 照射位置を変更できるよ うになつている。 As shown in FIG. 12, the first light source 40 of the lower case 32b and the second light source 53 of the lower case 32a are provided with a board 57 on which a number of light emitting diodes 56 are arranged and arranged. Is housed in an elongated rectangular case 58, and an opening 59 of the case 58 is closed with a force par 60 made of ground glass so as to face the light emitting diode 56. The light from many light emitting diodes 56 can be In both cases, dimming can be performed by a control circuit (not shown). Further, the first light source 40 and the second light source 53 are held by a holding bracket 61 attached to the case 32, and the holding bracket 61 is attached to the mounting bracket 62 with screws 63. The screw hole 64 of the mounting bracket 62 through which the screw 63 passes is extended in the horizontal direction so that the irradiation position can be changed.
前記構成からなる薬剤監査システムによる断面円形の薬剤容器 8 (以下、 アン プルという。 ) と断面非円形の薬剤容器 (以下、 注射剤キットという。 ) 8 aの 監查手順について説明する。 なお、 第 1カメラ 3 9と第 2カメラ 5 1の調整は、 前記第 実施形態のくカメラの調整 >と同様であるので、 説明を省略する。  The monitoring procedure of a medicine container 8 (hereinafter, referred to as an ampule) having a circular cross section and a medicine container (hereinafter, referred to as an injection kit) 8a having a non-circular cross section by the medicine inspection system having the above configuration will be described. Note that the adjustment of the first camera 39 and the second camera 51 is the same as the adjustment of the camera in the first embodiment, and thus the description is omitted.
電源スィッチ 5 4をオンすると、 第 1光源 4 0と第 2光源 5 3がオンし、 第 1 監査台 3 4と第 2監査台 3 5が照射される。 アンプル 8は、 図 1 3に示すように 第 1監査台 3 4の 1対のローラ 9 a , 9 b間に載置する。 透明のアンプル 8に透 明の薬剤が収容されてアンプル 8の表面に.薬剤名称が黒色や青色で表示されてい る場合、 図 1 3中波線で示すように、 カラー板 5 2の白色が第 2ミラー 5 0を介 してアンプル 8の背景として撮像されるので、 アンプノレ 8の薬剤名称を明瞭に撮 像することができる。  When the power switch 54 is turned on, the first light source 40 and the second light source 53 are turned on, and the first and second inspection tables 34 and 35 are irradiated. The ampoule 8 is placed between a pair of rollers 9a and 9b of the first audit table 34 as shown in FIG. A transparent drug is contained in a transparent ampoule 8 and is placed on the surface of the ampoule 8. When the drug name is displayed in black or blue, the white color of the color plate 52 is Since the image is taken as the background of the ampoule 8 via the mirror 50, the medicine name of the ampule 8 can be clearly taken.
<ァンプルの特徴画像の記憶〉 <Memory of characteristic image of ampoule>
図 1 6は、 パーソナルコンピュータ 2のハードディスク 1 9に各種アンプル 8 の特徴画像を取り込む手順を示す。 ステップ 1 0 0で、 第 1薬剤検出センサ 4 1 がオンして第 1監査台 3 4にアンプル 8があることを検出すると、 ステップ 1 0 1で第 1監査台 3 4の一対のローラ 9 a, 9 bを回転させ、 ステップ 1 0 2でァ ンプノレ 8を撮像し、 このアンプル画像をステップ 1 0 3でモニタ 2 1に表示し、 ステップ 1 0 4— 1で、 ァンプル画像中の第 1の特徴ある画像を選択し、 ステツ プ 1 0 5—:!でその第 1の特徴画像を取り込む。 同様に、 ステップ 1 0 4— 2で、 ァンプル画像中の第 2の特徴ある画像を選択し、 ステップステップ 1 0 5— 2で その第 2の特徴画像を取り込む。 名称が類似する複数の薬剤がある場合には、 共 通部分を第 1の特徴ある画像とし、 相違部分を第 2の特徴ある画像とするとよレ、。 例えば、 薬剤名が 「デカド口ン注射液 2 m g」 と 「デカドロン注射液 8 m g」 の 2つの紛らわしレ、薬剤がある場合、 「デカド口ン注射液」 の部分を第 1の特徴あ る画像とし、 「2 m g」 と 「8 m g」 の部分を第 2の特徴ある画像とする。 次に、 第 1と第 2の特徴画像をステップ 1 0 6でァンプノレ 8の名称または I Dと関連さ せてハードディスク 1 9に記憶する。 ステップ 1 0 7で次のァンプル 8があれば、 同様のステップを繰返し、 アンプル 8がなければ処理を終了する。 なお、 1対の ローラローラ 9 a , 9 bは、 常時回転させておく必要がないため、 ステップ 1 0FIG. 16 shows a procedure for loading characteristic images of various ampules 8 into the hard disk 19 of the personal computer 2. In step 100, when the first drug detection sensor 41 is turned on to detect that the ampule 8 is present in the first inspection table 34, a pair of rollers 9a of the first inspection table 34 is detected in step 101. , 9b are rotated, the ampule 8 is imaged in step 102, and this ampoule image is displayed on the monitor 21 in step 103, and in step 104-1, the first image in the sample image is displayed. Select a distinctive image and select Step 1 05— :! Captures the first feature image. Similarly, in step 104-4, a second characteristic image in the sample image is selected, and in step 1055-2, the second characteristic image is fetched. When there are a plurality of drugs having similar names, the common part is referred to as a first characteristic image, and the different part is referred to as a second characteristic image. For example, if there are two confusing drugs named “Decadon Injection 2 mg” and “Decadron Injection 8 mg”, the “Decadin Injection” part is the first feature. The image with “2 mg” and “8 mg” is the second characteristic image. Next, the first and second characteristic images are stored in the hard disk 19 in step 106 in association with the name or ID of the amplifier 8. If there is the next sample 8 in step 107, the same steps are repeated, and if there is no sample 8, the process is terminated. Since the pair of roller rollers 9a and 9b do not need to be constantly rotated, step 10
0は省略できる。 0 can be omitted.
ぐアンプルの識別 > Identification of the ampoule>
図 1 7は、 アンプル 8の識別監査の手順を示す。 まず、 ステップ 2 0 1で注射 箋デ一タを受信し、 この注射箋データに記載のアンプノレ 8を準備し、 トレイ 2 5 に集めておく。 ステップ 2 0 2で、 アンプル 8が準備されたことを確認する。 こ の確認により、 「始めます」 等の案内を行うことが好ましい。 ステップ 2 0 2— 1で、 ハードディスク 1 9注射から注射箋データに対応した比較画像データを取 り込む。 ステップ 2 0 2— 2でループ回数が 3回であるかを判断し、 3回でなけ れば、 ステップ 2 0 2— 3で、 第 1薬剤検出センサ 4 1がオンして第 1監査台 3 4にアンプル 8があることを検出すると、 ステップ 2 0 3で監査台 3 4の一対の ローラ 9 a , 9 bを回転させる。 なお、 この 1対のローラローラ 9 a , 9 bは、 常時回転させておく必要がないため、 ステップ 2 0 3は省略できる。 ステップ 2 0 4でアンプル 8を撮像し、 ステップ 2 0 5で搭載ァンプノレ 8の搭載サイズを認 識して、 該搭載サイズに適した被写体深度になるように、 当該搭載サイズに対応 して前記ハードディスク 1 9に格納された位置で第 1カメラ 3 9を停止する。 こ の場合、 サイズの小さいアンプル 8から識別監査を始めるとカメラ 3 9の自動調 整がスムーズに行われ、 認識速度が速くなる。 なお、 カメラ 3 9に被写体深度の 深いレンズを採用している場合はステップ 2 0 5の被写体深度の自動調整は省略 することができる。  Figure 17 shows the procedure for auditing the identification of ampoule 8. First, in step 201, the injection note data is received, and the amplifier 8 described in the injection note data is prepared and collected in the tray 25. In step 202, confirm that ampoule 8 has been prepared. Based on this confirmation, it is preferable to provide guidance such as "Begin." In step 202-1, the comparison image data corresponding to the injection note data is acquired from the hard disk 19 injection. In step 202-2, it is determined whether or not the number of loops is three. If not, in step 202-3, the first drug detection sensor 41 is turned on and the first inspection table 3 is turned on. When the presence of the ampule 8 in 4 is detected, the pair of rollers 9 a and 9 b of the audit stand 34 is rotated in step 203. Since the pair of rollers 9a and 9b do not need to be constantly rotated, step 203 can be omitted. In step 204, the ampule 8 is imaged, and in step 205, the mounting size of the mounted amp 8 is recognized, and the hard disk corresponding to the mounting size is adjusted so that the depth of field is suitable for the mounted size. The first camera 39 is stopped at the position stored in 19. In this case, if the identification audit is started from the small-sized ampule 8, the automatic adjustment of the camera 39 is performed smoothly, and the recognition speed is increased. If the camera 39 uses a lens with a large depth of field, the automatic adjustment of the depth of field in step 205 can be omitted.
次に、 ステップ 2 0 6で搭载ァンプル 8の画像データを取り込む。 ステップ 2 Next, in step 206, the image data of the mounted sample 8 is fetched. Step two
0 7— 1でァンプル 8の画像データ中に第 1の特徴画像がある力否かをサーチし てパターン認識する。 第 1の特徴画像がなければ、 ァンプノレ 8が無い力、搭載位置 が悪いので、 ステップ 2 0 7— 3で表示ランプ 5 5を青色で点灯する。 ここで、 「認識できません」 等の音声による報知を行うことが好ましい。 ステップ 2 0 7 一 4でモータ 4 7を駆動し、 押出片 4 6でアンプル 8を押し出してアンプル8の 搭載位置を変えることを促し、 ステップ 2 0 7— 5でループ回数を加算してステ- ップ 2 0 2—2に戻る。 ステップ 2 0 7—1で第 1の特徴画像があれば、 ステツ プ 2 0 7— 2でァンプル 8の画像データ中に第 2の特徴画像があるか否かをサー チしてパターン認、織する。 第 2の特徴画像がなければ、 アンプル 8が無いか搭載 位置が悪いので、 再度、 ステップ 2 0 7— 3、 ステップ 2 0 7— 4、 ステップ 2 0 7— 5を経てステップ 2 0 2— 2に戻る。 At 07-1, the first feature image is searched for the presence or absence of a force in the image data of sample 8 to recognize the pattern. If there is no first feature image, the indicator lamp 55 is lit in blue in step 207-3 because the force without the amplifier 8 and the mounting position are poor. Here, it is preferable to make a voice notification such as "unrecognizable". Step 2 0 7 One 4 drives the motor 4 7, push the ampoule 8 in the pushing piece 4 6 urged by changing the mounting position of the ampoule 8, stearyl by adding the number of loops in Step 2 0 7 5 --up 2 0 Return to 2-2. If there is a first feature image in step 207--1, in step 207-2, search is made to see if there is a second feature image in the image data of sample 8, and pattern recognition and weaving are performed. I do. If the second feature image does not exist, there is no ampoule 8 or the mounting position is bad, so go through step 2 07-3, step 2 07-4, step 2 07-5 again, and step 2 02-2. Return to
具体的に説明すると、 「デカドロン注射液 2 m g」 の全体を特徴画像とした場 合は、 「デカドロン注射液 8 m g」 と比べると、 「2」 の部分し力ヰ目違しかない ので、 照合率は非常に低く、 誤って認識されることが多い。 このため、 閾値を高 くする必要がある。 し力 し、 この実施形態では、 「デカドロン注射液 2 m g」 は 「デカド口ン注射液」 と 「 2 m g」 の 2つを特徴画像として!/、るので、 第 1の特 徴画像の 「デカド口ン注射液」 は 9 0パーセント以上の照合率となり、 第 2の特 徴画像の 「 2 m g」 の部分も 6 0パーセントの照合率となり、 誤つて認識される ことがなくなる。 したがって、 閾値を低くできる。  To be more specific, if the whole image of “Decadron Injection 2 mg” was used as the feature image, compared to “Decadron Injection 8 mg”, there was only a difference in the power of “2”. Rates are very low and are often misidentified. Therefore, it is necessary to increase the threshold. However, in this embodiment, “Decadron Injection 2 mg” has two feature images of “Decadron Injection” and “2 mg” as the feature images! /, So the first feature image “ The “decad mouth injection” has a collation rate of 90% or more, and the “2 mg” part of the second feature image also has a collation rate of 60%, so that it is not erroneously recognized. Therefore, the threshold can be lowered.
次に、 ステップ 2 0 7— 1と 2 0 7— 2で第 1と第 2の特徴画像があれば、 ス テツプ 2 0 8でモニタ 2 1に認識確認の表示を行うとともに、 表示ランプ 5 5を 緑色で点灯する。 この場合、 「認識しました」 等の音声による報知を同時に行う ことが好ましレ、。 ァンプノレ 8の認識確認を終えると、 ステップ 2 0 8— 1で画像 データを保存してから、 ステップ 2 0 8— 2でモータ 4 7を駆動し、 押出片 4 6 でアンプノレ8を押し出す。 ステップ 2 0 9で次のアンプノレ 8が有れば、 ステップ 2 0 2— 2に戻り、 同様のステップを繰り返す。 ァンプル 8が無ければ、 ステツ プ 2 1 0で認識確認表示の記録を行う。 この記録は、 電子カルテ、 レセプト等に 記載され、 薬剤事故が発生した場合に監査が適切に行われたことの重要な証拠に 使用することができる。 Next, if there are the first and second feature images in Steps 207—1 and 207—2, a recognition confirmation is displayed on the monitor 21 in Step 209, and the display lamps 5 5 Lights up in green. In this case, it is preferable to simultaneously perform notification by voice such as “recognized”. When the recognition of the amplifier 8 is completed, the image data is stored in step 208-1, and then the motor 47 is driven in step 208-2, and the amplifier 8 is pushed out by the extruded piece 46. If there is the next amplifier 8 in step 209, the process returns to step 202-2 and repeats the same steps. If there is no sample 8, the recognition confirmation display is recorded in step 210. This record can be found on electronic medical records, receipts, etc. and can be used as important evidence that the audit was performed properly in the event of a drug incident.
ステップ 2 0 2— 2で、 ループ回数が 3回の場合、 すなわち、 アンプル 8の搭 载位置を 3回変えても第 1と第 2の特徴画像のいずれも照合できない場合、 ステ ップ 2 0 2— 4でオペレータに目視による強制監査を促す。 これにより、 ォペレ ータは、 押し出されたアンプルが第 1と第 2の特徴画像を有しているか目視で判 断し、 特徴画像があれば図示しない O K釦を押し、 特徴画像がなければ図示しな い N G釦を押す。 ステップ 2 0 2— 6で O K釦又は N G釦が操作されたことを判 断すると、 ステップ 2 0 2— 6で画像データを保存してから、 ステップ 2 0 9に 移行する。 If the number of loops is three in Step 2 0 2—2, that is, if the first and second feature images cannot be collated even if the mounting position of the ampoule 8 is changed three times, Step 20 In step 2—4, prompt the operator to perform a forced audit visually. This allows the operator to visually determine whether the extruded ampoule has the first and second feature images. Press the OK button (not shown) if there is a feature image, and press the NG button (not shown) if there is no feature image. If it is determined in step 202-2-6 that the OK button or NG button has been operated, the image data is saved in step 202-6, and the process proceeds to step 209.
注射剤キット 8 aの場合は、 図 1 5に示すように薬剤名称が表示された面を上 にして図 1 4に示すように第 2監査台 3 5に載置するが、 注射剤キット 8 aの特 徵画像の取り込みの手順、 および識別監査の手順は、 ローラ 9 a ' 9 bを回転さ せないだけで、 図 1 6 , 1 7に示すフローチャートのアンプル 8の場合と同様で あるので、 説明を省略する。  In the case of the injection kit 8a, it is placed on the second inspection table 35 as shown in Fig. 14 with the side with the drug name displayed as shown in Fig. 15; The procedure for capturing images and the procedure for identification and auditing of a are the same as those for ampoule 8 in the flowcharts shown in Figs. 16 and 17, except that rollers 9a and 9b are not rotated. Description is omitted.
3 . 第 3実施形態 3. Third Embodiment
以下、 本発明の第3実施形態である画像認識ライブラリと混注監查システムを 用いた薬剤監査システムについて説明する。 Hereinafter, a medicine inspection system using an image recognition library and a mixed injection monitoring system according to a third embodiment of the present invention will be described.
図 1 8は、 ハードディスク 1 9に格納されているマスタファイルおよびソフト ウェアを示すとともに、 第 1カメラ 3 9が画像処理ボード 7 4 bを介して C P U 1 8に接続されている以外は、 図 9のシステム構成と同一である。 ハードデイス ク 1 9には、 薬剤マスタファイル、 コメントマスタファイル、 用法マスタフアイ ノレ、 画像マスタファイルからなるマスタファイルが格納されている。 また、 ハー ドディスク 1 9には、 混注監査システム 7 0と画像認識ライブラリ 7 1が格納さ れている。 画像認識ライブラリ 7 1は、 上位アプリケーション (以下、 上位 A P という。 ) 7 2と、 ウィンドウズ 2 0 0 0 , X P等のペレーシヨンシステム (以 下、 O Sという。 ) 7 3とは別個に位置付けられている。 この画像認識ライプラ リ 7 1は、 株式会社ファースト製の認識ドライバーを使用している。 ビジョンラ イブラリ 7 4 aは、 画像処理ボード 7 4 bと関連するソフトウェアである。 画像 認識ライブラリ 7 1は、 以下の処理を行うソフトウエアである。  FIG. 18 shows the master file and software stored on the hard disk 19 and FIG. 9 except that the first camera 39 is connected to the CPU 18 via the image processing board 74 b. Is the same as the system configuration of FIG. The hard disk 19 stores a master file including a drug master file, a comment master file, a usage master file, and an image master file. Further, the hard disk 19 stores a mixed injection audit system 70 and an image recognition library 71. The image recognition library 71 is positioned separately from a host application (hereinafter referred to as a host AP) 72 and a precision system (hereinafter referred to as an OS) 73 such as Windows 2000 and XP. I have. This image recognition library 71 uses a recognition driver manufactured by First Co., Ltd. The vision library 74a is software associated with the image processing board 74b. The image recognition library 71 is software that performs the following processing.
( 1 ) 撮像手段からの画像イメージを取得する。  (1) Acquire an image from the imaging means.
( 2 ) 撮像手段からの画像イメージと登録画像を判別し、 監查対象の薬剤を判 別する。  (2) Determine the image to be monitored and the registered image by determining the image from the imaging means and the registered image.
( 3 ) 画像判別後に、 薬剤の一致度を点数として、 最上位の点数と薬剤コード を上位 A Pに通知する。 3 . 1 画像補正 (3) After image discrimination, the highest score and drug code To the upper AP. 3.1 Image correction
撮像手段である C C Dカメラによる画像ィメージの取得に先立ち、 樽形歪曲収 差、 色収差、 周辺減光の 3つの問題を解消しておく必要がある。 樽形歪曲収差の 補正は、 格子状のキヤリブレーシヨン画像を撮影し、 本ソフトウエアの樽形歪曲 修正機能によりレンズ歪係数を取得し保存しておく。 以後は、 撮影した画像にレ ンズ歪係数による幾何補正を自動的に行う。 色収差は、 赤成分画像、 緑成分画像、 青成分画像を作成し、 これらのうち良好な画像による 2値化像を作成することで、 解消する。 周辺減光は、 純白の画像 (ホワイトバランス用画像) を撮影し、 この 画像の輝度分布を保存し、 最大輝度との差分を以後の撮影画像に付加することで、 解消し、 一様な輝度の画像を得ることができる (シェーディング処理) 。 Prior to acquiring an image using a CCD camera as an imaging means, it is necessary to eliminate the three problems of barrel distortion, chromatic aberration, and vignetting. To correct barrel distortion, a lattice-shaped calibration image is taken, and the lens distortion coefficient is acquired and stored by the barrel distortion correction function of this software. After that, the geometrical correction based on the lens distortion coefficient is automatically performed on the captured image. Chromatic aberration, a red component image, a green component image, to create a blue component image, among these by creating a binary image by good image, eliminated. Perimeter dimming is eliminated by taking a pure white image (image for white balance), preserving the luminance distribution of this image, and adding the difference from the maximum luminance to the subsequent photographed image, to achieve uniform luminance. Image can be obtained (shading process).
前記画像補正の手順を図 1 9のパネル画面 7 5に基づいて説明する。 起動後、 パネル画面 7 5の左側にホワイトパランス画像をドロップし、 メニューの 「ホヮ イトバランス」 7 6の 「現在画像をホワイトボードにセット」 を選択する。 パネ ル画面の左側に撮影画像をドロップし、 右側上のスライダコントロール (歪係数 A、 歪係数 B、 焦点距離) 7 7を操作して歪みのない画像に調整する。 前記樽型 補正した撮影画像に対し、 メュユーの 「ホワイトパランス」 7 6の 「ホワイトポ ードで明度捕正実行」 を選択する。 これにより照合用の画像が得られる。 この照 合用の画像に対し、 メニューの 「D B作成」 7 8の 「参照画像切出し」 を選択し、 所要の参照文字をマウスで囲い、 Ξ女行キーを押す。 これによりマウスで囲った範 囲の部分が右側中断に表示される。 そして、 メニューの 「D B作成」 7 8の 「参 照画像作成」 を選択する。 3 . 2 画像の登録  The procedure of the image correction will be described based on the panel screen 75 of FIG. After startup, drop the white balance image on the left side of the panel screen 75, and select “White balance” 76 6 “Set current image on whiteboard” in the menu. Drop the captured image on the left side of the panel screen, and operate the slider control (distortion coefficient A, distortion coefficient B, focal length) on the right side to adjust the image to a distortion-free image. For the captured image corrected for the barrel shape, “Execute brightness correction with white port” of “White Balance” 76 of the menu is selected. As a result, an image for collation is obtained. For this image for collation, select “Extract Reference Image” from the menu “Create DB” 7 8, enclose the required reference characters with the mouse, and press the ΞFemale key. As a result, the part of the area surrounded by the mouse is displayed on the right side interruption. Then, select “Create reference image” of “Create DB” 78 in the menu. 3.2 Image registration
図 2 0は、 前記画像認識ライブラリ 7 1による薬剤画像の登録のフローを示す。 まず、 ステップ 3 0 1で撮影した薬剤の全体画像を取り込み、 ステップ 3 0 2で 薬剤コードを取得する。 ステップ 3 0 3で全体画像の中から特徴画像を切り取り、 ステップ 3 0 4で特徴部分の画像データをビットマップ形式で作成し、 ステップ 3 0 5でその画像データを登録する。 ステップ 3 0 6で 1薬剤当たりの登録数が 4以下である力否かを判断する。 登録数が 4未満で、 登録が完了していなければ、 ステップ 3 0 3に戻って同様に次の特徴画像を記憶する。 登録数が 4未満で、 登 録を終了するのであれば、 その時点で処理を終了する。 登録数が 4以上になれば、 それ以上は登録することができず、 終了する。 FIG. 20 shows a flow of registering a medicine image by the image recognition library 71. First, the whole image of the medicine taken in step 301 is taken in, and in step 302 a medicine code is obtained. In step 303, a feature image is cut out of the entire image, and in step 304, image data of the feature portion is created in a bitmap format. The image data is registered in 2005. In step 310, it is determined whether the number of registrations per drug is 4 or less. If the number of registrations is less than 4 and the registration is not completed, the process returns to step 303 to store the next feature image. If the number of registrations is less than 4 and the registration is to be terminated, the process ends at that point. If the number of registrations exceeds 4, no more registrations can be made and the process ends.
薬剤の画像の登録手順をさらに具体的に説明する。 まず、 画像マスタに画像を 登録しょうとする薬剤を撮影する。 薬剤の撮影は前記監査装置 1 , 3 1を使用し て行う。 撮影した薬剤の画像を図 1 9に示すようにパネル画面 7 5に表示する。 図 1 9は、 生食溶解液キット H 1 0 0 m Lの画像である。  The procedure for registering a drug image will be described more specifically. First, a medicine to be registered in the image master is photographed. The photographing of the medicine is performed using the inspection devices 1 and 31 described above. The captured image of the drug is displayed on the panel screen 75 as shown in FIG. FIG. 19 is an image of the saline solution kit H100 mL.
取り込んだ画像から、 一つまたは複数の特徴部分を切り出して選択する。 この 例では、 破線で示すように、 「生食溶解液キット H」 の特徴部分 Aと、 「1 0 0」 の特徴部分 Bと、 「二プロファーマ株式会社」 の特徴部分 Cが選択されてい る。 各特徴部分 A, B , Cは、 図 2 1 Aに示すように、 薬剤マスタの薬剤 I Dと 関連づけて取り込み、 それぞれ二プロ. bmp、 100. bmp、 生食溶解液. bmpのフアイ ル名を付与する。  One or more features are extracted from the captured image and selected. In this example, as shown by the dashed lines, the characteristic part A of the “saline solution kit H”, the characteristic part B of “100”, and the characteristic part C of “Nipro Pharma Co., Ltd.” are selected. . As shown in Fig. 21A, each characteristic part A, B, C is taken in association with the drug ID of the drug master, and given the file names of 2pro.bmp, 100.bmp, and saline solution.bmp, respectively. I do.
最初の特徴部分 Aの画像を白黒で 2値化し、 2 0 %の画像調整用閾値 (以下、 単に閾値という。 ) でフィルタリングして表示する。 この画像は、 図 2 2に示す ように、 全体に黒色ノイズが多く乗った形で表示されている。 図 1 9のパネル画 面 7 5の閾値調整バー 7 9により、 閾値を 3 0 %、 4 0 %、 6 0 %、 8 0 %と変 更する。 閾ィ直が 3 0 %では、 画像としての認識レベルが向上しているが、 まだ黒 色のノイズが残っている。 閾値が 4 0 %では、 認識レベルが格段に向上し、 判別 基準画像として十分に使用できるようになつている。 閾値が 6 0 %、 8 0 %では、 画像の一部が欠け、 文字が見にくくなつている。 それ以上の閾値になると黒色部 分が減少し、 全く文字として認識ができなくなる。 そこで、 閾値を 4 0 %に設定 する。  The image of the first characteristic part A is binarized in black and white, and filtered with a 20% image adjustment threshold (hereinafter simply referred to as threshold) and displayed. As shown in Fig. 22, this image is displayed with a lot of black noise. The threshold is changed to 30%, 40%, 60%, and 80% with the threshold adjustment bar 79 on the panel screen 75 of FIG. When the threshold is 30%, the recognition level as an image is improved, but black noise still remains. When the threshold value is 40%, the recognition level is remarkably improved, and the recognition level can be sufficiently used. At the thresholds of 60% and 80%, part of the image is missing and characters are difficult to see. If the threshold value is exceeded, the black portion decreases, and it cannot be recognized as a character at all. Therefore, the threshold is set to 40%.
同様に、 特徴部分 Bの画像を表示し、 閾値調整バー 7 9により、 閾値を 3 5 %、 Similarly, the image of the characteristic portion B is displayed, and the threshold is adjusted to 35% by the threshold adjustment bar 79,
4 5 %、 6 0 %、 9 0 %に変更してゆくと、 図 2 3に示すように画像が変化する。 最も認識レベルの高い 4 5 %を閾値に設定する。 最後に、 特徴部分 Cの画像を表 示し、 閾値調整パー 7 9により、 閾値を 2 0 %、 2 5 %、 4 0 %、 6 0 %, 9 0 %に変更してゆくと、 図 2 4に示すように画像が変化する。 最も認識レベルの 高い 4 0 %を閾値に設定する。 閾値の設定を終えると、 特徴部分 A, B, Cの画 像を、 図 2 1 Bに示すように、 閾値とともに薬剤名称と関連させて登録する。 図 2 5は、 記憶画像の具体的なデータ構造 8 0示す。 製品比較データ構造体8 1は、 比較薬剤数 8 2と、 比較マスタ一画像格納ァドレス 8 3とからなる。 比較 マスター画像格納ァドレス 8 3は、 A薬品から N薬剤までの比較マスター画像格 納アドレスを有している。 各比較マスター画像格納アドレスを指定すると、 比較 マスタ一画像構造体 8 4が呼び出される。 比較マスタ一画像構造体 8 4は、 薬剤 コード 8 5、 マスター画像データ数 8 6、 マスター 1画像から 4画像までの各設 定閾値 8 7、 マスター 1画像から 4画像までの格納アドレス 8 8を有している。 マスター 1画像から 4画像の各格納ァドレス 8 8を指定すると、 マスター 1画像 から 4画像の各実体 8 9が呼び出される。 As you change to 45%, 60%, and 90%, the image changes as shown in Figure 23. Set the highest recognition level of 45% as the threshold. Finally, the image of the characteristic part C is displayed, and the threshold is adjusted to 20%, 25%, 40%, 60%, 9 As you change to 0%, the image changes as shown in Figure 24. The threshold with the highest recognition level of 40% is set. After setting the threshold, the images of the characteristic parts A, B, and C are registered together with the threshold and the drug name, as shown in Fig. 21B. FIG. 25 shows a specific data structure 80 of the stored image. Product comparison data structure 81 includes a comparison agent number 82, consisting of comparing the master first image storing Adoresu 8 3. The comparison master image storage address 83 has a comparison master image storage address from drug A to drug N. When each comparison master image storage address is specified, the comparison master image structure 84 is called. The comparison master one image structure 84 contains the drug code 85, the number of master image data 86, the set threshold values 8 to 7 for the master 1 to 4 images, and the storage addresses 8 to 8 for the master 1 to 4 images. Have. When each storage address 8 8 of the master 1 image is specified, each entity 8 9 of the 4 images from the master 1 image is called.
図 2 6は、 切り出した特徴部分の画像をさらに複数の領域に分割して記憶する 例を示す。 特徴画像は、 サイズや大きさに応じて、 縦方向と横方向に一定の比率 で分割される。 分割した領域が識別できるように黒の分割線が表示されているが、 この分割線は必ずしも入れる必要はない。 分割数は、 縦方向と横方向に予め設定 しておくとよい。 例えば、 1辺の長さが 2 0、 5 0、 8 0、 1 2 O mniに対応し て、 2分割、 3分割、 4分割、 5分割とし、 それを超えた場合は 6分割とする。 切り出した特徴部分が縦 1 8 mm、 横 7 6 mmの場合、 縦は 9 mm間隔で 2分割 し、 横は 1 8 . 5 mm間隔で 4分割する。 分割数は、 2から 8分割が好ましい。 分割数が多くなると、 合否判定の精度が向上する反面、 処理速度が低下する。 図 2 6は、 「ュニカリック L」 という特徴画像の縦を 2分割、 横を 4分割して、 8 個の領域に分割したものである。 各分割領域毎に、 白ピクセルと黒ピクセルの個 数を算出して、 記憶しておくとよい。 図 1 6の分割領域は縦横ともに等間隔であ るが、 不等間隔でもよい。 また、 分割領域の形状も矩形に限定されず、 連続する 三角形、 六角形、 円形でもよい。 さらに、 監查時の照合は、 切り出した特徴部分 の画像全体ではなく、 連続した円形の分割領域の内部のみで照合してもよい。  FIG. 26 shows an example in which the extracted image of the characteristic portion is further divided into a plurality of regions and stored. The feature image is divided at a fixed ratio in the vertical and horizontal directions according to the size and size. A black dividing line is displayed so that the divided area can be identified, but this dividing line is not necessarily required. The number of divisions is preferably set in advance in the vertical and horizontal directions. For example, according to the length of one side being 20, 50, 80, and 12 Omni, the division is made into two divisions, three divisions, four divisions, and five divisions. If the cut out feature is 18 mm long and 76 mm wide, divide it into two by 9 mm vertically and four by 18.5 mm horizontally. The number of divisions is preferably two to eight. When the number of divisions increases, the accuracy of pass / fail judgment improves, but the processing speed decreases. Figure 26 shows a feature image called “UNICALIC L” divided into eight regions by dividing the vertical into two parts and the horizontal into four parts. It is preferable to calculate and store the number of white pixels and black pixels for each divided region. The divided regions in FIG. 16 are equally spaced both vertically and horizontally, but may be unevenly spaced. The shape of the divided area is not limited to a rectangle, but may be a continuous triangle, hexagon, or circle. Furthermore, the collation at the time of monitoring may be performed only within the continuous circular divided area, instead of the entire image of the extracted characteristic portion.
3 . 3 薬剤の監査 図 2 7は、 前記画像認識ライブラリ 7 1による薬剤の監査のフローを示す。 ス テツプ 3 1 1で、 画像処理ボード 7 4 bをイニシャライズし、 ステップ 3 1 2で 3.3 Drug audit FIG. 27 shows a flow of drug inspection by the image recognition library 71. In step 311, initialize the image processing board 7 4b, and in step 312
'を起動する。 ステップ 3 1 3で処方データに該当する登録画像を取得し、 3 1 4で画像取得に成功すると、 ステップ 3 1 5で薬剤数が 2 0以下で あるか否かを判断し、 2 0を超えるとエラーを報知する。 薬剤数が 2 0以下であ れば、 ステップ3 1 6で薬品コード、 閾値情報等を取得し、 ステップ3 1 7で画 像判定を行い、 終了する。 Start '. In step 3 13, a registered image corresponding to the prescription data is acquired.If image acquisition is successful in 3 14, it is determined in step 3 15 whether or not the number of medicines is 20 or less. And an error. Agent number 2 0 less der lever, Step 3 1 6 with chemicals code, obtains the threshold information and the like, performs the images determined in step 3 1 7 and ends.
図 ·2 8は、 前記図 2 7の監査フローの画像判定のフローを示す。 このフローで は、 ステップ 3 2 1で、 上位 Α Ρが 「処方データ判定開始」 を C A L Lし、 ここ で処方データの全ての薬剤の登録画像を取得する。 ステップ 3 2 2で、 上位 A P 「処方データ判定結果取得」 を C A L Lし、 ここで監査対象の薬剤の画像を取 得し、 この取得画像と前記登録画像のマッチングを行う。 マッチングの度合いを 点数付けし、 最上位の点数と薬剤コードを上位 A Pに通知する。 ステップ 3 2 3 で、 全ての薬剤につき判定が終了したか否かを判断し、 終了していなければ全て の薬剤につきステップの処理を行う。 全ての薬剤につき判定が終了すると、 ステ ップ 3 2 4で、 上位 A Pが 「処方データ判定終了」 を C A L Lし、 終了する。 図 2 9は、 図 2 8の 「処方データ判定結果取得」 のマッチングにおけるパター ンサーチ処理のフローを示す。 このフロ一では、 取得画像の濃淡画像メモリ領域 をサーチして、 記憶した画像データのパターンと同一のパターンが存在する座標 位置を求める。 サーチの方向は、 図 3 0に示すように、 左上端から所定ピクセル ずつ右端まで移動し、 所定ピクセル下の左端に戻って同様に繰り返す。 図 3 0は、 B 1位置と B 2位置でそれぞれ血と の記憶画像と同一パターンが存在したこと を示している。 画像一致度を向上するために、 図 3 1に示すように、 例えば士 3度の範囲内で 1度ピッチで記憶画像を傾斜させてサーチを行うことができる。 図 3 1は、 B 3位置と B 4位置でそれぞれ と の記憶画像と同一パターンが存 在したことを示している。 サーチは全面サーチして終了してもよいが、 同一のパ ターンを発見した時点で打ち切りにしてもよい。 サーチ処理のアルゴリズムは、 図 3 2に示すように、 サーチするパターン画像 P (M, N) と、 サーチ領域の画 像 B (X, Y) の部分画像 Β (Μ, Ν) とのマッチングの度合を示すネ日 相 関係数 C i jを下記数式で求め、 その値が所定の閾値より大きくなつたところの 座標値を求める。 FIG. 28 shows a flow of the image judgment of the audit flow of FIG. 27 described above. In this flow, in step 3 21, the upper tier ALL calls “prescription data judgment start”, and here acquires the registered images of all the medicines in the prescription data. In step 3 2 2, the upper AP “Prescription data judgment result acquisition” is called, an image of the medicine to be inspected is acquired here, and the acquired image is matched with the registered image. The degree of matching is scored, and the highest score and drug code are notified to the upper AP. In step 3 23, it is determined whether or not the determination has been completed for all the drugs, and if not, the step processing is performed for all the drugs. When the judgment is completed for all the drugs, the upper AP calls “prescription data judgment end” in step 3 2 4 and ends. FIG. 29 shows the flow of the pattern search process in the matching of “prescription data judgment result acquisition” in FIG. In this flow, the grayscale image memory area of the acquired image is searched to find the coordinate position where the same pattern as the stored image data pattern exists. As shown in FIG. 30, the search direction moves from the upper left corner to the right edge by a predetermined pixel, returns to the left edge below the predetermined pixel, and repeats in the same manner. FIG. 30 shows that the same pattern as the stored image with blood was present at the B1 position and the B2 position, respectively. In order to improve the image coincidence, as shown in FIG. 31, for example, a search can be performed by tilting the stored image at a pitch of 1 degree within a range of 3 degrees. FIG. 31 shows that the same pattern exists in the stored images at the B3 position and the B4 position. The search may be completed with a full search, or may be terminated when the same pattern is found. As shown in Fig. 32, the algorithm of the search process is the matching of the pattern image P (M, N) to be searched and the partial image Β (Μ, Μ) of the image B (X, Y) in the search area. Ne phase showing degree The relation number C ij is obtained by the following equation, and the coordinate value at which the value becomes larger than a predetermined threshold value is obtained.
Figure imgf000022_0001
Figure imgf000022_0001
まず、 図 2 9のステップ 3 3 1で、 最初の特徴画像を取得し、 ステップ 3 3 2 で近似的な相関計算を行つて初期判定閾値により記憶画像と類似する画像をレ、く つか探し出し、 候補点とする (候補点サーチ) 。 ステップ 3 3 3で、 前記候補点 について相関計算を行い (最終サーチ) 、 ステップ 3 3 4で前記初期判定閾値よ り大きな最終判定閾値により記憶画像と同一のパターンを発見したか否かを判断 する。 同一のパターンを発見しなければ、 ステップ 3 3 2に戻って手順を繰り返 す。 ステップ 3 3 4で同一のパターンを発見したと判断すれば、 ステップ 3 3 5 で全ての特徴画像についてサーチしたか否力判断し、 全ての特徴画像についてサ ーチしていなければ、 ステップ 3 3 2に戻って同一の手順を繰り返して終了する。 このように、 候補点サーチと最終サーチの 2段階のサーチを行うので、 サーチの 速度と確実性が担保される。  First, in step 331 in Fig. 29, the first feature image is obtained, and in step 332, an approximate correlation calculation is performed, and an image similar to the stored image is searched for based on the initial judgment threshold, and Set as candidate points (candidate point search). In step 33, a correlation calculation is performed on the candidate points (final search). In step 33, it is determined whether or not the same pattern as the stored image has been found with a final determination threshold value larger than the initial determination threshold value. . If you do not find the same pattern, return to step 3 and repeat the procedure. If it is determined in step 3 3 4 that the same pattern has been found, it is determined in step 3 3 5 whether or not all feature images have been searched. If all feature images have not been searched, step 3 3 Return to 2 and repeat the same procedure to end. In this way, since the search is performed in two stages, the candidate point search and the final search, the search speed and reliability are ensured.
候補点サーチの速度を向上するため、 簡易記憶画像を利用することができる。 簡易記憶画像は、 記憶画像の全ピクセルから 5 0 %のピクセルを抜き出して再構 成した画像である。 例えば、 図 3 3に示す文字 「y」 の記憶画像 (2 0 0ピクセ /レ) から、 5 0 %のピクセルを 1ピッチ毎に交互に抜き出して、 図 3 4に示す 1 0 0ピクセルの判定無効部分 「一」 を有する簡易記憶画像を再構成する。 この図 3 4の簡易記憶画像と図 3 5 Aに示す実像パターンを 2ピクセル左にずれた位置 で照合すると、 図 3 5 Bに示すように、 1 0 0個のピクセル中、 N G 「X」 は 2 8個、 黒の O K 「秦」 と白の O K 「〇」 はそれぞれ 3 5個と 3 7個で、 合計 7 2個となり、 一致度は 7 2 %である。 候捕点サーチでの閾値を 5 5 %とすれば、 実像パターンから 2ピクセル左にずれていても、 同一パターンであると判定でき る。 また、 図 3 4の前記簡易記憶画像と図 3 6 Aに示す黒ベタの実像画像のパタ ーンを照合すると、 図 26 Bに示すように、 100個のピクセル中、 NGIn order to improve the speed of the candidate point search, a simple stored image can be used. The simple stored image is an image reconstructed by extracting 50% of the pixels from all the pixels of the stored image. For example, from the stored image (200 pixels / let) of the character "y" shown in Fig. 33, 50% of the pixels are alternately extracted for each pitch, and the determination of the 100 pixels shown in Fig. 34 is made. A simple stored image having an invalid part “one” is reconstructed. When the simple memory image in Fig. 34 and the real image pattern shown in Fig. 35A are compared at a position shifted two pixels to the left, as shown in Fig. 35B, out of 100 pixels, NG "X" Are 28, the black OK “Hata” and the white OK “〇” are 35 and 37, respectively, for a total of 72, with a match of 72%. If the threshold in the search for a catch point is 55%, it can be determined that the pattern is the same even if it is shifted two pixels to the left from the real image pattern. In addition, the pattern of the simple storage image shown in FIG. 34 and the solid black real image shown in FIG. Matching the patterns, the NG out of 100 pixels is shown in Figure 26B.
「X」 は 51個、 黒の OK 「秦 J は 49個となり、 一致度は 49%である。 同 様に前記簡易記憶画像と白抜きの実像パターンを照合すると、 100偶のピクセ ル中、 NG 「X」 は 49個、 黒の OK 「搴」 は 51個となり、 一致度は 51% である。 したがって、 候補点サーチの閾値を5 5%としても、 この黒ベタや白抜 きの実像画像のパターンを不一致であると判定することができる。 最終サーチで は、 図 34の簡易記憶画像ではなく図 33に示す記憶画像の全ピクセルを利用す る。 仮に、 図3 7 Aに示すように、 実像パターンに画像の欠け Pが存在していた としても、 照合の結果、 図 37 Bに示すように、 黒の 「OK」 が 98/101、 白の 「ΟΚ」 が 99 99で、 黒が約 97%、 白が 100。/。となり、 最終サーチ の閾値を 93%としても、 一致と判定することができる。 "X" is 51, black OK "Hata J is 49, and the degree of coincidence is 49%. Similarly, comparing the simple stored image with the white real image pattern, The number of NG "X" is 49, and the number of black OK "bon" is 51, and the matching degree is 51%. Therefore, even if the 5 5% threshold of the candidate point search, it is possible to determine the pattern of solid black and Shiro抜Kino real image to be mismatched. In the final search, all the pixels of the stored image shown in FIG. 33 are used instead of the simple stored image of FIG. If, as shown in FIG. 3 7 A, as chipping P image was present in the real image pattern, the result of the collation, as shown in FIG. 37 B, black "OK" 98/101, white "ΟΚ" is 99 99, about 97% for black and 100 for white. /. Thus, the match can be determined even if the final search threshold is 93%.
前記実施形態の変形例として、 前述のように、 画像メモリに記憶する画像を複 数の領域に分割して、 各領域の画像と実像画像との一致度を判定することもでき る。 この場合、 各領域において、 図 37 Βのようなピクセル毎の照合が行われ、 As a modified example of the embodiment, as described above, the image stored in the image memory can be divided into a plurality of regions, and the degree of coincidence between the image in each region and the real image image can be determined. In this case, in each region, pixel-by-pixel matching is performed as shown in Figure 37 37.
「NG」 力 「OK」 の合否が判定される。 各領域の画像の一致度の格差を算出し、 前記一致度の格差を所定の格差閾値と比較することにより、 「NG」 力 「OKj の判定を行う。 例えば、 ある画像を左右に A領域と B領域に分割し、 実像画像と A領域の画像の一致度 L Aが 95 %で、 実像画像と B領域の画像の一致度 L Bが 60%の場合、 それぞれ所定の閾値 55%以上であっても、 両者の格差 LA— L B (95-60 = 35%) が非常に大きく、 所定の格差閾値 (例えば 10 %) よ り大きいので、 「NG」 と判定する。 逆に、 格差が小さく、 所定の格差閾値より 小さければ、 「OK」 と判定する。 この変形例は、 「8」 と 「3」 のように画像 の部分的な相違が各領域の画像の一致度の較差として現れるため、 部分的に相違 する画像を判別する場合に特に有効であり、 判定精度が向上する。 "NG" force Pass / fail of "OK" is determined. By calculating the disparity in the degree of coincidence between the images of the respective areas, and comparing the disparity in the degree of coincidence with a predetermined disparity threshold, the determination of “NG” power or “OKj” is performed. When the degree of coincidence LA between the real image and the image in the area A is 95% and the degree of coincidence LB between the real image and the image in the area B is 60%, the threshold value is 55% or more. Also, the difference between the two, L A — LB (95-60 = 35%), is very large, and is larger than a predetermined gap threshold (for example, 10%). Conversely, if the disparity is small and smaller than a predetermined disparity threshold, it is determined to be “OK”. This modification is particularly effective when discriminating images that are partially different because partial differences between images, such as “8” and “3”, appear as differences in the degree of matching between images in each region. The judgment accuracy is improved.
3. 4 混注監査システム 3.4 Co-injection audit system
次に、 前記パーソナルコンピュータ 2による薬剤監查システムの画面操作手順 について説明する。  Next, a screen operation procedure of the medicine monitoring system by the personal computer 2 will be described.
パーソナルコンピュータ 2のモニタ 21に表示された図 18に示すデスクトツ プのアイコン 8 1をクリックすると、 図 3 9に示す混注監査システムメニュー画 面 8 2が表示される。 このメニュー画面 8 2には、 混注監查モニタ 8 3、 P h閾 値設定 8 4、 プリンター設定 8 5、 環境設定 8 6、 業務終了 8 7の各ボタンが表 示される。 ここでは、 混注監查モニタ 8 3と環境設定 8 6のボタンをクリックし たときの操作手順を説明し、 P h閾値設定 8 4とプリンター設定 8 5については 本発明と直接関係がないので説明を省略する。 The desktop shown in FIG. 18 displayed on the monitor 21 of the personal computer 2 Clicking on the lock icon 81 will display the mixed injection system menu screen 82 shown in Figure 39. On this menu screen 82, each button of the mixed injection monitoring monitor 83, the Ph threshold value setting 84, the printer setting 85, the environment setting 86, and the operation end 87 is displayed. Here, the operation procedure when the button of the mixed injection monitoring monitor 83 and the environment setting 86 is clicked is explained, and the Ph threshold setting 84 and the printer setting 85 are not directly related to the present invention, so they are explained. Is omitted.
メニュー画面 8 2の混注監査モニタ 8 3のボタンをクリックすると、 ログイン 画面が表示されるので、 ユーザー I Dとパスワードを入力して OKボタンを押す。 これにより、 図 4 0に示す混注監査モニタ画面 8 8が表示される。 監査業務を終 了するには、 図 3 9のメニュー画面 8 2の業務終了ボタン 8 7を押す。  When you click the button of the mixed injection audit monitor 83 on the menu screen 82, the login screen is displayed. Enter the user ID and password and press the OK button. As a result, the mixed injection audit monitor screen 88 shown in FIG. 40 is displayed. To end the audit work, press the work end button 87 on the menu screen 82 of Fig. 39.
混注監查モニタ画面 8 8は、 患者情報欄 8 9、 混注情報欄 9 0、 明細情報欄9 1、 メッセ一ジ檷 9 2、 監查モード欄 9 3、 通信情報欄 9 4と、 ファンクション キー 9 5で構成されている。 Mixed injection監查monitor screen 8 8 patient information field 8 9, mixed injection information column 9 0, detailed information column 9 1, message temporary檷9 2,監查mode column 9 3, the communication information field 9 4, function keys It consists of nine and five.
患者情報欄 8 9は、 図 4 1に示すように、 病棟コード、 診療科コード、 患者 I D、 患者名、 年齢、 性別、 身長、 体重、 体表面積、 特記事項、 病室番号、 医師名 からなつている。 病棟コードと患者 I Dを入力すると、 他の患者情報が表示され る。 患者が妊婦の場合は、 特記事項に 「妊婦」 と表示される。  As shown in Fig. 41, the patient information column 89 is composed of a ward code, a department code, a patient ID, a patient name, age, gender, height, weight, body surface area, special instructions, a room number, and a doctor name. I have. Enter the ward code and patient ID to display other patient information. If the patient is a pregnant woman, the special instructions will read “Pregnant woman”.
混注情報欄 9 0は、 図 4 2に示すように、 実施日、 処方箋区分、 完了、 施用単 位、 薬剤レシピ (Recipe) 番号 (R p ) からなつている。 実施日のプルダウンメ ニューから監查対象の実施日を選択し、 処方箋区分のプルダウンメニューから監 查対象の処方箋区分を選択すると、 実施日における監査対象の監査情報が一覧で 表示される。 完了欄は監査が未完であれば〇が表示され、 完了すると撃が表示さ れる。 施用単位は、 実施の順位を示す。 同じ順位でも薬剤レシピ番号が異なる場 合は、 異なる行に表示される。 薬剤レシピ番号は、 混注薬剤のレシピの番号であ る。 監查を行う対象の行を選択すると、 明細情報に明細が表示される。  As shown in FIG. 42, the co-injection information column 90 is composed of an implementation date, a prescription category, a completion, an application unit, and a drug recipe (Recipe) number (R p). Select the implementation date to be monitored from the pull-down menu of the implementation date, and select the prescription category to be monitored from the pull-down menu of the prescription category, and the audit information of the audit subject on the implementation date is displayed in a list. In the completion column, if the audit is not completed, 〇 will be displayed, and if completed, the hit will be displayed. The application unit indicates the order of implementation. If the same recipe has a different recipe number, it is displayed on a different line. The drug recipe number is the recipe number of the co-administered drug. When you select the line to be monitored, the details are displayed in the details information.
明細情報 9 1は、 図 4 3に示すように、 薬剤名称、 用量、 単位、 手技、 P h値、 混注グループ、 完了 Z本数からなっている。 明細情報の最終行には合計用量が表 示される。 明細表示の順序は、 明細表示欄のプルダウンメニューから任意の表示 順を選択することができる。 「薬剤名称」 は混注薬剤の名称がフルネームで表示 される。 「用量」 は混注薬剤の量、 「単位」 はその量の単位である。 「手技」 は、 点滴等の方法を示す。 「混注グループ」 は、 監査する薬剤のグループを示す。As shown in FIG. 43, the detailed information 91 includes a drug name, a dose, a unit, a procedure, a Ph value, a co-injection group, and the number of completed Z tubes. The last line of the specification information shows the total dose. The order of the statement display can be selected from the pull-down menu in the statement display column. "Drug name" is the full name of the co-administered drug Is done. “Dose” is the amount of co-administered drug and “unit” is the unit of the amount. “Technique” indicates a method such as infusion. “Mixed injection group” indicates the group of drugs to be audited.
「完了/本数」 のうち 「本数」 は監査する薬剤の本数を示し、 「完了」 は監査が 完了した本数を示す。 明細情報の最下欄には処方明細付加情報がある場合に 「記 載事項有り」 と表示される。 In “Completed / Number”, “Number” indicates the number of medicines to be audited, and “Completed” indicates the number of completed audits. If there is prescription detail additional information in the bottom column of the detail information, “there is a description item” is displayed.
メッセージ檷 9 2には、 操作のガイドゃエラーの内容が表示される。  Message 檷 92 displays the operation guide ゃ error contents.
監査モード欄 9 3は、 自動か手動かの監査モードを選択するボタンからなり、 そのボタンには選択されている監查モードが表示される。 監査モードを自動に切 り換えるには手動と表示されたポタンを押し、 手動に切り換えるには自動と表示 されたポタンを押す。  The audit mode column 93 includes buttons for selecting an automatic or manual audit mode, and the button displays the selected audit mode. Press the button labeled Manual to switch the audit mode to automatic, and press the button labeled Automatic to switch to the manual mode.
通信情報襴 9 4には、 正常力 >否かの通信状態が表示される。  In the communication information brochure 94, a communication state of normality> no is displayed.
前記混注監査モニタ画面 8 8において、 監査を開始する際に、 監查モードが手 動の場合は明細情報の一覧から監査对象の行の数字セルを選択する。 監査モード が自動の場合は、 順番通り監査が監視されるので、 対象の行を選択する必要はな い。  On the mixed injection audit monitor screen 88, when starting the audit, if the monitoring mode is manual, select the number cell of the row to be audited from the list of detailed information. When the audit mode is automatic, audits are monitored in order, so there is no need to select the target rows.
前記監査装置 1, 3 1の監査台に薬剤を載置する。 監査の結果が N Gの場合は、 図 4 4に示すように明細情報の表示部分に 「N Gj と表示され、 OKの場合は The medicine is placed on the inspection table of the inspection devices 1 and 31. If the result of the audit is NG, “NG Gj” is displayed in the detailed information display area as shown in Fig. 44.
「O K」 と表示される。 監査の結果の表示は、 文字に限らず、 行を適当な色でハ ィライト表示するようにしてもよい。 例えば、 監査の結果が N Gの場合は、 行を 赤でハイライトし、 Ο Κの場合は青でハイライトする。 “OK” is displayed. The display of the results of the audit is not limited to characters, and the lines may be highlighted in an appropriate color. For example, if the result of the audit is NG, highlight the row in red; if it is Ο, highlight the row in blue.
混注グループは、 同一グループで処理すると P hの変化や薬効の消失等の問題 がある場合は、 分割と解除が可能である。 混注グループを分割するには、 明細情 報檷 9 1に表示した薬剤の対象の行の薬品名称のセルを選択し、 ファンクション キー 9 5の F 4を押す。 混注グループを解除するには、 明細情報欄 9 1に表示し た薬剤の対象の行の薬品名称のセルを選択してファンクションキーの F 5を押す と、 選択枝がプルダウンで表示されるので、 分割前のグループ名を選択する。 薬剤の強制監査を行う場合は、 明細情報欄 9 1に表示した薬剤の対象の行の薬 品名称のセルを選択し、 ファンクションキー 9 5の F 1を押す。 このとき、 強制 監査された薬剤の行が緑色で表示される。 「完了ノ本数」 が 1ノ3のとき、 すな わち、 3本の薬剤中 1本について自動監査が行われて 「OK」 のとき、 F 1を押 して、 残りの 2本は目視による強制監査を行うことができる。 このとき、 F 1を 押す毎に、 「完了 Ζ本数」 の 「完了」 に 1がプラスされる。 The co-injection group can be divided and released if there is a problem such as a change in Ph or a loss of medicinal effect when processed in the same group. To divide the co-injection group, select the cell of the drug name in the row of the drug displayed in the detailed information No. 91 and press F4 of the function key 95. To release the co-injection group, select the drug name cell in the row for the drug displayed in the detailed information column 91 and press F5 of the function key. Select the group name before splitting. To perform a compulsory audit of a drug, select the drug name cell in the row for the drug displayed in the detailed information column 91, and press F1 of the function key 95. At this time, the row of the compulsory audited drug is displayed in green. When “Number of completed” is 1-3, In other words, when one of the three drugs is automatically audited and the result is "OK", F1 can be pressed and the remaining two can be visually inspected. At this time, every time F 1 is pressed, 1 is added to “Complete” of “Complete Ζ Number”.
なお、 前述した監査の結果、 すなわち、 強制監査、 画像監査の合否結果と、 撮 影した画像は、 監査履歴として、 時系列で上位ホストコンピュータ 2 2に記録さ れ、 適宜表示または印刷できるようになつている。 これにより、 医療事故等が発 生した場合、 輸液混注業務の監査履歴を調査し、 どのような状況で事故が発生し たのか、 又は事故でなく、 単に患者の病状が急変したのかが明確となる。  The results of the above-mentioned audit, that is, the results of the pass / fail of the mandatory audit and image audit, and the captured images are recorded as an audit history in a time series on the host computer 22 so that they can be displayed or printed as appropriate. I'm familiar. In this way, if a medical accident or the like occurs, the audit history of the infusion co-administration work is investigated to clarify under what circumstances the accident occurred, or not just the accident but the sudden change in the patient's condition. Become.
薬剤が輸液バッグでバーコ一ドが付されている場合は、 そのバーコ一ドを読み 取ることで監查を行ってもよい。 この場合、 図 4 5に示すように、 「監査する輸 液のバーコ一ドを読み取って下さい」 等のメッセージ表示を行うことが好ましい。 図 3 9のメニュー画面 8 2の環境設定 8 6のボタンをクリックすると、 図 4 6 に示す各種環境設定画面 9 6が表示される。 各種環境設定画面 9 6は、 薬剤判定 閾値設定 9 7とマスタメンテナンス 9 8のボタンが表示される。 When a drug is bar-coded with an infusion bag, monitoring may be performed by reading the bar-code. In this case, as shown in Fig. 45, it is preferable to display a message such as "Read the barcode of the infusion solution to be audited". Clicking on the button of the menu screen 82 preferences 8 6 3 9, various environmental settings screen 9 6 shown in FIG. 4 6 is displayed. On the various environment setting screens 96, the buttons for drug judgment threshold setting 97 and master maintenance 98 are displayed.
各種環境設定画面 9 6の薬剤判定閾値設定 9 7のボタンをクリックすると、 図 Click the button of drug judgment threshold 9 7 on various environment setting screen 9 6
4 7に示す薬剤判定閾値設定画面 9 9が表示される。 薬剤判定閾値設定画面 9 9 は、 初期薬剤判定閾値設定 1 0 0、 最終薬剤判定閾値設定 1 0 1のボタンが表示 される。 初期薬剤判定閾値設定 1 0 0のボタンをクリックすると、 図 4 8の初期 薬剤判定閾値設定画面 1 0 2が表示され、 アップダウンキーで初期薬剤判定閾値 を変更し、 それに設定する場合は設定ポタンを押し、 設定しない場合は戻るボタ ンを押す。 最終薬剤判定閾値設定 1 0 1のボタンをクリックすると、 図 4 9の最 終薬剤判定閾値設定画面 1 0 3が表示され、 アップダウンキーで最終薬剤判定閾 値を変更し、 それに設定する場合は設定ボタンを押し、 設定しない場合は戻るボ タンを押す。 47 The drug determination threshold setting screen 99 shown in 7 is displayed. On the medicine determination threshold setting screen 9 9, buttons for initial medicine determination threshold setting 100 and final medicine determination threshold setting 101 are displayed. Clicking the button for initial drug judgment threshold 100 Clicking the button of 100 sets the initial drug judgment threshold screen 102 shown in Fig. 48. Change the initial drug judgment threshold with the up / down key and use the setting button to set it. Press, and press the Back button if you do not want to set. Clicking the button for final drug determination threshold 1 0 1 will display the final drug determination threshold setting screen 103 in Fig. 49, and use the up / down key to change the final drug determination threshold and set it to Press the setting button, and if not, press the back button.
各種環境設定画面 9 6のマスタメンテナンス 9 8のボタンをタリックすると、 図 5 0のマスタメンテナンス画面 1 0 4が表示される。 マスタメンテナンス画面 1 0 4は、 薬剤マスタ 1 0 5、 コメントマスタ 1 0 6、 用法マスタ 1 0 6、 画像 マスタ 1 0 7の各ボタンが表示される。 薬剤マスタ 1 0 5のボタンをクリックす ると、 図示しない薬剤マスタメンテナンス画面が表示され、 薬剤マスタファイル に記憶された薬剤の名称、 薬剤 I D、 用量、 禁忌情報等を追加 ·変更を行うこと ができる。 コメントマスタ 1 0 6のボタンをクリックすると、 図示しないコメン トマスタメンテナンス画面が表示され、 コメントマスタファイルに記憶された輸 液方法、 注意点、 副作用等のコメントの追加 ·変更を行うことができる。 用法マ スタ 1 0 7のボタンをクリックすると、 図示しない用法マスタメンテナンス画面 が表示され、 用法マスタファイルに記憶された薬剤の用法、 限界量、 注意点等の 用法の追加 ·変更を行うことができる。 画像マスタ 1 0 8のボタンをクリックす ると、 画像マスタメンテナンス画面が表示され、 画像マスタファイルに記憶され た薬剤の画像データの追加 ·変更を行うことができる。 Clicking the button of the master maintenance 98 of the various environment setting screens 96 will display the master maintenance screen 104 of Fig. 50. The master maintenance screen 104 displays the following buttons: medicine master 105, comment master 106, usage master 106, and image master 107. If you click the button of the drug master 105, a drug master maintenance screen (not shown) is displayed, and the drug master file is displayed. You can add or change the name of the drug, drug ID, dose, contraindicated information, etc., stored in. Clicking the button of the comment master 106 displays a comment master maintenance screen (not shown), in which comments such as the infusion method, precautions, and side effects stored in the comment master file can be added or changed. When the button of the usage master 107 is clicked, a usage master maintenance screen (not shown) is displayed, and it is possible to add or change the usage of the drug stored in the usage master file, such as a usage amount, a limit amount, and a caution. By clicking the button of the image master 108, the image master maintenance screen is displayed, and it is possible to add / change the image data of the medicine stored in the image master file.

Claims

請 求 の 範 囲 The scope of the claims
1 . 予め多数の薬剤容器の画像をそれらの薬剤名称と対応させて記憶する記憶手 段と、 1. A storage means for storing images of a large number of drug containers in advance in association with their drug names,
監査する薬剤容器を搭載する監査台と、  An audit table equipped with drug containers to be audited,
該監査台に搭載された薬剤容器の画像を撮像する撮像手段と、  Imaging means for capturing an image of a medicine container mounted on the inspection table,
該撮像手段で得られた画像に前記記憶手段に記憶した画像が有るか否かを判別 する判別手段とを備えたことを特徴とする薬剤監査装置。  A medicine inspecting device comprising: a judging means for judging whether or not the image obtained by the imaging means includes an image stored in the storage means.
2 . 前記記憶手段は、 薬剤容器の特徴的な部分の画像を記憶することを特徴とす る請求項 1に記載の薬剤監査装置。 2. The medicine inspection device according to claim 1, wherein the storage means stores an image of a characteristic portion of the medicine container.
3 . 前記記憶手段は、 薬剤容器の複数の特徴的な部分の画像を記憶し、 3. The storage means stores images of a plurality of characteristic portions of the medicine container,
前記判別手段は、 前記撮像手段で得られた画像に前記記憶手段に記憶した複数 の特徴的な部分の画像がいずれも有る力否かを判別することを特徴とする請求項  The apparatus according to claim 1, wherein the determination unit determines whether or not the image obtained by the imaging unit has any of the plurality of characteristic portion images stored in the storage unit.
4 . 前記判別手段は、 前記撮像手段で得られた画像に前記記憶手段に記憶した特 徴的な部分の画像がいずれも有るか否かを判別する際に、 前記特徴的な部分の画 像毎に異なる閾値で判別することを特徴とする請求項 3に記載の薬剤監查装置。 4. The discriminating means, when discriminating whether or not any image of the characteristic part stored in the storage means is included in the image obtained by the imaging means, the image of the characteristic part 4. The drug monitoring device according to claim 3, wherein the determination is performed using a different threshold value for each.
5 . 前記監査台は、 薬剤容器の姿勢を変化させる手段を備えたことを特徴とする 請求項 1に記載の薬剤監査装置。 5. The medicine inspection device according to claim 1, wherein the inspection table includes means for changing a posture of the medicine container.
6 . 前記薬剤容器の姿勢を変化させる手段は、 前記薬剤容器を支持し回転させる 1対のローラであることを特徴とする請求項 5に記載の薬剤監査装置。 6. The medicine inspection device according to claim 5, wherein the means for changing the posture of the medicine container is a pair of rollers for supporting and rotating the medicine container.
7 . 薬剤容器に光を照射する光源をさらに備え、 7. A light source for irradiating the medicine container with light is further provided.
前記光源は調光可能で、 明るさを全体的に均一化させるすりガラスを有するこ とを特徴とする請求項 1に記載の薬剤監查装置。 The light source is dimmable and has frosted glass to make the brightness uniform throughout. 2. The drug monitoring device according to claim 1, wherein:
8 . 前記薬剤容器の画像の背景が白色系となるように、 薬剤容器の背後に白色系 のカラー板を備えたことを特徴とする請求項 1に記載の薬剤監査装置。 8. The medicine inspection device according to claim 1, wherein a white color plate is provided behind the medicine container so that the image of the medicine container has a white background.
9 . 前記撮像手段は、 薬剤容器の平面画像とその他の面の画像を撮像することを 特徴とする請求項 1に記載の薬剤監査装置。 9. The medicine inspection apparatus according to claim 1, wherein the imaging means takes an image of a plane of the medicine container and an image of another surface.
1 0 . 前記薬剤容器のその他の面の画像は薬剤容器の裏面画像であり、 前記撮像 手段は鏡面体により撮像方向に反射される裏面画像を撮像することを特徴とする 請求項 9に記載の薬剤監査装置。 10. The image of the other surface of the medicine container is a back surface image of the medicine container, and the imaging means images a back surface image reflected in an imaging direction by a mirror body. Drug inspection device.
1 1 . 前記記憶手段に記憶する薬剤容器の画像を前記撮像手段から取得する画像 取得手段をさらに備え、 11. An image acquisition unit for acquiring an image of the medicine container stored in the storage unit from the imaging unit,
前記画像取得手段は、 取得した薬剤容器の画像の中から選択された特徴的な部 分の画像を切り出し、 前記切り出した特徴的な部分の画像を所定の画像調整用閾 値でフィルタリングし、 得られた特徴的な部分の画像データを前記画像調整用閾 値とともに薬剤名称と対応させて前記記憶手段に記憶させることを特徴とする請 求項 1に記載の薬剤鑑査装置。  The image obtaining means cuts out an image of a characteristic portion selected from the obtained image of the medicine container, and filters the image of the cut out characteristic portion with a predetermined image adjustment threshold value. 2. The medicine inspection device according to claim 1, wherein the image data of the characteristic portion obtained is stored in the storage unit in association with the medicine name together with the image adjustment threshold value.
1 2 . 前記撮像手段で撮像した画像を前記所定の画像調整用閾値と同じ閾値でフ ィルタリングすることを特徴とする請求項 1 1に記載の薬剤鑑查装置。 12. The medicine inspection device according to claim 11, wherein the image picked up by the image pickup means is filtered with the same threshold value as the predetermined image adjustment threshold value.
1 3 . 前記画像調整用閾値を変更可能にしたことを特徴とする請求項 1 1または 1 2に記載の薬剤鑑査装置。 13. The medicine inspection device according to claim 11, wherein the image adjustment threshold is changeable.
1 4 . 前記判別手段は、 記憶画像を所定角度傾斜させて記憶画像と比較すること を特徴とする請求項 1 1から 1 3のいずれかに記載の薬剤監查装置。 14. The drug monitoring device according to any one of claims 11 to 13, wherein the determination unit tilts the stored image by a predetermined angle and compares the tilted storage image with the stored image.
1 5 . 前記判別手段は、 近似的な相関計算を行って記憶画像と類似する複数の候 補点を探し出す候補点サーチと、 前記候補点について相関計算を行つて記憶画像 と一致する画像を絞り込む最終サーチとを行うことを特徴とする請求項 1 1から 1 4のいずれかに 15. The discriminating means performs an approximate correlation calculation to search for a plurality of candidate points similar to the stored image, and performs a correlation calculation on the candidate points to narrow down images matching the stored image. The method according to any one of claims 11 to 14, wherein a final search is performed.
1 6 . 前記候補点サーチの閾値は最終サーチの閾値より小さくしたことを特徴と する請求項 1 5に記載の薬剤監査装置。 16. The medicine inspection device according to claim 15, wherein a threshold value of the candidate point search is smaller than a threshold value of the final search.
1 7 . 前記判別手段は、 前記候補点サーチを行うときに、 記憶画像から一定ピッ チでピクセルを除去して再構成した簡易記憶画像を使用することを特徴とする請 求項 1 5に記載の薬剤監査装置。 17. The request according to claim 15, wherein the discriminating means uses a simplified storage image reconstructed by removing pixels from the storage image at a fixed pitch when performing the candidate point search. Drug inspection equipment.
1 8 . 前記記憶手段は、 予め多数の薬剤容器の画像を複数の領域に分割してそれ らの薬剤名称と対応させて記憶し、 18. The storage means divides a large number of medicine container images into a plurality of areas in advance and stores them in association with the medicine names,
前記判別手段は、 前記撮像手段で得られた画像と前記記憶手段に記憶した各領 域の画像との一致度を判定し、 各領域の画像の一致度の格差を算出し、 前記一致 度の格差を所定の格差閾値と比較することにより、 前記撮像手段で得られた画像 に前記記憶手段に記憶した画像が有るか否かを判別することを特徴とする請求項 1に記載の薬剤監査装置。  The determination unit determines a degree of coincidence between the image obtained by the imaging unit and an image of each area stored in the storage unit, calculates a difference in the degree of coincidence of the image of each area, The medicine inspection device according to claim 1, wherein the difference is compared with a predetermined difference threshold to determine whether or not the image obtained by the imaging unit includes an image stored in the storage unit. .
1 9 . 前記判別手段による判別の履歴を表示する表示手段をさらに有する請求項 1力、ら 1 8のいずれかに記載の薬剤監查装置。 19. The drug monitoring device according to any one of claims 1 to 18, further comprising display means for displaying a history of the determination by the determination means.
PCT/JP2004/008937 2003-06-19 2004-06-18 Drug auditing device WO2004112685A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005507292A JP4857768B2 (en) 2003-06-19 2004-06-18 Drug inspection device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003174757 2003-06-19
JP2003-174757 2003-06-19
JP2004-136085 2004-04-30
JP2004136085 2004-04-30

Publications (1)

Publication Number Publication Date
WO2004112685A1 true WO2004112685A1 (en) 2004-12-29

Family

ID=33543480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/008937 WO2004112685A1 (en) 2003-06-19 2004-06-18 Drug auditing device

Country Status (4)

Country Link
JP (1) JP4857768B2 (en)
KR (1) KR20060019606A (en)
TW (1) TW200504620A (en)
WO (1) WO2004112685A1 (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018051A (en) * 2005-07-05 2007-01-25 Sysmex Corp Clinical inspection information processing device, method and system, analyzing device, and program therefor
WO2007100046A1 (en) * 2006-03-03 2007-09-07 Yuyama Mfg. Co., Ltd. Mixed injection inspection system
JP2010279738A (en) * 2006-03-03 2010-12-16 Yuyama Manufacturing Co Ltd Mixed injection inspection system
JP2011182891A (en) * 2010-03-05 2011-09-22 Tosho Inc Medicine display code automatic reader
WO2012111498A1 (en) * 2011-02-14 2012-08-23 株式会社湯山製作所 Verification device for dispensing of pharmaceuticals
JP2013114315A (en) * 2011-11-25 2013-06-10 Sony Corp Image processing device, program, image processing method, and terminal
JP2013236726A (en) * 2012-05-14 2013-11-28 Contec Co Ltd Medicine inspection apparatus
JP2014217785A (en) * 2009-03-24 2014-11-20 株式会社湯山製作所 Dispensing apparatus
WO2015046043A1 (en) * 2013-09-26 2015-04-02 富士フイルム株式会社 Drug verification device, drug verification system and drug verification method
WO2015129343A1 (en) * 2014-02-28 2015-09-03 富士フイルム株式会社 Inspection device and inspection method, and program for causing computer to execute inspection method
US9150119B2 (en) 2013-03-15 2015-10-06 Aesynt Incorporated Apparatuses, systems, and methods for anticipating and delivering medications from a central pharmacy to a patient using a track based transport system
WO2015152225A1 (en) * 2014-03-31 2015-10-08 株式会社湯山製作所 Medicine photographing device
JP5884956B1 (en) * 2014-09-25 2016-03-15 株式会社湯山製作所 Drug inspection support device
WO2016047295A1 (en) * 2014-09-25 2016-03-31 株式会社湯山製作所 Medicine inspection assistance device
JP2016529024A (en) * 2013-08-26 2016-09-23 エクアシールド メディカル リミテッド Method and apparatus for monitoring, documenting and assisting manual dispensing of drugs
US9511945B2 (en) 2012-10-12 2016-12-06 Aesynt Incorporated Apparatuses, systems, and methods for transporting medications from a central pharmacy to a patient in a healthcare facility
JP2019037373A (en) * 2017-08-23 2019-03-14 株式会社Muカトラ Medicine inspection device and medicine inspection method
JP2019120754A (en) * 2017-12-28 2019-07-22 シヤチハタ株式会社 Imaging device
JP2020115939A (en) * 2019-01-18 2020-08-06 株式会社ソルブ Medical label recognition device, medical label recognition system, and medical label recognition method
CN113012783A (en) * 2021-03-18 2021-06-22 深圳市瑞意博科技股份有限公司 Medicine rechecking method and device, computer equipment and storage medium
JP2021118900A (en) * 2012-10-26 2021-08-12 バクスター・コーポレーション・イングルウッドBaxter Corporation Englewood Improvement of work station for medical dose preparation system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5568112B2 (en) * 2012-07-17 2014-08-06 東芝テック株式会社 Drug mixture preparation management device, control method and control program
CN107041843B (en) * 2017-02-09 2021-03-26 深圳市卫邦科技有限公司 Medicine suction control method and device
JP6522824B1 (en) * 2018-03-26 2019-05-29 オオクマ電子株式会社 Container recognition system for injection solution
CN116630317B (en) * 2023-07-24 2023-09-26 四川新荷花中药饮片股份有限公司 On-line quality monitoring method for traditional Chinese medicine decoction pieces

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01155238A (en) * 1987-12-14 1989-06-19 Takeda Chem Ind Ltd Method for inspecting foreign matter in powder allowed to fill transparent container
JPH06314338A (en) * 1993-05-06 1994-11-08 Hitachi Ltd Area dividing method
JPH07254067A (en) * 1994-03-14 1995-10-03 N T T Data Tsushin Kk Article identification system
JPH09253164A (en) * 1996-03-19 1997-09-30 Tokyo Shokai:Kk Medicine monitoring support system
JPH09288068A (en) * 1996-04-23 1997-11-04 Fuji Electric Co Ltd Appearance inspecting instrument
JP2002107307A (en) * 2000-10-02 2002-04-10 Sukiyan Technol:Kk Soft bag general inspecting system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2998203B2 (en) * 1989-12-01 2000-01-11 藤沢薬品工業株式会社 Inspection method and apparatus for symbol printing surface
JP4484097B2 (en) * 2001-03-16 2010-06-16 株式会社トーショー Dispensing system
JP2004201245A (en) * 2002-12-20 2004-07-15 Minolta Co Ltd Image processing apparatus
JP4459529B2 (en) * 2002-12-26 2010-04-28 高園産業株式会社 Dispensing audit support system for packaging drugs

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01155238A (en) * 1987-12-14 1989-06-19 Takeda Chem Ind Ltd Method for inspecting foreign matter in powder allowed to fill transparent container
JPH06314338A (en) * 1993-05-06 1994-11-08 Hitachi Ltd Area dividing method
JPH07254067A (en) * 1994-03-14 1995-10-03 N T T Data Tsushin Kk Article identification system
JPH09253164A (en) * 1996-03-19 1997-09-30 Tokyo Shokai:Kk Medicine monitoring support system
JPH09288068A (en) * 1996-04-23 1997-11-04 Fuji Electric Co Ltd Appearance inspecting instrument
JP2002107307A (en) * 2000-10-02 2002-04-10 Sukiyan Technol:Kk Soft bag general inspecting system

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018051A (en) * 2005-07-05 2007-01-25 Sysmex Corp Clinical inspection information processing device, method and system, analyzing device, and program therefor
KR101382028B1 (en) * 2006-03-03 2014-04-04 가부시키가이샤 유야마 세이사쿠쇼 Mixed injection inspection system
WO2007100046A1 (en) * 2006-03-03 2007-09-07 Yuyama Mfg. Co., Ltd. Mixed injection inspection system
JP2007260390A (en) * 2006-03-03 2007-10-11 Yuyama Manufacturing Co Ltd Blending injection monitoring system
JP2010279738A (en) * 2006-03-03 2010-12-16 Yuyama Manufacturing Co Ltd Mixed injection inspection system
JP4612646B2 (en) * 2006-03-03 2011-01-12 株式会社湯山製作所 Mixed injection audit system
US8073238B2 (en) 2006-03-03 2011-12-06 Yuyama Mfg. Co., Ltd. Mixed injection inspection system
US8433129B2 (en) 2006-03-03 2013-04-30 Yuyama Mfg. Co., Ltd. Mixed injection inspection system
US8442298B2 (en) 2006-03-03 2013-05-14 Yuyama Mfg. Co., Ltd. Mixed injection inspection system
KR101391113B1 (en) 2006-03-03 2014-04-30 가부시키가이샤 유야마 세이사쿠쇼 Mixed injection inspection system
JP2014217785A (en) * 2009-03-24 2014-11-20 株式会社湯山製作所 Dispensing apparatus
JP2011182891A (en) * 2010-03-05 2011-09-22 Tosho Inc Medicine display code automatic reader
JP6051865B2 (en) * 2011-02-14 2016-12-27 株式会社湯山製作所 Dispensing confirmation device
WO2012111498A1 (en) * 2011-02-14 2012-08-23 株式会社湯山製作所 Verification device for dispensing of pharmaceuticals
JPWO2012111498A1 (en) * 2011-02-14 2014-07-03 株式会社湯山製作所 Dispensing confirmation device
US9641812B2 (en) 2011-02-14 2017-05-02 Yuyama Mfg. Co., Ltd. Dispensing verification device
CN103946850A (en) * 2011-11-25 2014-07-23 索尼公司 An information processing device and an information processing method
JP2013114315A (en) * 2011-11-25 2013-06-10 Sony Corp Image processing device, program, image processing method, and terminal
US9760265B2 (en) 2011-11-25 2017-09-12 Sony Corporation Information processing device and an information processing method
JP2013236726A (en) * 2012-05-14 2013-11-28 Contec Co Ltd Medicine inspection apparatus
US10518981B2 (en) 2012-10-12 2019-12-31 Aesynt Incorporated Apparatuses, systems, and methods for transporting medications from a central pharmacy to a patient in a healthcare facility
US10029856B2 (en) 2012-10-12 2018-07-24 Aesynt Incorporated Apparatuses, systems, and methods for transporting medications from a central pharmacy to a patient in a healthcare facility
US11694782B2 (en) 2012-10-12 2023-07-04 Omnicell, Inc. Apparatuses, systems, and methods for transporting medications from a central pharmacy to a patient in a healthcare facility
US10315851B2 (en) 2012-10-12 2019-06-11 Aesynt Incorporated Apparatuses, systems, and methods for transporting medications from a central pharmacy to a patient in a healthcare facility
US9511945B2 (en) 2012-10-12 2016-12-06 Aesynt Incorporated Apparatuses, systems, and methods for transporting medications from a central pharmacy to a patient in a healthcare facility
US10850926B2 (en) 2012-10-12 2020-12-01 Omnicell, Inc. Apparatuses, systems, and methods for transporting medications from a central pharmacy to a patient in a healthcare facility
JP7309779B2 (en) 2012-10-26 2023-07-18 バクスター・コーポレーション・イングルウッド Work station improvements for medical dosing systems
JP2021118900A (en) * 2012-10-26 2021-08-12 バクスター・コーポレーション・イングルウッドBaxter Corporation Englewood Improvement of work station for medical dose preparation system
US9150119B2 (en) 2013-03-15 2015-10-06 Aesynt Incorporated Apparatuses, systems, and methods for anticipating and delivering medications from a central pharmacy to a patient using a track based transport system
JP2016529024A (en) * 2013-08-26 2016-09-23 エクアシールド メディカル リミテッド Method and apparatus for monitoring, documenting and assisting manual dispensing of drugs
US10181186B2 (en) 2013-08-26 2019-01-15 Equashield Medical Ltd. Robotic system for compounding medication
US10402960B2 (en) 2013-09-26 2019-09-03 Fujifilm Corporation Drug verification device, drug verification system and drug verification method
JP2015065978A (en) * 2013-09-26 2015-04-13 富士フイルム株式会社 Drug verification apparatus, drug verification system, and drug verification method
WO2015046043A1 (en) * 2013-09-26 2015-04-02 富士フイルム株式会社 Drug verification device, drug verification system and drug verification method
US10007993B2 (en) 2014-02-28 2018-06-26 Fujifilm Corporation Inspection device, inspection method, and computer readable medium storing program causing computer to perform inspection method
WO2015129343A1 (en) * 2014-02-28 2015-09-03 富士フイルム株式会社 Inspection device and inspection method, and program for causing computer to execute inspection method
JPWO2015152225A1 (en) * 2014-03-31 2017-04-13 株式会社湯山製作所 Drug imaging device
WO2015152225A1 (en) * 2014-03-31 2015-10-08 株式会社湯山製作所 Medicine photographing device
US10969218B2 (en) 2014-03-31 2021-04-06 Yuyama Mfg. Co., Ltd. Medicine photographing device
WO2016047295A1 (en) * 2014-09-25 2016-03-31 株式会社湯山製作所 Medicine inspection assistance device
US10373311B2 (en) 2014-09-25 2019-08-06 Yuyama Mfg. Co., Ltd. Medicine inspection assistance device
KR20170065516A (en) * 2014-09-25 2017-06-13 가부시키가이샤 유야마 세이사쿠쇼 Medicine inspection assistance device
KR102464180B1 (en) 2014-09-25 2022-11-07 가부시키가이샤 유야마 세이사쿠쇼 Medicine inspection assistance device
JP2016064306A (en) * 2014-09-25 2016-04-28 株式会社湯山製作所 Medicine inspection assistance device
JP5884956B1 (en) * 2014-09-25 2016-03-15 株式会社湯山製作所 Drug inspection support device
JP2019037373A (en) * 2017-08-23 2019-03-14 株式会社Muカトラ Medicine inspection device and medicine inspection method
JP2019120754A (en) * 2017-12-28 2019-07-22 シヤチハタ株式会社 Imaging device
JP7067774B2 (en) 2017-12-28 2022-05-16 シヤチハタ株式会社 Imaging device
JP2020115939A (en) * 2019-01-18 2020-08-06 株式会社ソルブ Medical label recognition device, medical label recognition system, and medical label recognition method
CN113012783A (en) * 2021-03-18 2021-06-22 深圳市瑞意博科技股份有限公司 Medicine rechecking method and device, computer equipment and storage medium

Also Published As

Publication number Publication date
JPWO2004112685A1 (en) 2006-10-26
TW200504620A (en) 2005-02-01
JP4857768B2 (en) 2012-01-18
KR20060019606A (en) 2006-03-03

Similar Documents

Publication Publication Date Title
WO2004112685A1 (en) Drug auditing device
KR102276711B1 (en) Medicine photographing device
US10789500B2 (en) Supplemental device for attachment to an injection device for recording and displaying a dose value set by the user using optical character recognition (OCR)
US10657403B2 (en) Medicament dosage determination
US9098900B2 (en) Medication identification and verification
US20190057764A1 (en) Recording dose data from drug injection devices using optical character recognition (ocr)
US20160104277A1 (en) Packeted drug inspection device and method
JP6707116B2 (en) Imaging method and device for safe manufacture of pharmaceutical preparations, and related object positioning table
KR20140045987A (en) Drug inspection device and drug inspection method
CN107615394B (en) Medicine dispensing monitoring device, medicine dispensing monitoring method, and recording medium
US11583477B2 (en) Medication dispensing system
JP6548584B2 (en) Dispensing audit apparatus and method, and program
US10169536B2 (en) Recording dose data from drug injection devices using optical character recognition (OCR)
KR102433327B1 (en) Apparatus for inspecting drugs and methods thereof
US7308141B2 (en) Apparatus and method to locate an object
CA2813547C (en) Device for recording the steps involved in the production of a pharmaceutical preparation and associated recording method
JP2016220911A (en) Pharmacy inspection device, pharmacy inspection method, program and recording medium
US10881949B2 (en) Lottery ticket pack verification system and method
WO2021145266A1 (en) Image processing apparatus and method
JP2022021724A (en) Medicine discrimination software

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2005507292

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 1020057024359

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1020057024359

Country of ref document: KR

122 Ep: pct application non-entry in european phase