CN102375976A - 店铺系统及商品销售数据处理方法 - Google Patents

店铺系统及商品销售数据处理方法 Download PDF

Info

Publication number
CN102375976A
CN102375976A CN2011102412943A CN201110241294A CN102375976A CN 102375976 A CN102375976 A CN 102375976A CN 2011102412943 A CN2011102412943 A CN 2011102412943A CN 201110241294 A CN201110241294 A CN 201110241294A CN 102375976 A CN102375976 A CN 102375976A
Authority
CN
China
Prior art keywords
image
commodity
sales registration
video recording
discerned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102412943A
Other languages
English (en)
Other versions
CN102375976B (zh
Inventor
佐野雅仁
上田浩之
渡边伸夫
古山浩之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Publication of CN102375976A publication Critical patent/CN102375976A/zh
Application granted granted Critical
Publication of CN102375976B publication Critical patent/CN102375976B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G07G3/003—Anti-theft control

Abstract

本发明公开一种店铺系统及商品销售数据处理方法，该店铺系统包括：图像输出部，输出摄像部已摄像的图像；物体识别部，通过读取已输出的所述图像的特征量，识别指定的物体；登记部，对已识别的所述物体，基于用于存储与所述物体关联的信息、且是用于销售登记的信息的文件，进行销售登记；以及确认图像显示部，在面对面销售时处于从顾客端角度看的状态下，将关于已识别的所述物体的图像与所述物体的销售登记所涉及的信息同时显示在显示部上。

Description

店铺系统及商品销售数据处理方法
本申请主张申请号为日本JP2010-186543、申请日为2010年8月23日的优先权，本申请引用上述文件中的全部内容。
技术领域
本发明涉及一种店铺系统及商品销售数据处理方法。
背景技术
目前，在超市等中，使用有商品代码读取装置，该商品代码读取装置通过CCD图像传感器等的数码相机摄像附加在商品上的条形码或二维代码(例如，QR代码(注册商标))等的码符号，并通过检测出从该已摄像的图像中检测出的码符号而进行译码，从而读取商品代码。
不过，在现有技术中，由于必须向商品上附加条形码或二维代码等的码符号，所以对新鲜食品或面包等，要准备独立包装等来附加码符号或准备码符号表。
发明内容
鉴于上述问题，本发明的目的在于提供一种店铺系统和商品销售数据处理方法，其能够快速、准确地进行商品销售数据的处理。
本发明第一方面涉及的店铺系统，包括：图像输出部，输出摄像部已摄像的图像；物体识别部，通过读取已输出的所述图像的特征量，识别指定的物体；登记部，对已识别的所述物体，基于存储与所述物体关联的信息、且是用于销售登记的信息的文件，进行销售登记；以及确认图像显示部，在面对面销售时处于从顾客端角度看的状态下，将关于已识别的所述物体的图像与所述物体的销售登记所涉及的信息同时显示在所述显示部上。
本发明第二方面涉及的店铺系统，包括：摄像部；显示部；图像输出部，输出所述摄像部已摄像的图像；物体识别部，通过读取已输出的所述图像的特征量，识别指定的物体；登记部，对已识别的所述物体，基于用于存储与所述物体关联的信息、且是用于销售登记的信息的文件，进行销售登记；以及确认图像显示部，在面对面销售时处于从顾客端角度看的状态下，将关于已识别的所述物体的图像与所述物体的销售登记所涉及的信息同时显示在显示部上。
本发明第三方面涉及的商品销售数据处理方法，包括以下步骤：通过读取摄像部已摄像的图像的特征量，识别指定的物体；对已识别的所述物体，基于用于存储与所述物体关联的信息、且是用于销售登记的信息的文件，进行销售登记；以及在面对面销售时处于从顾客端角度看的状态下，将关于已识别的所述物体的图像与所述物体的销售登记所涉及的信息同时显示在显示部上。
附图说明
图1是表示本实施例所涉及的结账系统的立体图。
图2是表示POS终端及商品读取装置的硬件构成的框图。
图3是例示出PLU文件的数据构成的概念图。
图4是表示CPU的功能构成的框图。
图5是表示结账系统的处理动作的一例的流程图。
图6是表示读取窗中的读取区域的例子的概念图。
图7是表示显示器的显示例的概念图。
图8是表示顾客用显示器的显示例的概念图。
图9是示意地示出处理的具体例的说明图。
具体实施方式
下面，以结账系统为例，参照附图对本实施例所涉及的店铺系统及商品销售数据处理方法进行说明。店铺系统是具有进行一交易所涉及的商品的登记、结算的POS终端的结账系统(POS系统)等。本实施例是向引进到超市、糕点店、甜甜圈店等的店铺中的结账系统的应用例。
图1是表示结账系统1的立体图。如图1所示，结账系统1具有进行一交易所涉及的商品的登记、对账的POS终端11。POS终端11被载置在结账台51上的抽屉21上面。抽屉21由POS终端11控制打开动作。POS终端11的上表面配置有由操作员(店员)进行按下操作的键盘22。从操作键盘22的操作员角度看，在键盘22的里侧设置有朝向操作员显示信息的显示器23。显示器23在其显示面23a上显示信息。在显示面23a上层压有触摸面板26。在显示器23的更里侧旋转自如地立着设置有顾客用显示器24。顾客用显示器24在其显示面24a上显示信息。另外，虽然图1所示的顾客用显示器24将显示面24a朝向图1中的跟前侧，但是通过以显示面24a朝向图1中的里侧的方式使顾客用显示器24旋转，顾客用显示器24朝向顾客显示信息。
展示柜151以与载置有POS终端11的结账台51形成为L字的方式被配置。在展示柜151的上表面上形成有负荷接受面152。负荷接受面152载置有收纳商品A的包装纸盒153。另外，包装纸盒153也可以是在糕点店、面包店等的店铺中使用的托盘等。
展示柜151的负荷接受面152设置有与POS终端11数据发送接收自如地连接的商品读取装置101。商品读取装置101具有薄的长方形形状的外壳102。在外壳102的正面配置有读取窗103。在外壳102的上部安装有显示/操作部104。显示/操作部104设置有在表面层压有触摸面板105的显示器106。在显示器106的右边设置有键盘107。在键盘107的右边设置有未图示的读卡器的卡读取槽108。从操作员角度看，在显示/操作部104的背面靠左的里侧设置有用于向顾客提供信息的顾客用显示器109。
这样的商品读取装置101具有商品读取部110(参照图2)。商品读取部110在读取窗103的里侧配置摄像部164(参照图2)。
在糕点店、甜甜圈店等中，顾客选择展示柜151内的商品A，店员将其取到托盘(未图示)等中。之后，商品A通过店员的手从托盘移动到包装纸盒153中。在全部的商品被移动到包装纸盒153后，包装纸盒153被朝向商品读取装置101的读取窗103。这时，配置在读取窗103的里侧的摄像头164(参照图2)摄像包装纸盒153内的全部的商品A。在商品读取装置101中，检测出通过摄像部164摄像的图像所包含的商品A的全部或一部分。在商品读取装置101中，当检测出在通过摄像部164摄像的图像中包含有商品A的全部或一部分时，向POS终端11输出其摄像的图像。在POS终端11中，分别对商品A的各个，通过参照关联有商品A的销售登记所涉及的信息和商品A的图像的PLU文件F1(参照图3详细后述)，从通过商品读取部110的摄像部164摄像的商品A的全部或一部分的图像中，识别作为指定的物体的商品A，从而指定进行销售登记的商品A，并将其指定的商品A的商品ID、商品分类、商品名、单价等的销售登记所涉及的信息记录到销售主文件(未图示)等中进行销售登记。
图2是表示POS终端11及商品读取装置101的硬件构成的框图。POS终端11具有作为执行信息处理的信息处理部的微机60。微机60由在执行各种运算处理并控制各部的CPU 61(CentralProcessing Unit：中央处理器)上总线连接有ROM 62(Read OnlyMemory：只读存储器)和RAM 63(Random Access Memory：随机存取存储器)而构成。
所述的抽屉21、键盘22、显示器23、触摸面板26、顾客用显示器24均通过各种的输入输出电路(均未图示)与POS终端11的CPU 61连接，并接受CPU 61的控制。
键盘22包括在上面显示有“1”、“2”、“3”......等的数字、“×”的乘法的算符的数字键22d、临时合计键22e及合计键22f。
POS终端11的CPU 61连接有HDD 64(Hard Disk Drive：硬盘驱动器)。HDD 64存储有程序、各种文件。HDD 64所存储的程序、各种文件在POS终端11起动时，其全部或一部分被复制到RAM 63并通过CPU 61顺序执行。HDD 64所存储的程序的一例是商品销售数据处理用的程序PR。HDD 64所存储的文件的一例是从存储计算机SC分配存储的PLU文件F1。
PLU文件F1是对陈列在店铺中并进行销售的商品A的各个商品设定有商品A的销售登记所涉及的信息和该商品A的图像的关联的文件。图3是例示出PLU文件F 1的数据构成的概念图。如图3所示，PLU文件F1是对应每个商品A存储单独地分配的商品ID、商品A所属的商品分类、商品名、单价等的与商品有关的信息、摄像其商品的商品图像、“相似度：0.XX”的阈值、表示是否需要分开的信息的文件。虽然详细进行后述，但是该“相似度：0.XX”的阈值在商品A为甜甜圈等、油炸不足或过度等时，可通过与预先存储在PLU文件F1中的商品的商品图像进行比较，判断为与正规状态不同的物品。表示是否需要分开的信息是在将在糕点店、甜甜圈店等中销售的蛋糕、甜甜圈向包装纸盒153内进行装盒时，用于发出“需要分开”意思的警报的信息。
返回到图2，POS终端11的CPU 61通过输入输出电路(未图示)连接有用于与存储计算机SC执行数据通信的通信接口25。存储计算机SC设置在店铺的后院等。存储计算机SC的HDD(未图示)存储有向POS终端11发送的PLU文件F1。
而且，POS终端11的CPU 61连接有在与商品读取装置101之间可数据发送接收的连接接口65。连接接口65连接有商品读取装置101。此外，POS终端11的CPU 61连接有在票据等上进行打字的打印机66。POS终端11在CPU 61的控制下，将一交易的交易内容打印在票据上。
商品读取装置101也具有微机160。微机160由CPU 161总线连接有ROM 162和RAM 163而构成。ROM 162存储有通过CPU 161执行的程序。CPU 161通过各种的输入输出电路(均未图示)连接有摄像部164、声音输出部165。摄像部164、声音输出部165由CPU161控制动作。显示/操作部104由连接接口176与POS终端11连接。显示/操作部104由POS终端11的CPU 61控制动作。
摄像部164是彩色CCD图像传感器或彩色COMS图像传感器等，并是在CPU 161的控制下进行从读取窗103的摄像的摄像单元。例如，在摄像部164中进行30fps的视频的摄像。摄像部164以规定的帧频依次摄像的帧图像被保存到RAM 163中。
声音输出部165是用于产生预先设定的警报音等的声音电路和扬声器等。声音输出部165在CPU 161的控制下进行警报音等的声音的告知。
而且，CPU 161连接有与POS终端11的连接接口65连接、并与POS终端11之间可数据接收发送的连接接口175。在CPU 161的控制下，通过商品读取装置101的摄像部164摄像的图像(包含商品A的全部或一部分的图像)通过连接接口175被输出，并通过连接接口65输入给POS终端11。
接着，参照图4对CPU161、CPU 61通过依次执行程序实现的CPU 161、CPU 61的功能部进行说明。图4是表示CPU 161、CPU 61的功能构成的框图。如图4所示，CPU 161通过依次执行程序，具有作为摄像图像取得部1611、商品检测部1612、作为图像输出单元的图像输出部1613的功能。同样，CPU 61具有作为物体识别单元的物体识别部611、作为登记单元的商品登记部612、相似度判定部613、不合格品告知部614、作为确认图像显示单元的确认图像显示部615、分开警报部616的功能。
摄像图像取得部1611向摄像部164输出摄像导通信号从而使摄像部164开始摄像动作。摄像图像取得部1611在摄像动作开始后，依次取得摄像部164摄像、并保存在RAM 163中的帧图像。由摄像图像取得部1611的帧图像的取得按照RAM 163所保存的顺序进行。
商品检测部1612使用模式匹配技术等检测出通过摄像图像取得部1611取得的帧图像所包含的商品A的全部或一部分。具体地说，从将取得的帧图像进行二值化的图像中抽取轮廓线。接着，将从最后的帧图像中抽取的轮廓线和从此次的帧图像中抽取的轮廓线进行比较，检测出有变更的部分，也就是说，检测为了销售登记而朝向读取窗103的商品的映入。另外，作为检测出商品的其他方法，从取得的帧图像检测出有无皮肤区域。接着，当检测出皮肤区域时，也就是说，当检测出店员的手的映入时，通过进行上述的轮廓线的检测，对假想店员的手正把持的商品的轮廓抽取进行尝试。这时，当检测出表示手的形状的轮廓和除此以外的轮廓时，由于店员的手把持商品，所以检测出商品的映入。
图像输出部1613通过连接接口175向POS终端11输出摄像图像取得部1611取得的帧图像。图像输出部1613虽然也可以将摄像图像取得部1611取得的帧图像逐次向POS终端11进行输出，但是在本实施例中，向POS终端11输出通过商品检测部1612检测出商品A的全部或一部分的帧图像。这样，通过向POS终端11输出通过商品检测部1612检测出商品A的全部或一部分的帧图像，能够防止在POS终端11中进行因未包含有商品A的全部或一部分的帧图像而参照PLU文件F1来执行的物体识别的情况发生。由于指定物体的识别处理需要处理时间，所以能够通过防止在没有指定物体的识别的可能性的未包含有商品A的全部或一部分的帧图像中的处理，从而谋求处理时间的缩短。
物体识别部611通过参照PLU文件F1的商品图像，从通过商品读取装置101的摄像部164摄像的商品A的全部或一部分的图像中，读取色彩和表面的凹凸状况等的表面状态作为特征量，从而识别商品A作为指定物体。另外，物体识别部611由于谋求处理时间的缩短，所以不考虑商品A的轮廓、大小。在POS终端11中，根据物体识别部611的识别结果，能够从预先登记在PLU文件F1的商品中，指定商品读取装置101所读取的商品。
相似度判定部613对物体识别部611已识别的商品A，计算出相似度，并判定相似度是否超过在PLU文件F1中预先规定的阈值。
这样，识别图像中所包含的物体被称为一般物体识别(genericobject recognition：一般物体识别)。关于这样的一般物体识别在下述的文献中各种识别技术被说明。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Vol.48，No.SIG16[平成22年8月10日検索]，イソタ一ネツト<URL：http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>(柳井启司，“一般物体识别的现状与未来”，信息处理学会论文杂志，Vol.48，No.SIG16“平成22年8月10日检索”，网址<URL：http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>)
此外，通过对应每个目的物对图像进行区域分割，进行一般物体识别的技术在下述的文献中被说明。
Jamie Shotton ら，“Semantic Texton Forests forImage Categorization and Segmentation”，[平成22年8月10日検索]，イソタ一ネツト<URL：http://citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf>(Jamie Shotton ら(杰米肖顿等人)，“Semantic Texton Forests for Image Categorization andSegmentation：”，“平成22年8月10日检索”，网址<URL：http://citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf>)
商品登记部612将与通过物体识别部611识别的商品图像关联的销售登记所涉及的信息、即作为商品读取装置101已读取的商品被指定的商品的商品ID、商品分类、商品名、单价等记录在销售主文件等中进行销售登记。
接着，对结账系统1的动作进行详细地说明。图5是表示本实施例所涉及的结账系统1的动作的一例的流程图。
首先，对商品读取装置101侧的动作进行说明。如图5所示，当按照POS终端11的商品登记的开始等而开始处理时，则摄像图像取得部1611向摄像部164输出摄像导通信号从而开始由摄像部164的摄像(步骤S1)。接着，摄像图像取得部1611取得摄像部164摄像、并保存在RAM 163中的帧图像(摄像图像)(步骤S2)。接着，商品检测部1612从摄像图像取得部1611取得的帧图像中，进行包装纸盒153内的全部的商品A的全部或一部分的检测(步骤S3)。接着，图像输出部1613向POS终端11输出通过商品检测部1612检测出包装纸盒153内的全部的商品A的全部或一部分的帧图像(步骤S4)。
图6是表示读取窗103中的读取区域R的例子的概念图。具体地说，图6是例示出在读取商品A时的读取区域R的概念图。如图6所示，当在上述的商品A的移动过程中，在读取区域R映入有包装纸盒153内的商品A时，通过步骤S3从已摄像该读取区域R的帧图像中检测出包装纸盒153内的全部的商品A的全部或一部分。通过该包装纸盒153内的全部的商品A的全部或一部分的检测，能够在步骤S4中向POS终端11输出已摄像读取区域R的帧图像。
接着，CPU 161判定从POS终端11有无商品登记的结束通知等的工作结束(步骤S5)。当继续工作时(步骤S5的否)，CPU 161返回到步骤S2的处理继续处理。当结束工作时(步骤S5的是)，摄像图像取得部1611向摄像部164输出摄像截止信号，结束摄像部164的摄像(步骤S6)，并结束处理。
接着，对POS终端11侧的动作进行说明。如图5所示，当按照由键盘22的操作指示的商品登记的开始等而开始处理时，则CPU61接收从商品读取装置101输出的检测出包装纸盒153内的全部的商品A的全部或一部分的帧图像(步骤S11)。接着，物体识别部611参照PLU文件F1的商品图像，根据从商品读取装置101已输出的在包装纸盒153内的全部的商品A的全部或一部分的图像，按顺序识别商品A作为指定物体(步骤S12)。
在这里，作为在步骤S12中的识别结果，往往有出现多个商品A的候补的情况。因而，当有多个商品A的候补时，(步骤S13的是)，CPU 61通过向图7所示的显示器23的画面显示(步骤S14)，向店员进行告知。图7是表示显示器23的显示例的概念图。如图7所示，在显示器23的显示画面上显示从PLU文件F1取得作为在步骤S12中的识别结果的多个商品A的候补的商品名、单价。在图7所示的例子中，显示有“平原甜甜圈”和“糖甜甜圈”。
之后，CPU 61当判定操作员(店员)通过触摸面板26选择正确的候补作为商品A时(步骤S15的是)，则前进到步骤S16。
另外，当没有多个商品A的候补时(步骤S13的否)，直接前进到步骤S16。
接着，相似度判定部613对物体识别部611已识别的商品A，计算出相似度(步骤S16)。相似度是当将PLU文件F1所存储的各商品的商品图像视为100％＝“相似度：1.0”时，表示从商品读取装置101输出的商品A的全部或一部分的图像相似哪种程度的数据。如上所述，诸如按照色彩和表面的凹凸状况等的表面状态，计算出相似度。另外，诸如也可以在色彩和表面的凹凸状况中，改变加权。
接着，相似度判定部613判定在步骤S16中计算出的相似度是否超过预先规定的阈值(“相似度：0.XX”)(步骤S17)。
当相似度判定部613判定出在步骤S16中计算出的相似度超过预先规定的阈值(“相似度：0.XX”)时(步骤S17的是)，在步骤S18中，商品登记部612登记作为指定物体的商品A的识别结果、从其识别结果中选择指定一个的商品A的销售。
而且，分开警报部616关于已识别的商品A，参照PLU文件F1所存储的表示是否需要分开的信息，当为需要分开的商品时，向店员告知其意思(步骤S19)。具体地说，分开警报部616用向显示器23和通过连接接口65、176的显示器106的画面显示、通过连接接口65、175的声音输出部165的警报音的输出等，向店员告知需要分开的意思。
接着，CPU 61判定是否已识别全部的物体(步骤20)。CPU 61当判定出已识别全部的物体时(步骤S20的是)，前进到步骤S21，当判定出未识别全部的物体时(步骤S20的否)，返回到步骤S12的处理，继续接着的物体的识别处理。
在步骤S21中，确认图像显示部615通过向图8所示的顾客用显示器24的画面显示，使顾客确认购入商品。在图8所示的例子中，在将装入已识别的商品A的预先登记的商品图像(参照图3)的包装纸盒153的图像显示在显示区域G1上的同时，也使预先保存的商品A的商品名称、单价等的商品信息及个数、合计金额等的购入商品的履历(销售登记所涉及的信息)同时显示在显示区域G2上。此外，显示在显示区域G1上的商品A的商品图像也附记商品名。根据堆栈在RAM 63中的购入商品所涉及的信息，POS终端11的CPU61进行该显示区域G2中的购入商品的履历(销售登记所涉及的信息)的显示。通过这样的画面显示，能够让顾客确认与希望的商品是否有误。目前，在糕点店、甜甜圈店等中，将装入有商品A的包装纸盒153越过展示柜151提示顾客确认是否有误，之后进行销售交易用的登记和合计操作等的POS操作，但在本系统中，由于用商品读取装置101映入购入商品，并总括读出全部商品的商品名和价格等的信息，所以可在顾客确认后以短时间结束POS操作。
另外，在图8所示的例子，虽然在将装入已识别的商品A的预先登记的商品图像的包装纸盒153的图像显示在显示区域G1上的同时，也使预先保存的商品A的商品名、单价等的商品信息及个数、合计金额等的购入商品的履历(销售登记所涉及的信息)同时显示在显示区域G2上，但是并不限定于此。例如，也可以是使用摄像部164摄像的图像(图6所示的图像)，并使销售登记所涉及的信息与所述图像同时显示的情况。这样，通过使摄像部164摄像的图像和销售登记所涉及的信息同时显示，能够对销售登记所用的摄像图像和实际销售登记的信息的匹配在视觉上进行确认。
另外，确认图像显示部615也可以从存储计算机SC等中取得以往的购入商品，并将以往的购入商品的明细表显示在显示区域G2上，作为购入商品的履历。
在这里，向图8所示的顾客用显示器24的画面显示与图6所示的读取图像不同。向图8所示的顾客用显示器24的画面显示是在面对面销售时处于从顾客端角度看的状态，图6所示的读取图像是处于从操作员(店员)端角度看的状态。也就是说，确认图像显示部615通过使图像向上下翻转及左右翻转的方向进行变更(通过旋转180度)，从而按照从顾客端角度看的显示。此外，确认图像显示部615将与图像重叠显示的商品名候补等的标题也与翻转图像一致，向用户可识别能够读取的方向显示。换言之，确认图像显示部615将摄像部164所摄像的图像的方向变更成向规定的方向旋转的方向、且通过相对于摄像部164所摄像的图像的方向使图像向上下翻转及左右翻转的方向进行变更(通过180度旋转)，从而进行按照从顾客端角度看的显示。
接着，CPU 61判定有无由键盘22的操作指示的销售登记的结束等的工作结束(步骤S22)。当结束工作时(步骤S22的是)，CPU61结束向顾客用显示器24的画面显示，从而结束处理。
另一方面，当相似度判定部613判定出在步骤S16中计算出的相似度未超过预先规定的阈值(“相似度：0.XX”)时(步骤S17的否)，不合格品告知部614向店员告知是未被识别为合格品的商品(步骤S23)，促使店铺方采取销售中止或减价销售等的措施。具体地说，不合格品告知部614用向显示器23和通过连接接口65、176的显示器106的画面显示、通过连接接口65、175的声音输出部165的警报音的输出等，向店员告知错误。通过进行该告知，结账系统1能够促使店员进行读取其他商品A等的恰当的操作。
CPU 61当判定出有由键盘22的操作指示等的减价销售的指示时(步骤S24的是)，在步骤S18中，商品登记部612登记作为指定的物体的商品A的识别结果、减价从该识别结果中选择指定一个的商品A的销售。此外，当判定出有由键盘22的操作指示等的销售中止的指示时(步骤S24的否)，返回到步骤S12的处理。
如图9所示，当在物体识别部611所识别出的商品A为“平原甜甜圈”时，阈值作为“相似度：0.50”被存储到PLU文件F1时，则由于在(a)中所示的商品相似度为0.717，所以判定计算出的相似度超过预先规定的阈值。另一方面，由于在(b)中所示的商品相似度为0.252，所以判定计算出的相似度未超过预先规定的阈值。因此，在(a)中所示的商品作为“平原甜甜圈”象通常一样进行销售登记(OK)。另一方面，在(b)中所示的商品虽然被大致识别为“平原甜甜圈”，但是其是不新鲜变色了的、损坏了的、变形了的，也就是说，色彩和表面的凹凸状况等为不正常的，从而作为不合格品不被销售登记(NG)。尤其甜甜圈、面包等，将正规的烤法或油炸法的商品图像预先存储到PLU文件F1中，当烤的不足/过度或油炸不足/过度等脱离阈值时，能够判断为不合格品。
这样，根据本实施例的结账系统1，当甜甜圈或面包等为不新鲜变色了的、损坏了的、变形了的、因烹调不良导致的色彩不同的等时，通过与PLU文件F1所存储的商品图像进行比较，能够将脱离标准的判断为不合格品。
尤其在繁忙店铺等对检验商品的新鲜度的时间有限制的店铺或雇佣较多店员烹调甜甜圈、面包有个人误差的店铺等中，也可以与正规的商品以数值的判断进行比较。
此外，根据这样的本实施例的结账系统1，由于能够让顾客同时确认商品图像和该商品的名称、单价等的商品信息，所以可减少差错。此外，由于能够总括读取在托盘上的商品或包装纸盒153内的商品并总括调用商品信息，所以可用短时间进行与买卖有关的交易。
而且，根据这样的本实施例的结账系统1，在相似品多并出现多个商品A的候补的店铺中，通过将商品A的候补全部显示而选择，可防止商品错误的情况发生。
另外，在本实施例中，进行识别的物体虽然是PLU文件F1所存储的销售商品，但是并不限定于此，也可以是用于促销的促销品等。
在本实施例的POS终端11、商品读取装置101中所执行的程序被预先安装在ROM中而提供。在本实施例的POS终端11、商品读取装置101中所执行的程序也可以以可安装的形式或可执行的形式的文件，记录在CD-ROM、软磁盘(FD)、CD-R、DVD(Digital VersatileDisk：数字多功能磁盘)等的计算机可读存储介质中而提供。
而且，也可以将在本实施例的POS终端11、商品读取装置101中所执行的程序存储在与互联网等的网络连接的计算机上，并通过经由网络下载而提供。此外，也可以将在本实施例的POS终端11、商品读取装置101中所执行的程序经由互联网等的网络提供或配置。
在本实施例的POS终端11中所执行的程序为包括上述的各部(物体识别部611、商品登记部612、相似度判定部613、不合格品告知部614、确认图像显示部615、分开警报部616)的模块构成，作为实际的硬件，通过CPU(处理器)从上述ROM读取并执行程序，上述各部被装载到主存储装置上，并在主存储装置上生成物体识别部611、商品登记部612、相似度判定部613、不合格品告知部614、确认图像显示部615、分开警报部616。
在本实施例的商品读取装置101中所执行的程序为包含上述的各部(摄像图像取得部1611、商品检测部1612、图像输出部1613)的模块构成，作为实际的硬件，通过CPU(处理器)从上述ROM读出并执行程序，上述各部被装载在主存储装置上，并在主存储装置上生成摄像图像取得部1611、商品检测部1612、图像输出部1613。
另外，在本实施例中，虽然在POS终端11侧具有物体识别部611、商品登记部612、相似度判定部613、不合格品告知部614、确认图像显示部615、分开警报部616，但是并不限定于此，在商品读取装置101侧也可以具有物体识别部611、商品登记部612、相似度判定部613、不合格品告知部614、确认图像显示部615、分开警报部616。在这种情况下，商品读取装置101是店铺系统。
此外，在本实施例中，虽然在商品读取装置101侧具有摄像图像取得部1611、商品检测部1612、图像输出部1613，但是并不限定于此，在POS终端11侧也可以具有摄像图像取得部1611、商品检测部1612、图像输出部1613。在这种情况下，POS终端11是店铺系统。
而且，也可以在商品读取装置101侧具有摄像图像取得部1611、商品检测部1612、图像输出部1613，而且，在商品读取装置101侧进行象通过POS终端11进行的那样的销售登记。
如上所述，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。

Claims (15)

1.一种店铺系统，包括：
图像输出部，输出摄像部已摄像的图像；
物体识别部，通过读取已输出的所述图像的特征量，识别指定的物体；
登记部，对已识别的所述物体，基于用于存储与所述物体关联的信息、且是用于销售登记的信息的文件，进行销售登记；以及
确认图像显示部，在面对面销售时处于从顾客端角度看的状态下，将关于已识别的所述物体的图像与所述物体的销售登记所涉及的信息同时显示在显示部上。
2.根据权利要求1所述的店铺系统，其中，
所述确认图像显示部对所述摄像部已摄像的所述图像，将使其上下翻转及左右翻转的图像作为关于所述物体的图像显示在所述显示部上。
3.根据权利要求1所述的店铺系统，其中，
所述确认图像显示部对所述摄像部已摄像的所述图像，将使其旋转180度的图像作为关于所述物体的图像显示在所述显示部上。
4.根据权利要求1所述的店铺系统，其中，
所述确认图像显示部对已识别的所述物体将预先登记的图像作为关于所述物体的图像进行显示。
5.根据权利要求1所述的店铺系统，其中，
所述确认图像显示部将所述摄像部已摄像的图像作为关于所述物体的图像进行显示。
6.根据权利要求1所述的店铺系统，其中，
所述确认图像显示部也向所述显示部显示基于所述登记部的销售登记的履历。
7.根据权利要求6所述的店铺系统，其中，
所述确认图像显示部也向所述显示部显示基于所述登记部的以往的销售登记的履历。
8.根据权利要求6所述的店铺系统，其特征在于，
所述确认图像显示部对所述物体的销售登记所涉及的信息及所述销售登记的履历，也朝着使所述摄像部所摄像的所述图像与在面对面销售时处于从顾客端角度看的状态下的图像一致并能读的方向进行显示。
9.根据权利要求1所述的店铺系统，其中，
所述确认图像显示部对所述摄像部已摄像的所述图像所涉及的说明，显示在将所述摄像部已摄像的所述图像在面对面销售时处于从顾客端角度看的状态下的图像的附近。
10.一种店铺系统，包括：
摄像部；
显示部；
图像输出部，输出所述摄像部已摄像的图像；
物体识别部，通过读取已输出的所述图像的特征量，识别指定的物体；
登记部，对已识别的所述物体，基于用于存储与所述物体关联的信息、且是用于销售登记的信息的文件，进行销售登记；以及
确认图像显示部，在面对面销售时处于从顾客端角度看的状态下，将关于已识别的所述物体的图像与所述物体的销售登记所涉及的信息同时显示在所述显示部上。
11.一种商品销售数据处理方法，包括以下步骤：
通过读取摄像部已摄像的图像的特征量，识别指定的物体；
对已识别的所述物体，基于用于存储与所述物体关联的信息、且是用于销售登记的信息的文件，进行销售登记；以及
在面对面销售时处于从顾客端角度看的状态下，将关于已识别的所述物体的图像与所述物体的销售登记所涉及的信息同时显示在显示部上。
12.根据权利要求11所述的商品销售数据处理方法，其中，
在将对已识别的所述物体的图像显示在所述显示部上的步骤中，关于所述摄像部已摄像的所述图像，将使其上下翻转及左右翻转的图像作为关于所述物体的图像显示在所述显示部上。
13.根据权利要求11所述的商品销售数据处理方法，其中，
在将对已识别的所述物体的图像显示在所述显示部上的步骤中，关于所述摄像部已摄像的所述图像，将使其旋转180度的图像作为关于所述物体的图像显示在所述显示部上。
14.根据权利要求11所述的商品销售数据处理方法，其中，
关于显示在所述显示部上的所述物体的图像是关于已识别的所述物体被预先登记的图像。
15.根据权利要求11所述的商品销售数据处理方法，其中，
关于显示在所述显示部上的所述物体的图像是所述摄像部已摄像的图像。
CN201110241294.3A 2010-08-23 2011-08-22 店铺系统及商品销售数据处理方法 Expired - Fee Related CN102375976B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-186543 2010-08-23
JP2010186543A JP5132733B2 (ja) 2010-08-23 2010-08-23 店舗システムおよびプログラム

Publications (2)

Publication Number Publication Date
CN102375976A true CN102375976A (zh) 2012-03-14
CN102375976B CN102375976B (zh) 2015-04-01

Family

ID=45594823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110241294.3A Expired - Fee Related CN102375976B (zh) 2010-08-23 2011-08-22 店铺系统及商品销售数据处理方法

Country Status (3)

Country Link
US (2) US20120047038A1 (zh)
JP (1) JP5132733B2 (zh)
CN (1) CN102375976B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798268A (zh) * 2016-09-02 2018-03-13 东芝泰格有限公司 物品读取装置及控制方法、终端设备、计算机可读存储介质
CN107818643A (zh) * 2016-09-12 2018-03-20 东芝泰格有限公司 结账装置、结账系统及控制方法
CN109559453A (zh) * 2017-09-27 2019-04-02 缤果可为（北京）科技有限公司 用于自动结算的人机交互装置及其应用

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5194149B2 (ja) 2010-08-23 2013-05-08 東芝テック株式会社 店舗システムおよびプログラム
JP5544332B2 (ja) 2010-08-23 2014-07-09 東芝テック株式会社 店舗システムおよびプログラム
JP5235228B2 (ja) 2010-08-23 2013-07-10 東芝テック株式会社 ラベル発行装置およびプログラム
JP6314137B2 (ja) 2013-06-04 2018-04-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 誘導サービス方法及びサーバ装置
JP5826801B2 (ja) * 2013-07-19 2015-12-02 東芝テック株式会社 商品認識装置及び商品認識プログラム
US20150046231A1 (en) * 2013-08-09 2015-02-12 Level 3 Communications, Llc Systems and methods for quality order tracking
JP6057971B2 (ja) * 2014-11-11 2017-01-11 東芝テック株式会社 情報処理装置及びプログラム
JP6274097B2 (ja) * 2014-12-17 2018-02-07 カシオ計算機株式会社 商品識別装置および商品認識ナビゲーション方法
JP6387821B2 (ja) * 2014-12-18 2018-09-12 カシオ計算機株式会社 商品登録装置、商品登録方法、および、商品画像提供システム
US10198722B2 (en) * 2015-07-15 2019-02-05 Toshiba Tec Kabushiki Kaisha Commodity-sales-data processing apparatus, commodity-sales-data processing method, and computer-readable storage medium
US9509942B1 (en) 2016-02-08 2016-11-29 Picaboo Corporation Automatic content categorizing system and method
JP6283806B2 (ja) * 2016-06-01 2018-02-28 サインポスト株式会社 情報処理システム
FR3069685B1 (fr) 2017-07-26 2019-08-16 Jes Labs Installation et procede de gestion de donnees de produits
JP6412911B2 (ja) * 2016-12-05 2018-10-24 東芝テック株式会社 情報処理装置及びプログラム
JP6916015B2 (ja) * 2017-03-23 2021-08-11 東芝テック株式会社 販売データ処理装置およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030199765A1 (en) * 2000-07-07 2003-10-23 Stetten George Dewitt Combining tomographic images in situ with direct vision using a holographic optical element
US20050071780A1 (en) * 2003-04-25 2005-03-31 Apple Computer, Inc. Graphical user interface for browsing, searching and presenting classical works
US20050189412A1 (en) * 2004-02-27 2005-09-01 Evolution Robotics, Inc. Method of merchandising for checkout lanes
CN101470929A (zh) * 2007-12-28 2009-07-01 东芝泰格有限公司 商品销售数据处理装置及商品销售数据处理方法
CN101504788A (zh) * 2008-02-04 2009-08-12 东芝泰格有限公司 商品信息取得显示装置以及对账装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02307196A (ja) * 1989-05-23 1990-12-20 Omron Corp 取引処理装置
JPH06290016A (ja) * 1993-03-31 1994-10-18 Fujitsu Ltd 対面応対用ディスプレイ装置及びその制御方法
ATE288100T1 (de) * 1999-05-28 2005-02-15 Jopet Gmbh & Co Kg Präsentationsvorrichtung
JP2003043978A (ja) * 2001-07-31 2003-02-14 Sharp Corp 対面式表示装置
JP2004102563A (ja) * 2002-09-09 2004-04-02 Nec Infrontia Corp 決済システム
JP2004127013A (ja) * 2002-10-03 2004-04-22 Matsushita Electric Ind Co Ltd 販売時点情報管理装置
US7118026B2 (en) * 2003-06-26 2006-10-10 International Business Machines Corporation Apparatus, method, and system for positively identifying an item
US7909248B1 (en) * 2007-08-17 2011-03-22 Evolution Robotics Retail, Inc. Self checkout with visual recognition
US8494909B2 (en) * 2009-02-09 2013-07-23 Datalogic ADC, Inc. Automatic learning in a merchandise checkout system with visual recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030199765A1 (en) * 2000-07-07 2003-10-23 Stetten George Dewitt Combining tomographic images in situ with direct vision using a holographic optical element
US20050071780A1 (en) * 2003-04-25 2005-03-31 Apple Computer, Inc. Graphical user interface for browsing, searching and presenting classical works
US20050189412A1 (en) * 2004-02-27 2005-09-01 Evolution Robotics, Inc. Method of merchandising for checkout lanes
CN101470929A (zh) * 2007-12-28 2009-07-01 东芝泰格有限公司 商品销售数据处理装置及商品销售数据处理方法
CN101504788A (zh) * 2008-02-04 2009-08-12 东芝泰格有限公司 商品信息取得显示装置以及对账装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798268A (zh) * 2016-09-02 2018-03-13 东芝泰格有限公司 物品读取装置及控制方法、终端设备、计算机可读存储介质
CN107798268B (zh) * 2016-09-02 2021-01-26 东芝泰格有限公司 物品读取装置及控制方法、终端设备、计算机可读存储介质
CN107818643A (zh) * 2016-09-12 2018-03-20 东芝泰格有限公司 结账装置、结账系统及控制方法
CN109559453A (zh) * 2017-09-27 2019-04-02 缤果可为（北京）科技有限公司 用于自动结算的人机交互装置及其应用

Also Published As

Publication number Publication date
CN102375976B (zh) 2015-04-01
US20120047038A1 (en) 2012-02-23
JP5132733B2 (ja) 2013-01-30
US20160189128A1 (en) 2016-06-30
JP2012043374A (ja) 2012-03-01

Similar Documents

Publication Publication Date Title
CN102375976B (zh) 店铺系统及商品销售数据处理方法
CN102375977B (zh) 店铺系统及商品销售数据处理方法
CN102376052A (zh) 店铺系统及商品销售数据处理方法
CN102376136A (zh) 店铺系统及商品销售数据处理方法
CN103116949B (zh) 信息处理装置及信息处理方法
CN103366474B (zh) 信息处理装置及信息处理方法
JP5483622B2 (ja) 店舗システム及びプログラム
JP5349554B2 (ja) 情報処理装置及びプログラム
CN105608808B (zh) 信息处理装置及其控制方法、店铺系统
JP5656796B2 (ja) 商品データ処理装置、商品データ処理方法及び制御プログラム
CN102456123B (zh) 商品信息读取装置
CN102842190A (zh) 结账装置及商品销售数据处理方法
JP2016115282A (ja) 商品識別装置および商品認識ナビゲーション方法
CN103984914A (zh) 信息处理装置及其控制方法
CN103310559A (zh) 信息处理装置及其控制方法
JP5722963B2 (ja) 店舗システムおよびプログラム
CN103679977A (zh) 信息处理装置及其控制方法
JP6376955B2 (ja) 情報処理装置、販売データ処理装置およびプログラム
JP5256260B2 (ja) 店舗システムおよびプログラム
JP6412911B2 (ja) 情報処理装置及びプログラム
JP2013033512A (ja) 店舗システムおよびプログラム
JP2016062548A (ja) 商品登録装置、商品登録方法、および商品登録プログラム
JP5521019B2 (ja) 店舗システムおよびプログラム
JP6057971B2 (ja) 情報処理装置及びプログラム
JP2018136621A (ja) 情報処理装置およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150401

Termination date: 20210822