CN103366474B - 信息处理装置及信息处理方法 - Google Patents

信息处理装置及信息处理方法 Download PDF

Info

Publication number
CN103366474B
CN103366474B CN201310061794.8A CN201310061794A CN103366474B CN 103366474 B CN103366474 B CN 103366474B CN 201310061794 A CN201310061794 A CN 201310061794A CN 103366474 B CN103366474 B CN 103366474B
Authority
CN
China
Prior art keywords
commodity
imaging conditions
information
individuality
photographed images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310061794.8A
Other languages
English (en)
Other versions
CN103366474A (zh
Inventor
五反田剛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Publication of CN103366474A publication Critical patent/CN103366474A/zh
Application granted granted Critical
Publication of CN103366474B publication Critical patent/CN103366474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0623Item investigation
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/12Cash registers electronically operated
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种信息处理装置及信息处理方法,可高效率地获得各商品所固有的信息。所述信息处理装置包括:个体识别部,从摄像识别对象的商品的摄像图像中,识别该商品的个体;第一存储部,对应每个所述商品的个体关联存储该个体所固有的特性信息;指定部,从所述第一存储部指定通过所述个体识别部识别的所述个体的特性信息;以及输出部,输出通过所述指定部指定的特性信息。

Description

信息处理装置及信息处理方法
本申请主张申请日为2012年3月30日、申请号为JP2012-082404的日本申请为优先权,并引用上述申请的内容。
技术领域
本发明涉及一种信息处理装置及信息处理方法。
背景技术
目前,对于农产品、加工食品等的食品,存在有消费者能够阅览从该商品的生产到零售的溯源性的溯源性系统。在涉及的溯源性系统中,将商品的产地、生产、制造方法等与对应的商品的识别信息关联存储,通过从附在商品上的条形码、无线IC标签读取识别信息,可指定其商品的产地、生产、制造方法等。
不过,在现有技术中,为了获得产地等的附加的信息,需要将条形码、无线IC标签直接附加给各商品,所以存在商品越增加这些,安装所需的工作量、成本越增加的问题。
发明内容
鉴于上述技术问题,本发明所要解决的技术问题在于如何可靠地指定物品的识别信息,并提高物品识别信息的可靠性。
本发明提供一种信息处理装置,所述信息处理装置包括个体识别部、第一存储部、指定部、以及输出部。个体识别部,从摄像识别对象的商品的摄像图像中,识别该商品的个体;第一存储部,对应每个所述商品的个体关联存储该个体所固有的特性信息;指定部,从所述第一存储部指定通过所述个体识别部识别的所述个体的特性信息;以及输出部,输出通过所述指定部指定的特性信息。
本发明另一方面所涉及的基于信息处理装置的信息处理方法,包括以下步骤:个体识别步骤,从摄像识别对象的商品的摄像图像中,识别该商品的个体;指定步骤,从对应每个所述商品的个体关联存储该个体所固有的特性信息的第一存储部,指定通过所述个体识别步骤识别的所述个体的特性信息;以及输出步骤,输出通过所述指定步骤指定的特性信息。
附图说明
图1是表示适用本实施例所涉及的信息处理装置及程序的结账系统的外观构成的立体图。
图2是表示POS终端及商品读取装置的硬件构成的框图。
图3是示意地表示PLU文件的数据构成的一例图。
图4是示意地表示商品特性文件的数据构成的一例图。
图5是表示POS终端及商品读取装置的功能构成的框图。
图6是表示商品读取装置的显示设备所显示的摄像条件指示画面的一例图。
图7是表示商品读取装置的显示设备所显示的商品信息画面的一例图。
图8是表示商品读取装置中的处理动作的次序的流程图。
图9是表示POS终端中的处理动作的流程的流程图。
具体实施方式
下面,以结账系统为例,参照附图对本实施例所涉及的信息处理装置及信息处理方法进行说明。店铺系统是具备进行一交易所涉及的商品的登记、对账的POS终端的结账系统(POS系统)等。本实施例是对引进到超市等的店铺中的结账系统的应用例。
图1是表示结账系统1的外观构成的立体图。如图1所示,结账系统1包括进行一交易所涉及的商品的登记、对账的POS终端11。POS终端11载置在结账台51上的拉出装置21上面。拉出装置21通过POS终端11接受打开动作的控制。
POS终端11的上表面配置有通过操作员(店员)按下操作的键盘22。从操作键盘22的操作员的角度来看,在键盘22的里侧设置有向操作员显示信息的显示设备23。显示设备23在其显示面23a上显示信息。显示面23a层压有触摸面板26。在显示设备23的更里侧转动自如地竖着设置有顾客用显示设备24。顾客用显示设备24在其显示面24a上显示信息。
另外,图1所示的顾客用显示设备24虽然使显示面24a朝向图1中的跟前侧,但通过以显示面24a朝向图1中里侧的方式使顾客用显示设备旋转,顾客用显示设备24向顾客显示信息。
长条桌子状的柜台151以与载置有POS终端11的结账台51形成为L字的方式被配置。柜台151的上表面形成有负荷接受面152。负荷接受面152载置有收纳商品G的购物筐153。购物筐153可考虑分为由顾客带来的第一购物筐153a和载置在与第一购物筐153a隔着商品读取装置101的位置上的第二购物筐153b。
在柜台151的负荷接受面152上设置有与POS终端11数据发送接收自如地连接的商品读取装置101。商品读取装置101包括薄壁矩形形状的外壳102。
外壳102的正面配置有读取窗103。外壳102的上部安装有显示、操作部104。显示、操作部104设置有表面层压有触摸面板105的显示设备106。显示设备106的右边配置有键盘107。键盘107的右边设置有未图示的读卡器的卡读取槽108。从操作员角度来看,显示、操作部104的背面靠左侧设置有用于向顾客提供信息的顾客用显示器109。
这样的商品读取装置101包括商品读取部110(参照图2)。商品读取部110在读取窗103的里侧配置摄像部164(参照图2)。
由顾客带来的第一购物筐153a收纳有一交易所涉及的商品G。第一购物筐153a内的商品G通过操作商品读取装置101的操作员向第二购物筐153b移动。在该移动过程中,商品G朝向商品读取装置101的读取窗103。这时,配置在读取窗103内的摄像部164(参照图2)对商品G进行摄像。
图2是表示POS终端11及商品读取装置101的硬件构成的框图。POS终端11包括作为执行信息处理的信息处理部的微机60。微机60在执行各种运算处理并控制各部的CPU(CentralProcessingUnit:中央处理器)61上总线连接有ROM(ReadOnlyMemory:只读存储器)62及RAM(RandomAccessMemory:随机存取存储器)63。
POS终端11的CPU61通过任意各种输入输出电路(均未图示)连接有上述的拉出装置21、键盘22、显示设备23、触摸面板26、以及顾客用显示设备24。
键盘22包括在上表面显示“1”、“2”、“3”…等的数字、“x”等的乘法运算符的数字键22d、临时合计键22e、以及合计键22f。
POS终端11的CPU61连接有HDD64(HardDiskDrive:硬盘驱动器)。HDD64存储有程序、各种文件。HDD64所存储的程序、各种文件在POS终端11起动时,其全部或一部分被复制到RAM63中,并通过CPU61依次执行。
HDD64所存储的程序的一例是商品销售数据处理用的程序PR等。HDD64所存储的文件的一例是PLU文件F1及商品特性文件F2等。另外,PLU文件F1及商品特性文件F2具有商品读取装置101通过后述的连接接口65可读出的构成。
PLU文件F1是设定有商品G的销售登记所涉及的信息和其商品G的图像的关联的数据文件。
图3是示意地表示PLU文件F1的数据构成的一例图。如图3所示,PLU文件F1关联登记有对应每个商品G专属分配的商品代码、商品G所属的商品分类、商品名称、单价等的关于商品的商品信息、摄像商品G的商品图像(以下称为第一商品图像)、以及表示商品G是否附带有后述的商品特性信息的标志信息。另外,在图3中,标志信息的值“1”表示附带有商品特性信息,标志信息的值“0”表示未附带有商品特性信息。
此外,商品特性文件F2是设定有商品G和商品特性信息的关联的数据文件。
图4是示意地表示商品特性文件F2的数据构成的一例图。如图4所示,商品特性文件F2对应每个成为商品特性信息的附带对象的商品G关联登记有其商品G的商品代码、其商品G的商品特性信息、识别各商品特性信息的商品特性代码、摄像商品G的商品图像(以下称为第二商品图像)。
商品特性文件F2在PLU文件F1所登记的商品G中登记有成为商品特性信息的附带对象的各商品G的商品代码。商品特性信息诸如包含产地、等级、糖度、生产者、收获日等的商品G的生产履历所涉及的溯源性信息。此外,对应每个商品特性信息分配有固有的商品特性代码。另外,在本实施例中,在成为商品特性信息的附带对象的商品G的表面预先附加有商标标志的封缄、烙印等的规定的符号(以下称为特性符号)。
第二商品图像登记有以规定的摄像条件摄像的商品G的商品图像。在本实施例中,如图4所示,将以附加在商品G上的特性符号CS为中心进行摄像作为摄像条件,表示以该特性符号CS为中心摄像的商品G的一部分的商品图像作为第二商品图像被登记。
在这里,PLU文件F1的第一商品图像用于商品G的种类(例如,苹果(富士)、苹果(王林))的识别(辨别),商品特性文件F2的第二商品图像用于识别(辨别)同一种类的商品G的各个体。因此,第一商品图像成为摄像各种类的任意的商品G的图像,第二商品图像在以特性符号为中心的同一摄像条件下,成为个别摄像各商品G的图像。在本实施例中,通过阶段的用这些两个商品图像进行商品G的辨别,可根据商品G的种类锁定该商品G的个体。
另外,PLU文件F1及商品特性文件F2的数据构成不限于图3及图4所示的例子。例如,在图3及图4中,虽然示出以第一商品图像、第二商品图像作为图像进行存储的例子,但也可以是存储从第一商品图像、第二商品图像的各个读取的特征量(色彩、表面的凹凸状况等)的例子代替上述。
返回到图2,POS终端11的CPU61通过输入输出电路(未图示)连接有用于执行与存储计算机SC数据通信的通信接口25。存储计算机SC被设置在店铺的后院等。存储计算机SC的HDD(未图示)存储有分配给POS终端11的PLU文件F1、商品特性文件F2。
并且,POS终端11的CPU61连接有在与商品读取装置101之间可数据发送接收的连接接口65。连接接口65连接有商品读取装置101。此外,POS终端11的CPU61连接有对票据等进行打印的打印机66。POS终端11在CPU61的控制下,将一交易的交易内容打印到票据上。
商品读取装置101也具备微机160。微机160在CPU161上总线连接有ROM162及RAM163。ROM162存储有通过CPU161执行的程序。CPU161通过各种输入输出电路(均未图示)连接有摄像部164、声音输出部165。摄像部164、声音输出部165由CPU161控制动作。显示、操作部104通过连接接口176与POS终端11连接。显示、操作部104由POS终端11的CPU61控制动作。
摄像部164是彩色CCD图像传感器、彩色CMOS图像传感器等,在CPU161的控制下,是进行从读取窗103的摄像的摄像单元。例如,摄像部164进行30fps的视频图像的摄像。摄像部164以规定的帧频依次摄像的帧图像(摄像图像)被保存到RAM163中。
声音输出部165是用于产生预先设定的警告音等的声音电路和扬声器等。声音输出部165在CPU161的控制下进行警告音等的声音的告知。
并且,CPU161连接有与POS终端11的连接接口65连接、在与POS终端11之间可数据发送接收的连接接口175。在CPU161的控制下,从通过商品读取装置101的摄像部164摄像的摄像图像识别的商品G的商品信息、商品特性信息通过连接接口175被输出,并通过连接接口65输入到POS终端11。
接着,参照图5对CPU161、CPU61通过依次执行程序来实现的CPU161、CPU61的功能部进行说明。
图5是表示POS终端11及商品读取装置101的功能构成的框图。如图5所示,商品读取装置101的CPU161通过依次执行程序,具有作为图像采集部1611、种类识别部1612、个体识别部1613、商品信息显示部1614及信息发送部1615的功能。
图像采集部1611向摄像部164输出摄像导通信号,使摄像部164开始摄像动作。图像采集部1611在摄像动作开始后,依次采集摄像部164摄像并保存到RAM163中的摄像图像。按保存到RAM163中的顺序进行图像采集部1611的摄像图像的采集。
种类识别部1612根据通过图像采集部1611采集到的摄像图像对商品G的种类进行识别,并指定与其种类对应的商品信息(商品代码)。
具体地说,种类识别部1612用公知的模式匹配技术检测出摄像图像所包含的商品G的全部或一部分的轮廓线。接着,对从最近的帧图像提取的轮廓线和从本次的帧图像提取的轮廓线进行比较,检测出有变更的部分、也就是向读取窗103的商品G的映入。
另外,作为检测出商品G的其他方法,判定从摄像图像是否检测出肤色区域,在检测出肤色区域时、也就是在检测出店员的手的映入时,进行假想为店员的手把持的商品G的轮廓线的检测。这时,在检测出表示手的形状的轮廓和其以外的轮廓时,根据店员的手把持商品G,检测出商品G的映入。
此外,种类识别部1612读取摄像图像中所包含的商品G的表面的状态(表面的色彩、模样(图案)、凸凹状况等)作为特征量,通过与PLU文件F1所登记的各第一商品图像的特征量进行比较,识别商品G的种类。在这里,种类识别部1612通过对两特征量进行比较,计算出PLU文件F1所登记的各第一商品图像和摄像图像中所包含的商品G的相似度,并将其相似度最大或超过规定阈值的第一商品图像识别作为表示商品G的种类的商品图像。而且,种类识别部1612指定已识别的第一商品图像所涉及的商品代码作为商品G的商品信息。
另外,识别(辨别)上述那样的图像中所包含的物体被称为一般物体识别(genericobjectrecognition:一般物体识别)。关于这样的一般物体识别在下述的文献中各种识别技术被说明。
柳井启司,“一般物体识别的现状与未来”,信息处理学会论文志,Vol.48,No.SIG16“2010年8月10日检索”,互联网<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>(柳井啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16[平成22年8月10日検索],インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>)
此外,通过对应每个目的物对图像进行区域分割,进行一般物体识别的技术在下述的文献中被说明。
JamieShottonら(杰米肖顿等人),“SemanticTextonForestsforImageCategorizationandSegmentation:”,“2010年8月10日检索”,互联网<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>(JamieShottonら,“SemanticTextonForestsforImageCategorizationandSegmentation”,[平成22年8月10日検索],インターネット<URL:
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>)
个体识别部1613识别通过种类识别部1612识别种类的商品的个体,指定该个体所固有的商品特性信息(商品特性代码)。
具体地说,个体识别部1613基于与通过种类识别部1612指定的商品代码关联的PLU文件F1的标志信息,对其商品上是否附带有商品指定信息进行判定。在这里,在标志信息的值表示附带有商品指定信息时,个体识别部1613通过用公知的模式匹配技术等,从摄像图像所包含的商品G的图像中检测出特性符号。
在从摄像图像中检测出特性符号时,个体识别部1613判定为以与第二商品图像的摄像条件同样的摄像条件摄像商品G,通过与上述种类识别部1612同样的手法,从将该特性符号为中心的商品G的摄像图像中读取该商品G及特性符号的特征量(表面的色彩、模样、凸凹状况等)。个体识别部1613对从摄像图像读取的特征量和与通过种类识别部1612指定的商品代码关联的商品特性文件F2的各第二商品图像的特征量进行比较,将该特征量的相似度最大或成为规定的阈值以上的第二商品图像识别作为表示其商品G的个体的商品图像。而且,个体识别部1613指定已识别的第二商品图像所涉及的商品特性代码作为与商品G的个体对应的商品特性信息。
另外,在未检测出特性符号时,个体识别部1613判定为不是以与第二商品图像的摄像条件同样的摄像条件摄像商品G,通过在显示设备106上显示(提示)督促将特性符号朝向摄像部164的画面(摄像条件指示画面),来指示操作员改变商品G的摄像条件。
在这里,图6是表示通过个体识别部1613的控制,显示设备106所显示的摄像条件指示画面的一例图。在该图中,在画面内的区域A11中,示出显示督促将特性符号朝向摄像部164的信息(请将特性符号朝向摄像头)的例子。此外,区域A12是用于显示通过摄像部164摄像中的摄像图像的区域。
通过上述摄像条件指示画面的显示,商品读取装置101的操作员根据区域A11所显示的信息,边确认区域A12所显示的摄像图像边改变商品G的摄像方向(摄像条件),使附加在该商品G上的特性符号朝向摄像部164。而且,个体识别部1613当通过摄像条件的改变从图像采集部1611所采集的摄像图像中检测出特性符号时,开始用于从该摄像图像指定商品G的商品特性的处理。
这样,本实施例的个体识别部1613以附加在商品G上的特性符号为基准,判定商品G的摄像条件是否符合摄像第二商品图像时的摄像条件,在未检测出该特性符号时,能够通过以接近摄像第二商品图像时的摄像条件的方式指示商品G的摄像条件的改变,提高商品G的个体的识别率。另外,在本实施例中,虽然在从摄像图像检测出特性符号时识别商品G的个体,但也可以包含在摄像图像内的特性符号的检测位置、也就是摄像图像的大致中央是否存在有特性符号,判定是否符合摄像条件。
返回到图5,商品信息显示部1614将与通过种类识别部1612及个体识别部1613指定的商品代码及商品特性代码的各个对应的商品信息及商品特性信息输出显示在显示设备106、顾客用显示设备109上。
具体地说,商品信息显示部1614从PLU文件F1读出与通过种类识别部1612指定的商品G的商品代码对应的商品信息等,并显示在显示设备106、顾客用显示设备109上。此外,商品信息显示部1614在通过个体识别部1613指定有商品G的商品特性代码时,从商品特性文件F2读出与该商品特性代码对应的商品详细信息等,并与对应的商品的商品信息一起显示在显示设备106、顾客用显示设备109上。
在这里,图7是表示通过商品信息显示部1614的控制,显示设备106(顾客用显示设备109)所显示的商品信息画面的一例图。在该图中,画面内的区域A21显示有通过种类识别部1612识别的商品的商品图像(第一商品图像)。此外,画面内的区域A22显示有与通过种类识别部1612指定的商品G的商品代码、通过个体识别部1613指定的商品G的商品特性代码的各个对应的商品信息及商品特性信息。
这样,通过在显示设备106及顾客用显示设备109上显示商品G的商品信息、商品特性信息,能够使操作员及顾客双方确认成为读取对象的商品G。另外,在图7中,虽然在区域A21中显示第一商品图像,但不限于此,也可以显示第二商品图像,又可以不进行商品图像的显示。
返回到图5,信息发送部1615将种类识别部1612指定的商品G的商品代码、个体识别部1613指定的商品G的商品特性代码通知给POS终端11。
此外,如图5所示,POS终端11的CPU61通过依次执行程序,具有作为信息接收部611、商品信息取得部612、商品特性信息取得部613、销售登记部614、结账处理部615的功能。
信息接收部611接收从商品读取装置101的信息发送部1615发送的信息、即商品代码、商品特性代码等的信息。
商品信息取得部612基于信息接收部611接收到的商品代码,从PLU文件F1检索取得与该商品代码对应的商品的商品信息。
商品特性信息取得部613基于信息接收部611接收到的商品特性代码,从商品特性文件F2检索取得与该商品特性代码对应的商品的商品特性信息。
销售登记部614根据商品信息取得部612已取得的商品信息所包含的单价、信息接收部611接收到的信息所包含的销售个数等,计算出商品的销售价格。此外,销售登记部614通过将商品读取装置101读取的商品G的商品信息、商品特性信息等记录到未图示的销售主文件等来进行销售登记。
结账处理部615进行通过销售登记部614登记的一交易所涉及的商品的结账处理。结账处理部615与商品特性信息取得部613取得的对应的商品的特性信息关联,在显示设备23、顾客用显示设备24上输出显示通过销售登记部614登记的一交易所涉及的各商品的商品信息,用打印机66在票据等上打印输出。
接着,对具有上述构成的结账系统1的动作进行说明。首先,对商品读取装置101的处理动作进行说明。图8是表示商品读取装置101中的动作处理的次序的流程图。
如图8所示,当根据POS终端11的商品登记的开始等使处理开始时,图像采集部1611向摄像部164输出摄像导通信号,开始摄像部164的摄像(步骤S11)。接着,图像采集部1611采集摄像部164摄像并保存到RAM163中的帧图像(摄像图像)(步骤S12)。
接着,种类识别部1612通过比较图像采集部1611采集到的摄像图像中的商品G的图像的特征量和PLU文件F1所登记的各第一商品图像的特征量,指定商品G的种类的商品代码(步骤S13)。另外,在多个存在有商品G的种类的识别候补时,也可以在显示设备106上显示(提示)那些识别候补的商品图像、商品信息,操作员通过触摸面板105接受符合的商品(种类)的选择。
接着,个体识别部1613基于与在步骤S13中指定的商品G的商品代码关联的标志信息的值,判定该商品G的种类是否附带有商品特性信息(步骤S14)。在这里,在标志信息的值表示未附带有商品特性信息时(步骤S14:否),个体识别部1613不进行商品特性的指定,过渡到步骤S15。
在步骤S15中,商品信息显示部1614从PLU文件F1读出与在步骤S13中指定的商品的商品代码对应的商品信息,并显示在显示设备106、顾客用显示设备109上(步骤S15)。接着,信息发送部1615将在步骤S13中指定的商品的商品代码等发送到POS终端11(步骤S16),过渡到步骤S22。
此外,在步骤S14中,在标志信息的值表示附带有商品特性信息时(步骤S14:是),个体识别部1613根据图像采集部1611采集到的摄像图像,进行特性符号的检测所涉及的处理,并判定是否能够检测出该特性符号(步骤S17)。
在这里,在判定为不能检测出特性符号时(步骤S17:否),个体识别部1613判定为不是以与第二商品图像的摄像条件同样的摄像条件摄像商品,将指示特性符号朝向摄像部164的摄像条件指示画面(参照图6)显示在显示设备106上(步骤S18)。而且,再次返回到步骤S17,在从摄像图像能够检测出特性符号之前,继续摄像条件指示画面的显示。
此外,在步骤S17中,当从摄像图像检测出特性符号时(步骤S17:是),则个体识别部1613通过比较将该特性符号作为中心的商品G及特性符号的图像的特征量和与在步骤S13中指定的商品代码关联的商品特性文件F2的各第二商品图像的特征量,识别商品G的个体,并指定与该个体对应的商品特性代码(步骤S19)。
接着,如图7所示,商品信息显示部1614从PLU文件F1及商品特性文件F2读出与在步骤S13中指定的商品G的商品代码、在步骤S19中指定的商品G的商品特性代码的各个对应的商品信息、商品特性信息,并在显示设备106、顾客用显示设备109上显示(步骤S20)。接着,信息发送部1615将在步骤S13中指定的商品G的商品代码、在步骤S19中指定的商品G的商品特性代码等发送给POS终端11(步骤S21),并过渡到步骤S22。
在步骤S22中,CPU161判定从POS终端11有无商品登记的结束通知等的业务结束(步骤S22)。在这里,在继续业务时(步骤S22:否),CPU161向步骤S12返回处理,使处理继续。此外,在结束业务时(步骤S22:是),图像采集部1611通过向摄像部164输出摄像截止信号,结束摄像部164的摄像(步骤S23),并结束处理。
接着,对POS终端11的处理动作进行说明。图9是表示POS终端11中的处理动作的流程的流程图。
如图9所示,在POS终端11中,信息接收部611从商品读取装置101接收商品代码、商品特性代码等的信息(步骤S31)。商品信息取得部612基于在步骤S31中接收到的信息所包含的商品代码,从PLU文件F1取得与该商品代码对应的商品信息(步骤S32)。
商品特性信息取得部613判定在步骤S31中接收到的信息中是否包含有商品特性代码(步骤S33)。在这里,在接收到的信息中包含有商品特性代码时(步骤S33:是),商品特性信息取得部613从商品特性文件F2取得与该商品特性代码对应的商品特性信息(步骤S34),并过渡到步骤S35。另外,在接收到的信息中未包含有商品特性代码时(步骤S33:否),直接过渡到步骤S35。
之后,在POS终端11中,销售登记部614基于在步骤S32中取得的商品信息,执行将商品的销售信息登记到销售主文件等的处理(步骤S35)。另外,在步骤S31中,在接收了商品的销售个数时,在该步骤S35中,通过乘法商品信息所包含的单价和销售个数,计算出对应销售个数的销售价格。
接着,在POS终端11中,CPU61判定有无键盘22的操作指示(合计键22f的按下操作等)的销售登记的结束等的业务结束(步骤S36)。在这里,在继续业务时(步骤S36:否),CPU61向步骤S31返回处理,使处理继续。
此外,在步骤S36中,在结束业务时(步骤S36:是),结账处理部615执行一交易所涉及的各商品G的结账处理(步骤S37)。而且,结账处理部615将这些各商品的商品信息与商品特性信息关联显示输出在显示设备23、顾客用显示设备24上,在用打印机66对票据等打印输出后(步骤S38),结束处理。
如上所述,根据本实施例的结账系统1,从通过摄像部164摄像的摄像图像中识别商品G的个体,从商品特性文件F2指定该个体所附带的商品特性信息并进行输出。通过这样,即使不使用条形码、无线IC标签,也能够从商品G自身获得该商品G所固有的商品特定信息,所以能够高效率地进行商品特性信息的取得。此外,通过用商品G自身识别个体、并指定其个体的商品识别信息,能够防止在使用无线IC标签等保持商品识别信息时能发生的伪造、替换等的不当行为,所以能够提高商品识别信息的可靠性。
以上,虽然对本发明的实施例进行了说明,但虽然对本发明的实施例进行了说明,但是该实施例是作为例子提出的,并不意图限定发明的范围。该实施例可以用其他各种形式来实施,只要在不脱离发明的要旨的范围内可以进行各种省略、替换、变更。该实施例及其变形均被包含在发明的范围或要旨中,而且,包含在权利要求的范围所记载的发明和其均等的范围内。
例如,在上述实施例中,虽然第一商品图像和第二商品图像作为不同的商品图像,但不限于此,也可以通过将第二商品图像登记到PLU文件F1中,作为第一商品图像使用。另外,在该形态下,种类识别部1612从第二商品图像的特性符号所存在的区域以外的其他区域读取特征量,进行与商品G的特征量的比较。具体地说,在图4所例示的第二商品图像的情况下,由于特性符号CS存在于图像的中央部,所以从该中央部以外的区域(例如,图像的外边缘部等)读取特征量。
此外,在将第二商品图像作为第一商品图像使用的上述例子时,也可以根据标志信息的值,转换进行特征量的读取的区域。具体地说,在标志信息的值表示附带有商品特性信息时,从特性符号CS的存在位置以外的区域读取特征量,在表示未附带有商品特性信息时,从图像中的任意的位置读取特征量。
此外,在上述实施例中,虽然对为了将商品G的摄像条件接近于第二商品图像的摄像时的摄像条件,以特性符号为基准进行摄像的例子进行了说明,但不限于此,例如,也可以以水果、蔬菜的蒂的部分等为基准,通过摄像第二商品图像及商品G,不使用特性符号而将两摄像条件视为大致同等。
此外,在上述实施例中,虽然从商品读取装置101向POS终端11发送商品代码、商品特性代码,但不限于此,也可以向POS终端发送与商品代码、商品特性代码的各个对应的商品信息、商品特性信息。
此外,在上述实施例中,虽然POS终端11包括PLU文件F1及商品特性文件F2,但不限于此,既可以商品读取装置101包括PLU文件F1及商品特性文件F2,又可以POS终端11及商品读取装置101可访问的外部装置包含PLU文件F1及商品特性文件F2。
此外,在本实施例中,虽然POS终端11及商品读取装置101作为二台构造,但不限于此,也可以是作为包括POS终端11及商品读取装置101的两功能的一台构造的装置。
此外,在上述实施例中,虽然在POS终端11中进行商品信息、商品特性信息的输出(显示输出、打印输出),但不限于此,也可以在商品读取装置101中将与种类识别部1612识别的商品的商品代码及个体识别部1613所指定的商品特性代码的各个对应的商品信息、商品特性信息,输出显示在显示设备106、顾客用显示设备109上。
另外,虽然在上述实施例的各装置中执行的程序预先编入各装置所具备的存储介质(ROM或存储部)中而提供,但不限于此,也可以以可安装形式或可执行形式的文件存储到CD-ROM、软磁盘(FD)、CD-R、DVD(DigitalVersatileDisk:数字多功能磁盘)等计算机可读取存储介质中而提供。并且,存储介质不限于与计算机或编入相同独立的介质,也包含下载通过LAN、网络等传递的程序存储或暂时存储的存储介质。
此外,也可以将在上述实施例的各装置中执行的程序存储到与互联网等的网络连接的计算机上,通过经由网络下载而提供,也可以经由互联网等的网络提供或配置。
附图标记说明
1结账系统11POS终端
61CPU611信息接收部
612商品信息取得部613商品特性信息取得部
614销售登记部615结账处理部
101商品读取装置105触摸面板
106显示设备107键盘
161CPU164摄像部
165声音输出部1611图像采集部
1612种类识别部1613个体识别部
1614商品信息显示部1615信息发送部
F1PLU文件F2商品特性文件

Claims (8)

1.一种信息处理装置,其特征在于,包括:
个体识别部,从摄像识别对象的商品的摄像图像中,识别该商品的个体;
第一存储部,对应每个所述商品的个体关联存储该个体所固有的特性信息;
指定部,从所述第一存储部指定通过所述个体识别部识别的所述个体的特性信息;
输出部,输出通过所述指定部指定的特性信息;
种类识别部,从所述摄像图像中识别该商品的种类;
第二存储部,对应每个所述商品的种类,关联存储表示所述特性信息的有无的标志信息;以及
判定部,基于所述第二存储部所存储的对应每个所述种类的所述标志信息,判定通过所述种类识别部识别的种类的商品是否存在有所述特性信息,
其中,所述个体识别部在通过所述判定部判定为存在有所述特性信息时,从所述摄像图像识别通过所述种类识别部识别的种类的商品的个体。
2.根据权利要求1所述的信息处理装置,其中,
所述个体识别部比较对应每个所述商品的个体以规定的摄像条件摄像的基准图像和所述摄像图像的特征量,基于两特征量的相似度,识别所述商品的个体。
3.根据权利要求2所述的信息处理装置,还包括:
摄像条件判定部,判定所述摄像图像中的所述商品的摄像条件是否符合所述规定的摄像条件;以及
摄像条件指示部,在通过所述摄像条件判定部判定为不符合时,指示所述商品的摄像条件的改变。
4.根据权利要求2或3所述的信息处理装置,其中,
所述规定的摄像条件是摄像该商品的至少一部分的条件,该商品的至少一部分包含附加给所述商品的规定的符号。
5.一种基于信息处理装置的信息处理方法,包括以下步骤:
个体识别步骤,从摄像识别对象的商品的摄像图像中,识别该商品的个体;
指定步骤,从对应每个所述商品的个体关联存储该个体所固有的特性信息的第一存储部,指定通过所述个体识别步骤识别的所述个体的特性信息;
输出步骤,输出通过所述指定步骤指定的特性信息;
种类识别步骤,从所述摄像图像中识别该商品的种类;以及
判定步骤,基于第二存储部所存储的对应每个所述种类的标志信息,判定通过所述种类识别步骤识别的种类的商品是否存在有所述特性信息,其中,所述第二存储部对应每个所述商品的种类,关联存储表示所述特性信息的有无的所述标志信息;
其中,所述个体识别步骤在通过所述判定步骤判定为存在有所述特性信息时,从所述摄像图像识别通过所述种类识别步骤识别的种类的商品的个体。
6.根据权利要求5所述的信息处理方法,其中,
在所述个体识别步骤中,比较对应每个所述商品的个体以规定的摄像条件摄像的基准图像和所述摄像图像的特征量,基于两特征量的相似度,识别所述商品的个体。
7.根据权利要求6所述的信息处理方法,还包括:
摄像条件判定步骤,判定所述摄像图像中的所述商品的摄像条件是否符合所述规定的摄像条件;以及
摄像条件指示步骤,在通过所述摄像条件判定步骤判定为不符合时,指示所述商品的摄像条件的改变。
8.根据权利要求6或7所述的信息处理方法,其中,
所述规定的摄像条件是摄像该商品的至少一部分的条件,该商品的至少一部分包含附加给所述商品的规定的符号。
CN201310061794.8A 2012-03-30 2013-02-27 信息处理装置及信息处理方法 Active CN103366474B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP2012-082404 2012-03-30
JP2012082404A JP2013210971A (ja) 2012-03-30 2012-03-30 情報処理装置及びプログラム
JP2012-082404 2012-03-30

Publications (2)

Publication Number Publication Date
CN103366474A CN103366474A (zh) 2013-10-23
CN103366474B true CN103366474B (zh) 2016-03-30

Family

ID=49235086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310061794.8A Active CN103366474B (zh) 2012-03-30 2013-02-27 信息处理装置及信息处理方法

Country Status (3)

Country Link
US (1) US9076177B2 (zh)
JP (1) JP2013210971A (zh)
CN (1) CN103366474B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9060113B2 (en) 2012-05-21 2015-06-16 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9593982B2 (en) 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US20140378810A1 (en) 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
US9621760B2 (en) 2013-06-07 2017-04-11 Digimarc Corporation Information coding and decoding in spectral differences
JP5620565B1 (ja) * 2013-12-11 2014-11-05 東芝テック株式会社 商品販売データ処理装置およびプログラム
JP6147676B2 (ja) * 2014-01-07 2017-06-14 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP6193136B2 (ja) * 2014-01-21 2017-09-06 東芝テック株式会社 画像情報処理装置及びプログラム
JP2015152959A (ja) 2014-02-10 2015-08-24 東芝テック株式会社 読取装置
JP2015152960A (ja) * 2014-02-10 2015-08-24 東芝テック株式会社 読取装置
JP6276637B2 (ja) * 2014-04-18 2018-02-07 東芝テック株式会社 読取装置及び商品販売データ処理装置
JP6476601B2 (ja) 2014-06-10 2019-03-06 富士ゼロックス株式会社 物体画像情報管理サーバ、物体関連情報管理サーバ及びプログラム
US10113910B2 (en) 2014-08-26 2018-10-30 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
JP6274097B2 (ja) 2014-12-17 2018-02-07 カシオ計算機株式会社 商品識別装置および商品認識ナビゲーション方法
JP6384309B2 (ja) * 2014-12-17 2018-09-05 カシオ計算機株式会社 商品識別装置、商品認識ナビゲーション方法及びプログラム
JP6295944B2 (ja) * 2014-12-18 2018-03-20 カシオ計算機株式会社 商品識別装置および商品認識ナビゲーション方法
CN104978800A (zh) * 2015-07-09 2015-10-14 苏州朗捷通智能科技有限公司 一种智能一卡通管理系统
JP6801676B2 (ja) * 2016-01-21 2020-12-16 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6739945B2 (ja) * 2016-02-29 2020-08-12 東芝テック株式会社 商品データ入力装置及びその制御プログラム
JP6673039B2 (ja) * 2016-06-10 2020-03-25 富士通株式会社 関連ストーリ出力制御プログラム、関連ストーリ出力制御方法および情報処理装置
JP6760780B2 (ja) * 2016-07-04 2020-09-23 東芝テック株式会社 情報処理装置およびプログラム
JP6813310B2 (ja) * 2016-09-02 2021-01-13 東芝テック株式会社 物品読取装置およびプログラム
JP6336656B2 (ja) * 2017-05-16 2018-06-06 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP6547856B2 (ja) * 2018-01-09 2019-07-24 カシオ計算機株式会社 情報表示装置、誘導表示方法およびプログラム
CN108320164A (zh) * 2018-02-02 2018-07-24 南京正兴源科技有限公司 一种生产溯源系统
JP7218984B2 (ja) * 2018-04-27 2023-02-07 日本電気株式会社 商品登録装置、商品登録方法及びプログラム
CN109033985B (zh) * 2018-06-29 2020-10-09 百度在线网络技术(北京)有限公司 商品识别的处理方法、装置、设备、系统及存储介质
CN109285302A (zh) * 2018-09-12 2019-01-29 河北戴斯特尼科技有限公司 一种结算机及商品结算方法
CN111242712B (zh) * 2018-11-29 2023-04-28 阿里巴巴集团控股有限公司 一种商品展示方法及其装置
EP3929832A1 (en) * 2020-06-24 2021-12-29 Maui Jim, Inc. Visual product identification
JP2021005414A (ja) * 2020-10-01 2021-01-14 東芝テック株式会社 チェックアウト装置およびプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3366305B2 (ja) * 1999-11-25 2003-01-14 中部日本電気ソフトウェア株式会社 販売商品関連情報提供装置
JP2003271650A (ja) * 2002-03-12 2003-09-26 Nec Corp 携帯電話Webサイト画像検索システム及び方法並びにサーバーとそのプログラム
JP2004272706A (ja) * 2003-03-10 2004-09-30 Minolta Co Ltd カメラ
CN1573800A (zh) * 2003-06-06 2005-02-02 欧姆龙株式会社 图像识别装置和方法以及图像识别装置的示教装置和方法
CN1684087A (zh) * 2004-04-16 2005-10-19 日本电气株式会社 Id发行管理系统、物品信息管理系统及id发行管理方法
CN1791894A (zh) * 2003-06-26 2006-06-21 国际商业机器公司 用于肯定地识别物品的装置、方法和系统
JP2010198137A (ja) * 2009-02-23 2010-09-09 Nec Infrontia Corp 定置スキャナ、pos端末、決済商品選別方法、決済商品選別プログラムおよびプログラム記録媒体
CN102063616A (zh) * 2010-12-30 2011-05-18 上海电机学院 一种基于图像特征匹配的商品自动识别系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269005A (ja) * 1997-03-28 1998-10-09 Hideyoshi Tominaga 電子商取引端末装置
JP3355366B2 (ja) * 1997-04-25 2002-12-09 独立行政法人 農業技術研究機構 識別子付与による農産物流通における農産物の個体情報入手システム
JP2003173369A (ja) * 2001-12-05 2003-06-20 Fujitsu General Ltd 飲食店舗における配膳管理方法と配膳管理システム
JP4006536B2 (ja) * 2004-11-19 2007-11-14 独立行政法人農業・食品産業技術総合研究機構 農産物追跡システム
JP4348381B2 (ja) * 2007-05-30 2009-10-21 富士通株式会社 画像暗号化/復号化装置、方法およびプログラム
US7909248B1 (en) * 2007-08-17 2011-03-22 Evolution Robotics Retail, Inc. Self checkout with visual recognition
US8068674B2 (en) * 2007-09-04 2011-11-29 Evolution Robotics Retail, Inc. UPC substitution fraud prevention
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
JPWO2012121167A1 (ja) * 2011-03-04 2014-07-17 日本電気株式会社 個体識別システム、個体識別方法及びそれらに用いられる装置、プログラム
JP5214762B2 (ja) 2011-03-25 2013-06-19 株式会社東芝 認識装置、方法及びプログラム
US9424480B2 (en) * 2012-04-20 2016-08-23 Datalogic ADC, Inc. Object identification using optical code reading and object recognition

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3366305B2 (ja) * 1999-11-25 2003-01-14 中部日本電気ソフトウェア株式会社 販売商品関連情報提供装置
JP2003271650A (ja) * 2002-03-12 2003-09-26 Nec Corp 携帯電話Webサイト画像検索システム及び方法並びにサーバーとそのプログラム
JP2004272706A (ja) * 2003-03-10 2004-09-30 Minolta Co Ltd カメラ
CN1573800A (zh) * 2003-06-06 2005-02-02 欧姆龙株式会社 图像识别装置和方法以及图像识别装置的示教装置和方法
CN1791894A (zh) * 2003-06-26 2006-06-21 国际商业机器公司 用于肯定地识别物品的装置、方法和系统
CN1684087A (zh) * 2004-04-16 2005-10-19 日本电气株式会社 Id发行管理系统、物品信息管理系统及id发行管理方法
JP2010198137A (ja) * 2009-02-23 2010-09-09 Nec Infrontia Corp 定置スキャナ、pos端末、決済商品選別方法、決済商品選別プログラムおよびプログラム記録媒体
CN102063616A (zh) * 2010-12-30 2011-05-18 上海电机学院 一种基于图像特征匹配的商品自动识别系统及方法

Also Published As

Publication number Publication date
US20130259320A1 (en) 2013-10-03
CN103366474A (zh) 2013-10-23
US9076177B2 (en) 2015-07-07
JP2013210971A (ja) 2013-10-10

Similar Documents

Publication Publication Date Title
CN103366474B (zh) 信息处理装置及信息处理方法
CN103116949B (zh) 信息处理装置及信息处理方法
CN102376136B (zh) 店铺系统及商品销售数据处理方法
CN102842190B (zh) 结账装置及商品销售数据处理方法
CN103208154B (zh) 信息处理装置、店铺系统及信息处理方法
CN103295346B (zh) 信息处理装置、店铺系统及信息处理方法
CN102375976B (zh) 店铺系统及商品销售数据处理方法
CN103984914B (zh) 信息处理装置及其控制方法
CN102431692B (zh) 标签发放装置及标签发放方法
JP5656796B2 (ja) 商品データ処理装置、商品データ処理方法及び制御プログラム
CN102456123B (zh) 商品信息读取装置
CN104766413B (zh) 信息处理装置及其控制方法
CN103679977A (zh) 信息处理装置及其控制方法
CN105608808A (zh) 信息处理装置及其控制方法、店铺系统
CN102376052A (zh) 店铺系统及商品销售数据处理方法
CN103310559A (zh) 信息处理装置及其控制方法
JP5620416B2 (ja) 情報処理装置及びプログラム
CN104299131A (zh) 信息处理装置及其控制方法
CN103218720A (zh) 信息处理装置及信息处理方法
CN104299334A (zh) 信息处理装置及其控制方法
JP5437404B2 (ja) 情報処理装置、店舗システム及びプログラム
CN104299337B (zh) 信息处理装置及其控制方法
JP6412911B2 (ja) 情報処理装置及びプログラム
CN103093557B (zh) 读取装置及读取方法
JP6057971B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant