CN101589371A - 向分级存储系统透明备份的方法和系统 - Google Patents
向分级存储系统透明备份的方法和系统 Download PDFInfo
- Publication number
- CN101589371A CN101589371A CN200880002487.XA CN200880002487A CN101589371A CN 101589371 A CN101589371 A CN 101589371A CN 200880002487 A CN200880002487 A CN 200880002487A CN 101589371 A CN101589371 A CN 101589371A
- Authority
- CN
- China
- Prior art keywords
- data
- data set
- server
- management application
- identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1456—Hardware arrangements for backup
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
Abstract
公开了一种向分级存储系统透明备份的方法和系统。数据管理应用请求备份操作,通过使用网络数据管理协议向带服务器和数据服务器传送该请求。所述带服务器为数据集生成唯一标识符。此外,所述带服务器将所述数据集从所述数据服务器传送到所述分级存储系统;以及响应于所述请求,将所述标识符发送到所述数据管理应用。所述标识符在所述分级存储系统中标识所述数据集。在某个实施例中,所述带服务器在对于所述数据管理应用透明的位置中存储并管理所述数据集。所述带服务器和数据管理应用在逻辑上可以不同。所述数据管理应用可通过使用所述标识符经由所述带服务器来访问所述数据集。
Description
技术领域
本发明涉及备份操作,更具体地,涉及向分级存储系统透明备份。
背景技术
数据处理系统通常存储对于组织具有很大价值的数据。数据可以被组织为一个或多个数据集。数据集可包括数据库文件、链式数据阵列、平面文件等。数据处理系统可将数据集备份到远程存储设备,以在数据处理系统中存储的数据集丢失或受到破坏时保存数据集。例如,在数据处理系统上执行的数据管理应用可将多个数据集从数据服务器的数据源备份到远程存储设备,例如磁带驱动器。
数据管理应用可使用网络数据管理协议(NDMP)从NDMP开始,将一个或多个数据集备份到远程数据存储设备。NDMP为数据管理应用提供备份数据集和恢复数据集的功能。例如,数据管理应用可使用NDMP带服务器将数据集备份和/或恢复到磁带驱动器。如在此使用的,磁带驱动器称为带驱动器。
不幸地,NDMP带服务器需要数据管理应用为带驱动器执行存储管理处理。因此,数据管理应用必须标识卷、选择带驱动器、安装带、定位带、指定数据集的偏移和大小、引导数据集的读取以及拆卸带,以便从磁带取回数据集。
需要NDMP带服务器使得数据管理应用难以跟踪和管理存储到远程存储设备(例如带驱动器)的数据集。此外,数据管理应用必须被配置为执行数据管理任务,以保存、管理和恢复数据集。
发明内容
根据以上讨论,需要一种向分级存储系统(HSS)透明备份以及从HSS恢复的方法和系统。有利地,此类方法和系统允许数据管理应用使用NDMP向HSS透明地备份数据,而不需要管理用于备份的存储装置。
根据本领域的当前状态,具体地,根据当前可用的备份方法没有完全解决本领域中的问题和需求,开发出本发明。相应地,开发本发明以提供一种向HSS透明备份数据的方法和系统,其克服了本领域中的许多和全部上述缺点。
提供本发明的方法,用于向HSS透明备份。数据管理应用请求备份操作,并通过使用NDMP向带服务器和数据服务器传送所述请求。在一个实施例中,所述数据管理应用将所述数据集的数据特征发送到所述带服务器。所述带服务器为所述数据集生成唯一标识符。此外,所述带服务器将所述数据集从所述数据服务器传送到所述HSS,并响应于所述请求而将所述标识符发送到所述数据管理应用。所述标识符在所述HSS中标识所述数据集。
所述数据管理应用可接收所述标识符。在某个实施例中,所述带服务器在对于所述数据管理应用透明的位置中存储并管理所述数据集。所述带服务器与所述数据管理应用在逻辑上可以不同。所述数据管理应用可通过使用所述标识符经由所述带服务器来访问所述数据集。该方法将所述数据集透明地备份到HSS。此外,该方法允许使用所述标识符访问所述数据集。
还提供本发明的系统,用于向HSS透明备份。该系统可以在数据处理系统中实现。具体地,在一个实施例中,所述系统包括HSS、数据服务器、数据管理应用、和带服务器。所述系统可实现以上所述的方法。
所述HSS在分级组织的多个逻辑和物理存储位置中存储并管理数据。所述数据服务器将数据存储到数据源。所述数据管理应用请求备份操作,并通过使用NDMP与所述带服务器和数据服务器通信以完成所述请求。
在一个实施例中,所述数据管理应用将所述数据集的数据特征发送至所述带服务器。所述带服务器为数据集生成唯一标识符。此外,所述带服务器将所述数据集从所述数据服务器传送到所述HSS,以及响应于所述请求,将所述标识符发送到所述数据管理应用。所述标识符在所述分级存储系统中标识所述数据集。
在某个实施例中,所述带服务器在对于所述数据管理应用透明的位置中存储并管理所述数据集。所述带服务器和所述数据管理应用在逻辑上可以不同。所述数据管理应用可通过使用所述标识符经由所述带服务器来访问所述数据集。所述系统将所述数据集备份到HSS,允许在对于所述数据管理应用透明的HSS中管理所述数据集。
本说明书中对功能、优点的参考或类似语言并非暗示可以与本发明一起实现的所有功能和优点应在本发明的任何单个实施例中。相反,应当理解,引用所述功能和优点的语言指与实施例一起描述的特定功能、优点或特性包括在本发明的至少一个实施例中。因此,本说明书中对功能、优点的讨论和类似语言可以(但并不一定)指同一实施例。
此外,本发明的所述功能、优点和特性可以以任何适当的方式组合在一个或多个实施例中。相关领域的技术人员将认识到,可以在没有特定实施例的一个或多个特定功能或优点的情况下实现本发明。在其他情况下,可以在特定实施例中认识到可能不存在于本发明的所有实施例中的其他功能和优点。
本发明的实施例向HSS透明备份一个或多个数据集并进行管理。可通过使用标识符管理和访问所述数据集,从而用于数据集的备份、管理和访问的存储相关的处理对于数据管理应用是透明的。从以下说明和所附权利要求,本发明的这些功能和优点将变得更加显而易见,或者通过实现如下文所述的本发明,可以了解本发明的这些功能和优点。
附图说明
现在仅通过实例的方式参照附图描述本发明的实施例,其中:
图1是示出根据本发明的数据处理系统的一个实施例的示意性框图;
图2是示出本发明的备份系统的一个实施例的示意性框图;
图3是示出本发明的备份方法的一个实施例的示意性流程图;
图4是示出本发明的恢复方法的一个实施例的示意性流程图;
图5是示出本发明的向HSS备份数据集的一个实施例的示意性框图;
图6是示出本发明的管理HSS中的数据集的一个实施例的示意性框图;以及
图7是示出本发明的HSS中的同时复制的一个实施例的示意性框图。
具体实施方式
将本说明书中描述的多个功能单元标记为模块,以便更具体地强调它们的实现无关性。例如,模块可以被实现为包括定制超大规模集成电路(VLSI)或门阵列、诸如逻辑芯片、晶体管或其他分离组件之类的现用半导体的硬件电路。模块还可以在诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备之类的可编程硬件设备中实现。
模块还可以在软件中实现,以便由各种类型的处理器执行。例如,标识的可执行代码的模块可以包括一个或多个物理或逻辑的计算机指令块,所述块可以例如组织为对象、过程或函数。然而,标识的模块的可执行代码不需要在物理上位于一起,而是可以包括存储在不同位置的不同指令,当所述指令被逻辑地结合时,将包括所述模块并实现模块的所述目的。
实际上,可执行代码的模块可以是单个指令或多个指令,并且甚至可以分布在数个不同的代码段上、多个不同的程序中,以及跨多个存储器设备。同样,操作数据可以在模块中被标识和在此示出,并且可以包括在任何适当的形式中并组织在任何适当类型的数据结构中。操作数据可以被收集为单个数据集,或可以分布在包括不同存储设备的不同位置上。
本说明书中对“一个实施例”、“实施例”的引用或类似语言指结合该实施例描述的特定功能、结构或特性被包括在本发明的至少一个实施例中。因此,本说明书中出现的短语“在一个实施例中”、“在实施例中”和类似语言可以(但是并非一定)都指相同的实施例。
此外,本发明的所述功能、结构或特性可以以任何适当的形式组合在一个或多个实施例中。在以下说明中,提供了大量特定的详细信息,如编程、软件模块、用户选择、网络事务、数据库查询、数据库结构、硬件模块、硬件电路、硬件芯片等的实例,以便彻底理解本发明的实施例。但是,本领域的技术人员将认识到,可以在没有一个或多个特定的细节的情况下实现本发明,或者可以通过其他方法、组件、材料等实现本发明。在其他情况下,未详细示出或描述公知的结构、材料或操作以避免掩盖本发明的多个方面。
图1是示出根据本发明的数据处理系统(DPS)100的一个实施例的示意性框图。DPS 100包括计算机105、一个或多个客户端服务器110a、一个或多个客户端计算机110b、网络115、路由器120、内部网络125、服务器130、存储通信通道150、一个或多个存储子系统140、和一个或多个带驱动器180。
如在此使用的,客户端服务器110a和客户端计算机110b称为客户端110。服务器130还可被配置为大型计算机、包含多个刀片服务器的刀片中心等。尽管为了简单示出1个计算机105、4个客户端110、1个网络115、1个路由器120、1个内部网络125、1个服务器130、1个存储通信通道150、2个存储子系统140、和2个带驱动器180,但是可采用任意数目的计算机105、客户端110、网络115、路由器120、内部网络125、服务器130、存储通信通道150、存储子系统140、和带驱动器180。本领域普通技术人员也可容易理解,DPS 100可包括其他数据处理设备,例如桥接器、扫描器等。
每个存储子系统140包括一个或多个存储控制器160和一个或多个存储设备170。存储设备170可以是硬盘驱动器、光存储设备、微机械存储设备、全息存储设备、和半导体存储设备。带驱动器180可将数据存储到磁带,以及可从磁带取回数据。带驱动器180可以是独立的带驱动器180。备选地,如本领域普通技术人员公知的,带驱动器180可在带库中实现。
在一个实施例中,服务器130、存储子系统140、和带驱动器180被配置为HSS 185。HSS 185可为客户端110提供数据备份和存储服务。例如,客户端110可通过经由网络115、路由器120、内部网络125、服务器130、和存储通信通道150向带驱动器180传送数据来将数据备份到带驱动器180。如果客户端110在以后需要所述备份数据,则带驱动器180将所述数据传送到客户端110,以恢复所述数据。
计算机105可执行将在以下描述的数据管理应用。尽管示出计算机105与内部网络125通信,但是本领域普通技术人员可以理解,计算机105可经由备用通信通道与HSS 185和客户端110通信。
数据管理应用可采用NDMP将一个或多个数据集从客户端110传送至带驱动器180。不幸地,在过去,数据管理应用必须管理传送数据集的细节。例如,数据管理应用可标识数据集的目标卷、选择带驱动器、安装包含卷的磁带、定位带,以及指定写入每个数据集的偏移和大小。此外,数据管理应用可引导磁带的安装、引导每个数据集的读取以及拆卸带,以便从磁带取回数据集。
如下所述,本发明提供一种向HSS 185透明备份数据集以及从HSS185恢复数据集的方法和系统,其可将数据管理应用从管理数据集的存储中释放出来。因此,数据管理应用可向HSS 185备份数据集以及从HSS 185恢复数据集,同时任何备份、管理和恢复操作的细节对于数据管理应用来说都是透明的。
图2是示出本发明的备份系统200的一个实施例的示意性框图。系统200包括数据管理应用205、数据服务器210、数据源215、带服务器220、HSS 185、和标识符240。系统200的描述引用图1的元件,类似的数字表示类似的元件。
HSS 185可以是图1的HSS 185。如下所述,HSS 185在分级组织的多个逻辑和物理存储位置中存储和管理数据。典型地,将数据组织为一个或多个数据集。数据集可以是目录、文件、卷、数据库等。
数据服务器210可以是客户端服务器110a和/或客户端计算机110b。数据服务器210向数据源215存储数据,以及从数据源215取回数据。数据源215可以是数据服务器210的内部存储设备,例如硬盘驱动器。备选地,数据源215可以是与数据服务器210通信的一个或多个存储子系统140。
在一个实施例中,带服务器220可包括在服务器130上执行的一个或多个计算机程序产品。带服务器220被配置为符合NDMP。尽管在一个实施例中,带服务器220向带驱动器180存储数据,但是带服务器220还可以向存储设备170存储数据以及从存储设备170取回数据,所述存储设备170包括但不限于,硬盘驱动器、光存储设备、以及在HSS 185中实现的类似设备。数据管理应用205可被配置为在计算机105上执行的一个或多个计算机程序产品。数据管理应用205可通过在一个或多个通信通道225上使用传输控制协议/互联网协议(TCP/IP)与服务器210和带服务器220通信。
通信通道225可以是互联网、局域网(LAN)、广域网(WAN)、令牌环网、专用通信总线等。例如,位于计算机105上的数据管理应用205可通过使用TCP/IP经由内部网络125与位于服务器130上的带服务器220通信。本领域普通技术人员可以理解,本发明可通过使用其他通信通道配置和其他通信协议来实现。
数据管理应用205请求一个或多个数据集的备份操作,并通过使用NDMP与带服务器220和数据服务器210通信以完成该请求。可将数据集存储在数据源215上。在一个实施例中,数据管理应用205将数据集的数据特征发送至带服务器220。数据特征可包括数据集的估计大小、保留特征、和/或发端数据服务器210相对于其他数据服务器的优先级。
带服务器220为数据集生成唯一标识符240。标识符240标识HSS 185中的数据集。标识符240可以是字母数字串、数字、在一个或多个数据字段中存储的数据值等。此外,带服务器220将数据集从数据服务器210传送至HSS 185,并响应于请求而将标识符240发送至数据管理应用205。
在某个实施例中,带服务器220在HSS 185中的对于数据管理应用205透明的位置中存储并管理数据集。带服务器220和数据管理应用205在逻辑上可以不同。
数据管理应用205可通过使用标识符240经由带服务器220访问数据集。例如,数据管理应用205可通过标识具有标识符240的数据集的请求来取回要恢复到数据源215的数据集。系统200将数据集备份到HSS 185,从而允许在HSS 185中对于数据管理应用205透明地管理数据集。
通常作为逻辑流程图提出以下的示意性流程图。同样,所示顺序和标记的步骤指示所提供方法的一个实施例。可以构想其他步骤和方法,它们在功能、逻辑或效果上与所示方法的一个或多个步骤或其各部分等效。另外,提供所使用的格式和符号以说明所述方法的逻辑步骤,并且应理解它们并非限制所述方法的范围。尽管可以在流程图中使用不同的箭头类型和线条类型,但是应理解,它们并非限制相应方法的范围。实际上,某些箭头或其他连接器可用来仅指示所述方法的逻辑流。例如,箭头可以指示所述方法的枚举步骤之间的未指定持续时间的等待或监视周期。另外,出现特定方法的顺序可以或可以不严格地依照所示的相应步骤的顺序。
图3是示出本发明的备份方法300的一个实施例的示意性流程图。方法300实质上包括用于执行参照图2的所述系统200的操作在上文提出的功能的步骤。方法300的描述引用图1-2的元件,类似的数字表示类似的元件。
在一个实施例中,通过包含具有计算机可读程序的计算机可读介质的计算机程序产品来实现方法300。可将计算机可读程序集成到计算系统(例如DPS 100的计算机105)中,其中与计算系统结合的程序能够执行方法300。
方法300开始,并且在305,数据管理应用205请求备份操作。备份操作可包括备份数据集。尽管为了简单,针对一个数据集描述了方法300,但是本领域普通技术人员公知地,方法300可应用于任意数目的数据集。数据管理应用205可使用NDMP传送请求,以将数据集备份到带服务器220和数据服务器210。
在一个实施例中,数据管理应用205请求带服务器220提供连接地址。连接地址可包括带服务器220的传输控制协议(TCP)主机和端口地址。带服务器220可将连接地址传送至数据管理应用205和/或数据服务器210。
在一个实施例中,在310,数据管理应用205将数据集的数据特征发送至带服务器220。例如,在310,数据管理应用205可发送以下数据特征,即估计数据集的大小为2千兆字节(2GB)、指定数据集应保留1年,以及指定数据服务器210具有高优先级。数据特征还可标识数据集在数据服务器210和/或数据源215中的位置。
在315,带服务器220为数据集生成标识符240。在一个实施例中,标识符240包括字母数字字符,数字,或指定数据集的源、时间戳等的类似项目。对于在315由带服务器220生成的其他标识符来说,标识符240是唯一的。
此外,在320,带服务器220将数据集从数据服务器210传送至HSS185。数据服务器210可将数据集复制到带服务器220,并且带服务器220接受来自数据服务器210的数据集。
在325,带服务器220将标识符240发送至数据管理应用205。标识符240标识了HSS 185中用于数据管理应用205的数据集。为了访问来自带服务器220的数据集,数据管理应用205不需要任何其他信息。
在330,数据管理应用205可从带服务器220接收标识符240。在一个实施例中,在335,带服务器220在对于数据管理应用205透明的位置中存储并管理数据集。在过去,数据管理应用205保留例如卷标识符、带标识符、偏移等定位数据集的信息。不能独立于数据管理应用205迁移或以其他方式管理数据集,因为这样数据管理应用205将无法访问数据集。
本发明允许带服务器220管理335数据集。在335,带服务器220可使用包括但不限于保留、迁移和复制的处理来管理数据集。例如,在一段时间之后,HSS 185可将数据集从低延迟、高性能硬盘迁移至高延迟、低性能硬盘。在另一后续时间段之后,HSS 185可将数据集迁移至归档磁带。由于数据管理应用205可仍旧使用标识符240访问数据集,所以不需要向数据管理应用205通知数据集迁移。
在备选实例中,带服务器200可作为一个或多个数据集实例在HSS 185中复制数据集。类似地,带服务器220可在指定时间段内保留一个或多个数据集实例。
在340,数据管理应用205可通过使用标识符240经由带服务器220访问数据集。例如,数据管理应用205可通过使用指定数据集的标识符240来请求带服务器220将数据集传送至数据服务器210,以便恢复数据集。带服务器220可通过使用标识符240从HSS 185取回数据集,与数据集在HSS 185中的位置无关。
方法300透明地将数据集备份到HSS 185。此外,方法300允许对于数据管理应用205透明地存储和管理335数据集,以及使用标识符240访问340数据集。
图4是示出本发明的恢复方法的一个实施例的示意性流程图。方法400可采用图3的步骤340,即使用标识符240访问数据集。方法400的描述引用图1-3的元件,类似的数字表示类似的元件。
在一个实施例中,通过包含具有计算机可读程序的计算机可读介质的计算机程序产品来实现方法300。可将计算机可读程序集成到计算系统(例如DPS 100的计算机105)中,其中与计算系统结合的程序能够执行方法400。
方法400开始,在一个实施例中,在405,数据管理应用205引导数据服务器210生成连接地址。在一个实施例中,连接地址可包括数据服务器210的TCP主机和端口地址。响应于数据管理应用的引导405,在410,数据服务器210可将连接地址发送至带服务器220。
在一个实施例中,在415,带服务器220连接至在连接地址处的数据服务器210。在415,带服务器220可通过向连接地址传送一个或多个分组来连接至数据服务器210。
在某个实施例中,在420,数据管理应用205和数据服务器210标识用于恢复的数据集的一部分。尽管如图3所示,为了简单使用一个数据集,但是本领域普通技术人员可以理解,方法400可应用于任意数目的数据集。数据集的所标识的部分可以被破坏、丢失、删除等。在一个实施例中,所标识的部分包括所有数据集。
在425,数据管理应用205通过使用标识符240从带服务器220请求数据集的一部分,其中标识符240是如图3所述而发送325的标识符240。例如,在425,数据管理应用205可使用标识符240从带服务器220请求所有数据集。在备选实例中,数据管理应用205可使用标识符240、偏移以及数据大小,以在425从带服务器220请求数据集的指定部分。
在一个实施例中,在430,带服务器220通过使用标识符240以及任何其他标识信息(例如偏移、数据大小等)在HSS 185中定位数据集的指定部分。标识符240在HSS 185中唯一地标识和定位数据集,与带服务器220可逻辑地和物理地迁移数据集的位置无关。例如,如果将数据集存储到一个或多个磁带,则标识符240可标识和定位该数据集。
在某个实施例中,在435,带服务器220将数据集的所请求的部分发送至数据服务器210。在435,带服务器220可发送在一个或多个分组中封装的数据集的所请求的部分。
在440,数据服务器210可将数据集的所请求的部分恢复到数据源215,并且方法400结束。例如,在440,数据服务器210可通过使用数据集的所请求的部分重写数据源215上的数据集实例的已破坏部分来恢复数据集的所请求的部分。
方法400允许数据管理应用205通过使用标识数据集的标识符240恢复440数据集的部分。HSS 185可以在一个或多个逻辑和/或物理位置中存储数据集。然而,逻辑和/或物理位置的细节对于数据管理应用205来说是透明的。因此,极大地简化了数据管理应用205的数据管理和跟踪功能,同时释放带服务器200以有效管理数据集。
图5是示出本发明的向HSS 500备份数据集的一个实施例的示意性框图。所示HSS 500可以是图1的HSS 185。HSS 500包括高性能硬盘505、低性能硬盘510、和一个或多个带驱动器180。HSS 500的描述引用图1-4的元件,类似的数字表示类似的元件。
高性能硬盘505可以在第一存储子系统140a的存储设备170a中实现,而低性能硬盘510可以在第二存储子系统140b的存储设备170b中实现。高性能硬盘505可具有低延迟。HSS 500可将数据集存储到更可能被访问的高性能硬盘505。相反,低性能硬盘510可具有高延迟。HSS 500可将数据集存储到不太可能被访问的低性能硬盘510。
HSS 185被配置为存储、迁移以及管理数据集。可将数据集作为一个或多个实例存储在HSS 185内的一个或多个逻辑和物理位置中。尽管为了简单,示出HSS 500具有1个高性能硬盘505、1个低性能硬盘510、和2个带驱动器180,但是本领域普通技术人员可以理解,HSS 185可采用包含存储设备170的元件和逻辑元件的多个逻辑和物理组合。
在320,带服务器220将数据集传送至HSS 500。HSS 500将数据集作为第一数据集实例520a存储在高性能硬盘505上。此外,HSS 500经由第一带驱动器180a将数据集作为第二数据集实例520b存储在磁带上。第一数据集实例520a可供快速恢复到数据服务器210和/或数据源215。第二数据集实例520b可被归档,从而在扩展的时段内成本有效地存储数据集。数据集实例520的数目和位置对于数据管理应用205是透明的。为了访问数据集实例520,数据管理应用205仅需要保留和采用数据集的标识符240。
图6是示出本发明的管理HSS 600中的数据集的一个实施例的示意性框图。HSS 600是图5的HSS 500。在340,带服务器220可通过将第一数据集实例520a从高性能硬盘505迁移至低性能硬盘510来存储和管理数据集实例520。
例如,HSS 600可响应于策略而迁移第一数据集实例520a。所述策略可以指定在高性能硬盘505上存储一周之后从高性能硬盘505迁移数据集实例520。然而,数据管理应用205仍旧可通过使用标识符240访问第一数据集实例520a。
由于包含第二数据集实例520b的磁带被从第一带驱动器180a卸下并归档,所以未示出第二数据集实例520b。然而,如果第一数据集实例520a不可用,则数据管理应用205还可以通过使用标识符240从磁带取回第二数据集实例520b。带服务器220可引导磁带的安装以及从磁带取回第二数据集实例520b。数据管理应用205不需要管理数据集实例520,也不需要为数据集实例520保留位置信息。数据管理应用205可通过使用标识符240访问数据集实例520。
图7是示出本发明的在HSS 700中同时复制的一个实施例的示意性框图。HSS 700包括高性能硬盘505、低性能硬盘510、以及图5和6的HSS500、600的带驱动器180。首先,在335,HSS 700通过将数据集作为第一数据集实例520a复制到第一带驱动器180a并同时将数据集作为第二数据集实例520b复制到第二带驱动器180b来存储数据集。HSS 700可根据带服务器220的引导在2个带驱动器180上同时创建数据集实例520。2个数据集实例520到2个带驱动器180的存储对于数据管理应用205是透明的。
本领域普通技术人员可以理解,本发明可通过将任意数目的数据集实例520复制到任意数目和任意类型的存储设备170(包括但不限于带驱动器180)来实现。例如,可以在一个同时的操作中将4个数据集实例520复制到高性能硬盘505、低性能硬盘510、被配置为高性能带驱动器的第一带驱动器180a、以及被配置为低性能带驱动器的第二带驱动器180b。
本发明将管理多个数据集实例520的任务分配给带服务器220和HSS700,所以数据管理应用205不需要处理分配任务。这降低了网络业务并提高了DPS 100的效率。
本发明的实施例将一个或多个数据集的一个或多个数据集实例520透明地备份到HSS 185并进行管理。可通过使用标识符240来访问数据集,从而数据集的备份、管理和访问对于数据管理应用205是透明的。在不脱离本发明的精神和实质特征的情况下,本发明可通过其他特定形式实现。所述实施例在所有方面都被认为仅是示例性的,而非限制性的。因此,本发明的范围可通过所附权利要求书来指定,而非以上的说明书来指定。在权利要求书的等同物的含义和范围内的所有改变都包含在其范围之内。
Claims (14)
1.一种向分级存储系统透明备份的方法,该方法包括:
请求备份操作,通过使用网络数据管理协议(NDMP)来传送该请求;
为数据集生成唯一标识符;
将所述数据集传送到所述分级存储系统;以及
响应于所述请求而发送所述标识符,其中所述标识符在所述分级存储系统中标识所述数据集。
2.如权利要求1所述的方法,还包括:
发送所述数据集的数据特征;
接收所述标识符;
在对于数据管理应用透明的位置中存储并管理所述数据集;以及
通过使用所述标识符来访问所述数据集。
3.如权利要求2所述的方法,该方法还包括:通过在所述分级存储系统内使用从所述数据集的保留、迁移和复制中选择的处理来管理所述数据集。
4.如权利要求2所述的方法,其中将所述数据集存储在所述分级存储系统内的多个位置中。
5.如权利要求2所述的方法,其中作为所述数据集的多个实例将所述数据集同时存储到所述分级存储系统内的位置。
6.如权利要求1所述的方法,该方法还包括:
标识所述数据集的用于恢复的部分;
通过使用所述标识符从所述分级存储系统请求所述数据集的所述部分;
发送所述数据集的所请求的部分;以及
将所请求的部分恢复到数据源。
7.一种向分级存储系统透明备份的系统,该系统包括:
数据管理应用,被配置为:请求备份操作,并通过使用网络数据管理协议(NDMP)与带服务器和数据服务器通信以完成所述请求;以及
所述带服务器,被配置为:为数据集生成唯一标识符;将所述数据集从所述数据服务器传送到所述分级存储系统;以及响应于所述请求而将所述标识符发送到所述数据管理应用,其中所述标识符在所述分级存储系统中标识所述数据集。
8.如权利要求7所述的系统,其中所述带服务器被配置为:在对于所述数据管理应用透明的位置中存储并管理所述数据集,并且在逻辑上所述带服务器不同于所述数据管理应用,并且所述数据管理应用还被配置为:将所述数据集的数据特征发送到所述带服务器;从所述带服务器接收所述标识符;以及通过使用所述标识符经由所述带服务器来访问所述数据集。
9.如权利要求8所述的系统,所述带服务器还被配置为:通过在所述分级存储系统内使用从所述数据集的保留、迁移和复制中选择的处理来管理所述数据集。
10.如权利要求8所述的系统,其中所述带服务器还被配置为:将所述数据集存储在所述分级存储系统内的多个位置中。
11.如权利要求8所述的系统,其中所述带服务器还被配置为:将所述数据集的多个实例存储到所述分级存储系统内的位置。
12.如权利要求7所述的系统,其中:
所述数据管理应用和数据服务器标识所述数据集的用于恢复的部分;
所述数据管理应用通过使用所述标识符从所述带服务器请求所述数据集的所述部分;
所述带服务器将所述数据集的所请求的部分发送到所述数据服务器;以及
所述数据服务器将所请求的部分恢复到数据源。
13.如权利要求7至12中任一项所述的系统,还包括:分级存储系统和数据服务器,被配置为将数据存储到数据源。
14.一种包含具有计算机可读程序的计算机可用介质的计算机程序产品,其中当在至少一个计算机上执行所述计算机可读程序时,将导致所述至少一个计算机执行权利要求1至6中任一项的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/625,418 | 2007-01-22 | ||
US11/625,418 US7716186B2 (en) | 2007-01-22 | 2007-01-22 | Method and system for transparent backup to a hierarchical storage system |
PCT/EP2008/050320 WO2008090043A1 (en) | 2007-01-22 | 2008-01-14 | Method and system for transparent backup to a hierarchical storage system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101589371A true CN101589371A (zh) | 2009-11-25 |
CN101589371B CN101589371B (zh) | 2012-06-27 |
Family
ID=39261607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200880002487.XA Expired - Fee Related CN101589371B (zh) | 2007-01-22 | 2008-01-14 | 向分级存储系统透明备份的方法和系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7716186B2 (zh) |
JP (1) | JP5235899B2 (zh) |
CN (1) | CN101589371B (zh) |
WO (1) | WO2008090043A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105122202A (zh) * | 2013-03-14 | 2015-12-02 | 微软技术许可有限责任公司 | 多层卷上的文件系统操作 |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8325886B1 (en) | 2007-03-26 | 2012-12-04 | Callwave Communications, Llc | Methods and systems for managing telecommunications |
US8447285B1 (en) | 2007-03-26 | 2013-05-21 | Callwave Communications, Llc | Methods and systems for managing telecommunications and for translating voice messages to text messages |
US8583746B1 (en) | 2007-05-25 | 2013-11-12 | Callwave Communications, Llc | Methods and systems for web and call processing |
US20100070466A1 (en) | 2008-09-15 | 2010-03-18 | Anand Prahlad | Data transfer techniques within data storage devices, such as network attached storage performing data migration |
US8930497B1 (en) | 2008-10-31 | 2015-01-06 | Netapp, Inc. | Centralized execution of snapshot backups in a distributed application environment |
US8332365B2 (en) | 2009-03-31 | 2012-12-11 | Amazon Technologies, Inc. | Cloning and recovery of data volumes |
EP2323084A1 (en) * | 2009-10-23 | 2011-05-18 | Alcatel Lucent | Artifact management method |
US9244779B2 (en) | 2010-09-30 | 2016-01-26 | Commvault Systems, Inc. | Data recovery operations, such as recovery from modified network data management protocol data |
US9785641B2 (en) | 2011-04-01 | 2017-10-10 | International Business Machines Corporation | Reducing a backup time of a backup of data files |
US9529871B2 (en) | 2012-03-30 | 2016-12-27 | Commvault Systems, Inc. | Information management of mobile device data |
US9069799B2 (en) | 2012-12-27 | 2015-06-30 | Commvault Systems, Inc. | Restoration of centralized data storage manager, such as data storage manager in a hierarchical data storage system |
US9794135B2 (en) * | 2013-11-11 | 2017-10-17 | Amazon Technologies, Inc. | Managed service for acquisition, storage and consumption of large-scale data streams |
US10635644B2 (en) | 2013-11-11 | 2020-04-28 | Amazon Technologies, Inc. | Partition-based data stream processing framework |
WO2015070232A1 (en) * | 2013-11-11 | 2015-05-14 | Amazon Technologies, Inc. | Data stream ingestion and persistence techniques |
US9858322B2 (en) | 2013-11-11 | 2018-01-02 | Amazon Technologies, Inc. | Data stream ingestion and persistence techniques |
US9720989B2 (en) * | 2013-11-11 | 2017-08-01 | Amazon Technologies, Inc. | Dynamic partitioning techniques for data streams |
US9639589B1 (en) | 2013-12-20 | 2017-05-02 | Amazon Technologies, Inc. | Chained replication techniques for large-scale data streams |
US9785510B1 (en) | 2014-05-09 | 2017-10-10 | Amazon Technologies, Inc. | Variable data replication for storage implementing data backup |
US9734021B1 (en) | 2014-08-18 | 2017-08-15 | Amazon Technologies, Inc. | Visualizing restoration operation granularity for a database |
US10587688B2 (en) * | 2014-09-19 | 2020-03-10 | Netapp, Inc. | Techniques for coordinating parallel performance and cancellation of commands in a storage cluster system |
US10356150B1 (en) | 2014-12-15 | 2019-07-16 | Amazon Technologies, Inc. | Automated repartitioning of streaming data |
US9928144B2 (en) | 2015-03-30 | 2018-03-27 | Commvault Systems, Inc. | Storage management of data using an open-archive architecture, including streamlined access to primary data originally stored on network-attached storage and archived to secondary storage |
US10101913B2 (en) | 2015-09-02 | 2018-10-16 | Commvault Systems, Inc. | Migrating data to disk without interrupting running backup operations |
US10423493B1 (en) | 2015-12-21 | 2019-09-24 | Amazon Technologies, Inc. | Scalable log-based continuous data protection for distributed databases |
US10853182B1 (en) | 2015-12-21 | 2020-12-01 | Amazon Technologies, Inc. | Scalable log-based secondary indexes for non-relational databases |
US10567500B1 (en) | 2015-12-21 | 2020-02-18 | Amazon Technologies, Inc. | Continuous backup of data in a distributed data store |
KR101712594B1 (ko) * | 2016-06-22 | 2017-03-07 | 주식회사 모비젠 | 다계층 구조 스토리지에 대한 데이터 관리 시스템 및 그 방법 |
US10481800B1 (en) * | 2017-04-28 | 2019-11-19 | EMC IP Holding Company LLC | Network data management protocol redirector |
US10896097B1 (en) * | 2017-05-25 | 2021-01-19 | Palantir Technologies Inc. | Approaches for backup and restoration of integrated databases |
US10637846B2 (en) * | 2017-08-30 | 2020-04-28 | Capital One Services, Llc | System and method for cloud-based analytics |
US10754844B1 (en) | 2017-09-27 | 2020-08-25 | Amazon Technologies, Inc. | Efficient database snapshot generation |
US10990581B1 (en) | 2017-09-27 | 2021-04-27 | Amazon Technologies, Inc. | Tracking a size of a database change log |
US11182372B1 (en) | 2017-11-08 | 2021-11-23 | Amazon Technologies, Inc. | Tracking database partition change log dependencies |
US11042503B1 (en) | 2017-11-22 | 2021-06-22 | Amazon Technologies, Inc. | Continuous data protection and restoration |
US11269731B1 (en) | 2017-11-22 | 2022-03-08 | Amazon Technologies, Inc. | Continuous data protection |
US10742735B2 (en) | 2017-12-12 | 2020-08-11 | Commvault Systems, Inc. | Enhanced network attached storage (NAS) services interfacing to cloud storage |
US10621049B1 (en) | 2018-03-12 | 2020-04-14 | Amazon Technologies, Inc. | Consistent backups based on local node clock |
US10798140B1 (en) | 2018-07-16 | 2020-10-06 | Amazon Technologies, Inc. | Stream data record reads using push-mode persistent connections |
US11075984B1 (en) | 2018-07-16 | 2021-07-27 | Amazon Technologies, Inc. | Workload management at streaming data service supporting persistent connections for reads |
US10956246B1 (en) | 2018-07-16 | 2021-03-23 | Amazon Technologies, Inc. | Isolated read channel management interfaces at streaming data service |
US11070600B1 (en) | 2018-07-16 | 2021-07-20 | Amazon Technologies, Inc. | Optimization techniques to support lagging readers at streaming data service |
US10855754B1 (en) | 2018-07-16 | 2020-12-01 | Amazon Technologies, Inc. | Isolated read channel categories at streaming data service |
US10768830B1 (en) | 2018-07-16 | 2020-09-08 | Amazon Technologies, Inc. | Streaming data service with isolated read channels |
US11126505B1 (en) | 2018-08-10 | 2021-09-21 | Amazon Technologies, Inc. | Past-state backup generator and interface for database systems |
US11042454B1 (en) | 2018-11-20 | 2021-06-22 | Amazon Technologies, Inc. | Restoration of a data source |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5778395A (en) * | 1995-10-23 | 1998-07-07 | Stac, Inc. | System for backing up files from disk volumes on multiple nodes of a computer network |
US6397308B1 (en) * | 1998-12-31 | 2002-05-28 | Emc Corporation | Apparatus and method for differential backup and restoration of data in a computer storage system |
CN1159654C (zh) * | 1999-05-26 | 2004-07-28 | 富士通株式会社 | 网络元件管理系统和方法 |
JP3901883B2 (ja) * | 1999-09-07 | 2007-04-04 | 富士通株式会社 | データバックアップ方法、データバックアップシステム及び記録媒体 |
US6549992B1 (en) * | 1999-12-02 | 2003-04-15 | Emc Corporation | Computer data storage backup with tape overflow control of disk caching of backup data stream |
US6434681B1 (en) * | 1999-12-02 | 2002-08-13 | Emc Corporation | Snapshot copy facility for a data storage system permitting continued host read/write access |
RU2002118306A (ru) * | 1999-12-07 | 2004-02-20 | Дейта Фаундейшн, Инк. (Us) | Масштабируемая архитектура системы для хранения данных |
US6615225B1 (en) * | 2000-04-27 | 2003-09-02 | International Business Machines Corporation | System and method for relating files in a distributed data storage environment |
US7065610B1 (en) * | 2000-06-27 | 2006-06-20 | Emc Corporation | Method and apparatus for maintaining inventory of logical volumes stored on storage elements |
WO2002061525A2 (en) * | 2000-11-02 | 2002-08-08 | Pirus Networks | Tcp/udp acceleration |
JP4278452B2 (ja) * | 2003-08-04 | 2009-06-17 | 株式会社日立製作所 | 計算機システム |
US20050193235A1 (en) * | 2003-08-05 | 2005-09-01 | Miklos Sandorfi | Emulated storage system |
JP2005108061A (ja) * | 2003-10-01 | 2005-04-21 | Hitachi Maxell Ltd | 情報の保存方法 |
US8244903B2 (en) * | 2003-12-22 | 2012-08-14 | Emc Corporation | Data streaming and backup systems having multiple concurrent read threads for improved small file performance |
JP4325524B2 (ja) * | 2004-09-29 | 2009-09-02 | 日本電気株式会社 | スイッチ装置とシステム並びにバックアップ及びリストア方法とプログラム |
US20060112219A1 (en) * | 2004-11-19 | 2006-05-25 | Gaurav Chawla | Functional partitioning method for providing modular data storage systems |
US7711700B2 (en) * | 2005-11-28 | 2010-05-04 | Commvault Systems, Inc. | Systems and methods for classifying and transferring information in a storage network |
US20070214384A1 (en) * | 2006-03-07 | 2007-09-13 | Manabu Kitamura | Method for backing up data in a clustered file system |
US20080016390A1 (en) * | 2006-07-13 | 2008-01-17 | David Maxwell Cannon | Apparatus, system, and method for concurrent storage pool migration and backup |
-
2007
- 2007-01-22 US US11/625,418 patent/US7716186B2/en not_active Expired - Fee Related
-
2008
- 2008-01-14 JP JP2009545897A patent/JP5235899B2/ja not_active Expired - Fee Related
- 2008-01-14 CN CN200880002487.XA patent/CN101589371B/zh not_active Expired - Fee Related
- 2008-01-14 WO PCT/EP2008/050320 patent/WO2008090043A1/en active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105122202A (zh) * | 2013-03-14 | 2015-12-02 | 微软技术许可有限责任公司 | 多层卷上的文件系统操作 |
CN105122202B (zh) * | 2013-03-14 | 2018-03-27 | 微软技术许可有限责任公司 | 多层卷上的文件系统操作 |
Also Published As
Publication number | Publication date |
---|---|
CN101589371B (zh) | 2012-06-27 |
JP5235899B2 (ja) | 2013-07-10 |
US7716186B2 (en) | 2010-05-11 |
WO2008090043A1 (en) | 2008-07-31 |
JP2010517125A (ja) | 2010-05-20 |
US20080177806A1 (en) | 2008-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101589371B (zh) | 向分级存储系统透明备份的方法和系统 | |
US11314618B2 (en) | Management of internet of things devices | |
US11853191B2 (en) | Management of internet of things devices | |
US11061714B2 (en) | System for assignment of proxies for virtual-machine secondary copy operations | |
US11422900B2 (en) | Platform-agnostic containerized application data protection | |
US20210208977A1 (en) | Storing data to cloud libraries in cloud native formats | |
US20210374021A1 (en) | Automated media agent state management | |
US10298710B2 (en) | Assigning data agent proxies for executing virtual-machine secondary copy operations including streaming backup jobs | |
US10135922B2 (en) | Granular sync/semi-sync architecture | |
US10360110B2 (en) | Point-in-time backups of a production application made accessible over fibre channel and/or iSCSI as data sources to a remote application by representing the backups as pseudo-disks operating apart from the production application and its host | |
CA2929776C (en) | Client-configurable security options for data streams | |
US9495382B2 (en) | Systems and methods for performing discrete data replication | |
US11249858B2 (en) | Point-in-time backups of a production application made accessible over fibre channel and/or ISCSI as data sources to a remote application by representing the backups as pseudo-disks operating apart from the production application and its host | |
CN100561447C (zh) | 将存储卷呈现为虚拟卷的装置、系统和方法 | |
CN101105738A (zh) | 用于并行存储池迁移和备份的装置、系统和方法 | |
US9830228B1 (en) | Intelligent backup model for snapshots | |
US20220261321A1 (en) | Automatic failover of a storage manager | |
US20210390495A1 (en) | Dynamic computing progress tracker | |
US10210013B1 (en) | Systems and methods for making snapshots available | |
US11079960B2 (en) | Object storage system with priority meta object replication | |
US11561978B2 (en) | Intelligent cache management for mounted snapshots based on a behavior model | |
US11474753B2 (en) | Systems and methods for backing up to a virtual tape library | |
US11093465B2 (en) | Object storage system with versioned meta objects | |
US11074002B2 (en) | Object storage system with meta object replication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120627 Termination date: 20190114 |
|
CF01 | Termination of patent right due to non-payment of annual fee |