摘要: 一、背景知识"Shard" 这个词英文的意思是"碎片"，而作为数据库相关的技术用语，"Sharding" 姑且称之为"分片"。Sharding 不是一个某个特定数据库软件附属的功能，而是在具体技术细节之上的抽象处理，是水平扩展(Scale Out，亦或横向扩展、向外扩展)的解决方案，其主要目的是为突破单节点数据库服务器的 I/O 能力限制，解决数据库扩展性问题。Sharding 基本上是针对开源数据库的扩展性解决方案，很少有听说商业数据库进行 Sharding 的。目前业界的趋势基本上是拥抱 Scale Out，逐
阅读全文
摘要: 一、背景知识Amoeba 是阿里巴巴的技术陈思儒开始的一个开源项目，它是分布式数据库Proxy解决方案。Amoeba框架是基于Java SE 1.5开发的，在安装Amoeba之前需要先安装Java环境。经验证，Amoeba在Java SE 1.5和Java SE 1.6上能正常运行。(一)Amoeba包括3个产品：Amoeba From Sourceforge1. Amoeba for MySQL是Amoeba开源社区发布的一款MySQL数据库中间层代理软件，致力于数据库的切分整合、负载均衡、高可用性等；2. Amoeba for Aladdin支持所有提供jdbc驱动的数据库(Oracle、
阅读全文
摘要: 前言性能优化是数据库方向一个很重要的技能，这也是快速提供企业级应用性能最快捷的方式，所以性能优化的高低很大程度上表现了个人技能的高低。下面的文章是我在实际项目中性能优化的一些经验，希望对那些需要实战帮助的童鞋有一点提示和帮助。希望大家拍砖。系列文章索引SQL Server 2005表分区实战系列（文章索引）SQL Server 数据库服务器高性能设置SQL Server 2005 扩展函数的基本概念SQL Server 2005 使用扩展函数进行性能优化SQL Server 2005 Url正则表达式 内存常驻完美解决方案SQL Server 2005 索引中include的魅力（具有包含性列
阅读全文
摘要: 一、场景经过一段时间表分区的实践，我们先对表进行分区（形成表分区模板）；表数据搬迁模板（迁移数据到新的分区表）；分区管理自动化（自动化进行交换分区）；详情请见：SQL Server 表分区实战系列（文章索引） 再进一步延伸，我们就需要对这些做了表分区的库进行备份了，之前写过一篇博文：SQL Server 备份和还原全攻略，这里描述了MSSQL的一些备份概念，今天这里虽然没有用到，但是像差异备份在备份比较大的情况下使用就会有很好的效果。 今天我们就来说说如何使用MSSQL的维护计划来备份表分区的。假设这样一个场景：一个数据库现在已经几十G（如图1），但是占用主要空间的就是一两个表的数据（流水记录
阅读全文
摘要: 前言数据库的设计与开发包括了很多东西，也许就是一个设计思想：比如空间换时间方案，读写分离，水平切分表，HA群集等；开发方面就包括脚本的开发、扩展函数，涉及到一些SQL的使用。 该系列还在完善中，欢迎大家指出还缺少些什么内容的维护，我会在后面的文章中陆续补充的。系列文章索引SQL Server数据库帐号密码安全设计简单实用SQL脚本简单实用SQL脚本Part2：日期和时间函数简单实用SQL脚本Part：游标模板简单实用SQL脚本Part：查找SQL Server 自增ID值不连续记录简单实用SQL脚本Part：生成站点导航树形结构简单实用SQ脚本Part：sql多行转为一列的合并问题简单实用SQ
阅读全文
摘要: 前言数据库的维护其实包括很多方面，用户权限、数据备份等，这方面的积累也是必不可少的，所以这里把一些常用的的维护进行一些总结，这些文章的特点就是我会使用比较多的图片进行说明，大家看起来会比较直观。 该系列还在完善中，欢迎大家指出还缺少些什么内容的维护，我会在后面的文章中陆续补充的。系列文章索引SQL Server 数据库帐号密码生成SQL Server 维护计划实现数据库备份SQL Server 备份和还原全攻略SQL Server 数据库迁移偏方SQL Server 数据库最小宕机迁移方案SQL Server 数据库服务器高性能设置SQL Server 2005链接服务器SQL Server
阅读全文
摘要: 前言前段时间在忙数据库的表分区，经常会去上网找资料，但是在找到都是测试表分区的文章，没有实战经验的，所以在我把表分区运用到实际项目中的时候遇到了很多问题。比如：如何确认分区字段？分区字段与聚集索引的区别与联系？如何存储分区索引？MSDN说交换分区是以秒计算，但执行40G交换分区超时？如何解决分区不断增长的问题？自动化交换分区的陷阱？这些问题都只能自己在实战中摸索答案，后来我写了几篇关于这些问题的博文，希望对那些需要实战帮助的童鞋有一点提示和帮助。希望大家拍砖。实战说明某生产数据库大小已经有800G了，每天进库数据量大概有150W条记录（数据空间大概为7G），而服务器现在已经没有太多的磁盘空间了
阅读全文
摘要: 行列互转Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->createtabletest(idint,namevarchar(20),quarterint,profileint)insertintotestvalues(1,'a',1,1000)insertintotestvalues(1,'a',2,2000)insertintotestvalues(1,'a',3,4000)insertint
阅读全文
摘要: 一、背景知识"Shard" 这个词英文的意思是"碎片"，而作为数据库相关的技术用语，"Sharding" 姑且称之为"分片"。Sharding 不是一个某个特定数据库软件附属的功能，而是在具体技术细节之上的抽象处理，是水平扩展(Scale Out，亦或横向扩展、向外扩展)的解决方案，其主要目的是为突破单节点数据库服务器的 I/O 能力限制，解决数据库扩展性问题。Sharding 基本上是针对开源数据库的扩展性解决方案，很少有听说商业数据库进行 Sharding 的。目前业界的趋势基本上是拥抱 Scale Out，逐
阅读全文
摘要: 一、背景知识Amoeba 是阿里巴巴的技术陈思儒开始的一个开源项目，它是分布式数据库Proxy解决方案。Amoeba框架是基于Java SE 1.5开发的，在安装Amoeba之前需要先安装Java环境。经验证，Amoeba在Java SE 1.5和Java SE 1.6上能正常运行。(一)Amoeba包括3个产品：Amoeba From Sourceforge1. Amoeba for MySQL是Amoeba开源社区发布的一款MySQL数据库中间层代理软件，致力于数据库的切分整合、负载均衡、高可用性等；2. Amoeba for Aladdin支持所有提供jdbc驱动的数据库(Oracle、
阅读全文
摘要: 一、背景在某天晚上凌晨1点，我收到领导的通知：需要把我们所有的数据库的密码都需要进行一次修改，原因是我们放到Web服务器的配置文件config中明文了我们的数据库帐号和密码，而且这份配置文件可能泄露了，更糟糕的是我们的数据库是可以通过外网进行访问的。虽然有端口进行映射，但是我们的数据依然处在危险的状态，所以这个时候DBA需要争分夺秒修改数据库的帐号密码。我们的数据库服务器大概有30台，而且每台机器上跑了很多个数据库。有创建数据库帐号经验的同学你会发现：使用SSMS进行创建帐号密码是件多么痛苦的事情，需要点击很多checkbox，特别是在创建一个可以访问整个数据库实例里的所有数据库的时候（虽然我
阅读全文
摘要: 一、背景作为一个DBA，或许你有很多的系统需要管理，而且不同的系统使用了不同的数据库，通常的情况下，我们都是通过sa进行设置密码的，而且在config文件里面明文的写上我们的帐号和密码，这样的设计我们是否太大方了呢？或许你会说，我们的数据库是安全的，因为我们的数据库是只有内网可以访问的，但是那台机器的安全性呢？因为能进入操作系统就能看到我们的帐号密码了。再加上有些时候我们不希望客户能看到数据库密码的。那么应该如何保证我们的数据库账号密码的安全性呢？ 二、架构设计针对上面的安全性问题，我设计了下面的方案，主要是运用加密算法进行加密，再通过分离一些职责，设置几道关卡，加强数据的安全性。下面是这个方
阅读全文
摘要: 一、前言我已经在高兴对服务器创建了表分区并且获得良好性能和自动化管理分区切换的时候，某一天，开发人员告诉我，某表的两个字段的数据不唯一，需要为这两个字段创建唯一索引的时候，这一切就变得不完美了。列的唯一，这个实际上是一个唯一索引。使用关键字unique建立。二、背景我有一个表TestUnique，这个表使用分区方案[Sch_TestUnique_Id]，它是以Id做为分区依据列的，这个Id也是一个聚集索引，表中其它索引是跟分区对齐的（创建其它非聚集索引的时候使用了分区方案或者不指定-默认就是分区方案），而且我我这个表很大，我需要定时的进行交换分区（SWITCH PARTITION、滑动窗口、切
阅读全文
摘要: 前言性能优化是数据库方向一个很重要的技能，这也是快速提供企业级应用性能最快捷的方式，所以性能优化的高低很大程度上表现了个人技能的高低。下面的文章是我在实际项目中性能优化的一些经验，希望对那些需要实战帮助的童鞋有一点提示和帮助。希望大家拍砖。系列文章索引SQL Server 2005表分区实战系列（文章索引）SQL Server 数据库服务器高性能设置SQL Server 2005 扩展函数的基本概念SQL Server 2005 使用扩展函数进行性能优化SQL Server 2005 Url正则表达式 内存常驻完美解决方案SQL Server 2005 索引中include的魅力（具有包含性列
阅读全文
摘要: 一、背景我们的数据库比较多，它们提供了外网的访问，我现在想对这些数据库进行一些管理，获取这些数据库的一些信息，我们可以通过什么方式实现呢？在SQL Server2005版本之后有一个叫做链接服务器的新功能，基本的操作可以参考：SQL Server 2005链接服务器，我们就通过这个链接服务器来获取我们需要的数据，但是我们的服务器比较多，这个批量创建链接服务器和批量删除链接服务器就呼之欲出了。二、设计过程设计简述：创建如下图的表结构，LinkName保存远程链接的别名，LinkName2是创建链接方式2的一个补充字段，LinkIP代表远程服务器的地址，如果有端口的还需要加上端口。这里为什么要设计
阅读全文
摘要: 一、出错情况有些时候当你重启了数据库服务，会发现有些数据库变成了正在恢复、置疑、可疑等情况，这个时候DBA就会很紧张了，下面是一些在实践中得到证明的方法。在一次重启数据库服务后，数据库显示正在恢复，过了很久还是这个状态，离线时间不能太长，所以就想起了一个方法，就是把数据库服务停止了，把数据文件mdf和ldf拷贝出来，删除了ldf文件，按照之前的经验，好像是在没有ldf的情况下可以使用mdf来恢复数据库。创建了一个同名的数据库，停止数据库服务，覆盖mdf文件，再启动数据库服务，这个时候还是处于可疑的状态。其中使用mdf来附加数据库是附加不了的，一直报错。二、解决步骤方法一：使用脚本进行数据库恢复
阅读全文
摘要: 一、前言SQL Server 备份和还原全攻略，里面包括了通过SSMS操作还原各种备份文件的图形指导，SQL Server 数据库最小宕机迁移方案，里面使用SQL脚本（T-SQL）完成完全备份、差异备份、完全还原、差异还原等； 有了上面的基础，我们加入了数据库的备份元素，通过维护计划来生成数据库的备份文件，这包括两种文件，数据库的完全备份与差异备份，有了这两个文件，我们可以通过SQL Server 备份和还原全攻略（图形操作）或者SQL Server 数据库最小宕机迁移方案（代码操作）的方法来还原我们的数据；二、场景设计假设我们的数据库不是很大，但是我们的数据会比较重要，大概一天一个备份就能满
阅读全文
摘要: 一、场景经过一段时间表分区的实践，我们先对表进行分区（形成表分区模板）；表数据搬迁模板（迁移数据到新的分区表）；分区管理自动化（自动化进行交换分区）；详情请见：SQL Server 表分区实战系列（文章索引） 再进一步延伸，我们就需要对这些做了表分区的库进行备份了，之前写过一篇博文：SQL Server 备份和还原全攻略，这里描述了MSSQL的一些备份概念，今天这里虽然没有用到，但是像差异备份在备份比较大的情况下使用就会有很好的效果。 今天我们就来说说如何使用MSSQL的维护计划来备份表分区的。假设这样一个场景：一个数据库现在已经几十G（如图1），但是占用主要空间的就是一两个表的数据（流水记录
阅读全文
摘要: 一、说明在SQL Server 的作业中，有些时候我们希望步骤在执行失败后可以重复执行多几次，而我产生这个念头的是因为我在执行某个步骤（这个步骤对分区表进行修改分区方案、分区函数）的时候出现死锁了，如下面描述：消息1205，级别13，状态55，第1 行事务(进程ID 115)与另一个进程被死锁在锁资源上，并且已被选作死锁牺牲品。请重新运行该事务。我想到解决这个问题的方法是重复执行多几次这个步骤（经测试执行几次可行），所以这里就讲讲如果让数据库作业完成这一动作。二、测试实验(一)测试方案：我们在作业中设置了简单的两个步骤，步骤1往表中插入一条数据，步骤2更新这条记录，让计数器+1，这就测试了成功
阅读全文
摘要: 前言数据库的设计与开发包括了很多东西，也许就是一个设计思想：比如空间换时间方案，读写分离，水平切分表，HA群集等；开发方面就包括脚本的开发、扩展函数，涉及到一些SQL的使用。 该系列还在完善中，欢迎大家指出还缺少些什么内容的维护，我会在后面的文章中陆续补充的。系列文章索引SQL Server数据库帐号密码安全设计简单实用SQL脚本简单实用SQL脚本Part2：日期和时间函数简单实用SQL脚本Part：游标模板简单实用SQL脚本Part：查找SQL Server 自增ID值不连续记录简单实用SQL脚本Part：生成站点导航树形结构简单实用SQ脚本Part：sql多行转为一列的合并问题简单实用SQ
阅读全文
摘要: 一、设计说明设计这个自动化的目的是想要交替、重复地使用固定的几个分区（分区编号01~05）来保存数据，当最后一个分区就是快满的时候，我们会把最旧数据的分区的数据清空出分区，新数据就可以使用老分区空间了。应用这个自动化管理分区的环境是有些限制的，其一：分区的数据是呈现递增的，比如分区字段是自增Id值，或者是以日期作为分区；其二：可以接受历史数据被移除分区表带来的问题。其三：一天进库的数量不应大于分区管理表PartitionManage中Part_Value与Change_Value的差，因为我们作业执行的频率是1天，不过你可以调整Change_Value或者作业的执行频率； 具体脚本可以参考：S
阅读全文
摘要: 前言数据库的维护其实包括很多方面，用户权限、数据备份等，这方面的积累也是必不可少的，所以这里把一些常用的的维护进行一些总结，这些文章的特点就是我会使用比较多的图片进行说明，大家看起来会比较直观。 该系列还在完善中，欢迎大家指出还缺少些什么内容的维护，我会在后面的文章中陆续补充的。系列文章索引SQL Server 数据库帐号密码生成SQL Server 维护计划实现数据库备份SQL Server 备份和还原全攻略SQL Server 数据库迁移偏方SQL Server 数据库最小宕机迁移方案SQL Server 数据库服务器高性能设置SQL Server 2005链接服务器SQL Server
阅读全文
摘要: 一、需求在管理数据库过程中，我们经常需要控制某个用户访问数据库的权限，比如只需要给这个用户访问某个表的权限，甚至是CRUD的权限，更小粒度的还可以去到某几个字段的访问权限。写这篇文章就是说明下这个操作过程。其实这只是SQL Server权限管理很简单的一小块，有些地方并没有深入理解和讲述，只是希望对一些刚入门的童鞋有帮助，其它大侠就当是：我当堂吓一跳，然后得啖笑。（赌圣）二、操作步骤1. 首先进入数据库级别的【安全性】-【登录名】-【新建登录名】（图1：新建登录名）2. 在【常规】选项卡中，如下图所示，创建登陆名，并设置默认的数据库（图2：设置选项）3. 在【用户映射】选项卡中，如下图所示，勾
阅读全文
