mongodb数据库适合做什么
mongodb众所周知不支持事务,所以需要强事务的业务根本不能考虑mongodb。mongodb的优势就是文档存储:1. 业务经常变动,需要不时的添加字段,那么mongodb比较适合,关系型数据库添加字段的复杂度也还好2. 嵌套文档,业务数据比较复杂,适合嵌套文档式存储,那么mongodb非常合适,这个关系型数据库比较难搞,虽然MySQL和pg也有文档存储,但MySQL的不成熟,pg毕竟现在生产中使用还是偏少,个人也不了解,这里不谈。但这不仅仅这一点优势,具体下面会细说。3. upsert支持,查询速度也不慢4. 高可用的副本集支持5. 查询语法非常丰富,嵌套文档查询功能非常强大,不是重度用户可能不能理解下面说说一个具体的使用事例:项目的一条数据在10kb左右,如果使用关系型数据库那么需要将这条数据拆分成大概几百条左右,建造多个表,设计较复杂,这种数据大概在一百万条左右,想想拆分后在十几亿的数据量就可怕。打平后的数据什么DB也都可以拿下,只是一百万变十几亿比较恐怖而已。如果采用MySQL存储,每次查询需要使用外键查询多个表,从这些表中拉取数据,性能肯定要下降很多,比不上只在一个表查询,而且只拉取少两个数量级的数据。查询也还好,业务允许可以对结果做缓存,放到redis里去。但是重点来了,需求要增量更新部分数据,这时候需要更新多个表,根本没法做到原子性(注意事务不是原子操作),当然也可以使用cas等技术补偿,达到最终一致性。但使用mongodb存储只需要update一条数据,对相应的嵌套文档中内容更新,可以做到原子性,是不是很方便?推荐学习《python教程》具体说说该项目的难点,查询无法使用缓存,可能会很吃惊,但是业务决定了确实做不了,而且增量更新的量达到上万的QPS,如果不能保证原子性想想多么可怕!所以mongodb在这里帮了大忙,关系型数据库解决不了这个难题。有人可能要问,mongodb没有事务,上游数据写入也会有问题,你不可能所有数据都存一个表吧?当然不是的,我们mongodb里的数据是从MySQL中清洗出来存到mongodb中的,mongodb只做单点的业务需求,综合的数据还是在MySQL中。此项目我们用了上百个副本集,保证系统的高可用,这些副本集配置只要一条shell就搞定,如果用MySQL的主从不知道怎么配(我自己不懂),估计DBA得忙死,而该项目完全不需要也没用到DBA。说了这么多mongo的优点,也说说他的缺点:1. 查询优化器和MySQL没法比2. 不支持reload,只能冷重启,初始化配置的时候比较麻烦3. 没有事务,不敢存储第一手数据,多用来做备份数据的存储mongodb可以做很多事情,取决于你脑洞,性能不差,存一些相对不重要的数据,mongodb嵌套文档功能强大,多看看官方文档挖掘挖掘有用信息,每次都能发现惊喜。
Django学习资料
django在网站上有一个教程。耐心些慢慢学。1天就学会了。django不是很容易学习。不过与python相同,经常读读它的源代码就懂了。django的文档是相当的完整。甚至比python的好。如果不习惯英文也可以找到中文的文档。
oracle上亿表海量数据进行大批量数据删除有什么好的解决方案
以下纯属个人意见,请根据实际情况判断(1)省下的数据量如果不大,那么可以考虑建立一张临时表,将需要保留的数据临时灌过去,然后truncate该表,然后再把数据灌回来。也可以考虑drop表,然后另外一张表改名,不过这样可能会有很多的后续操作,比如索引的建立等等,因此一般不用drop操作。(2)上亿的数据,应该有分区吧,如果可能的话,按照分区truncate,这样也可以。(3)实在不能truncate,只能delete那么建议找个字段循环删除提交,每次不能太多,最好保持在5万以下(根据实际情况具体判断),毕竟delete是最消耗资源的dml语句。(4)如果可能的话,不要同一时间操作,分批操作,这样能减少一部分数据库负载压力(特别是undo)。(5)一定要闲时操作,因为delete消耗资源比较多,会使数据库变慢。