标签分类:raft

Zookeeper系统设计的缺陷

之前总结过Zookeeper的各种设计优点,但是这个系统的缺陷与优点同样突出,本文就是结合自己的使用经验,业界给出的评价对ZK的缺点进行的归纳,一方面归纳使用表现上的不足,另一方面根据个人经验总结出系统本身功能设计时的就存在的缺陷。同时也思考了相应对策与改进的办法,算是本人对ZK设计的完整的思考总结吧。最后还关注了下etcd这个后起之秀的设计,看看它是否已经弥补了ZK的不足,能否担当后继者。 1. …

阅读全文

每日技术新闻计划

每月/日发布收集十天技术新闻,定时8点发出,分为1.新语言(go,scala,closure等) 2. 前端、移动  3. web框架 4. 架构、分布式 5. 操作系统、DB 6. 大数据 7. 机器学习 8.运维技术 9. 新产品、新教程 10. 科技公司

可以用来测试AnyNote的功能。

例:

  1. [编程语言]上周C++委员会奥卢会议之后,C++17的特性已尘埃落定,正行进在成为国际标准的道路上。
  2. [前端移动] 百度在 6 月 30 日这个 ECharts 三周年之际发布了 3.2.0版本,在功能方面,这个版本新增了 brush(刷选),markArea,单轴等组件,在底层的性能上也做了很多的优化工作,同时我们官网还新增了一款 主题编辑器方便大家编辑自己的主题
  3. [Web框架]在6月27日的红帽DevNation峰会上,微软正式发布了.NET Core 1.0、ASP.NET 1.0和Entity Framework Core 1.0。其中.NET Core最受瞩目,这是一款跨平台、开源且模块化的.NET平台,可以用来搭建web应用、微服务、创立应用库和控制台
  4. [分布式] Distributed Consensus: Making Impossible Possible 即将在 QCon London 2016 上的演讲,提及常用分布式共识算法。重点介绍两个最新的算法: los算法 的改进是 leader 节点可以把部分 workload 委托 follower 节点,减轻了 leader 的负担;而 hydra 算法则实现了跨数据中心(geo-replication)的分布式共识
  5. [操作系统]Why do we use the Linux kernel’s TCP stack? 这是个有趣的话题,源于作者在 Twitter 上的一个话题:人们为什么要编写用户态 TCP 协议栈,是因为系统调用代价高吗?Linux处理TCP协议成本太高:1)复制成本,从内核空间到用户空间,从内存到cache;2)调度成本,在接收过程中处理中断和上下文切换降低CPU使用效率;3)解析成本 ,内核通用性的层层打包和解包需要大量的字符串处理,而一些应用仅仅需要处理几个字段,如负载均衡。内核过度处理降低了网络性能
  6. [大数据]作为Zookeeper的强力竞争对手,由CoreOS开发的分布式键值对存储引擎etcd v3.0.0正式发布,它被用于分布式网络、服务发现、配置管理、任务调度和负载均衡等服务中。etcd3吸取了etcd2的教训。基础服务接口使用gRPC代替了JSON以增加效率。JSON外部协议可以通过gRPC gateway得到支持。有生命周期的键的实现被替换为轻型流式租约存活(streaming lease keepalive)模型。观察者也被重新设计,使用流式多路复用事件替代老式的事件模型。v3的数据模型去除了显示键继承和不稳定的观察窗口,取而代之的是扁平二进制键空间,并使用多版本并发控制的事务语义
  7. [机器学习]6月1日,Google公布了Project Magenta:基于Google机器学习平台Tensorflow上面的艺术创造框架。我们在浏览器中就可以训练自己的神经网络,还有酷酷的图像让我们更直观地了解神经网络的工作原理。而Project Magenta的目标,本来就不是创造出像人类创造的曲子,而是创造出人们喜欢听的曲子。所以“Keep It Weird(保持它的奇怪)”就变成了Project Magenta的口号之一
  8. [运维] 容器运行时规范及工具 RunC 1.0 Release Candidate 发布。 Ansible Container 工具也很有趣:用户只需编写 playbooks ,就能完成容器构建、部署和运行
  9. [技术新闻]攻击者是在创建childDAO并将Ether持续转入其中,这是目前唯一可行的提取Ether的机制,从代码看,本次攻击得逞的因素有二:一是dao余额扣减和Ether转账这两步操作的顺序有误,二是不受限制地执行未知代码。本次黑客事件不意味着以太坊乃至去中心化、区块链的终结。虽然教训深刻,但如果能够汲取教训,那么从中获益的不仅仅是THE DAO, 以太坊,整个区块链社区都将从中获益。
  10. [科技公司]据相关媒体援引消息人士报道称,阿里2亿美元全资收购豌豆荚,并将于近日宣布。收购后,豌豆荚将并入阿里巴巴移动集团,向俞永福汇报。阿里巴巴的财务和审计已经全面接管豌豆荚,交易完成后,豌豆荚大股东软银将完全退出。

分布式系统的基础算法知识

原文链接:What We Talk About When We Talk About Distributed Systems(翻译:柳泉波) 我一直在学习有关分布式系统的知识,学习时间不算短了。老实说,只要你开始钻研分布式系统,知识点好像学不完似的,一个接一个。分布式系统领域的文献太多了,包括许多大学发表的论文,还有很多书籍可选。像我这样的绝对新手,很难决定应该阅读哪些论文或者购买哪些书籍。 同时 …

阅读全文

微信后端存储架构学习

学习了解一下微信的后端存储架构。使用微信的过程中就能发现微信不像QQ并没有漫游所有聊天信息,记录基本完全是在本地存储的,因此后台存储难度应该不大。 视频与ppt地址,演讲人微信基础平台组许家滔sunnyxu 主要介绍内部产品QuorumKV,具体关注kv系统的强一致性。 需求背景:微信全球数据布局分在上海,天津,深圳,香港,加拿大,乃至同城多园区分布等等 系统要求:分布式强一致性(不需要应用层再设 …

阅读全文

Zookeeper系统设计的优点

Zookeeper系统应用越来越广泛,在同一领域内开源软件方面基本处于垄断地位。(最近有个etcd借了微服务的东风而异军突起)但是实际用过的人都会觉得这个软件属于可用但又不那么好用的类型。本文是本人结合自己的实际使用经验与思考,同时参考真正业界大牛对这个系统的分析与评价进行的总结,归纳一下关于Zookeeper真正的使用需求,并思考这个系统有哪些设计与实现上的优点,从而能获得如此成功。 1.常见应 …

阅读全文