一、构建篇
在构建方面，paypal的工程师最关心扩展性和可用性，具体涉及以下几个方面：
1，首先是可用性，基于nova的cell来实现it服务的可用性。2，其次是弃用那些过时的工具，以负载均衡为例，ebay和paypal花了几年时间试图自己开发工具以实现lbaas，最终还是决定改用社区的功能组件，因为社区的组件更开放，合作伙伴更容易在上面开发插件。3，在线升级和测试 这一功能对于的健壮性和扩展性尤为重要，能够在线升级，才能跟上社区发展的脚步。4，实时容量扩展 paypal的目标是新机架到货之后，只需要1-2天就可以完成部署并上线应用。二、迁移篇
相对于构建一个新的系统，将应用和数据迁移到新的架构则更具挑战，我们来看看这次迁移任务的细节和面对的挑战：
1，有限的工作人员；2，超过8000台机器；3，2pb的公共数据，以及大量存储于虚拟机内的本地数据；4，上述应用和数据位于3个不同的地点；5，通过迁移将可用性技术从nova **ailability zone变更为nova cell service以实现更好的可用性和扩展性；6，变更防火墙配置，制定访问规则；7，检验并解决新硬件的兼容性问题，确保新系统的稳定性。下面是paypal通过这一次迁移总结出的经验：
1，基础架构的可见性对保持配置一致性非常重要 如果你没有一个关于基础架构的完整视图，那将是致命的。比如你在部署应用的过程中如果有虚拟机宕机了，等它重新恢复工作时，上面的应用和配置将是不正确的。2，不要指望所有的应用和开发工作都能迁移到新的环境 必然会有无法迁移的部分，在云计算时代，少几个虚拟机应该不是什么大问题。3，不要一开始就使用自动化配置工具 paypal先用手工的方式完成5%-10%的配置工作，在确定一定正常之后才引入自动化的方法完成后绪的工作。4，迁移api服务的时候要万分小心 很多自动化操作基于这些api完成，因此你不能随便停止这些api服务，选择关键操作的执行间隙来迁移服务，并且不要指望在一个时间窗口内迁移所有api服务。5，要清楚你迁移的是什么 不要为了节省时间而停止你的生产api或实例的虚ip，那样会增加风险。6，切记，如果遇到问题，你不一定可以回滚配置。补充说明一下这个cell，它是用来替代原来的zone以更好地解决openstack的扩展性问题，这部分内容os借鉴了aws的做法。一个os云首先分为多个region，不同的region通常需要不同的地域，多个region之间只有keystone和horizon服务是共享的，因此region可以用来实现隔离和优化访问。region的下一级就是cell，每个cell都有一套独立的数据库和消息队列服务，另外cell是树形结构，只有树根cell有nova-api服务，因此也被称为api-cell。其它的子cell都共享这个nova-api服务，而nova的其它服务则分布于每一个cell，子cell也称计算cell。paypal提到cell这个组件目前功能还不完整，在数据同步方面还有一些不足，但是因为扩展性和可用性需要，paypal必须用cell来代替原有的zone。三、工具篇
paypal使用了一些开源工具：
1，graphite用于绘图
2，puppet和salt用于配置管理
3，zabbix用于监视
4，cobbler用于裸机部署
另外paypal自己开发了一个名为flyway的迁移工具，用于从ebay云向paypal云迁移几千台虚拟机和相关资源。它负责完成下述资源的迁移工作：
1，nova虚拟机
2，用户、租户、角色、密钥对和限额
3，镜像和快照
4，cinder卷和数据
5，trove数据库实例
6，lbaas vip实例和证书
paypal计划将这一工具开源到github。此外，paypal还开发了其它一些迁移辅助工具：
1，stackwatch/stackmetrics用于健康检查和度量
2，reparo用于服务器修复和置备，也负责硬件监测和补丁管理
3，cloud**用于云的可见性，将各种视图和相关数据汇总到一起，也提供metric视图。4，cloudminion用于资源回收 通过扫描网络流量发现闲置虚拟机，管理过期时间，发送告警，自动回收资源并提供报告。5，cms 用做中央配置数据库，集中存储和管理物理和虚拟组件，基础架构和应用等所有资源的信息，并可以呈现这些资源之间的关系。四、未来篇
1，采用masterless puppet构建更具扩展性和可用性的配置管理方案，消除单一故障点。2，infra az项目：通过openstack来部署openstack，开发更好的控制平面，提高容量扩展速度，实现一键扩容。3，从h版直接升级到kilo版，数据平面不能停，控制只有几个小时的窗口，部分网络需要从nova-network升级到neutron。五、西蒙乱谈
1，采用开源技术要跟对主流，社区是靠一个庞大的群体来支持的，你对社区产品的增强只能是锦上添花，如果那块绣布烂掉了，你的手艺再好也是白搭。2，openstack成长很快，正在不断完善，可堪大用，但因为它的定位只是一个框架，需要与大量的相关组件进行集成才能落地，因此采用社区版本自主开发云并不容易，你需要组建一个与社区联系紧密的专家团队。3，os在监控和运维管理方面相对薄弱，还有很多不足，paypal在这方面花的功夫最多，如果不能很好地解决这一问题，就不要大规模采用os，否则你会把自己拖死。4，网络也是openstack短板之一，paypal采用neutron加上nsx来满足业务对网络服务的需求。