互联网公司基础网络出海红宝书

这些日子被一个老朋友抓了壮丁，狠狠地按在会议室聊了一整天，非要让互联网和通信行业老司机我就他们公司在海外建机房建网络的事情出出主意，过程中激发了老司机我近年来折腾T公司海外拓展时的痛苦回忆，温故而知新，又有了很多不同的感想，赶紧动笔落在纸面。
那么典型的问题无非就是类似：我们要建设IDC选择新加坡还是香港呢？南美地区如何覆盖？CDN用Akamai还是自建？等等，这些困惑其实非常具有代表性，是互联网公司IT基础设施负责人都会遇到和思考的。
基于此,  我们酝酿了这本红宝书，这要聊的内容就是定位这样一个场景：“假如您是一家视频网站的CTO，公司战略决定要进军南美，2个月内完成基础设施部署，保证用户访问流畅，初期投资要保持谨慎，因为不确定业务情况"，所以很多知识和策略都比较初级，如果您是大型公司的高管、您是资深技术专家，这里的内容可能太LOW了，请您批评指正见谅海涵。
让人欣喜的是，这几年陆续看到很多互联网公司开始尝试海外市场，不管成与不成，这至少是咱们民族企业大胆走出去的很好典范，例如B公司在海外做桌面产品，A公司要帮美国人在互联网上卖商品，T公司要用即时通信微X一览全球社交领域，现在更是几家公有云平台也都出海开拓海外市场了，亚太区、北美、欧洲都成了兵家必争之地了，真是让我们这些做IT基础设施的屌丝们兴奋不已，而我们应该大力支持，把思路和节奏理清，做正确的事情，花该花的钱，如何做到,还请听细细道来。
老司机我在通信和互联网行业从业15年了，不敢冠名资深，但至少在实战中磨练了少许经验。在T公司的时候，2013年开始两年的时间，是微X业务往海外拓张最快的两年，所以过程中踩了不少坑并累积了不少干货，现在拿出来和大家分享一些。当然每个公司的业务需求不同、重视程度和投入不同，采取的策略也不同，所以这里的信息供参考，望大家取其精华去其糟泊而见谅。
好了，我们言归正传，细品一下这份红宝书。

开始的第一步是把握业务的预期
必须了解业务整体策略
海外的IT基础设施铺设之前，我们必须反反复复深究业务的策略和需求。说实话，基础设施往海外铺，一方面动作迟缓，另一方面投入超大，这背后必须要有充足的业务驱动力，也就是说要问清三个问题：
第一个问题: 什么业务要出海，市场是不是有充足潜力，高层大老板对这件事情的支持程度如何？这个问题也许没有明确答案，但IT基础设施一定要随时留意这个问题，因为这关系着我们要以多大规模、多快速度推进我们的建设。T公司就经历了这样一个过程，原本有这个趋势用这款即时通信软件一统全球，但做着做着发现各个地区和国家的文化差异相当之大，业务普及推广遇到相当大的问题，相应战略就调整、这块投资就减弱，原本规划的基础设施建设就都陆续取消了。
第二个问题: 业务重点区域或国家是哪里？说实话这是个相当头疼的问题，因为在业务拓展阶段势头如何，没人敢胸有成竹，这样很多业务兄弟就根本给不出重点优先级，这时基础设施要广撒网建设，一方面投资巨大收益甚微，另一方面建设速度也相当慢。
第三个问题: 什么类型的业务要出海？因为不同的业务，对底层IT基础设施的要求真心不一样。如果业务只是洽谈合作商务，也许没啥基础设施建设需求，而是推广部署视频、游戏之类的业务，底层IT基础设施可能就要从数据中心IDC、基础网络、CDN等多方面入手。
有了这三个问题，至少我们了解了业务的基本情况，但这还不够，还要反过来管理业务的预期，尤其是业务老板的预期！
让业务知晓整体网络环境
既然业务走向海外了，就必须让业务团队清楚海外的网络的一些基本情况，例如全球覆盖，这个网络延时问题就比较棘手，即使租用昂贵的长途专线，我国香港到北美西海岸的网络延时都要到170~200毫秒左右，业务在这样延时的网络上交互，即便一次TCP三次握手也得几百毫秒，所以业务要有这个预期。其次全球运营商众多，公网覆盖质量参差不齐，再加上运营商互联策略的不同，我们原来就遇到一个问题，本是接入马来西亚当地的一个运营商，要覆盖另外一个运营商的用户时，却绕行到了北美，几经纠察才弄明白，是因为当地互联互通不好，反而绕行北美主力运营商的成本才最优，但付出的代价却是高时延高丢包的网络质量，这些问题我们真是琢磨不透。一两年的摸索回头看，让我们不禁感叹，还是在中国的网络环境"好"，我们ICP只要接入一家主力运营商，大部分问题就都解决了，虽然还会有各种各样问题，但起码够用了，呵呵。所以走向海外，要让业务首先对整体网络质量和情况有正确的预期。
如下这张图就展示给大家，AT&T公示出来的网络质量，当距离长到跨洋时，如香港到北美，基本的物理网络时延就得要190毫秒，业务老板又能期待咱们发什么大招把这网络时延消灭掉呢。
让业务知道我们的速度
当然我知道在业务眼里，我们搞IT基础设施的总是慢几拍，这种印象在我们建设海外基础设施时会更差，因为海外各个国家的情况都不同，摸清楚情况本身就需要时间，再加上商务谈判、与合作伙伴的磨合、开工建设等等都需要时间，T公司曾做到过用3个月时间完成一个原本陌生地点的IDC建设，当然这个项目重视程度在公司层面、工作优先级极高、投入的资源巨大。所以我们要做的就是问清楚业务期望覆盖的地区优先级是什么，希望的覆盖质量是何种程度，同时加大建设的规划性提早动作。

第二步是了解海外整体情况
要想把握好海外IT基础设施的策略，我们必须多多地了解海外的各种规则和玩儿法，我们简单道来几条。
整体网络环境友好而复杂
说环境友好，其中一个特点就是：基础设施分工明晰。在海外，除了上层一些的公有云云计算供应商，例如Amazon AWS、Microsoft Azure、Softlayer、Rackspace等之外，要想自己建设基础设施，基本上要投入不少精力，因为市场上分工非常明晰，例如CDN供应商，较大的有Akamai，Limelight， 网络供应商有不同级别的Tier-1或Tier-2/3运营商，如Level 3、AT&T、NTT，网络互联点IX，如DEC-IX、LNIX、HKIX，IDC供应商也叫Colocation，较大的有Equinix，CoreSite等，所以要想自己建设数据中心和网络，基本上如上这些家都有可能接触到。这样有好处就是市场可选很多自主性强，不好处就是可选太多，需要自己集成。
环境友好的第二个特点体现在：市场透明开放。大部分地区尤其是欧美，与我国内不同，运营商网络市场透明度很好，运营商之间网络互联互通情况不错，当然反而是一些中小国家或地区的互联互通情况还不如中国。运营商的体量级别很容就识别出来，彼此之间互通策略清晰，从一个例子就可以看出，例如下图，全球骨干级运营商Tier-1网络之间的互通，基本上保持了非常好的质量，而且能够公布于众让大家清晰看到。
第三，开放透明的环境，给我们互联网企业带来一个很重要的福利，就是网络互联方式丰富。ICP最关心的互联网出口，其实海外运营商的出口互联方式普遍有三种可选， 其一叫对等互联(Private Peer)：指互联网络双方对等，通过EBGP 协议按照协议通告路由且仅通告各自自身及客户的路由；例如：AT&T和Sprint之间就是免费对等互联，因为双方体量差不多，我国中国电信在几年前也已经就实现了和Tier-1运营商AT&T的免费对等互联，说明电信已经进入全球骨干级运营商行列，实属民族英雄！ 其二叫穿透互联(Transit Service)：指为其他运营商网络提供到国内、国际IP 网络的接入，为其提供业务流的传送及转接，通常由该运营商付费；例如我们ICP通常都要向大型运营商购买这类穿透服务，以实现一点接入全球覆盖。 其三就是国际上常见而国内少见的模式，免费公共对等互联(Public Peer)：指连入互联网交换点/IXP（Internet eXchange Point）在那里实现与协商好的对象实现免费对等互联，当然免费对等互联的前提一定是双方协商好，彼此都有吸引对方的点，这个模式在海外数十年发展非常好。
云计算巨头发展快
这个议题必须要在这个时间提，是因为我们看到前几年还没有这么快的发展势头，到现在这个时间点国内某个互联网业务再出海，其实我推荐的首选就是采用这些云平台，而无需了解本文介绍的任何其他内容了，这里具一个现实的例子，就是WhatsApp，据闻这么大用户量的WhatsApp，就完全依托在云计算平台Softlayer上面而完全无需自己建设。
公有云平台首先在广泛的地区提供了计算和存储。也就是说当互联网企业在一个地方需要服务器时，这些云平台已经可以提供丰富可选的虚拟机甚至物理机供大家使用了，而且在Amazon这个领头羊的带领下这些年逐步成熟起来。其次公有云基于BGP，对一个地区的覆盖质量往往都够用了，所以一般的互联网业务部署上去基本上不用担心外网结构、多运营商互联、路由策略等等复杂问题了。唯一的问题可能是，互联网企业业务架构自身能否部署在某个甚至多个公有云平台上，这涉及到关键的研发框架和习惯的改变，还有业务运营人员是否能承接运营的问题要考虑。
国内到海外的通路具备但不要过高期望
海外环境基本如此，那么我们再回到问题的原点，用国内IDC和网络覆盖海外又怎样呢，这就要看一下我们的国际出口情况，第一方面是看能力，运营商均在北京、上海、广州（核心/超级核心节点）设置单独的国际出口网络设备，实现与国际运营商或海外POP点的互联，各运营商的国际出口带宽情况如下表格所示，每年扩容速度能保持30%以上，中国电信的国际出口带宽总量居首位。但即便是这个扩容速度，仍然赶不上需求，所以普遍这里的国际出口网络质量很差，延时和丢包率数字相当难看，不信自己简单Ping和Trace测试一下。下表来自CNNIC每年度互联网发展状况统计报告，给出了当前几个运营商国际出口的情况。
第二方面是看政策，虽然GFW很少限制我们对外提供内容，但是GFW自身的扩容能力多多少少限制了运营商国际出口的扩容速度，所以归根结底都会导致上面提到的质量问题。所以用国内IDC覆盖海外这个模式，基本上还是暂时不要考虑了。

实战案例：如何构建整体IT基础设施

好，絮叨了这么长时间，基本情况大家都已了解了的情况下，该说关键点了。国内互联网业务出海，现在的策略，首选"使用海外公有云平台"，次选"使用海外公有云平台"，再选"使用海外公有云平台"，重要的事情说三遍。那么真的觉得不行，非要自己搭建基础设施，请继续往下读文章。
那我们就要亮出干货了，T公司在全球推广业务时，采用的策略是"A.慎重建设IDC+B.广搭基础网络和CDN+C.具体国家/地区重点突破"的战术，基础设施的搭建上，采用了"IDC+网络POP+CDN"这个三层结构，IDC层负责业务承载，网络POP层负责数据中心间通信、区域性网络质量提升，CDN负责重点国家/地区重点突破，每层发挥每层的定位和作用，我们详细说这个战术和层级。
CDN布局
说实话，海外布局，我认为第一个应该毫不犹豫铺出去的就是CDN节点，因为CDN自身作为各类内容访问的第一跳，在网络直接访问不顺畅、跨运营商网络访问、跨地域长网络延时通信等多个场景都会起到非常关键的作用。那么到海外，CDN的铺设就有几个选择，我们用所谓的版本来说明几种选择，几个版本自身没有上流与否之分，只有适用于不同阶段的互联网公司、适用于不同业务类型、适用于不同战略中的互联网公司而已。
CDN在海外环境当中，起到的作用大致分为两种，一种是我们常用的静态加速，也就是存储图片、视频等内容，另外一种是动态加速，也就是类似TCP加速等作用，因为海外几百毫秒延时的情况下，靠传统TCP三次握手和重传机制整体效率比较低，需要在最近的位置就对协议进行优化。无论哪种CDN，大家就会发现，CDN要想发挥效果，最重要的是一定要向用户靠近，也就是向网络边缘靠近，这一点在国内很重要，在海外用户范围这么广的情况下就更是如此了，所以与我们下面要谈的网络和IDC相比，CDN一定要向边缘靠拢，甚至是我们战术中"重点国家/地区重点突破"的重要手段。所以，当业务瞄准一个国家或地区时，老板问及需要多少个CDN节点，你可能先要给出正确预期，根据用户广度、运营商复杂度等条件看，至少需要十几个吧。那么怎么个建法，大家参照自身发展情况，选择一下的版本（抱歉，这里提及的版本是老司机我自己命名的，与任何一家CDN供应商没关系哈）。
1.0版本。1.0的部署方案，自然也就是大家最轻松上阵的方案，也就是直接交给CDN厂商罢了，这些专业的CDN厂商，例如Akamai，Limelight等全球铺设的范围本身就已经非常广了，就像国内的网宿等一样，作为业务初始的选择基本上够用了。
2.0版本。那么鸡蛋里挑骨头一点，很多互联网企业业务发展好，对CDN的要求也就越来越多，我们前面提及1.0的方案，自然在成本上显得越来越不友好，算法自主度上也越来越不尽人意，于是很多企业开始"自建CDN"的道路，也就是我们说的2.0方案。那么在海外，自建CDN的道路并不那么平坦，真的租机架搭网络会遇到种种问题，那我们2.0的方案中其实建议大家首选类似Amazon AWS这些云平台来搭建。这样做的好处首先是计算资源弹性配置，这些云平台自身在全球的存在范围就比较广，我们直接租用想要的计算和存储节点就好了，另外一个关键的好处就是这些云平台自身对当地的网络覆盖质量不差，基于BGP的网络连接性都打造得不错，所以作为一些国家/区域的CDN节点而言已经是不错的选择了。
3.0版本。再挑剔一些的互联网企业，仍然追求更精细的覆盖质量、更加优越的成本，那么这些企业在国内甚至海外，都开始了更加纯粹的"自建CDN"，那么我们这里说的3.0的方案，就真的是在一些国家/地区，直接选好地方、租用机架、建设（或租用）物理服务器和网络设备搭建CDN节点、选择所需的运营商网络出口。这样做的优点必然是可以很有针对性地解决自己业务的覆盖痛点，国家/地区可选、和那个运营商连接可选、调度算法自主可控，自然一切都可自主掌握。那么这种3.0的方案，在技术和成本上也有一些难点，成本上自然是看能否谈出好的全套方案，毕竟在人生地不熟的地方租机架搞设备搞网络等这些低级活儿，不如在国内有好的合作伙伴可以把成本和服务都谈好一些，而且业务如若存在不确定性，这些硬的东西一买或者一租可能就是不短或不少的成本泼出去了。技术上，毕竟把点建在这里了，希望覆盖越多人群越好，那么自然需要多运营出口，这样复杂的网络需要和后面要谈及的"一点多线CDN"方案相结合，同时CDN的回源路径问题，如果不结合后面谈及的基础网络相结合，可发挥的效果也会被打折。
再复述下前面的观点，在海外这么广的覆盖范围、这么复杂的网络环境中，"向边缘靠拢的CDN"是非常重要的，那么究竟选择哪个版本的方案，真心没有最终答案，绝对要看互联网企业在海外的发展阶段、整体策略、成本投入啥的。
IDC布局
我们先于谈网络而谈IDC建设，主要原因是一旦谈及在海外的IDC建设，一定是业务发展非常明确晴朗了，IT基础设施铺设规划也非常板上定钉了，IDC建设是这其中最重资产的投入。我们说的IDC建设，主要是指自己找IDC供应商（海外叫Colocation供应商）租用机架、自己购置服务器和网络、自己搭建网络出口的这个模式。这个模式的好处肯定是能够将业务核心部署到相应国家/地区去，业务开展的难度就小了很多，不用担心跨全球长距离网络时延问题、网络稳定性等等问题，直接当地业务交互。不过这个模式带来的投入是相当巨大的，这就是为什么至今我们都只看到阿里、腾讯、Ucloud等这些云计算公司在海外建设IDC，而互联网公司如此动作的很少，顶多在香港建设一些，把香港作为海外拓展的桥头堡而已。
那么要建设IDC，从全球的数量规模上看，一来看业务规模的需求，二来如果从用户覆盖的角度看，其实数量不需要太多而每个洲一个即可，这就呼应了我们前面谈到的策略"A.慎重建设IDC+B.广搭基础网络和CDN+C.具体国家/地区重点突破"，之所以采用战术，一方面的确是因为IDC仅用于承载必要的业务分布，而业务跨长距离地域分布的确不是一件容易的事情，另一方面是提高用户覆盖质量的话，前面谈到的CDN部署、后面将要谈到的网络布局，基本上可以更有效率地提升区域或重点国家覆盖质量。
按照上面描述的方式建设IDC，通常需要花费的时间要以月为单位计算，这包括一个洲际范围内的选址、选址后的机房考察和商务谈判、服务器和网络设备的购置、当地建设工程（一个小插曲，别指望我们派几个工程师拿个旅游或商务签证过去出差，顺带把服务器和网络建设都做了，因为一般北美等地方都有法规，拿这种签证过去的人，动一根手指碰了服务器和网络设备，就算非法劳工，一旦被抓，估计企业要掏不少钱捞人）、网络出口的建设、当地运营团队的搭建等等一系列复杂问题。
所以纵然业务有在海外大展宏图之势头、老板有大笔资金可投入，海外IDC的建设，IT基础设施团队应该慎重再慎重。
基础网络布局
前面我们把战术中的两个层次都谈完了，我认为要谈的这个网络层次，是至关重要的，即可弥补IDC布局少时的用户覆盖问题，又可作为利器对重点国家/地区进行覆盖质量的重点突破。
海外的基础网络布局，一个组成部分是数据中心间互联网络/DCI，但凡业务在多数据中心当中部署，这之间的DCI网络就不可或缺。IDC部署在海外不同洲时，这之间的DCI网络就需要向运营商租用长途专线，当然有资金实力的例如Google就参与投资了一些海缆的建设，那么一般的企业也就是租用各种专线而已，这个市场相对比较成熟，专线、基于三层MPLS/VPN专线、二层VPLS专线，各自有不同的QOS和SLA，企业根据自己的需求选择就好了，只是在成本方面、建设和扩容周期方面做好心理预期。
网络布局中，另外一个组成部分，就是出口网络，出口网络的搭建，在海外与国内稍有差别，现在回想起来真心觉得还是国内简单，至少国内连个电信顶多再连个联通，全国大部分用户都应该覆盖质量不错了，但在海外，根据我们的长时间摸索，在保障用户覆盖的同时又能成本最佳，基础网络就要采用"1+N"这样的部署策略，这个策略具体是什么就可以如下图所示。那么这其中的目的我们一一道来，这"1+N"当中的"1"，就是指向主力或大型运营商购买全穿透服务(Transit Service)，具体名词解释我们在最前面介绍过，这和在国内购买电信或联通的出口带宽是一样的，都是为了让他们帮我们搞定大部分网络或用户的覆盖问题，唯一一个不同点在实现方式，海外即使是Tier-1级别的运营商，也都欢迎你使用自己的IPV4地址和AS号码，通过BGP的方式与他们互联，这就是开放环境的差别哦。如果你还没明白这个的好处，就继续看实现策略"N"时的差别。说到策略中的"N"，这才是海外网络环境与国内的关键差别点，我们所说的"N"，其实就是通过欧洲和北美广泛存在的互联点/IXP与多运营商实现对等互联，使得网络上，我们的内容能够直接一跳连接到中小运营商，以最短路径到达"眼球"所在位置，而且通过IXP的互联，通常情况下都能实现免费对等互联，也就是互联双方谁都不需要给对方付费，因为双方都有诉求，运营商也就是"眼球"持有方希望与更多"内容"直连，互联网公司也就是"内容"持有方希望有更多"眼球"直连，这样的连接效率最高，其次带来的是直接的成本节约，试想，一个ICP与IXP连接流量达到10Gbps，这就是到大型运营商直接的带宽节省，这样规模节省的成本每月怎样也都得有几十万人民币吧。这种IXP在欧洲和北美甚至亚太区新加坡和香港都非常普遍，据PeeringDB统计全球IXP至少630家，仅北美地区就有80多家，所以，这个策略中的"N"很容易实现，能够通过自有IPV4地址和AS号码以BGP在IXP实现越来越多的运营商直连，这样如此宽松开放的环境，真心是互联网公司所挚爱的。
那么说到这里，我们还是拿出一些案例来分享吧，看看海外互联网公司网络的搭建，这其中最典型的当属Google。Google在其官方网站上说"Connect your business network directly to Google at any of 70+ locations in 33 countries around the world "，是说在这么多地方都可以直接和Google对等互联，哪个中小运营商看了这个不高兴？再从Google在IXP的连接看，在一个阿姆斯特丹IX点的连接，就已经达到400G，所有连接条目开列下来18页之多。
我们再回到整体IT基础设施的布局战术中来，前面我们定位基础网络的作用，是对一个区域进行整体质量提升，那么可以参照T公司的一个做法尝试一下，IDC，整个美洲只有一个IDC，在北美西海岸、东海岸各建1个网络POP点，南美巴西圣保罗建立1个网络POP点（回过头看，这个POP点的选择不如选择美国迈阿密，因为南美运营商之间的互通并不好，于是就顺应了海缆的汇集方向，在迈阿密反而成了南美运营商间互联互通的一个关键点），每个网络POP点采取的对外连接都是"1+N"的策略，每个网络POP点都有一定带宽的回传专线至IDC，北美的重点州或南美的重点国家，都建立了相应的CDN节点，CDN节点回传到网络POP点，再通过网络POP点回传到IDC。这样的布局战术，当前看来对T公司的业务覆盖质量提升是非常有帮助的，而同时又使建设成本达到一个平衡点。

其他问题：这些都要被想到

一个技术问题，回国流量
我们前文说到，用国内IDC覆盖海外用户几乎是不可能的事情。然而仍然有业务有类似这样的预期，就是在香港部署服务器，想一举两得覆盖亚太区和中国大陆，实际使用过程中就发现延时大、丢包多基本上没法使用。这主要的原因是我国主力运营商日趋强大，亚太区运营商原本可与他们免费对等互联，现在却越来越难谈，很多运营商都需要购买带宽方能实现扩容。所以在海外要想覆盖国内，要么购买这些海外运营商的专属回国流量，当然即使这样也通常出现绕行日本等情况，要么直接购买咱们主力运营商的带宽好了。总之身在海外，思乡之情可理解，但回国流量的确是个头疼问题。
一个非技术问题，政策风险
其实这个问题大家都感同身受且心知肚明，我们业务和基础设施拓展到一个国家/地区时，首先要考虑的问题就是政策风险。让我印象最深的就是，微X业务在向某个阿拉伯国家拓展时，用户数刚过百万，某天就发现这部分用户全都登陆不上来了，业务团队周折打听才知道，这个国家想要业务提供监管数据，看来是业务团队响应速度慢了，人家直接在出口把访问关闭了，至今都没有开放，只看到零星的忠实用户通过VPN到欧洲才能继续登录到微X，而我们铺设出去的服务器和网络，基本上也就都打水漂了。听到这里，我和很多人一样只能"呵呵"并会心地点点头了。同样我们在一个神奇的国度，接入IX点时被要求有经过该国度类似"工信部"颁发的牌照，在另外一些神奇的国度也会遇到服务器和网络设备进口问题，等等，这些都是海外拓展过程中非常有意思的真实的问题。
另一个非技术问题，与谁合作
前面我们介绍了这么多海外环境，其实大家都能感受到虽然市场分工明细、开放度高，对大家来说是好事，但也的确带来了一个问题就是万事都得自己亲力亲为，所以必然导致IT基础设施的铺设速度比较慢。
近来我们看到越来越多的运营商已经醒目地看到这里的需求和机会，例如我们看到PCCW、HGC等等这些运营商都非常愿意协助我们拓展指定的地区、提供全套解决方案，因为可以依托他们现有的网络和基础设施，实现速度就会快很多。如果互联网有明确的拓展计划，完全可以和这些运营商合作，当然这个合作不仅仅是基础设施的，还有很多业务方面的机会，这就看大家彼此嗅一嗅味道啦。