读书笔记(二)—— 下一代网络,未来X网络推动人类技术进化
如果要为本书寻找一个最合适的总结,那么我们可能会选择马歇尔·麦克卢汉 (McLuhan 1997)的名言:“随着技术的进步,每一种生活场景都在不断地被颠覆。自动化的时代将是自己动手的时代”。然而,由于所有服务或进程都将实现个性化和场景化,因此预计在2020年“自己动手”将意味着“为自己做”。网络和服务的虚拟化和软件服务的个性化让人物、事务和地点能够任意进行组合。正是这种“持续的优化”将推动人类技术进化到下一个阶段。
未来X网络
技术革命
换句话说,技术革命是指这样的网络:它连接了新技术,并且带来了经济与社会交互方式的变革。按照这个定义,我们正处在一场新的、由技术驱动的社会和经济变革的开端。互联网络和超宽带网的大规模建设将会不仅仅连接人类本身,还会连接数字化的“设备”,这些设备将带来前所未有的自动化的生产生活方式。这种转变会导致商业模式向一种全新的、全球与本地相互协同的方式演进。新的商业模式可以优化那种单调的、重复的任务,以便高效地为人们节省时间,并由此改变我们已知的人类生存方式。
网络延迟
超低延迟和超高容量这两个因素是息息相关的。这种延迟的一个主要原因是如果以光速传播,那么每1000km 就会产生 4.5ms 的延迟,因此若要满足小于 1ms 的延迟要求,传输距离必须约为 100 千米或更短。网络延迟的另一个主要原因是网络跳数的增多所引起的延迟,当数据包在排队等待通过容量低于输入流之和的接口时,就常会引入这类延迟。虽然平均排队等待时延小于 1ms,但当发生严重堵塞时,时延会达到数十毫秒,这会严重影响对延迟较为敏感的服务的性能。
现状
乍看起来,当今的技术发展可能非常迅猛,因为现在所有智能和自动化系统都拥有高精的数字系统,都有能力相互通信,并且可以从远端的控制中心对其进行优化。此外,商业航运业已经可以进行数字化标识及扫描,并通过供应链中的每一个节点追踪目标。然而,即使是在这样相对先进的数字化环境中,要把这些过程和所有必备的物理系统连接起来仍然十分困难。例如,在后一种情况下,就需要优化后续路线的公路铁路基础设施。类似地,尽管环境设备(例如,地震或者天气传感)已经部署了数十年,但许多设备仍然需要手动读取和报告,更复杂的数字化系统在进一步扩大覆盖面积的过程中受到了限制。例如,我们通过数以百万计的个人穿戴设备中的数据,完成了对加利福尼亚地震活动的详细测绘,这个例子反映了正在经历的变革。尽管这是一个微不足道的例子,但它也的确体现了我们拥有对自然环境进行更全面的测量与测绘的能力。通过添加数十亿这样的新设备(每个设备都可能拥有数十个传感器),将大大推进数字化的进程,这些设备可以通过挖掘数据的行为,使数据转变为云中可操作的信息。对比如今的很多消费服务和网络业务,在行业数字化上,2015 年的我们似乎仍处于启蒙阶段。
牛津大学互联网研究院的教授维克多•麦尔 •思科恩伯格说到,“大数据会告诉你过去(或者近期)发生了什么,而不是为什么,或者将来会发生什么”。因此,AI的“完美知识”方法和大数据的“无知识”(只有相关性)之间还存在差距。
安全未来
安全行业的现状
人类越来越依赖于通过一种便捷的方式获取信息。而我们生活中的切信息都可以创建、交换或存储,并以数字化文件或者会话的形式存在。我们正在生成大量的信息,包括不断积累的图像和视频文件。在这样的过程中,我们都在潜移默化之间成为了 “数字化屯积者”。
安全工作仍将是一场猫鼠游戏。无论是出于黑客主义、网络犯罪、间谍还是其他目的,只要有人部署了安全方案,攻击者们都会立刻寻找破坏或是规避它的途径,安全工作仍将是一场持久的战争。在不完全损害企业的灵活性和创新性的前提下,完全杜绝网络风险是不可能的。因此,这场游戏的目标是将成本曲线尽可能地弯曲,使攻击者启动和管理攻击的成本远远超过可能的收益。
安全行业一直是“猫和老鼠” 游戏的循环,在这个循环中,聪明的攻击者总是会成功渗透一个曾被认为不可攻破的安全系统。在人们最后被发现并修补了那个缺陷之后,攻击者会寻找一种新的方式进行渗透。在网络安全方面,这个周期虽然没有什么不同,但是速度却存在着数量级的差异。攻击的来源有很多(有时同时),攻击的工具集更多样化,并且也有更多的组织参与其中。
安全攻击
还有一种常见的攻击方式是在目标企业的停车场里面丢弃 USB 闪存,当员工捡起这个 USB 闪存并且把它插入公司的笔记本电脑之后,黑客就可以由此盗取数据信息。2011年,美国国土安全部发现,60% 的人在政府和承包商建筑物之外捡到闪存驱动器后会把它们插入到联网的计算机中。更糟糕的是,当驱动器贴有公司标识时,这个数字会增加到 90%。
安全攻击防御
当分析算法判断出了网络中可能正在发生攻击时,安全自主机可以采取一个或多个不同的动作。这些安全自主机会接受来自整个云基础设施安全设备的分析和输入信息,从而最终确定最佳的行动方案,并使用云和 SDN 控制器快速适应网络以应对威胁。恶意明显的信息流会被立即阻止,而 SDN可以把可疑的信息流悄悄重定向给更强大的安全功能,以便在采取行动之前更深入地进行分析。如果某个应用程序实例看起来正在遭受攻击,那么自主机制可以选择自动将这个实例重新定位到隔离区,防止其访问敏感信息,但允许攻击者进行访问,以便对攻击进行研究。为了响应攻击,安全自主机可能采取的其他行动包括增加正在经历大量攻击的安全设备实例,或开始删除并重建受感染的应用程序实例。自主机也可以选择创建临时诱饵来迷惑攻击者,让他的注意力远离真实信息,同时安装适当的防御机制。
广域网的未来
如果仔细思考一下电能的生产过程,我们可以明显看出这是一个需要随时不断调整供应,时刻以最佳(成本最低)资源来满足市场的领域。最高成本的资源(如天然气涡轮机)只会在发生意外情况或者电网遇到非常罕见的需求峰值时才会使用。当需求峰值减少并且需求均匀分散时,能源公共事业就会因此受益。这种情形与信息网络体系十分类似——利用率越高,效率也就越高。
网络并不是唯一需要不断发展,才能满足性能需求的行业,因此参考其他行业的演变历程对于网络领域也具有一定的指导意义。航空公司必须不断增加自己的全球目的地数量,来满足客户需求,并不断提高其网络效率,来维持竞争力和财政优势。因此大多数航空公司都采用了“轴辐式” 架构,也就是通过一些高客运量枢纽传送客流。与直接点到点的连接相比,这种架构可以让航空公司能够设立更多目的地,并利用有限的航班提供更多的飞行服务,这种中心辐射架构是一种能够灵活高效地实现流量聚合的经典流量管理方式。显然,互联网的演变也遵循同样的模式,即大量互联网流量通过聚合点汇集到高效的长途路由。
互联网广告市场是另一个例证,这个市场是实时竞价系统 (real-time bidding, RTB)运用于另一种临时性商品的案例(根据情景来定义广告空问)。通过 RTB,广告商仅需 100ms 就可以根据用户所处环境了解每个广告空间标价,然后显示那个出价最高的广告。自 2007 年自动化的需求侧平台部署之后,即时出价系统己逐步占据显示广告市场份额的40% 以上,与非即时出价广告相比,RTB 广告的成效大幅提升。
云的未来
当我们考虑应用程序与人类的互动时,应考虑以下几个基准:眨眼的时间约为 150ms。世界级的短跑运动员可以在枪鸣响后做出反应的时间约为120ms。这些数字定义了对于那些用来与人类进行实时交互的应用,人们会期望它们的延迟达到什么水准。显然,如果希望应用程序达到这种响应水平,那么网络延迟必须远远小于 100ms。
为了理解交通系统对于延迟的要求,不妨考虑一下能够对高速密集车辆的交通环境进行协调的应用程序。当车流最前端的车辆对会引发它们降低速度的事件做出反应时,应用就必须处理这类信息,从而确定车流中的哪些车辆会受到这个事件的影响,并向它们发送指令让它们自动调整车速。在车速达到 120km/h 的条件下,每3m距离对应 100ms 的延迟。如果把其中 90% 的时间分配给应用程序来进行处理和制定决策,那么就只有 10ms 可以分配给网络延迟,这几乎没有容错的空间,并且对网络的可用性要求极高。这只能通过把应用部署在靠近被管理公路的边缘云中才能实现。
我们正处在第二次云计算革命的风口浪尖,这次革命会导致云计算技术向网络边缘的进一步分布。用户消费内容的方式会向按需提供数据流的方向发展,因此内容提供商需要把非常高质量的内容迁移到非常接近终端用户的地方,来优化性能和传输的成本。同时,提供高性能实时服务的应用也如雨后春笋般层出不穷。虚拟化移动网络、车辆控制和增强现实等服务都需要不高于数毫秒的延迟,因此这些服务都不能部署在集中式或区域性数据中心当中。这些因素在潜移默化中推动了我们对云的需求,云应该让客户能够在全球各地访问服务,但同时也应该支持由位于网络边缘的数据中心提供这些服务的做法,一种云部署模型由此诞生,即全球——本地云。
无线接入的未来
由于化石燃料的过度使用,全球变暖的趋势无法得到有效控制,这给人们带来了巨大的威胁,因此所有行业都面临着减少能源消耗和碳排放量的压力。整个信息和通信技术产业的二氧化碳排放量仅占世界碳排放量的2.3%,从表面上看,这似乎意味着通信网络产业的能源影响相对较小。然而,通信供应商有责任和特殊的动机来大大减少系统的运行开销。一般来说,网络能源消耗会占据总能源开销的 75%;并且在发达国家,能源开销占据总运营开销的 8%,在发展中国家,这个比例为 30%。因此,降低网络能源消耗的经济必要性和社会必要性都是十分明确的。
在过去的 10年中,无线通信已经从奢侈品演变成为一件必需品,用户希望可以不受任何限制地随时保持连接状态。而在未来10年,我们会看到用户在这方面的期望值还会进一步提升,因为所有通信都将无线化——无论是在家中、办公室里还是在地球上的任何地方,无线网络都已经成为新的数字现实中的一部分。这种数字化和万物互联的趋势,会催生人们对于无限容量、即时响应以及通信高可靠性和健壮性的需求。互联网的概念会从我们的智能手机、平板电脑和个人电脑之间的连接,转变为通过无数终端设备和无线连接来一同支持、管理和监测大家的生活。
要想实现这一愿景,网络就必须能够在需要的时间和地点提供看似无限的超窄带和超宽带容量,并且针对吞吐量、延迟、可靠性、可扩展性和能源效率进行了优化。2020 年以后,无线网络中会使用的那些核心技术与产品目前已经处在发明和实现的过程中,但是要实现这种无线未来和完全数字化的愿景,仍有许多工作要做。
通信行业的未来
在现实世界中,如果想要部署一个新的解码器,人们面临的最大挑战就是很难找到低成本的解码器。即便在今天,在H.264 被 ITU 批准的 12年后,仍然有很多系统使用 MPEG-2 格式的数据流,以便支持旧版的机顶盒(Set Top Box, STB)和其他设备。HEVC/H.265 才刚刚获得采纳,随着越来越多的设备开始支持新的编解码器,因此 HEVC/H.265 会成为视频提供商在未来几十年中最重要的工具。
不论是上述哪种情形,人们对通信的实时性和真实性的需求都越发强烈。这也给了我们一个启示:“分久必合”。不论是哪种通信类型,在未来它们都会趋于统一。同时,这也揭示了集成的通信平台会成为一项关键的技术,把所有的通信模式进行无缝地融合。在本章的剩余内容中,我们会描述为了满足通信模式融合和“未来X网络”的连接需求,这种集成平台需要具备哪些重要的属性。
我们相信到 2020年以后,集成通信平台中会包含以下3项技术要点。
- 增强消息平台:聊天/消息系统的不断普及催生了一个基于消息的通信架构。在这个架构中,每次交互都会被视为一次消息交换,这种模
式会成为末来数字通信的基础。而且,消息不仅会用来进行人与人之间的交流,也可以在一个通用架构中实现数据内容读取和对象控制。 - 流处理平台:随着多组件传感器、摄像头、车辆、机器人和无人机得到了越来越广泛的部署,数据流势必会呈现爆发式地增长。因此,我们需要一个新的实时数据处理架构来处理数据流和在流中传输的数据,处理过程包括命名、寻找、开启、控制和终止等操作。这需要新的、以数据为对象的功能方式(如根据它们的语义属性而非名称,来识别数据流和数据流中的数据,并重新配置流的源和目的地)。这也需要新的、内容级别的功能(如打包内容、从多组数据流中组合内容并根据控制策略来对数据流进行过滤)
- 语境推理平台:在这个大数据时代,处理海量数据会带来强大的工作负载,解决这个问题的关键是用一种最接近可操作的信息形式,来智能地转发相关信息。这种语境推理引擎不但可以把所有已知的信息组织起来,而且能够针对所有当前的内容,迅速提炼并总结出相应的观点。
未来的信息
信息的现状
信息可以定义为“知识或者智慧的交流或学习,其中知识可以通过调查、学习或者指令来获得”(韦氏词典 2015)。获取信息需要具备捕获数据的能力,然后根据所有可用的数据执行计算,最后针对得出的观点进行交流。这里的“3C” (Capture、Computer、Communicate)是信息分析的固有元素。在我们看来,信息革命分为以下三大主要趋势。
- 数据和信息不再 “有价”:数据集的价格、以及这些数据集彼此之间的关联都会随着数据的无处不在而不断趋近于零。
- 大数据变“小”:大数据现象那种夸张的规模会过渡为种新的、小型的数据应用,来提供真正的知识(与价值)
- 智能会继续 “增强”:新的增强型智能工具会改变我们与信息和世界的探索与交互方式,并由此显著提高第4个“C”(认知,Cognition),即人类知识的获取能力。
3个概念:
- 数据:实际获取到的观测。
- 信息:通过数据之间关系获取的内容。
- 知识:描述信息含义的模型。
我们正在走向一个通过消息传递解决方案的时代,它不仅仅是简单的文本、照片或视频的交互,而是一种用于商业交易和控制功能的通用通信方式。开放接口将第三方软件集成到这些平台中,是连接未来通信和消息传递的主要手段。
大数据将会变小
大数据是人们经常使用(却很少给出准确定义)的术语,它通常是指对于常规数据分析工具来说太大,大到无法收集、存储和操作的数据集。随着常规分析工具的不断发展,数据和大数据之间的区别己经很小。19世纪,几千字节就可以视为大数据;20世纪 60年代,几兆字节就是大数据。而到如今,系统则可以管理很多太(T)字节的数据。鉴于数据这种以指数级增长的速度,大数据领域的主要焦点已经集中在新的、可扩展的软硬件技术上,这类技术必须更加适合于管理那些从传感器、公司运营和消费者那里收集到的、不断增长的数据。然而,这种大数据的探索忽视了一个关键点,就是大数据的价值没有与数据的大小成比例地增长。
在作出决策或者在理解某种情况的时候,人们是凭借直觉判断自己在什么时候已经拥有“正好够用的”数据。他们也明白有些数据未必可以提供更多的信息,对于这些额外的数据来说,它们的价值在很大程度上取决于人们打算如何使用这些数据。我们在图10.7中用例子说明了所需数据的大小如何天然受到应用的限制。
第一个限制是数学层面的:在一个无噪声系统中,构建一个含有N个参数的模型,只需要N个独立的观测值。同样当采样一个带宽受限的函数(最高频率是fHz)时,只需要每秒2f个测量值就可以完美重构该函数,因此过多的测量值也是没有价值的(维基百科2015a)。
在上面两种情况下,引入噪声可能会增加建立一个可靠模型所需要观测的次数,但即使是这种情况,新数据的边界价值也会随观测值数量的增加而减少。统计学的限制也是相似的,在成百上千的调查对象中,要想达到 95%的确定性,所需的样本数量是相对较小的( Wikipedia 2015a)。这也证明了调查集与人数是无关的。当然,增加采样数据可以提升结果的准确度,但在大多数情况下,95% 的准确性就是统计学上的“刚刚好”。
如图 10.7 所示,在基本的受限数据集之外,也存在感知受限数据集,这是因为人类感知世界的能力是有限的。高清视频、MP3 音乐和JPEG图像都利用了这一点,以达到数据大小和人类感知的最佳平衡。增加图像的像素密度或者音乐数字频率样本的数量,能够带来的额外价值非常少。实际上,超过“刚刚好”的容量去存储更多数据,这会增加存储的机会成本,也就是因为存储了两倍于需求量的数据,导致必须少存储一半的文件。
在一般意义上,数据的价值来源于人们从这些数据中所提取出的知识或者认知经验。这清楚地显示出,未来大数据空间的焦点会从大量数据的管理工具和技术的发展,转变为重点创建和利用小数据的算法和方法,这需要通过创建新模型和运用推理分析的方式来实现(White 2012)。
未来物联网技术的发展
未来物联网设备核心技术的重大飞跃会让数字自动化技术全面普及。数以百亿计的设备只有在需要传输新的信息和控制功能时才能部署到网络当中,而且它们通信的成本会远低于低端移动手持终端设备的通信成本。我们预测下面6项核心技术会推动这种变革,具体如下。
- 集成电路
- 摩尔定律在日益复杂的控制设备中仍然发挥着关键作用。逐步降低的计算成本让我们可以在更大范围内的程序或场景中使用传感和自动化技术此外,低功耗电子设备的使用可以有效延长设备电池寿命。
- 微结构器件
- 随着微米级电子控制器件的成熟,我们可以在更大范围内控制体积小的物体和组件,并且把器件行为转化为电子信号。这让物联网的应用范围得以扩展(可以连接新的物),但同时也提高了应用的复杂性,例如车载系统。
- 小型化生物/化学平台
- 未来与模拟的物理世界之间所进行的交互数量会大幅增加,远远超出当前有限范围内的传感器和机械设备。通过使用微流控、纳米等工程技术的生物和化学“芯片实验室”设备,人们可以在人体原地不动和完全自由移动的情况下直接传感并且控制生物系统。
- 设备组装
- 电子和传感组件的快速小型化让物联网设备的尺寸更加依赖于设备的集成和组装技术。随着二维芯片集成技术向更加灵活和紧凑的三维集成封装技术发展,设备的尺寸得到了大幅的减小,系统化封装 (System in a Package, SP)以及最终的片上系统(System on a Chip, SoC)解决方案会变得越来越重要。在更大的范围内,灵活可伸缩的印刷电路(数据来源:Kim 2008)会带来更多的新型应用,例如生物器官仪器适形设备、简单设备和电子机械底板的3D 打印等,这些设备会在未来起到越来越关键的作用。
- 能源收集和存储
- 因为通过自主提供能源的方式可以避免在设备生命周期中替换设备中的电池,进而大幅度减少物联网设备前置装置的运营成本。所以,不断进步的能源(如光能、动能、电磁能等)存储和收集技术可以有效延长能源供给的生命周期,甚至让能源供给的生命周期超过设备本身的使用周期。由于对设备进行重复充电这种方式在物联网应用中既不现实也不经济,因此新能源技术的应用会驱动物联网设备的大幅增加,图119给出了一个机械能源采集设备的例子,它可以给满足尺寸和移动性要求的设备供电。
- 虛拟化设备
- 对大多数设备来说,增加处理、存储或显示功能从成本的角度来看并不现实。在这种条件下,只需要提供一个最终的传感功能和无线接口,人们就可以对设备剩余的逻辑功能进行虚拟化并让这些功能在云服务器上运行。
未来网络能源技术的发展
为了应对网络能源在未来10年里所面临的挑战,我们需要寻求新的解决方法,称之为“零电力网络”,它由了个不同但又相互关联的维度构成,这3个维度将共同组成 2020年及以后网络的基本模块,具体如下所示。
- 不依赖于传统电网进行供电:在无法找到电源、电源不可靠或电源使用价格高昂等场景下,这种方法将变得十分重要。当前的可再生能源技术,如太阳能、风能、动能、射频存储等,都需要通过电池来储电,但由于能量收集器体积(如太阳能面板、风力发电机)、电池重量等问题,这些技术在上述场景中并不可行。目前的研究主要集中在如何提供低能源/高效率的解决方案,从而提供实用的、不依赖于传统电网供电的网络部署。
- 零电力浪费:通信设备所消耗的超过 50% 的能源并不用于为设备提供直接有效的电力,这部分能耗开销主要包括冷热管理开销、低效的供电、AD-DC电流转换、设备空闲模式能耗等。即使在没有任何网络负载的情况下,这些部分的能耗都会高达系统峰值功耗的 90%。因此,网络能源技术的目标是消除,或者至少能够大幅减少上述能源浪费。
- 每比特能耗开销为零:网络能耗优化的目标是在最低能源消耗的情况下,处理、存储和传输尽可能多的数据。为了达到这一目标,我们需要提升通信设备和网络的能耗效率,从而在保证数据传输所需的最低能源需求的前提下,使其达到每比特额外能耗开销为零。
一些关键的架构和技术突破正驱动着“零电力网络”这一愿景的实现。我们需要通过一系列技术手段来最小化网络能耗,并实现能源自动化,如系统架构、硬件组件、软件、算法和协议等。然而这些技术各有优缺点,我们需要通过一系列技术的组合来实现上述目标。