区块链+云计算是利用区块链实现分布式云计算(Decentralized Cloud
Computing,下称DCC)的技术手段。本文分析了云计算行业的痛点、区块链技术和云计算的结合性、DCC的代表项目并且对主要的应用解决方案进行了对比,阐述了DCC模式主要存在的障碍,最后对DCC的未来进行了展望。
云计算行业现状与痛点1.1
---云计算概念
云计算是基于互联网相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。现阶段广为接受的云计算概念是美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池,这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。
云计算是分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。
云计算产业有多种分类方式,按提供的服务类型分类可分为 IaaS、PaaS、SaaS三类,从 IaaS 到 SaaS
越来越接近“傻瓜”式软件,利于用户直接使用。因此,如果说技术革新对硬件使用效率提升和成本降低更多体现在 IaaS 层面,SaaS
则是在享受硬件改善的基础上,通过降价(年费方式降低使用门槛)的方式扩大了市场。
1.IaaS全称为“设施即服务”(Infrastructure-as-a-service),提供的是服务器、存储、网络硬件等底层设施资源,用户购买
IaaS 产品后必须自己完成环境配备和应用程序开发,一般商业客户很难直接使用,使用对象大多是软件开发者,特别是 PaaS 及 IaaS
产品开发者;
2.PaaS全称为“平台即服务”(Platform-as-a-service),提供的是软件部署平台,比如虚拟服务器和操作系统,用户不需要关注底层,只需要根据自己的逻辑开发应用程序,适合自身特点明确、IT 预算高的大型商业客户,或应用程序开发商;
3.SaaS全称为“软件即服务”(Software-as-a-service),提供的是可以直接使用的软件,使用对象是一般商业客户,客户登录浏览器就可以打开使用。
IaaS、PaaS、SaaS提供商可以互相跨界。 目前,IaaS的厂商,一般可以进行进一步的资源打包,提供数据库、
应用中间层包runtime等,形成公有PaaS平台,如亚马逊AWS。而提供SaaS的厂商,在为一般商业客户提供通用性比较强的SaaS产品同时,也会为一些大型商业客户打造有他们自身特点的私有PaaS产品,甚至会有一些自己的
IaaS产品,比如Oracle。
1.2
---云计算三种模式分析
云计算三种分类对比
三种分类间的联系
大型企业多采用私有云、公有云、混合云的部署方式,小型企业多采用公有云、私有云和社区云;由于PaaS处于云计算产业靠中间的环节,IaaS提供商可以靠硬件及技术优势提供PaaS
服务,SaaS提供商也可以靠客户关系为大客户提供PaaS服务,纯PaaS提供商的竞争力不强。因此,云计算行业中,IaaS和SaaS的机会更大。
中国 IaaS市场处于高速发展中。中国 Iaas市场中,阿里巴巴市占率约50%,其云计算收入增长速度可以代表中国 IaaS
市场规模增长速度。阿里巴巴2015、2016、2017 年云计算收入增长速度分别为64%、138%、121%,在一定程度上表明中国整体IaaS
市场处于高速发展通道。
研发费用是 IaaS 行业的最大门槛,大多由巨头把控
高额的研发费用和大量硬件费用只有大型公司才有能力支付,不管是国内还是国外,IaaS 都由巨头把握;又因为 IaaS 发展对技术更新有强依赖性,高收入公司才有资本投入高研发费用,所以这个行业的马太效应非常明显。
根据数据,2016 年 IaaS 公有云市场份额前六的分别是亚马逊、微软、阿里巴巴、谷歌、Rackspace、IBM,除去
Rackspace 是 1998 年就进入 IaaS行业、时间长所以拥有较大规模外,其他公司均是其他行业的巨头,能支付巨大的研发投入。而
Rackspace 2016 年 IaaS 公有云收入增长 5%,收入增速远低于其他 5 家公司。
亚马逊是全球最大的云计算公司,云计算 AWS 于 2006 年推出,主要提供 IaaS产品,也提供部分 PaaS 产品。亚马逊的研发费用大部分用于云计算方面,到2017 年亚马逊的总研发费用已经达到 226 亿美元,且同比增速高达 41%。
阿里巴巴是中国最大的云计算公司,2015 年 7 月曾宣布对阿里云战略投资 60亿元,用于国际业务拓展、云计算、大数据领域基础和前沿技术开发;马云在 2017 年云栖大会上表示,预计未来 3 年将投资 1000 亿元成立研发中心“达摩院”,包括对云计算基础技术的研发。
1.3
---云计算市场规模
在技术和价格的推动作用下,全球云计算市场持续增长。根据Gartner的数据,包括IaaS、PaaS、SaaS、流程服务、广告营销在内的云计算市场在2016年为2196亿美元,到2020年预计整体规模将达到4114亿美元,2016至2020年的复合增长率为17%。
2014到2020E年全球云计算市场规模(亿美元)
数据来源:WIND,招商证券
中国云计算市场发展更快。相比全球市场,中国市场起步较晚,市场规模较小,技术正在加速追赶全球前沿科技,加上人工替代带来的客户量增长,使得中国云计算市场增速高于全球市场。根据数据,2016年中国企业云服务整体市场规模(包括IaaS、PaaS及SaaS)约为515亿元,到2020年市场规模约为1366亿元。
2008-2016E年中国云计算市场规模
数据来源:WIND,招商证券
全球云服务市场规模预测
数据来源:Gartner 1.4
---云计算行业融资情况
数据来源:鲸准洞见 1.5
---行业现状与痛点
1.云计算垄断
现有云计算市场极度中心化,市场份额Google、Amazon(AWS)、Microsot Azure、阿里云和腾讯云等几个科技巨头依靠自身高度集中化的服务器资源垄断了整个云计算市场,借助市场力量享受高额利润,进而导致算力服务价格高居不下
2.无激励措施
BONIC(Berkeley Open Infrastructure for Network
Computing)是目前最为主流的分布式计算平台,为众多的数学物理等学科类别的项目所使用,但是由于这是基于分布在世界各地的志愿者的计算资源而形成的分布式计算平台,缺乏足够的志愿者来贡献算力。
3.计算资源不足
虽然我们看到了未来DApps的繁荣,但是目前一般的区块链运行DApps的计算能力非常有限,现有的云计算基础设施无法满足DApps的需求,后者需要完全分散的基础设施来运行;存储容量不足和协议的读取延迟高,这些都需要通过额外的计算资源来满足更高要求的应用程序。
4.成本过高
云计算基础设施和高性能计算的操作过于复杂和成本高昂。创新型小企业通常没有业内基本、专业知识获取和操作高性能计算平台,而像Amazon
EC2这样的云供应商对于高要求的应用程序(如GPU渲染)仍然非常昂贵。此外,数据处理中心常常消耗大量能量来运行服务器和冷却系统,这样成本会非常大,而且对环境也造成负面影响。
2
云计算相关概念
提到云计算,就不得不提到与云计算相关的两个概念:雾计算和边缘计算。
2.1
---边缘计算
边缘计算(Edge Computing)很早就提出用于表示云和设备的边界,最早可以追溯到2003年,AKAMAI与IBM开始合作在WebSphere服务器上提供基于边缘的服务。
边缘计算是在靠近物或数据源头的网络边缘侧,融合网络、计算、存储、应用核心能力的分布式开放平台,其目标是就近提供边缘智能服务,满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。
边缘计算将是一种新的生态模式,通过在网络边缘侧汇聚网络、计算、存储、应用、智能五类资源,提高网络服务性能、开放网络控制能力,从而激发类似于移动互联网的新模式新业务。边缘计算的技术理念与特定网络接入方式无关,可以适用于固定互联网、移动通信网、消费物联网、工业互联网等不同场景,形成各自的网络架构增强。
2.2
---雾计算
雾计算是最近出现的一个概念,由思科首创。因为相对于云来说,它离产生数据的地方更近,数据、数据相关的处理和应用程序都集中于网络边缘的设备中,而不是几乎全部保存在云端。它拓展了云计算的概念,是作为实现IoT的结构为Cisco等提倡,旨在为全球范围所采用。
雾计算是一种分布式的计算模型,作为云数据中心和物联网(IoT)设备/传感器之间的中间层,它提供了计算、网络和存储设备,让基于云的服务可以离物联网设备和传感器更近。雾计算的概念的引入,也是为了应对传统云计算在物联网应用时所面临的挑战。
雾计算和边缘计算定义很模糊,业界一直在尝试将这两者区分开作为单独的概念。对此,业界最广为接受的概念是在边缘计算中,数据处理在收集数据的硬件上。雾计算是当节点的一个子集发送其数据到更大的中心连接点,在连接到更大的整体中心网络的过程中处理数据。
不管是边缘计算还是雾计算,其优势都很明显。雾计算消除了将大量原始数据流发送到中央网络的一些延迟和带宽问题,但是它并不要求每组传感器处理收集到的数据。
3
区块链技术与云计算3.1
---区块链技术与云计算的关系
由于互联网的普及,大量的多媒体信息(图文音视频等)造就了海量数据,这些数据大多是非结构化的。
分布式计算与并行计算:分布式计算是一种采用地理上不同的多个主机(集群)协同完成大量计算任务,从而替代巨型计算机的解决方案。并行计算是指多CPU并行处理,并行计算能够提高计算效率,但是前提是程序算法要尽可能并行设计。
虚拟化:虚拟化是为了实现云计算而划分资源的一种方法,包括两个层面:物理资源池化和资源池管理。虚拟化有两种,一种是将多个物理资源虚拟化成一个“大”的逻辑资源,另一种是在一个物理资源上划分出多个“小”的逻辑资源。
目前云计算采用第一种虚拟化方式较多,部署方式上使用分布式集群,并行计算并没有太多涉及(并行计算学术上还在研究中),然后可以处理海量数据,为庞大的接入终端群按需提供IT服务。可以简单的理解为,分布式这种解决方案是为了快速地处理海量数据而提出的,而该方案最终的目的或表现形式就是为了实现“用硬件换时间”,将数据分布在多台计算机上,同时处理(并行处理)带某种属性的数据集。从现实来看,很多微小型互联网公司没有能力或必要构建自己的分布式系统,会借助于本地资源外的云服务提供商,这样可以使公司专注于产品和业务实现。
结合灵活的开发工具,DCC平台可以帮助开发者发布软件并赚钱,进而改变算力任务的组织和执行方式。此类平台通过实现去中心微服务和异步任务执行,成为建设未来互联网的基础。得益于计算价格的大幅降低,复杂的应用(如CGI渲染,科学计算,机器学习等)将惠及每个人。
通过P2P网络连接电脑,使应用所有者和个体用户(算力“请求方”)可以从其他用户租用算力(算力“供应商”)。这些算力资源可以完成对计算时间和计算能力有一定要求的计算任务。在当下,算力资源被中心化云服务商把控,受制于封闭网络,外部支付系统和死板的运营模式。去中心化云算力设施可以做到基于以太坊(或同类公链)的支付转账系统,可以实现算力买家(请求方),卖家(供应商)及软件开发者之间的直接支付。
3.2
---DCC的优势
1.除了自由的服务器、带宽等资源外,还将计算需求分布到系统中的众多节点中去,把用户的先知资源利用起来,创造价值。
2.通过整合社会闲置的计算资源,来为企业或个人提供去中心化算力服务,基于Token经济,构建计算机算力买卖方市场。
3.相比传统的云计算服务,其降低了云计算服务的门槛和使用费用,有利于云计算的普及。
3.3
---商业模式
3.3.1 Token经济模型
虽然市面上的分布式算力平台项目众多,但是总的技术框架却是大同小异,下面就以一个大概的框架来大概的描述这个Token经济模型。
请求节点
这个节点一般由一些有计算需求的商家或是科学研究所来充当,一般实验室或是自有的计算机数量已经不太符合他们目前的计算需求了,需要通过超算或是其他性价比较高的计算资源如全球分布式算力来达到目的。请求节点可能会被按照要求先将自己的需求文件(数据)按照规格先model好在进入网络(ELastic)或是有其他节点来做做这个简单归类的工作。
以下为需要贡献计算资源的节点
1.归类节点
这个节点由CPU算力贡献用户来参与,通过分布式算力平台针对对某种计算目的项目进行分类来设定一些比较简单的分类算法来达到将数据归类和model的效果,这样子的目的是能够将这些原本不规则的数据能够更好处理同时能够传输到专门处理该类数据的处理节点去。
2.处理节点
这个节点专门用于对特定类别数据的处理。由于从归类节点或是从请求节点过来的数据的类别有千百种,对于特定的数据应该处理的方式或者说应该使用的model也不同,对于一些较为复杂的项目,对于能参与到这个项目中的机器和人要求较高。
以下举两个例子:
在医药领域,如一些医药方面的数据如影像数据,对于这类数据的处理一般需要至少具备一定医学知识的人员才可对这部分的数据进行处理计算得到合要求的数据。
AI和机器学习领域,这类别的数据训练和处理更多的需要是大学的科研设备或者是有编程经验的开发者们来当这个节点,因为需要使用特定的数据处理模型如KNN或是decision tree等,这些普通的CPU或是GPU贡献者已无法满足这类别数据的处理需求。
3.验证节点
这个节点对于从多个处理节点传输过来的对于相同数据的处理结果进行判断和筛选,一般只需要设备CPU贡献即可。一般会将同一份数据处理任务下达到多个数据处理节点,这样就可以在之后进行投票做判断哪个数据才是符合要求的。这样做虽然会造成数据冗余但是为最后结果的正确性得到了极高的保障同时配合荣誉机制等可以有效的解决数据造假问题。
3.3.2 荣誉系统
由于这个平台将不再是通过志愿的形式进行分布式贡献算力,那么如何衡量每个人的算力贡献便是一个新的问题。积分制和成员的段位可以是一个较好的方法来衡量一个用户的贡献多少。
有一种可能是按照完成的任务单元的数量来进行积分,但是因为在未来可以在分布式算力平台上运行的项目可能目的或是运行方面的差异会很大,如当某一个数据包在某台机器需要大概一个小时的时间完成,而另外一种数据包在同台机器上运行则需要20倍的时间才能完成,这样便会造成同一个任务单元所得到的奖励相同但是工作量却不一样的事情发生,这样显然,用完成的任务数目来计量用户的贡献计算量是不可行的。同样的,用完成处理一个任务所需要用到的cpu时间来衡量贡献也是不可行的。既然通过一些特定的参数来概括一个用户所产生的贡献是不可行的,那么就需要使用一些算法来达到准确记录每个用户所实际完成的计算量以期达到公平准确的分发奖励。因此,对于贡献量的考量便应该从多个角度来参考。
3.3.3 积分系统
比较可行的积分系统应该综合考量一下几个方面来对一个节点的贡献进行计算:
设备的性能指数
不同性能的设备在运行处理同一个数据包时所造成的资源使用以及成本不同,应当针对不同的设备进行一个标准化的性能测试来得到一个合理的性能分数来进行进行加权。
提交结果的正确次数
在一个分布式算力平台中需求方最在意的便是获得的结果的质量如何,如果设备得到的结果是不符合要求或是由恶意用户产生的无效结果那么对平台的名誉损失是巨大的。那么可以做的便是按照提交正确结果的次数来进行评级,正确的应该进行奖赏升级,而错误的结果则应该基于惩罚降级。
可能会出现的问题:
1.性能测试不准
尤其是当跨操作系统平台时,比如同一台计算机分别安装Windows版本客户端和Linux版本的客户端,做出的基准测试结果可能就相差比较大。
2.容易导致作弊
由于平台需要开放服务端和客户端的全部源代码,如果用户下载了客户端的源代码,自行编译的过程中修改或优化原有的基准测试代码,就可能导致他自制的客户端的基准测试成绩大幅偏高。
4
DCC项目分析
区块链相关的云计算项目,主要是借助区块链的分布式技术,将多个分散的计算机节点连起来,提供分布式计算资源租赁服务。
4.1
---DCC项目一览
4.2
---重点项目逐项对比
4.33
---项目的投资明细
5
DCC项目投资逻辑1
---项目技术的创新性
与分布式计算相关的区块链项目,大体思路一致,都是通过整合和利用闲置资源,为企业和个人提供去中心化算力服务,基于Token经济,构建计算机算力买卖方市场。因此在技术上的创新就尤为重要,尽快在技术上完善,通过测试网络实现落地更易在竞争中突显优势。
2
---高效的组织协调平台
通过区块链协调计算节点的项目想要成功对应细分领域的平台,除了找到自己的场景,还需要与传统云计算项目比拼效率,选择更加高效低成本的基础链是其脱颖而出的重要一环。
3
---经济激励模型设计的创新
好的经济模型的设计决定了一个项目的长期运行,虽然市面上有很多DCC项目,但其经济模型框架基本一致,同质化较为严重,那么在保证现有的经济模型的安全性前提下,激励模型上具有创新性且更合用户和使用者心意才能在竞争下长存。
4
---社群运营能力
对于区块链项目而言,社群是很重要的资源,团队社区运营能力的强弱决定着是否会形成网络效应,从而决定着项目的推广以及分布式算力的提高;并且社群还可对项目的发展作出相当可观的贡献,包括运营维护、技术支持等多个方面。
5
---服务质量是否能达到商业级别
项目的算力是否可靠,最终要得到市场的检验。目前大部分DCC项目离商业可用还有很大距离,超级算力本身在技术上的实现就有一定的难度,如果能解决技术上的瓶颈,即能成为这个行业里具有强竞争力的项目;安全和可靠性是商用化必须考虑的两个方向,因此拥有优秀的加密、灾备以及同步方案也是优秀项目的必须要素。
6
DCC项目未来趋势1
---技术提高,项目实际落地数量增多
基于区块链的云计算项目在技术上并不成熟完善,部分都还是在测试网络运行,稳定性和速度上较传统的云计算服务差很多,同时这些项目并没有典型的应用案例或服务场景,离大规模商用还较远,可以预见随着区块链技术和分布式计算相关技术的同步发展,将会快速出现落地类项目。
2
---安全性的提高是重要发展方向
云计算模型中,用户的数据上传到数据中心,而在这个过程中,数据安全性就成了一个重要问题。从电子金融账户密码、到搜索引擎历史再到智能摄像头监控,这些个人的隐私数据在上传到数据中心的过程,都蕴含了数据泄露的风险,因此安全性的提高将会是是DCC需要实现的主要性能。
3
---知识产权得到合理的解决
与安全问题息息相关的,则是对专有数据和知识产权的担忧。在云计算中,用户的一切数据都需要上传至数据中心,一些视为商业机密的重要信息都有可能通过高质量的传感器获取的工业数据来获取,所以合理解决知识产权问题对DCC的发展有着很大的影响。
4
---带宽成本将大幅降低
系统内连接的传感器会产生大量数据,在这些情况下,将所有这些信息发送到云将花费很长时间和过高的成本,而分布式计算可在保证安全性的同时实现高吞吐量的计算,将大量降低带宽成本。
5
---自治能力提升
正是由于延迟和弹性问题,使得边缘计算自主决策不依赖于云的特性,成为在物联网应用中的决胜优势。因此,在应急情况下,DCC平台能够同时监控自身及其正在执行的进程,还可以对其进行编程,这样就可以完全实现去中心化的特点同时还能保证自身的安全性和稳定性。
6
---技术架构将实现标准化
任何重大技术突破在早期的时候都属于竞争性架构。现在DCC已经出现许多的实验和解决方案,在未来5-10年的时间将会逐渐出现一定的行业标准,这也将带来整个行业的迅速发展。
7
---区块链和云计算将实现有限融合
区块链的技术在理论上的确可以创造一个彻底安全和民主的网络,但是用户对“安全”愿意支付的价格是有限的;未来区块链和云计算的融合不可避免,将出现小节点云化,重要节点区块链化,甚至会出现有限备份的场景。