星云 - 分布式云计算系统
|
目前，许多组织和个人拥有闲置的计算硬件资源。他们数量巨大，但却没有发挥出应有的效益。为此，本文介绍了星云：一个基于区块链的去中心化的云计算平台，它能通过算力交易的方式提高闲置硬件资源的利用率。 0 为什么需要星云？ 目前众多组织和个人拥有大量闲置的计算硬件资源。例如企业会为应对突增的用户访问而购置大规模集群，个人设备在不使用时基本处于闲置状态，但在绝大多数时间里这些硬件没有发挥出最大性能。 而另一方面，许多科研工作者或企业人员可能需要完成某些计算任务如深度学习、大数据处理等，但手头上却没有足够的硬件资源。他们急切期望能以按需付费的方式租用到各种硬件资源。
算力需求场景VS算力冗余场景 如何最大限度地利用好闲置硬件的性能，使其充分转化为科研效益和经济效益，成为个人、企业和组织机构的迫切需求。 星云是一个用于化解上述矛盾的云计算平台。它允许用户通过算力交易的方式尽可能地提高闲置硬件的利用率。 平台使用虚拟货币激励硬件进入平台，利用智能合约保障平台的安全性。 平台通过算力交易的订单(deal)，在硬件资源的拥有方(supplier)和需求方(customer)之间建立一对一的连接，进行算力资源和虚拟货币的等价互换，达到买方和卖方的双赢。 1 什么是星云 星云是一个基于区块链的分布式的云计算平台。它具有以下的三个特点。
云计算强调了按需交付的特点。客户仅以自身需要为额度购买所软硬资源，如显卡，网络带宽等。 区块链是星云系统的后端。系统在结合区块链技术后，进一步使用了虚拟货币、智能合约等技术，保证买卖双方交易的公平和安全。 去中心化表示硬件资源不再由中心化的集群提供，而是由分布在世界各地的平台使用者提供。系统本身也不运行在中心化的机器上，而是由分布的结点构成。硬件资源的去中心化让星云可以充分发掘潜在的闲置硬件，将其汇总，并供算力购买者选购和使用。
星云平台的设计方法与共享经济的思想类似，物理设备可以通过docker分割成多个虚拟的硬件资源，将资源放置到星云平台上共享。 在星云系统中，虚拟货币的奖励构成用户的激励机制，智能合约构成交易机制，共识算法构成了系统的安全机制。它们会在第2节详细地介绍。 2 区块链在星云的运用 不可篡改性
在本质上，区块链是一个分布式账本，它记录着由密码学保护的一系列交易(transaction)。多个交易会被聚集成区块(block)，在经过验证后，被系统的所有结点确认。 区块链上的每个区块都必须附上一份算力证明（Prove of Work）。一个区块只有带有合法的算力证明才有可能被其他结点接受。 基于这个特点，如果恶意结点企图修改链上的数据以攻击星云系统，它需要重做该区块和其后所有区块的算力证明，与整个系统其他结点的算力总和做对抗。这是几乎不可行的。 强制执行
智能合约是本系统的另一大特点。智能合约本质上是区块链上的一段代码。它具有强制执行、自动执行等特点。 在星云中，虚拟货币的定义与转账、订单的记录与确认等，都是利用智能合约完成的。它有效地保证了系统的安全性和订单的合法性。 去中心化 区块链具有去中心化的特点。链上的每个结点会同步所有的区块，以拥有系统的完整副本。 这个特点保证了在星云系统中，任意多个结点失效并不会影响到系统的正常运行。同时，系统还具有较高的可靠性，能抵御相当于区块链结点总算力一半的攻击。与传统后端相比，星云拥有更高的可用性和可靠性，是实现一个云计算平台的更好的选择。 3 星云的参与者 用户可以以三种身份参与到星云平台中。他们是区块链结点(peer)，硬件的拥有方(supplier)和算力的购买方（customer）。
区块链结点 任何用户可以作为区块链的一个结点，链接到星云链上。作为结点，用户需要 由此，用户可以 虚拟货币可以用于租用硬件，或在个人账号之间转账。 硬件提供方 用户可以将它的闲置硬件加入到系统中来。用户需要 在出售请求与购买请求匹配成订单后，设备D会运行购买方提供的任务。每运行一定时间，master主机使用的账号会被转入订单所设的虚拟货币。 算力购买方 用户在购买算力时，只需要运行平台提供的脚本，并使用配置文件指定算力需求即可。 买卖双方的请求被提交到星云后，相匹配的请求会被连接形成订单。买卖双方均可通过星云系统查询请求状况。一旦买卖双方的请求配对成功分布式云计算，购买方可以以docker image的方式指定运行的任务。 4 系统架构 星云系统的所有组件可以分为三个部分。区块链结点的部分，硬件的拥有方(supplier)和硬件的购买方(customer)。
算力购买方 算力的购买方只需要在主机上运行服务client和node。client负责读取用户的命令行输入，解析配置文件的参数，将信息汇总预处理后发送给node服务。 node服务是一个代理服务，负责将请求转发到blockchain的相关组件上，并定期轮询blockchain以获取发生在链上的事件。 算力提供方 除了client和node外，算力的提供方还需要在某台主机上运行worker脚本。 worker脚本在启动时会运行基准测试，以获取主机的性能参数。参数包括网络带宽、内外存容量、CPU和GPU的性能和核数等。 由于node和worker很可能不在一个内网中，node是利用星云平台进行内网穿透来与worker进行通信的。通过内网穿透，node可以随时查询worker的状态和运行的任务等。 区块链结点
星云带有两条链：主链(main)和侧链(side)。其中主链负责数据的簿记工作，侧链向用户暴露了API，供用户调用。 由于与区块链的交互是很慢的，星云系统引入了DWH（Data WareHouse）组件。DWH是一个用数据库实现的区块链的缓存。对链的修改和查询操作都可以通过DWH代理完成。 5 星云的界面 星云系统带有一个正在开发中的用户界面，可供用户下达订单和查询系统状态。 下图的地图部分展示了星云系统中的用户使用情况，表单部分展示了购买方下请求时使用的表格。
下图展示了买卖双方的请求形成订单的界面
6 总结 星云是一个基于区块链的去中心化的云计算平台。它使用算力交易的方式最大化闲置硬件的利用率。它基于区块链、智能合约、容器、云计算等多项技术，确保了算力交易以强制、合法的方式自动执行。算力资源的去中心化和系统后端的去中心化给予星云系统在资源数量和可用性方面无限的潜能。星云系统会在共识协议、智能交易匹配、智能定价、大规模部署等方面继续完善。
（编辑：南京站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
