最新：GO 现高并发高可用分布式系统-Log微

gy7231101

在大数据时代，具备高并发，高可用，理解微服务系统设计的人员需求很大，如果你想从事后台开发，在JD的描述中最常见的要求就是有所谓的“高并发”系统开发经验。[url=http:///www.wangsu.com/]IPv6[/url]的相关知识也可以到网站具体了解一下，有专业的客服人员为您全面解读，相信会有一个好的合作！[align=center]

                               
登录/注册后可看大图

[/align]


本文转载自微信「C迪斯尼」，作者陈屹。转载本文请联系C迪斯尼。


在大数据时代，具备高并发，高可用，理解微服务系统设计的人员需求很大，如果你想从事后台开发，在JD的描述中最常见的要求就是有所谓的高并发系统开发经验。但我发现在市面上并没有直接针对高并发，高可用的教程，你搜到的资料往往都是只言片语，要不就是阐述那些令人摸不着头脑的理论。但是技术的掌握必须从践中来，我找了很久发现很少有指导人动手践基于微服务的高并发系统开发，因此我希望结合自己的学习和践经验跟大家分享一下这方面的技术，特别是要强调具体的动手践来理解和掌握分布式系统设计的理论和技术。


所谓微服务其没什么神奇的地方，它只不过是把我们原来聚合在一起的模块分解成多个独立的，基于服务器程序存在的形式，假设我们开发的后台系统分为日志，存储，业务逻辑，算法逻辑等模块，以前这些模块会聚合成一个整体形成一个复杂庞大的应用程序：





这种方式存在很多问题，第一是过多模块糅合在一起会使得系统设计过于复杂，因为模块直接存在各种逻辑耦合，这使得随着时间的推移，系统的开发和维护变得越来越困难。第二是系统越来越脆弱，只要其中一个模块发送错误或奔溃，整个系统可能就会垮塌。第是可扩展性不强，系统很难通过硬件性能的增强而现相应扩展。


要现高并发，高可用，其基本思路就是将模块拆解，然后让他们成为独立运行的服务器程序，各个模块之间通过消息发送的方式完成配合：





这种模式的好处在于：1，模块之间解耦合，一个模块出问题对整个系统影响很小。2，可扩展，高可用，我们可以将模块部署到不同服务器上，当流量增加，我们只要简单的增加服务器数量就能使得系统的响应能力现同等扩展。，鲁棒性增强，由于模块能备份多个，其中一个模块出问题，请求可以重定向到其他同样模块，于是系统的可靠性能大大增强。


当然任何收益都有对应代价，分布式系统的设计开发相比于原来的聚合性系统会多出很多难点。例如负载均衡，服务发现，模块协商，共识达成等，分布式算法强调的就是这些问题的解决，但是理论总是抽象难以理解，倘若不能动手现一个高可用高并发系统，你看多少理论都是雾里看花，越看越糊涂，所以我们必须通过动手践来理解和掌握理论，首先我们从最简单的服务入手，那就是日志服务，我们将使用GO来现。


首先创建根目录，可以命为__，后面所有服务模块都现在该目录下，然后创建子目录,进去后我们再创建子目录在这里我们现日志服务的逻辑模块，首先在下面执行初始化命令：



这里开发的模块会被其他模块引用，所以我们需要创建文件。首先我们需要完成日志系统所需的底层数据结构，创建文件，相应代码如下：


()L{M[]R}NL()*L{L{R),}}(*L)A(R)(64,){L()U()O=64(())=(,)O,}(*L)R(64)(R,){L()U()=64(()){R{},EONF}[],}R{V[]`:`O64`:`}EONF=E()
由于我们的日志服务将以服务器程序的方式接收日志读写请求，因此多个读或写请求会同时执行，所以我们需要对数组进行互斥操作，因此使用了互斥锁，在每次读取数组前先获得锁，这样能防止服务在同时接收多个读写请求时破坏掉数据的一致性。


所有的日志读写请求会以POST和GET的方式发起，数据通过来封装，所以我们下面将创建一个服务器对象，新建文件，完成如下代码：


()NHS()*S{:=HS():=NR()HF(,LW)M(POST)HF(,LR)M(GET)S{A:,H:,}}S{L*L}HS()*S{S{L:NL(),}}WR{RR`:`}WR{O64`:`}RR{O64`:`}RR{RR`:`}(*S)LW(RW,*R){WR服务以格式接收请求:=ND(B)D()!={E(,E(),SBR)},:=LA(R)!={E(,E(),SISE)}:=WR{O:}服务以格式返回结果=NE()E()!={E(,E(),SISE)}}(*S)LR(RW,*R){RR:=ND(B)D()!={E(,E(),SBR)},:=LR(O)==EONF{E(,E(),SNF)}!={E(,E(),SISE)}:=RR{R:}=NE()E()!={E(,E(),SISE)}}
上面代码显示出分布式，微服务的特点。相应的功能代码以单独服务器的形式运行，通过络来接收服务请求，这对应分布式，每个独立模块只完成一个特定任务，这就对应微服务，由于这种方式可以同时在不同的机器上运行，于是展示了可扩展性。


同时服务既然以服务器的形式存在，因此服务的请求和返回也要走H形式，同时数据以J方式进行封装。同时现的逻辑很简单，但有日志写请求时，我们把请求解析成R结构体后加入到队列末尾，当有读取日志的请求时，我们获得客户端发来的读取偏移，然后取出对应的记录，封装成格式后返回给客户。


完成了服务器的代码后，我们需要将服务器运行起来，为了达到模块化的目的，我们把服务器的启动放置在另一个地方，在根目录下创建,在里面添加:


()(){:=NHS(:8080)F(LAS())}
同时为了能够引用下面的模块，我们需要在下先通过进行初始化，然后在文件中添加如下一行：


=
然后执行命令,这样本地模块就知道根据给定的目录转换去引用模块，最后使用启动日志服务，现在我们要做的是测试服务器的可用性，我们同样在目录下创建_，然后编写测试代码，基本逻辑就是想服务器发送日志写请求，然后再发送读请求，并比较读到的数据是否和我们写入的数据一致，代码如下：


()TSLW(*T){=[]{WR_WR}{{:WR{R{[](`1`),0}},_:WR{O:0,},},{:WR{R{[](`2`),0}},_:WR{O:1,},},{:WR{R{[](``),0}},_:WR{O:2,},},}_,:={将请求转换成格式并给日志服务:=_,:=M()!={E()},:=P(::8080,,NB(_))BC()!={E(:%,)}解析日志服务返回结果,:=RA(B)WR=U([](),)!={E(U:%,)}检测结果是否与预期一致O!=_O{E(:%,:%,O,_O)}}_=[]{RRRR}{{:RR{O:0,},:RR{R{[](`1`),0}}},{:RR{O:1,},:RR{R{[](`2`),0}}},{:RR{O:2,},:RR{R{[](``),0}}},}_,:=_{:=_,:=M()!={E()}将请求转换为并放入GET请求体:=C{},:=NR(MG,::8080,NB(_))HS(C-T,),:=D()!={E(:%,)}解析读请求返回的结果BC(),:=RA(B)RR=U([](),)!={E(U:%,)}:=C(RV,RV)!=0{E(:%,:%,RV,RV)}}}
完成上面代码后，使用运行，结果如下图所示：





从结果看到，我们的测试能通过，也就是论是向日志服务提交写入请求还是读取请求，所得的结果跟我们预想的一致。总结一下，本节我们设计了一个简单的JSONHTTP日志服务，它能够接收基于JSON的写请求和读请求，后面我们还会研究基于PRC技术的微服务开发技术


代码获取


16514____