基于EAV模型的运营系统架构实践[转] (2017-09-18)

 本文将介绍如何基于 EAV 模型,来构造一个准自动化的运营系统,服务运营研发部的相关工作。

我们的痛点

运营研发部对接三端(PC、M、APP)后台工作,劳心劳力。。。

  • 头疼的稀疏表( 稀疏表通常会有很多列,但是每一行有值的列又比较少。)+头疼的各种表。
  • 持续的迭(xu)代(qiu)升(bian)级(geng)(每一次功能升级,都需要变更表结构)。
  • 基础数据的维护代码坑好多,打个标签加个属性,都好怕。
  • Code Monkey,熟悉的表+熟悉的套路(设计表单、设计字段、CRUD…)Boom!

漫漫选型路

其实我们的愿景很“简单”。

  • 可以舒服地给各种[途牛实体]打标签、扩展属性。
  • 可以简单地记录任何结构的新数据,而不需要修改任何数据结构。
  • 可以极好地迅速扩展应用,因为它可以防止(属性)不断变化的后果。

漫漫长路。。。

为了高可用&扩展性,我们学习了Drupal的元数据操作、Magento的产品建模、以及各种CMS。

为了解决稀疏表,我们尝试基于 Column Family(列族)来处理,BigTable、Cassandra、HBase,曾经都是我们的“座上客”。(事实上,很多团队已经这样解决掉了)

然而,

踏破铁鞋无觅处,得来全不费工夫。

一种数据模型悄然而至,实体属性值模型

来自百度百科:实体属性值模型(EAV)是一种用数据模型描述实体的属性(属性,参数),可以用来形容他们潜在巨大,但实际上将适用于给定的实体的数量是相对较少。 在数学中,这种模式被称为一个稀疏矩阵 。 EAV也被称为对象的属性值的模式,垂直的数据库模型和开放式架构。

这里不详细介绍EAV是什么,因为我们的设计在EAV之上。(站在巨人的肩膀上)

下面即将进入全文干货集中地段。^_^

RBZ

系统代号:RBZ(肉包子)

系统构成:EAV+DF+AC+PHP+MYSQL

系统模块:

  • 应用中心
  • 属性中心
  • 标签中心

从技术角度描述RBZ的运转流程大致如下:

  • 通过[属性中心]配置和管理属性。
  • 通过[标签中心]配置和管理标签。
  • 通过[应用中心]选择[实体、属性、标签],自动生成表单,录入数据。
  • 通过[CMS]动态模版输出给C端用户。

下面逐一讲解,他们分别是什么。:)无比接近干货地段了。

系统设计

架构

RBZ架构图

表结构

基于列模式的表设计。(我们常规的工作都是行模式

举个栗子:A公司售卖鞋子和衣服。(比较极端,勿喷)

行模式(产品表)

PID PNAME 类型 尺码 颜色
0001 鞋子1 1 42 黑色
0002 衣服1 2 XL 蓝色

列模式(属性表、实体表)

属性表(类型、排序、启用、默认值、可选值、必填…)

属性ID 属性名称 属性字段 数据类型 属性分组
1 尺码 size input 鞋子
2 尺码 size input 衣服
3 颜色 color input 鞋子
4 颜色 color input 衣服

实体表

ID 应用ID 实体ID 属性ID 属性值
1 1 0001 1 42
2 1 0001 3 黑色
3 1 0002 2 XL
4 1 0002 4 蓝色

这番设计,两个益处。

  1. 省存储空间。
  2. 易动态扩展。

动态表单

我们的常规工作是静态表单,避免在Code Monkey的路,越走越远,我们需要改变。

设计动态表单模型,基本的思路应该是数据和表现显示的分离。抛开表现层,一个表单包含的若干个字段和填写的数据。所谓动态,就是这些字段名称可能改变,数量可能有增减。

配置字段(POI中文名称)

POI中文名称

配置中。。。

POI属性列表

见证奇迹的时刻。(表单自动生成)

表单

这番设计,两个益处。

  1. 猴子做架构了(再也不用写FORM了)。
  2. 用户自定义。

CMS

通过CMS定义RBZ标签,结合自定义样式模版,任意组合吐出数据。

用了一个叫 Mustache 的模版语言。

 {{#cmsRbzItems}} 中文名称 {{attr_cnname}} 英文名称 {{attr_enname}} 岛屿图片 {{attr_pic}} 所属群礁 {{attr_class}} 酒店品牌 {{attr_hotel}} 费用信息 {{attr_price}} 产品推荐 {{attr_managerrecommend}} 岛屿星级 {{attr_islandstar}} 岛屿排序 {{attr_islandrank}} 上岛时间 {{attr_timecost}} {{/cmsRbzItems}} 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

API

为确保RBZ接口的持续交付,我们选择用 Postman 来做接口的自动化测试工作。

某一个请求。

请求

每一次发布。

发布

RBZ-应用

处子秀:马尔代夫选岛工具

需求:

  • 提取马尔代夫的所有岛屿(POI)
  • 扩展岛屿属性(费用信息、岛屿星级、产品经理推荐)
  • 给岛屿打标签(蜜月、亲子、一价全含、WIFI)
  • 选岛工具

只需配置,无需研发

  • 配置属性
  • 配置标签
  • 配置应用 
    • 选POI
    • 编辑属性
    • 编辑标签

灯灯灯灯。。。

筛选项:

筛选项

实体:

实体

在这里,代表官方,诚邀各种应用接入。

RBZ-ROI

浅谈RBZ的回报率。

  • 成就工作快,降成本,提效率。(之前这样的后台开发任务至少需要15人天)。
  • 可能成为运营层数据字典
  • 聚合页需求配置化
  • 精细化运营:脱离底层数据,在运营层通过属性、标签配置,精细化呈现。

结论

理解EAV模型确实需要时间。它有一个明确的学习曲线,使的初级开发人员在真正理解其概念前,需要为此付出更多的精力。

应用实体-属性-值时,应考虑以下条件:

  • 数据是稀疏的、异构的,一个实体的属性范围较广,且常引入新的属性。
  • 类的数量非常大,有许多实例类,即使属性是非稀疏的。

 

转自:http://blog.csdn.net/tuniumobile/article/details/51385945

 

点击查看原文阅读(1) | 评论(0) | 分类:数据库优化

Consul 使用手册 (2017-09-06)

 

介绍

Consul包含多个组件,但是作为一个整体,为你的基础设施提供服务发现和服务配置的工具.他提供以下关键特性:

  • 服务发现 Consul的客户端可用提供一个服务,比如 api 或者mysql ,另外一些客户端可用使用Consul去发现一个指定服务的提供者.通过DNS或者HTTP应用程序可用很容易的找到他所依赖的服务.
  • 健康检查 Consul客户端可用提供任意数量的健康检查,指定一个服务(比如:webserver是否返回了200 OK 状态码)或者使用本地节点(比如:内存使用是否大于90%). 这个信息可由operator用来监视集群的健康.被服务发现组件用来避免将流量发送到不健康的主机.
  • Key/Value存储 应用程序可用根据自己的需要使用Consul的层级的Key/Value存储.比如动态配置,功能标记,协调,领袖选举等等,简单的HTTP API让他更易于使用.
  • 多数据中心: Consul支持开箱即用的多数据中心.这意味着用户不需要担心需要建立额外的抽象层让业务扩展到多个区域.

Consul面向DevOps和应用开发者友好.是他适合现代的弹性的基础设施.

consul-cluster

基础架构

Consul是一个分布式高可用的系统. 这节将包含一些基础,我们忽略掉一些细节这样你可以快速了解Consul是如何工作的.如果要了解更多细节,请参考深入的架构描述.

每个提供服务给Consul的阶段都运行了一个Consul agent . 发现服务或者设置和获取 key/value存储的数据不是必须运行agent.这个agent是负责对节点自身和节点上的服务进行健康检查的.

Agent与一个和多个Consul Server 进行交互.Consul Server 用于存放和复制数据.server自行选举一个领袖.虽然Consul可以运行在一台server , 但是建议使用3到5台来避免失败情况下数据的丢失.每个数据中心建议配置一个server集群.

你基础设施中需要发现其他服务的组件可以查询任何一个Consul 的server或者 agent.Agent会自动转发请求到server .

每个数据中运行了一个Consul server集群.当一个跨数据中心的服务发现和配置请求创建时.本地Consul Server转发请求到远程的数据中心并返回结果.

更多介绍查看官网点击前往

安装Consul

安装Consul,找到适合你系统的包下载他.Consul打包为一个’Zip’文件.前往下载

下载后解开压缩包.拷贝Consul到你的PATH路径中,在Unix系统中~/bin/usr/local/bin是通常的安装目录.根据你是想为单个用户安装还是给整个系统安装来选择.在Windows系统中有可以安装到%PATH%的路径中.

验证安装

完成安装后,通过打开一个新终端窗口检查consul安装是否成功.通过执行 consul你应该看到类似下面的输出

  1. [root@dhcp-10-201-102-248 ~]# consul
  2. usage: consul [--version] [--help] <command> [<args>]
  3.  
  4. Available commands are:
  5. agent Runs a Consul agent
  6. configtest Validate config file
  7. event Fire a new event
  8. exec Executes a command on Consul nodes
  9. force-leave Forces a member of the cluster to enter the "left" state
  10. info Provides debugging information for operators
  11. join Tell Consul agent to join cluster
  12. keygen Generates a new encryption key
  13. keyring Manages gossip layer encryption keys
  14. kv Interact with the key-value store
  15. leave Gracefully leaves the Consul cluster and shuts down
  16. lock Execute a command holding a lock
  17. maint Controls node or service maintenance mode
  18. members Lists the members of a Consul cluster
  19. monitor Stream logs from a Consul agent
  20. operator Provides cluster-level tools for Consul operators
  21. reload Triggers the agent to reload configuration files
  22. rtt Estimates network round trip time between nodes
  23. snapshot Saves, restores and inspects snapshots of Consul server state
  24. version Prints the Consul version
  25. watch Watch for changes in Consul

如果你得到一个consul not be found的错误,你的PATH可能没有正确设置.请返回检查你的consul的安装路径是否包含在PATH中.

运行Agent

完成Consul的安装后,必须运行agent. agent可以运行为serverclient模式.每个数据中心至少必须拥有一台server . 建议在一个集群中有3或者5个server.部署单一的server,在出现失败时会不可避免的造成数据丢失.

其他的agent运行为client模式.一个client是一个非常轻量级的进程.用于注册服务,运行健康检查和转发对server的查询.agent必须在集群中的每个主机上运行.

查看启动数据中心的细节请查看这里.

启动 Consul Server

  1. consul agent -server -bootstrap-expect 3 -data-dir /tmp/consul -node=s1 -bind=10.201.102.198 -ui-dir ./consul_ui/ -rejoin -config-dir=/etc/consul.d/ -client 0.0.0.0

运行cosnul agent以server模式,

  • -server : 定义agent运行在server模式
  • -bootstrap-expect :在一个datacenter中期望提供的server节点数目,当该值提供的时候,consul一直等到达到指定sever数目的时候才会引导整个集群,该标记不能和bootstrap共用
  • -bind:该地址用来在集群内部的通讯,集群内的所有节点到地址都必须是可达的,默认是0.0.0.0
  • -node:节点在集群中的名称,在一个集群中必须是唯一的,默认是该节点的主机名
  • -ui-dir: 提供存放web ui资源的路径,该目录必须是可读的
  • -rejoin:使consul忽略先前的离开,在再次启动后仍旧尝试加入集群中。
  • -config-dir::配置文件目录,里面所有以.json结尾的文件都会被加载
  • -client:consul服务侦听地址,这个地址提供HTTP、DNS、RPC等服务,默认是127.0.0.1所以不对外提供服务,如果你要对外提供服务改成0.0.0.0
  1. [root@dhcp-10-201-102-198 consul]# consul agent -server -bootstrap-expect 1 -data-dir /tmp/consul -node=s1 -bind=10.201.102.198 -ui-dir ./consul_ui/ -rejoin -config-dir=/etc/consul.d/ -client 0.0.0.0
  2. ==> WARNING: Expect Mode enabled, expecting 3 servers
  3. ==> Starting Consul agent...
  4. ==> Starting Consul agent RPC...
  5. ==> Consul agent running!
  6. Version: 'v0.7.4'
  7. Node ID: '422ec677-74ef-8f29-2f22-01effeed6334'
  8. Node name: 's1'
  9. Datacenter: 'dc1'
  10. Server: true (bootstrap: false)
  11. Client Addr: 0.0.0.0 (HTTP: 8500, HTTPS: -1, DNS: 8600, RPC: 8400)
  12. Cluster Addr: 10.201.102.198 (LAN: 8301, WAN: 8302)
  13. Gossip encrypt: false, RPC-TLS: false, TLS-Incoming: false
  14. Atlas: <disabled>
  15.  
  16. ==> Log data will now stream in as it occurs:
  17.  
  18. 2017/03/17 18:03:08 [INFO] raft: Restored from snapshot 139-352267-1489707086023
  19. 2017/03/17 18:03:08 [INFO] raft: Initial configuration (index=6982): [{Suffrage:Voter ID:10.201.102.199:8300 Address:10.201.102.199:8300} {Suffrage:Voter ID:10.201.102.200:8300 Address:10.201.102.200:8300} {Suffrage:Voter ID:10.201.102.198:8300 Address:10.201.102.198:8300}]
  20. 2017/03/17 18:03:08 [INFO] raft: Node at 10.201.102.198:8300 [Follower] entering Follower state (Leader: "")
  21. 2017/03/17 18:03:08 [INFO] serf: EventMemberJoin: s1 10.201.102.198
  22. 2017/03/17 18:03:08 [INFO] serf: Attempting re-join to previously known node: s2: 10.201.102.199:8301
  23. 2017/03/17 18:03:08 [INFO] consul: Adding LAN server s1 (Addr: tcp/10.201.102.198:8300) (DC: dc1)
  24. 2017/03/17 18:03:08 [INFO] consul: Raft data found, disabling bootstrap mode
  25. 2017/03/17 18:03:08 [INFO] serf: EventMemberJoin: s2 10.201.102.199
  26. 2017/03/17 18:03:08 [INFO] serf: EventMemberJoin: s3 10.201.102.200
  27. 2017/03/17 18:03:08 [INFO] serf: Re-joined to previously known node: s2: 10.201.102.199:8301
  28. 2017/03/17 18:03:08 [INFO] consul: Adding LAN server s2 (Addr: tcp/10.201.102.199:8300) (DC: dc1)
  29. 2017/03/17 18:03:08 [INFO] consul: Adding LAN server s3 (Addr: tcp/10.201.102.200:8300) (DC: dc1)
  30. 2017/03/17 18:03:08 [INFO] serf: EventMemberJoin: s1.dc1 10.201.102.198
  31. 2017/03/17 18:03:08 [INFO] consul: Adding WAN server s1.dc1 (Addr: tcp/10.201.102.198:8300) (DC: dc1)
  32. 2017/03/17 18:03:08 [WARN] serf: Failed to re-join any previously known node
  33. 2017/03/17 18:03:14 [INFO] agent: Synced service 'consul'
  34. 2017/03/17 18:03:14 [INFO] agent: Deregistered service 'consul01'
  35. 2017/03/17 18:03:14 [INFO] agent: Deregistered service 'consul02'
  36. 2017/03/17 18:03:14 [INFO] agent: Deregistered service 'consul03'
  • 查看集群成员

新开一个终端窗口运行consul members, 你可以看到Consul集群的成员.

  1. [root@dhcp-10-201-102-198 ~]# consul members
  2. Node Address Status Type Build Protocol DC
  3. s1 10.201.102.198:8301 alive server 0.7.4 2 dc1
  4. s2 10.201.102.199:8301 alive server 0.7.4 2 dc1
  5. s3 10.201.102.200:8301 alive server 0.7.4 2 dc1

启动 Consul Client

  1. consul agent -data-dir /tmp/consul -node=c1 -bind=10.201.102.248 -config-dir=/etc/consul.d/ -join 10.201.102.198

运行cosnul agent以client模式,-join 加入到已有的集群中去。

  1. [root@dhcp-10-201-102-248 ~]# consul agent -data-dir /tmp/consul -node=c1 -bind=10.201.102.248 -config-dir=/etc/consul.d/ -join 10.201.102.198
  2. ==> Starting Consul agent...
  3. ==> Starting Consul agent RPC...
  4. ==> Joining cluster...
  5. Join completed. Synced with 1 initial agents
  6. ==> Consul agent running!
  7. Version: 'v0.7.4'
  8. Node ID: '564dc0c7-7f4f-7402-a301-cebe7f024294'
  9. Node name: 'c1'
  10. Datacenter: 'dc1'
  11. Server: false (bootstrap: false)
  12. Client Addr: 127.0.0.1 (HTTP: 8500, HTTPS: -1, DNS: 8600, RPC: 8400)
  13. Cluster Addr: 10.201.102.248 (LAN: 8301, WAN: 8302)
  14. Gossip encrypt: false, RPC-TLS: false, TLS-Incoming: false
  15. Atlas: <disabled>
  16.  
  17. ==> Log data will now stream in as it occurs:
  18.  
  19. 2017/03/17 15:35:16 [INFO] serf: EventMemberJoin: c1 10.201.102.248
  20. 2017/03/17 15:35:16 [INFO] agent: (LAN) joining: [10.201.102.198]
  21. 2017/03/17 15:35:16 [INFO] serf: EventMemberJoin: s2 10.201.102.199
  22. 2017/03/17 15:35:16 [INFO] serf: EventMemberJoin: s3 10.201.102.200
  23. 2017/03/17 15:35:16 [INFO] serf: EventMemberJoin: s1 10.201.102.198
  24. 2017/03/17 15:35:16 [INFO] agent: (LAN) joined: 1 Err: <nil>
  25. 2017/03/17 15:35:16 [INFO] consul: adding server s2 (Addr: tcp/10.201.102.199:8300) (DC: dc1)
  26. 2017/03/17 15:35:16 [INFO] consul: adding server s3 (Addr: tcp/10.201.102.200:8300) (DC: dc1)
  27. 2017/03/17 15:35:16 [INFO] consul: adding server s1 (Addr: tcp/10.201.102.198:8300) (DC: dc1)
  28. 2017/03/17 15:35:16 [INFO] agent: Synced node info
  • 查看集群成员

新开一个终端窗口运行consul members, 你可以看到Consul集群的成员.

  1. [root@dhcp-10-201-102-248 ~]# consul members
  2. Node Address Status Type Build Protocol DC
  3. c1 10.201.102.248:8301 alive client 0.7.4 2 dc1
  4. s1 10.201.102.198:8301 alive server 0.7.4 2 dc1
  5. s2 10.201.102.199:8301 alive server 0.7.4 2 dc1
  6. s3 10.201.102.200:8301 alive server 0.7.4 2 dc1
  • 加入集群
  1. [root@dhcp-10-201-102-248 ~]# consul join 10.201.102.198
  2. Node Address Status Type Build Protocol DC
  3. c1 10.201.102.248:8301 alive client 0.7.4 2 dc1
  4. s1 10.201.102.198:8301 alive server 0.7.4 2 dc1
  5. s2 10.201.102.199:8301 alive server 0.7.4 2 dc1
  6. s3 10.201.102.200:8301 alive server 0.7.4 2 dc1

停止Agent

你可以使用Ctrl-C 优雅的关闭Agent. 中断Agent之后你可以看到他离开了集群并关闭.

在退出中,Consul提醒其他集群成员,这个节点离开了.如果你强行杀掉进程.集群的其他成员应该能检测到这个节点失效了.当一个成员离开,他的服务和检测也会从目录中移除.当一个成员失效了,他的健康状况被简单的标记为危险,但是不会从目录中移除.Consul会自动尝试对失效的节点进行重连.允许他从某些网络条件下恢复过来.离开的节点则不会再继续联系.

此外,如果一个agent作为一个服务器,一个优雅的离开是很重要的,可以避免引起潜在的可用性故障影响达成一致性协议.

查看这里了解添加和移除server.

更新服务

服务定义可以通过配置文件并发送SIGHUP给agent来进行更新.这样你可以让你在不关闭服务或者保持服务请求可用的情况下进行更新.

  1. consul reload

另外 HTTP API可以用来动态的添加,移除和修改服务.

注册服务

搭建好conusl集群后,用户或者程序就能到consul中去查询或者注册服务。可以通过提供服务定义文件或者调用HTTP API来注册一个服务.

首先,为Consul配置创建一个目录.Consul会载入配置文件夹里的所有配置文件.在Unix系统中通常类似 /etc/consul.d (.d 后缀意思是这个路径包含了一组配置文件).

  1. mkdir /etc/consul.d

然后,我们将编写服务定义配置文件.假设我们有一个名叫web的服务运行在 80端口.另外,我们将给他设置一个标签.这样我们可以使用他作为额外的查询方式:

  1. echo '{"service": {"name": "web", "tags": ["rails"], "port": 80}}' >/etc/consul.d/web.json

现在重启agent , 设置配置目录:

  1. $ consul agent -server -bootstrap-expect 1 -data-dir /tmp/consul -node=s1 -bind=10.201.102.198 -rejoin -config-dir=/etc/consul.d/ -client 0.0.0.0
  2.  
  3. ...
  4. [INFO] agent: Synced service 'web'
  5. ...
  • -data-dir:提供一个目录用来存放agent的状态,所有的agent允许都需要该目录,该目录必须是稳定的,系统重启后都继续存在

你可能注意到了输出了 “synced” 了 web这个服务.意思是这个agent从配置文件中载入了服务定义,并且成功注册到服务目录.

如果你想注册多个服务,你应该在Consul配置目录创建多个服务定义文件.

HTTP API注册服务,curl命令或者postman 以PUT方式请求consul HTTP API更多细节点击查看

  1. curl -X PUT -d '{"Datacenter": "dc1", "Node": "c2", "Address": "10.155.0.106", "Service": {"Service": "MAC", "tags": ["lianglian", "Mac"], "Port": 22}}' http://127.0.0.1:8500/v1/catalog/register

查询服务

一旦agent启动并且服务同步了.我们可以通过DNS或者HTTP的API来查询服务.

  • DNS API

让我们首先使用DNS API来查询.在DNS API中,服务的DNS名字是 NAME.service.consul. 虽然是可配置的,但默认的所有DNS名字会都在consul命名空间下.这个子域告诉Consul,我们在查询服务,NAME则是服务的名称.

对于我们上面注册的Web服务.它的域名是 web.service.consul :

  1. [root@dhcp-10-201-102-198 ~]# dig @127.0.0.1 -p 8600 web.service.consul
  2.  
  3. ; <<>> DiG 9.8.2rc1-RedHat-9.8.2-0.17.rc1.el6 <<>> @127.0.0.1 -p 8600 web.service.consul
  4. ; (1 server found)
  5. ;; global options: +cmd
  6. ;; Got answer:
  7. ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 39468
  8. ;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 0
  9. ;; WARNING: recursion requested but not available
  10.  
  11. ;; QUESTION SECTION:
  12. ;web.service.consul. IN A
  13.  
  14. ;; ANSWER SECTION:
  15. web.service.consul. 0 IN A 10.201.102.198
  16.  
  17. ;; Query time: 0 msec
  18. ;; SERVER: 127.0.0.1#8600(127.0.0.1)
  19. ;; WHEN: Tue Mar 28 16:10:24 2017
  20. ;; MSG SIZE rcvd: 52
  21.  
  22. [root@dhcp-10-201-102-198 ~]#

如你所见,一个A记录返回了一个可用的服务所在的节点的IP地址.`A记录只能设置为IP地址. 有也可用使用 DNS API 来接收包含 地址和端口的 SRV记录:

  1. [root@dhcp-10-201-102-198 ~]# dig @127.0.0.1 -p 8600 web.service.consul SRV
  2.  
  3. ; <<>> DiG 9.8.2rc1-RedHat-9.8.2-0.17.rc1.el6 <<>> @127.0.0.1 -p 8600 web.service.consul SRV
  4. ; (1 server found)
  5. ;; global options: +cmd
  6. ;; Got answer:
  7. ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 13331
  8. ;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
  9. ;; WARNING: recursion requested but not available
  10.  
  11. ;; QUESTION SECTION:
  12. ;web.service.consul. IN SRV
  13.  
  14. ;; ANSWER SECTION:
  15. web.service.consul. 0 IN SRV 1 1 80 s1.node.dc1.consul.
  16.  
  17. ;; ADDITIONAL SECTION:
  18. s1.node.dc1.consul. 0 IN A 10.201.102.198
  19.  
  20. ;; Query time: 0 msec
  21. ;; SERVER: 127.0.0.1#8600(127.0.0.1)
  22. ;; WHEN: Tue Mar 28 16:10:56 2017
  23. ;; MSG SIZE rcvd: 84
  24.  
  25. [root@dhcp-10-201-102-198 ~]#

SRV记录告诉我们 web 这个服务运行于节点dhcp-10-201-102-198 的80端口. DNS额外返回了节点的A记录.

最后,我们也可以用 DNS API 通过标签来过滤服务.基于标签的服务查询格式为TAG.NAME.service.consul. 在下面的例子中,我们请求Consul返回有 rails标签的 web服务.我们成功获取了我们注册为这个标签的服务:

  1. [root@dhcp-10-201-102-198 ~]# dig @127.0.0.1 -p 8600 rails.web.service.consul SRV
  2.  
  3. ; <<>> DiG 9.8.2rc1-RedHat-9.8.2-0.17.rc1.el6 <<>> @127.0.0.1 -p 8600 rails.web.service.consul SRV
  4. ; (1 server found)
  5. ;; global options: +cmd
  6. ;; Got answer:
  7. ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 37307
  8. ;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
  9. ;; WARNING: recursion requested but not available
  10.  
  11. ;; QUESTION SECTION:
  12. ;rails.web.service.consul. IN SRV
  13.  
  14. ;; ANSWER SECTION:
  15. rails.web.service.consul. 0 IN SRV 1 1 80 s1.node.dc1.consul.
  16.  
  17. ;; ADDITIONAL SECTION:
  18. s1.node.dc1.consul. 0 IN A 10.201.102.198
  19.  
  20. ;; Query time: 0 msec
  21. ;; SERVER: 127.0.0.1#8600(127.0.0.1)
  22. ;; WHEN: Tue Mar 28 16:11:45 2017
  23. ;; MSG SIZE rcvd: 90
  24.  
  25. [root@dhcp-10-201-102-198 ~]#
  • HTTP API

除了DNS API之外,HTTP API也可以用来进行服务查询:

  1. [root@dhcp-10-201-102-198 ~]# curl -s 127.0.0.1:8500/v1/catalog/service/web | python -m json.tool
  2. [
  3. {
  4. "Address": "10.201.102.198",
  5. "CreateIndex": 492843,
  6. "ID": "422ec677-74ef-8f29-2f22-01effeed6334",
  7. "ModifyIndex": 492843,
  8. "Node": "s1",
  9. "NodeMeta": {},
  10. "ServiceAddress": "",
  11. "ServiceEnableTagOverride": false,
  12. "ServiceID": "web",
  13. "ServiceName": "web",
  14. "ServicePort": 80,
  15. "ServiceTags": [
  16. "rails"
  17. ],
  18. "TaggedAddresses": {
  19. "lan": "10.201.102.198",
  20. "wan": "10.201.102.198"
  21. }
  22. }
  23. ]

目录API给出所有节点提供的服务.稍后我们会像通常的那样带上健康检查进行查询.就像DNS内部处理的那样.这是只查看健康的实例的查询方法:

  1. [root@dhcp-10-201-102-198 ~]# curl -s 127.0.0.1:8500/v1/catalog/service/web?passing | python -m json.tool
  2. [
  3. {
  4. "Address": "10.201.102.198",
  5. "CreateIndex": 492843,
  6. "ID": "422ec677-74ef-8f29-2f22-01effeed6334",
  7. "ModifyIndex": 492843,
  8. "Node": "s1",
  9. "NodeMeta": {},
  10. "ServiceAddress": "",
  11. "ServiceEnableTagOverride": false,
  12. "ServiceID": "web",
  13. "ServiceName": "web",
  14. "ServicePort": 80,
  15. "ServiceTags": [
  16. "rails"
  17. ],
  18. "TaggedAddresses": {
  19. "lan": "10.201.102.198",
  20. "wan": "10.201.102.198"
  21. }
  22. }
  23. ]

WEB管理界面

Consul同时提供了一个漂亮的功能齐全的WEB界面,开箱即用.界面可以用来查看所有的节点,可以查看健康检查和他们的当前状态.可以读取和设置K/V 存储的数据.UI自动支持多数据中心.点击前往下载

UI_Download

下载完后上传至服务器,建议所有server角色都使用WebUI,。

  1. consul agent -server -bootstrap-expect 1 -data-dir /tmp/consul -node=s1 -bind=10.201.102.198 -ui-dir ./consul_ui/ -rejoin -config-dir=/etc/consul.d/ -client 0.0.0.0
  • -ui-dir: 提供存放web ui资源的路径,指向该目录必须是可读的
  • -client:consul服务侦听地址,这个地址提供HTTP、DNS、RPC等服务,默认是127.0.0.1所以不对外提供服务,如果你要对外提供服务改成0.0.0.0

可通过http://10.201.102.198:8500访问WEB管理界面。

UI_Download

健康检查

我们现在看到Consul运行时如此简单.添加节点和服务,查询节点和服务.在这一节.我们将继续添加健康检查到节点和服务.健康检查是服务发现的关键组件.预防使用到不健康的服务.

这一步建立在前一节的Consul集群创建之上.目前你应该有一个包含多个节点的Consul集群.

  • 自定义检查

和服务注册类似,一个检查可以通过检查定义或HTTP API请求来注册.

我们将使用和检查定义来注册检查.和服务类似,因为这是建立检查最常用的方式.

在第二个节点的配置目录建立定义文件:

/etc/consul.d/web.json

  1. {"service": {
  2. "name": "Faceid",
  3. "tags": ["extract", "verify", "compare", "idcard"],
  4. "address": "10.201.102.198",
  5. "port": 9000,
  6. "check": {
  7. "name": "ping",
  8. "script": "curl -s localhost:9000",
  9. "interval": "3s"
  10. }
  11. }
  12. }

or

/etc/consul.d/web.json

  1. {"service": {
  2. "name": "Faceid",
  3. "tags": ["extract", "verify", "compare", "idcard"],
  4. "address": "10.201.102.199",
  5. "port": 9000,
  6. "check": {
  7. "id": "api",
  8. "name": "HTTP API on port 9000",
  9. "http": "http://localhost:9000",
  10. "interval": "10s",
  11. "timeout": "1s"
  12. }
  13. }
  14. }

more

检查健康状态

我们能适应HTTP API来检查他们.首先我们检查有哪些失败的检查.使用这个命令(注意:这个命令可以运行在任何节点)

  1. [root@dhcp-10-201-102-198 ~]# curl -s http://localhost:8500/v1/health/state/critical | python -m json.tool
  2. [
  3. {
  4. "CheckID": "service:Faceid",
  5. "CreateIndex": 493398,
  6. "ModifyIndex": 493846,
  7. "Name": "Service 'Faceid' check",
  8. "Node": "s1",
  9. "Notes": "",
  10. "Output": "",
  11. "ServiceID": "Faceid",
  12. "ServiceName": "Faceid",
  13. "Status": "critical"
  14. }
  15. ]

我们可以看到,只有一个检查我们的web服务在critical状态

另外,我们可以尝试用DNS查询web服务,Consul将不会返回结果.因为服务不健康.

  1. [root@dhcp-10-201-102-198 ~]# dig @127.0.0.1 -p 8600 Faceid.service.consul SRV
  2.  
  3. ; <<>> DiG 9.8.2rc1-RedHat-9.8.2-0.17.rc1.el6 <<>> @127.0.0.1 -p 8600 Faceid.service.consul SRV
  4. ; (1 server found)
  5. ;; global options: +cmd
  6. ;; Got answer:
  7. ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 40884
  8. ;; flags: qr aa rd; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 3
  9. ;; WARNING: recursion requested but not available
  10.  
  11. ;; QUESTION SECTION:
  12. ;Faceid.service.consul. IN SRV
  13.  
  14. ;; ANSWER SECTION:
  15. Faceid.service.consul. 0 IN SRV 1 1 9000 s3.node.dc1.consul.
  16. Faceid.service.consul. 0 IN SRV 1 1 9000 s1.node.dc1.consul.
  17. Faceid.service.consul. 0 IN SRV 1 1 9000 s2.node.dc1.consul.
  18.  
  19. ;; ADDITIONAL SECTION:
  20. s3.node.dc1.consul. 0 IN A 10.201.102.200
  21. s1.node.dc1.consul. 0 IN A 10.201.102.198
  22. s2.node.dc1.consul. 0 IN A 10.201.102.199
  23.  
  24. ;; Query time: 0 msec
  25. ;; SERVER: 127.0.0.1#8600(127.0.0.1)
  26. ;; WHEN: Tue Mar 28 18:20:15 2017
  27. ;; MSG SIZE rcvd: 165

K /V

除了提供服务发现和健康检查的集成.Consul提供了一个易用的键/值存储.这可以用来保持动态配置,协助服务协调,领袖选举,做开发者可以想到的任何事情.

  1. [root@dhcp-10-201-102-198 ~]# curl -v http://localhost:8500/v1/kv/?recurse
  2. * About to connect() to localhost port 8500 (#0)
  3. * Trying ::1... 拒绝连接
  4. * Trying 127.0.0.1... connected
  5. * Connected to localhost (127.0.0.1) port 8500 (#0)
  6. > GET /v1/kv/?recurse HTTP/1.1
  7. > User-Agent: curl/7.19.7 (x86_64-redhat-