erlang数据库

❶ Erlang语言简介

Erlang：并发编程的革新力量

Erlang，这款由Joe Armstrong于1987年在爱立信的主导下诞生的编程语言，其设计理念旨在为大规模并发世界提供强大支持。它最初是为了简化电话交换机的开发，提升其稳定性和扩展性而创建的。Erlang不仅是一种结构化、动态类型的语言，更是并行计算的天然伙伴，特别适合构建分布式、实时且轻量级的系统。其核心特点是拥有超大规模的并发进程处理能力，无需操作系统底层的并发支持，而是通过用户态抢占式协作线程，实现高效进程调度。

并发性与分布式特性

Erlang支持数千个轻量级进程并行运行，它们通过消息传递进行通信，形成一个分布式网络，每个节点都是一个独立的Erlang进程。这种设计使得Erlang在处理高并发场景时，展现出惊人的灵活性和鲁棒性。而且，Erlang还提供了一种“软”实时性，通过用户态抢占式协作线程和递增式垃圾收集，确保了系统的响应速度和资源管理效率。

OTP：开放电信平台的基石

OTP，即Open Telecom Platform，它的出现似乎与一般服务器开发似乎没有直接联系，但实际上，它是Erlang的强大扩展，为开发者提供了丰富的工具模块和标准化的行为模式。状态机、通用服务器、进程监控和Mnesia数据库等工具，不仅加速了开发流程，也提升了系统的稳定性和扩展性，使其在消息总线等众多领域大放异彩。

集群与RPC：构建分布式生态的关键

Erlang/OTP作为分布式生态的核心平台，集群和远程过程调用（RPC）是构建分布式系统不可或缺的组件。它们使得Erlang能够轻松地在不同节点间共享资源和功能，增强了系统的可扩展性和容错性。

深入探索：调试与陷阱机制

Erlang的调试工具也是其强大功能的一部分。通过跟踪调试，开发者可以深入剖析代码运行状态，快速定位和修复问题，使得Erlang在复杂并发环境中也能保持高效和稳定。

总的来说，Erlang以其独特的并发特性和强大的OTP平台，为大规模并发编程提供了无与伦比的解决方案，是构建高性能、分布式应用的不二之选。无论是电信行业，还是现代IT领域，Erlang都在发挥着不可忽视的作用。

❷ 有关 EMQ X 水平可扩展性的挑战与对策 - MQTT Broker 集群详解（三）

在本文中，我们将探索MQTT Broker集群在可扩展性改进方面所采取的一些措施，特别是EMQ X内部使用的数据库引擎，并探讨EMQ X 5.0版本中对此的优化。首先，了解EMQ X集群中数据的复制方式至关重要：EMQ X broker将主题和客户端的运行时信息存储于Mnesia数据库，有助于实现跨集群的数据复制。

Mnesia是一个开源数据库管理系统，最初为爱立信公司开发，作为Open Telecom Platform的一部分，旨在处理ISP级别的电信交换机中的配置和运行时数据。在EMQ X 4.3版本之前，它被用于存储各种运行时数据，如主题、路由、ACL规则、告警等。尽管与Mysql、Postgres、MongoDB等常见数据库以及Redis和memcached等内存存储相比，Mnesia可能不为大众所熟知，但它却具有集成上述产品功能的独特优势。

Mnesia被定义为一个嵌入式、分布式、事务型的nosql数据库。尽管这一定义听起来较为复杂，但让我们分步解释。嵌入式数据库与业务应用程序在同一进程中运行，如sqlite就是一个典型的例子。Mnesia也属于这一范畴，在EMQ X应用程序中运行，有助于实现数据在集群中跨节点的复制。这不仅使本地读取数据变得快速，而且提升了容错性能，只要集群中至少有一个节点保持活动状态，数据就是安全的。

Mnesia支持ACID事务，这是嵌入式数据库的一个独特功能。这意味着可以将多个读取和更新操作组合在一起。在数据一致性至关重要的场景中，EMQ X采用Mnesia事务。

作为nosql数据库，Mnesia没有专门的查询语言，而是使用Erlang（或Elixir）作为查询语言，因此无需ORM。它直接使用Erlang术语进行查询操作，与业务逻辑的集成非常顺畅。

Mnesia集群采用全网状拓扑结构，所有节点平等，可以存储任意表的副本、启动事务并访问这些表。尽管这种拓扑结构在理想条件下减少了事务复制延迟，但限制了集群的水平可扩展性，因为节点之间的链接数量和节点数量之间的关系是平方关系。随着节点数量的增加，维持所有节点完全同步的成本越来越高，事务性能也会降低。此外，节点的同等性质和传统的集群范式叠加后，使得替换单个节点变得容易，但同时加入集群的节点数量受到限制。

针对上述挑战，EMQ团队对Mnesia进行了扩展，推出了Mria。Mria是Mnesia的开源扩展版本，引入了最终一致性。它采用了网状+星型拓扑架构，每个节点承担两种角色之一：核心或复制者。核心节点负责全网状连接，可以发起写事务、持有锁等操作，其行为与常规Mnesia节点类似。而复制节点则不参与写入，连接到某一个核心节点，被动地复制事务，不允许自行执行写操作。复制节点拥有数据的完整本地副本，读取访问速度同样快速。

这种集群拓扑架构解决了两个关键问题：由于复制节点不参与写入，当向集群添加更多复制节点时，事务延迟不会受到影响，从而能够创建更大的EMQ X集群。此外，复制节点被设计为暂时性，允许它们被放置在自动扩展组中，实现更好的DevOps实践。这些改进使得EMQ X集群更加适应动态、暂时的云环境部署，提供更高的水平可扩展性和容错能力。

在接下来的文章中，我们将深入探讨如何配置EMQ X以充分利用Mria的优势。

❸ 内存数据库主流的有哪些，并给出各自特点！

内存数据库从范型上可以分为关系型内存数据库和键值型内存数据库。
在实际应用中内存数据库主要是配合oracle或mysql等大型关系数据库使用，关注性能。
作用类似于缓存，并不注重数据完整性和数据一致性。
基于键值型的内存数据库比关系型更加易于使用，性能和可扩展性更好，因此在应用上比关系型的内存数据库使用更多。
比较FastDB、Memcached和Redis主流内存数据库的功能特性。
FastDB的特点包括如下方面：
1、FastDB不支持client-server架构因而所有使用FastDB的应用程序必须运行在同一主机上；
2、fastdb假定整个数据库存在于RAM中，并且依据这个假定优化了查询算法和接口。
3、fastdb没有数据库缓冲管理开销，不需要在数据库文件和缓冲池之间传输数据。
4、整个fastdb的搜索算法和结构是建立在假定所有的数据都存在于内存中的，因此数据换出的效率不会很高。
5、Fastdb支持事务、在线备份以及系统崩溃后的自动恢复。
6、fastdb是一个面向应用的数据库，数据库表通过应用程序的类信息来构造。
FastDB不能支持Java API接口，这使得在本应用下不适合使用FastDB。
Memcached
Memcached是一种基于Key-Value开源缓存服务器系统，主要用做数据库的数据高速缓冲，并不能完全称为数据库。
memcached的API使用三十二位元的循环冗余校验（CRC-32）计算键值后，将资料分散在不同的机器上。当表格满了以后，接下来新增的资料会以LRU机制替换掉。由于 memcached通常只是当作缓存系统使用，所以使用memcached的应用程式在写回较慢的系统时（像是后端的数据库）需要额外的程序更新memcached内的资料。
memcached具有多种语言的客户端开发包，包括：Perl、PHP、JAVA、C、Python、Ruby、C#。
Redis
Redis是一个高性能的key-value数据库。redis的出现，很大程度补偿了memcached这类keyvalue存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了C++、Java、Python，Ruby，Erlang，PHP客户端。