acl/FAQ.md
2017-07-23 15:47:13 +08:00

16 KiB
Raw Blame History

acl库使用FAQ

一、基础问题

1、acl 库是啥、主要包含哪些功能?

acl 工程是一个跨平台支持LINUXWIN32SolarisMacOSFreeBSD的网络通信库及服务器编程框架同时提供更多的实用功能库。通过该库用户可以非常容易地编写支持多种模式(多线程、多进程、非阻塞、触发器、UDP方式、协程方式)的服务器程序WEB 应用程序数据库应用程序。此外该库还提供了常见应用的客户端通信库HTTP、SMTP、ICMP、redis、disque、memcache、beanstalk、handler socket常见流式编解码库XML/JSON/MIME/BASE64/UUCODE/QPCODE/RFC2047 等。

2、acl 库支持哪些平台?

目前主要支持 Linux/Windows/Macos/Freebsd/Solaris(x86)。

3、acl 库主要包含几个库?

主要包括lib_acl用 C 语言写的基础库、lib_protocol用 C 语言写的一些网络应用协议库、lib_acl_cpp用 C++ 语言编写,封装了 lib_acl/lib_protocol 两个库,同时增加更多实用的功能库)、 lib_fiber用 C 语言编写的支持高性能、高并发的网络协程库、lib_rpc用C++语言编写的封装了 google protobuf 网络库)。

4、acl 库有哪些外部依赖库?

lib_acl/lib_protocol/lib_fiber 仅依赖系统基础库lib_acl_cpp 库的 db 模块依赖于 mysql 客户端库、sqlite 库stream 流模块依赖于 polarssl 库(该库源码附在 acl/resource 目录下),另外,在 UNIX/LINUX 平台下还需要压缩库 --- libz 库(一般 LINUX 会自带该压缩库lib_rpc 依赖于 protobuf 库。

5、没有这些第三方库 acl 能否使用?

可以。默认情况下,没有这些第三方库编译和使用 acl 库是没有问题的,只是不能使用 mysql/sqlite/ssl/protobuf 功能。

6、acl 库的源码下载位置在哪儿?

二、编译&使用问题

1、acl 库的编译过程?

acl 库的编译过程请参考:acl 的编译与使用 博客。

2、Linux 平台下库的编译顺序问题?

lib_acl 库是 acl 库中的基础库其它库均依赖于该库库的依赖顺序为lib_protocol 依赖于 lib_acllib_acl_cpp 依赖于 lib_acl 和 lib_protocollib_fiber 依赖于 lib_acllib_rpc 依赖于 lib_acl/lib_protocol/lib_acl_cpp。因此当应用在连接 acl 库时,需要注意连接的顺序为:-l_acl_cpp -l_protocol -l_acl。

3、Unix/Linux 平台下编译 acl 库时的编译选项是什么?

在 Unix/Linux 平台下编译 acl 库时需要指明 gcc 的编译选项acl 库自带的 Makefile 会自动识别操作系统而选择不同的编译选项,下面列出不同 Unix 平台的不同编译选项(当前版本已自动识别系统类型,无需添加如下编译选项):

  • Linux 平台:-DLINUX2
  • MacOS 平台:-DMACOSX
  • FreeBSD 平台:-DFREEBSD
  • Solaris(x86) 平台:-DSUNOS5

4、请给出 Linux 平台下最简单的一个 Makefile

下面是使用 acl 的三个库的最简单的编译选项(因为排版问题,当拷贝下面内容至 Makefile 时,需要注意将每行前空格手工转成 TAB 键):

fiber: main.o
	g++ -o fiber main.o \
		-L./lib_acl_cpp/lib -l_acl_cpp \
		-L./lib_protocol/lib -l_protocol \
		-L./lib_acl/lib -l_acl \
		-lz -lpthread -ldl
main.o: main.cpp
	g++ -O3 -Wall -c main.cpp -DLINUX2 \
		-I./lib_acl/include \
		-I./lib_acl_cpp/include

5、Linux 平台下找不到 -lz 库怎么办?

一般 Unix/Linux 平台下系统会自带 libz.a 或 libz.so 压缩库,如果找不到该库,则可以在线安装或采用编译安装 zlib 库,针对 Centos 和 Ubuntu 可分别通过以下方式在线安装(均需切换至 root 身份):

  • Centosyum install zlib-devel
  • Ubuntuapt-get install zlib1g.dev

6、Linux 平台下 acl 库能打包成一个库吗?

可以。在 acl 目录下运行make build_one 则可以将 lib_acl/lib_protocol/lib_acl_cpp 打包成一个完整的库 -- lib_acl.a/lib_acl.so则应用最终使用时可以仅连接这一个库即可。

7、Linux 平台下如何使用 ssl 功能?

如果使用上面统一的 acl 库,则可以在 acl 根目录下编译时运行make build_one polarssl=on如果使用三个库lib_acl.alib_protocol.alib_acl_cpp.a则在编译前需要先指定环境变量export ENV_FLAGS=HAS_POLARSSL然后分别编译这三个库然后进行 acl/resource 目录,解压 polarssl-1.2.19-gpl.tgz然后进入 polarssl-1.2.19 目录运行make 编译后在 resource/polarssl-1.2.19/library 目录得到 libpolarssl.a 库;最后在编译应用时将 libpolarssl.a 连接进你的工程中即可。

8、Linux 下如何使用 mysql 功能?

lib_acl_cpp 库是以动态加载方式加载 mysql 动态库的,所以在编译 lib_acl_cpp 时mysql 功能就已经被编译进去 acl库中了。用户仅需要将 mysql 动态库通过函数 acl::db_handle::set_loadpath 注册进 acl 库中即可;至于 mysql 客户端库,用户可以去 mysql 官方下载或在 acl/resource 目录下编译 mysql-connector-c-6.1.6-src.tar.gz。

三、各个功能模块的使用问题

(一)、网络通信

、HTTP 模块

1. acl HTTP 服务器是否支持断点下载功能?

支持。acl HTTP 模块支持断点续传功能一个支持断点下载的服务器示例参照acl\app\wizard_demo\httpd_download。

2. acl HTTP 服务器是否支持文件上传功能?

支持。参考示例acl\app\wizard_demo\httpd_upload。

3、acl HTTP 模块是否支持服务器/客户端两种模式?

支持。目前 acl 的 HTTP 协议模块同时支持客户端及服务端模式,即你既可以使用 acl HTTP 编写客户端程序,又可以编写服务器程序,其中 acl 中的 http_request/http_request_pool/http_request_manager 类用来编写客户端程序http_response/HttpServlet/HttpServletRequest/HttpServeletResponse 用来编写服务器程序。

4、acl HTTP 模块是否支持 websocket 通信协议?

支持。可以参考示例lib_acl_cpp\samples\websocket。

5、acl HTTP 模块是否支持 session?

支持。acl HTTP 模块当用在服务器编程时支持 session 存储,目前支持使用 memcached 或 redis 存储 session 数据。

、Redis 模块

1. acl redis 库是否支持集群功能?

答案acl redis 客户端库同时支持集群和单机方式的 redis-server。

2. acl redis 库是如何划分的?

acl redis 客户端库主要分为两类命令类和连接类其中的命令类主要有redis_key, redis_string, redis_hash, redis_list, redis_set, redis_zset, redis_cluster, redis_geo, redis_hyperloglog, redis_pubsub, redis_transaction, redis_server, redis_script, 这些类都继承于基类 redis_command同时子类 redis 又继承了所有这些命令类,以便于用户可以直接使用 acl::redis 操作所有的 redis 客户端命令redis_client, redis_client_pool, redis_client_cluster 为通信连接类,命令类对象通过这些连接类对象与 redis-server 进行交互redis_client 为单连接类redis_client_pool 为连接池类,这两个类仅能在非集群模式的 redis-server 环境中使用,不支持 redis-server 的集群模式,必须使用 redis_client_cluster 连接集群模式的 redis-server同时 redis_client_cluster 也兼容非集群模式的连接。

3. acl redis 库中的哪些类对象操作是线程安全的?

acl redis 库中的所有命令类对象及 redis_client 单连接类对象不能同时被多个线程使用(就象 std::string 一样不能跨线程使用redis_client_poolredis_client_cluster 两个连接类对象是线程操作安全的,同一个对象可以被多个线程同时使用。

4. acl redis 客户库当连接断开时是否会重连?

acl redis 库中的连接类中redis_clientredis_client_poolredis_client_cluster 三个连接类对象当检测到网络连接异常断开时会尝试自动重连,上层使用者无需考虑连接断开重试的情况。

(四)、协程模块

1. 协程里面的非阻塞是什么原理的比如我现在需要访问数据库这个动作肯定是个阻塞的操作如果有10个协程进行数据库访问这个非阻塞是怎么理解的

协程方式在底层将系统的 IO APIread/write 等)都 hook 了数据库操作也要调用这些API所以表面上的阻塞式DB操作在协程底层的IO也会被转为非阻塞模式。

2. acl 协程库是否支持多线程?

acl 协程库支持多线程方式,只是支持的方式与 go 语言有所不同。用户可以创建多个线程,每个线程一个协程调度器,线程之间的协程调度是相互隔离的,正如多进程与多线程之间的关系一样(每个进程内可以启动多个线程,但进程之间的线程的调度过程是隔离的),在每个线程内部可以创建大量 acl 协程,每个协程均由其所属的线程内的协程调度器调度运行。

3. acl 协程库如何支持多核 CPU

正如 2所说用户可以启动多个线程每个线程一个 acl 协程调度器,每个协程调度器负责调度与其同属相同线程的协程运行状态。

4. acl 协程里针对 mysql 客户端库的协程化是否修改了 mysql 库的源码?

没有。mysql 客户端库使用的系统 IO API 为 read/write/poll而 acl 协程库 HOOK 了系统底层的 IO 过程,因此当将用户程序与 mysql 库及 acl 协程库一起编译后mysql 库的 IO 过程直接被 acl 协程库 HOOK 的 API 接管,从而将 mysql 客户端库协程化而无须修改一行 mysql 库代码。

5. acl 协程库支持域名解析功能吗?

支持。很多 C/C++ 实现的协程库并未实现 gethostbyname(_r) 函数导致用户在使用协程编程遇到域名解析时还需要借助单独的线程来完成acl 库本身从 DNS 协议层次实现了域名解析过程acl 协程库基于此功能模块 HOOK 了系统的 gethostbyname(_r) API 而无须借助第三方函数库或起单独的线程完成域名解析。

6. acl 协程库的系统 errno 号如何处理?

acl 协程库实现了协程安全的 errno 号,正如之前使用多线程编程时 errno 可以与每个线程绑定一样,在 acl 协程库里 errno 也是与每个 acl 协程进行绑定的。因此,当你调用 strerror(errno) 时也是协程安全的。

7. 如果启动的协程过多,会不会对于后端例如 mysql 之类服务造成并发压力?如何避免?

当启动用协程较多且都需要 mysql 操作时的确会造成 mysql 服务器的并发压力。为避免此并发压力acl 协程库提供了协程信号量,用来针对后端不支持高并发的服务提供连接保护。

(五)、服务器模块

1. 有几种服务器编程模型?均有何特点?

目前 acl 库中提供进程池模型、线程池模型、非阻塞模型、协程模型、UDP 通信模型、触发器模型。其中各个编程模型的特点如下:

进程池模型: 每个进程处理一个客户端连接,当需要处理多个连接时则需要启动多个进程,此模型的最大缺点是并发度低,优点是编程简单;
线程池模型: 由多个线程组成线程池处理大量的客户端连接,只有当某个连接有数据可读时该连接才会与一个线程绑定,处理完毕则线程归还给线程池,此模型的优点是启动少数线程便处理较大并发,缺点是需要注意线程编程时的线程安全问题;
非阻塞模型: 一个进程内仅有一个工作线程,通过采用非阻塞通信方式可以支持非常大的客户端并发连接,优点是资源消耗小、支持大并发、性能高,缺点是编程复杂度高;
协程模型: 每个客户端连接与一个协程绑定,每个进程内一个工作线程,每个线程内可以创建大 量的协程,优点是支持大并发、性能高、编程简单、应用场景比较广,缺点是占用内存要比非阻塞模型高;
UDP通信模型 支持简单的 UDP 通信方式;触发器模型:常用在定时任务的应用场景中。
以上的服务模型均可启动多个进程,通过配置文件的配置项来决定启动进程的数量。

2. acl_master 的作用是什么?支持哪些平台?

acl_master 为由以上各个服务器编写的服务进程的控制管理程序, acl_master 启动、停止各个服务子进程控制子进程的启动数量及预启动策略监控子进程的异常情况acl_master 有点类似于 LINUX 下的 xinetd 服务进程,不同之处是 acl_master 功能更完善强大,支持服务子进程的常驻留、半驻留,而 xinetd 则只针对一个连接创建一个进程,不能用于高并发的服务应用场景。
目前 acl_master 进程仅支持 LINUX/MACOS/FREEBSD/SOLARIS(X86等 UNIX 平台,不支持 WINDOWS 平台。

3. 没有 acl_master 控制管理,服务子进程是否可以单独运行?

可以。在没有 acl_master 的情况下,由以上各个服务模型编写的服务程序可以通过手工方式启动。启动方式一般为:./xxxx alone xxxx.cf这样服务程序便以 alone 模式启动运行,具体情况可以参考 main.cpp 里的启动方式;在 WINDOWS 平台下只能是以 alone 模式手工启动运行。

4. 手工模式下运行时遇到 “idle timeout -- exiting, idle” 怎么办?

因为 acl 的服务器编程模型均支持半驻留方式(即运行空闲一段时间或处理连接次数达到设定值后会自动退出,这样的好处是:可以定期通过进程退出释放可能存在的资源泄露,另一方面便于用户在开发时通过 valgrind 进行内存检查),如果让进程不退出,可以在 alone 模式下给服务程序传递启动配置文件,如启动方式为:./xxxx alone xxxx.cf传递方式可以看 main.cpp 和相关头文件),不同的服务器模型分别采取下面不同的配置项:
** 程池模型:** 将配置项 single_use_limit 和 single_idle_limit 设为 0
** 线程池模型:** 将配置项 ioctl_use_limit 和 ioctl_idle_limit 设为 0
** 非阻塞模型:** 将配置项 aio_use_limit 和 aio_idle_limit 设为 0
** 协程模型:** 将配置项 fiber_use_limit 和 fiber_idle_limit 设为 0
** UDP通信模型** 将配置项 udp_use_limit 和 udp_idle_limit 设为 0
** 触发器模型:** 将配置项 trigger_use_limit 设为。

5、acl_master 控制模式下,服务子进程如何预启动多个进程?

需要修改每个服务子进程的配置文件将配置项master_maxproc 及 master_prefork 设置成要启动的进程数(设置值需相同),同时需要将 xxx_use_limit 及 xxx_idle_limit 配置项设成 0 以防止子进程空闲退出xxx_use_limit 及 xxx_idle_limit 的依每种服务器模型而不同具体可参考上面4中的说明。

6、acl_master 控制模式下,如何只监听内网地址?

在 acl_master 模式下,可以将 master_service 配置项支持模糊匹配方式,即可以将监听地址写成 192.168..:xxx 或 10.0..:xxx 方式,这样 acl_master 会自动扫描服务器所有的网卡地址,但只监听服务匹配条件的内网地址,这样为统一部署提供方便。

(六)、邮件&mime模块

。。。