lichao 发表于 2024-6-8 10:36:08

【Python】Python3调用C++代码之封装rest_rpc


## 背景

&emsp;&emsp;由于HTTP比较容易被抓包,笔者最近在找基于TCP/UDP的RPC第三方库。经过层层筛选笔者最终找到rest_rpc这个项目<https://github.com/qicosmos/rest_rpc>。
rest_rpc是基于tcp的RPC项目,RPC即远程过程调用,大部分RPC库是用通过网络实现“客户端调用服务器的函数执行且获取结果”,目前最火的RPC库是grpc(但是他是基于http2的,不符合笔者要求)。其实是否使用http(s)/ws(s),有利有弊。如果使用http(s)/ws(s)则可以直接用CDN防止DDos,但被抓包也是很容易的,网络开销也比较大。而如果直接用TCP/UDP就得有其他方案缓解DDos,但不易被抓包(或者说不太容易被关注,因为正常的都用http(s)),性能也更好一些。   

## 编码

&emsp;&emsp;因为rest_rpc本身无Python支持,所以我们得为其开发wrapper,参照<https://www.0xaa55.com/thread-26563-1-1.html>准备好pybind:

```cpp
#include<iostream>
#include<string>
#include<unordered_map>
#define MSGPACK_DISABLE_LEGACY_NIL
#define MSGPACK_NO_BOOST
#include<rest_rpc.hpp>
#include<pybind11/pybind11.h>
#include<pybind11/functional.h>
namespace py = pybind11;

using rest_rpc::rpc_service::rpc_conn;
using rest_rpc::rpc_service::rpc_server;
using rest_rpc::rpc_client;

typedef std::function<std::string(const std::string&)> F_SS;
typedef std::function<int(const std::string&)> F_SI;

class Server {
public:
    void set_handler_ss(const std::string& name, const F_SS& f) {
      func_ss_map = f;
    }
    void set_handler_si(const std::string& name, const F_SI& f) {
      func_si_map = f;
    }
    int serve(int port) {
      py::gil_scoped_release release;
      static rpc_server server(port, std::thread::hardware_concurrency());
      for (auto& it : func_ss_map) {
            server.register_handler(it.first, [&it](rpc_conn conn, const std::string& data) -> std::string {
                return it.second(data);
            });
      }
      for (auto& it : func_si_map) {
            server.register_handler(it.first, [&it](rpc_conn conn, const std::string& data) -> int {
                return it.second(data);
            });
      }
      server.run();
      return 0;
    }
public:
    std::unordered_map<std::string,F_SS> func_ss_map;
    std::unordered_map<std::string,F_SI> func_si_map;
};

static std::string test_call_ss(int port, const std::string& name, const std::string& indata) {
    rpc_client client("127.0.0.1", port);
    if (!client.connect()) {
      std::cout << "connect failed" << std::endl;
      return "";
    }
    std::string result = client.call<std::string>(name, indata);
    client.close();
    return result;
}

static int test_call_si(int port, const std::string& name, const std::string& indata) {
    rpc_client client("127.0.0.1", port);
    if (!client.connect()) {
      std::cout << "connect failed" << std::endl;
      return -1;
    }
    int ret = client.call<int>(name, indata);
    client.close();
    return ret;
}

PYBIND11_MODULE(rest_rpc, m) {
    py::class_<Server>(m, "Server")
      .def(py::init())
      .def("set_handler_ss", &Server::set_handler_ss)
      .def("set_handler_si", &Server::set_handler_si)
      .def("serve", &Server::serve);
    m.def("test_call_ss", &test_call_ss);
    m.def("test_call_si", &test_call_si);
}
```

注意: 此代码中默认只定义2个通用函数类型
* std::string f(const std::string& data)
* int f(const std::string& data)

&emsp;&emsp;为什么定义这两个函数就够了?实际参数可以通过msgpack序列化成字符串作为参数传递,这样就解决了函数任意参数的问题。而返回值无非是一个字符串,字典(又可序列化成字符串)或者整形。


## 编译

```bash
g++ -Iinclude -std=c++11 -lc++ -shared -undefined dynamic_lookup $(python3 -m pybind11 --includes) -DPYBIND11 restrpc_glue.cpp -o rest_rpc$(python3-config --extension-suffix)
```

## 测试

```Python
#!python3
import sys
import rest_rpc
def echo(data):
    print("echo ", data)
    return data

if __name__ == "__main__":
    t = sys.argv
    if t == "server":
      serv = rest_rpc.Server()
      serv.set_handler_ss("echo", echo)
      serv.serve(8080)
    elif t == "client":
      data = rest_rpc.test_call_ss(8080, "echo", "somedata")
      print("recv", data)
```



页: [1]
查看完整版本: 【Python】Python3调用C++代码之封装rest_rpc