目前推荐使用ai00_server来运行，RWKV-Runner没跑起来。

  • hf上下载的.pth文件需要转换为.st文件，我使用converter一直失败，切换到python的convert_ai00.py可以用
  • 可以使用BNF来指定输出格式，如json
  • 不支持多卡推理
  • 不支持CUDA，要使用Vulkan，Linux下要安装Vulkan驱动
  • 界面Bug很多，不建议使用

参考链接：