基于 deno 部署的 Gemini 轮询,将多个 Google AI Studio API KEY 合并为一个API使用
API KEY 会按顺序轮流切换,报错(不包括空回复)就尝试下一个
轮询策略是按照 rpm 最小值稳定排序,不检查额度,失败就用下一个,直到全部 API KEY 都试过为止
支持内置(在deno环境变量里)/外置 API KEY(在你的 LLM web UI)里面,多个 API KEY 用半角逗号,分隔
服务端只存储 hash 后的 API 密钥用作轮询选择,不用担心 API 密钥泄漏
模型列表是从 google 的 API 获取的,新模型出了会自动更新列表
支持文件上传,不过还没测试过能不能用,文件不能大于20M
建议自己 fork 一份来用,别直接用我的,毕竟 deno 免费版有额度限制,我的号里面还部署了挺多东西的
可选功能
如果打算在 deno 上面托管 API 密钥的话,要设置两个环境变量
API_KEY: 密码,就是在你的 LLM web UI 里填的 API KEY
TOKENS: Google AI Studio API KEY 列表,半角逗号分隔
提示词功能
在传入的提示词里包含以下内容能够调整提示词处理的设定
设置 role 前缀:
<roleInfo>
user: Human
assistant: Model
system: System
<roleInfo>
禁用 role 前缀:
<|removeRole|>