系统架构
组件

面向 AI Agent 的工业基座 · 6 大自研子系统

直接裸跑 Agent,底层麻烦接踵而至:凭据散落、协议各异、环境难隔离、上下文易丢。 CrabCLI 把这些收口成一套统一基座,让 Agent 专注干活:CLI Bridge 三层自主驾驶任意 CLI · LLM Proxy 四协议互译、一处接入 · SSH Proxy 凭据不出端 · MyCtx SQL·向量·文件一库直查 · fs9 存算分离、会话可迁移 · 弹性执行层 四种算力随取随用。

自主产线
Background Process User@Agent:~/repo $ git fetch origin... Syncing with Autopilot... Repository A Repository B CLI Terminal Welcome back User ! ▐▛███▜▌ ▝▜█████▛▘ ▘▘ ▝▝ Tips for getting started → Run /init to create CLAUDE.md → Note: Launch in project for best experience 正在生成用户认证模块的测试代码 · Elucidating . . . ( esc to interrupt · 9s · ↓ 0 tokens ? for shortcuts Sonnet 4.5 · · 0 tokens /project/main Recent activity No recent activity def main() return "Hello" ⎿ Credit balance low · Add funds: platform.claude.com/billing Active Tools: Read Edit Bash Grep Web SYSTEM LOAD NOM THREADS 32/32 MEM 64GB NETWORK I/O LIVE UPLINK DOWNLINK AUTOPILOT AI

部分核心基础组件 · 自研子系统矩阵

crabcli 不是单一工具,而是围绕 AI Agent 提供从需求分析、前后端编码、调试运行到上线部署完整端到端解决方案——一个工作台贯通研发交付全链路;同时下沉了一整套自研基础组件矩阵。它们各自解决"让 LLM 安全、稳定、低成本地操作真实世界"的一类问题;组件之间通过标准协议解耦(MySQL · HTTP · SSH · WebDAV · PTY),既可独立部署,也可端到端串联——这是 AI Coding 工作台从"演示 Demo"走向"工业基座"的关键。

一条自主产线,覆盖整条 Agent 工作链路

CLI 接管模型代理,从 远端安全操作统一数据底座,从 存算分离的分布式存储弹性执行层——Agent 在真实世界里跑通业务所需的全部底层能力,一次给齐。不必再拼装几十个开源依赖、反复踩坑;Agent 看得更全、做得更稳、产出更准,团队回到业务本身。

CLI Bridge · Three-Layer Autonomous Engine

自研的通用 CLI 自主驾驶框架:不要求 CLI 提供任何结构化接口,把任意 TUI 程序当作黑盒。基于持久会话隔离 + L0 原生事件层(亚毫秒)+ L1 模式识别层(毫秒级屏幕分析)+ L2 视觉推理层(秒级兜底,多模态全屏分析)三层梯度引擎实现无人值守自主操作;忙碌 / 确认 / 空闲三态状态机驱动安全键控注入;Per-CLI 适配层一键接入新 CLI。

CLI Bridge 架构 · 三层自主驾驶引擎

L0 原生事件层(亚毫秒最可靠)→ L1 模式识别层(毫秒级屏幕分析)→ L2 视觉推理层(全屏多模态分析,秒级兜底)。三层梯度决策,覆盖所有 CLI 运行状态。

AI Agent 客户端层 — 无需结构化输出 Claude Code Gemini CLI Pi · Qwen Codex CLI Any CLI · 一键接入 会话接管 · 原生事件流 CLI Bridge 核心 · 三层决策引擎 ① 会话池 · 实时输出捕获 独立隔离会话 实时输出流捕获 并行多实例 ② L0 原生事件(亚毫秒) CLI 原生事件流 会话 · 任务 · 工具 · 授权 零开销意图捕获 ③ L1 模式识别(毫秒级) 忙碌 / 空闲识别 破坏性操作拦截 高性能规则集 ④ L2 视觉推理(秒级) 视觉上下文 全屏多模态分析 忙碌 / 确认 / 空闲 ★ L0 命中 → 跳过 L1/L2 L1 不确定 ↓ ⑤ 状态机决策 忙碌 → 等待 & 重采样 确认 → 安全应答 空闲 → 派发下一指令 ⑥ 动作注入层 安全键控 · 提示词派发 · 自适应模式编排 ⑦ Per-CLI 适配层 忙碌识别 活动状态判断 安全确认 菜单 · 对话框响应 模式管理 自适应状态切换 视觉上下文 L2 推理素材组装 + 任意新 CLI 轻量插件契约
三层自主驾驶
L0 原生事件(亚毫秒)→ L1 模式识别(毫秒)→ L2 视觉推理(秒级兜底)。业界唯一三层梯度架构
零依赖结构化输出
不要求 CLI 提供任何结构化接口,任意 TUI CLI 即插即用
持久会话隔离
每 CLI 独立会话 · 原生 TUI 渲染,精确帧捕获按层级分发到 L0 / L1 / L2
三态状态机
忙碌(等待 & 重采样)→ 确认(安全应答)→ 空闲(派发下一指令)。毫秒级状态切换
安全键控注入
模拟真实键盘输入(确认 / 拒绝 / 提示词派发),自适应模式自动编排
Per-CLI 可插拔适配
新 CLI 只需实现轻量插件契约(忙碌识别 / 安全确认 / 模式管理 / 视觉上下文),一键接入
L0 sub-ms · L1 ms · L2 s
梯度延迟策略
L0 原生事件 亚毫秒 → L1 模式识别 毫秒级 → L2 视觉推理 秒级兜底(仅极少边界场景)

LLM Proxy 模型代理网关 · Agent 接入总闸

自研的 LLM 智能网关OpenAI / Anthropic / Google / Responses API 四向互译,一套 Agent 客户端即可调度所有模型;多策略负载均衡(random / round_robin / weighted / consistent_hash)+ 节点健康探活 + x-ratelimit 头实时反压;故障自动重试 + 连接池复用,首 token 延迟、流式吞吐、错误率全链路可观测。

LLM Proxy 架构 · HTTP/HTTPS Gateway

客户端请求从协议自动检测开始 → 鉴权限流 → 正则模型路由命中 Proxy 规则 → 四策略负载均衡选节点 → Hub-and-Spoke 星型协议翻译(OpenAI 为 hub)→ 连接池转发;跨协议工具调用 / 推理字段无损转换,首字节返回后不重试保证流式安全。

AI Agent 客户端(多种接入方式) Claude Code · Gemini CLI Codex CLI · Pi · OpenCode Custom SDK · REST API HTTP/HTTPS PKCE OAuth Bearer Token LLM Proxy · Netty HTTP/HTTPS Gateway · 自研智能网关 ① 协议自动检测 Headers: anthropic-version / x-goog-api-key Body: messages / contents / instructions HEAD 探测 · /v1/models · 未知端点过滤 ② 鉴权 · 限流 Token 验证 + 模型白名单过滤 per-user RateLimiter 令牌桶 body size 限制 · PKCE OAuth 流程 ③ 模型路由 · 负载均衡 正则 modelPattern 命中 Proxy 规则 random · round_robin · weighted · consistent_hash Ketama 虚拟节点 · 会话级缓存环 ④ Hub-and-Spoke 星型协议翻译 · ProtocolTranslator OpenAI (Hub) Anthropic Google Responses API SSE state machine · Google/Anthropic toolId 桥接 ⑤ Connection Pool host+port+TLS LIFO Keep-Alive 90s · 省 1-2 RTT ⑥ 故障重试 429/403/5xx 自动换节点 首字节后不重试 · 最多 3 次 ⑦ NodeHealthTracker · 熔断 + 限流反压 429/403 响应头解析 → 智能冷却时间(Retry-After · 金刚位动态计算)· 403 账单类错误 1h 长断 · 连续错误计数熔断 健康状态缓存 · 半开探活 · 冷却剩余时间最短节点降级策略 · 错误轨迹落盘复盘 ⑧ NodeRateLimiter · 节点级异步排队限流 令牌桶令牌数从限流响应头实时同步 · estimateTokens 按 body 长度预估 · tryAcquireAsync 非阻塞等待 x-ratelimit-limit-requests / x-ratelimit-remaining-requests / x-ratelimit-reset-requests 精确解析 Keep-Alive forward stream SSE Backend LLM 节点池(多厂商 · 多 Key · 跨区域) OpenAI Anthropic Google DashScope DeepSeek Volcengine · …
四向协议互译
OpenAI · Anthropic · Google · Responses API 任意互转;有状态 SSE 翻译器 + 链式 pipeline(Anthropic→OpenAI→ResponsesAPI),跨协议工具调用 / 推理字段无损
多模型正则路由
双层智能路由:正则分流 + 节点级别名映射,一行规则覆盖整个模型家族。零感知替换:客户端始终看到自己请求的模型名。
四策略负载均衡
随机 / 轮询 / 权重 / 一致性哈希 四种策略;权重策略按静态权重抽签,一致性哈希走会话级缓存环,同 session 粘到同节点省 KV Cache
SSE
SSE 流式透传
同协议零解析快速通道,JSON 不反序列化直接透传;跨协议走有状态 chunk 翻译器,event 序列完整;流式空闲超时 + 通道异常终止信号兜底
故障自动重试
限流 / 错误响应自动换节点重试;首字节返回后不重试避免协议违规;响应头回写重试次数与最终节点信息
健康探活 + 限流反压
读上游限流响应头实时收紧节点配额,配额耗尽自动熔断摘除;重试等待时间精确解析;失败轨迹落盘便于复盘
后端连接池 · Keep-Alive
按 host + 端口 + TLS 组合分组 LIFO 复用 TCP/TLS 长连接,省掉每请求 1-2 RTT 握手(跨境约 450-900ms);空闲 90s 自动回收,对齐主流上游 keep-alive 超时
密钥池 + PKCE OAuth
用户级 Token 鉴权 + 按用户限流 + 模型白名单 + 请求体大小限制;Claude Code / Codex CLI 走 PKCE OAuth 浏览器直通登录

SSH Proxy 安全中间人 · Agent 操作远程主机总闸

AI Agent 安全操作远程主机的中间人代理:LLM 视角看到虚拟身份(主机名 / 用户 / 路径),真实 IP / 凭据永不出代理内存临时令牌(任务级 token,TTL 自动过期)+ 命名账户(CI / 部署长期凭据,哈希加固)双轨鉴权;多模式转发 · 路径双向重写;上游覆盖本机 / 阿里云 / AWS / GCP / Azure,支持跳板机 + 远端隧道穿透。

SSH Proxy 架构 · Agent → Proxy → 上游主机

两条鉴权路径(临时 + 命名)合并到同一转发层;虚拟身份沙盒让 LLM 看到干净的虚拟主机视图,路径双向重写抹掉真主机痕迹;全链路审计日志可追溯。

AI Agent 客户端 Claude Code / OpenCode CI Runner / Oncall Bot DevOps Script / SDK ssh <临时令牌>@:22000 ssh <命名账户>@:22000 ssh <运维账户>@:22000 SSH Proxy 服务端 · 监听 :22000 双轨鉴权 ● 临时令牌 — 任务级 token · TTL 自动过期 ● 命名账户 — 哈希密码持久化 · 多主机路由 虚拟身份沙盒 返回虚假主机名 / 用户 / 路径 — LLM 仅见虚拟视图 双向路径重写 · 真主机信息不进 LLM 上下文 多模式转发层 ● 命令模式 · 虚拟环境注入 ● 交互式 shell · 终端透传 ● 文件传输 · 路径重写 全链路审计日志异步落盘 · 可追溯 凭据连接 上游建连 隧道命令 上游真实主机(跨云 · 跨网络) Local / 内网 Linux 阿里云 ECS AWS EC2 / GCP Azure VM ← bastion
SSH 协议中间人
SSH 独立服务监听 :22000;AI Agent 以标准 ssh 命令接入,透明转发到上游真实主机,LLM 完全无感中间层存在
sh
虚拟身份 · 双向重写
虚拟身份注入:返回虚假的主机名 / 用户 / 路径;双向重写引擎对输出流做入站脱敏、对命令做出站映射 —— 真主机标识永不出现在 LLM 上下文
task- named
双轨鉴权
临时令牌:任务级 token(内存存储 · TTL 自动过期 · 单次或多次复用);命名账户:哈希密码持久化 · 多主机路由 · 长期 CI / 部署凭据
跳板机 + Tunnel 穿透
支持多级跳板(透明 channel 转发)+ Tunnel 接入(远端隧道命令);跨 VPC / 跨安全组的复杂网络拓扑下一站直达,无需手工 SSH 配置

MyCtx 数据库引擎 · Agent-Native

专为 AI Agent 设计的嵌入式 SQL 引擎:一个进程同时承载关系表 · 向量 · 全文索引 · 虚拟文件系统,用标准 SQL 统一检索。

架构总览 · MyCtx + fs9 + FUSE 挂载链

三层:客户端 → MyCtx 内嵌引擎 → POSIX 挂载栈。对外只暴露 3 个协议口(MySQL 8306 / WebDAV 6383 / SSH Proxy 22000),WebDAV 走 Basic Auth + Connect Key(扁平独立 token,SHA-256 反查,scope ro/rw),SSH Proxy 走虚拟身份沙盒(临时 mint + 命名账户双轨鉴权);1 条挂载路径(rclone 三平台原生支持),RocksDB 是唯一存储底座。

User Browser CLI Agent Claude Code / Codex / OpenCode Finder / rclone 桌面挂载客户端 MySQL :8306 SQL · fs9() · graph_* POSIX file I/O via 双路径挂载(见底层) WebDAV :6383 Basic Auth · Connect Key MyCtx · 内嵌数据库引擎 SQL Engine · Volcano 向量化 • MySQL native SQL · JSON + GIN 索引 • VECTOR + HNSW · FULLTEXT BM25(9 分词器) • SQL 内联 http_get/post · DDL/DML/JOIN/CTE/窗口 fs9() 表函数:CSV / JSONL / Parquet / MD 直查 ★ graph_*() 9 大图算子(SQL 一等公民) neighbors · ancestors · subgraph · path shortest_path · pagerank · topological_sort connected_components · scc Fs9Storage · 虚拟 FS flat: /{repo}/{rel} value = bytes + metadata event stream(CREATE / WRITE / DELETE) SQL 写后立即可读 · seq 单调递增 WebDAV Bridge 127.0.0.1 : 6383 Basic Auth + Connect Key flat token · scope ro/rw HTTP Range · ETag invalidate RocksDB · 唯一真理源 · 磁盘存储 所有数据:表行 / 索引 / 向量 / fs9 文件 / 事件流 in-process adapter WebDAV (loopback) jnr-fuse 直挂(首选) POSIX → Fs9Storage 直连 RocksDB chunk 零网络栈 最低延迟 / 最低开销 需 macFUSE / libfuse / WinFsp rclone + WebDAV (fallback) • mac: nfsmount • linux: mount libfuse3 • win: mount WinFsp vfs-cache full · 20G 上限 ETag+Last-Modified 强一致 dir-cache 60s ↔ fallback _fs9 挂载点 · 虚拟 POSIX 视图 ${workspaceRoot}/_fs9/ └─ <repo>/sources/<file> └─ <repo>/raw/<slug>.md └─ <repo>/wiki/_index.md ls / cat / vim 走得通;字节按需从 RocksDB 取 Agent Sandbox docker -v _fs9:/fs9:ro Read /fs9/<repo>/sources/* fs9_write /raw/<slug>.md 原始文件 byte-for-byte PDF / image / text 都能 Read 挂载点 bind mount
FT
全文检索(BM25)
MATCH AGAINST 语法,BM25 评分;9 种分词器可选(jieba 中文 / english_stem / ngram / ...),中英代码混合场景最佳
向量检索
VECTOR 列 + HNSW 索引,MySQL 9.0 向量函数;RAG 召回毫秒级,与全文索引/SQL 过滤联合检索
向量化执行引擎
列式 Chunk 批处理 · 谓词下推 · 覆盖索引 · 零拷贝扫描;复杂 JOIN / 聚合无需落盘
虚拟文件系统 fs9
把文件当 SQL 数据存:agent 产物(日志、截图、文档)落 DB,事务一致 · 变更流可订阅 · FUSE 可挂宿主,摆脱本地 FS 状态散乱
POSIX FUSE 挂载
fs9 通过 rclone 挂成真实目录macOS / Linux / Windows 全平台;ls / cat / vim 像本地盘读写;docker -v 直通容器,agent 用 POSIX 文件 API 即可
图算法 · 9 大算子
graph_neighbors / graph_path / graph_pagerank / graph_shortest_path / graph_scc / graph_topological_sort ... 9 大图算子用 SQL 表函数暴露,BFS / 最短路 / 强连通 / 拓扑序 / PR 直接 SELECT 出,可与普通表 JOIN 做关系+图混合查询

弹性执行层 · Docker / 宿主机 / 远程节点 / E2B

一份会话状态,四种算力随取随用:本机容器秒级开箱,闲置算力一键接入,云端沙箱按需弹性。存算分离让计算节点无状态——会话与产物统一落 fs9 存储层,节点坏了换一台接着跑。

容器隔离
独立运行环境,代码执行互不干扰
快照管理
保存容器状态,一键恢复工作环境
资源控制
CPU/内存限制,防止资源滥用
PERM TEMP
双模式部署
永久模式复用容器 / 临时模式完全隔离
远程节点
闲置算力一键接入:一条安装命令即成执行节点,反向连接跨 NAT 无需公网 IP;macOS / Linux / Windows 全平台
E2B 云沙箱
对接 E2B 协议托管沙箱:任务高峰按需弹性扩容,用完即销毁;本地零运维,隔离等级云厂商兜底
存算分离 · 弹性扩容
会话 / 工作区 / 产物统一落 fs9 存储层,计算节点无状态可替换;会话跨节点漫游,算力横向加减不中断业务