● 由 Leyon 开发 · Rust · Python · 信创 PostgreSQL · three.js · WebSocket/HLS

智慧施工管理系统

投控基建项目的工地指挥中心。扬尘、噪音等传感器与摄像头、人员、班组、OA 审批多模块数据汇总到一个页面;开发与优化兼容客户端取数;视频链路打破「全应用仅 1 路并发」的流量分发死限制,做到多人同看;登录不建独立账号体系,直接借用 OA 打通。

协议逆向 · 零官方文档视频流 1→N 优化打通 OA 综合管理平台实现业务流转存储信创化CAD-在线渲染与全视角预览AI 中台数据融合与分析
自上而下通读即可
01 / 概括

在封闭平台上,造出一个开放的指挥中心

定位、难点、技术框架——30 秒建立全貌。

定位原平台只给「网页」,不给「接口」

工地原先要看摄像头一套系统、扬尘一套系统、人员一套系统、汇报再拼一次 PPT。上游工地会线平台承担设备接入与数据汇总,但其仅提供网页端、未开放对外接口——无 SDK、无文档、无字段说明。

本平台的做法:打开原平台的生产网站,逐个模块抓包,把每一个 XHR 的路径、方法、参数、分页语义、鉴权头全部逆向还原,再开发与优化一套兼容客户端把数据接出来,在其上重建视频中转分发、环境监测、历史落盘、3D-CAD、通讯录聚合。全程零侵入——原平台照常运行,对它的请求方式和浏览器一模一样。

AI 融合与数据流动:平台采集的视频、环境、人员、历史数据,将与工程反馈系统、安全管理平台、智慧工地等多系统数据汇聚至 AI 中台,经统一分析生成领导决策支持报告,形成数据流动与 AI 融合设计。

难点四个真问题

框架技术栈与运行形态

语言/形态
Rust 服务端核心 + Python 工具链 · 原生 HTML/JS 前端,零框架依赖
协议层
逆向自生产站 XHR:开发与优化兼容客户端(token 头注入 · 双分页规范适配 · 路径白名单 · 分级 TTL 缓存 · 同键单飞)
流媒体
开发与优化 WebSocket Hub(1 上游 → N 下游扇出 · 空闲自动释放并发额度)+ HLS 分片分发,三档码率 270p/360p/720p
登录
直接对接 OA:whoami 身份接口 + HMAC-SHA256 一次性票据(恒定时间比较)+ 媒体/业务分级校验
数据
信创 PostgreSQL(yzt_monitor)为主,SQLite 本地 spool 兜底,恢复后自动补录;保留 730 天
3D
three.js 浏览器端渲染管线:GLB 18MB 级沙盘模型、色调映射调校、姿态矩阵持久化、几何体显式回收
运维
systemd 守护 · 25 分钟坏通道轮巡探测 · 接口健康自检 · 采集状态面板
02 / 架构

数据怎么流,难点压在哪一层

三条主链路,每条各守一个硬约束。

链路 A取数:封闭平台 → 兼容客户端 → 前端

原平台生产站
无官方接口
→ 开发与优化兼容客户端
逆向协议 · 白名单 · 缓存 · 单飞
→ 前端 10 模块
视频/环境/人员/看板…
→ 值班员浏览器

前端与 URL 永不出现上游令牌;兼容客户端按路径分级 TTL(慢接口 60s、默认 15s),同键并发只穿透一次——上游普遍 5 秒+ 的接口被压成站内毫秒级。

链路 B视频:1 路死限 → Hub 扇出 → 多端(优化重心)

萤石上游
全应用仅 1 路
→ WS Hub
1 上游 → N 下游 · 空闲还额度
→ HLS 分片
三档码率
→ 多端同时播放

优化点:服务器独占唯一并发名额做扇出;最后一个观众离开即断上游释放额度;270p 极俭档压带宽;25 分钟轮巡探测把坏通道从「用户报障」变成「平台自知」。

链路 C历史:采集 → spool → 信创库 → 导出

定时采集
每 5 分钟
→ SQLite spool
断网暂存
→ 信创 PG
yzt_monitor
→ 历史回顾 / CSV

库不可用先写本地,恢复后扫描 spool 幂等补录;上游时间戳三种形态(毫秒/秒/字符串)统一归一并做年界校验。

模块难点分布

模块职责难点所在
兼容客户端逆向协议取数、白名单、缓存、单飞双分页规范、内部 deviceId、9908 缺数模块
登录借 OA 判定身份、HMAC 票据、等待页媒体与业务分级校验、票据防重放
流媒体 HubWS 1→N 扇出、HLS 分发、坏通道探测并发额度管理、空闲释放、断线自愈
采集引擎环境/运行指标定时抓取落盘时间戳归一、spool 降级、幂等补录
3D-CAD模型库、渲染管线、姿态持久化色调映射调校、18MB GLB、显存回收
看板 / 现场 / 通讯录数字汇总与人员检索展示多接口聚合快照、2.5MB 账号表裁剪
系统管理接口健康、坏通道明细、自检面板全模块状态归一呈现
03 / 代码

五段核心代码

核心逻辑以 Rust 给出等价实现(生产系统为 Rust 服务 + Python 工具链 + 原生 JS,算法与状态机一一对应),按难度递进:逆向 → 登录 → 流媒体 → 落盘 → 渲染。

C1逆向协议:没有接口,就从生产站把协议「读」出来

原平台的排放记录接口是典型的「参数陷阱」:用设备面板上可见的 SN 调用直接 403,必须先从设备列表接口的响应里解析出内部 deviceId 才能通过;同一套后端里,分页参数一处是 page/limit、另一处是 pageNum/pageSize——全部靠逐个抓包比对确认,无任何文档。

// 快照层:TTL 缓存 + 内部 deviceId 解析 + 双分页适配
struct SnapshotCache {
    entries: Mutex<HashMap<String, (Instant, String)>>,
}

impl SnapshotCache {
    // 同键单飞由外层调用方的锁保证:并发轮询只穿透一次上游
    fn get_or_fetch(&self, key: &str, ttl: Duration,
                     fetch: impl FnOnce() -> String) -> String {
        let mut map = self.entries.lock().unwrap();
        if let Some((at, val)) = map.get(key) {
            if at.elapsed() < ttl { return val.clone(); }
        }
        let val = fetch();
        map.insert(key.to_string(), (Instant::now(), val.clone()));
        val
    }
}

// 排放记录:SN 会 403 —— 必须先从列表解析内部 deviceId
async fn resolve_device_id(cli: &Client, project: &str) -> Result<String> {
    let dust = cli.post("/dustEmission/getDustEmissionList")
        .json(&json!({"projectId": project, "pageNum": 1, "pageSize": 10}))
        .send().await?.json::<Value>().await?;
    let rec = &dust["result"]["records"][0];   // 内部 id 只藏在这里
    Ok(rec["id"].as_str().or(rec["deviceId"].as_str())
        .unwrap_or(DEFAULT_DEV).to_string())
}

// 双分页:排放接口只认 page/limit(与 pageNum/pageSize 是两套规范)
async fn emission_records(cli: &Client, dev: &str, project: &str) -> Result<Value> {
    cli.post("/emissionRecord/findDustEmissionRecordList")
        .json(&json!({"deviceId": dev, "projectId": project,
                     "page": 1, "limit": 10}))
        .send().await?.json().await
}

// 上游 token 对 workers/att/teams 恒返 9908 —— 如实留空,不造数

每个接口独立 TTL:扬尘实时 60s、排放 300s、账号表 900s——用缓存把「5 秒+ 的上游」变成「毫秒级的站内数据」。

C2登录:不建账号体系,直接借用 OA

现场已有 OA(致远)统一身份。中控台不新建任何账号表:公网请求问 OA 的 whoami 接口拿身份,同域回环直接豁免;校验通过后自铸 HMAC-SHA256 一次性票据(120 秒 TTL + nonce 防重放)换入控制台。OA 退出,票据随之作废——权限管理完全继承 OA。

use hmac::{Hmac, Mac};
use sha2::Sha256;
use subtle::ConstantTimeEq;          // 恒定时间比较,防时序攻击

type HmacSha256 = Hmac<Sha256>;

fn sign(secret: &[u8], payload: &str) -> String {
    let mut mac = HmacSha256::new_from_slice(secret).unwrap();
    mac.update(payload.as_bytes());
    hex::encode(mac.finalize().into_bytes())
}

// 一次性票据:b64u(payload).ts.nonce.sig —— 120s TTL + nonce 防重放
fn verify_ticket(secret: &[u8], ticket: &str, now: u64, ttl: u64)
    -> Result<User, AuthError>
{
    let (b64, ts, nonce, sig) = parse_ticket(ticket)?;
    let expect = sign(secret, format!("{b64}.{ts}.{nonce}").as_str());
    if !bool::from(sig.as_bytes().ct_eq(expect.as_bytes())) {
        return Err(AuthError::BadSignature);
    }
    if now.saturating_sub(ts) > ttl { return Err(AuthError::Expired); }
    if REPLAYED.lock().insert(nonce) { return Err(AuthError::Replay); }
    decode_payload(&b64)
}

// 分级校验:媒体路径每次问 OA 会卡顿 —— 只本地验签;业务路径才回源
async fn authorize(req: &Request) -> Result<User, AuthError> {
    let path = req.uri().path();
    if path.starts_with("/hls/") || path.starts_with("/api/stream/")
        || path.starts_with("/relay")
    {
        auth_from_cookie(req)          // O(1) 本地验签
    } else {
        ask_oa(req).await              // whoami 回源(回环豁免)
    }
}

入口链:/ 或 /seeyon/leongate 渲染等待页 → /gate 走 OA 校验 → 302 /console(不回 /,否则死循环);/sso 收 OA 票据换本台会话。

C3视频流优化:1 路并发的死限制下,做出 1→N 与额度回收

免费版「全应用 1 路」意味着第 2 个观众会把第 1 个踢下线。解法:服务器自己占住那唯一一路,上游帧进入 Hub 后广播给所有下游;更关键的是额度回收——最后一个观众离开,立即断开上游连接,把并发名额还回去,其他用户立即可访问。

use tokio::sync::broadcast;
use std::sync::atomic::{AtomicUsize, Ordering};

struct Hub {
    tx: broadcast::Sender<Bytes>,          // 1 上游 → N 下游 的扇出通道
    viewers: AtomicUsize,
}

impl Hub {
    // 上游帧 → 全下游广播;观众归零即断上游,把并发额度还回去
    async fn pump(self: Arc<Self>, mut up: UpstreamConn) {
        while let Some(frame) = up.next_frame().await {
            let _ = self.tx.send(frame);       // 忽略「暂无订阅者」
            if self.viewers.load(Ordering::Relaxed) == 0 {
                break;                         // 没人看了 → 断上游,还回 1 路额度
            }
        }
        up.close().await;
        let _ = self.tx.send(Bytes::new());  // 广播关闭帧给残余下游
    }

    // 下游挂载:独立 task 收广播;发送失败即为死下游,退出即摘除
    fn attach(self: &Arc<Self>, mut down: WsSink) -> JoinHandle<()> {
        self.viewers.fetch_add(1, Ordering::Relaxed);
        let mut rx = self.tx.subscribe();
        tokio::spawn(async move {
            while let Ok(frame) = rx.recv().await {
                if down.send(frame).await.is_err() { break; }
            }
        })
    }

    fn detach(&self) { self.viewers.fetch_sub(1, Ordering::Relaxed); }
}

配套:HLS 分片分发给浏览器播放器(三档码率,极俭 270p 压带宽);探测引擎每 25 分钟对 16 路逐路试播,错误码归一后写入坏通道标注。直连档保留给「确定独自观看」的场景,切换前弹窗警告独占后果。

C4历史采集:断网不丢数的双写与幂等补录

信创库会抖。写入路径 PG 优先,失败静默降级写本地 SQLite spool;每轮采集先冲 spool 再抓新数——断网两天恢复后自动补齐。上游时间戳有毫秒/秒/字符串三种形态,统一归一并用年界窗口剔除脏值。

// 时间戳三形态归一 + 年界校验:宁缺勿错,脏值一律 None
fn normalize_ts(v: &Value) -> Option<i64> {
    let n = match v {
        Value::Number(n) => n.as_f64()?,
        Value::String(s) if s.chars().all(|c| c.is_ascii_digit()) => s.parse().ok()?,
        Value::String(s) => return parse_datetime(s),   // "YYYY-MM-DD HH:mm:ss"
        _ => return None,
    };
    let n = if n > 1e12 { n / 1000.0 } else { n };      // 13 位毫秒 → 秒
    let n = n as i64;
    (946_684_800..=4_102_444_800).contains(&n).then_some(n)  // 2000~2100
}

// 双写:PG 优先,失败静默降级 spool;补录幂等(OR IGNORE/REPLACE)
async fn store_sample(env: &[EnvRow], stats: &[StatRow]) -> Result<()> {
    match pg_insert(env, stats).await {
        Ok(_) => Ok(()),
        Err(_) => { spool_insert(env, stats)?; Ok(()) }   // 断网暂存,不外抛
    }
}

async fn drain_spool() -> Result<usize> {              // 每轮先补录再抓新数
    let rows = spool_pending().await?;              // 幂等:重复补录不产生重复行
    let n = pg_upsert(&rows).await?;
    spool_delete(&rows).await?;
    Ok(n)
}

保留 730 天滚动清理;导出 CSV 带 UTF-8 BOM,Excel/WPS 双击即开不乱码。

C53D-CAD:资产校验与姿态持久化

浏览器端 three.js 负责渲染(sRGB 输出 · ACES 色调映射 · 曝光 1.15 · RoomEnvironment→PMREM 环境反射,须按素材观感调校防惨白;切换模型逐 mesh dispose 防显存泄漏)。服务侧用 Rust 表达的,是模型库的入口校验与姿态原子持久化——视角/姿态按模型为键落盘,重启即恢复,不用重新摆位。

use std::path::Path;
use serde::{Serialize, Deserialize};

// 姿态矩阵:偏航/俯仰/距离 + 毫米级平移,按模型为键持久化
#[derive(Serialize, Deserialize)]
struct Pose { yaw: f32, pitch: f32, dist: f32, offset: [f32; 3] }

// 上传入口:扩展名白名单 + 体积上限,非法直接拒之门外
fn validate_upload(name: &str, size: u64) -> Result<()> {
    let ext = Path::new(name).extension()
        .and_then(|e| e.to_str()).ok_or(CadError::BadFormat)?;
    ensure!(matches!(ext, "glb" | "gltf" | "obj" | "stl"),
            CadError::BadFormat);
    ensure!(size <= 50 * 1024 * 1024, CadError::TooLarge);
    Ok(())
}

// 原子写:tmp + rename,断电也不会留下半截姿态文件
fn save_pose(base: &Path, model: &str, pose: &Pose) -> io::Result<()> {
    let path = base.join(format!("{model}.pose.json"));
    let tmp  = path.with_extension("tmp");
    std::fs::write(&tmp, serde_json::to_vec(pose)?)?;
    std::fs::rename(tmp, path)                   // 原子落盘
}

fn load_pose(base: &Path, model: &str) -> Option<Pose> {
    let path = base.join(format!("{model}.pose.json"));
    serde_json::from_str(&std::fs::read_to_string(path).ok()?).ok()
}

大 GLB(18-19MB)载入时显示 FPS/顶点数让用户「看见」进度;Rust 侧所有权模型保证服务端资源不泄漏,浏览器侧则靠显式 dispose 兜底。

04 / 优化

主要优化

每条都是攻坚现场真实发生的:现象 → 根因 → 解法。

技术难点现象与根因解决法
排放接口 403:设备 SN 是「可见参数」,不是「可用参数」 面板上明晃晃的设备 SN,填进排放记录接口却稳定 403。逐个比对浏览器真实请求后发现:接口要的是设备列表里才有的内部 deviceId,SN 只是展示字段。另一层坑是分页双规范——同一后端里 page/limit 与 pageNum/pageSize 并存,传错静默返回空页而不报错。 先调列表接口解析内部 id 再调业务接口;为每个接口单独固化参数模板与 TTL;上游 token 对 workers/att/teams 恒返 9908 的模块如实留空,绝不造数。
全应用 1 路并发:第 2 个观众把第 1 个踢下线 摄像头账号免费版的硬限制,值班场景两人同时看即互相踢,报「并发数达到上限」——等于视频功能不可用。 开发与优化 WS Hub:服务器占唯一一路做 1→N 扇出;最后一个观众离开立即断上游、归还并发额度;死下游统一摘除不拖垮他人;直连档保留并弹窗警告独占后果。
每次媒体请求都问 OA:8 秒一片,播放器等到超时 最初所有请求(含 HLS 分片轮询、播放器心跳)都同步问 OA whoami,单次 5-8 秒——视频根本播不动。 校验分级:媒体与流路径只做本地 HMAC 验签(O(1)),业务接口才问 OA;另修「/gate 成功后 302 回 / 触发死循环」→ 改 302 /console。
CAD 色彩失真:ACES + 环境反射把沙盘渲成一片惨白 给 three.js 渲染器加上 ACES 色调映射、1.15 曝光和 RoomEnvironment 环境贴图后,材质参数按「物理正确」重算,而沙盘模型的贴图本来就是按普通光照烘焙的——结果整体发白、色彩全失真,像蒙了一层雾。 色调映射与环境反射按素材实际观感调校而非按物理正确照搬:回退/减弱环境贴图强度,保留 sRGB 输出校正;以「贴近实物颜色」为唯一验收标准反复对照原模型调。
18MB GLB 首屏数秒白屏,反复切换还越占越多 沙盘模型 18-19MB,首次载入浏览器数秒无反馈;在模型库来回切换几次后帧率持续下降——旧 mesh 的几何体与材质没被回收,显存只增不减。 载入过程显示 FPS/顶点数让用户「看见」进度;切换模型时逐 mesh dispose() 几何体与材质;视角与姿态按模型 URL 为键写 localStorage,重开秒恢复,不用重新摆位。
上游接口 5 秒+,前端 10 个模块并发轮询直接打爆 看板一屏要聚合 10+ 个上游接口,每个 5 秒起;页面刷新时并发轮询把上游打得更慢,恶性循环。 同键单飞锁:同参数并发请求只放一个穿透,其余等回填后直接吃缓存;按接口语义分级 TTL(实时 60s / 名单 300s / 账号 900s);2.5MB 且不支持服务端过滤的账号表在快照层裁剪到本项目,避免每次传输 2MB。
上游时间戳三种形态混用,脏值直接污染趋势图 同一个字段有时是 13 位毫秒、有时 10 位秒、有时 "YYYY-MM-DD HH:mm:ss" 字符串,还有空串和 0——直接入库会让趋势图出现 1970 年的点。 统一归一函数:数值型按量级判毫秒/秒,字符串多格式依次尝试;年界窗口(2000-2100)外一律置 NULL,宁缺勿错。
HLS 分发目录可被 ../ 穿越;分发异常时播放器无声卡死 /hls/ 相对路径若不设防,构造 ../ 即可读到服务任意文件;上游闪断时播放器既不报错也不恢复,静默卡住。 分片路径含 ".." 或空直接 403;分发层异常时置「分发异常」红字状态并自愈重连,十几秒内恢复,播放器侧「重新连接」按钮兜底。
📖 说明书📐 说明文档🕘 日志