自建系统集成方案

弹幕评论系统 · 用户画像与推荐系统 · 审核及版权中心 — 从零设计、渐进集成
📅 2026-07-08 💬 弹幕+评论 (WebSocket) 🧠 推荐系统 (ML Pipeline) ⚖️ 审核版权中心

1 三套自建系统总览

💬 弹幕和评论系统

实时弹幕 (WebSocket) + 评论楼层 (REST) + 敏感词过滤 + 举报管理

技术:Go WebSocket 服务 + PHP 业务层 + Redis 缓存
数据量预估:热门短剧 1000条弹幕/集

🧠 用户画像与推荐系统

用户画像构建 + 协同过滤 + 内容推荐 + 广告精准投放

技术:ClickHouse 数据仓库 + Python ML Pipeline + Redis 在线服务
数据基础:已有 31 张行为日志表

⚖️ 审核及版权中心

内容审核工作流 + 版权登记 + 侵权检测 + 投诉处理

技术:PHP 业务层 (复用 FastAdmin) + 阿里云内容安全 API
现状:已有 fa_videolist 审核状态字段

1-A 弹幕和评论系统

架构设计

┌──────────────────────────────────────────────────┐ │ 客户端 (APP/小程序/H5) │ │ ┌─────────┐ ┌──────────┐ ┌─────────────────┐│ │ │ 弹幕层 │ │ 评论输入 │ │ 弹幕开关/透明度 ││ │ │(Canvas) │ │ │ │ 屏蔽词/举报 ││ │ └────┬────┘ └────┬─────┘ └────────┬────────┘│ └───────┼────────────┼─────────────────┼──────────┘ │ │ │ ┌────┴────┐ ┌────┴─────┐ ┌──────┴──────┐ │WebSocket│ │ REST API │ │ REST API │ │实时弹幕 │ │ 评论CRUD │ │ 用户设置 │ └────┬────┘ └────┬─────┘ └──────┬──────┘ │ │ │ ┌────┴────────────┴─────────────────┴──────────┐ │ PHP API 层 (柠檬剧场扩展) │ │ · 弹幕发布 (校验+敏感词+入库) │ │ · 评论管理 (发表/删除/举报) │ │ · 弹幕时间轴查询 (按视频时间点返回) │ │ · 评论列表 (分页+排序) │ └──────────┬────────────────────────────────────┘ │ ┌──────────┴────────────────────────────────────┐ │ Go WebSocket 服务 (弹幕实时推送) │ │ · 房间管理 (video_id → 房间) │ │ · 弹幕广播 (同一房间所有客户端) │ │ · 连接管理 (心跳/断线重连) │ │ · Redis Pub/Sub 接收 PHP 推送的弹幕消息 │ └──────────┬────────────────────────────────────┘ │ ┌──────────┴──────────┐ │ MySQL │ Redis │ │ fa_danmaku │ 弹幕 │ │ fa_comment │ 缓存 │ └────────────┘────────┘

数据库设计

表名核心字段索引
fa_danmakuid, video_id, episode_id, user_id, content, play_time (秒), color, type (滚动/顶部/底部), status, created_atKEY (video_id, episode_id, play_time)
fa_commentid, video_id, user_id, parent_id (回复), content, like_count, report_count, status, created_atKEY (video_id, created_at), KEY (user_id)
fa_comment_likeid, comment_id, user_id, created_atUNIQUE (comment_id, user_id)
fa_danmaku_shieldid, user_id, keyword (用户自定义屏蔽词)KEY (user_id)

技术选型

组件方案理由
实时推送Go WebSocket (独立服务 :10003)PHP 不适合维持大量长连接;Go 单机可承载 10 万+ WebSocket
业务逻辑PHP (柠檬剧场现有)弹幕入库、敏感词过滤、评论管理复用现有 Auth/DB 层
消息队列Redis Pub/SubPHP 发布弹幕 → Redis → Go 消费广播。轻量,无需新增中间件
敏感词PHP DFA 算法 + 阿里云内容安全 API本地快速过滤 + 云端 AI 审核兜底
弹幕渲染客户端 Canvas (原生) 或 CSS AnimationH5 用 CSS;APP 用原生 Canvas,性能最优
关键设计:弹幕发布走 PHP REST API (入库+校验),PHP 入库成功后通过 Redis Pub/Sub 发送给 Go WebSocket 服务广播。这样 PHP 端无需处理长连接,Go 端无状态可水平扩展。

1-B 用户画像与推荐系统

3.1 现有数据基础 (已具备)

柠檬剧场已有 31 张用户行为日志表,可直接作为推荐系统的数据源:

行为类型数据表可提取特征
观看行为fa_video_look, fa_log_play, fa_log_video观看时长、完成率、跳过率、观看时段
互动行为fa_videolove (点赞), fa_videorecord (追剧)偏好类型、追剧习惯
消费行为fa_user_money_log, fa_paylog, fa_coin付费意愿、消费能力、价格敏感度
广告行为fa_ad_income, fa_ad_record, fa_ad_risk广告容忍度、广告偏好、ECPM 贡献
社交行为fa_video_share, fa_user (pid/invite)分享意愿、社交影响力
签到行为fa_sign_log, fa_qdjl活跃度、留存倾向
设备信息fa_user (device_type, platform, brand...)设备档次、平台偏好

3.2 推荐架构

┌────────────────────────────────────────────────────────┐ │ 推荐结果消费层 │ │ · 首页推荐流 · 短剧详情页"猜你喜欢" · 搜索排序 │ │ · 广告精准投放 · 推送通知个性化 │ └──────────────────────┬─────────────────────────────────┘ │ HTTP API (毫秒级) ┌──────────────────────┴─────────────────────────────────┐ │ Redis 在线推荐服务 (热数据) │ │ · 用户-短剧评分矩阵 (协同过滤) │ │ · 短剧特征向量 (Embedding) │ │ · 热门榜单 / 新品榜 / 飙升榜 │ └──────────────────────┬─────────────────────────────────┘ │ ┌──────────────────────┴─────────────────────────────────┐ │ Python ML Pipeline (离线计算 · T+1) │ │ ┌──────────────┐ ┌──────────────┐ ┌────────────────┐ │ │ │ 协同过滤 │ │ 内容推荐 │ │ 热度推荐 │ │ │ │(UserCF/ItemCF)│ │(TF-IDF/Emb) │ │(HackerNews算法)│ │ │ └──────────────┘ └──────────────┘ └────────────────┘ │ └──────────────────────┬─────────────────────────────────┘ │ ┌──────────────────────┴─────────────────────────────────┐ │ ClickHouse 数据仓库 (离线分析) │ │ · ETL 从 MySQL 同步行为日志 │ │ · 用户画像宽表 (user_profile) │ │ · 短剧特征表 (video_features) │ │ · 实时事件流 (Kafka → ClickHouse) 可选 │ └────────────────────────────────────────────────────────┘

3.3 用户画像标签体系

标签维度标签示例数据来源
基础属性性别、年龄段、地区、设备档次fa_user + 设备信息
内容偏好男频/女频、甜宠/逆袭/悬疑、单集时长偏好fa_video_look + fa_videolist 分类
消费特征免费用户/小额付费/重度付费、价格敏感度fa_paylog + fa_user_money_log
活跃度日活/周活/月活、观看时段 (晨间/午间/夜间)fa_log_play + 时间聚合
广告价值高ECPM/中/低、广告容忍度 (跳过率)fa_ad_income + fa_ad_risk
社交价值分享达人/普通用户、邀请能力 (下级数量)fa_video_share + fa_user.pid
风险标签正常/疑似刷量/确认作弊fa_fengxian_record + fa_ad_risk

3.4 推荐策略分层

❄️ 冷启动 (新用户)
热门推荐 + 新品推荐 + 注册时选择的兴趣标签。约 3-5 次交互后切换到个性化推荐。
🔥 协同过滤 (有行为)
UserCF:"看了A的人也看了B";ItemCF:"与A相似的短剧"。基于观看/点赞/付费构建评分矩阵。
📝 内容推荐
基于短剧的标签(classify)、分类、主演、导演等元数据 + TF-IDF 提取关键词做内容相似度匹配。
🎯 广告推荐
根据用户 ECPM 贡献和历史广告行为,动态决定广告展示频率和类型 (激励视频/插屏/Banner)。
实施建议:Phase 1 先做基于标签的规则推荐 + 热门榜单 (2 周可上线)。Phase 2 引入协同过滤离线计算 (3 周)。Phase 3 引入深度模型 (可选)。不要一开始就追求复杂的 ML Pipeline。

1-C 审核及版权中心

4.1 现状分析

fa_videolist 表已有审核相关字段:audit_detail (审核状态)、audit_time、audit_detail_error (审核原因)、check_status (初审/二审/终审)、check_desc、admin_id (审核人)、drama_id (剧目ID)。但缺乏完整的审核工作流和版权管理。

4.2 审核工作流

内容审核流程: 作者提交 ──→ 机器初审 (自动) ──→ 人工一审 ──→ 人工二审 ──→ 通过/驳回 │ │ │ │ 敏感词检测 │ 内容质量 │ 终审 │ AI 图片鉴黄 │ 合规性 │ │ 版权指纹比对 │ │ │ │ │ 不通过 → 自动驳回 不通过 → 驳回 (附原因)

4.3 核心功能模块

🤖 自动审核引擎
接入阿里云内容安全 API (图文审核);自定义敏感词库;MD5/感知哈希去重检测
👤 人工审核工作台
审核队列分配、初审→二审→终审流转、审核意见模板、操作日志、审核绩效统计
©️ 版权登记
版权方信息登记、授权书/合同上传、版权期限管理、版权到期提醒
🔍 侵权检测
视频指纹 (Perceptual Hash) 比对、MD5 黑名单、侵权投诉 → 自动下架
📋 投诉处理
用户/版权方投诉提交 → 审核分配 → 处理结果反馈 → 申诉渠道
📊 审核数据看板
审核量/通过率/驳回率趋势、审核员效率、版权到期预警、侵权案件统计

4.4 数据库扩展

新增表说明
fa_audit_queue审核队列 (video_id, audit_type, priority, assignee, status, created_at)
fa_audit_log审核操作日志 (queue_id, auditor_id, action, reason, created_at)
fa_copyright版权信息 (video_id, owner_name, license_file, start_date, end_date, status)
fa_copyright_complaint侵权投诉 (complainant, video_id, evidence, status, handler, result)
fa_content_fingerprint内容指纹 (video_id, md5, phash, created_at) — 用于去重和侵权检测
fa_sensitive_word敏感词库 (word, level, category, created_at)
实施建议:在现有 fa_videolist 审核字段基础上,新增工作流管理 (审核队列+审批流转),版权模块独立建表。审核系统完全在 PHP 内实现,复用 FastAdmin 后台表单和权限体系,无需新语言。

2 六系统全景架构

┌────────────────────────────────────────────────────────────────────┐ │ Vue 3 统一管理后台 (6 系统入口) │ │ 📺内容 🛒商城 💬IM 💬弹幕 🧠推荐 ⚖️审核 👤用户 │ └────────────────────────────┬───────────────────────────────────────┘ │ ┌──────────────────┴──────────────────────┐ │ Nginx API Gateway │ │ /api/drama/* /api/shop/* /api/im/* │ │ /api/dm/* /api/rec/* /api/audit/*│ └────┬─────────┬────────┬────────┬────────┘ │ │ │ │ ┌────────────┴─┐ ┌─────┴────┐ ┌┴────────┴──────┐ ┌──────────────┐ │ 柠檬剧场 │ │ Lilishop │ │ OpenIM Go │ │ 弹幕 Go │ │ PHP :8080 │ │ Java:8888│ │ :10001(API) │ │ :10003(WS) │ │ │ │ │ │ :10002(WS) │ │ │ │ ✅ 审核中心 │ │ │ │ │ │ Redis Pub/Sub│ │ ✅ 弹幕API │ │ │ │ │ │ │ │ ✅ 推荐API │ │ │ │ │ │ │ └──────┬───────┘ └──────────┘ └────────────────┘ └──────────────┘ │ ┌──────┴─────────────────────────────────────────────┐ │ 数据层 │ │ MySQL (主库) │ Redis │ ClickHouse (离线分析) │ │ + MongoDB (IM)│ + Kafka (可选) │ └────────────────────────────────────────────────────┘ ┌────────────────────────────────────────────────────┐ │ Python ML Pipeline (离线 T+1 定时任务) │ │ 协同过滤 · 内容推荐 · 用户画像 · 特征工程 │ └────────────────────────────────────────────────────┘

3 系统间数据流与联动

事件来源联动目标动作
用户观看短剧🍿 柠檬剧场🧠 推荐系统写入观看日志 → ClickHouse ETL → 更新用户画像
用户点赞/追剧🍿 柠檬剧场🧠 推荐系统更新评分矩阵 → 影响协同过滤结果
用户发送弹幕💬 弹幕系统🧠 推荐系统
⚖️ 审核中心
更新互动特征;弹幕触发敏感词审核
用户发表评论💬 弹幕系统⚖️ 审核中心
💬 OpenIM
评论触发审核队列;被回复用户收到 IM 通知
短剧提交审核🍿 柠檬剧场⚖️ 审核中心进入审核队列 → 自动初审 → 人工审核
短剧审核通过⚖️ 审核中心🍿 柠檬剧场
💬 OpenIM
🧠 推荐
短剧上架 + 作者收到通知 + 进入推荐候选池
版权到期⚖️ 审核中心🍿 柠檬剧场自动下架短剧 + 通知版权方
侵权投诉成立⚖️ 审核中心🍿 柠檬剧场
💬 OpenIM
下架侵权内容 + 通知侵权方
推荐结果更新🧠 推荐系统🍿 柠檬剧场Redis 热数据刷新 → 首页推荐流实时生效
用户被识别为刷量🧠 推荐系统🍿 柠檬剧场
⚖️ 审核中心
标记风险用户 → 降权/禁用

4 实施路线图

阶段周期弹幕评论推荐系统审核版权
P1: 基础搭建 2 周 数据表设计;PHP 评论 CRUD API ClickHouse 部署;ETL 脚本 (MySQL→CH) 审核队列+工作流 DB 设计;扩展现有审核
P2: 核心功能 3 周 Go WebSocket 弹幕服务;Redis Pub/Sub;客户端渲染 规则推荐+热门榜单;Redis 在线服务;用户画像 V1 自动审核引擎;人工审核工作台;敏感词库
P3: 深入优化 3 周 敏感词过滤;弹幕举报;弹幕密度控制 协同过滤 (UserCF+ItemCF);推荐 API 版权登记模块;侵权检测 (pHash);投诉处理
P4: 智能升级 3 周 AI 弹幕审核 (对接阿里云);弹幕特效 内容推荐 (Embedding);A/B 测试框架;广告推荐 审核数据看板;版权到期自动处理
总工期:11 周 (约 3 个月)。三套系统可并行开发。弹幕和审核主要涉及 PHP + Go,推荐涉及 Python + ClickHouse,三线可同时推进。

5 技术选型总结

系统语言存储中间件新增组件
💬 弹幕评论PHP (业务) + Go (WS)MySQL (新增 4 表)Redis Pub/SubGo WS 服务 :10003
🧠 推荐系统Python (离线) + PHP (在线 API)ClickHouse + RedisCrontab / AirflowClickHouse + Python 环境
⚖️ 审核版权PHP (全部)MySQL (新增 6 表)阿里云内容安全 API无新语言/服务
最小新增组件原则:弹幕新增 1 个 Go 服务(轻量),推荐新增 ClickHouse + Python(离线),审核系统完全在 PHP 内实现。总计新增 2 个独立服务和 10 张 MySQL 表。

6 总体系统矩阵 (汇总)

系统类型语言端口数据库状态
🍿 柠檬剧场核心业务PHP:8080MySQL + Redis已有
🛒 Lilishop集成Java:8888MySQL + ES部署中
💬 OpenIM集成Go:10001-2MySQL + MongoDB部署中
💬 弹幕评论自建PHP + Go:10003 (WS)MySQL (复用)待开发
🧠 推荐系统自建Python + PHP:5000 (API)ClickHouse + Redis待开发
⚖️ 审核版权自建PHP复用 :8080MySQL (复用)待开发

6 系统 · 4 语言 · 3 数据库引擎 · 1 个统一后台

7 总结与建议

  1. 弹幕系统 = PHP 业务 + Go WebSocket。不要尝试用 PHP 做 WebSocket 长连接。Go 服务只负责连接管理和消息广播,业务逻辑仍在 PHP。Redis Pub/Sub 作为 PHP→Go 的桥梁。
  2. 推荐系统先做规则,再做 ML。已有 31 张行为日志表是宝贵的资产。Phase 1 用规则推荐 + 热门榜单快速上线,验证推荐位的业务价值后再投入 ML。
  3. 审核系统在 PHP 内闭环。复用 FastAdmin 的表单、权限、工作流能力。接入阿里云内容安全 API 即可实现 AI 初审。版权模块独立建表。
  4. ClickHouse 是关键基础设施。推荐系统的用户画像构建、行为分析、报表查询都依赖它。建议在 Phase 1 优先部署。
  5. 弹幕和 IM 的 WebSocket 服务分离。OpenIM 处理社交 IM,弹幕 Go 服务处理弹幕实时推送。两者虽然都基于 WebSocket,但业务场景和消息模型完全不同,不应合并。
  6. 渐进式交付。不需要等所有系统开发完才上线。弹幕 Phase 2 (核心功能) 完成即可上线;推荐 Phase 2 (热门榜单) 完成即可上线;审核 Phase 2 完成即可替换现有简单审核。

报告生成: 2026-07-08 | 弹幕评论 · 用户画像推荐 · 审核版权 | 三套自建系统集成方案