自建系统集成方案
弹幕评论系统 · 用户画像与推荐系统 · 审核及版权中心 — 从零设计、渐进集成
📅 2026-07-08
💬 弹幕+评论 (WebSocket)
🧠 推荐系统 (ML Pipeline)
⚖️ 审核版权中心
1 三套自建系统总览
💬 弹幕和评论系统
实时弹幕 (WebSocket) + 评论楼层 (REST) + 敏感词过滤 + 举报管理
技术:Go WebSocket 服务 + PHP 业务层 + Redis 缓存
数据量预估:热门短剧 1000条弹幕/集
🧠 用户画像与推荐系统
用户画像构建 + 协同过滤 + 内容推荐 + 广告精准投放
技术:ClickHouse 数据仓库 + Python ML Pipeline + Redis 在线服务
数据基础:已有 31 张行为日志表
⚖️ 审核及版权中心
内容审核工作流 + 版权登记 + 侵权检测 + 投诉处理
技术:PHP 业务层 (复用 FastAdmin) + 阿里云内容安全 API
现状:已有 fa_videolist 审核状态字段
1-A 弹幕和评论系统
架构设计
┌──────────────────────────────────────────────────┐
│ 客户端 (APP/小程序/H5) │
│ ┌─────────┐ ┌──────────┐ ┌─────────────────┐│
│ │ 弹幕层 │ │ 评论输入 │ │ 弹幕开关/透明度 ││
│ │(Canvas) │ │ │ │ 屏蔽词/举报 ││
│ └────┬────┘ └────┬─────┘ └────────┬────────┘│
└───────┼────────────┼─────────────────┼──────────┘
│ │ │
┌────┴────┐ ┌────┴─────┐ ┌──────┴──────┐
│WebSocket│ │ REST API │ │ REST API │
│实时弹幕 │ │ 评论CRUD │ │ 用户设置 │
└────┬────┘ └────┬─────┘ └──────┬──────┘
│ │ │
┌────┴────────────┴─────────────────┴──────────┐
│ PHP API 层 (柠檬剧场扩展) │
│ · 弹幕发布 (校验+敏感词+入库) │
│ · 评论管理 (发表/删除/举报) │
│ · 弹幕时间轴查询 (按视频时间点返回) │
│ · 评论列表 (分页+排序) │
└──────────┬────────────────────────────────────┘
│
┌──────────┴────────────────────────────────────┐
│ Go WebSocket 服务 (弹幕实时推送) │
│ · 房间管理 (video_id → 房间) │
│ · 弹幕广播 (同一房间所有客户端) │
│ · 连接管理 (心跳/断线重连) │
│ · Redis Pub/Sub 接收 PHP 推送的弹幕消息 │
└──────────┬────────────────────────────────────┘
│
┌──────────┴──────────┐
│ MySQL │ Redis │
│ fa_danmaku │ 弹幕 │
│ fa_comment │ 缓存 │
└────────────┘────────┘
数据库设计
| 表名 | 核心字段 | 索引 |
fa_danmaku | id, video_id, episode_id, user_id, content, play_time (秒), color, type (滚动/顶部/底部), status, created_at | KEY (video_id, episode_id, play_time) |
fa_comment | id, video_id, user_id, parent_id (回复), content, like_count, report_count, status, created_at | KEY (video_id, created_at), KEY (user_id) |
fa_comment_like | id, comment_id, user_id, created_at | UNIQUE (comment_id, user_id) |
fa_danmaku_shield | id, user_id, keyword (用户自定义屏蔽词) | KEY (user_id) |
技术选型
| 组件 | 方案 | 理由 |
| 实时推送 | Go WebSocket (独立服务 :10003) | PHP 不适合维持大量长连接;Go 单机可承载 10 万+ WebSocket |
| 业务逻辑 | PHP (柠檬剧场现有) | 弹幕入库、敏感词过滤、评论管理复用现有 Auth/DB 层 |
| 消息队列 | Redis Pub/Sub | PHP 发布弹幕 → Redis → Go 消费广播。轻量,无需新增中间件 |
| 敏感词 | PHP DFA 算法 + 阿里云内容安全 API | 本地快速过滤 + 云端 AI 审核兜底 |
| 弹幕渲染 | 客户端 Canvas (原生) 或 CSS Animation | H5 用 CSS;APP 用原生 Canvas,性能最优 |
关键设计:弹幕发布走 PHP REST API (入库+校验),PHP 入库成功后通过 Redis Pub/Sub 发送给 Go WebSocket 服务广播。这样 PHP 端无需处理长连接,Go 端无状态可水平扩展。
1-B 用户画像与推荐系统
3.1 现有数据基础 (已具备)
柠檬剧场已有 31 张用户行为日志表,可直接作为推荐系统的数据源:
| 行为类型 | 数据表 | 可提取特征 |
| 观看行为 | fa_video_look, fa_log_play, fa_log_video | 观看时长、完成率、跳过率、观看时段 |
| 互动行为 | fa_videolove (点赞), fa_videorecord (追剧) | 偏好类型、追剧习惯 |
| 消费行为 | fa_user_money_log, fa_paylog, fa_coin | 付费意愿、消费能力、价格敏感度 |
| 广告行为 | fa_ad_income, fa_ad_record, fa_ad_risk | 广告容忍度、广告偏好、ECPM 贡献 |
| 社交行为 | fa_video_share, fa_user (pid/invite) | 分享意愿、社交影响力 |
| 签到行为 | fa_sign_log, fa_qdjl | 活跃度、留存倾向 |
| 设备信息 | fa_user (device_type, platform, brand...) | 设备档次、平台偏好 |
3.2 推荐架构
┌────────────────────────────────────────────────────────┐
│ 推荐结果消费层 │
│ · 首页推荐流 · 短剧详情页"猜你喜欢" · 搜索排序 │
│ · 广告精准投放 · 推送通知个性化 │
└──────────────────────┬─────────────────────────────────┘
│ HTTP API (毫秒级)
┌──────────────────────┴─────────────────────────────────┐
│ Redis 在线推荐服务 (热数据) │
│ · 用户-短剧评分矩阵 (协同过滤) │
│ · 短剧特征向量 (Embedding) │
│ · 热门榜单 / 新品榜 / 飙升榜 │
└──────────────────────┬─────────────────────────────────┘
│
┌──────────────────────┴─────────────────────────────────┐
│ Python ML Pipeline (离线计算 · T+1) │
│ ┌──────────────┐ ┌──────────────┐ ┌────────────────┐ │
│ │ 协同过滤 │ │ 内容推荐 │ │ 热度推荐 │ │
│ │(UserCF/ItemCF)│ │(TF-IDF/Emb) │ │(HackerNews算法)│ │
│ └──────────────┘ └──────────────┘ └────────────────┘ │
└──────────────────────┬─────────────────────────────────┘
│
┌──────────────────────┴─────────────────────────────────┐
│ ClickHouse 数据仓库 (离线分析) │
│ · ETL 从 MySQL 同步行为日志 │
│ · 用户画像宽表 (user_profile) │
│ · 短剧特征表 (video_features) │
│ · 实时事件流 (Kafka → ClickHouse) 可选 │
└────────────────────────────────────────────────────────┘
3.3 用户画像标签体系
| 标签维度 | 标签示例 | 数据来源 |
| 基础属性 | 性别、年龄段、地区、设备档次 | fa_user + 设备信息 |
| 内容偏好 | 男频/女频、甜宠/逆袭/悬疑、单集时长偏好 | fa_video_look + fa_videolist 分类 |
| 消费特征 | 免费用户/小额付费/重度付费、价格敏感度 | fa_paylog + fa_user_money_log |
| 活跃度 | 日活/周活/月活、观看时段 (晨间/午间/夜间) | fa_log_play + 时间聚合 |
| 广告价值 | 高ECPM/中/低、广告容忍度 (跳过率) | fa_ad_income + fa_ad_risk |
| 社交价值 | 分享达人/普通用户、邀请能力 (下级数量) | fa_video_share + fa_user.pid |
| 风险标签 | 正常/疑似刷量/确认作弊 | fa_fengxian_record + fa_ad_risk |
3.4 推荐策略分层
❄️ 冷启动 (新用户)
热门推荐 + 新品推荐 + 注册时选择的兴趣标签。约 3-5 次交互后切换到个性化推荐。
🔥 协同过滤 (有行为)
UserCF:"看了A的人也看了B";ItemCF:"与A相似的短剧"。基于观看/点赞/付费构建评分矩阵。
📝 内容推荐
基于短剧的标签(classify)、分类、主演、导演等元数据 + TF-IDF 提取关键词做内容相似度匹配。
🎯 广告推荐
根据用户 ECPM 贡献和历史广告行为,动态决定广告展示频率和类型 (激励视频/插屏/Banner)。
实施建议:Phase 1 先做基于标签的规则推荐 + 热门榜单 (2 周可上线)。Phase 2 引入协同过滤离线计算 (3 周)。Phase 3 引入深度模型 (可选)。不要一开始就追求复杂的 ML Pipeline。
1-C 审核及版权中心
4.1 现状分析
fa_videolist 表已有审核相关字段:audit_detail (审核状态)、audit_time、audit_detail_error (审核原因)、check_status (初审/二审/终审)、check_desc、admin_id (审核人)、drama_id (剧目ID)。但缺乏完整的审核工作流和版权管理。
4.2 审核工作流
内容审核流程:
作者提交 ──→ 机器初审 (自动) ──→ 人工一审 ──→ 人工二审 ──→ 通过/驳回
│ │ │
│ 敏感词检测 │ 内容质量 │ 终审
│ AI 图片鉴黄 │ 合规性 │
│ 版权指纹比对 │ │
│ │ │
不通过 → 自动驳回 不通过 → 驳回 (附原因)
4.3 核心功能模块
🤖 自动审核引擎
接入阿里云内容安全 API (图文审核);自定义敏感词库;MD5/感知哈希去重检测
👤 人工审核工作台
审核队列分配、初审→二审→终审流转、审核意见模板、操作日志、审核绩效统计
©️ 版权登记
版权方信息登记、授权书/合同上传、版权期限管理、版权到期提醒
🔍 侵权检测
视频指纹 (Perceptual Hash) 比对、MD5 黑名单、侵权投诉 → 自动下架
📋 投诉处理
用户/版权方投诉提交 → 审核分配 → 处理结果反馈 → 申诉渠道
📊 审核数据看板
审核量/通过率/驳回率趋势、审核员效率、版权到期预警、侵权案件统计
4.4 数据库扩展
| 新增表 | 说明 |
fa_audit_queue | 审核队列 (video_id, audit_type, priority, assignee, status, created_at) |
fa_audit_log | 审核操作日志 (queue_id, auditor_id, action, reason, created_at) |
fa_copyright | 版权信息 (video_id, owner_name, license_file, start_date, end_date, status) |
fa_copyright_complaint | 侵权投诉 (complainant, video_id, evidence, status, handler, result) |
fa_content_fingerprint | 内容指纹 (video_id, md5, phash, created_at) — 用于去重和侵权检测 |
fa_sensitive_word | 敏感词库 (word, level, category, created_at) |
实施建议:在现有 fa_videolist 审核字段基础上,新增工作流管理 (审核队列+审批流转),版权模块独立建表。审核系统完全在 PHP 内实现,复用 FastAdmin 后台表单和权限体系,无需新语言。
2 六系统全景架构
┌────────────────────────────────────────────────────────────────────┐
│ Vue 3 统一管理后台 (6 系统入口) │
│ 📺内容 🛒商城 💬IM 💬弹幕 🧠推荐 ⚖️审核 👤用户 │
└────────────────────────────┬───────────────────────────────────────┘
│
┌──────────────────┴──────────────────────┐
│ Nginx API Gateway │
│ /api/drama/* /api/shop/* /api/im/* │
│ /api/dm/* /api/rec/* /api/audit/*│
└────┬─────────┬────────┬────────┬────────┘
│ │ │ │
┌────────────┴─┐ ┌─────┴────┐ ┌┴────────┴──────┐ ┌──────────────┐
│ 柠檬剧场 │ │ Lilishop │ │ OpenIM Go │ │ 弹幕 Go │
│ PHP :8080 │ │ Java:8888│ │ :10001(API) │ │ :10003(WS) │
│ │ │ │ │ :10002(WS) │ │ │
│ ✅ 审核中心 │ │ │ │ │ │ Redis Pub/Sub│
│ ✅ 弹幕API │ │ │ │ │ │ │
│ ✅ 推荐API │ │ │ │ │ │ │
└──────┬───────┘ └──────────┘ └────────────────┘ └──────────────┘
│
┌──────┴─────────────────────────────────────────────┐
│ 数据层 │
│ MySQL (主库) │ Redis │ ClickHouse (离线分析) │
│ + MongoDB (IM)│ + Kafka (可选) │
└────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────┐
│ Python ML Pipeline (离线 T+1 定时任务) │
│ 协同过滤 · 内容推荐 · 用户画像 · 特征工程 │
└────────────────────────────────────────────────────┘
3 系统间数据流与联动
| 事件 | 来源 | 联动目标 | 动作 |
| 用户观看短剧 | 🍿 柠檬剧场 | 🧠 推荐系统 | 写入观看日志 → ClickHouse ETL → 更新用户画像 |
| 用户点赞/追剧 | 🍿 柠檬剧场 | 🧠 推荐系统 | 更新评分矩阵 → 影响协同过滤结果 |
| 用户发送弹幕 | 💬 弹幕系统 | 🧠 推荐系统 ⚖️ 审核中心 | 更新互动特征;弹幕触发敏感词审核 |
| 用户发表评论 | 💬 弹幕系统 | ⚖️ 审核中心 💬 OpenIM | 评论触发审核队列;被回复用户收到 IM 通知 |
| 短剧提交审核 | 🍿 柠檬剧场 | ⚖️ 审核中心 | 进入审核队列 → 自动初审 → 人工审核 |
| 短剧审核通过 | ⚖️ 审核中心 | 🍿 柠檬剧场 💬 OpenIM 🧠 推荐 | 短剧上架 + 作者收到通知 + 进入推荐候选池 |
| 版权到期 | ⚖️ 审核中心 | 🍿 柠檬剧场 | 自动下架短剧 + 通知版权方 |
| 侵权投诉成立 | ⚖️ 审核中心 | 🍿 柠檬剧场 💬 OpenIM | 下架侵权内容 + 通知侵权方 |
| 推荐结果更新 | 🧠 推荐系统 | 🍿 柠檬剧场 | Redis 热数据刷新 → 首页推荐流实时生效 |
| 用户被识别为刷量 | 🧠 推荐系统 | 🍿 柠檬剧场 ⚖️ 审核中心 | 标记风险用户 → 降权/禁用 |
4 实施路线图
| 阶段 | 周期 | 弹幕评论 | 推荐系统 | 审核版权 |
| P1: 基础搭建 |
2 周 |
数据表设计;PHP 评论 CRUD API |
ClickHouse 部署;ETL 脚本 (MySQL→CH) |
审核队列+工作流 DB 设计;扩展现有审核 |
| P2: 核心功能 |
3 周 |
Go WebSocket 弹幕服务;Redis Pub/Sub;客户端渲染 |
规则推荐+热门榜单;Redis 在线服务;用户画像 V1 |
自动审核引擎;人工审核工作台;敏感词库 |
| P3: 深入优化 |
3 周 |
敏感词过滤;弹幕举报;弹幕密度控制 |
协同过滤 (UserCF+ItemCF);推荐 API |
版权登记模块;侵权检测 (pHash);投诉处理 |
| P4: 智能升级 |
3 周 |
AI 弹幕审核 (对接阿里云);弹幕特效 |
内容推荐 (Embedding);A/B 测试框架;广告推荐 |
审核数据看板;版权到期自动处理 |
总工期:11 周 (约 3 个月)。三套系统可并行开发。弹幕和审核主要涉及 PHP + Go,推荐涉及 Python + ClickHouse,三线可同时推进。
5 技术选型总结
| 系统 | 语言 | 存储 | 中间件 | 新增组件 |
| 💬 弹幕评论 | PHP (业务) + Go (WS) | MySQL (新增 4 表) | Redis Pub/Sub | Go WS 服务 :10003 |
| 🧠 推荐系统 | Python (离线) + PHP (在线 API) | ClickHouse + Redis | Crontab / Airflow | ClickHouse + Python 环境 |
| ⚖️ 审核版权 | PHP (全部) | MySQL (新增 6 表) | 阿里云内容安全 API | 无新语言/服务 |
最小新增组件原则:弹幕新增 1 个 Go 服务(轻量),推荐新增 ClickHouse + Python(离线),审核系统完全在 PHP 内实现。总计新增 2 个独立服务和 10 张 MySQL 表。
6 总体系统矩阵 (汇总)
| 系统 | 类型 | 语言 | 端口 | 数据库 | 状态 |
| 🍿 柠檬剧场 | 核心业务 | PHP | :8080 | MySQL + Redis | 已有 |
| 🛒 Lilishop | 集成 | Java | :8888 | MySQL + ES | 部署中 |
| 💬 OpenIM | 集成 | Go | :10001-2 | MySQL + MongoDB | 部署中 |
| 💬 弹幕评论 | 自建 | PHP + Go | :10003 (WS) | MySQL (复用) | 待开发 |
| 🧠 推荐系统 | 自建 | Python + PHP | :5000 (API) | ClickHouse + Redis | 待开发 |
| ⚖️ 审核版权 | 自建 | PHP | 复用 :8080 | MySQL (复用) | 待开发 |
6 系统 · 4 语言 · 3 数据库引擎 · 1 个统一后台
7 总结与建议
- 弹幕系统 = PHP 业务 + Go WebSocket。不要尝试用 PHP 做 WebSocket 长连接。Go 服务只负责连接管理和消息广播,业务逻辑仍在 PHP。Redis Pub/Sub 作为 PHP→Go 的桥梁。
- 推荐系统先做规则,再做 ML。已有 31 张行为日志表是宝贵的资产。Phase 1 用规则推荐 + 热门榜单快速上线,验证推荐位的业务价值后再投入 ML。
- 审核系统在 PHP 内闭环。复用 FastAdmin 的表单、权限、工作流能力。接入阿里云内容安全 API 即可实现 AI 初审。版权模块独立建表。
- ClickHouse 是关键基础设施。推荐系统的用户画像构建、行为分析、报表查询都依赖它。建议在 Phase 1 优先部署。
- 弹幕和 IM 的 WebSocket 服务分离。OpenIM 处理社交 IM,弹幕 Go 服务处理弹幕实时推送。两者虽然都基于 WebSocket,但业务场景和消息模型完全不同,不应合并。
- 渐进式交付。不需要等所有系统开发完才上线。弹幕 Phase 2 (核心功能) 完成即可上线;推荐 Phase 2 (热门榜单) 完成即可上线;审核 Phase 2 完成即可替换现有简单审核。
报告生成: 2026-07-08 | 弹幕评论 · 用户画像推荐 · 审核版权 | 三套自建系统集成方案