9.7 KiB
9.7 KiB
tv-job
Version 1.7.6
- tv数据上报多表联合查询上报改为单表查询上报
Version 1.7.5
- seasonCMS结构体新增pay_status字段，写入缓存中，用于tv-interface的卡片贴标
- 消费databus更新ep缓存逻辑中新增pay_status和subtitle字段
Version 1.7.4
- Season的Area字段由int改为string型，兼容多个地区合拍的情况；目前兼容老数据，当area仍为int时，走老逻辑，否则走新逻辑
- 修复空season提审问题
Version 1.7.3
- 同步pgc付费信息给牌照
Version 1.7.2
- 修改sync.Waitgroup的写法，将s.waiter.Add()移出
- 修改cache.New的写法，使用新的Fanout
Version 1.7.1
- 补全dao/app下的ut
Version 1.7.0
- 判断UGC稿件为付费稿件时，不导入tv后台
- 对稿件的判断，如ugc付费，原创等全部收敛到model中，方便以后迭代
Version 1.6.9
- 稿件自动cms上架逻辑，如果当前稿件为过审且cms下架状态，且稿件新增
Version 1.6.8
- 补dao层中archive和ftp的ut
Version 1.6.7
- 优化tv数据上报逻辑
Version 1.6.6
- 修复一个cid出现在两个稿件时，其中一个cid发送到牌照方后，另外一个cid虽未发送但也显示已发送
Version 1.6.5
- 添加详情页风格标签及跳转
Version 1.6.4
- UGC提审加速：
- videoDatabus中判断是否为转码完成并且需要提交的，如是则加入channel中
- fullRefresh中的aid遍历逻辑也进由channel处理
- 写法优化：原创逻辑、可提审逻辑等迁入model中，方便复用
Version 1.6.3
- 为准备tv会员，临时对所有无过审或免费的season做下架处理，反之做上架处理；上下架操作结果发送到企业微信
- 在配置中设置开关，tv会员上下后，只对无过审的season做下架，不再考虑付费状态
Version 1.6.2
- 修复数据上报bug
Version 1.6.1
- databus监听逻辑优化，比较媒资字段是否修改后再更新
- 优化PGC过审保持逻辑
- 去掉所有带7的逻辑
- 改为由databus更新放入内存中，另一侧进行消费
- 提审由ep改为season，异步改同步
- PGC提审优化：
- 第一次提审失败后，即进入resub队列，最多重试5次
- 去掉audit_time相关的操作
- PGC提审新增字段：出品方和剧集类型
Version 1.6.0
- tv数据上报
Version 1.5.9
- tv-job做grpc改造
- 一些log.error改成log.warn
Version 1.5.8
- 筛选archive-Notify T消息时，需要大量查询DB中upper表，优化为查询内存中的map
- pgc的全量缓存刷新由异步改为同步，使用type func统一season和ep的刷新方式，减少代码量
- call视频云改为异步批量操作，提升效率，降低DB依赖
- UGC的视频全量扫描，进行以下任务：
- (原有) 稿件缓存刷新
- (原有) 视频缓存刷新
- (新增) 处理删除稿件，如其下仍有未删除的分p，则进行删除
- (新增) 处理cid > 12780000 并且 转码失败的分p，进行分p及稿件（如稿件下无有效分p）的删除
- (新增) 获取稿件下所有可提审的video，分片后拼接提审xml（取消原有扫描DB提审的方式，避免慢查询）
- (新增) 提审时如果命中视频云指定错误码，如10005，则分p删除和稿件（如无其他分p）删除
- 修复seasonCMS的model中的json tag，保证芒果媒资中的origin_name字段可以正常从MC中获取
- dao层所有rows.Next补上rows.Err
Version 1.5.7
- 芒果媒资同步配套
Version 1.5.6
- 转载视频从manual、auto和init三个途径禁止进入
- cid <= 12780000的分p视频无需提交视频云
Version 1.5.5
- 导入up主的每页视频中增加间隙，防止cpu、db query等过快增长触发报警
- 消费databus的消息时，通过配置可限制goroutines的数量
- ugc全量缓存所有配置和pgc配置分开、ugc全量缓存生产时增加间隙、取消job启时刷新全量ugc缓存
- 优化选取ugc提审video和archive的sql，以避免扫描全表
- 修改稿件重新提审不再依赖DB，转而由databus获取消息后放入channel中进行通知
Version 1.5.4
- 配合tv-interface的历史记录需求，增加pgc中ep的cms信息的缓存逻辑
- 简化pgc索引页逻辑
Version 1.5.3
- service、dao、model层整理，全部改为文件夹封装
- 在redis中维护ugc索引页数据：生活，科技，游戏，时尚，音乐
Version 1.5.2
- ugc稿件提审条件中不必要视频转码完成，若其cid <= 12780000，认为已转码完成，无需提审
- 完善tv-job的UT，提升ut通过率至100%
Version 1.5.1
- 修复up主刷新时，异步回写缓存导致缓存中数据不全的问题
- 修复up主face因为bfs节点导致误认为是头像更新的问题
Version 1.5.0
- [up主管理及同步] 新增dao/upper
- 将手动提审的aid落库时，如发现其up主未在白名单内，加入到白名单内
- 同步ugc分p或者稿件时，携带其稿件的up主信息给牌照（取原名）
- 定时全量刷新tv端up主白名单信息，检测up主头像和昵称的变动，触发牌照同步
- 增加UT覆盖率
Version 1.4.7
- 新增逻辑：新增ugc稿件时，如命中pgc分区则忽略
- 新增逻辑：ugc稿件分区修改同步，如命中pgc分区则删除该稿件
Version 1.4.6
- 针对archive-notify T中的archive的稿件的封面字段进行补全
Version 1.4.5
- 修复UGC搜索数据源上传ftp时的字段，由id改为aid
- 修改全量刷新缓存的策略，采用串行的方式，降低并发度，避免过多timeout
Version 1.4.4
- UGC和PGC搜索数据源上传ftp
- 修改ftp上传的方式，由cron改为sleep
Version 1.4.3
- ugc提审处判断视频云转码状态，如果转码未完成，不提审
Version 1.4.2
- 修复copyright导致ugc不提审的问题
- 修复pgc删除接口通知牌照时，sign和prefix倒反的问题
- 对于删除接口，如果返回为-404视频未找到，不认为是错误，更新通知状态为成功
Version 1.4.1
- 针对当贝和芒果的最新更新第X集的需求，使用过滤方式进行计算，加入缓存中
- 修复问题：在最新ep过审后，不会更新season的缓存，导致前端拿到的newestEP不准确
Version 1.4.0
- 在自身表的变更databus消息的消费逻辑中增加，如果archive为过审状态，则缓存archive的arc和view的rpc结果，便于ugc详情页调用archive的数据
- 在fullRefresh中添加ugc的video的逻辑，将ugc的video全量缓存铺满mc
Version 1.3.8
- 修复缓存中newestOrder字段的逻辑
Version 1.3.7
- 针对ugc稿件，定时刷新全量的cms和鉴权信息；databus刷新增量的cms和鉴权信息
Version 1.3.6
- 去掉ping方法中的内容，避免被踢节点
- 向搜索ftp上传文件时增加重试
- 去掉一些重复的log.Error
- 维护全量和增量的pgc和ugc的媒资信息（用于在tv-interface中吐出给当贝） 扩展在mc中的pgc的媒资信息：定时全量刷新，databus增量刷新 新增在mc中的ugc的媒资信息：定时全量刷新，databus增量刷新
Version 1.3.5
- 不同步UGC转载的稿件到牌照方
Version 1.3.4
- 在mc中的ep鉴权信息中增加watermark信息
Version 1.3.3
- 同步新增视频至视频云
Version 1.3.2
- 修复牌照字段错误
Version 1.3.1
- 修复重启时调用service.Close报错的问题
Version 1.3.0
- 对接UGC视频数据
- 手动提审视频落库
- 导入up主的全量历史数据
- 新增数据提审！！
- 数据修改，删除，通知牌照方（分p全量diff判断修改）
Version 1.2.10
1.fix xml错误的 panic
Version 1.2.9
1.添加pgc下架过审状态保持的配套逻辑，当season/ep状态为7时，通知牌照方已删除，之后恢复到过审状态。
Version 1.2.8
- 修改配置
Version 1.2.7
1.修复文件写入不截断的问题，加入TRUNC模式
Version 1.2.6
1.定期向搜索的ftp上传过审season的title的文件 2. Update Bazel
Version 1.2.5
1.同步修改过的season时，检查其下的ep数量，为0时不提交
Version 1.2.4
1.修改牌照提审前缀为可配置，xds
Version 1.2.3
1.添加redis相关逻辑，在redis中为每个分区维护一个过审season id的列表 2.增加databus消息同步redis逻辑
Version 1.2.2
1.playurl接口添加参数qn=16, fix视频质量为16
Version 1.2.1
1.修复文件名命名，去除大小和驼峰 2.对接playurl接口，获取playurl后提供给牌照方
Version 1.2.0
1.增加重新提审逻辑：如果原来已过审，season的check字段，ep的state字段会在pgc更新后变为7。tv-job对于7的进行单独重新提审，而后立刻恢复上线状态。
Version 1.1.0
- 添加全量数据MC同步 - 每日一次定时任务将DB中数据刷新到MC中 2, 添加异步数据MC同步 - 监听Databus数据更新MC中 - 审核状态+干预数据
Version 1.0.1
- 添加season的zone的翻译，除了1中国，2日本之外的数字全部翻译为“其他”
Version 1.0.0
- 初始版本：对比pgc同步过来的ep、season表和tv_content_ep表的数据差值，插入到content表，state为1（待审核）
- 选取所有待审核的ep信息，调用牌照方接口提审（包含视频云临时视频url）