245 lines
9.7 KiB
Markdown
245 lines
9.7 KiB
Markdown
|
#### tv-job
|
|||
|
|
|
|||
|
|
#### Version 1.7.6
|
|||
|
|
> 1. tv数据上报多表联合查询上报改为单表查询上报
|
|||
|
|
|
|||
|
|
#### Version 1.7.5
|
|||
|
|
> 1. seasonCMS结构体新增pay_status字段，写入缓存中，用于tv-interface的卡片贴标
|
|||
|
|
> 2. 消费databus更新ep缓存逻辑中新增pay_status和subtitle字段
|
|||
|
|
|
|||
|
|
#### Version 1.7.4
|
|||
|
|
> 1. Season的Area字段由int改为string型，兼容多个地区合拍的情况；目前兼容老数据，当area仍为int时，走老逻辑，否则走新逻辑
|
|||
|
|
> 2. 修复空season提审问题
|
|||
|
|
|
|||
|
|
#### Version 1.7.3
|
|||
|
|
> 1. 同步pgc付费信息给牌照
|
|||
|
|
|
|||
|
|
#### Version 1.7.2
|
|||
|
|
> 1. 修改sync.Waitgroup的写法，将s.waiter.Add()移出
|
|||
|
|
> 2. 修改cache.New的写法，使用新的Fanout
|
|||
|
|
|
|||
|
|
#### Version 1.7.1
|
|||
|
|
> 1. 补全dao/app下的ut
|
|||
|
|
|
|||
|
|
#### Version 1.7.0
|
|||
|
|
> 1. 判断UGC稿件为付费稿件时，不导入tv后台
|
|||
|
|
> 2. 对稿件的判断，如ugc付费，原创等全部收敛到model中，方便以后迭代
|
|||
|
|
|
|||
|
|
#### Version 1.6.9
|
|||
|
|
> 1. 稿件自动cms上架逻辑，如果当前稿件为过审且cms下架状态，且稿件新增
|
|||
|
|
|
|||
|
|
#### Version 1.6.8
|
|||
|
|
> 1. 补dao层中archive和ftp的ut
|
|||
|
|
|
|||
|
|
#### Version 1.6.7
|
|||
|
|
> 1. 优化tv数据上报逻辑
|
|||
|
|
|
|||
|
|
#### Version 1.6.6
|
|||
|
|
> 1. 修复一个cid出现在两个稿件时，其中一个cid发送到牌照方后，另外一个cid虽未发送但也显示已发送
|
|||
|
|
|
|||
|
|
#### Version 1.6.5
|
|||
|
|
> 1. 添加详情页风格标签及跳转
|
|||
|
|
|
|||
|
|
#### Version 1.6.4
|
|||
|
|
> 1. UGC提审加速：
|
|||
|
|
- videoDatabus中判断是否为转码完成并且需要提交的，如是则加入channel中
|
|||
|
|
- fullRefresh中的aid遍历逻辑也进由channel处理
|
|||
|
|
> 2. 写法优化：原创逻辑、可提审逻辑等迁入model中，方便复用
|
|||
|
|
|
|||
|
|
#### Version 1.6.3
|
|||
|
|
> 1. 为准备tv会员，临时对所有无过审或免费的season做下架处理，反之做上架处理；上下架操作结果发送到企业微信
|
|||
|
|
> 2. 在配置中设置开关，tv会员上下后，只对无过审的season做下架，不再考虑付费状态
|
|||
|
|
|
|||
|
|
#### Version 1.6.2
|
|||
|
|
> 1. 修复数据上报bug
|
|||
|
|
|
|||
|
|
#### Version 1.6.1
|
|||
|
|
> 1. databus监听逻辑优化，比较媒资字段是否修改后再更新
|
|||
|
|
> 2. 优化PGC过审保持逻辑
|
|||
|
|
- 去掉所有带7的逻辑
|
|||
|
|
- 改为由databus更新放入内存中，另一侧进行消费
|
|||
|
|
- 提审由ep改为season，异步改同步
|
|||
|
|
> 3. PGC提审优化：
|
|||
|
|
- 第一次提审失败后，即进入resub队列，最多重试5次
|
|||
|
|
- 去掉audit_time相关的操作
|
|||
|
|
> 4. PGC提审新增字段：出品方和剧集类型
|
|||
|
|
|
|||
|
|
#### Version 1.6.0
|
|||
|
|
> 1. tv数据上报
|
|||
|
|
|
|||
|
|
#### Version 1.5.9
|
|||
|
|
> 1. tv-job做grpc改造
|
|||
|
|
> 2. 一些log.error改成log.warn
|
|||
|
|
|
|||
|
|
#### Version 1.5.8
|
|||
|
|
> 1. 筛选archive-Notify T消息时，需要大量查询DB中upper表，优化为查询内存中的map
|
|||
|
|
> 2. pgc的全量缓存刷新由异步改为同步，使用type func统一season和ep的刷新方式，减少代码量
|
|||
|
|
> 3. call视频云改为异步批量操作，提升效率，降低DB依赖
|
|||
|
|
> 4. UGC的视频全量扫描，进行以下任务：
|
|||
|
|
- (原有) 稿件缓存刷新
|
|||
|
|
- (原有) 视频缓存刷新
|
|||
|
|
- (新增) 处理删除稿件，如其下仍有未删除的分p，则进行删除
|
|||
|
|
- (新增) 处理cid > 12780000 并且 转码失败的分p，进行分p及稿件（如稿件下无有效分p）的删除
|
|||
|
|
- (新增) 获取稿件下所有可提审的video，分片后拼接提审xml（取消原有扫描DB提审的方式，避免慢查询）
|
|||
|
|
- (新增) 提审时如果命中视频云指定错误码，如10005，则分p删除和稿件（如无其他分p）删除
|
|||
|
|
> 5. 修复seasonCMS的model中的json tag，保证芒果媒资中的origin_name字段可以正常从MC中获取
|
|||
|
|
> 6. dao层所有rows.Next补上rows.Err
|
|||
|
|
|
|||
|
|
#### Version 1.5.7
|
|||
|
|
> 1. 芒果媒资同步配套
|
|||
|
|
|
|||
|
|
#### Version 1.5.6
|
|||
|
|
> 1. 转载视频从manual、auto和init三个途径禁止进入
|
|||
|
|
> 2. cid <= 12780000的分p视频无需提交视频云
|
|||
|
|
|
|||
|
|
#### Version 1.5.5
|
|||
|
|
> 1. 导入up主的每页视频中增加间隙，防止cpu、db query等过快增长触发报警
|
|||
|
|
> 2. 消费databus的消息时，通过配置可限制goroutines的数量
|
|||
|
|
> 3. ugc全量缓存所有配置和pgc配置分开、ugc全量缓存生产时增加间隙、取消job启时刷新全量ugc缓存
|
|||
|
|
> 4. 优化选取ugc提审video和archive的sql，以避免扫描全表
|
|||
|
|
> 5. 修改稿件重新提审不再依赖DB，转而由databus获取消息后放入channel中进行通知
|
|||
|
|
|
|||
|
|
#### Version 1.5.4
|
|||
|
|
> 1. 配合tv-interface的历史记录需求，增加pgc中ep的cms信息的缓存逻辑
|
|||
|
|
> 2. 简化pgc索引页逻辑
|
|||
|
|
|
|||
|
|
#### Version 1.5.3
|
|||
|
|
> 1. service、dao、model层整理，全部改为文件夹封装
|
|||
|
|
> 2. 在redis中维护ugc索引页数据：生活，科技，游戏，时尚，音乐
|
|||
|
|
|
|||
|
|
#### Version 1.5.2
|
|||
|
|
> 1. ugc稿件提审条件中不必要视频转码完成，若其cid <= 12780000，认为已转码完成，无需提审
|
|||
|
|
> 2. 完善tv-job的UT，提升ut通过率至100%
|
|||
|
|
|
|||
|
|
#### Version 1.5.1
|
|||
|
|
> 1. 修复up主刷新时，异步回写缓存导致缓存中数据不全的问题
|
|||
|
|
> 2. 修复up主face因为bfs节点导致误认为是头像更新的问题
|
|||
|
|
|
|||
|
|
#### Version 1.5.0
|
|||
|
|
> 1. [up主管理及同步] 新增dao/upper
|
|||
|
|
- 将手动提审的aid落库时，如发现其up主未在白名单内，加入到白名单内
|
|||
|
|
- 同步ugc分p或者稿件时，携带其稿件的up主信息给牌照（取原名）
|
|||
|
|
- 定时全量刷新tv端up主白名单信息，检测up主头像和昵称的变动，触发牌照同步
|
|||
|
|
> 2. 增加UT覆盖率
|
|||
|
|
|
|||
|
|
#### Version 1.4.7
|
|||
|
|
> 1. 新增逻辑：新增ugc稿件时，如命中pgc分区则忽略
|
|||
|
|
> 2. 新增逻辑：ugc稿件分区修改同步，如命中pgc分区则删除该稿件
|
|||
|
|
|
|||
|
|
#### Version 1.4.6
|
|||
|
|
> 1. 针对archive-notify T中的archive的稿件的封面字段进行补全
|
|||
|
|
|
|||
|
|
#### Version 1.4.5
|
|||
|
|
> 1. 修复UGC搜索数据源上传ftp时的字段，由id改为aid
|
|||
|
|
> 2. 修改全量刷新缓存的策略，采用串行的方式，降低并发度，避免过多timeout
|
|||
|
|
|
|||
|
|
#### Version 1.4.4
|
|||
|
|
> 1. UGC和PGC搜索数据源上传ftp
|
|||
|
|
> 2. 修改ftp上传的方式，由cron改为sleep
|
|||
|
|
|
|||
|
|
#### Version 1.4.3
|
|||
|
|
> 1. ugc提审处判断视频云转码状态，如果转码未完成，不提审
|
|||
|
|
|
|||
|
|
#### Version 1.4.2
|
|||
|
|
> 1. 修复copyright导致ugc不提审的问题
|
|||
|
|
> 2. 修复pgc删除接口通知牌照时，sign和prefix倒反的问题
|
|||
|
|
> 3. 对于删除接口，如果返回为-404视频未找到，不认为是错误，更新通知状态为成功
|
|||
|
|
|
|||
|
|
#### Version 1.4.1
|
|||
|
|
> 1. 针对当贝和芒果的最新更新第X集的需求，使用过滤方式进行计算，加入缓存中
|
|||
|
|
> 2. 修复问题：在最新ep过审后，不会更新season的缓存，导致前端拿到的newestEP不准确
|
|||
|
|
|
|||
|
|
#### Version 1.4.0
|
|||
|
|
> 1. 在自身表的变更databus消息的消费逻辑中增加，如果archive为过审状态，则缓存archive的arc和view的rpc结果，便于ugc详情页调用archive的数据
|
|||
|
|
> 2. 在fullRefresh中添加ugc的video的逻辑，将ugc的video全量缓存铺满mc
|
|||
|
|
|
|||
|
|
#### Version 1.3.8
|
|||
|
|
> 1. 修复缓存中newestOrder字段的逻辑
|
|||
|
|
|
|||
|
|
#### Version 1.3.7
|
|||
|
|
> 1. 针对ugc稿件，定时刷新全量的cms和鉴权信息；databus刷新增量的cms和鉴权信息
|
|||
|
|
|
|||
|
|
#### Version 1.3.6
|
|||
|
|
> 1. 去掉ping方法中的内容，避免被踢节点
|
|||
|
|
> 2. 向搜索ftp上传文件时增加重试
|
|||
|
|
> 3. 去掉一些重复的log.Error
|
|||
|
|
> 4. 维护全量和增量的pgc和ugc的媒资信息（用于在tv-interface中吐出给当贝）
|
|||
|
|
> 扩展在mc中的pgc的媒资信息：定时全量刷新，databus增量刷新
|
|||
|
|
> 新增在mc中的ugc的媒资信息：定时全量刷新，databus增量刷新
|
|||
|
|
|
|||
|
|
#### Version 1.3.5
|
|||
|
|
> 1. 不同步UGC转载的稿件到牌照方
|
|||
|
|
|
|||
|
|
#### Version 1.3.4
|
|||
|
|
> 1. 在mc中的ep鉴权信息中增加watermark信息
|
|||
|
|
|
|||
|
|
#### Version 1.3.3
|
|||
|
|
> 1. 同步新增视频至视频云
|
|||
|
|
|
|||
|
|
#### Version 1.3.2
|
|||
|
|
> 1. 修复牌照字段错误
|
|||
|
|
|
|||
|
|
#### Version 1.3.1
|
|||
|
|
> 1. 修复重启时调用service.Close报错的问题
|
|||
|
|
|
|||
|
|
#### Version 1.3.0
|
|||
|
|
> 1. 对接UGC视频数据
|
|||
|
|
> 2. 手动提审视频落库
|
|||
|
|
> 3. 导入up主的全量历史数据
|
|||
|
|
> 4. 新增数据提审！！
|
|||
|
|
> 5. 数据修改，删除，通知牌照方（分p全量diff判断修改）
|
|||
|
|
|
|||
|
|
#### Version 1.2.10
|
|||
|
|
> 1.fix xml错误的 panic
|
|||
|
|
|
|||
|
|
#### Version 1.2.9
|
|||
|
|
> 1.添加pgc下架过审状态保持的配套逻辑，当season/ep状态为7时，通知牌照方已删除，之后恢复到过审状态。
|
|||
|
|
|
|||
|
|
#### Version 1.2.8
|
|||
|
|
> 1. 修改配置
|
|||
|
|
|
|||
|
|
#### Version 1.2.7
|
|||
|
|
> 1.修复文件写入不截断的问题，加入TRUNC模式
|
|||
|
|
|
|||
|
|
#### Version 1.2.6
|
|||
|
|
> 1.定期向搜索的ftp上传过审season的title的文件
|
|||
|
|
> 2. Update Bazel
|
|||
|
|
|
|||
|
|
#### Version 1.2.5
|
|||
|
|
> 1.同步修改过的season时，检查其下的ep数量，为0时不提交
|
|||
|
|
|
|||
|
|
#### Version 1.2.4
|
|||
|
|
> 1.修改牌照提审前缀为可配置，xds
|
|||
|
|
|
|||
|
|
#### Version 1.2.3
|
|||
|
|
> 1.添加redis相关逻辑，在redis中为每个分区维护一个过审season id的列表
|
|||
|
|
> 2.增加databus消息同步redis逻辑
|
|||
|
|
|
|||
|
|
#### Version 1.2.2
|
|||
|
|
> 1.playurl接口添加参数qn=16, fix视频质量为16
|
|||
|
|
|
|||
|
|
#### Version 1.2.1
|
|||
|
|
> 1.修复文件名命名，去除大小和驼峰
|
|||
|
|
> 2.对接playurl接口，获取playurl后提供给牌照方
|
|||
|
|
|
|||
|
|
#### Version 1.2.0
|
|||
|
|
> 1.增加重新提审逻辑：如果原来已过审，season的check字段，ep的state字段会在pgc更新后变为7。tv-job对于7的进行单独重新提审，而后立刻恢复上线状态。
|
|||
|
|
|
|||
|
|
##### Version 1.1.0
|
|||
|
|
> 1. 添加全量数据MC同步 - 每日一次定时任务将DB中数据刷新到MC中
|
|||
|
|
> 2, 添加异步数据MC同步 - 监听Databus数据更新MC中 - 审核状态+干预数据
|
|||
|
|
|
|||
|
|
##### Version 1.0.1
|
|||
|
|
> 1. 添加season的zone的翻译，除了1中国，2日本之外的数字全部翻译为“其他”
|
|||
|
|
|
|||
|
|
##### Version 1.0.0
|
|||
|
|
> 1. 初始版本：对比pgc同步过来的ep、season表和tv_content_ep表的数据差值，插入到content表，state为1（待审核）
|
|||
|
|
> 2. 选取所有待审核的ep信息，调用牌照方接口提审（包含视频云临时视频url）
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|