聊聊那些结算系统的线上事故：重复付款1700万元

聊聊那些结算系统的线上事故：重复付款1700万元 由于涉及敏感信息，公司和平台名称已删减，大家也不要臆想都发生在京东内部哈，也可能是某宝某多某团，毕竟这个圈子很小。有些内容需要了解背景和上下文，所以大家重点关注系统本身或上下游交互过程存在的问题，引以为戒。

1、结算系统配合上游升级，上线后几天质控部门反馈发现一商家利用取消退款刷卡消费，一个珠宝商家刷卡消费880W+，有疑似问题的商家有20个，合计金额2000W。
原因
新系统采取收支两线原则，取消退款订单也会先给商家结算，再逆向扣收。考虑商家对账体验扣收所有明细会同一事务处理，执行不成功会重试但不会挂账。商家利用统一事务处理的空隙时间立刻提现，导致无法将应收及时收回。
方案
1)移动端无法冻结漏洞修补上线，将20个疑似商家账户冻结;
2)结算系统紧急将所有逆向进行挂账，并增加时序逻辑;
2、某战略商家和平台内A、B两个事业部事业部签了入驻合同并分别约定了10W和13W保证金，但是实际收取了商家两笔10W和一笔13W保证金，商家投诉受到了“商业欺诈”。
原因
运营在合同审核通过后发现账期选错了，按照正常流程如果要更新账期只能再签一份补充协议进行修正或者下线原主合同再新签，但都需要再走一遍各级领导审核。后来通过老运营指点知道了合同系统可以更新版本，可以直接修改账期、付款方式等信息。
于是利用这个连合同系统产品经理都不熟悉的隐藏技能进行了更新。但问题是合同系统更新版本会将所有信息全量重推：结算系信息是按商家ID维度创建，所以更新版本时按照商家ID进行了update;但是保证金系统是应收单维度，所以当成原合同更新版本之后再次进行了应收创建。
方案
1)合同系统隐藏更新版本入口;
2)保证金系统上线合同维度的应收判重;
3、订单中心将一批海外订单的结算明细推送重复，跨越了两个连续自然月，而且这批订单结算系统没有校验住，导致给商家重复结算。合计金额20W美金。
原因
1)由于订单中心主从数据库迁移，导致这批订单的流水主库推送了一遍，迁移过去之后从库又推了一遍。
2)而且由于确实存在同一订单先后推送结算明细的场景，所以结算系统没办法用订单编号作为判重条件，只能是结算明细的UUID，恰好两批订单的UUID不同导致结算系统检验通过。因此导致给商家重复结算。
方案
本来想的是上游订单中心重推一遍逆向结算明细进行冲抵，后来沟通一下，因为这批订单实际没有发生逆向，如果强制推送一批逆向流水，后期出现问题无法定位，方案作罢。
1)订单已经付款成功的，结算员在下期结算单中录入调整项，对这批重复结算的订单进行冲抵。
2)订单还没付款的，结算员在当期录入调整项进行冲抵;
思考：如何根本性规避?
4、结算系统配合公司整体要求进行合规改造，因为涉及的业务类型和商家体量过大，所以是分批切流上线。但是后来有一个商家找过来反馈，他当天收到的货款比平时多了，部分订单好像重复付款了。
原因
由于新结算系统切流设置了白名单和开关，这个业务类型的商家在切流的时候确实切了，所以上线后的新系统的的结算单明细和金额没错。但是旧结算系统里没有及时下线这个业务，导致旧结算系统仍然在给商家进行结算，所以结算重复。
方案
1)旧结算系统下线该业务类型;
2)新增试算功能，对结算次数和状态进行校验;
3)结算员联系商家确认重复结算的订单明细和金额，结算员在下期结算单里进行调账。
5、某医药商家向采销反馈当期的结算单的货款对账不齐，自己核算系统无法记账，要求重新对账。对账后商家财务反馈商家后台结算单金额正确，但是同一批订单又在另一个COD系统被结算，后经核对近年的重复付款金额1700W+。
原因
1)该平台订单分为先款订单和后款订单，两类订单都由结算系统和订单中心交互，最终面向商家付款。
2)该平台所使用的物流服务商为该平台和其他外包订单的后款订单部分，也向商家提供了COD结算业务。物流服务商没有针对平台订单进行过滤，导致货款结算重复。
方案
物流服务商COD系统针对订单中心的后款订单进行过滤，确保平台结算系统作为商家结算的唯一收口。
结算无小事，细节显能力。结算系统一旦发生错误，很多情况下是没法通过自身校验发现的，所以在做每一个需求，处理每一个问题的时候，都要把目前系统现状了解清楚，把可能存在的业务场景考虑全面。
如果，我说的是如果，大家所负责的结算系统发生了线上事故，切忌甩锅给研发、给测试、给运营，问题的发生不可能只是一方的责任，可以参考下面的流程处理：
1、定位问题原因，这是第一步也是重中之重;
2、及时止损并确定问题数据明细;
3、产研测三方确定方案，RD上线修复，QA各场景测试;
4、联系结算员和运营尽快与商家联系，进行沟通和邮件确认，避免后期扯皮;

本文由拉卡拉POS机办理中心整理，未经许可不允许任何形式的转载，本文唯一地址:https://www.zipos.cn/zhineng/1993.html，其他地址不完整的均为抄袭！POS机申请办理请添加客服微信号：