短链接服务的实现和源代码开放-j9国际官网

【爱短链】免费网络营销软件j9国际官网-j9九游会真人游戏第一，是为网络推广人员量身定制的高效推广工具，不仅可以缩短美化推广链接，提高点击率的同时，还不易引起反感，不容易被删除，也能够在qq、微信等生态中完美兼容，短链接工具完全免费，大家可以点击上方生成工具，赶紧去试试哦！

半年前，疫情触底反弹，公司业务量不断增加，运营部门为方便短信.模板消息推送等渠道提出了将长链接压缩为短链接的功能需求。当时，为了快速推广，使用了一些知名的第三方短链压缩平台，存在一些问题：

收费贵

在某些情况下，微信等第三方平台的短链域名会被封杀

回源数据无法定制处理方案，无法打通整个业务链路进行数据分析和跟踪

基于这些问题，我决定开发一个短链接服务（长链接压缩到）。当时，微服务被同步拆分，许多内部微服务需要重新命名。小组里的一个女孩说最好用它github吉祥物命名octopuscat(章鱼猫)去命名，但考虑到j9国际官网的版权问题，去掉了她最喜欢的猫，剩下的章鱼，以便命名，octopus命名：

(项目描述也打错字，应该是"短链接"）由于实现功能并不复杂，初版于2020-06月底发布。octopus实现参考了互联网上的几篇文章"实现短链服务"对于浏览量较高的文章，以下是实现原理.谈服务实现和部署架构。

基本原理

短链服务的核心是构建短链接与长链接的唯一映射关系，依靠高性能.排列组合数量大、破解难度大的映射标识生成算法。

构建唯一的映射关系

上图为作者收到的京东白条分期还款结果提醒短信，短信内容还包括短链https://3.cn/j/xxxxxxx，将其复制到浏览器中打开，发现客户端定向到长链https://jrmkt.jd.com/ptp/wl/vouchers.html?

activityid=${activityid}&uep_p=${uep_p}&uep_template_id=${uep_template_id}&uep_timestamp=${uep_timestamp}，然后跳进一个h5.登录页面，然后跳入白条攻略页面。事实上，这里的长链可以压成多个短链。短链可以使用相同的域名或不同的

域名：

访问https://3.cn/j/xxxxxxx短链接的具体交互过程如下：

jrmkt.jd.com和3.cn查证都是doge东的域名

构建唯一的映射关系实际上是基于一个固定的长链接，映射到一个或多个可以动态生成的短链接。唯一的映射关系需要生成的

短链接来满足：

不易破解(使用数字，如数据库自增主键，作为唯一的映射标志，很容易被恶意调用)

不能重复(一个短链接只能对应一个长链接，当然一个长链接可以对应多个短链接)

长度尽可能短，因为第三方推送的内容一般有长度限制，如果短链太长，不易传输，推送内容字数有限（想象运营商短信内容最大长度为30字符长度，短链占20字符长度，只有10字符长度让运营同事玩，显然不合理）

如果链接太长，二维码中生成的内部"码点"它将非常密集，不利于客户端识别和传输，只是作者公司操作使用二维码场景，所以我们必须尽可能缩短链接的长度

一般来说，唯一映射关系中的映射标志需要像hash算法生成的hash代码具有独特性高、碰撞频率低、传输短、传输方便的特点。如何生成映射唯一标志？见下一节"压缩码生成算法"。

压缩码生成算法

这里的"压缩码"（compression_code）这是作者编造的名词。本文的意思是短链接url路径部分(为了节省长度，除了协议和域名部分，短链url只有第一段路径):

其中，协议部分基本固定https://(不建议从安全角度使用http://)，短链域名可以购买尽可能长的短域名，如t.cn，然而，有远见的资本家通常会购买所有高质量的短域名，并提高价格，所以域名的长度基本上是一个难以控制的因素，其余的是压缩码部分。压缩码部分是可控的，但因为它是url只要确保使用的字符不会被使用，url编码转换，所以长度是人为可控的。假设我们使用26个字母的大小写和10个数字，n位压缩码的最大组合是：

n=4，组合数为62^4=14_776_336，147万接近148万

n=5，组合数为62^5=916_132_832，9.16亿左右

n=6，组合数为62^6=56_800_235_584，568亿左右

一般来说，组合数越小，破解难度越小，组合数越大，压缩码长度越大，常用长度为4.5、6，后期可回收或禁用无效长链，可满足绝大对数生产短链的应用场景。octopus实现时选择6位长度的压缩码，没有其他，因为有现成成熟的参考方案:62进制数刚好是字符0-9a-za-z组成，生成压缩码时，只需生成唯一的10进制数，然后根据这10进制数转换为62进制数。在这一点上，看起来计划如下：

虚线部分一般依赖高效低冲突的摘要算法，如murmurhash，第(1)步的实线部分是生成一个全球唯一的10进制序列，常用的方法有:

数据库自增序列(如自增主键)

snowflake算法

自研的类似uuid算法生成全球唯一的序列值

考虑到笔者之前的研究，snowflake这里简单使用算法原理snowflake算法生成自增序列，使用以下流程生成和分配压缩码：

由于运营部门对短链生成的批量不大，短链域名只有一个，简单地说，压缩操作直接消耗一个压缩码，不考虑不同的短链域名共享同一个压缩码，也不考虑压缩码的回收。

服务实现

短链服务主访入口一般为短链服务主访入口qps极高，所以需要想尽一切办法减少入口的耗时，考虑可以使用redis缓存承载入口流量，基础设施选择如下：

jdk1.8 ：生产部署使用jdk11

mvc框架与容器：spring-boot-starter-webflux或者spring-cloud-gateway，必须使用netty作为底层通信容器

内部rpc框架：dubbo

服务注册及发现：nacos

可选apm工具：pinpoint

中间件依赖(因为以前整个服务集群都是云，低负载服务共用部分中间件):

mysql8.x

redis5.x普通主从或哨兵集群

rabbitmq3.8.x集群，使用镜像队列

服务设计图如下：

最新版本考虑删除黑白名单中的拦截器，而不是基于布隆过滤器的实际拦截器。该服务使用了两个拦截器（尽管filter翻译是一个过滤器，但由于习惯，以下被称为拦截器）链，由容器提供的拦截器组成的拦截器链主要负责服务安全.调用链跟踪功能，服务内部自定义拦截链主要实现请求参数分析.url转换.重定向和异步事件记录等功能。

模块划分：

-(root)octopus-octopus-contract-octopus-serveroctopus-contract模块必须脱离父亲pom管理方便单独迭代更新。

数据库设计

共使用了个表：

具体初始化ddl如下：

createdatabase`db_octopus`charset'utf8mb4'collate'utf8mb4_unic