推外网络专注营销型网站品牌策划与推广
FOCUS MARKETING WEBSITE BRAND PLANNING AND MARKETING PROMOTION
内链是一个比较复杂的架构,很难在几篇文章内详尽的描述清楚。所以有了第二篇文章。具体的讲解一下,如何实现千万级的内链架构。
现代化的内链系统建设,如何来实现千万级数据的处理呢。
这里也有2种方式可以实现。方案二未测试,实际上应该是无问题的。
千万级内链系统架构方案一:分词技术。
核心的内容点就在于分词技术的使用。中文分词技术,采用大量的算法,优化查找过程。执行流程如下:
这种方式看起来复杂程度也是比较高的,但是可以实现百万内的内链快速查询。响应和处理时间也在一两秒以内可以完全成功识别。
市面上可以使用中文分词的工具非常多。比如:结巴分词、IK分词、MMSeg、盘古分词等等。
下面示例一段Python使用结巴分词执行的结果:
核心代码:
jieba.load_userdict('user.txt')#添加自定义词库,需要设定为custom自定义词性:坚持问题导向10custom
content='57雇主担保签证是澳大利亚政府为澳洲企业从海外引进各类专业人士而设立的一种临时工作签证,该签证的有效期为3个月至4年不等,旨在填补澳洲工人难以填补的职位空缺。由于457签证审理速度快,申请要求低,在持有该签证有效期间,若在澳大利亚工作满两年后可申请转为永久居民,因此备受青睐。澳大利亚政府有一个紧缺的技术职业清单,但近年来,政府两党都对此表达了批评和不满,认为该职业名单已经变得太广泛。此外,虚假雇主担保问题日益突出,也令移民局不断收紧对457签证的审批。前不久,有媒体曝出了一段揭露澳洲雇主买卖担保名额的录音。一位中国留学生在电话里询问一家Domino\'s披萨店的老板,是否能出售雇主担保名额。澳洲移民局表示,这种行为严重违反了签证条款,对此的处罚包括2年的监禁和最高32.4万澳元(约合170万人民币)的罚款。'
#jieba.enable_parallel(4)#开启并行分词模式,参数为并行进程数
defparseContent(content):
"""
把内容进行分词,并把自定义词性的词添加到列表里面返回。用于自定义词库分词处理
:paramcontent:
:return:
"""
words=pseg.cut(content)
result=set()#添加一个不重复的set
forword,flaginwords:
#打印分词的词结果及词性信息
#printword+"====="+flag
#把词性为custom的,即自定义词库的内容输出
ifflag=="custom":
result.add(word)
returnresult
有兴趣的可以放大研究。这种方式,10万词,在2秒内可以计算得出。如果以服务化的形式词库驻内存,加上并发优化。性能还可以进一步提高。
总结这种方式:把内链词,建立为自定义词库,标记为自定义词。然后用自定义去切词分词。最后切出来的结果是带词性的,只输出我们设置的自定义词性的词,就能快速得到结果。
为什么分词会比传统方式更快呢。因为分词算法已经进行了大量的优化,使用了很多算法在代码里面进行优化。
这里面还可以进行很多优化,比如重写一些分词的核心逻辑,只使用自定义词进行分词,不是自定义词的一率删除不处理。服务化为Web服务,词典常驻内存;增加处理并发量等。都是可以实施的方案。
中小型企业10万或者百万内链,应该是能满足需求了。
千万级内链系统架构二:千万级的内链系统架构。
千万级的内链架构是百万级架构基础上的升级。依然依托外部工具实现,这次使用的是全文检索引擎。
单机离线使用Lucenue全文引擎配合自定义词库加中文分词器。分布式非实时业务,可以使用SolrCloud分布式或者单机使用。分布式实时业务,可以使用ElasticSearch加上自定义词库及中文分词技术,进行技术实施。
核心的原理和方案一是一样的,只是使用定制开发过后的代码,能极大的提升系统的可用性和实时性。在ES架构上面。亿级的分词检索,可以秒级返回数据。
千万级使用ElasticSearch需要一些二次开发。不在本文讨论范围内。
请继续关注下篇干货。
热门文章
联络方式:
电话:400-026-0708
邮箱:admin@whytui.com
-
震惊!商家被支付宝截图骗20余万,没想到竟让百度做了背锅侠!
骗子年年有,今年特别多。从P2P的庞氏骗局到互联网的各种诈骗,络绎不绝。可以说互联网改变了我们的生活方式,但是也给骗子创造了更多的骗人方式。有人薅羊毛专盯着一
-
SEO优化没有效果应该从哪几个方面分析
搭建自己或企业网站来进行seo推广,是快速通过网络获取精准客户的重要途径,随着SEO逐步向内容生态化方向发展,很多站长开始自己进行SEO优化,但是有些站长优化效果比较
-
如何做好外链
相信很多刚开始接触seo的朋友经常会听到这么一段话:内容为王,外链为后。耳熟吗?这句话很好理解,内容就是网站一个的灵魂,那么外链则是一个网站关键。今天中涛SEO优化师
-
H5响应式网站是什么?
随着搜索引擎技术的不断,同时也为了满足现代用户对体验的追求,H5网站逐步受到很多企业和站长的青睐。这是为什么呢?相比之前的简单企业展示站在seo优化推广中有哪些
-
网站TDK优化时要注意的问题
网站TDK就是在百度对网站进行抓取时告诉它这个页面是干什么的,会让百度对其了解。网站的质量好不好,都是可以通过网站的TDK看出来的,所以TDK的设置也是网站之中较为