Author: admin

September 4, 2021

ElasticSearch 的介绍

本周我们邀请到了Verity Chu给我们带来了ElasticSearch相关的介绍，总结如下： Verity 使用的可爱的Slides。一篇介绍文本相似性搜索的文章。...

August 29, 2021

我们在前面的文章中介绍了ElasticSearch的Cluster和存储相关的基础，但总的来说，那些都还是一个类似NoSQL的数据库。而ElasticSearch真正厉害的部分还是在search这个方面，也就是说它不仅仅可以存储文本，还可以把这些文本的内容进行index，从而服务于Search。 ElasticSearch的三大部分要理解ElasticSearch，首先我们需要关注其很重要的三个部分： Mapping：就是数据的每一个域都是如何解析的。 Analysis：就是一个全文本是如何进行分析并使它可以被搜索的。...

discuss-topic

August 28, 2021

常见编译，部署，测试系统的分析和讨论

本周我们邀请了唐铭给我们介绍编译，部署，测试系统的相关流程，我们的讨论首次在两个小时的时间内难以结束，感谢唐铭的精彩讲座，也感谢大家的积极参与。本次讲座的总结如下：唐铭使用的slides. 讨论中提到的blue green deployment的介绍。...

ElasticSearch

August 25, 2021

ElasticSearch基础之分布式存储

我们在之前的文章中讨论了ElasticSearch中cluster的创建，也了解了Shard的概念，本文就来聊聊ElasticSearch的数据是如何在各个shard中保存和查询的。文本和Shared的关系我们知道index的文本是会保存到一个primary的shard中，那么ElasticSearch是如何知道某个文本是属于哪一个shard的呢？比如说我们要保存文本的时候，是应该把它保存到shard1还是shard2，读取的时候又是应该到shard1中查找还是shard2中查找，这些都是如何决定的呢？这个问题乍一听起来好像还蛮神秘，其实仔细一想也很简单，只有有一个统一的基于某个id的算法就可以实现了。在ElasticSearch中，它是通过下面这个公式来计算的：这里routing的值默认就是文本的id（当然也可以自定义），这样一来我们就可以把某一个文本指定到特定的shard中。...

discuss-topic

August 22, 2021

类似Yelp的review system的设计

本周我们讨论的话题是类似Yelp的review system的设计，感谢Xin Li的主讲。相关资料总结如下： Xin Li使用的Slides。...

ElasticSearch

August 21, 2021

ElasticSearch基本概念之Cluster介绍

ElasticSearch是一个基于Apache Lucene的开源搜索引擎。我们都知道Apache Lucene是一个很高效的全文本搜索引擎库，但说到底它还是一个库，所以用起来很不方便，而ElasticSearch就是在其基础上实现的，它屏蔽了Lucene的复杂底层实现，提供了分布式的特性，同时对外也提供了相应的Restful的API。所以，总得来说，ElasticSearch其实上手很容易，本文就从最基本的操作开始来介绍一下ElasticSearch相关的内容。 ElasticSearch的安装相关的安装很简单，大家可以参见官网：https://www.elastic.co/guide/en/elasticsearch/reference/7.14/install-elasticsearch.html，这里就不详细介绍了。...

discuss-topic

August 7, 2021

视频直播过程中的优化方法介绍

本周我们邀请了David给我们分享了视频直播中各种优化方法，也感谢Morgan，蕤闻和大家的积极参与和讨论。相关资料总结如下： David使用的Slides: Streaming Optimization 101...

System Design

August 4, 2021

如何让七岁小朋友学会系统设计

今天中午在家吃午饭的时候，孩子妈妈说早上和中午用的筷子比较多，待会吃完可能需要先洗一波筷子，不能直接放到洗碗机里面（我们家基本都是一天开一次洗碗机），否则晚上吃饭筷子就不够了。我最近沉迷于系统设计，于是就和我们家的七岁小朋友聊起了该如何解决这个问题。需求功能需求从妈妈的描述中，我和儿子总结了以下几个功能需求：家人可以用筷子进行吃饭。...