东哥IT笔记 Blog

0

微服务概述

我们都知道微服务现在越来越流行,关于微服务有很多内容可以讨论,笔者最近也阅读了很多相关资料,准备开始一个关于微服务的系列文章,今天就先来和大家来聊一聊什么是微服务。 概述 所谓微服务简单来说就是围绕一个business domain来实现的可以独立release的各种服务。每个服务都有各自的功能,并且能够被别的服务通过网络来进行访问,从而构建一个整体完整的功能。就像我们在淘宝购物,一个服务显示当前的库存,一个服务管理相应的订单,一个服务管理订单的发货,然后他们整合在一起构成了我们一个购物的系统(只是随便说了几个服务,显然现实中的淘宝要比这个复杂得多)。 从另外一个角度来说,我们也可以认为微服务是一个面向服务的架构。每一个“微服务”本身我们可以认为是一个黑盒,它实现了某些特定的功能,外面对它是如何实现的并不需要关心,只关心它的网络接口(REST...

Distributed MySQL 5

Distributed MySQL

本周我们很开心邀请到了Christie给我们带来了《Distributed MySQL》的介绍,相关总结如下: Slides Christie使用的Slides。 MySQL系列讲座第一讲总结:MySQL...

0

Reddit.com的架构演进

Neil Williams在2017年的QCon SF上介绍了Reddit的架构演进,笔者觉得有很多值得借鉴的地方,因此把相关内容进行了整理供大家参考。 Reddit简介 Reddit是一个内容的分享平台,用户通过点赞或踩来进行投票,获赞越多的帖子就会排得越上面。有人开玩笑说它就是美国版的天涯+贴吧。在2017年的时候,它的用户数据如下图所示,大概每天有一百万的post,五百万的评论,7500万的Votes,所以数据量还是很大的。...

0

Kafka进阶之Security

我们在之前介绍了很多Kafka的基础和进阶的知识,他们中很多都是服务于功能,性能或者可靠性的。而现代开发中有一个点也越来越被关注,那就是安全性相关的内容,本文就来聊聊Kafka在Security这个方面都做了些什么。 概述 在我们开始介绍security之前,先来看看几个专有名词,知道了它们对我们后面内容的理解会很有帮助。 Authentication:这个是用来鉴别身份,也就是表明你是谁。就像军队中说我是司令,我是团长,我是小排长之类的。 Authorization:这个用来判断你这个身份可以做什么。比如说司令可以号令全军,团长只能管你这个团。...

0

Kafka进阶之MirrorMaker介绍

我们在之前聊到Kafka内部各个节点之间会通过replication来拷贝数据以保证high availability。现实中还有一些使用场景就是需要在不同的cluster之间连续拷贝数据,我们称之为mirroring,Kafka内部有实现这样的功能,这就是本文要来聊一聊的MirrorMaker。 使用场景 也许你会好奇,究竟有哪些使用场景会要用到MirrorMaker呢?我们来举几个例子中: 各地和中心cluster,有些公司在不同的数据中心拥有一个本地的cluster,很多时候应用只需要在一个数据中心进行处理就可以了,但是有时有某些应用希望访问多个数据中心的数据,比如说一个供应链的价格数据,每个数据中心都有他们本地的供给价格,然后我们又希望能有一个全公司的价格分析,这样就需要把所有数据中心的数据都复制到中心cluster进行分析处理。...

MySQL的事务介绍 7

MySQL的事务介绍

本周我们继续由Junzhi给我们带来MySQL系列讲座的第三讲,事务的介绍,相关的总结如下: Slides Junzhi使用的slides。 MySQL系列讲座第一讲总结:MySQL DB...

0

Kafka进阶之Exactly once保证

Kafka在可靠性这一块有很灵活的配置,我们可以根据自己的应用需求来设置相应的参数,有时候我们希望Kafka不要丢失message,但是不在意是否有重复的message,这个时候也许at least once的保证就足够了。当然对于我们通常来说的producer产生message,consumer消费message的应用来说,处理重复message还是很容易的,比如通过一些unique的id来进行判断是否是重复的信息等,但对于stream的process,比如说计算一些信息的平均值,这种process就很难去一个个看是否有重复的message了,这个时候就希望Kafka能够保证不要有重复的信息,这也就是本文要来聊一聊的Exactly once保证。 我们来简单想一想,如果让你来做,怎么才能做到exactly...