热门:计算机组成原理(七)——输入输出系统
一、输入输出接口概述
二、输入输出方式
(相关资料图)
三、中断请求与响应
四、DMA方式
五、习题
*快速面经(go面经)
go中的协程
1.1 协程的定义
在go语言中,协程被认为是轻量级的线程, 和线程不同的是,操作系统内核
感知不到协程的存在, 协程的管理依赖于Go语言运行时自身提供的调度器
同时Go语言中的协程是从属于某一个线程的。
1.2协程的调度方式
协程是用户态的。协程的管理依赖Go语言运行时的调度器。同时,Go语言中的协程是从属于某一个线程的,协程与线程的对应关系为M:N,即多对多 .如图所示, Go语言调度器可以将多个协程调度到一个线程中,一个协程也可能切换到多个线程中执行。
1.3协程之间的切换
1.协程的速度要快于线程
2.其原因在于协程切换不用经过操作系统用户态与内核态的切换
3.并且Go语言中的协程切换只需要保留极少的状态和寄存器变量值
4.而线程切换会保留额外的寄存器变量值(例如浮点数寄存器)
1.4调度策略
线程之间的调度大部分是抢占式的,协程的调度是一般是协作式的调度(当一个协程处理完自己的任务后,可以主动将执行权限让渡给其他协程)
1.5 栈空间大小
线程一般是固定的栈大小,go采用了动态扩张收缩的策略。
go协程的调度
GMP调度——G(Goroutine): 即Go协程,每个go关键字都会创建一个协程。M (Machine): 工作线程,内核线程。P (Processor): 处理器 【go定义的一个概念,不是指CPU】,包含运行Go代码的主要资源,也有调度goroutine的能力,一般是CPU的内核数。每个P中包含一个local run queue的goroute队列,调度器中包含一个全局的goroute队列。Java中的线程对应一个内核线程,go中是多对多的关系,增大了并发度。
go中的Context
其主要作用是在 goroutine 中进行上下文的传递,在传递信息中又包含了 goroutine 的运行控制、上下文信息传递等功能。
context 与 select-case 联合,还可以实现上下文的截止时间、信号控制、信息传递等跨 goroutine 的操作,是 Go 语言协程的重要组成部分。
Go 的垃圾回收
Go语言的GC演进:Go1.0仅支持串行 → Go1.1可以并行 → Go1.3 精确STW →Go1.5 三色并发+屏障→ Go1.8 混合写屏障。
Go中GC详细描述
标记清除法
标记阶段—>清除阶段
三色标记法
新建对象是白色,开始gc的时候,从root开始遍历所有的对象,将遍历到的对象放入灰色集合中,在对灰色集合进行遍历,将灰色对象引用的对象从白盒放入灰盒,并把此对虾干从灰盒放到黑盒。重复上述步骤,直到灰盒中没有对象,回收白盒。
屏障机制
“强-弱” 三色不变式
1.强三色不变式:不存在黑色对象引用到白色对象的指针。
2.弱三色不变式:所有被黑色对象引用的白色对象都处于灰色保护状态 【即白色对象存在灰色引用】。
总结
Go1.3版本之前,使用的是普通标记清除法,整体过程需要启动STW,GC性能极差。
Go1.3版本,使用的是简单优化的标记清除法,通过将STW的时间提前,GC性能略有提升。
Go1.5版本, 使用改进版的标记清除算法——三色标记法,堆空间启动写屏障,栈空间不启动,全部扫描之后,需要重新扫描一次栈(这时需要STW),GC性能提升较大。
Go1.8版本,三色标记法,混合写屏障机制, 栈空间不启动,堆空间启动。整个过程几乎不需要STW,GC性能提升很大。
select 和 epoll的区别
相同点:epoll和select都是多路复用下的一种机制,多路复用I/O就是通过一种机制,可以监视多个文件描述符,一旦某个文件描述符就绪,就通知程序该文件描述符可以进行读写操作。
select():用于确定一个或多个套接口的状态。
select的几大缺点(不可忽视):
1、每次调用select()的时候,都必须要将fd从用户态转换成内核态,这个开销在fd很多的时候非常大。
2、调用select()的时候,在操作系统内核API都会遍历整个fd集,这会大大影响系统效率。
3、select()可打开的文件描述符的上限太少了,默认是1024个。
epoll不用每次遍历fd,只有初始化的时候遍历+基于事件回调的方式获取fd,epoll可打开的文件没有上线。
Redis Multi实现原理
redis中的multi是为了实现redis独特的事务而存在的,底层是有一个队列,将Multi后面的命令先进先出的顺序加入队列,在执行exce命令,将队列中的命令取出执行。配合redis完成事务的命令还有watch(会监控一个数据是否被修改,当被修改之后,当前事务直接失效)、discard(取消当前事务的执行)。
Redis AOF和RDB的实现原理
aof和rdb都是redis进行持久化的一种方式,redis持久化分为主动持久化和被动持久化,rdb可以认为是redis database,是一种基于快照的redis持久化,rdb持久化的时候,会开启一个子线程进行持久化,耗时较大。aof的全名叫做文件的尾部添加模式,只对修改的部分进行添加,实效性比较高,但是经常修改数据会使得aof文件过大,所以在一段时间过后应该重建aof。
Redis常用的数据结构及原理
redis是一种key-value类型的数据库,key是string类型,value有五种数据类型,string、hash、list、set、zset。redis数据结构的设计是非常巧妙,在于内敛了数据结构的实现,用户不必纠结于使用什么底层数据结构,redis会自动切换为最适合的数据结构进行存储数据。string的底层有int、embstr还有raw,根据val的类型、大小从而选择不同的数据结构。hash,底层实现有hashtable和ziplist,list底层有linkedlist和ziplist,在新版本的redis中出现了两者结合的quicklist,set的底层有hashtable和intset,zset底层实现有skiplist和ziplist。skiplist是一种高效的类似于二分查找的数据结构,其适用于经常修改的场景。
Go Slice底层原理
go语言的slice的结构有点类似于redis中的sds(简单动态字符串(simple dynamic string,SDS)),slice的结构体存储着len大小、容量大小和底层的数组的指针,相比于go中的数组,slice的大小范围是可变的,slice在进行append操作的时候,当底层的数组的容量不够的时候需要进行扩容,扩容的规则是,当扩容的容量小于256的时候,一般是两倍进行扩容,大于256的时候,一般1.25倍进行扩容,直至满足要求。
arp表的作用?arp的分组格式?对于主机不存在的apr请求会发生什么?
arp是将ip地址转换成mac地址,arp分组格式包含目的服务器的mac地址,物理层协议等,若对不存在的主机发送arp请求,没有回应。
Mutex中sema锁是什么?
sema充当信号量:用来唤醒goroutine
Mutex的正常模式和饥饿模式?
Mutex分为正常模式和饥饿模式,正常模式是为了减少协程之间切换的开销,饥饿模式是为了防止协程太长时间没有获得锁。正常模式是当新进来的协程在抢夺锁的时候,会进行自旋进行判断,当锁占有者释放锁的时候,直接将锁的占用交给自旋者,省去了唤醒和切换的开销。当等待队列的协程等待时间超过一个最大值的时候,mutex切换成饥饿模式,新进入的协程就不会自旋,然后是通过先进先出的方式急性获取锁,当队列里面为空或者队列里面获取锁等待的时间小于某一个值的时候,饥饿模式又会切换成正常模式。
Redis分布式锁如何实现的
分布式锁一般需要从几个方面去考虑,正确性和效率,分布式锁一般需要一个全局的key,然后持有锁的用完必须进行释放锁,如果忘记释放,必须要有过期时间。因为redis命令执行的时候是以单线程进行执行的,符合天然的原子性条件之一,没有冲突,可以考虑用setnx命令去设置锁,值存在的时候才有效,并且在高版本的时候还可以设置过期时间,解锁的时候需要加锁的值进行匹配,防止被其他人进行解锁。除了用sentx命令之外,还可以用lua脚本多个命令批量执行。初次之外,在一些业务场景下面,常常用数据库的唯一键来做幂等处理。
分布式锁还有哪些实现方案
用的多的有数据库的唯一索引、redis的单线程实行的原理和zomkeeper等。
线程池是用来处理啥的、使用的业务场景、解决什么业务问题
线程池存在是为加快响应处理业务,减少了线程创建的等待时间,线程池主要是对工作的线程进行统一管理,从内存、调度和GC的角度去考虑,线程池在业务上应用很广,比如MySQL连接池,TomCat的连接池等。
让你实现一个RPC框架,应该要考虑哪些点
协议、压缩方式、端口号、序列化。
阻塞IO和非阻塞IO有什么区别
文件从磁盘或者网卡传输到用户缓冲区的时候,会先将数据拷贝到内核区,在从内核去拷贝到用户区,阻塞时只从数据从外部拷贝到内核区的时候,用户进程时阻塞还是轮询,轮询时非常消耗cpu资源,阻塞的话,应用进程进行休眠。