科海拾零

信息论基础 相对熵(KL距离) 相对熵衡量的是同一事件空间中两个概率分布的差异，不是距离。 在同一事件空间中，概率分布对应的每个事件如果用编码，平均每个基本事件编码长度增加了多少比特。 用表示距离，计算公式为 两分布相似度越高，相对熵越小。 非负性（由吉布斯不等式可证） 若，则，当且仅当​时取等 不满足对称性（交叉熵相对熵） 不满足三角不等式 数据处理不等式 如果的条件分布仅依赖的分布，与条件独立，随机变量构成马尔科夫链，满足 记为，则​。如果，则. 数据越传损失的越多；数据的函数不会增加关于的信息量~ 如果，则​。 通过观察，与的依赖会降低~ Fano不等式 (+﹏+)~晕，待续…… 渐进均分性 收敛 收敛：图像逐渐趋近于某条横线 ，当时，满足，即，记作 几乎确定收敛：图像逐渐趋近于某条横线，但是有几个点各色 ，当时，满足，即 依概率收敛： ，当时，满足，即，记作​. 大数定理 强大数定理：一直向靠近 弱大数定理：向靠近的可能性越来越大 ...

TCP的流量控制与拥塞控制 流量控制（滑动窗口） TCP通过滑动窗口机制防止接收方处理数据的速度跟不上发送方，避免随着时间推移，数据自然溢出接收方的缓冲区。 发送端 发送方会建立自己的滑动窗口，按三个标准划分：是否发送、是否收到ACK、是否在接收方通告处理范围内。 已经发送并且收到ACK的部分，已经成功发送，不需要在缓冲区保留； 已经发送但未收到ACK； 可用窗口：还没有发送，但是还在接收方窗口处理范围内（第二、三部分为整个发送窗口）； 可用窗口大小=SND.WND+SND.UNA-SND.NXT SND.WND：发送窗口，32-51 SND.UNA：指针，指向已发送未确认的字节，如上图SND.UNA=32 SND.NXT：可用窗口的第一个字节，如上图SND.NXT=46 需要发送，但是超过接收方窗口范围的部分。在没有收到新的ACK之前，发送方不会发送这些数据，通过这个限制，发送的数据就不会超过接收方缓冲区； 如果ACK在网络传输中丢包，发送端就不会感知到接收端窗口的变化，发送方一直没有收到ACK，随着数据不断发送，可用 ...

介质访问协议 Aloha Pure Aloha：如果某个主体想发送一个帧，直接发送；如果产生冲突，冲突帧无效，之后重传； Slotted Aloha：将发送时间分槽，按时间槽发送帧，降低冲突； 随机介质访问方式 MA((Multiple Access)：多路访问 CSMA(Carrier Sense Multiple Access)：载波监听多路访问 CSMA/CD(…Collision Detection)：……冲突检测 载波监听多路访问(CSMA) CSMA协议是在ALOHA协议基础上，多了一个载波监听装置的改进协议。 为了降低冲突，每个站点在发送前先侦听共用信道，发现信道空闲后再发送。根据侦听方式和侦听到信道忙后的处理方式不同，CSMA分为三种 1-坚持CSMA 一个结点要发送数据时，首先侦听信道；如果信道空闲，那么立即发送数据；如果信道忙，那么等待，同时继续侦听直至信道空闲；如果发生冲突，随机等待一段时间后，再重新开始侦听信道。 产生冲突情况： 传播延迟：结点 A 开始发送数据时，结点 B 也正好有数据要发送，但这时结 ...

CPU流水线技术 不同指令的执行时间不同，如果让所有指令都能在一个时钟周期内完成，那就我们只能将时钟周期设置为指令执行时间的最大值，这样最大组合逻辑延迟决定了CPU频率上限，一般CPU的性能与CPU频率呈正相关，因此，降低组合逻辑的延迟能够提升CPU性能。方法包括划分较小的组合逻辑和流水线设计。 CPU的流水线设计 取指令(IF)：从存储器取指令 指令译码(ID)：产生指令执行的控制信号和操作数 执行(EX)：执行部件根据指令完成运算 访存(MEM)：从存储器读取或写入数据 写回(WB)：将运算结果写回存储器 CPU提供了最长的公共流水线，但并非所有指令都能利用各个阶段，而且实际上流水线划分不一定均匀，考虑将操作时间长的指令深度划分……虽然流水线设计不能减少单指令执行的“延时”，但是提高了CPU的吞吐率。 超长流水线的性能瓶颈 为了保持段间数据，需要设置流水线寄存器，然后再下一个时钟周期交给下一流水线级处理，每增加一级流水线，就多一次写入寄存器的时间。 流水线冒险 将指令拆解为流水线并行执行，会遇到依赖阻塞问题，如果后续指令运行依赖前序指令的运行 ...

高速缓存 计算机程序运行时遵循局部性原理： 时间局部性：程序中的某条指令被执行，不久后该条指令可能再次被执行；某数据被访问，不久后该数据可能再次被访问（保留一段时间，等到之后被访问） 指令循环执行 局部变量集中存储，被频繁访问 空间局部性：程序访问了某个存储单元，它附近的存储单元也可能被访问（将邻近单元内容调入，等待之后被访问） 指令顺序执行 数组 引入高速缓存 典型的存储器层次结构如下图 CPU设计的目的是实现高速计算，存储器设计的目的是实现大容量存储，两种器件需要分离。为了获得存取时间和存储容量的折中(tradeoff)，弥补CPU与内存的性能差异，把CPU性能的提升利用起来，在CPU内部引入了高速缓存。从CPU Cache被加入到现有的CPU开始，内存中的指令、数据会被加载到L1-L3中，而不是CPU问内存去拿，其中L1-L3指由SRAM(static RAM)组成的物理芯片。 运行程序的主要事件花在了将对应的数据从内存中读取出来，加载到CPU Cache中，读取的单位称作Cache Line(缓存块)，大小通常是​ ...

多天线技术 单发射天线单接收天线之间的信道容量受限于香农公式， 要想在相同频谱带宽下进一步提高信道容量，需要采用多天线技术。 MIMO信道建模 考虑一种极端情况，使用对天线发送和接收，并且每对收发天线和其它天线离得足够远（即Tx1与Tx2足够远，Rx1与Rx2足够远……）几对天线之间互不相干，那么容量就可以提高倍。实际上，受限于天线的尺寸，两对天线的距离不可能足够远，而且终端尺寸很小，天线间的距离也就很小。 以双入双出的系统为例，其中为信道增益，为发送的基带数据，为接收的基带数据（用复数形式表示为数据）那么四条传输信道的信道增益如下表 接收-发射天线 信道增益 Rx1-Tx1 Rx1-Tx2 Rx2-Tx1 Rx2-Tx2 假设两个发射天线发出的基带数据分别为和，那么接收端接收到的基带数据为 输入和输出基带数据构成矩阵和，信道增益构成矩阵，则有1 天线间距非常大 天线间距足够大，相当于用射频电缆将对收发天线直连起来，让接收天线n只能接收来自于发射天线n的信号，即 在已知 ...

正交频分复用(OFDM) 频率选择性衰落 发送端喝接收端之间有多条路径，每条路径的衰减不同，时延不同。设发送端发射信号为，接收端收到的信号 则信道的频谱函数为 假设传播的路径只有两条， 由上式可知随着变化而变化，表现为频率选择性衰落。如果信号带宽大于信道带宽，一些频率的信号被严重衰减，使得整体信号发生畸变。 OFDM的正交性 如果信号带宽小于信道带宽，那么传输过程中受到的信道的传输函数是相似的，没有频率选择性衰落，但是信号带宽小，传输速率低。 宽带通信要克服信号带宽大于信道带宽的情况。为了既能高速传输数据，又能抵抗频率选择性衰落，可以将高速数据分成多个低速的多路数据，通过多路载波发送，到了接收端再合成一路。而一般的频分复用，频带利用率较低，正交频分复用使用尽可能紧邻的正交子载波，可以提高频带利用率，并且能够对抗频率选择性衰落。可以验证，下面一组载波是相互正交的 所以我们可以从这些载波中挑出一些构造OFDM：先将谁进行串并转换，将高速数据转化为多路低速数据，然后分别调制到不同的载波上，相加后经过信道送出；接收端使用相关接收（对应子载波的信号相乘后才有输出，别的子 ...

麦克斯韦方程组 梯度、散度和旋度 算子 最早是由哈密尔顿作为一个记号用作四元数的运算，我暂时将它理解成一个普通的三维矢量 麦克斯韦在统一电磁理论的过程中用到了它。 梯度 当作用于变量时可以得到该标量在空间中的梯度，梯度是一个矢量场，表示在空间内某个位置沿某个方向的变化量。 在某一特定方向上的梯度 当时，即梯度方向与该方向相同时，梯度的值最大。 在标量场中，将等值的点连成线，可以借助等值线研究标量场随位置变化的特征：沿等值线法向，标量场变化所需的距离最短，垂直法向，标量场的值不变，标量场沿法向的变化率表示为 为这个极限加上法向方向，定义梯度为 将标量场放到平面直角坐标系中研究， 其中，则为梯度与轴夹角 散度 与一个矢量点乘得到矢量场的散度，表示空间内流出或流入某一区域的矢量的多少，表达式如下 计算流体的流量，设流速方向与截面法矢量的夹角为，流量可以表示为 流速方向与截面法矢量方向成锐角时通量取正（一般将截面由里指向外定义为截面法向，即矢量场的源在曲面内部）如果曲面闭合，通量可以写成。我们要想了解到场中的某个点的特征，就需要将闭合曲面不断缩小，同时包围 ...

天线(Antenna) 天线的功能 天线是用来辐射和接收电磁波的装置，具体实现的是传输线上的导行波与自由空间中的电磁波相互转换 天线在通信系统模型的位置如图 电磁波辐射原理 两根平行导线，有交变电流时，会产生电磁波，沿着垂直与电场和磁场方向传播。 如果两根导线平行且距离很近，电场被束缚在两个导线之间，辐射微弱；将两个导线张开，电场被散播到周围空间，辐射增强。 当导线的长度增加到波长的时，辐射效果最显著。 产生电场的两根直导线，称为振子（臂长相同称为对称振子，长度为波长的称为半波对称振子）如下图所示 方向图反应了天线增益与空间角度的关系，从垂直方向上看，在振子轴线方向的辐射为零，水平方向上辐射最大，各个方向的辐射相同。半波对称振子是构成其它天线的基本单元。 通信基站天线 分类 按波长分：中波天线、短波天线、超短波天线、微波天线... 按性能分：高增益天线、中增益天线... 按指向分：全向天线、定向天线、扇区天线... 按用途分：基站天线、电视天线、雷达天线、电台天线... 按结构分：线天线、面天线... 按外形分：鞭状天线、抛 ...

傅里叶级数 信号在正交集中的分解 矢量分解 为了方便理解，先从矢量分解说起， 单矢量基底 如左图，使近似于矢量，误差尽可能的小（定义误差为的模长），可以得到使误差最小的系数为 如果系数，则说明与垂直（正交）。 多矢量基底 为了将误差进一步缩小，现在用多个矢量的线性组合近似表示矢量 一般情况下，如果的方向未知，某一个矢量基底的系数不仅与这个矢量有关，还与其它矢量基底的角度有关；如果满足矢量两两正交，则可以证明 信号分解 与矢量分解类似推导信号分解 单标准信号 在时间范围内，用近似函数，并使得误差最小 此处误差讨论方均误差 与矢量分解类似，可以求得系数 如果，则称函数与正交。 多标准信号 现在用多个标准信号的线性组合来近似表示信号 当两两正交时，可以证明 综上，矢量与函数的运算和分解如下 矢量 函数 “乘法” 正交 误差 误差代价 相似系数 信号的傅里叶级数表示 三角函数形式的傅里叶级数表示 ...