SD是standard deviation的意思，SE是standard error的意思。一般用\(\sigma\)表示总体的标准差，\(\mathcal{S}\)表示样本的标准差，\(\sigma_n\)表示标准误差。
\(\sigma\)是总体的标准差（standard deviation in population）
总体数量为N，样本数量为n，总体期望为\(\mu\)，样本期望为\(\overline{X}\)，标准误为\(\sigma\)。
\[
\sigma=\sqrt{\frac{\sum_{i=1}^N(X_i-\mu)^2}{N}}
\]
\(\mathcal{S}\)是样本的标准差（sample standard deviation）
\[
\mathcal{S}=\sqrt{\frac{\sum_{i=1}^n(X_i-\overline{X})^2}{n-1}}
\]
之所以是n-1而不是n，是因为：
首先，把SD变换一下可得：
\[
E(\sum_{i=1}^N(X_i-\mu)^2)=N\sigma^2
\]
而对于样本来说，其公式左侧对应：
\[\sum_{i=1}^n(X_i-\overline{X})^2\]
\[=\sum_{i=1}^nX_i^2+\sum_{i=1}^n\overline{X}^2-2\sum_{i=1}^nX_i\overline{X}\]
\[=\sum_{i=1}^nX_i^2+n\overline{X}^2-2n\overline{X}^2\]
\[=\sum_{i=1}^nX_i^2-n\overline{X}^2\]
对其求期望可得：
\[E(\sum_{i=1}^nX_i^2-n\overline{X}^2)\]
\[=E(\sum_{i=1}^nX_i^2)-nE(\overline{X}^2) -----(1)\]
其中前半部分由方差公式可得：
\[D(X_i)=E(X_i-E(X_i))^2=E(X_i^2)-2E(X_i)E(X_i)+E(X_i)^2\]
\[D(X_i)=E(X_i^2)-E(X_i)^2\]
\[E(X_i^2)=D(X_i)+E(X_i)^2=\mu^2+\sigma^2 ----(2)\]
后半部分由方差公式可得：
\[E(\overline{X}^2)=D(\overline{X})+E(\overline{X})^2\]
\[=D[\frac{(X_1+X_2+....+X_n)}{n}]+\mu^2\]
\[E(\overline{X}^2)=\frac{n\sigma^2}{n^2}+\mu^2=\frac{\sigma^2}{n}+\mu^2 ----(3)\]
将（2）、（3）代入(1)得：
\[E(\sum_{i=1}^nX_i^2-n\overline{X}^2)=n(\mu^2+\sigma^2)-n(\frac{\sigma^2}{n}+\mu^2)=(n-1)\sigma^2\]
相比于
\[E(\sum_{i=1}^N(X_i-\mu)^2)=N\sigma^2\]
要使得样本的方差估计量等于总体方差\(\sigma^2\)，因此需要总体除以N而样本需除以n-1。
\(\sigma_n\)是标准误差，是多次抽样产生的样本们的均值的标准误（standard error）
但是，有的实验做一次就很困难，更不要说做几百次，好在统计学家们给出了基于单次实验得到标准误差的方法
\[\sigma_n=\frac{\sigma}{\sqrt{n}}\]