目前,以概率理论作为基础的学科有很多,而最典型的莫过于统计学.各大高校非数学系本科生使用的概率统计教材都是建立在随机变量基础上的理论,很少有非数学类的学习以测度论为基础的概率理论.通过引入“随机变量”的定义,可以将抽象的样本空间映射到实空间中,方便我们能较好的用数学方法处理任何数据格式(比如实数数据和名义数据等).概率论中另一个重要的定义则是“条件数学期望”,让人们在做推断的时候想到了利用经验信息(先验信息),由此发展出来的贝叶斯思想(贝叶斯统计)现在可以用到任何领域.
独立同分布场合的大数定律(辛钦大数定律)为一类参数估计奠定了理论基础,因为在简单随机抽样下得到的样本正好是独立同分布的,按照“样本矩依概率收敛到总体矩”的思想,矩估计方法诞生了.这正是为什么我们用样本均值去估计总体期望的原因,它也启发人们用概率论的想法构造模型从而实现数值计算,比如蒙特卡洛方法.此外,参数估计中最著名的极大似然估计方法(MLE)则是来源于对已今发生的随机事件的概率的假定,人们承认一次观察中出现的那些样本就是最有可能出现的样本,极大它的概率得到了参数的估计,MLE是目前十分流行的参数估计方法.反过来,利用“小概率事件在一次试验中实际不发生”的原理,人们实现了假设检验,方差分析、相关分析、卡方检验、秩和检验等都是基本的假设检验方法.
中心极限定理则解释了为什么正态分布在统计中占有不可替代的地位,也告诉我们现实当中什么样的数据可以认为是正态的.自从高斯认为误差服从正态分布以后,到今天,在正态总体下建立的许多估计方法和检验方法非常成熟,例如回归分析、判别分析、因子分析等等.同时,在非正态总体下,许多参数估计和检验也是稳健的,基于样本均值渐近无分布的参数方法的理论基础正是中心极限定理.但是,没有参数方法适用于处理名义变量或次序数据,因此而发展起来的就是非参数统计,典型的方法如:列联表、秩检验、核密度估计、局部多项式等等.介于二者之间则是半参数统计了.