部分题目为回忆版杜撰，仅供参考.
一、(满分 15 分) 已知线性模型 , , 其中 是 的观测向量, 为 的已知设计矩阵(列满秩), 为 未知参数向量, 为 常数向量.
(1) 求 的最大似然估计；
(2) 求 和 .
【解析】
(1) 由正态性, 似然函数与对数似然函数为
对 求偏导
因 列满秩, 解得最大似然估计
(2) 代入模型 得
故对于常数向量 ,
由误差的零均值与同方差性,
二、(满分 15 分) 假定 是完全已知的．多元线性回归模型可表示为
(1) 求 的广义最小二乘估计;
(2) 证明此时最小二乘估计 仍然是 的一个无偏估计．
【解析】
(1) 由 正定, 存在可逆矩阵 使得 ．令
则模型化为
对变换后的模型使用普通最小二乘法, 得 的广义最小二乘估计
(2) 普通最小二乘估计为 , 将 代入得
两边取期望, 由 得
故无论 如何, 总是 的无偏估计．
三、(满分 10 分) 设两个独立样本的容量分别为 与 , 其数据满足模型
其中 , , 所有误差相互独立, 且两方程共享截距 . 已知自变量满足中心化条件 , . 定义
令 , 导出检验假设
的 检验统计量.
【解析】
合并后的设计矩阵为
参数 , 模型为 . 由中心化条件得
令 , 则 等价于 . 最小二乘估计和残差平方和为
记 . 由正态线性模型理论,
二者独立. 于是
其中
在 下 , 故
构造 统计量
展开得
矩阵形式为
在 下该统计量服从 .
四、(满分 15 分) 下面给出依据 15 个观测值计算得到的数据(数据已修正为自洽)：
(1) 估计 的 置信区间.
(2) 在 下, 检验估计的每个回归系数的统计显著性.
【解析】
设模型 , 其中 独立同分布, 样本容量 . 首先计算离差：
正规方程的系数矩阵及其逆矩阵为
最小二乘估计为
残差平方和与误差方差估计为
系数方差估计由 的对角元给出：
自由度为 , 上分位点 .
(1) 置信区间：
(2) 显著性检验：假设 , 计算 统计量：
由于 , 在显著性水平 下均不拒绝 , 两个回归系数均不显著.
五、(满分 10 分) 在多元回归模型(关于变量选择)中证明：
(1) 若 与 的相关系数不全为零, 则选模型回归系数的最小二乘估计就是全模型相应参数的有偏估计;
(2) 基于选模型得到的参数估计量具有较小的方差.
【证明】
设全模型为 , ,,． 选模型只含 , 对应参数为 , 最小二乘估计为
(1) 当全模型正确时,
其中 ． 由条件知 , 若全模型中 , 则 , 从而 , 即 是 的有偏估计．
(2) 全模型下 的最小二乘估计记为 (即 的前 个分量)．由分块矩阵求逆公式,
其中
选模型估计的协方差矩阵为
相减得
因 知 , 故 (半正定)．因此
即选模型给出的估计 具有较小的方差．
六、(满分 10 分) 证明岭回归的若干性质如下：
(1) 是 的有偏估计, 即对任意 , 有 ;
(2) 存在一个 , 使得 , 即存在 , 使得在均方误差意义下, 岭估计优于最小二乘估计.
【证明】
(1) 岭估计定义为 . 在模型 , 下,
当 时, , 故 , 即 是 的有偏估计.
(2) 设 的特征值分解为 , 其中 , . 令 , . 则
其中 为最小二乘估计, 满足 , . 从而
均方误差为
对 求导得
在 处, (因 ). 由 的连续性知, 存在充分小的 使得 . 故 在 附近单调递减, 从而存在 满足 . 注意 且 , 即存在 使岭估计有更小的均方误差.
七、(满分 25 分)
工业上净化煤的方法很多, 表中的数据是从一个净化煤的试验装置获得的. 这个试验是用一种聚合物溶剂和煤混合, 然后通过该装置来除去煤中的杂质. 其中, 表示净化过程中输入溶液所含煤与杂质的百分比, 表示溶液的 pH 值, 表示溶液的流量, 表示净化后溶液中杂质的重量, 这是衡量净化效率的指标. 试研究数据点 关于三个自变量的线性回归方程的影响. （随便找了个例子）
(1) 根据表格信息, 讨论该回归模型中可能存在的共线性问题及强影响点诊断;
(2) 针对出现的问题, 提出改进措施.
【解析】
(1) 由表可知, 杠杆值 普遍偏高, 若干点达到 , 表明存在高杠杆点. 学生化残差 在第 4、9、10 号点绝对值较大, 其中第 9 号点 接近异常. Cook 距离 在第 4 号点 (0.538) 和第 9 号点 (0.885) 较大, 而 DFFITS 值在第 4 号、第 9 号及第 10 号点(绝对值 1.5508)均超过阈值 , 可确认第 4、9、10 号点为强影响点. 此外, 自变量 与 取值组合重复, 提示数据可能来自试验设计而非随机抽样, 此时高杠杆点往往是设计点自身位置所致. 需通过方差膨胀因子 进一步诊断是否存在共线性, 若 说明共线性严重.
(2) 改进措施：对第 4、9、10 号等强影响点, 应首先核查原始数据是否录入错误或存在试验异常；若确认为异常点, 可予剔除或采用稳健回归(如 M 估计). 若确存在多重共线性, 可选用岭回归 , 通过岭迹图选取合适的 ；或采用主成分回归, 舍弃特征值过小的主成分以降低方差. 亦可考虑逐步回归剔除高度相关的变量, 或增加样本量、改善试验设计以从根本上增强估计的稳定性.
