商业银行应当及时调整监控频率。 （四）投产后全面验证
1．商业银行应当进行返回检验，运用统计方法分析内部评级结果和风险参数的估计值。商业银行应当对返回检验使用的方法和数据形成专门的文档。返回检验至少每年进行一次。
返回检验是比较内部评级体系预测结果与实际结果，对内部评级确定、风险池划分以及风险参数估计的准确性进行实证分析。 2．商业银行应当对内部评级计量模型和支持体系进行投产后全面验证。对计量模型的验证应至少达到本附件对数据、评级模型、违约概率、违约损失率、违约风险暴露的验证要求，对支持体系的验证应至少达到本附件对信息系统、政策流程的验证要求和验证是否达到本办法附件5对治理结构、数据管理、文档化管理和内部评级应用的要求。投产后全面验证还应覆盖对支持体系的过程核查。
3．过程核查包括对内部评级以及风险参数量化是否按照设计要求运作、监控和更新评估的一系列活动。过程核查包括确定数据的质量、评级流程的合理性等活动，并应确保查明的缺陷得到纠正。
4．对于不同的内部评级法和风险参数量化方法，商业银行可以采用相应的过程核查方法：
（1）商业银行采用基于模型的内部评级体系，过程核查应包括评价自动分配过程,如核查电脑编码模式和数据输入是否正
确，评估模型运用是否符合本办法附件5规定的要求等。 （2）商业银行采用基于专家判断的内部评级体系，应要求独立检查人员评估评级人员是否执行现有的评级政策。验证的最低要求应包括透明的评级过程、评级人员使用的信息数据基础、评级决策的记录等。
5．商业银行的验证政策应对内部评级结果、风险参数估计值与实际结果之间的差别设定容忍度，并规定差别超出容忍度情况下应采取的补救措施和处理流程。 （五）对数据的验证
1．商业银行应当对评级体系所用数据进行验证，包括对模型开发样本数据和评级运行实际业务数据的验证。
2．商业银行进行投产前全面验证时，应对数据的完整性、全面性、准确性、一致性、数据质量和缺陷处理进行验证。 （1）验证样本数据完整性时，应重点评估样本数目、观察期、满足建立评级模型基本要求的情况，分析样本数据的选取数量、选取时间段和采集频率对风险参数估计值准确性的影响。 （2）验证样本数据全面性时，应重点评估样本选取方法与步骤对样本数据代表性的影响，评估样本数据反映本银行信用风险暴露特征、信贷政策及外部经营环境的能力。
（3）验证样本数据准确性时，应审核模型输入数据是否真实可靠，避免数据输入出现重大偏差。验证人员应当审核数据清洗方法与过程对数据准确性的影响，并全面校验违约客户和违约债项
的标识情况。对于需采用抽样方法验证准确性的风险暴露，应分析抽样方法的代表性。对输入数据的例外情况，应详细记录并进行审查。
（4）验证样本数据一致性时，应审核模型自动输入数据和人工补录数据的采集范围是否适当，采集标准是否一致；应对评级体系所使用数据和会计数据进行对账，评估数据一致性程度。 （5）验证数据质量时，应运用勾稽检查、横向比较和趋势分析等方法进行数据质量分析与检查，验证数据在单一时点上经受逻辑检验的能力，以及多时点上连续性和一致性经受业务检验、统计检验与逻辑检验的能力。验证过程中应重点关注数据中的缺失值、异常值和极端值及其处理方法。
（6）验证数据缺陷处理时，应审核模型开发团队对样本数据缺陷的理解和处理方法，评估上述处理对模型开发的影响。 3．使用外部数据进行内部评级体系设计及验证时，商业银行应重点检验外部数据与内部数据之间的可比性、相关性和一致性。 商业银行应当每年对继续使用外部数据的恰当性进行评估。 （六）对评级模型的验证
1．商业银行应当对评级模型关键定义的合规性和持续有效性进行核查，主要包括违约定义、损失定义、主标尺定义、长期中心违约趋势及经济衰退期定义。
（1）审查违约定义与损失定义的界定与标识是否符合本办法附件5的要求，违约定义的客观标准与主观认定是否合理。
（2）审查损失定义及实际执行是否持续涵盖直接成本、间接成本等具体内容并反映时间价值，在业务实践中是否具有合理性与可操作性。
（3）审查主标尺定义，其中评级级别和标准是否合理、直观，且能够有效区分风险，描述是否详细、可操作。不同业务条线、部门和地区的评级级别标准是否保持一致。
（4）审查长期中心违约趋势的计算方法和实际执行是否真实地反映了银行的历史违约情况，是否采用了最保守的加权方式进行长期违约趋势的估计，是否反映了经济周期的特点。 （5）审查经济衰退期的定义是否合理并且可操作，是否能够真实代表经济低迷时期的违约损失率特点，审查经济衰退期界定与压力测试情景之间的关系是否合理。
2．商业银行应当评估模型细分的依据和合理性，确保模型能够准确反映风险暴露风险特征。
3．商业银行应当对评级方法论进行验证，评估所选模型的内在逻辑、合理性、适用性与局限性，同时应能证明所选评级方法论能够准确反映评级对象的风险特征和周期特征。
商业银行应当评价不同评级方法论对风险估值准确性和稳定性的影响。
4．商业银行应当评估模型参数和基本假设是否与实际资产组合的风险特征和外部经营环境持续保持一致，在经济环境发生改变时，相关假设和参数是否持续合理。
5．商业银行应当检查建模过程的合理性，包括样本选取逻辑和依据、数据清洗方法与过程、模型参数选择、单变量分析、分数转换、多变量分析和样本与总体的映射依据等。建模及模型优化过程应当有专门文档，确保能被第三方复制。
6．商业银行应当对模型结果进行验证，并关注不同评级方法论下评级结果与经济周期的关系。
（1）对债务人评级模型和主标尺，结果验证包括长期平均违约趋势的合理性分析，模型输出结果与人工干预最终结果的关系，以及等级与违约概率对应的合理性等。
（2）对债项评级模型，结果验证包括不同种类债项的债项级别或违约损失率确定过程与结果的合理性，债项评级模型输出结果与人工干预最终结果的关系等。
（3）对于零售风险暴露，应检查评分与风险参数对应关系、实际结果与风险参数估计值的合理性，检查风险分池的逻辑、结构是否合理，基于风险划分的风险参数计量结果是否准确，资产池是否符合池内同质性和池间异质性要求。
7．商业银行应当对每年重新确定的个人住房抵押贷款和合格循环零售风险暴露存量客户的分池进行验证，并对每年重新确定归入零售风险暴露的小企业名单进行验证。
8．商业银行应当根据实际业务数据对债务人评级模型的区分能力进行验证，以确保模型能够按照债务人风险大小有效排序。模型区分能力应采用不少于两种方法进行检验，包括监测累积准确