RESUMO Objetivo: avaliar a concordância entre os enfermeiros na aplicação de um protocolo institucional de avaliação com classificação de risco em uma unidade de emergência hospitalar. Método: estudo quantitativo de abordagem transversal e retrospectivo, realizado na unidade de emergência adulto de um hospital geral do Estado de Santa Catarina, baseado em fichas de atendimento. A coleta de dados ocorreu entre outubro e dezembro de 2013. A amostra fora constituída de 380 fichas de atendimento, selecionadas por aleatorização simples. O grau de concordância se determinou pelo coeficiente Kappa. Resultados: a concordância geral entre os enfermeiros na aplicação do protocolo institucional foi substancial (Kappa=0,786) representando 331 (87,2%) fichas. Entre os níveis de classificação houve concordância quase perfeita para todos eles (Kappa=1 para o nível vermelho, Kappa=0,836 para o nível laranja, Kappa=0,884 para o nível amarelo, Kappa=0,865 para o nível verde e Kappa=1 para o nível azul). Conclusão: a concordância geral na aplicação do protocolo institucional se mostrou substancial, sendo evidenciada uma concordância quase perfeita em todos os níveis de classificação. Houve superestimação e subestimação da classificação de risco em relação ao protocolo. Sugere-se que os enfermeiros que realizam a classificação de risco recebam treinamento por parte da instituição quanto à aplicabilidade do protocolo, a fim de minimizar a superestimação e subestimação da classificação de risco. Este trabalho contribui ao avaliar a aplicação de um protocolo novo implantado, com subsídios para uma melhor concordância na sua implementação por enfermeiros.