Resumo: Introdução: A educação médica baseada em competências tem despertado interesse nas últimas décadas. A avaliação do educando constitui um de seus pilares centrais, devendo ser contínua, fundamentada em critérios claros e eminentemente formativa, sempre provendo feedback. A sistematização dos métodos de avaliação envolve variáveis como confiabilidade, validade, aceitabilidade, impacto educacional e custo. Na radiologia, a literatura carece de instrumentos específicos de avaliação, especialmente em programas de residência médica no Brasil. Objetivo: Este estudo teve como objetivos elaborar e implementar um instrumento avaliativo com caráter formativo para o Programa de Residência Médica em Radiologia e Diagnóstico por Imagem (PRM-RDI) do Hospital Universitário Onofre Lopes da Universidade Federal do Rio Grande do Norte (Huol-UFRN), que englobe competências específicas e crie oportunidades para feedback nos cenários de prática. Método: Trata-se de um estudo de abordagem descritiva, exploratória e de intervenção, com três etapas. As duas primeiras consistiram em oficinas com médicos residentes e preceptores: uma para conceituação e compreensão da avaliação por competências e de técnicas de feedback, e outra para construção coletiva de um instrumento avaliativo adequado à radiologia, definindo as competências mais importantes a serem avaliadas. Na terceira etapa, os pesquisadores acompanharam a aplicação inicial do instrumento pelos preceptores. Resultado: As duas oficinas tiveram participação de três pesquisadores, 16 preceptores e cinco residentes. O instrumento de avaliação resultante contém inicialmente um cabeçalho para preenchimento de dados do residente e do avaliador, do local e exame realizado. Há ainda sete competências que devem ser avaliadas em relação ao esperado para o nível do residente e uma escala para conceito geral da avaliação, seguida de campos para comentários do preceptor e do residente. O instrumento foi aplicado 33 vezes nos cenários de prática, num período de seis meses. Conclusão: A realização de oficinas de capacitação para os preceptores, com a introdução de uma nova cultura de avaliação, foi fundamental para a construção e experiência inicial na aplicação do instrumento no referido programa. O instrumento apresentou viabilidade, baixo custo e teve boa aceitabilidade entre preceptores e residentes, servindo como marco inicial na busca por uma avaliação sistematizada na residência médica na área de radiologia.