Development and validity of a method for the evaluation of printed education material

Abstract

*Objectives: To develop and study the validity of an instrument for evaluation of Printed Education Materials (PEM); to evaluate the use of acceptability indices; to identify possible influences of professional aspects. Methods: An instrument for PEM evaluation was developed which included tree steps: domain identification, item generation and instrument design. A reading to easy PEM was developed for education of patient with systemic hypertension and its treatment with hydrochlorothiazide. Construct validity was measured based on previously established errors purposively introduced into the PEM, which served as extreme groups. An acceptability index was applied taking into account the rate of professionals who should approve each item. Participants were 10 physicians (9 men) and 5 nurses (all women). Results: Many professionals identified intentional errors of crude character. Few participants identified errors that needed more careful evaluation, and no one detected the intentional error that required literature analysis. Physicians considered as acceptable 95.8% of the items of the PEM, and nurses 29.2%. The differences between the scoring were statistically significant in 27% of the items. In the overall evaluation, 66.6% were considered as acceptable. The analysis of each item revealed a behavioral pattern for each professional group. Conclusions: The use of instruments for evaluation of printed education materials is required and may improve the quality of the PEM available for the patients. Not always are the acceptability indices totally correct or represent high quality of information. The professional experience, the practice pattern, and perhaps the gendre of the reviewers may influence their evaluation. RESUMENObjetivos: Desarrollar y estudiar la validez de un instrumento para la evaluación del material educativo impreso (MEI); evaluar el uso de los índices de aceptabilidad; identificar las posibles influencias de los aspectos profesionales. Métodos: Se desarrolló un instrumento para evaluación del MEI en tres pasos: identificación de dominios, generación de ítems y diseño del instrumento. Se desarrolló un MEI fácil de leer para la educación de pacientes con hipertensión sistémica y su tratamiento con hidroclorotiazida. Se midió la validez del instrumento mediante los errores previamente introducidos a propósito en el MEI, lo que sirvió de grupo extremo. Se aplicó un índice de aceptabilidad teniendo en cuenta la tasa de profesionales que tenía que aprobar cada ítem. Participaron 10 médicos (9 hombres) y 5 enfermeras (todas mujeres). Resultados: Muchos profesionales identificaron los errores intencionales de carácter crudo. Pocos participantes identificaron los errores que necesitaban una evaluación más cuidadosa, y ninguno identificó el error intencional que requería análisis de la literatura. Los médicos consideraron aceptable el 95,8% de los ítems del MEI y las enfermeras el 29,2%. Las diferencias de puntuación fueron estadísticamente significativas en el 27% de los ítems. En la evaluaci...

Validação do Instrumento de Avaliação de Materiais Educativos Impressos com foco no Letramento em Saúde para o Brasil (AMEELS-BR)

“…Conforme mencionado, já existem instrumentos para avaliação de materiais educativos em outras línguas, como o SAM (Doak & Doak, 1996), que vem sendo utilizado em pesquisas brasileiras a partir de sua tradução e adaptação em língua portuguesa (Sousa, Turrini, & Poveda, 2015), mas que não possui ainda validação para o Brasil. Além do SAM, Vasconcelos, Sampaio, & Vergara (2018) Em âmbito nacional foi encontrado o Evaluation of Printed Education Materials (EVALPEM), que se trata de um instrumento adaptado do estrangeiro The Bernier Instructional Design Scale (BIDS) para avaliação de materiais educativos validado junto a profissionais de saúde para uso no Brasil (Castro et al, 2007). Outro instrumento utilizado para elaboração e o aperfeiçoamento de materiais educativos em saúde é o Questionário Luz et al (2003), entretanto, diferentemente dos anteriormente citados, permite apenas uma avaliação qualitativa do impresso, visto que não atribui uma pontuação específica para classificação do material educativo ao final (Vasconcelos, Sampaio, & Vergaa., 2018).…”

“…O instrumento foi intitulado Instrumento de Avaliação de Materiais Educativos Impressos com foco no Letramento em Saúde para o Brasil (AMEELS-BR) e sua elaboração consistiu nas seguintes etapas: 1) Identificação de diretrizes propostas em três instrumentos (Sousa, Turrini, & Poveda, 2015;Castro et al, 2007;Luz et al, 2003); 2) Compilação de diretrizes propostas na literatura nacional e internacional sobre a temática; 3) Levantamento de diretrizes a partir do discurso dos usuários do SUS que avaliaram três materiais educativos do Governo Federal (uma filipeta sobre câncer do intestino, uma cartilha sobre hipertensão e o capítulo dois do Guia Alimentar para Brasileiros, última edição) (Vasconcelos, Sampaio, & Vergara , 2018).…”

Educational technology for bathing/hygiene of elders at home: contributions to career knowledge

“…The experts assessed the booklet using a adapted questionnaire (22) that covered Scientific accuracy, content, literary presentation, illustration, material readability, sufficiently specific and comprehensive material and quality of information. This instrument assesses the degree of agreement of all judges using a Likert-type scale, consisting of: (1) Strongly disagree; (2) Disagree; (3) Neither agree nor disagree; (4) Agree; (5) Totally agree.…”

Construção e validação de cartilha educativa para sala de apoio à amamentação

“…Para a coleta de dados da validação, foi utilizado instrumento direcionado aos juízes especialistas, adaptado do instrumento proposto na literatura. 13 O instrumento foi dividido em duas partes: a primeira contém os dados de identificação do juiz e sua experiência profissional e a segunda contém as instruções de preenchimento do instrumento e os itens avaliativos da cartilha, totalizando 52 itens distribuídos em sete aspectos avaliativos, sendo dois de conteúdo (exatidão científica e conteúdo) e os cinco restantes de aparência (apresentação literária; ilustrações; material suficientemente específico e compreensivo; legibilidade e características da impressão e qualidade da informação).…”