A avaliação do currículo e do corpo docente é fundamental para todas as instituições de ensino superior, incluindo as faculdades de medicina. As avaliações discentes do ensino (ADE) geralmente assumem a forma de questionários anônimos e, embora tenham sido originalmente desenvolvidas para avaliar cursos e programas, ao longo do tempo também passaram a ser utilizadas para mensurar a eficácia do ensino e, consequentemente, embasar decisões importantes relacionadas ao ensino e ao desenvolvimento profissional docente. No entanto, certos fatores e vieses podem afetar as pontuações das ADE, e a eficácia do ensino não pode ser mensurada objetivamente. Embora a literatura sobre avaliação de cursos e docentes no ensino superior em geral seja bem estabelecida, existem preocupações quanto ao uso das mesmas ferramentas para avaliar cursos e docentes em programas de medicina. Em particular, as ADE no ensino superior em geral não podem ser aplicadas diretamente ao planejamento e à implementação curricular em faculdades de medicina. Esta revisão apresenta uma visão geral de como as ADE podem ser aprimoradas nos níveis de instrumento, gestão e interpretação. Além disso, este artigo destaca que, utilizando diversos métodos, como revisão por pares, grupos focais e autoavaliação, para coletar e triangular dados de múltiplas fontes, incluindo alunos, colegas, gestores de programas e autopercepção, um sistema de avaliação abrangente pode ser construído. Avaliar eficazmente a efetividade do ensino, apoiar o desenvolvimento profissional de educadores médicos e melhorar a qualidade do ensino na área médica.
A avaliação de cursos e programas é um processo interno de controle de qualidade em todas as instituições de ensino superior, incluindo as faculdades de medicina. A Avaliação do Ensino pelos Alunos (AEA) geralmente assume a forma de um questionário anônimo, em papel ou online, utilizando uma escala de classificação, como a escala Likert (geralmente de cinco, sete ou superior), que permite aos participantes indicar seu grau de concordância ou discordância com afirmações específicas [1,2,3]. Embora as AEAs tenham sido originalmente desenvolvidas para avaliar cursos e programas, ao longo do tempo elas também passaram a ser utilizadas para mensurar a eficácia do ensino [4, 5, 6]. A eficácia do ensino é considerada importante porque se presume haver uma relação positiva entre a eficácia do ensino e a aprendizagem dos alunos [7]. Embora a literatura não defina claramente a eficácia do treinamento, ela geralmente é especificada por meio de características específicas do treinamento, como “interação em grupo”, “preparação e organização” e “feedback aos alunos” [8].
As informações obtidas por meio da Avaliação do Desempenho Docente (ADD) podem fornecer dados úteis, como a necessidade de ajustar os materiais didáticos ou os métodos de ensino utilizados em um determinado curso. A ADD também é utilizada para embasar decisões importantes relacionadas ao desenvolvimento profissional de professores [4,5,6]. No entanto, a adequação dessa abordagem é questionável quando instituições de ensino superior tomam decisões referentes ao corpo docente, como a promoção para cargos acadêmicos superiores (frequentemente associada à antiguidade e aumentos salariais) e para posições administrativas importantes dentro da instituição [4, 9]. Além disso, as instituições frequentemente exigem que novos professores incluam ADDs de instituições anteriores em suas candidaturas a novos cargos, influenciando, assim, não apenas as promoções internas do corpo docente, mas também potenciais novos empregadores [10].
Embora a literatura sobre currículo e avaliação de professores esteja bem estabelecida no campo do ensino superior em geral, o mesmo não ocorre na área da medicina e da saúde [11]. O currículo e as necessidades dos educadores médicos diferem daqueles do ensino superior em geral. Por exemplo, a aprendizagem em equipe é frequentemente utilizada em cursos integrados de medicina. Isso significa que o currículo da faculdade de medicina consiste em uma série de disciplinas ministradas por diversos docentes com formação e experiência em várias áreas da medicina. Embora os alunos se beneficiem do conhecimento aprofundado de especialistas na área sob essa estrutura, muitas vezes enfrentam o desafio de se adaptar aos diferentes estilos de ensino de cada professor [1, 12, 13, 14].
Embora existam diferenças entre o ensino superior em geral e a educação médica, a Avaliação do Desempenho Docente (ADD) utilizada no primeiro também é, por vezes, usada em cursos de medicina e saúde. No entanto, a implementação da ADD no ensino superior em geral apresenta muitos desafios em termos de currículo e avaliação do corpo docente em programas de profissionais de saúde [11]. Em particular, devido às diferenças nos métodos de ensino e nas qualificações dos professores, os resultados da avaliação do curso podem não incluir as opiniões dos alunos sobre todos os professores ou turmas. A pesquisa de Uytenhaage e O'Neill (2015) [5] sugere que pedir aos alunos que avaliem todos os professores individualmente ao final de um curso pode ser inadequado, pois é quase impossível para os alunos se lembrarem e comentarem sobre múltiplas avaliações de professores. Além disso, muitos professores de educação médica também são médicos, para quem o ensino representa apenas uma pequena parte de suas responsabilidades [15, 16]. Como estão envolvidos principalmente no atendimento ao paciente e, em muitos casos, na pesquisa, frequentemente têm pouco tempo para desenvolver suas habilidades de ensino. No entanto, os médicos, enquanto professores, devem receber tempo, apoio e feedback construtivo de suas instituições [16].
Os estudantes de medicina tendem a ser indivíduos altamente motivados e dedicados, que conseguem ingressar com sucesso em faculdades de medicina (através de um processo seletivo competitivo e exigente internacionalmente). Além disso, durante o curso de medicina, espera-se que os estudantes adquiram uma grande quantidade de conhecimento e desenvolvam diversas habilidades em um curto período, bem como sejam aprovados em avaliações internas complexas e em avaliações nacionais abrangentes [17,18,19,20]. Assim, devido aos altos padrões exigidos dos estudantes de medicina, estes podem ser mais críticos e ter expectativas mais elevadas em relação à qualidade do ensino do que estudantes de outras áreas. Consequentemente, os estudantes de medicina podem receber avaliações mais baixas de seus professores em comparação com estudantes de outras disciplinas, pelos motivos já mencionados. Curiosamente, estudos anteriores demonstraram uma relação positiva entre a motivação dos alunos e as avaliações individuais dos professores [21]. Ademais, nos últimos 20 anos, a maioria dos currículos de faculdades de medicina ao redor do mundo tornou-se verticalmente integrada [22], de modo que os alunos são expostos à prática clínica desde os primeiros anos do programa. Assim, nos últimos anos, os médicos têm-se envolvido cada vez mais na educação dos estudantes de medicina, endossando, mesmo no início dos seus programas, a importância de desenvolver SETs adaptados a populações específicas de docentes [22].
Devido à natureza específica do ensino médico mencionada acima, os testes de avaliação de desempenho (SETs) usados para avaliar cursos gerais de ensino superior ministrados por um único membro do corpo docente devem ser adaptados para avaliar o currículo integrado e o corpo docente clínico dos programas de medicina [14]. Portanto, há necessidade de desenvolver modelos de SET mais eficazes e sistemas de avaliação abrangentes para uma aplicação mais efetiva no ensino médico.
Esta revisão descreve os avanços recentes no uso da Avaliação do Desempenho do Professor (ADP) no ensino superior (em geral) e suas limitações, delineando, em seguida, as diversas necessidades da ADP para cursos e docentes de medicina. A revisão apresenta uma atualização sobre como a ADP pode ser aprimorada nos níveis instrumental, administrativo e interpretativo, com foco nos objetivos de desenvolver modelos eficazes de ADP e sistemas de avaliação abrangentes que mensurem efetivamente a eficácia do ensino, apoiem o desenvolvimento de educadores em saúde qualificados e melhorem a qualidade do ensino na área médica.
Este estudo segue o estudo de Green et al. (2006) [23] para orientações e Baumeister (2013) [24] para orientações sobre a escrita de revisões narrativas. Decidimos escrever uma revisão narrativa sobre este tópico porque este tipo de revisão ajuda a apresentar uma perspectiva ampla sobre o assunto. Além disso, como as revisões narrativas se baseiam em estudos metodologicamente diversos, elas ajudam a responder a questões mais abrangentes. Ademais, os comentários narrativos podem ajudar a estimular a reflexão e a discussão sobre um tópico.
Como a Avaliação de Desempenho do Estudante (SET, na sigla em inglês) é utilizada na educação médica e quais são os desafios em comparação com a SET utilizada no ensino superior em geral?
As bases de dados PubMed e ERIC foram pesquisadas utilizando uma combinação dos termos de busca “avaliação do ensino estudantil”, “eficácia do ensino”, “educação médica”, “ensino superior”, “avaliação curricular e docente” e, para a Peer Review 2000, operadores lógicos. Foram incluídos artigos publicados entre 2021 e 2022. Critérios de inclusão: Os estudos incluídos foram estudos originais ou artigos de revisão, e os estudos eram relevantes para as áreas das três principais questões de pesquisa. Critérios de exclusão: Estudos que não estavam em inglês ou estudos nos quais não foi possível encontrar o texto completo ou que não eram relevantes para as três principais questões de pesquisa foram excluídos desta revisão. Após a seleção das publicações, elas foram organizadas nos seguintes tópicos e subtópicos associados: (a) O uso da avaliação do ensino estudantil no ensino superior em geral e suas limitações; (b) O uso da avaliação do ensino estudantil na educação médica e sua relevância para abordar questões relacionadas à comparação da avaliação do ensino estudantil; (c) Aprimoramento da avaliação do ensino estudantil nos níveis instrumental, gerencial e interpretativo para desenvolver modelos eficazes de avaliação do ensino estudantil.
A Figura 1 apresenta um fluxograma dos artigos selecionados incluídos e discutidos nesta seção da revisão.
A SET tem sido tradicionalmente usada no ensino superior e o tema foi bem estudado na literatura [10, 21]. No entanto, um grande número de estudos examinou suas muitas limitações e esforços para abordar essas limitações.
Pesquisas mostram que existem muitas variáveis que influenciam as pontuações do SET [10, 21, 25, 26]. Portanto, é importante que administradores e professores compreendam essas variáveis ao interpretar e utilizar os dados. A próxima seção apresenta uma breve visão geral dessas variáveis. A Figura 2 mostra alguns dos fatores que influenciam as pontuações do SET, os quais serão detalhados nas seções seguintes.
Nos últimos anos, o uso de kits online aumentou em comparação com os kits em papel. No entanto, evidências na literatura sugerem que o SET online pode ser concluído sem que os alunos dediquem a atenção necessária ao processo. Em um estudo interessante de Uitdehaage e O'Neill [5], professores inexistentes foram adicionados ao SET e muitos alunos forneceram feedback [5]. Além disso, evidências na literatura sugerem que os alunos frequentemente acreditam que a conclusão do SET não leva a uma melhoria no desempenho acadêmico, o que, combinado com a agenda lotada dos estudantes de medicina, pode resultar em taxas de resposta mais baixas [27]. Embora pesquisas mostrem que as opiniões dos alunos que fazem o teste não diferem das do grupo como um todo, as baixas taxas de resposta ainda podem levar os professores a considerarem os resultados menos relevantes [28].
A maioria das avaliações de desempenho online (ADOs) é realizada anonimamente. A ideia é permitir que os alunos expressem suas opiniões livremente, sem a suposição de que essa expressão terá qualquer impacto em seus futuros relacionamentos com os professores. No estudo de Alfonso et al. [29], os pesquisadores utilizaram avaliações anônimas e avaliações em que os avaliadores precisavam se identificar (avaliações públicas) para avaliar a eficácia do ensino do corpo docente de uma faculdade de medicina, com base na perspectiva de residentes e estudantes de medicina. Os resultados mostraram que os professores, em geral, obtiveram pontuações mais baixas nas avaliações anônimas. Os autores argumentam que os alunos são mais honestos em avaliações anônimas devido a certas barreiras presentes em avaliações abertas, como o comprometimento do relacionamento com os professores participantes [29]. No entanto, também deve-se observar que o anonimato frequentemente associado às ADOs online pode levar alguns alunos a serem desrespeitosos e retaliatórios com o instrutor caso as notas da avaliação não atendam às expectativas dos alunos [30]. Contudo, pesquisas mostram que os alunos raramente fornecem feedback desrespeitoso, e esse comportamento pode ser ainda mais minimizado ensinando-os a fornecer feedback construtivo [30].
Diversos estudos demonstraram que existe uma correlação entre as notas dos alunos nas avaliações de desempenho em provas (SETs), suas expectativas de desempenho nessas provas e sua satisfação com elas [10, 21]. Por exemplo, Strobe (2020) [9] relatou que os alunos valorizam disciplinas fáceis e os professores valorizam notas baixas, o que pode incentivar um ensino deficiente e levar à inflação de notas [9]. Em um estudo recente, Looi et al. (2020) [31] relataram que avaliações de desempenho em provas mais favoráveis são mais fáceis de avaliar. Além disso, há evidências preocupantes de que as avaliações de desempenho em provas estão inversamente relacionadas ao desempenho dos alunos em disciplinas subsequentes: quanto maior a avaliação, pior o desempenho do aluno nessas disciplinas. Cornell et al. (2016) [32] realizaram um estudo para examinar se os alunos universitários aprendiam relativamente mais com professores cujas avaliações de desempenho em provas eram altas. Os resultados mostram que, quando a aprendizagem é avaliada ao final de uma disciplina, os professores com as avaliações mais altas também contribuem para a aprendizagem da maioria dos alunos. No entanto, quando a aprendizagem é medida pelo desempenho em disciplinas relevantes subsequentes, os professores com avaliações relativamente baixas são os mais eficazes. Os pesquisadores levantaram a hipótese de que tornar um curso mais desafiador de forma produtiva poderia diminuir as notas, mas melhorar o aprendizado. Portanto, as avaliações dos alunos não devem ser a única base para avaliar o ensino, mas devem ser levadas em consideração.
Diversos estudos mostram que o desempenho no SET é influenciado pelo próprio curso e sua organização. Ming e Baozhi [33] constataram, em seu estudo, que havia diferenças significativas nas pontuações do SET entre estudantes de diferentes áreas. Por exemplo, as ciências clínicas apresentam pontuações mais altas no SET do que as ciências básicas. Os autores explicaram que isso ocorre porque os estudantes de medicina têm interesse em se tornarem médicos e, portanto, possuem um interesse pessoal e uma motivação maior para participar mais das disciplinas de ciências clínicas em comparação com as disciplinas de ciências básicas [33]. Assim como no caso das disciplinas eletivas, a motivação do aluno pela disciplina também tem um efeito positivo nas pontuações [21]. Vários outros estudos também corroboram a influência do tipo de curso nas pontuações do SET [10, 21].
Além disso, outros estudos mostraram que quanto menor o tamanho da turma, maior o nível de SET alcançado pelos professores [10, 33]. Uma possível explicação é que turmas menores aumentam as oportunidades de interação entre professor e aluno. Ademais, as condições em que a avaliação é realizada podem influenciar os resultados. Por exemplo, as notas do SET parecem ser influenciadas pelo horário e dia da aula, bem como pelo dia da semana em que o SET é realizado (por exemplo, avaliações realizadas nos fins de semana tendem a resultar em notas mais positivas) do que avaliações realizadas no início da semana [10].
Um estudo interessante de Hessler et al. também questiona a eficácia da SET [34]. Neste estudo, um ensaio clínico randomizado foi conduzido em um curso de medicina de emergência. Alunos do terceiro ano de medicina foram aleatoriamente designados para um grupo controle ou para um grupo que recebeu biscoitos de chocolate gratuitos (grupo biscoito). Todos os grupos foram instruídos pelos mesmos professores, e o conteúdo do treinamento e os materiais do curso foram idênticos para ambos os grupos. Após o curso, todos os alunos foram solicitados a completar um conjunto de tarefas. Os resultados mostraram que o grupo biscoito avaliou os professores significativamente melhor do que o grupo controle, colocando em questão a eficácia da SET [34].
Evidências na literatura também corroboram a influência do gênero nas avaliações de desempenho docente [35,36,37,38,39,40,41,42,43,44,45,46]. Por exemplo, alguns estudos demonstraram uma relação entre o gênero dos alunos e os resultados das avaliações: alunas obtiveram pontuações mais altas do que alunos [27]. A maioria das evidências confirma que os alunos avaliam professoras com notas mais baixas do que professores [37, 38, 39, 40]. Por exemplo, Boring et al. [38] mostraram que tanto alunos quanto alunas acreditavam que os homens eram mais conhecedores e possuíam habilidades de liderança mais fortes do que as mulheres. O fato de gênero e estereótipos influenciarem as avaliações de desempenho docente também é corroborado pelo estudo de MacNell et al. [41], que relataram que os alunos em seu estudo avaliaram professoras com notas mais baixas do que professores em vários aspectos do ensino [41]. Além disso, Morgan et al [42] forneceram evidências de que as médicas receberam avaliações de ensino mais baixas em quatro rotações clínicas principais (cirurgia, pediatria, obstetrícia e ginecologia e medicina interna) em comparação com os médicos do sexo masculino.
No estudo de Murray et al. (2020) [43], os pesquisadores relataram que a atratividade do corpo docente e o interesse dos alunos no curso estavam associados a pontuações mais altas no SET. Por outro lado, a dificuldade do curso está associada a pontuações mais baixas no SET. Além disso, os alunos atribuíram pontuações mais altas no SET a professores jovens, brancos e do sexo masculino da área de humanidades e a professores titulares. Não houve correlações entre as avaliações de ensino do SET e os resultados da pesquisa com os professores. Outros estudos também confirmam o impacto positivo da atratividade física dos professores nos resultados da avaliação [44].
Clayson et al. (2017) [45] relataram que, embora haja consenso geral de que a avaliação do ensino pelos alunos produz resultados confiáveis e que as médias da turma e do professor são consistentes, ainda existem inconsistências nas respostas individuais dos alunos. Em resumo, os resultados deste relatório de avaliação indicam que os alunos não concordaram com o que lhes foi solicitado avaliar. As medidas de confiabilidade derivadas das avaliações do ensino pelos alunos são insuficientes para fornecer uma base para estabelecer a validade. Portanto, a avaliação do ensino pelos alunos pode, por vezes, fornecer informações sobre os alunos em vez dos professores.
A formação em educação para a saúde difere da formação tradicional, mas os educadores frequentemente utilizam a formação disponível no ensino superior em geral, em vez da formação específica para programas de profissões da saúde relatada na literatura. No entanto, estudos realizados ao longo dos anos identificaram diversos problemas.
Jones et al (1994) [46] realizaram um estudo para determinar como avaliar o corpo docente de faculdades de medicina a partir das perspectivas de docentes e administradores. De modo geral, as questões mais frequentemente mencionadas estavam relacionadas à avaliação do ensino. As mais comuns foram queixas gerais sobre a inadequação dos métodos atuais de avaliação de desempenho, com os respondentes também fazendo queixas específicas sobre a Avaliação do Ensino e a falta de reconhecimento do ensino nos sistemas de recompensa acadêmica. Outros problemas relatados incluíram procedimentos de avaliação e critérios de promoção inconsistentes entre os departamentos, falta de avaliações regulares e falha em vincular os resultados da avaliação aos salários.
Royal et al. (2018) [11] descrevem algumas das limitações do uso da Avaliação de Desempenho do Aluno (ADE) para avaliar currículos e docentes em programas de profissionais de saúde no ensino superior em geral. Pesquisadores relatam que a ADE no ensino superior enfrenta vários desafios, pois não pode ser aplicada diretamente ao planejamento curricular e ao ensino em faculdades de medicina. Perguntas frequentes, incluindo perguntas sobre o instrutor e o curso, são frequentemente combinadas em um único questionário, de modo que os alunos muitas vezes têm dificuldade em distingui-las. Além disso, os cursos em programas de medicina são frequentemente ministrados por vários docentes. Isso levanta questões de validade, dado o número potencialmente limitado de interações entre alunos e professores avaliadas por Royal et al. (2018) [11]. Em um estudo de Hwang et al. (2017) [14], pesquisadores examinaram o conceito de como as avaliações retrospectivas de cursos refletem de forma abrangente as percepções dos alunos sobre os cursos de vários instrutores. Seus resultados sugerem que a avaliação individualizada da turma é necessária para gerenciar cursos multidisciplinares dentro de um currículo integrado de faculdade de medicina.
Uitdehaage e O'Neill (2015) [5] examinaram até que ponto os estudantes de medicina realizaram avaliações de ensino em sala de aula com vários professores. Cada um dos dois cursos pré-clínicos apresentava um instrutor fictício. Os alunos deveriam fornecer avaliações anônimas a todos os instrutores (incluindo os fictícios) em até duas semanas após a conclusão do curso, mas podiam optar por não avaliar o instrutor. No ano seguinte, o experimento foi repetido, mas o retrato do professor fictício foi incluído. Sessenta e seis por cento dos alunos avaliaram o instrutor virtual sem semelhança, mas menos alunos (49%) avaliaram o instrutor virtual considerando a semelhança. Esses resultados sugerem que muitos estudantes de medicina realizam avaliações de ensino às cegas, mesmo quando acompanhadas de fotografias, sem considerar cuidadosamente quem estão avaliando, muito menos o desempenho do instrutor. Isso dificulta a melhoria da qualidade do programa e pode ser prejudicial ao progresso acadêmico dos professores. Os pesquisadores propõem uma estrutura que oferece uma abordagem radicalmente diferente para as avaliações de ensino, que envolve os alunos de forma ativa e proativa.
Existem muitas outras diferenças no currículo educacional dos programas de medicina em comparação com outros programas gerais de ensino superior [11]. A educação médica, assim como a educação profissional em saúde, está claramente focada no desenvolvimento de funções profissionais bem definidas (prática clínica). Como resultado, os currículos dos programas de medicina e saúde tornam-se mais estáticos, com opções limitadas de disciplinas e docentes. Curiosamente, as disciplinas de educação médica são frequentemente oferecidas em formato de coorte, com todos os alunos cursando a mesma disciplina ao mesmo tempo a cada semestre. Portanto, matricular um grande número de alunos (geralmente n = 100 ou mais) pode afetar o formato de ensino, bem como a relação professor-aluno. Além disso, em muitas faculdades de medicina, as propriedades psicométricas da maioria dos instrumentos não são avaliadas no uso inicial, e as propriedades da maioria dos instrumentos podem permanecer desconhecidas [11].
Diversos estudos realizados nos últimos anos forneceram evidências de que a Avaliação de Sistemas de Informação (ASI) pode ser aprimorada ao se abordar alguns fatores importantes que podem influenciar sua eficácia nos níveis instrumental, administrativo e interpretativo. A Figura 3 mostra algumas das etapas que podem ser utilizadas para criar um modelo de ASI eficaz. As seções seguintes fornecem uma descrição mais detalhada.
Aprimorar a SET nos níveis instrumental, gerencial e interpretativo para desenvolver modelos de SET eficazes.
Como mencionado anteriormente, a literatura confirma que o viés de gênero pode influenciar as avaliações de professores [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson et al. (2019) [40] realizaram um estudo que examinou se o gênero do aluno influenciava suas respostas às medidas de mitigação do viés. Neste estudo, o SET foi aplicado a quatro turmas (duas ministradas por professores homens e duas por professoras mulheres). Em cada turma, os alunos foram aleatoriamente designados para receber uma ferramenta de avaliação padrão ou a mesma ferramenta, mas com linguagem adaptada para reduzir o viés de gênero. O estudo constatou que os alunos que utilizaram ferramentas de avaliação com linguagem que reduzia o viés atribuíram notas significativamente mais altas no SET às professoras do que os alunos que utilizaram as ferramentas de avaliação padrão. Além disso, não houve diferenças nas avaliações dos professores homens entre os dois grupos. Os resultados deste estudo são significativos e demonstram como uma intervenção linguística relativamente simples pode reduzir o viés de gênero nas avaliações de ensino feitas pelos alunos. Portanto, é uma boa prática considerar cuidadosamente todos os SETs e usar a linguagem para reduzir o viés de gênero em seu desenvolvimento [40].
Para obter resultados úteis de qualquer avaliação de desempenho docente (ADD), é importante considerar cuidadosamente o propósito da avaliação e a formulação das perguntas com antecedência. Embora a maioria das pesquisas de ADD indique claramente uma seção sobre aspectos organizacionais do curso, ou seja, “Avaliação do Curso”, e uma seção sobre o corpo docente, ou seja, “Avaliação do Professor”, em algumas pesquisas a diferença pode não ser óbvia, ou pode haver confusão entre os alunos sobre como avaliar cada uma dessas áreas individualmente. Portanto, o design do questionário deve ser apropriado, esclarecer as duas partes diferentes do questionário e conscientizar os alunos sobre o que deve ser avaliado em cada área. Além disso, recomenda-se a realização de testes piloto para determinar se os alunos interpretam as perguntas da maneira pretendida [24]. Em um estudo de Oermann et al. (2018) [26], os pesquisadores pesquisaram e sintetizaram a literatura que descreve o uso da ADD em uma ampla gama de disciplinas na educação de graduação e pós-graduação para fornecer aos educadores orientações sobre o uso da ADD em enfermagem e outros programas de profissionais da saúde. Os resultados sugerem que os instrumentos de avaliação de sistemas devem ser avaliados antes do uso, incluindo testes piloto com alunos que podem não ser capazes de interpretar os itens ou perguntas do instrumento conforme pretendido pelo instrutor.
Diversos estudos examinaram se o modelo de governança do SET influencia o envolvimento dos alunos.
Daumier et al. (2004) [47] compararam as avaliações dos alunos sobre o treinamento de instrutores realizado em sala de aula com as avaliações coletadas online, comparando o número de respostas e avaliações. Pesquisas mostram que as pesquisas online geralmente têm taxas de resposta mais baixas do que as pesquisas em sala de aula. No entanto, o estudo constatou que as avaliações online não produziram notas médias significativamente diferentes das avaliações tradicionais em sala de aula.
Observou-se uma falta de comunicação bidirecional entre alunos e professores durante a realização das Avaliações de Desempenho do Aluno (ADEs) online (mas frequentemente impressas), resultando em falta de oportunidade para esclarecimentos. Portanto, o significado das perguntas, comentários ou avaliações dos alunos nas ADEs pode nem sempre ser claro [48]. Algumas instituições abordaram essa questão reunindo os alunos por uma hora e reservando um horário específico para a realização da ADE online (de forma anônima) [49]. Em seu estudo, Malone et al. (2018) [49] realizaram diversas reuniões para discutir com os alunos o propósito da ADE, quem teria acesso aos resultados e como eles seriam utilizados, além de quaisquer outras questões levantadas pelos alunos. A ADE é conduzida de forma semelhante a um grupo focal: o grupo responde a perguntas abertas por meio de votação informal, debate e esclarecimentos. A taxa de resposta foi superior a 70-80%, fornecendo aos professores, administradores e comissões curriculares informações abrangentes [49].
Como mencionado acima, no estudo de Uitdehaage e O'Neill [5], os pesquisadores relataram que os alunos em seu estudo avaliaram professores inexistentes. Como mencionado anteriormente, este é um problema comum em cursos de medicina, onde cada curso pode ser ministrado por vários professores, mas os alunos podem não se lembrar de quem contribuiu para cada curso ou o que cada professor fez. Algumas instituições abordaram esse problema fornecendo uma fotografia de cada professor, seu nome e o tópico/data apresentado para refrescar a memória dos alunos e evitar problemas que comprometam a eficácia da avaliação do ensino [49].
Talvez o problema mais importante associado à SET seja a incapacidade dos professores de interpretar corretamente os resultados quantitativos e qualitativos da SET. Alguns professores podem querer fazer comparações estatísticas entre anos, alguns podem ver pequenos aumentos/diminuições nas pontuações médias como mudanças significativas, alguns querem acreditar em todas as pesquisas e outros são francamente céticos em relação a qualquer pesquisa [45,50, 51].
A interpretação incorreta dos resultados ou o processamento inadequado do feedback dos alunos podem afetar a atitude dos professores em relação ao ensino. Os resultados de Lutovac et al. (2017) [52] indicam que o treinamento de apoio aos professores é necessário e benéfico para o fornecimento de feedback aos alunos. A educação médica precisa urgentemente de treinamento na interpretação correta dos resultados dos testes de avaliação do desempenho (SET). Portanto, o corpo docente das faculdades de medicina deve receber treinamento sobre como avaliar os resultados e as áreas importantes nas quais devem se concentrar [50, 51].
Assim, os resultados descritos sugerem que os Testes de Avaliação do Desempenho (SETs) devem ser cuidadosamente planejados, administrados e interpretados para garantir que seus resultados tenham um impacto significativo em todas as partes interessadas relevantes, incluindo docentes, administradores de faculdades de medicina e estudantes.
Devido a algumas limitações da Avaliação de Ensino por Pares (SET, na sigla em inglês), devemos continuar a nos esforçar para criar um sistema de avaliação abrangente que reduza o viés na eficácia do ensino e apoie o desenvolvimento profissional dos educadores médicos.
Uma compreensão mais completa da qualidade do ensino do corpo docente clínico pode ser obtida através da coleta e triangulação de dados de múltiplas fontes, incluindo alunos, colegas, administradores de programas e autoavaliações do corpo docente [53, 54, 55, 56, 57]. As seções seguintes descrevem outras ferramentas/métodos que podem ser usados, além da avaliação eficaz do ensino, para ajudar a desenvolver uma compreensão mais apropriada e completa da eficácia do treinamento (Figura 4).
Métodos que podem ser usados para desenvolver um modelo abrangente de um sistema para avaliar a eficácia do ensino em uma faculdade de medicina.
Um grupo focal é definido como “uma discussão em grupo organizada para explorar um conjunto específico de questões” [58]. Nos últimos anos, as faculdades de medicina criaram grupos focais para obter feedback de qualidade dos alunos e abordar algumas das dificuldades da avaliação de desempenho online. Esses estudos mostram que os grupos focais são eficazes para fornecer feedback de qualidade e aumentar a satisfação dos alunos [59, 60, 61].
Em um estudo de Brundle et al. [59], os pesquisadores implementaram um processo de grupo de avaliação estudantil que permitiu que coordenadores de curso e alunos discutissem os cursos em grupos focais. Os resultados indicam que as discussões em grupo focal complementam as avaliações online e aumentam a satisfação dos alunos com o processo geral de avaliação do curso. Os alunos valorizam a oportunidade de se comunicar diretamente com os coordenadores de curso e acreditam que esse processo pode contribuir para a melhoria do ensino. Eles também sentiram que conseguiram compreender o ponto de vista do coordenador do curso. Além dos alunos, os coordenadores de curso também avaliaram que os grupos focais facilitaram uma comunicação mais eficaz com os alunos [59]. Assim, o uso de grupos focais pode proporcionar às faculdades de medicina uma compreensão mais completa da qualidade de cada curso e da eficácia do ensino do respectivo corpo docente. No entanto, deve-se notar que os próprios grupos focais têm algumas limitações, como o pequeno número de alunos participantes em comparação com o programa SET online, que está disponível para todos os alunos. Além disso, a realização de grupos focais para vários cursos pode ser um processo demorado para orientadores e alunos. Isso representa limitações significativas, especialmente para estudantes de medicina que têm agendas muito ocupadas e podem realizar estágios clínicos em diferentes locais geográficos. Além disso, os grupos focais exigem um grande número de facilitadores experientes. No entanto, a incorporação de grupos focais no processo de avaliação pode fornecer informações mais detalhadas e específicas sobre a eficácia do treinamento [48, 59, 60, 61].
Schiekierka-Schwacke et al. (2018) [62] examinaram as percepções de alunos e professores sobre uma nova ferramenta para avaliar o desempenho docente e os resultados de aprendizagem dos alunos em duas faculdades de medicina alemãs. Foram realizadas discussões em grupo focal e entrevistas individuais com professores e alunos de medicina. Os professores apreciaram o feedback personalizado fornecido pela ferramenta de avaliação, e os alunos relataram que um ciclo de feedback, incluindo metas e consequências, deveria ser criado para incentivar o relato dos dados de avaliação. Assim, os resultados deste estudo reforçam a importância de fechar o ciclo de comunicação com os alunos e informá-los sobre os resultados da avaliação.
Os programas de Avaliação por Pares do Ensino (APE) são muito importantes e vêm sendo implementados no ensino superior há muitos anos. A APE envolve um processo colaborativo de observação do ensino e fornecimento de feedback ao observador para aprimorar a eficácia do ensino [63]. Além disso, exercícios de autorreflexão, discussões estruturadas de acompanhamento e a designação sistemática de colegas treinados podem ajudar a melhorar a eficácia da APE e a cultura de ensino do departamento [64]. Esses programas apresentam muitos benefícios, pois podem ajudar os professores a receber feedback construtivo de colegas que podem ter enfrentado dificuldades semelhantes no passado e podem fornecer maior apoio, oferecendo sugestões úteis para aprimoramento [63]. Ademais, quando utilizada de forma construtiva, a avaliação por pares pode aprimorar o conteúdo e os métodos de ensino dos cursos, além de auxiliar os educadores da área médica a melhorar a qualidade do seu ensino [65, 66].
Um estudo recente de Campbell et al. (2019) [67] fornece evidências de que o modelo de apoio entre pares no local de trabalho é uma estratégia aceitável e eficaz para o desenvolvimento profissional de educadores clínicos na área da saúde. Em outro estudo, Caygill et al. [68] realizaram uma pesquisa na qual um questionário especialmente elaborado foi enviado a educadores da área da saúde da Universidade de Melbourne para que pudessem compartilhar suas experiências com o uso da Avaliação por Pares. Os resultados indicam que existe um interesse latente na Avaliação por Pares entre educadores da área médica e que o formato voluntário e informativo de avaliação por pares é considerado uma oportunidade importante e valiosa para o desenvolvimento profissional.
Vale ressaltar que os programas de Avaliação de Desempenho Docente (PRT, na sigla em inglês) devem ser cuidadosamente elaborados para evitar a criação de um ambiente de julgamento e “gerencial”, que frequentemente leva ao aumento da ansiedade entre os docentes observados [69]. Portanto, o objetivo deve ser desenvolver planos de PRT que complementem e facilitem a criação de um ambiente seguro e forneçam feedback construtivo. Para tanto, é necessário treinamento específico para os avaliadores, e os programas de PRT devem envolver apenas docentes verdadeiramente interessados e experientes. Isso é especialmente importante se as informações obtidas na PRT forem utilizadas em decisões do corpo docente, como promoções para níveis superiores, aumentos salariais e promoções para cargos administrativos importantes. Deve-se observar que a PRT demanda tempo e, assim como os grupos focais, requer a participação de um grande número de docentes experientes, o que dificulta a implementação dessa abordagem em faculdades de medicina com poucos recursos.
Newman et al. (2019) [70] descrevem estratégias utilizadas antes, durante e depois do treinamento, observações que destacam as melhores práticas e identificam soluções para problemas de aprendizagem. Os pesquisadores forneceram 12 sugestões aos avaliadores, incluindo: (1) escolha suas palavras com sabedoria; (2) permita que o observador determine a direção da discussão; (3) mantenha o feedback confidencial e formatado; (4) mantenha o feedback confidencial e formatado; o feedback se concentra nas habilidades de ensino, e não no professor individual; (5) conheça seus colegas; (6) seja atencioso consigo mesmo e com os outros; (7) lembre-se de que os pronomes desempenham um papel importante ao fornecer feedback; (8) use perguntas para esclarecer a perspectiva de ensino; (10) estabeleça processos de confiança e feedback em observações entre pares; (11) faça da observação da aprendizagem uma situação vantajosa para todos; (12) crie um plano de ação. Os pesquisadores também estão explorando o impacto do viés nas observações e como o processo de aprendizagem, observação e discussão do feedback pode proporcionar experiências de aprendizagem valiosas para ambas as partes, levando a parcerias de longo prazo e à melhoria da qualidade educacional. Gomaly et al. (2014) [71] relataram que a qualidade do feedback eficaz deve incluir (1) esclarecimento da tarefa fornecendo instruções, (2) aumento da motivação para encorajar maior esforço e (3) a percepção do receptor de que é um processo valioso. fornecido por uma fonte confiável.
Embora o corpo docente das faculdades de medicina receba feedback sobre o PRT, é importante treiná-lo em como interpretar esse feedback (semelhante à recomendação de receber treinamento em interpretação de SET) e permitir que os docentes tenham tempo suficiente para refletir construtivamente sobre o feedback recebido.
Data da publicação: 24/11/2023