A avaliação do currículo e do corpo docente é fundamental para todas as instituições de ensino superior, incluindo escolas médicas.As avaliações do ensino dos alunos (SET) normalmente assumem a forma de questionários anônimos e, embora tenham sido originalmente desenvolvidas para avaliar cursos e programas, ao longo do tempo também foram usadas para medir a eficácia do ensino e, subsequentemente, tomar decisões importantes relacionadas ao ensino.Desenvolvimento profissional docente.No entanto, certos factores e preconceitos podem afectar as pontuações do SET e a eficácia do ensino não pode ser medida objectivamente.Embora a literatura sobre avaliação de cursos e docentes no ensino superior geral esteja bem estabelecida, há preocupações sobre o uso das mesmas ferramentas para avaliar cursos e docentes em programas médicos.Em particular, o SET no ensino superior geral não pode ser diretamente aplicado à concepção e implementação de currículos nas escolas médicas.Esta revisão fornece uma visão geral de como o SET pode ser melhorado nos níveis de instrumento, gerenciamento e interpretação.Além disso, este artigo destaca que ao usar vários métodos, como revisão por pares, grupos focais e autoavaliação para coletar e triangular dados de múltiplas fontes, incluindo estudantes, pares, gerentes de programa e autoconsciência, um sistema de avaliação abrangente pode ser construído.Medir com eficácia a eficácia do ensino, apoiar o desenvolvimento profissional de educadores médicos e melhorar a qualidade do ensino na educação médica.
A avaliação de cursos e programas é um processo interno de controle de qualidade em todas as instituições de ensino superior, incluindo escolas médicas.A Avaliação do Ensino do Aluno (SET) geralmente assume a forma de um artigo anônimo ou questionário on-line usando uma escala de avaliação como uma escala Likert (geralmente cinco, sete ou superior) que permite às pessoas indicar sua concordância ou grau de concordância.Não concordo com afirmações específicas) [1,2,3].Embora os SETs tenham sido originalmente desenvolvidos para avaliar cursos e programas, ao longo do tempo eles também foram usados para medir a eficácia do ensino [4, 5, 6].A eficácia do ensino é considerada importante porque se presume que existe uma relação positiva entre a eficácia do ensino e a aprendizagem dos alunos [7].Embora a literatura não defina claramente a eficácia do treinamento, ela geralmente é especificada através de características específicas do treinamento, como “interação em grupo”, “preparação e organização”, “feedback aos alunos” [8].
As informações obtidas no SET podem fornecer informações úteis, como se há necessidade de ajustar os materiais didáticos ou métodos de ensino utilizados em um determinado curso.O SET também é usado para tomar decisões importantes relacionadas ao desenvolvimento profissional de professores [4,5,6].No entanto, a adequação desta abordagem é questionável quando as instituições de ensino superior tomam decisões relativas ao corpo docente, tais como promoção para níveis académicos mais elevados (frequentemente associados a antiguidade e aumentos salariais) e cargos administrativos importantes dentro da instituição [4, 9].Além disso, as instituições muitas vezes exigem que os novos docentes incluam SETs de instituições anteriores nas suas candidaturas para novos cargos, influenciando assim não apenas as promoções do corpo docente dentro da instituição, mas também potenciais novos empregadores [10].
Embora a literatura sobre currículo e avaliação de professores esteja bem estabelecida no campo do ensino superior geral, este não é o caso no campo da medicina e da saúde [11].O currículo e as necessidades dos educadores médicos diferem daqueles do ensino superior geral.Por exemplo, a aprendizagem em equipe é frequentemente utilizada em cursos integrados de educação médica.Isso significa que o currículo da faculdade de medicina consiste em uma série de cursos ministrados por diversos docentes com formação e experiência em diversas disciplinas médicas.Embora os alunos beneficiem do conhecimento profundo de especialistas na área sob esta estrutura, muitas vezes enfrentam o desafio de se adaptarem aos diferentes estilos de ensino de cada professor [1, 12, 13, 14].
Embora existam diferenças entre o ensino superior geral e o ensino médico, o SET utilizado no primeiro também é por vezes utilizado em cursos de medicina e de saúde.No entanto, a implementação do SET no ensino superior geral apresenta muitos desafios em termos de currículo e avaliação do corpo docente em programas profissionais de saúde [11].Em particular, devido a diferenças nos métodos de ensino e nas qualificações dos professores, os resultados da avaliação dos cursos podem não incluir as opiniões dos alunos de todos os professores ou turmas.A pesquisa de Uytenhaage e O'Neill (2015) [5] sugere que pedir aos alunos que avaliem todos os professores individualmente no final de um curso pode ser inadequado porque é quase impossível para os alunos lembrarem e comentarem as avaliações de vários professores.categorias.Além disso, muitos professores de educação médica também são médicos para quem o ensino é apenas uma pequena parte das suas responsabilidades [15, 16].Como estão principalmente envolvidos no atendimento ao paciente e, em muitos casos, na pesquisa, muitas vezes têm pouco tempo para desenvolver suas habilidades de ensino.No entanto, os médicos, como professores, devem receber tempo, apoio e feedback construtivo de suas organizações [16].
Os estudantes de medicina tendem a ser indivíduos altamente motivados e trabalhadores, que conseguem ser admitidos na faculdade de medicina (através de um processo competitivo e exigente a nível internacional).Além disso, durante a faculdade de medicina, espera-se que os estudantes de medicina adquiram uma grande quantidade de conhecimentos e desenvolvam um grande número de competências num curto período de tempo, bem como tenham sucesso em avaliações nacionais complexas, internas e abrangentes [17,18,19 ,20].Assim, devido aos elevados padrões esperados dos estudantes de medicina, os estudantes de medicina podem ser mais críticos e ter maiores expectativas de ensino de alta qualidade do que os estudantes de outras disciplinas.Assim, os estudantes de medicina podem ter avaliações inferiores de seus professores em comparação aos estudantes de outras disciplinas pelos motivos acima mencionados.Curiosamente, estudos anteriores mostraram uma relação positiva entre a motivação dos alunos e as avaliações individuais dos professores [21].Além disso, nos últimos 20 anos, a maioria dos currículos das escolas médicas em todo o mundo tornaram-se verticalmente integrados [22], de modo que os alunos são expostos à prática clínica desde os primeiros anos do seu programa.Assim, ao longo dos últimos anos, os médicos têm se envolvido cada vez mais na educação de estudantes de medicina, endossando, mesmo no início de seus programas, a importância do desenvolvimento de SETs adaptados a populações específicas de professores [22].
Devido à natureza específica da educação médica mencionada acima, os SETs usados para avaliar cursos gerais de ensino superior ministrados por um único membro do corpo docente devem ser adaptados para avaliar o currículo integrado e o corpo docente clínico dos programas médicos [14].Portanto, há necessidade de desenvolver modelos SET mais eficazes e sistemas de avaliação abrangentes para uma aplicação mais eficaz na educação médica.
A presente revisão descreve os avanços recentes no uso do SET no ensino superior (geral) e suas limitações e, em seguida, descreve as diversas necessidades do SET para cursos e professores de educação médica.Esta revisão fornece uma atualização sobre como o SET pode ser melhorado nos níveis instrumental, administrativo e interpretativo, e concentra-se nos objetivos de desenvolvimento de modelos SET eficazes e sistemas de avaliação abrangentes que irão medir eficazmente a eficácia do ensino, apoiar o desenvolvimento de educadores profissionais de saúde e melhorar a qualidade do ensino na educação médica.
Este estudo segue o estudo de Green et al.(2006) [23] para conselhos e Baumeister (2013) [24] para conselhos sobre como escrever resenhas narrativas.Decidimos escrever uma revisão narrativa sobre este tema porque este tipo de revisão ajuda a apresentar uma perspectiva ampla sobre o tema.Além disso, como as revisões narrativas se baseiam em estudos metodologicamente diversos, ajudam a responder a questões mais amplas.Além disso, o comentário narrativo pode ajudar a estimular o pensamento e a discussão sobre um tópico.
Como o SET é utilizado na educação médica e quais os desafios em comparação ao SET utilizado no ensino superior geral,
As bases de dados Pubmed e ERIC foram pesquisadas usando uma combinação dos termos de pesquisa “avaliação do ensino do aluno”, “eficácia do ensino”, “educação médica”, “ensino superior”, “avaliação do currículo e do corpo docente” e, para Peer Review 2000, operadores lógicos .artigos publicados entre 2021 e 2021. Critérios de inclusão: Os estudos incluídos eram estudos originais ou artigos de revisão, e os estudos eram relevantes para as áreas das três principais questões de pesquisa.Critérios de exclusão: Estudos que não eram de língua inglesa ou estudos nos quais os artigos de texto completo não puderam ser encontrados ou não eram relevantes para as três principais questões de pesquisa foram excluídos do documento de revisão atual.Após a seleção das publicações, elas foram organizadas nos seguintes tópicos e subtópicos associados: (a) O uso do SET no ensino superior geral e suas limitações, (b) O uso do SET no ensino médico e sua relevância para abordar questões relacionadas à comparação de SET (c) Melhorar o SET nos níveis instrumental, gerencial e interpretativo para desenvolver modelos SET eficazes.
A Figura 1 fornece um fluxograma de artigos selecionados incluídos e discutidos na parte atual da revisão.
O SET tem sido tradicionalmente utilizado no ensino superior e o tema tem sido bem estudado na literatura [10, 21].No entanto, um grande número de estudos examinou as suas muitas limitações e esforços para resolver essas limitações.
A pesquisa mostra que existem muitas variáveis que influenciam as pontuações do SET [10, 21, 25, 26].Portanto, é importante que administradores e professores compreendam essas variáveis ao interpretar e utilizar os dados.A próxima seção fornece uma breve visão geral dessas variáveis.A Figura 2 mostra alguns dos fatores que influenciam as pontuações do SET, que são detalhados nas seções a seguir.
Nos últimos anos, o uso de kits online aumentou em comparação aos kits em papel.No entanto, as evidências na literatura sugerem que o SET online pode ser concluído sem que os alunos dediquem a atenção necessária ao processo de conclusão.Num interessante estudo realizado por Uitdehaage e O'Neill [5], professores inexistentes foram adicionados ao SET e muitos alunos forneceram feedback [5].Além disso, as evidências na literatura sugerem que os estudantes muitas vezes acreditam que a conclusão do SET não leva a um melhor desempenho educacional, o que, quando combinado com a agenda lotada dos estudantes de medicina, pode resultar em taxas de resposta mais baixas [27].Embora a investigação mostre que as opiniões dos alunos que fazem o teste não são diferentes das de todo o grupo, as baixas taxas de resposta ainda podem levar os professores a levar os resultados menos a sério [28].
A maioria dos SETs online são concluídos anonimamente.A ideia é permitir que os alunos expressem livremente as suas opiniões, sem a suposição de que a sua expressão terá qualquer impacto nas suas futuras relações com os professores.No estudo de Alfonso et al. [29], os pesquisadores usaram classificações anônimas e classificações nas quais os avaliadores tiveram que fornecer seus nomes (classificações públicas) para avaliar a eficácia do ensino do corpo docente da faculdade de medicina por residentes e estudantes de medicina.Os resultados mostraram que os professores geralmente obtiveram pontuações mais baixas nas avaliações anônimas.Os autores argumentam que os alunos são mais honestos em avaliações anônimas devido a certas barreiras em avaliações abertas, como relações de trabalho prejudicadas com os professores participantes [29].No entanto, também deve ser observado que o anonimato frequentemente associado ao SET online pode levar alguns alunos a serem desrespeitosos e retaliatórios para com o instrutor se as pontuações da avaliação não atenderem às expectativas do aluno [30].No entanto, pesquisas mostram que os alunos raramente fornecem feedback desrespeitoso, e este último pode ser ainda mais limitado ao ensinar os alunos a fornecer feedback construtivo [30].
Vários estudos mostraram que existe uma correlação entre as pontuações SET dos alunos, suas expectativas de desempenho nos testes e sua satisfação nos testes [10, 21].Por exemplo, Strobe (2020) [9] relatou que os alunos recompensam cursos fáceis e os professores recompensam notas fracas, o que pode encorajar um ensino deficiente e levar à inflação de notas [9].Em um estudo recente, Looi et al.(2020) [31] Os pesquisadores relataram que SETs mais favoráveis estão relacionados e são mais fáceis de avaliar.Além disso, existem evidências perturbadoras de que o SET está inversamente relacionado com o desempenho dos alunos nos cursos subsequentes: quanto mais elevada for a classificação, pior o desempenho dos alunos nos cursos subsequentes.Cornell et al.(2016)[32] conduziram um estudo para examinar se os estudantes universitários aprenderam relativamente mais com professores cujo SET eles avaliaram bem.Os resultados mostram que quando a aprendizagem é avaliada no final de um curso, os professores com as classificações mais elevadas também contribuem para a aprendizagem da maioria dos alunos.Contudo, quando a aprendizagem é medida pelo desempenho em cursos relevantes subsequentes, os professores com pontuações relativamente baixas são os mais eficazes.Os pesquisadores levantaram a hipótese de que tornar um curso mais desafiador de forma produtiva poderia diminuir as classificações, mas melhorar o aprendizado.Assim, as avaliações dos alunos não devem ser a única base para avaliar o ensino, mas devem ser reconhecidas.
Vários estudos mostram que o desempenho do SET é influenciado pelo próprio curso e pela sua organização.Ming e Baozhi [33] descobriram em seu estudo que havia diferenças significativas nas pontuações SET entre alunos de diferentes disciplinas.Por exemplo, as ciências clínicas têm pontuações SET mais altas do que as ciências básicas.Os autores explicaram que isso ocorre porque os estudantes de medicina estão interessados em se tornarem médicos e, portanto, têm um interesse pessoal e maior motivação para participar mais em cursos de ciências clínicas em comparação com cursos de ciências básicas [33].Tal como no caso das disciplinas eletivas, a motivação dos alunos para a disciplina também tem um efeito positivo nas pontuações [21].Vários outros estudos também apoiam que o tipo de curso pode influenciar as pontuações do SET [10, 21].
Além disso, outros estudos mostraram que quanto menor o tamanho da turma, maior o nível de SET alcançado pelos professores [10, 33].Uma possível explicação é que turmas menores aumentam as oportunidades de interação professor-aluno.Além disso, as condições em que a avaliação é realizada podem influenciar os resultados.Por exemplo, as pontuações do SET parecem ser influenciadas pela hora e dia em que o curso é ministrado, bem como pelo dia da semana em que o SET é concluído (por exemplo, avaliações concluídas nos fins de semana tendem a resultar em pontuações mais positivas) do que as avaliações concluídas no início da semana.[10].
Um estudo interessante de Hessler et al também questiona a eficácia do SET.[34].Neste estudo, um ensaio clínico randomizado foi realizado em um curso de medicina de emergência.Estudantes de medicina do terceiro ano foram designados aleatoriamente para um grupo de controle ou para um grupo que recebeu biscoitos de chocolate grátis (grupo de biscoitos).Todos os grupos foram ministrados pelos mesmos professores, e o conteúdo do treinamento e os materiais do curso foram idênticos para ambos os grupos.Após o curso, todos os alunos foram convidados a completar um conjunto.Os resultados mostraram que o grupo do biscoito avaliou os professores significativamente melhor do que o grupo de controle, questionando a eficácia do SET [34].
As evidências na literatura também apoiam que o gênero pode influenciar as pontuações do SET [35,36,37,38,39,40,41,42,43,44,45,46].Por exemplo, alguns estudos demonstraram uma relação entre o género dos alunos e os resultados da avaliação: as estudantes do sexo feminino obtiveram pontuações mais elevadas do que os estudantes do sexo masculino [27].A maioria das evidências confirma que os alunos classificam as professoras como inferiores aos professores [37, 38, 39, 40].Por exemplo, Boring et al.[38] mostraram que tanto os estudantes do sexo masculino quanto do feminino acreditavam que os homens tinham mais conhecimento e tinham habilidades de liderança mais fortes do que as mulheres.O facto de o género e os estereótipos influenciarem o TSE também é apoiado pelo estudo de MacNell et al.[41], que relatou que os alunos em seu estudo classificaram as professoras como inferiores aos professores do sexo masculino em vários aspectos do ensino [41].Além disso, Morgan et al [42] forneceram evidências de que as médicas receberam classificações de ensino mais baixas em quatro principais rotações clínicas (cirurgia, pediatria, obstetrícia e ginecologia e medicina interna) em comparação com os médicos do sexo masculino.
No estudo de Murray et al. (2020) [43], os pesquisadores relataram que a atratividade do corpo docente e o interesse dos alunos no curso estavam associados a pontuações SET mais altas.Por outro lado, a dificuldade do curso está associada a pontuações SET mais baixas.Além disso, os alunos deram pontuações SET mais altas a jovens professores brancos de humanidades do sexo masculino e a professores titulares de cargos de professor titular.Não houve correlações entre as avaliações de ensino SET e os resultados dos inquéritos aos professores.Outros estudos também confirmam o impacto positivo da atratividade física dos professores nos resultados da avaliação [44].
Clayson et al.(2017) [45] relataram que, embora haja um acordo geral de que o SET produz resultados confiáveis e que as médias das turmas e dos professores são consistentes, ainda existem inconsistências nas respostas individuais dos alunos.Em resumo, os resultados deste relatório de avaliação indicam que os alunos não concordaram com o que lhes foi pedido para avaliar.As medidas de confiabilidade derivadas das avaliações do ensino pelos alunos são insuficientes para fornecer uma base para estabelecer a validade.Portanto, o SET pode, por vezes, fornecer informações sobre os alunos e não sobre os professores.
O SET de educação em saúde difere do SET tradicional, mas os educadores costumam usar o SET disponível no ensino superior geral, em vez do SET específico para programas de profissões de saúde relatados na literatura.No entanto, estudos realizados ao longo dos anos identificaram vários problemas.
Jones e outros (1994).[46] conduziram um estudo para determinar a questão de como avaliar o corpo docente da faculdade de medicina a partir das perspectivas do corpo docente e dos administradores.No geral, as questões mais frequentemente mencionadas relacionavam-se com a avaliação do ensino.As mais comuns foram reclamações gerais sobre a inadequação dos métodos atuais de avaliação de desempenho, com os entrevistados também fazendo reclamações específicas sobre o SET e a falta de reconhecimento do ensino nos sistemas de recompensa acadêmica.Outros problemas relatados incluíram procedimentos de avaliação e critérios de promoção inconsistentes entre departamentos, falta de avaliações regulares e falha na ligação dos resultados da avaliação aos salários.
Royal et al (2018) [11] descrevem algumas das limitações do uso do SET para avaliar currículo e corpo docente em programas profissionais de saúde no ensino superior geral.Os investigadores relatam que o SET no ensino superior enfrenta vários desafios porque não pode ser aplicado diretamente à concepção curricular e ao ensino de cursos nas escolas médicas.As perguntas frequentes, incluindo perguntas sobre o instrutor e o curso, costumam ser combinadas em um único questionário, de modo que os alunos muitas vezes têm dificuldade em distingui-las.Além disso, os cursos em programas médicos são frequentemente ministrados por vários membros do corpo docente.Isto levanta questões de validade dado o número potencialmente limitado de interações entre alunos e professores avaliados por Royal et al.(2018)[11].Em um estudo de Hwang et al.(2017) [14], os pesquisadores examinaram o conceito de como as avaliações retrospectivas dos cursos refletem de forma abrangente as percepções dos alunos sobre os cursos de vários instrutores.Seus resultados sugerem que a avaliação individualizada das aulas é necessária para gerenciar cursos multidepartamentais dentro de um currículo integrado de faculdade de medicina.
Uitdehaage e O'Neill (2015) [5] examinaram até que ponto os estudantes de medicina fizeram deliberadamente SET em um curso presencial com vários professores.Cada um dos dois cursos pré-clínicos contou com um instrutor fictício.Os alunos devem fornecer avaliações anônimas a todos os instrutores (incluindo instrutores fictícios) dentro de duas semanas após a conclusão do curso, mas podem recusar-se a avaliar o instrutor.No ano seguinte aconteceu novamente, mas o retrato do conferencista fictício foi incluído.Sessenta e seis por cento dos alunos avaliaram o instrutor virtual sem semelhança, mas menos alunos (49%) avaliaram o instrutor virtual com semelhança presente.Estas descobertas sugerem que muitos estudantes de medicina completam os SETs às cegas, mesmo quando acompanhados de fotografias, sem considerar cuidadosamente quem estão a avaliar, muito menos o desempenho do instrutor.Isto dificulta a melhoria da qualidade do programa e pode ser prejudicial ao progresso académico dos professores.Os pesquisadores propõem uma estrutura que oferece uma abordagem radicalmente diferente para SET que envolve ativa e ativamente os alunos.
Existem muitas outras diferenças no currículo educacional dos programas médicos em comparação com outros programas gerais de ensino superior [11].A educação médica, tal como a educação profissional em saúde, está claramente focada no desenvolvimento de funções profissionais claramente definidas (prática clínica).Como resultado, os currículos dos programas médicos e de saúde tornam-se mais estáticos, com opções limitadas de cursos e professores.Curiosamente, os cursos de educação médica são frequentemente oferecidos em formato de coorte, com todos os alunos cursando o mesmo curso no mesmo horário a cada semestre.Portanto, matricular um grande número de alunos (geralmente n = 100 ou mais) pode afetar o formato de ensino, bem como a relação professor-aluno.Além disso, em muitas escolas médicas, as propriedades psicométricas da maioria dos instrumentos não são avaliadas no uso inicial, e as propriedades da maioria dos instrumentos podem permanecer desconhecidas [11].
Vários estudos nos últimos anos forneceram evidências de que o SET pode ser melhorado abordando alguns fatores importantes que podem influenciar a eficácia do SET nos níveis instrumental, administrativo e interpretativo.A Figura 3 mostra algumas das etapas que podem ser usadas para criar um modelo SET eficaz.As seções a seguir fornecem uma descrição mais detalhada.
Melhorar o SET nos níveis instrumental, gerencial e interpretativo para desenvolver modelos SET eficazes.
Conforme mencionado anteriormente, a literatura confirma que o preconceito de género pode influenciar as avaliações dos professores [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46].Peterson et al.(2019) [40] conduziram um estudo que examinou se o gênero dos alunos influenciava as respostas dos alunos aos esforços de mitigação de preconceitos.Neste estudo, o SET foi aplicado em quatro turmas (duas ministradas por professores do sexo masculino e duas ministradas por professoras).Dentro de cada curso, os alunos foram designados aleatoriamente para receber uma ferramenta de avaliação padrão ou a mesma ferramenta, mas usando uma linguagem projetada para reduzir preconceitos de gênero.O estudo descobriu que os alunos que usaram ferramentas de avaliação anti-preconceito deram às professoras pontuações SET significativamente mais altas do que os alunos que usaram ferramentas de avaliação padrão.Além disso, não houve diferenças nas avaliações dos professores do sexo masculino entre os dois grupos.Os resultados deste estudo são significativos e demonstram como uma intervenção linguística relativamente simples pode reduzir o preconceito de género nas avaliações dos alunos sobre o ensino.Portanto, é uma boa prática considerar cuidadosamente todos os SETs e usar a linguagem para reduzir o preconceito de género no seu desenvolvimento [40].
Para obter resultados úteis de qualquer SET, é importante considerar cuidadosamente o propósito da avaliação e a formulação das perguntas com antecedência.Embora a maioria das pesquisas SET indiquem claramente uma seção sobre aspectos organizacionais do curso, ou seja, “Avaliação do Curso”, e uma seção sobre o corpo docente, ou seja, “Avaliação do Professor”, em algumas pesquisas a diferença pode não ser óbvia, ou pode haver confusão entre os alunos sobre como avaliar cada uma dessas áreas individualmente.Portanto, o desenho do questionário deve ser adequado, esclarecer as duas partes diferentes do questionário e conscientizar os alunos sobre o que deve ser avaliado em cada área.Além disso, recomenda-se um teste piloto para determinar se os alunos interpretam as questões da maneira pretendida [24].Em um estudo de Oermann et al.(2018) [26], os pesquisadores pesquisaram e sintetizaram literatura que descreve o uso de SET em uma ampla gama de disciplinas do ensino de graduação e pós-graduação para fornecer aos educadores orientação sobre o uso de SET em enfermagem e outros programas profissionais de saúde.Os resultados sugerem que os instrumentos SET devem ser avaliados antes do uso, incluindo testes piloto dos instrumentos com alunos que podem não ser capazes de interpretar os itens ou perguntas do instrumento SET conforme pretendido pelo instrutor.
Vários estudos examinaram se o modelo de governação SET influencia o envolvimento dos alunos.
Daumier et al.(2004) [47] compararam as classificações dos alunos sobre o treinamento de instrutores concluído em sala de aula com as classificações coletadas on-line, comparando o número de respostas e classificações.A pesquisa mostra que as pesquisas on-line normalmente têm taxas de resposta mais baixas do que as pesquisas presenciais.No entanto, o estudo descobriu que as avaliações online não produziram notas médias significativamente diferentes das avaliações tradicionais em sala de aula.
Foi relatada uma falta de comunicação bidirecional entre alunos e professores durante a conclusão dos SETs on-line (mas muitas vezes impressos), resultando na falta de oportunidade para esclarecimentos.Portanto, o significado das perguntas, comentários ou avaliações dos alunos do SET pode nem sempre ser claro [48].Algumas instituições abordaram esta questão reunindo os alunos durante uma hora e alocando um tempo específico para completar o SET online (anonimamente) [49].Em seu estudo, Malone et al.(2018) [49] realizaram diversas reuniões para discutir com os alunos o propósito do SET, quem veria os resultados do SET e como os resultados seriam utilizados, e quaisquer outras questões levantadas pelos alunos.O SET é conduzido como um grupo focal: o grupo coletivo responde a perguntas abertas por meio de votação informal, debate e esclarecimentos.A taxa de resposta foi superior a 70-80%, fornecendo aos professores, administradores e comitês curriculares informações abrangentes [49].
Como mencionado acima, no estudo de Uitdehaage e O'Neill [5], os investigadores relataram que os alunos no seu estudo avaliaram professores inexistentes.Conforme mencionado anteriormente, este é um problema comum nos cursos de medicina, onde cada curso pode ser ministrado por muitos membros do corpo docente, mas os alunos podem não se lembrar de quem contribuiu para cada curso ou o que cada membro do corpo docente fez.Algumas instituições têm abordado esta questão fornecendo uma fotografia de cada docente, o seu nome e o tema/data apresentado para refrescar a memória dos alunos e evitar problemas que comprometam a eficácia do SET [49].
Talvez o problema mais importante associado ao SET seja que os professores são incapazes de interpretar corretamente os resultados quantitativos e qualitativos do SET.Alguns professores podem querer fazer comparações estatísticas ao longo dos anos, alguns podem ver pequenos aumentos/diminuições nas pontuações médias como mudanças significativas, alguns querem acreditar em todas as pesquisas e outros são totalmente céticos em relação a qualquer pesquisa [45,50, 51].
A falha na interpretação correta dos resultados ou no processamento do feedback dos alunos pode afetar as atitudes dos professores em relação ao ensino.Os resultados de Lutovac et al.(2017) [52] A formação de apoio aos professores é necessária e benéfica para fornecer feedback aos alunos.A educação médica necessita urgentemente de treinamento na interpretação correta dos resultados do SET.Portanto, o corpo docente da faculdade de medicina deve receber treinamento sobre como avaliar os resultados e as áreas importantes nas quais devem se concentrar [50, 51].
Assim, os resultados descritos sugerem que os SETs devem ser cuidadosamente concebidos, administrados e interpretados para garantir que os resultados dos SET tenham um impacto significativo em todas as partes interessadas relevantes, incluindo professores, administradores de escolas médicas e estudantes.
Devido a algumas das limitações do SET, devemos continuar a esforçar-nos para criar um sistema de avaliação abrangente para reduzir preconceitos na eficácia do ensino e apoiar o desenvolvimento profissional de educadores médicos.
Uma compreensão mais completa da qualidade do ensino clínico do corpo docente pode ser obtida através da coleta e triangulação de dados de múltiplas fontes, incluindo estudantes, colegas, administradores de programas e autoavaliações do corpo docente [53, 54, 55, 56, 57].As seções a seguir descrevem possíveis outras ferramentas/métodos que podem ser usados além do SET eficaz para ajudar a desenvolver uma compreensão mais apropriada e completa da eficácia do treinamento (Figura 4).
Métodos que podem ser usados para desenvolver um modelo abrangente de sistema de avaliação da eficácia do ensino em uma faculdade de medicina.
Um grupo focal é definido como “uma discussão em grupo organizada para explorar um conjunto específico de questões” [58].Nos últimos anos, as escolas médicas criaram grupos focais para obter feedback de qualidade dos alunos e abordar algumas das armadilhas do SET online.Esses estudos mostram que os grupos focais são eficazes no fornecimento de feedback de qualidade e no aumento da satisfação dos alunos [59, 60, 61].
Em um estudo de Brundle et al.[59] Os pesquisadores implementaram um processo de grupo de avaliação de alunos que permitiu que diretores de cursos e alunos discutissem cursos em grupos focais.Os resultados indicam que as discussões em grupos focais complementam as avaliações on-line e aumentam a satisfação dos alunos com o processo geral de avaliação do curso.Os alunos valorizam a oportunidade de comunicar diretamente com os diretores de curso e acreditam que este processo pode contribuir para a melhoria educacional.Também sentiram que conseguiram compreender o ponto de vista do diretor do curso.Além dos alunos, os diretores dos cursos também avaliaram que os grupos focais facilitaram uma comunicação mais eficaz com os alunos [59].Assim, a utilização de grupos focais pode proporcionar às escolas médicas uma compreensão mais completa da qualidade de cada curso e da eficácia do ensino do respectivo corpo docente.No entanto, deve-se notar que os próprios grupos focais apresentam algumas limitações, como a participação de apenas um pequeno número de alunos em comparação com o programa SET online, que está disponível para todos os alunos.Além disso, a realização de grupos focais para vários cursos pode ser um processo demorado para orientadores e alunos.Isto apresenta limitações significativas, especialmente para estudantes de medicina que têm agendas muito ocupadas e podem realizar estágios clínicos em diferentes localizações geográficas.Além disso, os grupos focais requerem um grande número de facilitadores experientes.No entanto, a incorporação de grupos focais no processo de avaliação pode fornecer informações mais detalhadas e específicas sobre a eficácia do treinamento [48, 59, 60, 61].
Schiekierka-Schwacke et al.(2018) [62] examinaram as percepções de alunos e professores sobre uma nova ferramenta para avaliar o desempenho do corpo docente e os resultados de aprendizagem dos alunos em duas escolas médicas alemãs.Discussões em grupos focais e entrevistas individuais foram realizadas com professores e estudantes de medicina.Os professores apreciaram o feedback pessoal fornecido pela ferramenta de avaliação e os alunos relataram que deveria ser criado um ciclo de feedback, incluindo objetivos e consequências, para incentivar a comunicação dos dados da avaliação.Assim, os resultados deste estudo apoiam a importância de fechar o ciclo de comunicação com os alunos e informá-los dos resultados da avaliação.
Os programas de Revisão de Ensino por Pares (PRT) são muito importantes e têm sido implementados no ensino superior há muitos anos.O PRT envolve um processo colaborativo de observação do ensino e fornecimento de feedback ao observador para melhorar a eficácia do ensino [63].Além disso, exercícios de autorreflexão, discussões estruturadas de acompanhamento e designação sistemática de colegas treinados podem ajudar a melhorar a eficácia do PRT e a cultura de ensino do departamento [64].Relata-se que esses programas trazem muitos benefícios, pois podem ajudar os professores a receber feedback construtivo de colegas professores que podem ter enfrentado dificuldades semelhantes no passado e podem fornecer maior apoio, fornecendo sugestões úteis para melhorias [63].Além disso, quando usada de forma construtiva, a revisão por pares pode melhorar o conteúdo do curso e os métodos de entrega, e apoiar os educadores médicos na melhoria da qualidade do seu ensino [65, 66].
Um estudo recente de Campbell et al.(2019) [67] fornecem evidências de que o modelo de apoio entre pares no local de trabalho é uma estratégia de desenvolvimento de professores aceitável e eficaz para educadores clínicos de saúde.Em outro estudo, Caygill et al.[68] conduziram um estudo no qual um questionário especialmente elaborado foi enviado a educadores de saúde da Universidade de Melbourne para permitir-lhes compartilhar suas experiências de uso da PRT.Os resultados indicam que existe um interesse reprimido na PRT entre os educadores médicos e que o formato voluntário e informativo de revisão por pares é considerado uma oportunidade importante e valiosa para o desenvolvimento profissional.
Vale a pena notar que os programas de PRT devem ser cuidadosamente concebidos para evitar a criação de um ambiente de julgamento e “gestão” que muitas vezes leva ao aumento da ansiedade entre os professores observados [69].Portanto, o objectivo deve ser desenvolver cuidadosamente planos de PRT que complementem e facilitem a criação de um ambiente seguro e forneçam feedback construtivo.Portanto, é necessária formação especial para formar revisores, e os programas de PRT devem envolver apenas professores verdadeiramente interessados e experientes.Isto é especialmente importante se as informações obtidas do PRT forem utilizadas nas decisões do corpo docente, como promoções a níveis superiores, aumentos salariais e promoções a cargos administrativos importantes.Deve-se notar que o PRT é demorado e, como os grupos focais, requer a participação de um grande número de professores experientes, tornando esta abordagem difícil de implementar em escolas médicas com poucos recursos.
Newman et al.(2019) [70] descrevem estratégias utilizadas antes, durante e após a formação, observações que destacam as melhores práticas e identificam soluções para problemas de aprendizagem.Os pesquisadores forneceram 12 sugestões aos revisores, incluindo: (1) escolha suas palavras com sabedoria;(2) permitir que o observador determine a direção da discussão;(3) manter o feedback confidencial e formatado;(4) manter o feedback confidencial e formatado;O feedback centra-se nas competências de ensino e não no professor individual;(5) Conheça seus colegas (6) Seja atencioso consigo mesmo e com os outros (7) Lembre-se de que os pronomes desempenham um papel importante no fornecimento de feedback, (8) Use perguntas para esclarecer a perspectiva de ensino, (10) Estabeleça processos de confiança e feedback nas observações dos pares, (11) tornar a observação da aprendizagem vantajosa para todos, (12) criar um plano de ação.Os investigadores também estão a explorar o impacto do preconceito nas observações e como o processo de aprendizagem, observação e discussão do feedback pode proporcionar experiências de aprendizagem valiosas para ambas as partes, conduzindo a parcerias de longo prazo e à melhoria da qualidade educacional.Gomaly et al.(2014) [71] relataram que a qualidade do feedback eficaz deve incluir (1) esclarecimento da tarefa, fornecendo instruções, (2) maior motivação para encorajar um maior esforço e (3) a percepção do destinatário dele como um processo valioso.fornecido por uma fonte respeitável.
Embora o corpo docente da faculdade de medicina receba feedback sobre o PRT, é importante treiná-lo sobre como interpretar o feedback (semelhante à recomendação de receber treinamento em interpretação de SET) e permitir que o corpo docente tenha tempo suficiente para refletir construtivamente sobre o feedback recebido.
Horário da postagem: 24 de novembro de 2023