6.4.2 (continua) Q33 Formas de avaliação da aprendizagem dos Estudantes no ERE

Q33 Formas de avaliação da aprendizagem dos Estudantes no ERE

 

No que diz respeito às formas de avaliação da aprendizagem dos estudantes no ERE, na Tabela 98, encontram-se os dados descritivos das diferenças entre os três grupos.

Tabela 98

Estatísticas Descritivas das Formas de Avaliação da Aprendizagem dos Estudantes no ERE - Amostra Total e Separada por Grupos

Q33 Durante as aulas remotas no período da pandemia da Covid-19, como o desempenho dos alunos em seu processo de aprendizagem foi avaliado?
  Estatística Bootstrapa
Erro Padrão BCa 95% de Intervalo de Confiança
Inferior Superior
Q33_1 Criação de vídeos, podcast, infográfico, painel ou pôster online, Gestor N 75 8 60 90
Média 0,37 0,06 0,27 0,47
Desvio padrão 0,487 0,016 0,448 0,503
Professor N 237 14 208 264
Média 0,32 0,03 0,26 0,39
Desvio padrão 0,468 0,012 0,441 0,488
Estudante N 1812 16 1783 1843
Média 0,22 0,01 0,2 0,24
Desvio padrão 0,415 0,006 0,401 0,428
Amostra Total N 2124 0 . .
Média 0,24 0,01 0,22 0,26
Desvio padrão 0,426 0,006 0,413 0,437
Q33_2 Criação de desenhos, memes, paródias, Histórias em Quadrinhos Gestor N 75 8 60 90
Média 0,21 0,05 0,12 0,31
Desvio padrão 0,412 0,036 0,331 0,466
Professor N 237 14 208 264
Média 0,21 0,03 0,16 0,26
Desvio padrão 0,409 0,019 0,367 0,44
Estudante N 1812 16 1783 1843
Média 0,12 0,01 0,1 0,13
Desvio padrão 0,322 0,008 0,306 0,339
Amostra Total N 2124 0 . .
Média 0,13 0,01 0,12 0,15
Desvio padrão 0,338 0,008 0,323 0,353
Q33_3 Elaboração de mapa conceitual Gestor N 75 8 60 90
Média 0,36 0,06 0,26 0,46
Desvio padrão 0,483 0,017 0,444 0,502
Professor N 237 14 208 264
Média 0,36 0,03 0,31 0,43
Desvio padrão 0,482 0,009 0,462 0,495
Estudante N 1812 16 1783 1843
Média 0,34 0,01 0,32 0,36
Desvio padrão 0,473 0,004 0,465 0,48
Amostra Total N 2124 0 . .
Média 0,34 0,01 0,32 0,36
Desvio padrão 0,474 0,003 0,467 0,481
Q33_4 Seminários virtuais Gestor N 75 9 60 92
Média 0,59 0,06 0,47 0,71
Desvio padrão 0,496 0,012 0,462 0,504
Professor N 237 14 211 262
Média 0,37 0,03 0,31 0,42
Desvio padrão 0,483 0,009 0,465 0,495
Estudante N 1812 16 1780 1844
Média 0,37 0,01 0,35 0,4
Desvio padrão 0,483 0,003 0,477 0,489
Amostra Total N 2124 0 . .
Média 0,38 0,01 0,36 0,4
Desvio padrão 0,485 0,003 0,48 0,49
Q33_5 Produção de textos Gestor N 75 9 60 92
Média 0,68 0,05 0,56 0,78
Desvio padrão 0,47 0,022 0,417 0,498
Professor N 237 14 211 262
Média 0,52 0,03 0,47 0,58
Desvio padrão 0,501 0,002 0,495 0,501
Estudante N 1812 16 1780 1844
Média 0,42 0,01 0,4 0,45
Desvio padrão 0,494 0,002 0,49 0,497
Amostra Total N 2124 0 . .
Média 0,44 0,01 0,42 0,47
Desvio padrão 0,497 0,001 0,494 0,499
Q33_6 Produção de slides Gestor N 75 9 60 92
Média 0,59 0,06 0,48 0,7
Desvio padrão 0,496 0,012 0,464 0,504
Professor N 237 14 211 262
Média 0,45 0,03 0,39 0,52
Desvio padrão 0,499 0,003 0,488 0,501
Estudante N 1812 16 1780 1844
Média 0,44 0,01 0,42 0,47
Desvio padrão 0,497 0,001 0,493 0,499
Amostra Total N 2124 0 . .
Média 0,45 0,01 0,42 0,47
Desvio padrão 0,497 0,001 0,494 0,499
Q33_7 Provas/testes escritos Gestor N 75 8 59 92
Média 0,4 0,06 0,29 0,51
Desvio padrão 0,493 0,013 0,456 0,503
Professor N 237 15 210 266
Média 0,54 0,03 0,48 0,59
Desvio padrão 0,5 0,002 0,493 0,501
Estudante N 1812 16 1782 1841
Média 0,39 0,01 0,36 0,41
Desvio padrão 0,487 0,003 0,481 0,492
Amostra Total N 2124 0 . .
Média 0,4 0,01 0,38 0,42
Desvio padrão 0,491 0,002 0,486 0,494
Q33_8 Participação nas aulas síncronas Gestor N 75 8 59 92
Média 0,69 0,05 0,59 0,8
Desvio padrão 0,464 0,024 0,411 0,494
Professor N 237 15 210 266
Média 0,67 0,03 0,61 0,73
Desvio padrão 0,471 0,011 0,447 0,488
Estudante N 1812 16 1782 1841
Média 0,38 0,01 0,36 0,4
Desvio padrão 0,485 0,003 0,48 0,49
Amostra Total N 2124 0 . .
Média 0,42 0,01 0,4 0,44
Desvio padrão 0,494 0,002 0,491 0,497
Q33_9 Realização e entrega das atividades no prazo Gestor N 75 8 59 92
Média 0,68 0,06 0,56 0,79
Desvio padrão 0,47 0,023 0,415 0,497
Professor N 237 15 210 266
Média 0,55 0,03 0,49 0,61
Desvio padrão 0,498 0,004 0,488 0,501
Estudante N 1812 16 1782 1841
Média 0,66 0,01 0,63 0,68
Desvio padrão 0,475 0,004 0,468 0,482
Amostra Total N 2124 0 . .
Média 0,64 0,01 0,62 0,67
Desvio padrão 0,479 0,003 0,472 0,484
Q33_10 Quizzes e jogos digitais Gestor N 75 9 59 91
Média 0,33 0,06 0,24 0,43
Desvio padrão 0,475 0,021 0,425 0,499
Professor N 237 14 209 266
Média 0,36 0,03 0,3 0,43
Desvio padrão 0,482 0,009 0,459 0,496
Estudante N 1812 16 1781 1840
Média 0,34 0,01 0,31 0,36
Desvio padrão 0,473 0,004 0,464 0,481
Amostra Total N 2124 0 . .
Média 0,34 0,01 0,32 0,36
Desvio padrão 0,474 0,003 0,466 0,481
Q33_11 Participação em lives/palestras Gestor N 75 9 59 91
Média 0,48 0,06 0,36 0,59
Desvio padrão 0,503 0,005 0,499 0,503
Professor N 237 14 209 266
Média 0,35 0,03 0,29 0,41
Desvio padrão 0,478 0,01 0,455 0,493
Estudante N 1812 16 1781 1840
Média 0,29 0,01 0,27 0,31
Desvio padrão 0,452 0,005 0,442 0,461
Amostra Total N 2124 0 . .
Média 0,3 0,01 0,28 0,32
Desvio padrão 0,458 0,004 0,449 0,466
Q33_12 Exercícios/atividades enviadas via e-mail ou redes sociais Gestor N 75 9 59 91
Média 0,88 0,04 0,8 0,95
Desvio padrão 0,327 0,045 0,223 0,401
Professor N 237 14 209 266
Média 0,81 0,03 0,76 0,86
Desvio padrão 0,393 0,021 0,352 0,427
Estudante N 1812 16 1781 1840
Média 0,75 0,01 0,73 0,78
Desvio padrão 0,431 0,006 0,419 0,44
Amostra Total N 2124 0 . .
Média 0,77 0,01 0,75 0,78
Desvio padrão 0,424 0,006 0,413 0,433
a. A menos que indicado de outra maneira, os resultados da bootstrap são baseados em 1000 amostras bootstrap.    

A Tabela 99 apresenta os resultados das diferenças estatisticamente significativas entre as médias dos grupos em análise na questão 33, identificadas por meio da ANOVA paramétrica, para os itens com variâncias homogêneas (Q33_3, Q33_4, Q33_6 e Q33_10), e da ANOVA com correção de Welch, para os demais itens (Q33_1, Q33_2, Q33_5, Q33_7, Q33_8, Q33_9, Q33_11 e Q33_12).

Tabela 99

Resultados do Teste ANOVA Paramétrica e de Welch para Q33

ANOVA
    Soma dos Quadrados df Quadrado Médio Z Sig.
Q33_3 Elaboração de mapa conceitual Entre Grupos 0,159 2 0,08 0,354 0,702
Nos grupos 477,371 2121 0,225    
Total 477,531 2123      
Q33_4 Seminários virtuais Entre Grupos 3,372 2 1,686 7,205 <,001
Nos grupos 496,289 2121 0,234    
Total 499,661 2123      
Q33_6 Produção de slides Entre Grupos 1,534 2 0,767 3,107 0,045
Nos grupos 523,56 2121 0,247    
Total 525,094 2123      
Q33_10 Quizzes e jogos digitais Entre Grupos 0,136 2 0,068 0,303 0,739
Nos grupos 476,758 2121 0,225    
Total 476,894 2123      
Testes Robustos de Igualdade de Médias
  Estatísticaa df1 df2 Sig.
Q33_1 Criação de vídeos, podcast, infográfico, painel ou pôster online Welch 8,031 2 163,435 <,001
Q33_2 Criação de desenhos, memes, paródias, Histórias em Quadrinhos Welch 7,389 2 161,158 <,001
Q33_5 Produção de textos Welch 13,888 2 168,179 <,001
Q33_7 Provas/testes escritos Welch 9,542 2 166,801 <,001
Q33_8 Participação nas aulas síncronas Welch 52,523 2 168,621 <,001
Q33_9 Realização e entrega das atividades no prazo Welch 4,658 2 167,003 0,011
Q33_11 Participação em lives/palestras Welch 6,948 2 164,925 <,001
Q33_12 Exercícios/atividades enviadas via e-mail ou redes sociais Welch 6,629 2 175,145 0,002
a. F distribuído assintoticamente.

 

Dentre os itens verificados pela ANOVA paramétrica (Tabela 99), foram encontradas diferenças significativas do ponto de vista estatístico entre os grupos nos itens Q33_4 (sig. = <,001) e Q33_6 (sig. = ,045). De modo contrário, os itens Q33_3 (sig. = ,702) e Q33_10 (sig. = ,739) não apresentaram diferenças significativas.

Por sua vez, os resultados da ANOVA de Welch (Tabela 99) comprovaram que há diferenças significativas entre as médias dos grupos no que concerne aos 8 itens analisados: Q33_1, Q33_2, Q33_5, Q33_7, Q33_8, Q33_9, Q33_11 e Q33_12.

Em conformidade com a Tabela 100, o teste de Games-Howell, interpretado com e sem bootstrapping (Q33_4 e Q33_6), apresentou diferenças significativas quanto aos itens Q33_1, Q33_2, Q33_8 e Q33_11 entre os grupos: Gestor/Estudante e Estudante/Professor.

Tabela 100

Teste Post-hoc de Games-Howell com e sem Bootstrapping (95% IC BCa) da Incorporação e Pretensão de Continuidade do Uso de Recursos Digitais no Pós-Pandemia

Q33 Durante as aulas remotas no período da pandemia da Covid-19, como o desempenho dos alunos em seu processo de aprendizagem foi avaliado?
Comparações múltiplas
Games-Howell  
Variável dependente   Diferença de médias Erro Padrão Sig. Intervalo de Confiança 95%  
Limite inferior Limite superior  
Q33_4 Seminários virtuais Gestor Professor ,220* 0,065 0,003 0,06 0,37  
Estudante ,215* 0,058 0,001 0,08 0,35  
Professor Gestor -,220* 0,065 0,003 -0,37 -0,06  
Estudante -0,004 0,033 0,991 -0,08 0,07  
Estudante Gestor -,215* 0,058 0,001 -0,35 -0,08  
Professor 0,004 0,033 0,991 -0,07 0,08  
Q33_6 Produção de slides Gestor Professor 0,135 0,066 0,104 -0,02 0,29  
Estudante ,146* 0,058 0,039 0,01 0,29  
Professor Gestor -0,135 0,066 0,104 -0,29 0,02  
Estudante 0,011 0,034 0,95 -0,07 0,09  
Estudante Gestor -,146* 0,058 0,039 -0,29 -0,01  
Professor -0,011 0,034 0,95 -0,09 0,07  
 *. A diferença média é significativa no nível 0.05.
Bootstrap para Comparações múltiplas
Games-Howell  
Variável dependente     Diferença de médias Bootstrapa  
Viés Erro Padrão BCa 95% de Intervalo de Confiança  
Inferior Superior  
Q33_1 Criação de vídeos, podcast, infográfico, painel ou pôster online Gestor Professor 0,053 -0,006 0,064 -0,066 0,162  
Estudante 0,153 -0,005 0,058 0,045 0,255  
Professor Gestor -0,053 0,006 0,064 -0,189 0,094  
Estudante 0,1 0,001 0,032 0,037 0,168  
Estudante Gestor -0,153 0,005 0,058 -0,273 -0,027  
Professor -0,1 -0,001 0,032 -0,167 -0,037  
Q33_2 Criação de desenhos, memes, paródias, Histórias em Quadrinhos Gestor Professor 0,002 -0,002 0,055 -0,092 0,105  
Estudante 0,096 -0,002 0,05 0,006 0,192  
Professor Gestor -0,002 0,002 0,055 -0,141 0,115  
Estudante 0,093 0 0,027 0,037 0,149  
Estudante Gestor -0,096 0,002 0,05 -0,21 0,01  
Professor -0,093 0 0,027 -0,149 -0,038  
Q33_5 Produção de textos  Gestor Professor 0,157 -0,001 0,064 0,027 0,284  
Estudante 0,256 -0,001 0,056 0,139 0,362  
Professor Gestor -0,157 0,001 0,064 -0,277 -0,03  
Estudante 0,099 0 0,033 0,036 0,16  
Estudante Gestor -0,256 0,001 0,056 -0,359 -0,143  
Professor -0,099 0 0,033 -0,171 -0,032  
Q33_7 Provas/testes escritos Gestor Professor -0,136 0 0,063 -0,255 -0,018  
Estudante 0,015 -0,001 0,058 -0,098 0,125  
Professor Gestor 0,136 0 0,063 0,011 0,264  
Estudante 0,151 -0,001 0,032 0,089 0,21  
Estudante Gestor -0,015 0,001 0,058 -0,128 0,103  
Professor -0,151 0,001 0,032 -0,214 -0,088  
Q33_8 Participação nas aulas síncronas Gestor Professor 0,022 0,001 0,061 -0,106 0,15  
Estudante 0,314 0,002 0,055 0,204 0,425  
Professor Gestor -0,022 -0,001 0,061 -0,133 0,087  
Estudante 0,291 0 0,032 0,225 0,359  
Estudante Gestor -0,314 -0,002 0,055 -0,41 -0,217  
Professor -0,291 0 0,032 -0,35 -0,231  
Q33_9 Realização e entrega das atividades no prazo Gestor Professor 0,127 0,003 0,064 -0,012 0,258  
Estudante 0,025 0,003 0,057 -0,093 0,141  
Professor Gestor -0,127 -0,003 0,064 -0,242 -0,014  
Estudante -0,102 0 0,034 -0,171 -0,036  
Estudante Gestor -0,025 -0,003 0,057 -0,133 0,076  
Professor 0,102 0 0,034 0,037 0,169  
Q33_11 Participação em lives/palestras Gestor Professor 0,13 -0,001 0,067 0 0,256  
Estudante 0,194 0 0,059 0,072 0,316  
Professor Gestor -0,13 0,001 0,067 -0,259 0,008  
Estudante 0,064 0,001 0,032 0 0,129  
Estudante Gestor -0,194 0 0,059 -0,301 -0,085  
Professor -0,064 -0,001 0,032 -0,124 -0,006  
Q33_12 Exercícios/atividades enviadas via e-mail ou redes sociais Gestor Professor 0,07 -0,001 0,044 -0,019 0,151  
Estudante 0,126 -0,001 0,038 0,046 0,193  
Professor Gestor -0,07 0,001 0,044 -0,154 0,026  
Estudante 0,056 0 0,027 -0,004 0,107  
Estudante Gestor -0,126 0,001 0,038 -0,198 -0,042  
Professor -0,056 0 0,027 -0,107 0,001  
a. A menos que indicado de outra maneira, os resultados da bootstrap são baseados em 1000 amostras bootstrap.

No que toca ao par Gestor/Estudante, em todos esses 4 itens - Q33_1 (Criação de vídeos, podcast, infográfico, painel ou pôster online), Q33_2 (Criação de desenhos, memes, paródias, Histórias em Quadrinhos/banda desenhada), Q33_8 (Participação nas aulas síncronas) e Q33_11(Participação em lives/palestras) -, o grupo de gestores apresentou scores médios mais altos dos que o grupo de estudantes. Com relação ao par Estudante/Professor, os scores médios mais elevados foram aferidos junto ao grupo dos professores. Por conseguinte, em ambos os pares, os estudantes indicam um uso das formas de avaliar descritas nos itens acima referidos inferior ao uso apontado pelos gestores e professores.

As possíveis razões para o score médio inferior dos estudantes podem ser a falta de consciência de que estavam sendo avaliados por meio das formas citadas nos itens Q33_1, Q33_2, Q33_8, Q33_11 e/ou sua percepção mais limitada, visto que falam apenas daquilo que vivenciaram, ou seja, sua experiência individual, como ilustram as narrativas a seguir: “Não fiz seminário” (A1GF1AP, comunicação pessoal, 20 de outubro de 2022); “A gente fez seminário uma vez” (A6GF1AP, comunicação pessoal, 20 de outubro de 2022); “Teve professor que mandava a gente enviar pelo e-mail” (A6GF2AP, comunicação pessoal, 20 de outubro de 2022); “O meu pedia que enviasse pelo WhatsApp” (A3GF2AP, comunicação pessoal, 20 de outubro de 2022).

Os gestores, de seu lugar de fala, observam as atividades avaliativas desenvolvidas por todos os docentes e discentes; já os professores, por sua vez, percebem sua vivência individual, mas também a dos alunos sob sua responsabilidade, que não é igual para todos por causa de inúmeros fatores já discutidos (falta de acesso, desmotivação, evasão, etc.).  

O item Q33_5 (Produção de textos) apresentou diferenças entre os grupos Gestor/Professor, Gestor/Estudante e Estudante/Professor. Dentre os três grupos, o score médio mais alto foi obtido pelos gestores (M=,68) e o mais baixo, pelo grupo de estudantes (M=,42). Aqui, também, a diferença das médias pode ser explicada pela perspetiva assumida por cada um destes segmentos a partir da sua posição nas aulas e atividades remotas, anteriormente mencionada, o que lhes permitiu uma observação mais ou menos ampla/restrita do uso da produção textual como forma avaliativa na pandemia.

No que se refere ao item Q33_4 (Seminários virtuais), foram encontradas diferenças estatisticamente significativas entre os grupos Gestor/Professor e Gestor/Estudante. Em ambos os pares, o score médio do grupo de gestores é mais alto (M=,59) comparativamente ao dos outros dois grupos, cujo score foi igual (M=,37).

Quanto aos itens Q33_6 (Produção de slides) e Q33_12 (Exercícios/atividades enviadas via e-mail ou redes sociais), foram verificadas diferenças significantes apenas entre os grupos Gestor/Estudante. Em ambos os itens, os gestores apresentaram um score médio mais alto do que os estudantes.

No que toca aos itens Q33_4, Q33_6 e Q33_12, acima analisados, o gestor indicou, possivelmente por seu olhar mais amplo no acompanhamento das atividades de ensino e aprendizagem remotas, um uso maior dos modos de avaliar por meio de seminários virtuais, produção de slides e exercícios/atividades enviadas via e-mail ou redes sociais no período pandêmico do que o uso apontado por professores e estudantes.

Relativamente ao item Q33_7 (Provas/testes escritos), foram encontradas diferenças entre os pares Gestor/Professor e Estudante/Professor, tendo o grupo de professores apresentado uma média mais elevada (M=,54) do que o grupo de gestores (M=,40) e de estudantes (M=,39).

Não se pode esquecer de que o professor é o responsável por planejar, elaborar e aplicar as atividades avaliativas, em todas as suas formas. E ele o faz com base na situação dos alunos; situação que, no período pandêmico, foi bastante diversificada, como já amplamente discutido no decorrer desse estudo.

Excetuando-se as atividades impressas, a maioria das formas avaliativas utilizadas pelos professores foi desenvolvida com recursos digitais. Isto significa que um grande número de alunos não conseguiu participar de algumas ou da maioria destas avaliações, por sua falta de acesso a dispositivos e internet. Corroborando, um dos estudantes citou como ponto negativo no ERE a “falta de recursos tecnológicos para algumas pessoas, levando à não realização das atividades” (E145, comunicação pessoal, 29 de agosto de 2022).

As narrativas dos professores e estudantes nas entrevistas também apontam para esta conclusão: “A avaliação era mais por meio de teste, no Google Forms. E 90% respondiam a atividade, os outros não faziam” (P1A, comunicação pessoal, 2 de novembro de 2022); “Os alunos da zona rural foram excluídos das aulas online. É tanto que tem aluno que desistiu, porque não tinha como. Não tinha a tecnologia e a internet também não chegava lá. Então, ficou inviável” (P1AP, comunicação pessoal, 15 de outubro de 2022); “Como o professor não tinha como controlar quem colava ou não, havia alguns que só faziam as provas online pelo Meet. Você ligava a câmera na hora da prova e ficava respondendo” (A3GF1AP, comunicação pessoal, 20 de outubro de 2022); “Eles colocavam a prova lá no Meet em forma de apresentação e a gente ia copiando e fazendo. Aí, naquele momento, a gente tinha que responder, tirar a foto e mandar para eles” (A2GF2AP, comunicação pessoal, 20 de outubro de 2022); “Às vezes, não tinha como eu assistir aula porque minha internet estava ruim. Não tinha como eu entrar na sala” (A1GF2AP, comunicação pessoal, 20 de outubro de 2022).

Por fim, em relação ao item Q33_9 (Realização e entrega das atividades no prazo), o Games-Howell só encontrou diferenças diferenças significativas entre o par Estudante/Professor, tendo o grupo de estudantes apresentado um score médio mais alto do que o grupo de professores [(DM = ,102, IC 95% BCa (,37 – ,169)].

É possível que, neste caso específico, o score médio mais elevado dos estudantes deva-se à atenção maior aos prazos das atividades, causada pela preocupação em não ter prejuízo nas notas, já que muitos deles não tinham acesso às TD ou, quando tinham, era um acesso limitado.