5.4.1 Questionários

Apesar de, nessa investigação, terem sido adotados instrumentos de recolha de dados adaptados de um questionário já desenvolvido e utilizado em estudo de amplo reconhecimento, achou-se necessário aferir sua qualidade métrica, utilizando para o efeito os dados recolhidos na presente pesquisa.

Em especifico, após a tradução e adaptação dos instrumentos do estudo, procedeu-se à sua validação por três investigadoras da área de Educação de duas universidades conceituadas (Universidade de Lisboa/Portugal e Universidade Federal da Fronteira Sul/Brasil).

As referidas pesquisadoras validaram, sugerindo, contudo, algumas mudanças, como segue: (i) transformar questões de múltipla escolha em questões abertas ou com escalas; (ii) acréscimos, trocas ou exclusões de termos; (iii) quanto à questão: “Realizou formação sobre recursos digitais para atuar no ensino remoto?”, foram sugeridas a inserção de três questões sobre: (a) quantas formações realizou e, caso a resposta fosse sim; (b) formato das formações (formal ou informal); e (c) tema das formações. As sugestões foram acatadas.

Coutinho (2014) menciona dois requisitos para assegurar a qualidade dos dados de uma investigação: a validade dos resultados, de que depende o segundo requisito, a fiabilidade dos dados. A estes dois, Almeida e Freire (2008) haviam já acrescentado a sensibilidade, completando o trio das características metrológicas mais referenciadas nos manuais.

Polit e Beck (2011, p. 410) definem fiabilidade como “a consistência com que o instrumento mede o atributo”. Em suma, pode-se dizer que a fiabilidade se refere à capacidade que o instrumento tem de reproduzir um resultado, no tempo e no espaço, de modo consistente, estável e preciso.

Almeida e Freire (2008, p. 177) asseveram que a fidelidade ou fidedignidade (termos com os quais denominam fiabilidade) dos resultados reporta ao grau de confiança ou exatidão da informação obtida, podendo significar a estabilidade do instrumento, i.e., o instrumento apresenta o mesmo resultado quando aplicado aos mesmos sujeitos em momentos diferentes, ou sua consistência interna, quando seus itens “apresentam-se como um todo homogêneo”. Juntamente com a equivalência, “grau de concordância entre dois ou mais observadores ou codificadores independentes a respeito dos escores de um instrumento” (Polit & Beck, 2011, p. 412), a estabilidade e a consistência interna são aspectos por meio dos quais a confiabilidade pode ser aferida.

Nessa investigação, por ter sido apenas um o instrumento utilizado com cada segmento (estudante, professor e gestor) e aplicado uma única vez (logo, sem possibilidade de se estabelecer comparação entre diferentes aferições), a consistência interna foi o aspecto examinado (Coutinho, 2014). A consistência interna aponta se todos os itens de um instrumento medem o mesmo construto, ou seja, indica “o grau de uniformidade ou de coerência existente entre as respostas dos sujeitos a cada um dos itens que compõem a prova” (Almeida & Freire, 2008, p. 183).

Em geral, a consistência interna é avaliada por meio do coeficiente Alfa de Cronbach (a), cuja faixa normal de valores vai de 0,00 a +1,00, sendo que, quanto maior o coeficiente, mais preciso e consistente internamente é o instrumento (Polit & Beck, 2011, p. 412). O cálculo do a de Cronbach leva em conta tanto as médias das correlações interitens como o número de questões do questionário (Coutinho, 2014).

Nesse sentido, Almeida e Freire (2008) consideram um índice adequado de consistência interna aquele que se apresenta igual ou superior a 0,70. Field (2009, p. 594) defende ser aceitável um valor de 0,7 a 0,8, sendo que “valores substancialmente mais baixos indicam uma escala não confiável”. Hill e Hill (2005), ao abordarem valores de referência para avaliar a consistência interna, citam o seguinte: abaixo de 0,60 é um valor considerado inaceitável; entre 0,60 e 0,70 é fraco; entre 0,70 e 0,80 é razoável; entre 0,80 e 0,90 é considerado bom; acima de 0,90 é excelente.

Um ponto interessante sobre o qual Almeida e Freire (2008) e Field (2009) chamam a atenção é que o número de itens da escala influencia o valor do Alfa de Cronbach, no sentido de que, quanto maior for o  número de itens da escala, maior tende a ser o valor do a.

Quanto à validade, no sentido mais tradicional do termo, significa a medida em que o instrumento mede o que se propõe a medir (Almeida & Freire, 2008), ou seja, se os resultados refletem de fato a realidade que se quer representar ou, ainda, até que ponto um grupo de variáveis representa o construto a ser medido. A literatura reporta, em geral, 3 tipos de validade: de conteúdo, de critério e de construto (Almeida & Freire, 2008; Polit & Beck, 2011; Coutinho, 2014).

Para Almeida e Freire (2008, p. 198), a validade de construto, também denominada de validade de conceito, teórica ou hipotético-dedutiva, mede “o grau de consonância entre os resultados no teste, a teoria e a prática a propósito das dimensões em avaliação”, que ajuda a entender o que o instrumento está a medir. De acordo com estes autores, um método que tem sido bastante utilizado para apreciar a validade de construto é a análise fatorial.

A análise fatorial calcula a intercorrelação entre os itens de uma escala, de modo a identificar grupos de variáveis fortemente correlacionadas entre si que apontem para um fator mais geral que as explique (Coutinho, 2014), podendo ser útil para estruturar um conjunto de variáveis ou para reduzir dados.

Para aferir a qualidade das correlações entre as variáveis, ou sua homogeneidade, que aponta a conveniência de se executar, ou não, uma análise fatorial, a partir de uma abordagem estatística, fez-se uso nesta investigação da medida de adequação da amostra de Kaiser-Meyer-Olkin (KMO). Pretendeu-se verificar se a matriz de dados possuía suficientes correlações que justificassem uma análise fatorial.

O valor do índice do teste estatístico KMO varia entre 0 e 1 (Field, 2009). Quando o valor é 0, significa que o padrão das correlações é difuso, logo, a análise fatorial não é adequada. Quando o valor se aproxima de 1, significa que o padrão de correlações é compacto, sendo conveniente realizar a análise fatorial. Field (2009) reporta que um valor acima de 0,5 é considerado aceitável; entre 0,5 e 0,7 é medíocre; entre 0,7 e 0,8 é bom; entre 0,8 e 0,9 é ótimo; acima de 0,9 é excelente.

Considerando que os instrumentos utilizados na investigação foram adaptados de outro instrumento já aplicado em pesquisa com participantes de diversos países e, portanto, com estrutura já definida, para comparar os resultados dessa investigação com os resultados do estudo desenvolvido pela Scientix, é preciso manter a mesma estrutura fatorial. Por isso, não se achou necessário realizar a análise fatorial.

Embora a confiabilidade e a validade sejam os critérios mais relevantes na avaliação de instrumentos quantitativos, segundo Polit e Beck (2011), há outros requisitos que os investigadores também precisam considerar, como a sensibilidade. A sensibilidade consiste na “capacidade que a medida possui de identificar um caso corretamente” (Polit & Beck, 2011). Assim, um questionário com sensibilidade é aquele capaz de discriminar os sujeitos de acordo com os diferentes itens e dimensões avaliados.

Para avaliar a sensibilidade dos itens de cada um dos 3 instrumentos utilizados nesse estudo, procedeu-se à verificação da normalidade da distribuição via teste de Kolmogorov-Smirnov (K-S) com correção de Lilliefors.

Diz-se que uma distribuição é normal quando “a maioria dos scores está em torno do centro da distribuição” (Field, 2009, p. 37), logo, quando se revela simétrica. A assimetria de uma distribuição é o “enviesamento (skewness) que essa distribuição apresenta relativamente à média” (Marôco, 2007, p. 40).

No que se refere à assimetria, Marôco (2007, p. 41) caracteriza a distribuição em 3 tipos: simétrica (em torno da média e o valor do coeficiente é nulo), assimétrica à esquerda ou com enviesamento negativo (distribuição concentrada à direita com uma longa cauda para o lado esquerdo, sendo o valor do coeficiente menor que zero) e assimétrica à direita ou com enviesamento positivo (distribuição concentrada à esquerda com uma longa cauda para o lado direito, sendo o valor do coeficiente maior que zero).

O achatamento ou curtose (kurtosis), por sua vez, tem a ver com a forma mais ou menos achatada que a distribuição assume. Desse modo, para Marôco (2007), a distribuição pode ser: mesocúrtica (o coeficiente da curtose é próximo de zero), platocúrtica (a distribuição é achatada e o coeficiente é menor do que zero) e leptocúrtica (a distribuição é pontiaguda e o coeficiente é maior do que zero).

Portanto, uma distribuição pode ser considerada normal quando os valores dos coeficientes de assimetria e curtose/achatamento estiverem próximos de zero ou os valores absolutos desses coeficientes não ultrapassarem o valor 1 (Almeida & Freire, 2008; Marôco, 2007). Kline (2016, p. 77) complementa: quando os valores da assimetria e da curtose forem superiores a 3 e a 10, respetivamente, pode-se assumir que os itens indicam uma severa assimetria ou curtose, constituindo aí um grave problema de sensibilidade. Contudo, Kline (2016) enfatiza que não se deve assumir a normalidade de uma distribuição apenas com base no fato de os coeficientes de assimetria e curtose serem, respetivamente, < 3 e < 10, já que, em uma distribuição verdadeiramente normal, ambos devem apresentar um coeficiente próximo ou igual a zero. Se esse não for o caso, é razoável dizer que embora a forma da distribuição não seja do tipo normal, ela “may not be severely non-normal” (Kline, 2016, p. 77).

Almeida e Freire (2008) observam que os coeficientes das características de sensibilidade, fiabilidade e validade devem ser reportados não ao instrumento em si, mas aos resultados, visto que um instrumento pode apresentar essas características em uma dada situação ou grupo e, em outra situação ou grupo, não.

Com vista a assegurar a credibilidade dos 3 instrumentos utilizados na investigação, procedeu-se à análise das suas qualidades métricas. Para efetuar os cálculos estatísticos – teste K-S (testou normalidade da distribuição para avaliar sensibilidade), teste Alpha de Cronbach (fiabilidade), teste KMO (testou adequação da amostra para análise fatorial e aferição da validade) – foi utilizado o programa IBM SPSS Statistics – versão 27.

A análise dos instrumentos foi feita por requisito de validade e por segmento (estudante, professor e gestor), envolvendo apenas a Dimensão 2 (Tecnologias Digitais utilizadas durante a Pandemia) e a Dimensão 3 (Práticas de Ensino e Aprendizagem com Tecnologias Digitais durante a Pandemia), cujos itens abordam os objetivos da investigação. Os resultados encontrados são os que seguem.