Este artigo foi publicado originalmente no EdSurge em 5 de janeiro de 202
Desde que o ChatGPT da OpenAI foi disponibilizado publicamente em novembro de 2022, o campo do ensino superior tem se concentrado em seu impacto e aplicações; O corpo docente deseja entender como isso afetará seu trabalho e a experiência do aluno.
No entanto, muitas conversas carecem de discussão sobre como as abordagens científicas podem ser usadas para estudar o ChatGPT e outras ferramentas generativas de IA no contexto do ensino superior. Dado que a tecnologia evolui a um ritmo rápido, é essencial estabelecer um quadro para examinar as suas implicações; Precisamos saber que perguntas fazer e continuar a fazê-las, mesmo quando as respostas mudam de dia para dia.
No programa Ciência da Iniciativa de Pesquisa de Aprendizagem (SOLER) na Columbia University, nos dedicamos a examinar a experiência acadêmica de alunos e professores com uma perspectiva científica. Fazer isso envolve alavancar pesquisas enraizadas no conceito de “bolsa de ensino e aprendizagem” (SoTL), uma abordagem sistemática de aprendizagem para melhorar estratégias de ensino e a análise de insights extraídos de dados institucionais e acadêmicos. Qual é o objetivo? Melhorar a experiência de ensino e aprendizagem.
Nossa equipe tem pesquisado como os alunos usam ferramentas generativas de IA e aprendemos que precisamos de uma abordagem sistemática para medir o impacto dessas ferramentas ao longo do tempo, para sabermos como aproveitá-las. Estes são os métodos que usamos:
Pesquisa observacional
Na SOLER usamos esta técnica para ter uma ideia melhor dos hábitos, entendimentos e atitudes existentes que nossos alunos e professores têm em relação às ferramentas generativas de IA. Grande parte do discurso em torno da IA generativa no ensino superior centrou-se em questões de integridade académica. Para informar essas conversas, é necessária pesquisa observacional não intervencionista. A nossa equipa de investigação procura determinar o que professores e alunos sabem sobre esta tecnologia, com que frequência a utilizam, para que finalidade e o que pensam da sua utilidade ou adequação em vários contextos académicos.
Alguns dos métodos de observação que utilizamos são inquéritos anónimos e grupos focais, que oferecem “espaços seguros” para os alunos comunicarem abertamente os seus hábitos. Descobrimos que a recolha desta informação é essencial para apoiar adequadamente os professores, pois eles precisam de compreender o que está por trás dos comportamentos e atitudes dos seus alunos. Os professores têm preocupações com a retenção e o sucesso académico; eles querem entender como o uso dessas tecnologias impacta os resultados dos alunos. Os nossos esforços para analisar os dados ajudaram-nos a esclarecer estas questões.
No próximo ano acadêmico, a SOLER fará parceria com professores da Faculdade de Arquitetura, Planejamento e Proteção da Universidade de Columbia e com o Escritório de Integridade Acadêmica para examinar as atitudes dos alunos em relação ao uso do ChatGPT. A pesquisa servirá como ponto de partida para um estudo que acabará por medir o impacto da ferramenta na aprendizagem dos alunos de um curso de financiamento imobiliário, o que nos leva ao nosso próximo foco de pesquisa: o verdadeiro design experimental.
Verdadeiro design experimental
O verdadeiro desenho experimental é um método de pesquisa crítico, porque os grupos amostrais devem ser distribuídos aleatoriamente entre grupos de controle ou experimentais, e todas as variáveis, exceto aquela que está sendo estudada, são controladas, para melhor determinar a causalidade. Estamos a aplicar este método para explorar questões prescritivas sobre as formas como a tecnologia deve ser implementada como ferramenta instrucional – este é um elemento-chave para o avanço do ensino e da aprendizagem no ensino superior. Quando se trata de pesquisar ferramentas generativas de IA através de uma estrutura de pesquisa SoTL, questões essenciais combinam elementos particulares da disciplina com considerações mais gerais da experiência do aluno.
Acreditamos que verdadeiros experimentos no ChatGPT devem ser projetados para abordar duas áreas principais:
- Tarefas, especialmente no contexto de redação de documentos e programação de computadores, fazendo perguntas sobre motivação, avaliação, processos de revisão e integridade acadêmica dos alunos.
- As experiências devem examinar como os “tutores de IA” fornecem feedback personalizado e explorar o impacto na aprendizagem e nos resultados relacionados com a atitude dos alunos, e como esses resultados se comparam aos alcançados com recursos mais tradicionais.
Pesquisa híbrida
Uma terceira abordagem central é implementar pesquisas híbridas que examinem como os alunos escolhem usar a tecnologia quando recebem acesso explícito, mas recebem instruções limitadas. Este método combina elementos das abordagens anteriores e preenche uma lacuna conceptual ao abordar a seguinte questão: Quando têm acesso à tecnologia, mas com orientação limitada, como é que os alunos escolhem utilizá-la?
A pesquisa observacional envolve simplesmente encorajar os alunos a usar a tecnologia em um determinado assunto e depois pedir aos alunos que relatem seu uso. Uma verdadeira experiência pode envolver a definição de duas condições num contexto curricular, como dividir um grupo em dois e atribuir-lhes a mesma tarefa. Numa condição, os alunos recebem instruções limitadas e, na outra, recebem orientações específicas sobre como usar a tecnologia no contexto da tarefa. Utilizando uma técnica combinada com esta estrutura, pode-se examinar se os dois grupos apresentam diferentes padrões de comportamento, resultados de aprendizagem ou atitudes.
SOLER está colaborando com o corpo docente da Columbia Business School para explorar como grupos de estudantes chegam a um consenso sobre o uso de geradores de imagens de IA. Nosso objetivo é compreender como os padrões de uso moldam a dinâmica interpessoal dos membros do grupo.
À medida que o campo do ensino superior se encontra a navegar neste cenário tecnológico em rápida mudança, a adaptação é a nossa única opção. Devemos fazer esforços sistemáticos e rigorosos para compreender e aproveitar as novas tecnologias, e devemos considerar seriamente as questões éticas e morais, especialmente as relacionadas com a diversidade e a inclusão, tais como quem beneficia destas ferramentas e porquê.
Estes problemas complexos podem ser abordados de forma significativa através da adopção de uma abordagem científica, da utilização de quadros de investigação robustos e do apoio institucional para estes esforços. Ao examinar a forma como estudantes e professores estão a experienciar as tecnologias emergentes através de uma lente científica, podemos fazer mais do que apenas acompanhar – podemos traçar um caminho para um futuro mais brilhante e mais equitativo.
