A IA produz um conhecimento médio medíocre e um bloqueio do conhecimento novo

Maio: Estamos a viver uma espécie de invasão apocalíptica do digital nas escolas, que já não parecem escolas. O primeiro argumento da maioria das pessoas é o do bom senso – ou seja, da hegemonia política do Estado e das empresas, passada pelos media –, é que “a inteligência artificial é como um automóvel, é como um computador, uma ferramenta como qualquer outra. A questão é democratizá-la, usá-la bem, etc.” O que pensas sobre isto?

Mauro Jarquín: É o discurso tecno-optimista promovido pelas empresas tecnológicas, que gradualmente vem ocupando também um lugar importante entre as comunidades educativas e os governos; mesmo naquelas com tendências ou narrativas progressistas, anti-imperialistas e soberanistas. Isto deve-se ao facto de, pelo menos em princípio, a tecnologia digital parecer ser tão neutra no seu desenvolvimento e aplicação, quanto inevitável na sua adoção.

O conjunto de métodos estatísticos denominado “inteligência artificial” (um nome, IA, que tem favorecido a proliferação de diversos mitos) tem sido cada vez mais discutido em termos de uma tecnologia de uso geral, ou seja, que não se situa apenas no âmbito da produção ou do aumento da produtividade do trabalho, mas cuja utilização se estende a múltiplas esferas da vida social, nas quais a educação se revela estratégica.

Considero que, em termos epistemológicos e estratégicos, não é possível afirmar que a IA é apenas uma ferramenta, porque se analisarmos a utilização de determinadas ferramentas e artefactos à luz da história da educação, como o quadro de ardósia, a calculadora, etc., deparamo-nos com artefactos que, na sua essência, são objeto da acção humana e que respondem imediatamente a essa acção. O quadro recebe a acção humana de escrever; a calculadora recebe a acção humana de um comando para realizar uma operação; o problema com a IA é que se trata de uma tecnologia que não apenas recebe a acção humana, mas que, no seu funcionamento, produz sentido, reformula práticas sociais. E, em última instância, é uma tecnologia que requer um conjunto de pré-requisitos sociais para funcionar.

Recordando um pouco o ensaio clássico de Langdon Winner, “Do Artefacts Have Politics?” (1980) [Os artefactos têm política?], o autor defendia que um artefacto podia ou não ser político em função de dois critérios centrais: em primeiro lugar, se, para o funcionamento desse artefacto (ou tecnologia), é necessária uma ordem social específica e, além disso, se o seu funcionamento produz uma sociabilidade específica. Nesses termos, esse artefacto funciona também como uma construção sócio-técnica. E quando falamos de IA, podemos ver que ambos os critérios se cumprem de forma clara. Assim, um primeiro mito que é preciso questionar é que a IA seja uma “ferramenta” que se encontra, simplesmente, à disposição de quem a utiliza. A IA não é um mero instrumento. É uma articulação sócio-técnica que tem a capacidade de produzir efeitos naqueles que a utilizam, tanto a nível individual como social.

Não é possível afirmar que a IA é apenas uma ferramenta, porque (…) se trata de uma tecnologia que não apenas recebe a acção humana, mas que, no seu funcionamento, produz sentido, reformula práticas sociais.

Há muito quem diga que a IA não é uma ferramenta, é um agente. Concordas?

Concordo com a primeira parte da proposição, mas a segunda parece-me mais problemática. Portanto, considero que a IA, tomando em consideração a sua capacidade produtiva – particularmente a IA generativa, onde se tem concentrado em grande medida o debate académico – não é uma mera ferramenta. Consiste numa articulação sócio-técnica que, operando, produz. Ainda assim, não assimilaria esta capacidade produtiva de forma directa à condição da IA de agente. É verdade que a noção de “agente de IA” se está a ampliar cada vez mais ao uso comum, tanto no meio empresarial como no universitário. E também é verdade que há una rica tradição de discussão acerca da capacidade de agência dos objectos, na obra de Bruno Latour ou Alfred Gell, por exemplo. 

Ora bem, ainda que a discussão teórica seja bastante rica, afigura-se-me que, neste momento, o ponto de interesse é outro: é político. Discutir se a IA é um agente ou não quando o projecto de inteligência artificial geral (IAG) vai prosperando no seio de uma classe tecno-capitalista eugenista e transumanista, e quando a aposta pela antropomorfização da dita tecnologia dialoga também com a possibilidade de um reconhecimento jurídico nesse sentido, faz que tenhamos de considerar todas as consequências políticas potenciais sobre as nossas posições teóricas ou premissas epistemológicas. 

Até que ponto a aceitação generalizada da IA como agente implicaria abrir caminho a uma interpretação mais humanizada dela? Em que medida pode uma apreciação mais humanizada da IA – não apenas em termos estéticos, mas inclusive ontológicos – aproximar-nos da potencial construção de uma legislação que a invista, por exemplo, de direitos? Em que medida nos pode tal discussão afastar da realidade material de que deriva a sua produção, à qual subjazem forças políticas, tendências ideológicas e interesses humanos? 

Mauro, mas todas as ferramentas nos transformam de alguma maneira. Quando inventámos a faca isso transformou a nossa alimentação, linguagem, etc.

Embora se possa, de maneira geral, dizer que os artefactos e formas tecnológicas têm a capacidade de originar mudanças nas pessoas que as utilizam (por exemplo, a diminuição da capacidade da escrever à mão (no caso do teclado do computador, a potenciação da “força”, no caso de um martelo ou roldana, ou mesmo de reconfigurar os espaços de atenção (como a aposição de um quadro numa sala de aula), estas ferramentas/artefactos são objecto e depositário da acção humana com um fim específico, e a sua operação responde-lhe directamente (escrever, martelar, mostrar letras e/ou figuras), acabando por ampliá-la, intensificá-la ou robustecê-la. 

Algumas diferenças essenciais para o uso acrítico da IA residem em que o uso da tecnologia representa um deslocamento do processo pelo qual se leva a cabo uma acção para um fim; é o utilizador que define, no essencial, o que quer fazer (obter informação, resolver dúvidas, conseguir uma criação gráfica ou textual), mas quem define a maneira de chegar a esse resultado é a IA. Dá-se, então, uma “perda de controle” do processo criativo. Não só isso, porém; encontramo-nos amiúde com um processo de produção subjectiva dos utilizadores da tecnologia a partir da adopção dos resultados conseguidos através dos modelos de IA enquadrados em critérios de verdade devidos ao seu “discernimento técnico” (como sucede quando se dão de barato vieses e/ou imprecisões contidas em respostas textuais ou gráficas relativas a problemáticas sociais). Em termos gerais, há diferença num duplo movimento: delega-se o processo criativo, e toma-se o resultado, alheio ao nosso conhecimento e controle, como ponto de partida para a interpretação do mundo ou para nele tentar incidir.

Embora a produção de artefactos requeira um conjunto de processos sociais articulados, principalmente no contexto da lógica do capital, a produção de IA representa um conjunto de transformações profundas nas forças produtivas a nível global. Estamos, no fundo, a falar de uma revolução tecnológica de uso geral e, concomitantemente, da concretização de um complexo articulado de cadeias globais de valor cujo fim é a produção da IA e da sua materialidade, conforme mostram Kate Crawford e Vladan Joler na sua Anatomy of AI system. Isto implica, de igual modo, a reconfiguração de uma nova morfologia global do trabalho, em que convergem diferentes formas de trabalho, como a extracção de minérios (muitas vezes em condições de super-exploração) no Sul Global, o treino de modelos de IA (também em grande medida em condições de super-exploração) ou, no caso da educação, o Trabalho Educativo Digital (TED) desenvolvido nos centros educativos e pelas comunidades educativas, que discuto no livro.

Podes explicar isso com mais pormenor, por exemplo, para os trabalhadores que nos estão a ouvir, os pais que têm filhos na escola? É possível concretizar um pouco esta teoria?

Quando utilizamos um modelo de linguagem e fazemos uma pergunta, o que o modelo de linguagem faz, essencialmente, é expropriar de forma generalizada o conhecimento existente na sociedade, aquilo que Marx, nos seus “Grundrisse”, discutiria em termos de “intelecto geral”. Essa máquina não pode funcionar sem um processo de expropriação, e a expropriação é, na sua essência, um dos fundamentos da reprodução do capitalismo. É importante referir que falamos de uma expropriação que não se desenvolve apenas em relação ao conhecimento protegido por direitos de autor e publicado por editoras, mas também aos saberes quotidianos das pessoas, expressos em blogues, fóruns, etc. Por exemplo, a empresa tecnológica Anthropic anunciou uma parceria com a Teach for All com o objetivo de promover o uso da IA na educação, garantindo ela que o que se procura é que a posição do corpo docente não seja “de consumidor passivo de ferramentas de IA, mas de co-arquitecto que molda a forma como a IA se desenvolve”, desenvolvendo conteúdos e propostas didácticas locais, integradas no ecossistema da empresa. Produtos do intelecto docente que serão expropriados pelo que denomino a megamáquina educativa do capitalismo digital, através do exercício expropriador da IA.

Quando utilizamos um modelo de linguagem e fazemos uma pergunta, o que o modelo de linguagem faz, essencialmente, é expropriar de forma generalizada o conhecimento existente na sociedade.

Ou seja, professores (e alunos) trabalham, fornecem dados e testes, projectos didácticos às empresas.

Outra dimensão desta discussão, muito mais debatida em termos públicos, é que, quando fazemos uma consulta, quando solicitamos um resultado a um modelo de linguagem ou que produz imagens, o resultado que nos é dado é uma projecção do conhecimento social apropriado, muitas vezes com certos enviesamentos. É neste ponto que reside a discussão sobre a possibilidade de criar novas ideias quando centramos excessivamente o nosso trabalho intelectual nos modelos de linguagem, o que pode conduzir a um círculo vicioso que não promove a ruptura de determinadas ideias nem a constituição de novos conceitos que respondam à nossa realidade em constante mudança.

Um conhecimento médio medíocre que se propaga como o aceitável e um bloqueio ao conhecimento novo… O exacto contrário do que uma escola e uma universidade devem ser…

Sim. Outro ponto a discutir nesta matéria é que, no âmbito estritamente educativo, a IA parece tornar-se um novo local de verdade quando nos referimos à vida quotidiana dos centros educativos. Alguém poderia dizer que isso tem uma função progressista, ao questionar o lugar histórico do corpo docente como sujeito que enuncia a verdade na sala de aula, podendo dar azo a um processo de maior discussão aberta nas salas de aula. No entanto, isto não acontece frequentemente, porque essa deslocação do “lugar da verdade” não é necessariamente acompanhada pela generalização de uma discussão profunda, mas parece ser uma transferência de autoridade, agora para uma instância incontestável, neutra e superior. Isto tem consequências políticas também num sentido mais amplo.

Há algumas semanas, foi anunciado que, em El Salvador, os alunos do ensino básico teriam, cada um, um tutor de IA, que seria o modelo de linguagem utilizado pela “rede social” X, de Elon Musk: o Grok. 

Ora, por que razão escolheu o governo salvadorenho esse modelo de linguagem? Recorde-se que a posição política do presidente de El Salvador, Nayib Nukele, se insere na esfera de influência da Conferência de Acção Política Conservadora (CPAC), que representa uma espécie de extensão da política imperialista norte-americana e, além disso, um foco central da reacção global. O que o governo salvadorenho afirma é que este modelo de linguagem não é um modelo “woke”, é um modelo que busca a verdade. Ou seja, trata-se de um modelo que, nos seus resultados, na sua concepção e, pelo menos em grande parte, na informação que poderá fornecer às consultas das escolas em El Salvador, não irá conter aquilo a que a extrema-direita global chama agora de “wokismo”; isto é, conteúdo que possa ser considerado favorável a temas como a igualdade social, o respeito pelos direitos das mulheres, o respeito pela diversidade sexual, etc.

A questão para os educadores, parece-me, passa também pela palavra-chave “linguagem”. Porque expropriar a linguagem é expropriar aquilo que nos torna especificamente humanos e converter — converter mal, de forma pobre e completamente plana — aquilo que é um património público a que Marx chamou “intelecto geral”, em algo que pode ser traduzido em zeros e uns, com uma recombinação algorítmica que é probabilística. Ou seja, a máquina não sabe nada, não pode saber nada, e o seu tratamento é... vamos ver, queijo azul ou amarelo? E depois, no contexto, chega a uma resposta.

O exercício de expropriação da linguagem e sua consequente produção manipulada e sem alma pela IA generativa dominante colocam-nos num cenário onde o conhecimento colectivo também faz parte da subsunção tecnológica desenvolvida pela tecnologia do capital. Raymond Williams costumava dizer que a linguagem era uma forma de indicar a realidade. E, neste sentido, é também uma estrutura a partir da qual moldamos os nossos quadros interpretativos do imediato, problematizamos o mundo e concebemos formas de nele intervir. Para além do debate clássico sobre se a linguagem é ou não uma superestrutura, no qual até Estaline se aventurou, a verdade é que esta apropriação subtil e — aparentemente — voluntária da linguagem colectiva por artefactos e tecnologias privadas representa, como afirmas, uma subsunção desse “intelecto geral”. Ora, quando consideramos este cenário em termos educativos, deparamo-nos com que a adoção acrítica da IA generativa aumenta consideravelmente a probabilidade de as mediações que ocorrem nas salas de aula e viabilizam os processos de ensino e aprendizagem serem determinadas, ou pelo menos moduladas, por agentes externos através das suas tecnologias digitais, como os modelos de linguagem. Assim, os significados, a construção discursiva, em suma, as formas de indicar a realidade que se pretende sejam conhecidas colectivamente a partir das instituições educativas, estão imbuídos de conteúdos ideológicos específicos sob a forma de enviesamentos. Isto não é difícil de verificar. Façamos perguntas a diferentes modelos linguísticos sobre a guerra entre a Rússia e a Ucrânia (que se estende à NATO) ou entre os Estados Unidos, Israel e o Irão, e veremos como representam o que se passa no mundo e em que medida o resultado desta manipulação linguística projecta formas ideológicas específicas.

(continua)

LER A SEGUNDA PARTE DA ENTREVISTA

A IA produz um conhecimento médio medíocre e um bloqueio do conhecimento novo

Entrevista com Mauro Jarquín Ramírez1, 2ª parte Mauro Jarquín, professor da UNAM, México, defende que a IA não é inteligente, produz conhecimento medíocre, bloqueia novos conhecimentos e a criatividade. A cadeia produtiva da IA reconfigura a produção mundial, dos minérios à energia, mas o seu centro é a expropriação maciça

Jornal MaioMauro Jarquín Ramírez