Avaliação DSR do artefato Challenge Canvas / Challenge Canvas Builder em uso multiorganizacional: análise lexicográfica, codificação e análise discursiva de 13 seminários do Programa GRID (mar–jul/2026)

1. Sumário executivo

• A avaliação do artefato é dominantemente naturalística e formativa, com transição parcial ao somativo. Dos 300 segmentos codificados, o par de códigos mais coocorrente é AVAL-NAT × B3-USO-REAL (23 segmentos), e 9 dos 13 episódios são classificados como formativo-naturalísticos na matriz FEDS; juízos somativos (AVAL-SOM, n=9) concentram-se nas ondas 2 e 3 e provêm sobretudo do próprio designer-pesquisador. A trajetória corresponde ao padrão Human Risk & Effectiveness de Venable, Pries-Heje e Baskerville (2016), com Eval 4 somativo pleno projetado para episódios futuros.
• O escore gerado por IA foi apropriado pelos usuários como norma de qualidade, e essa apropriação tem limites documentados. O limiar “acima de 90” tornou-se regra interna de uma organização (S06-21) e rodadas competitivas por nota estruturaram oficinas (95/91/86 em S02-13); ao mesmo tempo, um canvas com 93% foi descartado por juízo de mérito (S05-25/26). Na leitura foucaultiana, o escore opera como dispositivo de veridicção; na leitura de codificação, é evidência do princípio de design DP2 com condição de contorno explícita.
• A principal evidência negativa não é conceitual, é de captura de uso e de infraestrutura de IA. BARR-LIM aparece em 27 segmentos e GOV-IA em 17: o canvas é capturado como “formalização e não como ferramenta” quando a solução já está decidida (S07-12), arrisca ser visto como “preenchedor de papel” (S07-29), e a camada de IA falha por depreciação de modelo, créditos e custo (S07-43/44, S13-30). Esse conjunto fundamenta os princípios DP1 (gate com facilitação ativa) e DP6 (dependências de IA sob governança).

2. Apresentação metodológica e diferenciação epistemológica

Este relatório integra três camadas analíticas sobre o mesmo corpus, mantendo separadas as tradições que as fundamentam. O objeto empírico é a introdução, o uso e a avaliação do artefato DSR Challenge Canvas / Challenge Canvas Builder (definição de problemas em projetos de inovação) em 13 seminários e reuniões do Programa GRID, envolvendo seis organizações com evidência de uso, dois países e dois idiomas (PT e ES). O quadro avaliativo de referência é o FEDS de Venable, Pries-Heje e Baskerville (2016), com a cadeia de episódios Eval 1–4 de Sonnenberg e vom Brocke (2012), o processo de Peffers, Tuunanen, Rothenberger e Chatterjee (2007) e os critérios de Prat, Comyn-Wattiau e Akoka (2015).

Pseudonimização e rastreabilidade. O corpus usa a convenção documentada em mapping.csv (P01–P72 para pessoas, ORG01–ORG15 para organizações), preservada em todas as camadas. Cada código aponta para segmento_id e linha aproximada da transcrição; os excertos são literais, com ruídos de transcrição automática preservados e glosados (seção 9). Todos os valores numéricos exibidos foram calculados dos arquivos do projeto por scripts gravados em /home/claude/work/reports/scripts/, com resultados intermediários auditáveis em /home/claude/work/reports/data/ (lexical.json, coding.json).

3. Camada 1 — Estatística textual lexicográfica (à la IRaMuTeQ)

Seguindo a abordagem lexicográfica de Reinert (1990) operacionalizada no IRaMuTeQ (Camargo & Justo, 2013), o corpus foi tokenizado com remoção de cabeçalhos de tempo e de falante e filtragem de uma lista de 540 stopwords PT+ES (incluídas as formas de ruído sistemático de transcrição descritas no glossário). As unidades de contexto elementares (UCEs) foram construídas com ~40 palavras; das 4.269 UCEs, 3.816 (89,4%) retiveram pelo menos três formas ativas do vocabulário de análise e entraram na classificação.

3.1 Estatísticas básicas do corpus

A TTR global (0,065) reflete corpus oral longo com alta repetição; sessões curtas (S11, 7 min) apresentam TTR alto por efeito de tamanho, o que impede comparação direta entre sessões de duração distinta.

3.2 Frequências de formas ativas

3.3 Especificidades por idioma e por sessão

As especificidades usam qui-quadrado 2×2 (forma no subcorpus vs. resto), retendo formas sobrerrepresentadas. O contraste PT × ES separa o léxico técnico da prototipagem (sessões espanholas S08–S09) do léxico de gestão do programa (sessões portuguesas).

Leitura: as especificidades acompanham a pauta de cada sessão (S07: usuário, absenteísmo, retenção; S10: léxico da sessão acadêmica). Seguindo Reinert (1990), tratam-se de associações lexicais, não de juízos de conteúdo; a interpretação avaliativa é feita na Camada 2.

3.4 Análise de similitude

3.5 Classificação hierárquica descendente (método Reinert)

Seguindo a abordagem lexicográfica de Reinert (1990) operacionalizada no IRaMuTeQ (Camargo & Justo, 2013), aplicou-se bisseção divisiva sobre a matriz binária UCE × forma (formas com f≥12 presentes em ≥3 sessões), dividindo sempre a maior classe pelo primeiro eixo de correspondência, até cinco classes estáveis. 89,4% das UCEs foram classificadas.

A distribuição das classes pelas sessões mostra o deslocamento temático do programa: a Classe 1 (léxico técnico: cloud, design, code, código, prompt, dólares) concentra-se em S07–S09, quando a discussão migra da definição de problemas para a construção de protótipos e seus custos. A Classe 2 carrega o vocabulário nuclear do artefato (problema, resolver, soluções, campo) e domina S05–S06. A Classe 3 (comitê, política, estatuto, regulamento) corresponde ao trabalho de governança do programa de inovação.

3.6 Análise fatorial de correspondência

4. Camada 2 — Codificação (à la ATLAS.ti / MAXQDA / NVivo)

Na tradição de Mayring (2014), o esquema combinou aplicação dedutiva (20 códigos derivados do quadro FEDS/Peffers/Gregor–Hevner/Prat e do padrão de evidência da Technovation) e formação indutiva iterativa (7 códigos propostos por cinco codificações paralelas e consolidados com log de decisão). Todos os 27 códigos tiveram ocorrência no corpus; a média é de 1,9 códigos por segmento (570 atribuições em 300 segmentos; 168 segmentos com foco direto no artefato e 132 com foco no programa).

4.1 Os 27 códigos

Clique em cada código para definição resumida e excerto-âncora (rastreável por segmento_id). Definições completas, regras de inclusão/exclusão e fronteiras: analysis/codebook_v2.md.

4.2 Frequências e heatmap código × sessão

4.3 Coocorrências de códigos (Sankey)

4.4 Mapa conceitual das categorias axiais

Na codificação axial (Strauss & Corbin, 1998), os 27 códigos agrupam-se em seis categorias relacionadas ao fenômeno central, aqui denominado validação em uso do artefato de definição de problemas. A categoria "Condições de contorno" atua como condição interveniente; "Avaliação DSR" descreve os episódios; "Valor e eficácia" e "Uso e institucionalização" são consequências encadeadas; "Aprendizagem e refinamento" é a estratégia de resposta ao feedback; "Comunicação científica" é a projeção do fenômeno para fora do campo.

4.5 Linha do tempo das três ondas de avaliação

A narrativa de evidência (evidence_matrix.md) organiza os 13 episódios em três ondas build–evaluate–learn. A Figura 12 mostra o volume de segmentos por sessão com o foco (artefato direto vs. programa) e as ondas; a Figura 13 compara, entre ondas, a taxa por 100 segmentos dos códigos que marcam a progressão formativo → somativo.

5. Confiabilidade da codificação (IRR e adjudicação)

Seguindo a exigência de replicabilidade de Krippendorff (2018), 59 segmentos (~20% do corpus, amostra estratificada por sessão) foram recodificados por segundo codificador independente, cego aos códigos do primeiro, a partir do excerto e dos metadados, com consulta facultativa ao corpus. O esquema é multirrótulo (27 códigos; média ~2 por segmento no padrão-ouro).

6. Camada 3 — Análise discursiva crítica

As três tradições abaixo têm objetos distintos: a linha francesa pergunta de que posição e sob que memória discursiva se fala; a linha anglo-saxã pergunta como a gramática do texto realiza relações de poder; a linha foucaultiana pergunta que enunciados se tornam dizíveis e verdadeiros. Cada inferência declara sua tradição. Os excertos citados são literais e rastreáveis por segmento_id.

6.1 Linha francesa (Pêcheux/Orlandi): formações discursivas e posições-sujeito

AD francesa Quatro formações discursivas (FDs) organizam o dizível no corpus:

AD francesa Paráfrase e polissemia. A fórmula “problema antes da solução” funciona como processo parafrástico que estabiliza o sentido do artefato através das sessões: “não estamos criando nada, nós só estamos tentando caracterizar melhor o problema” (S12-07) retoma “Qual é o problema? Qual é a dor?” (S01-06). O termo desafio, ao contrário, é lugar de polissemia produtiva: desliza entre desafio-tarefa do programa, desafio-documento (o canvas preenchido) e desafio-formalização burocrática (S07-12), e é nesse deslizamento que a evidência negativa se enuncia. Não é possível afirmar com os dados disponíveis que esse deslizamento ocorra nas organizações fora das sessões gravadas.

AD francesa Condições de produção. Os seminários são sessões contratadas, gravadas, conduzidas pelo pesquisador que é também autor do artefato: as posições-sujeito disponíveis aos participantes (aluno, cliente, avaliado) favorecem o elogio e o pedido de ajuda sobre a crítica frontal; as críticas mais duras emergem justamente de quem ocupa posição técnica própria (P29, TI: S07-12, S07-29) ou em sessões com menor presença do designer.

6.2 Linha anglo-saxã crítica (Fairclough): texto, prática discursiva, prática social

ACD No plano do texto, a matriz de transitividade e modalidade (Halliday & Matthiessen, 2014) dos excertos-chave mostra um padrão: os enunciados que fundam a necessidade do artefato são categóricos e de ator genérico; os que relatam risco ou obrigação distribuem modalidade de forma reveladora da hierarquia.

ACD No plano da prática discursiva, o corpus é atravessado por intertextualidade constitutiva: o gênero reunião gerencial incorpora o gênero aula (tradução do “académico”), o gênero demo de software (“Olha lá. Fraco, né? [...] esse é o processo de iteração”, S01-16) e o gênero contrato (“vocês contrataram para haver um repasse de conhecimento”, S13-13). No plano da prática social, essa hibridização realiza uma relação de poder produtiva e assimétrica: o pesquisador-consultor detém o capital metodológico e de IA, os gestores detêm o mandato do resultado; a fórmula “quebra esses vieses” (S07-29) mostra o método sendo mobilizado pelos próprios participantes como recurso de legitimação interna frente a colegas (van Dijk, 2008, sobre acesso ao discurso; Wodak & Meyer, 2001).

6.3 Linha foucaultiana: enunciados, regime de verdade, ordem do discurso

Foucault Dois enunciados, no sentido foucaultiano de unidades raras que criam o dizível, estruturam o arquivo do programa. O primeiro: “as empresas falham porque resolvem o problema errado” (S01-06 e suas retomadas). Ele institui a definição de problemas como objeto de saber e o canvas como sua tecnologia. O segundo: “a nota diz a qualidade do problema”. Em torno do escore do Builder forma-se um regime de verdade local: o limiar “acima de 90” vira regra interna (S06-21), a nota ordena rodadas competitivas (95/91/86, S02-13) e habilita ou suspende a fala sobre a qualidade do desafio. O episódio do canvas com 93% descartado por mérito (S05-25/26) mostra o regime de verdade sendo contestado por outro tribunal, o do juízo estratégico humano; a coexistência dos dois tribunais é constitutiva do artefato, não um defeito acidental.

Foucault Na ordem do discurso (Foucault, 1996), operam procedimentos de rarefação claros: quem pode enunciar o método é o professor (interdição de fato: 46,3% dos segmentos codificados têm o facilitador-pesquisador como falante); a vontade de verdade se apoia na cientificidade (DSR, kernel theories, PRISMA, periódico-alvo, S10) para separar o canvas de “achismo”; e a disciplina do programa (comitês, gates, política de IA formalizada em S13-16) define as posições de quem fala com autoridade sobre inovação. A projeção do Eval 4 somativo para “piloto em ambiente controlado” (S13-35) é, nessa leitura, o deslocamento do artefato para um novo dispositivo de veridicção, o experimento.

7. Síntese integradora

As camadas convergem sem se fundir. A CHD identificou a classe técnica (Classe 1, 29,9% das UCEs, concentrada em S07–S09) como a maior do corpus, o que ressoa, na Camada 2, com o crescimento de ENCAD-METOD (3,2 → 8,3 → 8,0 por 100 segmentos entre as três ondas), o crescimento contínuo de BARR-LIM (3,2 → 10,4 → 11,4) e os picos de GOV-IA em S07 e S13: quando o artefato entra em uso real encadeado, o discurso desloca-se do enquadramento do problema para a operação e o custo da camada de IA. Na leitura de Pêcheux, porém, esses mesmos enunciados filiam-se à FD técnico-operacional e à FD normativo-de-governança, evidenciando que o que a análise de conteúdo classifica como condição de contorno é também uma disputa sobre quem autoriza o uso da IA na organização.

O escore do Builder é o ponto onde as três camadas mais se iluminam mutuamente. A Camada 2 o registra como SCORE-IA (11 segmentos) coocorrendo com uso real e adoção; a Camada 1 mostra o par canvas–challenge como a aresta mais forte da similitude (165 coocorrências) e o vocabulário de nota/preencher agregado ao polo do artefato; a Camada 3, sem contradizer as anteriores, lê o mesmo material como regime de verdade local com tribunal concorrente (o juízo estratégico que descartou o canvas de 93%). Para o artigo, isso sustenta o DP2 e sua condição de contorno na mesma evidência.

Divergência instrutiva: a Camada 2 registra AVAL-SOM raro (n=9) e o balanço final honesto (“um ponto de partida [...] uma hipótese”, S13-12), enquanto a Camada 3 mostra que os juízos somativos existentes são enunciados quase exclusivamente da posição-sujeito do designer (S05-10, S06-13, S13-25), com modalidade rebaixada justamente nos balanços finais. A leitura integrada recomenda reportar a transição formativo→somativo como parcial e dependente de posição enunciativa, exatamente como a matriz de evidências a descreve.

8. Limitações e ceticismo epistemológico

9. Glossário de variantes lexicais (transcrição automática multilíngue)

O corpus provém de transcrição automática de fala plurilíngue (PT-BR, ES, interlíngua do facilitador em sessões bilíngues). As substituições sistemáticas abaixo foram catalogadas antes da Camada 1; as formas corrompidas foram excluídas do vocabulário de análise e preservadas no corpus bruto para a Camada 3. Contagens verificadas por script.

Pseudônimos com variantes de mishearing (ex.: 13 variantes para P08; “Fundación No Cabrón” para ORG03) estão documentados em mapping.csv e foram normalizados na pseudonimização, sem intervenção desta análise.

10. Referências (APA 7)

Somente obras presentes nos arquivos de teoria do projeto (codebook v2, matriz de evidências, relatório de IRR) e nas bases metodológicas da skill. Entradas sem DOI/ISBN confirmado estão sinalizadas.

Bardin, L. (2016). Análise de conteúdo (L. A. Reto & A. Pinheiro, Trads.). Edições 70.

Camargo, B. V., & Justo, A. M. (2013). IRAMUTEQ: Um software gratuito para análise de dados textuais. Temas em Psicologia, 21(2), 513–518. https://doi.org/10.9788/TP2013.2-16

Fairclough, N. (2001). Discurso e mudança social (I. Magalhães, Trad.). Editora Universidade de Brasília. [verificação pendente]

Foucault, M. (1996). A ordem do discurso (L. F. A. Sampaio, Trad.). Edições Loyola.

Gregor, S., & Hevner, A. R. (2013). Positioning and presenting design science research for maximum impact. MIS Quarterly, 37(2), 337–355. https://doi.org/10.25300/MISQ/2013/37.2.01

Halliday, M. A. K., & Matthiessen, C. M. I. M. (2014). Halliday's introduction to functional grammar (4th ed.). Routledge. https://doi.org/10.4324/9780203431269

Hevner, A. R., March, S. T., Park, J., & Ram, S. (2004). Design science in information systems research. MIS Quarterly, 28(1), 75–105. https://doi.org/10.2307/25148625

Krippendorff, K. (2018). Content analysis: An introduction to its methodology (4th ed.). Sage.

Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174. https://doi.org/10.2307/2529310

Lincoln, Y. S., & Guba, E. G. (1985). Naturalistic inquiry. Sage.

March, S. T., & Smith, G. F. (1995). Design and natural science research on information technology. Decision Support Systems, 15(4), 251–266. https://doi.org/10.1016/0167-9236(94)00041-2

Mayring, P. (2014). Qualitative content analysis: Theoretical foundation, basic procedures and software solution. Klagenfurt. https://nbn-resolving.org/urn:nbn:de:0168-ssoar-395173

Orlandi, E. P. (2005). Análise de discurso: Princípios e procedimentos. Pontes. [verificação pendente]

Pêcheux, M. (1995). Semântica e discurso: Uma crítica à afirmação do óbvio (E. P. Orlandi et al., Trads.). Editora da Unicamp.

Peffers, K., Tuunanen, T., Rothenberger, M. A., & Chatterjee, S. (2007). A design science research methodology for information systems research. Journal of Management Information Systems, 24(3), 45–77. https://doi.org/10.2753/MIS0742-1222240302

Prat, N., Comyn-Wattiau, I., & Akoka, J. (2015). A taxonomy of evaluation methods for information systems artifacts. Journal of Management Information Systems, 32(3), 229–267. https://doi.org/10.1080/07421222.2015.1099390

Reinert, M. (1990). Alceste, une méthodologie d'analyse des données textuelles et une application: Aurelia de Gérard de Nerval. Bulletin de Méthodologie Sociologique, 26(1), 24–54. https://doi.org/10.1177/075910639002600103

Sonnenberg, C., & vom Brocke, J. (2012). Evaluations in the science of the artificial: Reconsidering the build-evaluate pattern in design science research. In K. Peffers, M. Rothenberger, & B. Kuechler (Eds.), Design science research in information systems: Advances in theory and practice (DESRIST 2012) (pp. 381–397). Springer. https://doi.org/10.1007/978-3-642-29863-9_28

Strauss, A., & Corbin, J. (1998). Basics of qualitative research: Techniques and procedures for developing grounded theory (2nd ed.). Sage.

Tracy, S. J. (2020). Qualitative research methods: Collecting evidence, crafting analysis, communicating impact (2nd ed.). Wiley-Blackwell.

Trabucchi, D., & Buganza, T. (2026). [Exemplar de padrão narrativo de ondas iterativas citado na matriz de evidências do projeto]. Technovation. [verificação pendente]

van Dijk, T. A. (2008). Discourse and power. Palgrave Macmillan.

Venable, J., Pries-Heje, J., & Baskerville, R. (2016). FEDS: A framework for evaluation in design science research. European Journal of Information Systems, 25(1), 77–89. https://doi.org/10.1057/ejis.2014.36

Wodak, R., & Meyer, M. (Eds.). (2001). Methods of critical discourse analysis. Sage.