文档在线阅读与批注

本页面为邀请制阅读,请输入访问密码

文档批注
Vibe Coding 小论文 · 研究方法
返回主页

Vibe Coding 教学中学生元认知能力与自我效能感分离现象研究

研究方法设计


一、研究框架概览

1.1 核心研究问题

本研究以**混合方法研究(Mixed Methods Research)**为设计范式,聚焦以下核心问题:

RQ1:Vibe Coding 教学情境中,学生元认知能力与自我效能感是否存在"分离现象"?其表现形式为何?

RQ2:这种分离现象的形成机制是什么?哪些因素促成了元认知体验与自我效能判断之间的错位?

RQ3:学生与 AI 的交互行为模式如何影响元认知能力与自我效能感的协同或分离?

1.2 理论框架

本研究整合四大理论传统:

理论 核心贡献 在本研究中的角色
元认知理论(Flavell, 1979) 元认知知识 / 元认知体验 / 元认知监控控制 界定元认知能力的测量维度与操作化指标
社会认知理论(Bandura, 1997) 自我效能感的四维信息来源 解释自我效能感的形成机制与偏差来源
自我调节学习理论(Zimmerman, 2000; Pintrich, 2000) SRL 三阶段循环 提供学习过程的分析框架
期望-价值理论(Eccles et al.) 期望×价值→成就行为 解释动机信念的中介作用

核心概念模型:

Vibe Coding 教学情境
       │
       ├──→ AI 辅助的"处理流畅性" ──→ 自我效能感(可能虚高)
       │         ↑                         │
       │         └──── 归因偏误 ←─────────┘
       │
       ├──→ 元认知监控需求(代码评估、策略选择、迭代反思)
       │         │
       │         └──→ 元认知能力(真实但可能未觉察)
       │
       └────────────→ "分离现象" = SE 与元认知的非同步发展
                      │
                      ├── 协同路径(理想)
                      ├── 虚高 SE 路径(风险)
                      ├── 低 SE/高元认知路径(潜力)
                      └── 波动失衡路径(常见)

二、研究设计

2.1 设计类型

解释性时序混合设计(Explanatory Sequential Design)

阶段 数据类型 目的 时间节点
阶段一:量化主导 问卷前后测(N≈30) 检测 SE-元认知分离现象的效应量 课前→课后
阶段二:质性解释 对话记录+反思记录(N≈25) 解释分离现象的形成机制与行为模式 课后
阶段三:整合分析 多源数据三角验证 构建差异化影响路径模型 全程

2.2 研究情境


三、数据收集

3.1 数据源矩阵

数据源 类型 样本量 采集方式 回答的研究问题
课前问卷 量化 27人 Likert 5点量表 RQ1(基线)
课后问卷 量化 31人 Likert 5点量表 RQ1(变化)
学习反思记录 质性 23人 开放式问卷 RQ2(机制)
AI 对话记录 质性 25组 在线链接导出 RQ3(行为模式)
课程观察 质性 全程 研究者田野笔记 RQ2/RQ3(情境)

3.2 问卷设计

3.2.1 课前问卷(5个维度,22题)

维度 题数 测量内容 理论来源
人口学变量 4题 性别、学号、编程经验、AI使用经验 —
编程自我效能感 5题 独立完成网站部署、代码排错、AI辅助编程等信心 Bandura (1997)
元认知意识 5题 自我评估理解程度、监控学习过程、区分"能运行"与"真理解" Flavell (1979)
AI 素养 5题 AI工作原理认知、提问能力、判断输出可靠性、保持独立思考 Ng et al. (2023)
期望-价值信念 3题 成功预期、任务价值、兴趣期待 Eccles et al.

3.2.2 课后问卷(6个维度,27题)

维度 题数 测量内容 新增/变化
编程自我效能感 5题 与课前对应,检测变化 情境适配调整措辞
元认知意识 5题 与课前对应,检测变化 增加部署情境特异性
AI 素养 5题 与课前对应,检测变化 增加截图使用效能
任务完成与价值 4题 任务完成确认、方法有用性、趣味性、投入值得感 新增
截图使用行为 5题 截图求助主动性、AI诊断准确性、问题解决信心 新增
归因倾向 3题 成功归因于AI vs 自身、独立解决信心、求助羞耻感 核心:检测分离

关键假设:若课后 SE 显著提升但归因倾向偏向 AI 而非自身能力,且独立解决信心低,则出现"虚高自我效能感"信号。

3.3 学习反思记录(开放式,5题)

题项 目的
1. 问题类型(多选:部署错误/配置问题/代码错误/其他) 识别学习困难分布
2. 是否截图给AI(主动/经提示后/否) 测量求助行为模式
3. 解决耗时 + 理解程度 + 独立解决信心 评估元认知监控准确性
4. 求助频次(总问题数/截图解决数/主动求助数) 量化交互强度
5. 截图的最大帮助是什么? 质性:元认知体验
6. 没有AI辅助会怎样? 质性:能力归因与依赖认知
7. 真正掌握了什么?还需加强什么? 质性:元认知知识(自我评估)

3.4 AI 对话记录采集


四、数据分析

4.1 量化分析(问卷数据)

步骤 1:描述性统计

步骤 2:配对样本 t 检验

步骤 3:分离现象检测(核心分析)

操作化定义:

分离指数 = Δ自我效能感 - Δ元认知意识

若 分离指数 > 0 且 归因AI > 归因自身 → 虚高SE信号
若 分离指数 < 0 且 独立信心高 → 潜力型信号
若 分离指数 ≈ 0 → 协同路径

统计检验:

步骤 4:亚组分析

根据编程经验、AI使用频率、求助频次等变量进行分组比较。

4.2 质性分析(对话记录 + 反思记录)

4.2.1 对话记录分析框架

借鉴 StudyChat 数据集的 Dialogue Act 标注方法,建立适配本研究的编码框架:

大类 子类 编码说明
概念性问题 工具原理、操作流程、术语解释 元认知知识寻求
情境性问题 报错求助、界面操作、步骤确认 元认知监控触发
代码/写作请求 写代码、改代码、写报告 认知操作外包
验证请求 验证代码、验证部署结果 元认知评估行为
元认知陈述 "我对了吗""我不懂""让我想想" 元认知意识外显
情感表达 挫败、兴奋、感谢、放弃倾向 动机-情感状态
离题 闲聊、问候、非学习内容 注意力分散

4.2.2 反思记录分析

采用主题分析法(Thematic Analysis, Braun & Clarke, 2006):

  1. 熟悉数据:反复阅读反思文本
  2. 生成初始编码:逐句标注
  3. 寻找主题:将编码聚类为潜在主题
  4. 审查主题:检查内部一致性与外部区分度
  5. 定义与命名主题
  6. 撰写分析报告

预期主题方向(基于理论预设):

4.3 整合分析

三角验证

         量化数据(问卷)
              /\
             /  \
            /    \
           / 分离 \          
          / 现象  \
         /________\ 
        /            \
   质性数据1      质性数据2
(对话记录)    (反思记录)

学生画像构建

结合三类数据,为每个学生构建"元认知-自我效能"画像:

画像类型 量化特征 质性特征
协同型 SE↑ 元认知↑ 归因均衡 主动验证、反思深入、独立信心强
虚高型 SE↑ 元认知→ 归因AI 被动求助、缺乏反思、独立信心弱
潜力型 SE→ 元认知↑ 归因自身 准确自评、策略调整、但信心不足
波动型 SE↗↘ 元认知不稳定 情绪起伏大、归因摇摆

4.4 差异化路径分析

基于四种理论路径,对比不同画像学生的特征差异:

路径一:正向协同 → 高SE + 高元认知 → 真实AI能力
路径二:虚高SE   → 高SE + 低元认知 → 表面AI能力
路径三:低SE高元认知 → 低SE + 高元认知 → 潜力待激发
路径四:波动失衡 → SE不稳定 + 元认知波动 → 发展受阻

五、数据分析具体步骤(可执行方案)

5.1 量化分析流程

# Step 1: 数据清洗与准备
- 处理缺失值(删除或插补)
- 反向计分题处理
- 计算各维度总分/均分

# Step 2: 描述性统计
- 前后测各维度 M ± SD
- 人口学变量频率分布

# Step 3: 前后测比较
- 配对样本 t 检验(SE / 元认知 / AI素养 / 期望价值)
- 计算 Cohen's d
- Bonferroni 校正多重比较

# Step 4: 分离指数计算
- 分离指数 = (后测SE - 前测SE) - (后测元认知 - 前测元认知)
- 描述分离指数的分布
- 检验分离指数与归因倾向的相关

# Step 5: 回归分析
- 因变量:分离指数
- 自变量:编程经验、AI使用频率、求助频次、截图使用频次
- 方法:逐步多元回归

# Step 6: 亚组分析
- 按编程经验分组(有/无)
- 按AI使用频率分组(高/中/低)
- 独立样本 t 检验或 ANOVA

5.2 质性分析流程

Phase 1: 对话记录结构化
├── 导入CSV结构化数据
├── 按轮次重组对话流
├── 编码:Speaker(学生/AI)
├── 编码:Topic(哲学/技术)
├── 编码:Behavior(求助/验证/探索/出错...)
├── 编码:Error presence(是否含错误)
├── 编码:Error type(拼写/平台混淆/网络/概念误解)
├── 编码:Cognitive level(理解/应用/分析/评价)
└── 编码:Screenshot reference(是否引用截图)

Phase 2: 反思记录编码
├── 逐份阅读反思文本
├── 开放编码(逐句标注意义单元)
├── 轴心编码(将开放编码聚类为类别)
├── 选择性编码(提炼核心主题)
└── 与理论框架对照(处理流畅性/归因/依赖认知)

Phase 3: 交叉分析
├── 学生ID关联三类数据源
├── 对比同一学生的量化画像与质性描述
├── 寻找 confirming / disconfirming 证据
└── 提炼典型案例

5.3 整合分析流程

1. 构建学生个案矩阵
   ├── 行:每个学生
   └── 列:量化指标 + 质性主题 + 对话特征

2. 模式识别
   ├── 寻找量化-质性的一致性模式
   └── 标记异常个案(量化高但质性低等)

3. 理论整合
   ├── 将发现的模式映射到四种理论路径
   ├── 识别新的行为模式(如有)
   └── 修订理论模型

4. 可视化呈现
   ├── 分离散点图(ΔSE × Δ元认知)
   ├── 学生画像雷达图
   ├── 对话行为时间线
   └── 主题-数据源的交叉矩阵

六、预期结果与研究贡献

6.1 预期发现

基于现有数据的初步观察:

现象 证据 理论解释
几乎所有学生主动使用截图求助(22/23) 反思记录 AI辅助降低了求助门槛
解决后"基本理解"占多数(14/23),"完全理解"仅3人 反思记录 处理流畅性掩盖了深层理解不足
仅3人表示"下次能独立解决",19人"还需AI辅助" 反思记录 虚高SE信号:完成了任务但独立信心不足
对话中多次出现拼写错误、平台混淆、网络问题 对话记录 元认知监控在错误诊断中发挥作用
学生用极简回应("OK""继续")维持对话 对话记录 认知负荷管理策略

6.2 理论贡献

  1. 验证并细化"分离现象"理论:在 Vibe Coding 特定情境中, empirically 检验元认知能力与自我效能感的非同步发展
  2. 提出"截图求助行为"作为分析元认知的新指标:截图使用模式(主动/被动、频次、问题解决效率)可作为元认知监控能力的行为代理变量
  3. 构建 Vibe Coding 情境的 SRL 模型:整合 Zimmerman 的 SRL 循环与 AI 辅助学习特征

6.3 实践贡献

  1. 教学设计建议:如何在 Vibe Coding 教学中促进元认知能力与自我效能感的协同发展
  2. AI 辅助工具设计:如何在 AI 辅导系统中嵌入元认知 scaffolding
  3. 评估工具开发:基于本研究的量表与编码框架可用于更广泛的情境

七、研究局限与质量控制

7.1 局限

局限 说明 应对策略
样本量小 N≈30,统计功效有限 效应量报告为主,不追求显著性;作为探索性研究
单次课程 无法追踪长期发展 明确限定结论的情境适用性;提出纵向研究建议
自我报告偏差 问卷与反思均为自我报告 引入行为数据(对话记录)进行三角验证
无对照组 无法确立因果关系 明确为描述性/相关性研究;提出实验研究建议

7.2 质量控制


八、数据分析代码框架(Python)

# ============================================
# 模块1: 量化分析
# ============================================
import pandas as pd
import numpy as np
from scipy import stats
import matplotlib.pyplot as plt
import seaborn as sns

# 1.1 数据读取与清洗
pretest = pd.read_excel("pretest.xlsx")
posttest = pd.read_excel("posttest.xlsx")

# 1.2 维度计算(示例)
def calc_dimensions(df):
    """计算各维度得分"""
    se_items = ['se1','se2','se3','se4','se5']
    meta_items = ['meta1','meta2','meta3','meta4','meta5']
    ai_items = ['ai1','ai2','ai3','ai4','ai5']
    
    df['SE_score'] = df[se_items].mean(axis=1)
    df['Meta_score'] = df[meta_items].mean(axis=1)
    df['AI_score'] = df[ai_items].mean(axis=1)
    return df

# 1.3 配对t检验
from scipy.stats import ttest_rel
t_stat, p_value = ttest_rel(post['SE_score'], pre['SE_score'])

# 1.4 分离指数
def calc_separation_index(row_pre, row_post):
    delta_se = row_post['SE_score'] - row_pre['SE_score']
    delta_meta = row_post['Meta_score'] - row_pre['Meta_score']
    return delta_se - delta_meta

# 1.5 可视化:分离散点图
plt.scatter(delta_meta, delta_se)
plt.axhline(y=0, color='k', linestyle='--')
plt.axvline(x=0, color='k', linestyle='--')
plt.xlabel('Δ Metacognition')
plt.ylabel('Δ Self-Efficacy')
plt.title('SE-Metacognition Separation Plot')

# ============================================
# 模块2: 质性分析
# ============================================
# 使用手动编码 + Python辅助统计

# 2.1 编码频率统计
code_freq = reflection_df['open_code'].value_counts()

# 2.2 主题-数据源交叉表
pd.crosstab(themes, data_sources)

# 2.3 词频分析(反思文本)
from collections import Counter
import jieba
words = jieba.lcut(text)
Counter(words).most_common(20)

# ============================================
# 模块3: 整合分析
# ============================================
# 3.1 个案矩阵
student_profile = pd.merge(quant_scores, qual_themes, on='student_id')

# 3.2 画像聚类
from sklearn.cluster import KMeans
kmeans = KMeans(n_clusters=4, random_state=42)
student_profile['profile'] = kmeans.fit_predict(features)

九、论文结构建议

1. 引言
   ├── Vibe Coding 的兴起与教学挑战
   ├── 元认知能力与自我效能感分离现象
   └── 研究问题与目标

2. 文献综述
   ├── 元认知理论框架
   ├── 自我效能感与 SRL
   ├── AI 辅助学习中的元认知研究
   └── Vibe Coding 教学研究现状

3. 研究方法
   ├── 研究设计(混合方法)
   ├── 参与者与情境
   ├── 数据收集(问卷/反思/对话/观察)
   └── 数据分析策略

4. 研究结果
   ├── 4.1 量化结果:前后测变化与分离指数
   ├── 4.2 质性结果:对话行为模式
   ├── 4.3 质性结果:反思主题分析
   └── 4.4 整合结果:学生画像与差异化路径

5. 讨论
   ├── 分离现象的验证与表现
   ├── 形成机制的理论解释
   ├── 对 AI 辅助教学设计的启示
   └── 研究局限与未来方向

6. 结论

十、附录:已有数据资源清单

数据文件 格式 记录数 状态
vibecoding_dialogue_structured.csv CSV 50条发言 ✅ 已完成编码
vibecoding_dialogue_timeline.md Markdown 25轮对话 ✅ 已完成标注
vibecoding_dialogue_by_theme.md Markdown 2大主题 ✅ 已完成聚合
前测问卷 Excel 27人 ✅ 已收集
后测问卷 Excel 31人 ✅ 已收集
反思记录 Excel 23人 ✅ 已收集
灵感来源PDF PDF 22页 ✅ 已梳理
StudyChat论文 PDF LAK2026 ✅ 已研读

研究方法设计完成。建议下一步:

  1. 进行量化数据的统计分析(配对t检验+分离指数计算)
  2. 完成反思记录的质性编码
  3. 将对话记录、反思记录、问卷数据进行学生个案关联
  4. 撰写研究结果章节

确认你的身份

你的姓名将随每条批注展示给作者与其他批注人。