本研究以**混合方法研究(Mixed Methods Research)**为设计范式,聚焦以下核心问题:
RQ1:Vibe Coding 教学情境中,学生元认知能力与自我效能感是否存在"分离现象"?其表现形式为何?
RQ2:这种分离现象的形成机制是什么?哪些因素促成了元认知体验与自我效能判断之间的错位?
RQ3:学生与 AI 的交互行为模式如何影响元认知能力与自我效能感的协同或分离?
本研究整合四大理论传统:
| 理论 | 核心贡献 | 在本研究中的角色 |
|---|---|---|
| 元认知理论(Flavell, 1979) | 元认知知识 / 元认知体验 / 元认知监控控制 | 界定元认知能力的测量维度与操作化指标 |
| 社会认知理论(Bandura, 1997) | 自我效能感的四维信息来源 | 解释自我效能感的形成机制与偏差来源 |
| 自我调节学习理论(Zimmerman, 2000; Pintrich, 2000) | SRL 三阶段循环 | 提供学习过程的分析框架 |
| 期望-价值理论(Eccles et al.) | 期望×价值→成就行为 | 解释动机信念的中介作用 |
核心概念模型:
Vibe Coding 教学情境
│
├──→ AI 辅助的"处理流畅性" ──→ 自我效能感(可能虚高)
│ ↑ │
│ └──── 归因偏误 ←─────────┘
│
├──→ 元认知监控需求(代码评估、策略选择、迭代反思)
│ │
│ └──→ 元认知能力(真实但可能未觉察)
│
└────────────→ "分离现象" = SE 与元认知的非同步发展
│
├── 协同路径(理想)
├── 虚高 SE 路径(风险)
├── 低 SE/高元认知路径(潜力)
└── 波动失衡路径(常见)
解释性时序混合设计(Explanatory Sequential Design)
| 阶段 | 数据类型 | 目的 | 时间节点 |
|---|---|---|---|
| 阶段一:量化主导 | 问卷前后测(N≈30) | 检测 SE-元认知分离现象的效应量 | 课前→课后 |
| 阶段二:质性解释 | 对话记录+反思记录(N≈25) | 解释分离现象的形成机制与行为模式 | 课后 |
| 阶段三:整合分析 | 多源数据三角验证 | 构建差异化影响路径模型 | 全程 |
| 数据源 | 类型 | 样本量 | 采集方式 | 回答的研究问题 |
|---|---|---|---|---|
| 课前问卷 | 量化 | 27人 | Likert 5点量表 | RQ1(基线) |
| 课后问卷 | 量化 | 31人 | Likert 5点量表 | RQ1(变化) |
| 学习反思记录 | 质性 | 23人 | 开放式问卷 | RQ2(机制) |
| AI 对话记录 | 质性 | 25组 | 在线链接导出 | RQ3(行为模式) |
| 课程观察 | 质性 | 全程 | 研究者田野笔记 | RQ2/RQ3(情境) |
| 维度 | 题数 | 测量内容 | 理论来源 |
|---|---|---|---|
| 人口学变量 | 4题 | 性别、学号、编程经验、AI使用经验 | — |
| 编程自我效能感 | 5题 | 独立完成网站部署、代码排错、AI辅助编程等信心 | Bandura (1997) |
| 元认知意识 | 5题 | 自我评估理解程度、监控学习过程、区分"能运行"与"真理解" | Flavell (1979) |
| AI 素养 | 5题 | AI工作原理认知、提问能力、判断输出可靠性、保持独立思考 | Ng et al. (2023) |
| 期望-价值信念 | 3题 | 成功预期、任务价值、兴趣期待 | Eccles et al. |
| 维度 | 题数 | 测量内容 | 新增/变化 |
|---|---|---|---|
| 编程自我效能感 | 5题 | 与课前对应,检测变化 | 情境适配调整措辞 |
| 元认知意识 | 5题 | 与课前对应,检测变化 | 增加部署情境特异性 |
| AI 素养 | 5题 | 与课前对应,检测变化 | 增加截图使用效能 |
| 任务完成与价值 | 4题 | 任务完成确认、方法有用性、趣味性、投入值得感 | 新增 |
| 截图使用行为 | 5题 | 截图求助主动性、AI诊断准确性、问题解决信心 | 新增 |
| 归因倾向 | 3题 | 成功归因于AI vs 自身、独立解决信心、求助羞耻感 | 核心:检测分离 |
关键假设:若课后 SE 显著提升但归因倾向偏向 AI 而非自身能力,且独立解决信心低,则出现"虚高自我效能感"信号。
| 题项 | 目的 |
|---|---|
| 1. 问题类型(多选:部署错误/配置问题/代码错误/其他) | 识别学习困难分布 |
| 2. 是否截图给AI(主动/经提示后/否) | 测量求助行为模式 |
| 3. 解决耗时 + 理解程度 + 独立解决信心 | 评估元认知监控准确性 |
| 4. 求助频次(总问题数/截图解决数/主动求助数) | 量化交互强度 |
| 5. 截图的最大帮助是什么? | 质性:元认知体验 |
| 6. 没有AI辅助会怎样? | 质性:能力归因与依赖认知 |
| 7. 真正掌握了什么?还需加强什么? | 质性:元认知知识(自我评估) |
操作化定义:
分离指数 = Δ自我效能感 - Δ元认知意识
若 分离指数 > 0 且 归因AI > 归因自身 → 虚高SE信号
若 分离指数 < 0 且 独立信心高 → 潜力型信号
若 分离指数 ≈ 0 → 协同路径
统计检验:
根据编程经验、AI使用频率、求助频次等变量进行分组比较。
借鉴 StudyChat 数据集的 Dialogue Act 标注方法,建立适配本研究的编码框架:
| 大类 | 子类 | 编码说明 |
|---|---|---|
| 概念性问题 | 工具原理、操作流程、术语解释 | 元认知知识寻求 |
| 情境性问题 | 报错求助、界面操作、步骤确认 | 元认知监控触发 |
| 代码/写作请求 | 写代码、改代码、写报告 | 认知操作外包 |
| 验证请求 | 验证代码、验证部署结果 | 元认知评估行为 |
| 元认知陈述 | "我对了吗""我不懂""让我想想" | 元认知意识外显 |
| 情感表达 | 挫败、兴奋、感谢、放弃倾向 | 动机-情感状态 |
| 离题 | 闲聊、问候、非学习内容 | 注意力分散 |
采用主题分析法(Thematic Analysis, Braun & Clarke, 2006):
预期主题方向(基于理论预设):
量化数据(问卷)
/\
/ \
/ \
/ 分离 \
/ 现象 \
/________\
/ \
质性数据1 质性数据2
(对话记录) (反思记录)
结合三类数据,为每个学生构建"元认知-自我效能"画像:
| 画像类型 | 量化特征 | 质性特征 |
|---|---|---|
| 协同型 | SE↑ 元认知↑ 归因均衡 | 主动验证、反思深入、独立信心强 |
| 虚高型 | SE↑ 元认知→ 归因AI | 被动求助、缺乏反思、独立信心弱 |
| 潜力型 | SE→ 元认知↑ 归因自身 | 准确自评、策略调整、但信心不足 |
| 波动型 | SE↗↘ 元认知不稳定 | 情绪起伏大、归因摇摆 |
基于四种理论路径,对比不同画像学生的特征差异:
路径一:正向协同 → 高SE + 高元认知 → 真实AI能力
路径二:虚高SE → 高SE + 低元认知 → 表面AI能力
路径三:低SE高元认知 → 低SE + 高元认知 → 潜力待激发
路径四:波动失衡 → SE不稳定 + 元认知波动 → 发展受阻
# Step 1: 数据清洗与准备
- 处理缺失值(删除或插补)
- 反向计分题处理
- 计算各维度总分/均分
# Step 2: 描述性统计
- 前后测各维度 M ± SD
- 人口学变量频率分布
# Step 3: 前后测比较
- 配对样本 t 检验(SE / 元认知 / AI素养 / 期望价值)
- 计算 Cohen's d
- Bonferroni 校正多重比较
# Step 4: 分离指数计算
- 分离指数 = (后测SE - 前测SE) - (后测元认知 - 前测元认知)
- 描述分离指数的分布
- 检验分离指数与归因倾向的相关
# Step 5: 回归分析
- 因变量:分离指数
- 自变量:编程经验、AI使用频率、求助频次、截图使用频次
- 方法:逐步多元回归
# Step 6: 亚组分析
- 按编程经验分组(有/无)
- 按AI使用频率分组(高/中/低)
- 独立样本 t 检验或 ANOVA
Phase 1: 对话记录结构化
├── 导入CSV结构化数据
├── 按轮次重组对话流
├── 编码:Speaker(学生/AI)
├── 编码:Topic(哲学/技术)
├── 编码:Behavior(求助/验证/探索/出错...)
├── 编码:Error presence(是否含错误)
├── 编码:Error type(拼写/平台混淆/网络/概念误解)
├── 编码:Cognitive level(理解/应用/分析/评价)
└── 编码:Screenshot reference(是否引用截图)
Phase 2: 反思记录编码
├── 逐份阅读反思文本
├── 开放编码(逐句标注意义单元)
├── 轴心编码(将开放编码聚类为类别)
├── 选择性编码(提炼核心主题)
└── 与理论框架对照(处理流畅性/归因/依赖认知)
Phase 3: 交叉分析
├── 学生ID关联三类数据源
├── 对比同一学生的量化画像与质性描述
├── 寻找 confirming / disconfirming 证据
└── 提炼典型案例
1. 构建学生个案矩阵
├── 行:每个学生
└── 列:量化指标 + 质性主题 + 对话特征
2. 模式识别
├── 寻找量化-质性的一致性模式
└── 标记异常个案(量化高但质性低等)
3. 理论整合
├── 将发现的模式映射到四种理论路径
├── 识别新的行为模式(如有)
└── 修订理论模型
4. 可视化呈现
├── 分离散点图(ΔSE × Δ元认知)
├── 学生画像雷达图
├── 对话行为时间线
└── 主题-数据源的交叉矩阵
基于现有数据的初步观察:
| 现象 | 证据 | 理论解释 |
|---|---|---|
| 几乎所有学生主动使用截图求助(22/23) | 反思记录 | AI辅助降低了求助门槛 |
| 解决后"基本理解"占多数(14/23),"完全理解"仅3人 | 反思记录 | 处理流畅性掩盖了深层理解不足 |
| 仅3人表示"下次能独立解决",19人"还需AI辅助" | 反思记录 | 虚高SE信号:完成了任务但独立信心不足 |
| 对话中多次出现拼写错误、平台混淆、网络问题 | 对话记录 | 元认知监控在错误诊断中发挥作用 |
| 学生用极简回应("OK""继续")维持对话 | 对话记录 | 认知负荷管理策略 |
| 局限 | 说明 | 应对策略 |
|---|---|---|
| 样本量小 | N≈30,统计功效有限 | 效应量报告为主,不追求显著性;作为探索性研究 |
| 单次课程 | 无法追踪长期发展 | 明确限定结论的情境适用性;提出纵向研究建议 |
| 自我报告偏差 | 问卷与反思均为自我报告 | 引入行为数据(对话记录)进行三角验证 |
| 无对照组 | 无法确立因果关系 | 明确为描述性/相关性研究;提出实验研究建议 |
# ============================================
# 模块1: 量化分析
# ============================================
import pandas as pd
import numpy as np
from scipy import stats
import matplotlib.pyplot as plt
import seaborn as sns
# 1.1 数据读取与清洗
pretest = pd.read_excel("pretest.xlsx")
posttest = pd.read_excel("posttest.xlsx")
# 1.2 维度计算(示例)
def calc_dimensions(df):
"""计算各维度得分"""
se_items = ['se1','se2','se3','se4','se5']
meta_items = ['meta1','meta2','meta3','meta4','meta5']
ai_items = ['ai1','ai2','ai3','ai4','ai5']
df['SE_score'] = df[se_items].mean(axis=1)
df['Meta_score'] = df[meta_items].mean(axis=1)
df['AI_score'] = df[ai_items].mean(axis=1)
return df
# 1.3 配对t检验
from scipy.stats import ttest_rel
t_stat, p_value = ttest_rel(post['SE_score'], pre['SE_score'])
# 1.4 分离指数
def calc_separation_index(row_pre, row_post):
delta_se = row_post['SE_score'] - row_pre['SE_score']
delta_meta = row_post['Meta_score'] - row_pre['Meta_score']
return delta_se - delta_meta
# 1.5 可视化:分离散点图
plt.scatter(delta_meta, delta_se)
plt.axhline(y=0, color='k', linestyle='--')
plt.axvline(x=0, color='k', linestyle='--')
plt.xlabel('Δ Metacognition')
plt.ylabel('Δ Self-Efficacy')
plt.title('SE-Metacognition Separation Plot')
# ============================================
# 模块2: 质性分析
# ============================================
# 使用手动编码 + Python辅助统计
# 2.1 编码频率统计
code_freq = reflection_df['open_code'].value_counts()
# 2.2 主题-数据源交叉表
pd.crosstab(themes, data_sources)
# 2.3 词频分析(反思文本)
from collections import Counter
import jieba
words = jieba.lcut(text)
Counter(words).most_common(20)
# ============================================
# 模块3: 整合分析
# ============================================
# 3.1 个案矩阵
student_profile = pd.merge(quant_scores, qual_themes, on='student_id')
# 3.2 画像聚类
from sklearn.cluster import KMeans
kmeans = KMeans(n_clusters=4, random_state=42)
student_profile['profile'] = kmeans.fit_predict(features)
1. 引言
├── Vibe Coding 的兴起与教学挑战
├── 元认知能力与自我效能感分离现象
└── 研究问题与目标
2. 文献综述
├── 元认知理论框架
├── 自我效能感与 SRL
├── AI 辅助学习中的元认知研究
└── Vibe Coding 教学研究现状
3. 研究方法
├── 研究设计(混合方法)
├── 参与者与情境
├── 数据收集(问卷/反思/对话/观察)
└── 数据分析策略
4. 研究结果
├── 4.1 量化结果:前后测变化与分离指数
├── 4.2 质性结果:对话行为模式
├── 4.3 质性结果:反思主题分析
└── 4.4 整合结果:学生画像与差异化路径
5. 讨论
├── 分离现象的验证与表现
├── 形成机制的理论解释
├── 对 AI 辅助教学设计的启示
└── 研究局限与未来方向
6. 结论
| 数据文件 | 格式 | 记录数 | 状态 |
|---|---|---|---|
| vibecoding_dialogue_structured.csv | CSV | 50条发言 | ✅ 已完成编码 |
| vibecoding_dialogue_timeline.md | Markdown | 25轮对话 | ✅ 已完成标注 |
| vibecoding_dialogue_by_theme.md | Markdown | 2大主题 | ✅ 已完成聚合 |
| 前测问卷 | Excel | 27人 | ✅ 已收集 |
| 后测问卷 | Excel | 31人 | ✅ 已收集 |
| 反思记录 | Excel | 23人 | ✅ 已收集 |
| 灵感来源PDF | 22页 | ✅ 已梳理 | |
| StudyChat论文 | LAK2026 | ✅ 已研读 |
研究方法设计完成。建议下一步:
你的姓名将随每条批注展示给作者与其他批注人。