网络研讨会4 -为什么评估 & 教师发展需要彼此:用证据促进学生学习

秋季学期是校园里充满活力的一段时间! 这也是开始考虑你今年的评估计划的好时机. 具体来说,你想用什么仪器来测量. 不幸的是,收集数据很常见, 仅仅发现它并不能告诉我们我们开始发现的东西(见 Dr. 芬尼关于实施富达数据的网络研讨会 为了解决这个问题!). 无论你是在调整你目前使用的东西,还是想尝试一些不同的东西, 评估准则, 调查, 焦点小组是很好的选择. 这篇摘要文章来自《有效使用评估工具在一次网络研讨会上. 美国帕雷德斯,博士. Vandecar-Burdin博士说. 雪莉·波普将为你讲解如何开始!

评估准则

什么是红字?
共享的术语在IE工作评估中总是很重要的,它促进了协作. 标号是一种教学和评估工具,旨在清楚地描述特定学习或评估任务的特点和质量. 它为如何评价或判断某事建立了标准.

为什么我应该考虑使用一个标题?
这对学生和教师都有好处. 教师甚至可以和学生一起建立标准, 这能帮助他们批判性地思考任务吗, 结果, 和质量.

对于学生来说,标红可以明确他们的期望,并明确“好”的含义. 它可以告诉和展示学生如何能成功. 标号还可以提供有用和有针对性的反馈, 让学生掌握自己的学习. 最后,它鼓励元认知反思,因为学生可以用一个标题进行自我评估.

为教师, 红字要求教学决策的清晰度, 当您清楚地说明学生需要完成任务和完成项目目标的知识和技能时. 它是指向性能组件的映射. 这反过来又告知需要的指导领域,将所有内容联系在一起.

标号也鼓励更一致的得分. 虽然所有的评分都是主观的,一个标题并不能完全消除这一点, 这将有助于整个过程更加客观. 也许最好的原因之一是,红色标志可以节省时间! 虽然这需要时间来创建和校准, 从长远来看,这应该节省时间, 尤其是当你得分很多的时候.

质量标志的特征
一个有效的标题有五个属性:

  • 语言清晰度:避免使用诸如“好”或“坏”之类的通用术语. 相反,使用非常具体的语言. “这种基调适合观众.”
  • 关注质量(而不是数量):项目必须遵循长度等方面的指示.在美国,红字将质量考虑在内.
  • 简单(四点)标度:奇数标度指向中心,超过4就太复杂了.
  • 长度可控:标题应该是完整的但可控的——不超过一页.
  • 基本标准:您真正想从这个工具中了解什么? 一些共同的主题可能是思考的质量, 内容知识量, 以及产品的组织. 如果你想要包含的东西很难定义, 不要跳过它, 但是要说清楚(你的学生需要这个).

我如何创建一个红字?
幸运的是,这里有很多资源. 你可以查阅文献和专业组织, 通常有例子和说明. 通常情况下,搜索你需要的项目或学科类型,会有一个很好的开始或借鉴的地方. 您也可以从头开始创建自己的程序! 收集学生作业样本, 按good/better/best分类和分组, 然后对这些属性进行分类,并将这些原因压缩成集群, 哪些是红色的类别. 这个练习在课堂上也很有用.

调查

什么是调查?
虽然我们都做过调查,但大多数人从未设计过. “调查”一词最常用来描述从个人样本中收集信息的方法. 调查提供了对人们态度的定量或数字描述, 感知, 首选项/意见, 或者通过研究人口样本的实际行为/经历.

为什么要使用调查?
当现有的数据源不够充分且需要关于人们观点的信息时,通常会使用调查, 感知, 信仰, 或经验. 它们可以提供数据,用于做出重要决定或更改课程, 项目, 政策, 等.

特别是在评估方面,调查可以帮助衡量:

  • 程序评估/有效性
  • 学生的学习成果
  • 学生满意度
  • 雇主的满意度
  • 校友的经历

我如何创建一个调查?
首先,确定你的“大”问题——你需要知道什么? 对于评估,它应该与你的计划、课程或单元的目标和目的有关.

然后你会想要专注于这个问题,以便概念化和操作化你需要衡量的东西. 哪些维度和指标可以帮助您回答问题? 维度可以是任务或活动、频率、价值或技能. 指标可以包括满意度, 计划继续使用服务, 如果有人想推荐什么, 或评级.

最后,你需要计划如何进行调查. 了解你的人口是非常重要的. 你如何联系他们? 一旦您获得了联系信息,您就可以确定您的调查模式(电话), 面对面, 网络, 邮件, 或结构). 当你考虑你的收件人时, 考虑可能影响调查的其他方面, 比如读写能力问题, 词汇和术语, 访问技术, 和激励

请记住,你并不总是需要重新发明轮子! 使用现有的调查和问题是很常见的, 同时也要咨询你的同事和专业协会.

如何写出好的调查问题? 这可能是一篇完整的文章! 但在短, 问题需要是可靠和有效的, 它们应该能够回答你的大问题(如果不能的话), 删除它们!).

当你起草的时候,考虑一下问自己以下问题:

  • 是否有不清楚或难以理解的问题?
  • 你是否在一个问题中问了不止一个问题?
  • 回答选项是否与调查问题“任务”相匹配?
  • 响应选项是否详尽且相互排斥?
  • 调查进展顺利吗?
  • 对调查目的而言,是否有多余或不必要的问题?
  • 有没有遗漏的问题?

焦点小组

什么是焦点小组?
一个可爱的定义是“一种类似于朋友或邻居之间的活泼交谈的小组讨论”(摩根), 1988). 更实际地说,它可以被定义为一个机密的小组讨论 与训练有素和熟练的版主 使用开放的问题,促进互动,探索参与者的观点和经验,在一个结构化但轻松的氛围,旨在生成定性数据.

焦点小组是严格的和相关的调查是可靠和有效的. 调查是非常定量的,但有时这些数字总是意味着什么并不清楚. 焦点小组可以帮助回答量化数据背后的原因.

为什么要使用焦点小组?
焦点小组是一种收集数据的好方法,可以了解参与者对感兴趣的话题的理解(唯一来源), 如何构建调查(探索性), 或者帮助解释调查结果(后续调查).

更一般的, 焦点小组可以支持专业人士应对日益增强的问责制(外部和内部). 此外,学院和大学里充斥着定量数据——一切都被计算在内. 焦点小组可以帮助数据讲述一个更完整的故事,因为在这些情况下,利益相关者的经验不那么清楚, 因为这些数据并没有告诉我们数字背后的含义. 来自焦点小组的定性数据解决了难以捉摸的“为什么”问题?的问题,以进一步理解什么才是真正重要的.

以下是一些潜在的焦点小组想法:

  • 获得老板的反馈
  • 确定学生的学习情况以及他们运用技能的情况
  • 制定大学战略计划
  • 评估学生服务
  • 评估教师、职员及学生的归属感
  • 制定质量改善计划
  • 检查大学生活质量(工作/生活平衡)

我如何组织焦点小组?
引导焦点小组有六个步骤, 不过请注意,整本书都在讨论这个话题!

  1. 开发一个提议, 定义的目的, 写研究问题(问题是最重要的).
  2. 选择与会者(一般为5-12人), 但你也可能会运行多个组以获得良好的数据), 包括两个版主.
  3. 设计主持人指南.
  4. 选择并培训版主.
  5. 引导焦点小组. 通常情况下,这些会被记录下来,主持人也会在非语言交流上做笔记, 如点头, 手提高, 表达式, 等.
  6. 分析数据并报告结果.

同样,每个步骤都可以有详细的文章和章节专门讨论它! 为了便于开始, 这里有一些技巧,可以帮助你写出与你的研究目标相关的优秀的焦点小组问题.

Do

  • 将问题与项目目标或研究问题联系起来
  • 使用清晰、明确的语言
  • 使用开放式的问题
  • 使用让人们反思或“回想”的问题

  • 问“为什么?,而应该说得更详细一些
  • 问一些诱导性的问题(如果有必要,至少少用一些)
  • 使用double-barrel question,你要问两件事而不是一件事

例子问题:

  • 你是如何参与……?
  • 告诉我你的一些经历 .…
  • 当我说……时,脑海中浮现的是什么?
  • ……对……有什么影响??
  • 你会如何提高……?
  • 你对……有什么建议??
  • 你是如何使用……?

如何分析数据?

通常你会有一个会议的录音, 哪些被转录,然后与版主注释一起分析. 看数据的时候, 确定主题或类似的主题, 关注这些的频率和广度. Also consider context; comments may be specific to certain situations that were discussed, 你的工作就是推断并将其置于背景中. 这也适用于主持人的任何非语言交流. 这种分析应该将主题联系在一起,形成“大想法”.”

我们希望您能受到这篇概述的激励,在今年秋天更新您的工具! 如果你想要更多的资源,请务必查看:

没有回复

留下你的评论