大数据基础(物联网工程2023级)
{{$t('查看线下课程信息')}}
{{$t('开课时间')}}: 2026/02/25 - 2026/07/19
{{$t('开课学期')}}: 2026学年春季
{{$t('开课学院')}}: 信息学院
{{$t('开课平台')}}: 云大学堂

21 {{$t('次点击')}}
课程介绍

随着大数据时代的到来,大数据技术促进了信息技术的巨大变革,同时对人们的思维方式、科学研究、社会生产、日常生活等方方面面产生了重要而深远的影响,各行各业对数据科学家的需求激增。培养具备大数据分析基础能力、信息技术与行业需求结合的复合型数据科学家对信息技术人才实现协同创新具有重要意义。 《大数据基础》课程以阐明基本原理、构建知识体系、引导初级实践、了解应用领域为指导思想,对大数据技术进行梳理,以帮助学生形成大数据知识体系及其应用领域的轮廓性认识,为学生深入学习大数据技术奠定基础。本门课程主要介绍大数据基础,包括大数据基本概念、大数据处理架构Hadoop;大数据存储与管理,包括分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库;大数据处理与分析,包括分布式并行编程框架MapReduce、基于内容的分布式计算框架Spark、流计算框架Storm、图计算框架Pregel;大数据应用。

章节
{{$t('暂无数据')}}
教学目标

课程的知识目标、能力目标及思政目标

课程目标(知识,能力,思政) 本课程主要探讨大数据时代及其背后的科学问题——数据科学的理念、理论、方法、技术、工具、应用及最佳实践,为学生更好地掌握专业知识以及提升自己的核心竞争力打下坚实基础。 1.课程教学对学生知识培养的目标如下: 课程目标1:基本概念介绍:让学生了解数据科学的基本定义、原理和应用领域。 课程目标2:技术与标准:让学生了解大数据科学相关的技术和标准,如数据的治理方法等。这些技术为大数据的处理及应用提供了基础设施支持,并推动了其在不同领域的应用。 课程目标3:案例分析:通过实际案例分析,让学生了解大数据科学在不同场景下的应用,如智能家居、智能工厂、网络购物等。这有助于学生理解大数据科学的实际价值和潜在挑战。 课程目标4:系统设计与应用开发:引导学生学习如何设计和开发基于边缘计算系统的应用程序。这可能涉及到编程语言(如Python、R等)、硬件平台选择(如CPU、GPU等)。 课程目标5:安全与隐私保护:强调数据科学中的安全和隐私问题,让学生了解如何确保所处理的数据相关安全性和数据隐私。这可能涉及加密技术、访问控制策略、安全认证等方面的知识。 课程目标6:未来发展趋势:让学生关注数据科学领域的最新发展和趋势,如深度学习、多模态等。这有助于他们把握未来就业方向和发展机会 2.课程教学对学生能力培养的目标如下: 培养目标1:数据采集与预处理能力 掌握多种数据采集技术,包括传感器数据、网络数据、日志数据等的收集方法。针对课程实际情况,学会使用Python编程语言进行数据网上爬虫及反爬虫技术学习,学会数据清洗、格式转换、缺失值处理和数据标准化等预处理操作。 动手实践:实现从携程及美团爬取与云南旅游相关数据,为后期大数据展示提供数据基础,并对数据进行初步清洗和处理。使用Pandas库对复杂数据集进行预处理。 培养目标2:数据存储与管理能力 理解并掌握不同类型的大数据存储技术,如关系型数据库(MySQL)、NoSQL数据库(MongoDB)、分布式文件系统(HDFS)等。物联网工程学生CS涉及课程不多,课程实际使用关系型数据库(MySQL)及.CSV文件存储 能够根据具体需求选择合适的数据存储方案,并进行数据的存储、查询和管理。 动手实践:完成关系型数据库(MySQL)服务器搭建及.CSV文件存储 培养目标3:数据分析与挖掘能力 掌握基本的数据分析和数据挖掘算法,包括分类、聚类、回归分析等。 能够使用工具(如PyTorch、TensorFlow)进行数据建模、训练和评估。 动手实践:采用云南省旅游大数据,具体动手完成KNN\KMeans 分类及聚类、SVM以及YOLOv5图形分割 培养目标4:数据可视化与展示能力 掌握数据可视化的基本概念和技术,能够利用百度开源ECharts工具进行数据的图形化展示。 学会根据不同的业务需求,选择合适的可视化手段和图表类型进行数据展示。 动手实践: 使用ECharts对前期自己采集机老师提供的云南省旅游大数据数据进行可视化分析,制作折线图、柱状图、散点图等。 培养目标5:大数据平台搭建与使用能力 掌握大数据处理平台(如Hadoop、Spark)的基本原理和使用方法。 能够搭建并配置一个大数据处理平台,熟练使用其进行数据的存储、处理和分析。 动手实践:搭建一个小型的Hadoop集群,进行数据的分布式存储和处理操作。 使用Spark进行大规模数据的实时处理和分析,体验其高效性和灵活性。 培养目标6:项目管理与团队协作能力 学会在大数据项目中进行需求分析、方案设计、任务分配和进度管理。 提升团队协作能力,能够有效地与其他成员沟通、协调,完成大数据项目的各项任务。 动手实践:同学分组完成云南省大数据中心大数据可视化项目,从需求分析到最终交付,涵盖数据采集、处理、分析、可视化等各个环节。 使用开源版本控制工具进行版本控制和团队协作,确保项目的有序推进和成果共享。 通过上述六个实际动手能力培养目标,物联网工程本科生将能够系统地掌握大数据技术的各个方面,并具备将理论知识应用于实际问题的能力,为未来的职业发展打下坚实基础。 3.课程教学对思政培养的目标如下: 培养目标1:树立科学精神与实事求是的态度。 引导学生树立科学精神,尊重事实,实事求是。强调数据的真实性和可靠性,培养学生严谨的科学态度。在数据处理与分析过程中,强调数据的准确性和真实性,杜绝数据造假和误导行为。 通过案例分析,展示实事求是的重要性和科学精神的价值。 培养目标2:培养社会责任感与道德意识 培养学生的社会责任感,使其意识到大数据技术在社会发展中的重要作用。强化道德意识,特别是在数据隐私保护和伦理问题上的责任感。 讨论大数据应用中的伦理问题,如数据隐私、信息安全等,增强学生的道德判断力。- 鼓励学生参与公益项目,利用大数据技术服务社会,提升社会责任感。 培养目标3:增强团队合作精神与集体意识 培养学生的团队合作精神,增强集体意识。 强调在课程涉及到的旅游大数据项目中,协作与沟通的重要性。通过团队项目,促进学生之间的合作与沟通,提升团队协作能力。在项目管理过程中,强调集体荣誉感和共同目标的重要性。 培养目标4:提高创新意识与创业精神: 激发学生的创新意识,鼓励探索新思路、新方法。养创业精神,鼓励学生将大数据技术应用于创新创业实践中。在课程讲授中,结合我自己及所认识的典型事件,分享创新创业,激发学生的创新创业热情。 培养目标5:弘扬爱国主义精神与社会服务意识 弘扬爱国主义精神,增强学生的国家荣誉感和使命感。培养社会服务意识,引导学生关注社会问题,积极参与社会服务活动。 结合国家重大发展战略,如“数字中国”、“智慧城市”、“云南省智慧旅游发展”等,引导学生关注国家发展需求。 通过这五个思想政治培养目标,物联网工程本科生不仅能够在专业知识和技能上得到提升,还能在思想政治素养、道德意识、社会责任感等方面得到全面发展,为成为具备综合素质和社会责任感的优秀人才奠定坚实基础。

基本概念介绍

让学生了解数据科学的基本定义、原理和应用领域。

案例分析

通过实际案例分析,让学生了解大数据科学在不同场景下的应用,如智能家居、智能工厂、网络购物等。这有助于学生理解大数据科学的实际价值和潜在挑战。

系统设计与应用开发

引导学生学习如何设计和开发基于边缘计算系统的应用程序。这可能涉及到编程语言(如Python、R等)、硬件平台选择(如CPU、GPU等)。

安全与隐私保护

强调数据科学中的安全和隐私问题,让学生了解如何确保所处理的数据相关安全性和数据隐私。这可能涉及加密技术、访问控制策略、安全认证等方面的知识。

未来发展趋势

让学生关注数据科学领域的最新发展和趋势,如深度学习、多模态等。这有助于他们把握未来就业方向和发展机会

技术与标准

让学生了解大数据科学相关的技术和标准,如数据的治理方法等。这些技术为大数据的处理及应用提供了基础设施支持,并推动了其在不同领域的应用。

课程思政

思政融合点1

选取章节:第 1 章 第 1 节

思政结合点:理想信念

思政融合点2

选取章节:第 5 章 第 8 节

思政结合点:职业道德,理想信念

{{$t('评价')}}
{{evaluationTatal.average}}
{{$t('课程评分')}}
  • {{evaluationTatal['star' + (6 - n)]}}%
{{$t('教学团队')}}
{{item.name}} {{$t(item.type)}}
{{item.college || item.school}}
{{$t('推荐课程')}}
{{$t('请输入课程邀请码')}}:
{{courseType == 2?$t('*此课程为班级课,输入邀请码可加入学习'):courseType == 3?$t('*此课程为培训课,输入邀请码可加入学习'):$t('*输入邀请码可加入学习')}}
{{$t('加入课程')}} {{$t('以管理员角色进入')}}
{{$t('管理员')}}
{{$t('作为管理员角色进入课程后,学习数据不会被记录')}}
{{$t('学生')}}
{{$t('作为学生角色进入课程后,学习将被记录')}}
{{$t('确认')}}