傅一航,傅一航講師,傅一航聯系方式,傅一航培訓師-【中華講師網】
大數據 數據分析 數據挖掘 數據建模
41
鮮花排名
0
鮮花數量
傅一航:大數據挖掘語言:用Python實現大數據挖掘項目實戰(zhàn)培訓
2017-03-22 3560
對象
大數據系統(tǒng)開發(fā)部、大數據分析中心、業(yè)務支撐部、IT系統(tǒng)部等相關技術人員。
目的
掌握Python語言,以及在數據挖掘中的應用
內容

Python是一門解釋性語言,僅次于JAVA/C/C++/C#最受歡迎的語言,可應用在大數據語言。易學,易懂,功能強大。其中有著大量的擴展庫來實現數據分析與數據挖掘功能。


第一部分:Python語言基礎

目的:掌握基本的Python編程思想與編程語句,熟悉常用數據結構的操作

1、Python簡介

2、開發(fā)環(huán)境搭建

? ?Python的安裝

? ?擴展庫的安裝

3、掌握Python的簡單數據類型

? ? 字符串的使用及操作

? ?整數、浮點數

4、掌握基本語句:

? ?if、while、for、print等

? ?基本運算:

? ?函數定義、參數傳遞、返回值

5、掌握復雜的數據類型:列表/元組

? ?列表操作:訪問、添加、修改、刪除、排序

? ?列表切片、復制等

? ?列表相關的函數、方法

? ?元組的應用

6、復雜數據類型:字典

? ?創(chuàng)建、訪問、修改、刪除、遍歷

? ?字典函數和方法

7、復雜數據類型:集合

8、掌握面向對象編程思想

? ?創(chuàng)建類、繼承類

? ?模塊

9、函數定義、參數傳遞、返回值

10、 ? ?標準庫與擴展庫的導入

11、 ? ?異常處理:try-except塊

演練:基本的Python編程語句


第二部分:Python語言與數據挖掘庫

目的:掌握數據集結構及基本處理方法,進一步鞏固Python語言

1、數據挖掘常用擴展庫介紹

? ?Numpy數組處理支持

? ?Scipy矩陣計算模塊

? ?Matplotlib數據可視化工具庫

? ?Pandas數據分析和探索工具

? ?StatsModels統(tǒng)計建模庫

? ?Scikit-Learn機器學習庫

? ?Keras深度學習(神經網絡)庫

? ?Gensim文本挖掘庫

2、數據集讀取與操作:讀取、寫入

? ?讀寫文本文件

? ?讀寫CSV文件

? ?讀寫Excel文件

? ?從數據庫獲取數據集

3、數據集的核心數據結構(Pandas數據結構)

? ?DataFrame對象及處理方法

? ?Series對象及處理方法

演練:用Python實現數據的基本統(tǒng)計分析功能


第三部分:數據可視化處理

目的:掌握作圖擴展庫,實現數據可視化

1、常用的Python作圖庫

? ?Matplotlib庫

? ?Pygal庫

2、實現分類匯總

演練:按性別統(tǒng)計用戶人數

演練:按產品+日期統(tǒng)計各產品銷售金額


3、各種圖形的畫法

? ?直方圖

? ?餅圖

? ?折線圖

? ?散點圖

4、繪圖的美化技巧

演練:用Python庫作圖來實現產品銷量分析,并可視化


第四部分:數據挖掘基礎

目的:掌握數據挖掘標準流程

1、數據挖掘概述

2、數據挖掘的標準流程(CRISP-DM)

? ?商業(yè)理解

? ?數據準備

? ?數據理解

? ?模型建立

? ?模型評估

? ?模型應用

3、數據挖掘常用任務與算法

案例:用大數據實現精準營銷的項目過程


第五部分:數據理解和數據準備

目的:掌握數據預處理的基本環(huán)節(jié),以及Python的實現

1、數據預處理

? ?異常值處理:3σ準則,IQR準則

? ?缺失值插補:均值、拉格朗日插補

? ?數據篩選/抽樣

? ?數據的離散化處理

? ?變量變換、變量派生

2、數據的基本分析

? ?相關分析:原理、公式、應用

? ?方差分析:原理、公式、應用

? ?卡方分析:原理、公式、應用

? ?主成分分析:降維

案例:用Python實現數據預處理及數據準備


第四部分:分類預測模型實戰(zhàn)

1、常見分類預測的模型與算法

2、如何評估分類預測模型的質量

? ?查準率

? ?查全率

? ?ROC曲線

3、邏輯回歸分析模型

? ?邏輯回歸的原理

? ?邏輯回歸建模的步驟

? ?邏輯回歸結果解讀

案例:用sklearn庫實現銀行貸款違約預測


4、決策樹模型

? ?決策樹分類的原理

? ?決策樹的三個關鍵問題

? ?決策樹算法與實現

案例:電力竊漏用戶自動識別


5、人工神經網絡模型(ANN)

? ?神經網絡概述

? ?神經元工作原理

? ?常見神經網絡算法(BP、LM、RBF、FNN等)

案例:神經網絡預測產品銷量


6、支持向量機(SVM)

? ?SVM基本原理

? ?維災難與核心函數

案例:基于水質圖像的水質評價


7、貝葉斯分析

? ?條件概率

? ?常見貝葉斯網絡


第五部分:數值預測模型實戰(zhàn)

1、常用數值預測的模型

? ?通用預測模型:回歸模型

? ?季節(jié)性預測模型:相加、相乘模型

? ?新產品預測模型:珀爾曲線與龔鉑茲曲線

2、回歸分析概念

3、常見回歸分析類別


第六部分:聚類分析(客戶細分)實戰(zhàn)

1、客戶細分常用方法

2、聚類分析(Clustering)

? ?聚類方法原理介紹及適用場景

? ?常用聚類分析算法

? ?聚類算法的評價

案例:使用SKLearn實現K均值聚類

案例:使用TSNE實現聚類可視化


3、RFM模型分析

? ?RFM模型,更深入了解你的客戶價值

? ?RFM模型與市場策略

案例:航空公司客戶價值分析


第七部分:關聯規(guī)則分析實戰(zhàn)

1、關聯規(guī)則概述

2、常用關聯規(guī)則算法

3、時間序列分析

案例:使用apriori庫實現關聯分析

案例:中醫(yī)證型關聯規(guī)則挖掘


第八部分:案例實戰(zhàn)(學員主導,老師現場指導)

1、實戰(zhàn)1:電商用戶行為分析及服務推薦

2、實戰(zhàn)2:基于基站定位數據的商圈分析


結束:課程總結與問題答疑。


全部評論 (0)

Copyright©2008-2025 版權所有 浙ICP備06026258號-1 浙公網安備 33010802003509號 杭州講師網絡科技有限公司
講師網 m.kasajewelry.com 直接對接10000多名優(yōu)秀講師-省時省力省錢
講師網常年法律顧問:浙江麥迪律師事務所 梁俊景律師 李小平律師