作者文章归档:daxiahy

数学建模

监督学习

分类

KNN最邻近分类

最邻近分类的python实现方法

在距离空间里,如果一个样本的最接近的k个邻居里,绝大多数属于某个类别,则该样本也属于这个类别
        案例一:电影数据分类
#  案例一:电影数据分类

from sklearn import neighbors  # 导入KNN分类模块
import warnings
warnings.filterwarnings('ignore') 
# 不发出警告

data = pd.DataFrame({'name':['北京遇上西雅图','喜欢你','疯狂动物城','战狼2','力王','敢死队'],
          

阅读全文 →

数据处理

缺失值处理

概念

数据缺失主要包括记录缺失和字段信息缺失等情况,其对数据分析会有较大影响,导致结果不确定性更加显著

判断是否有缺失值数据

isnull:缺失值为True,非缺失值为False
        notnull:缺失值为False,非缺失值为True

删除缺失值 - dropna

填充/替换缺失数据

fillna
        replace
        缺失值插补方法
            (1)均值/中位数/众数插补
            (2)临近值插补
            (3)插值法 —— 拉格朗日插值法
                拉格朗日插值法

 

阅读全文 →

数据分析方法

分布分析

概念

分析数据的分布情况
      能够快速发现数据分布规律
      研究数据的分布特征和分布类型,分定量数据、定性数据区分基本统计量

步骤

导包
#导包
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline

1.读取数据

#数据读取
data=pd.read_csv('E:/Data_analysis/data/深圳罗湖二手房信息.csv',
                 encoding='gbk',engine='python')

2.坐标数

阅读全文 →

Matplotlib基础

Matplotlib简介及图表窗口

简介

Matplotlib → 一个python版的matlab绘图接口,以2D为主,支持python、numpy、pandas基本数据结构,运营高效且有较丰富的图表库

导包

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

图表窗口1 → plt.show()

# 图表窗口1 → plt.show()

plt.plot(np.random.rand(10))
plt.show()
# 直接生成图表

图表窗口2 → 魔法函数,嵌入图表

% matplotlib in

阅读全文 →

pandas基础

介绍

基于Numpy构建,为数据分析而存在
    一位数组series+二维数组dataframe
    可直接读取数据并做处理
    兼容各种数据库
    支持各种分析算法

series

数据结构

Series 是带有标签的一维数组,可以保存任何数据类型(整数,字符串,浮点数,Python对象等),轴标签统称为索引
        s = pd.Series(np.random.rand(5))
            s.index
            s.values
        核心:series相比于ndarray,是一个自带索引index的数组 → 一维数组 + 

阅读全文 →

numpy基础

基本数据结构

numpy介绍

python开源的科学计算工具包
    高级数值编辑工具
        强大的N维数组对象ndarry
        对数组结构数据进行运算(不用遍历循环)
        随机数,线性代数,傅里叶变换等

多维数组ndarray

“秩”
        ar.ndim
    维度
        ar.shape
    元素总数n*m
        ar.size
    元素的数值类型
        ar.dtype
    元素的字节大小
        ar.itemsize
    元素的缓冲区
        ar.data
    数据类

阅读全文 →

基于facenet的人脸识别

效果

up主:欣小萌 image

数据准备

  1. 可以使用爬虫爬取你需要的人脸图片数据,需要手动剔除没用图片
  2. 可以使用视频提取图片的方式。我采用bilibili下载视频,然后等时间间隔的切出几十张图片。尽量选择人脸出镜率高的up主。

视频切出图片的代码:/article/2020/3/12/77.html

image

下载facenet

去github上下载facenet,并且下载作者训练好的模型,如果模型下载不下来,我这有百度网盘地址。

开始训练

首先切换到你的工作环境(工作目录,虚拟环境等)。

目录文件介绍

  1. facenet-master/image_test 该目录为实验目录,用作对比人脸图片之间的欧氏距离,

阅读全文 →

目标检测基础知识

目标检测

卷积介绍

1*1卷积

作用:

  • 增加非线性,使网络可以表达更复杂的特征
  • 特征降维,减少参数和计算量

空洞卷积

空洞卷积提供了更大的感受野,可以得到更大的特征图,有助于小物体的识别和分割。

转置卷积

上采样,让小图变成大图

目标检测简单方法介绍

传统方法

滑动窗口+传统机器学习分类器

  1. 识别效果差,准度低
  2. 计算量大,运算速度慢
  3. 会出现多个正确结果

滑动窗口+卷积神经网络CNN

与上面方法对比仅提高了识别准确率

全卷积神经网络FCN

对于一个各层参数结构都设计好的神经网络,输入图片的大小都是固定的,如Alexnet、Net,VGGNet,GoogleNet等网络。

FCN的精髓就是让

阅读全文 →

模型融合

载入数据

import pandas as pd

names=['preg','plas','pres','skin','test','mass','pedi','age','class']
df = pd.read_csv("./pima-indians-diabetes.csv",names=names)

df.head()
【0】Pregnancies:怀孕次数 
【1】Glucose:葡萄糖 
【2】BloodPres

阅读全文 →

特征选择

过滤式/Filter

SelectKBest

from sklearn.feature_selection import SelectKBest
from sklearn.datasets import load_iris

iris = load_iris()
X,y = iris.data,iris.target

X[:5,:]

过滤式

X_new = SelectKBest(k=2).fit_transform(X,y)

X_new[:5,:]  # 计算相关系数后 发现这两列和y值相关度最高

结果:

X_new[:5,:]  # 计算相关系数后 发现这两列和y值相关度最高
1

阅读全文 →