这篇主要是WIFI感知(包括CSI)相关知识的一个梳理
入门
软硬件平台:基础至少需要一个发送设备+一个接收设备,各设备2-3个外接天线。
CSI测量工具:Linux Ubuntu系统安装,Atheros CSI tool、Intel 5300 NIC CSI tool,Nexus 5(不同测量工具对网卡版本均有要求)
CSI处理
进阶
感知算法设计
感知系统可视化
案例实践
Widar 3.0 http://tns.thss.tsinghua.edu.cn/widar3.0/
Wi-Fi感知,顾名思义,就是利用Wi-Fi信号实现对周围环境以及环境中的人体、物体状态的感知。现有Wi-Fi感知方法主要通过分析从Wi-Fi信号采集到信道状态信息(Channel State Information,CSI)实现
Atheros CSI Tool官方网站
指引文件
开源地址
Intel 5300官方网站
Nexus 5官方网站
CSI基础处理CSI测量值解析出来为a+bj的复数形式
相关工作及代码
自我翻阅的helpone road
two Wifi Sensing CSDN
th...
数据集
这份数据集的内容包括第一列用户id,第二列商品id,第三列类别id(比如冰箱属于家电类),第四列用户行为类型(包括pv:浏览/fav:收藏/cart:加入购物车/buy:购买),第五列时间戳。
数据导入首先,使用Navicat将csv格式的数据集导入Mysql。由于数据集过大,这里仅导入前300w行数据,并以此进行分析。
数据处理
更改数据列名
123456alter table userbehavior change f1 user_id int, change f2 item_id int, change f3 category_id int, change f4 behavior_type varchar(5), change f5 time_stamp int;
查找空值
123456789select * from userbehavior where user_id is null or item_i...
查缺补漏
刷题
从第三行数据开始,只取一行12SELECT * FROM employees ORDER BY hire_date DESCLIMIT 1 OFFSET 2
左连接1234select last_name,first_name,dept_nofrom employees sleft join dept_emp don s.emp_no = d.emp_no
获取每个部门中当前员工薪水最高的相关信息,给出dept_no, emp_no以及其对应的salary,按照部门编号dept_no升序排列
12345678910SELECT d.dept_no, d.emp_no, s.salaryFROM dept_emp dJOIN salaries s ON d.emp_no = s.emp_noWHERE s.salary = ( SELECT MAX(s1.salary) FROM dept_emp d1 JOIN salaries s1 ON d1.emp_no = s1.emp_no WHERE d1.dept_no = d.dept...
Tableau下载地址
学生版认证–获取密钥
完成了,好激动!准备开始学习(Fighting)
数据库连接连接有多种连接的来源,可以供选择
当选择两个数据进行连接后,需要选择字段
提取方式
实时:每一次更新都需要导入数据
数据提取:存储到Tableau的数据库里面
筛选器:当数据较多,且已经明确了所要的数据时,可以提前在这筛选掉
保存方式
twb:不带数据,需要连接
twbx:内置数据
数据查看
性能和数据响应程度做取舍,都是需要成本的。
数据可视化数据变成图表的过程,就是数据映射到视觉图形的过程
数据:维度和度量
数值型【度量】:一般由数字组成,表示为图表的面积大小、条形长短、颜色深浅等可以量化的视觉元素
类别型【维度】:有限的类别数或可区分组数,表示为图表的颜色种类、图形位置、分类方式等视觉元素
【度量】映射图形,【维度】负责区分
数据可映射的数据类型:
位置
散点图主要有四种数据规律
长度
角度,例如饼状图
方向,例如折线图
形状
面积和体积
颜色和深浅
可视化字典
视觉图形的暗示排序清单
数据可视化领域的四大金刚:散点图、柱状图/条...
Excel
基础概念
对数据进行备份
右键——移动或复制——移到最后——创建副本——隐藏
需要显现的时候,右键任意sheet,取消隐藏
数据理解 ctrl + shift + L /* 全部筛选 */
UV与PV:去重与不去重
CPC:单次广告的成本
数据透视表筛选
插入切片器
透视表内的筛选
都可以进行筛选,区别是:切片器不只应用于透视表。
双击可以更改名称:
插入字段
函数sum函数新建窗口
冻结窗口
sum特殊 win + 上下左右 /* 任意分屏 */
中间加逗号可以分开来选。
sumif函数锁定
sumif sumif( 比对的数据行,标准,要的数据行)
sumifs sumifs( 要的数据行,对比的数据行1,标准1,对比数据行2,标准2,...)
环比与同比同比:上一年或者上一月环比:上一个相邻的
拆解日期
组合日期
如果前一个月没有那一天,就会返回第一天。跨年算的结果是正确的。
不要用Excel的日期格式去存储日期,要用字符串格式。
求每个月最后一天
条件判断符号要加双引号后面跟&
总结
subt...
《深入浅出数据分析》坦白来说,也不是崇洋媚外,只是外国笔者的书籍有时确实比中国学者有趣得多。可能看起来讲的并不深入,但是作为启蒙书,会给你一步步启迪。
为防止后续遗忘,能不断巩固,写下此篇读书笔记。
数据分析引言:分解数据四个流程:确定–分解–评估–决策
确定首先,首席执行官或是客户(包括你自己)会给出一个浅薄的目标,比如提高销量。
此时,应该提出问题做深一步的确定问题。
分解接下来对数据进行分解,确定基准假设。客户确定无疑的信息和你对数据的想法。
评估加入本人的介入:做出自己的明确假设,以信用为自己的结论负责。写最终报告要提到自己,明确结论出处。
决策粗略版本:
背景:来自于得到的材料,写下自己和客户的假设数据解说:数据支持,图表辅助建议:得出的结论
不是每一次分析结果都是理想的,当决策后出现偏差时候,考虑错误或不完整的信息。
从背景切入,某个客户确信的观点可能只是心智模型。
需要根据数据,对原本确定的目标,进行重新的确定。
可以向客户询问其不知道的事情。例如:
索要更多数据,进行分析和深入挖掘更多数据。
回顾整个模拟流程:
实验,检验你的理论务必使用比较法,数据相互比...
2024.7.22 最终版本(安装软件+数据采集)收发硬件配置就到这里完成了,这篇不会再改动和新增。
2024.7.15 19:46
想起我之前和朋友留下的誓言,昨天开完会确定了一些东西后,我也开始认真去做了(不过这点不能让老师知道,我是现在才开始想好好认真对待emm哈哈)。估计是个人性格和思想,总有些莫名的叛逆哈哈,只想做自己想做的,不想的都很拖拉,也就难以开始。但是不管是项目组还是这学期的javaweb,我都能感觉到逃避不是一个很好的解决方式,特别是对于你之后一定会要去做的事情上面,这样累积起来的疲惫会成倍,不如踏实好好做完,再毫无负担地开始些新的东西。所以呢,咳咳,我的总结就是:对于不想且之后一定不做的,一丁点心思也不花;对于不想但之后还是要做的(这种事嘛,多半是还蛮重要的)就去按部就班做完。
ok,不想说这么多了,开始正文。主要讲kernel的配置和安装。
搭建硬件平台搭建的是Ubuntu version of Atheros CSI tool,主要用于收发CSI信号,用于后续实验收集数据做支撑来使用。
购买网卡
安装网卡和Ubuntu由于这步的内容是组内其他伙伴做的,...
数据分析思维
数据分析过程
观测
(1)采集数据
解析系统日志
埋点获取新数据
通过传感器采集
爬虫解析网站
API获取数据
(2)存储数据
数据库
连接数据库取数
(3)展示数据
可视化高效传达信息
测量
设定标准
发现异常
应用数据创造价值
数据不断迭代产品和业务策略
明确目标
拆解目标
得到标准值
MECE:满足相互独立、且能够穷尽。
比较常见的拆解方法:
时间流程法
漏斗模型:AARRR,用户的流程
- PDCA:质量管理,先规划再进行,定期检查过程问题
- 精益创业:根据想法快速建产品,并根据数据快速更改想法
模型框架法
优劣势比较
投入产出比
SWOT
量化公式法
穷尽要素法
整体分为各部分
是什么-为什么-怎么做-做什么
拆解方法的记录拆解方法:
首先,需要符合MECE(无重复,无遗漏)
流程拆解法:流程分析进行拆解,适用于流程较长,环节较多,随着环节的进行,留存率越来越少的场景。
二分法:把事物分成A和非A两个部分。
象限拆解法:(1)可用于找到问题的共性原因,将有相同特征的事件进行归因分...
写在这里今天是2024年7月11日,准备继续开始学习数据分析的必要知识。
未接触的时候,我以为Python处理就算可以了甚至加分项,后来发现市面上更多使用Excel和MySql,看似很简单很枯燥是不是,但是当我前几天尝试学习Excel高级知识时候发现它的潜力远不止平常所用的功能。
该暑假学习完整个内容,如果能花时间做几个项目就更好了。
总路线接下来将根据该学习路线,先试着进行:戴师兄数据分析自学路线
2024/7/28 修改路线
① 处理数据:Excel、Python、SQL② BI工具:Tableau、PowerBI③ 分析思维④ 大数据知识⑤ Python进阶⑥ 数学知识
决定根据个人的学习情况,适当修改学习路线和进度:
已完成:
Excel
Tableau
SQL
改为先学FinBI,然后就先不用学习更多BI工具的使用,而是就Tableau和FinBI来更熟练掌握。
特此鸣谢!
建立数据分析思维
Excel 功能学习
BI 工具
SQL
其他了解:数仓、统计学知识、高数等
实操做项目