关于RECOVERY清除数据的分析

【前言】讨论:双清和清空所有数据的问题说明:以前写的帖子都写三清,那个是为了保险起见才叫大家三项清除,毕竟人都有刚开始的时候,但看了郭贤普的帖子《系统与数据兼容性测试》之后,我觉得有必要说说这个问题,顺便说说双系统共存的时候为什么切换系统要清空所有数据。【分析内容】分析关键名词:清空缓存、清空用户数
4次阅读

170119、100亿数据1万属性数据架构设计

一分钟系列之《啥,又要为表增加一列属性?》分享了两种数据库属性扩展思路,被喷得厉害。第二天补充了一篇《这才是真正的表扩展方案》,分享了互联网大数据高并发情况下,数据库属性扩容的成熟工具及思路。 对于version + ext方案,还是有很多朋友质疑“线上不可能这么用”。本篇将讲述一下58同
2次阅读

数据加密 - TDE透明数据加密原理

 首先需要确定你需要加密的列,Oracle 10g数据库将为包含加密列的表创建一个私密的安全加密密钥(表秘钥),然后采用你指定的加密算法(AES或3DES)加密指定列的明文数据。此时,保护表的加密密钥(表密钥)就非常重要了。Oracle 10g通过一个master密钥来对表密钥进行加密。m
3次阅读

通过libVirt抓取kvm虚拟机监控指标数据

通常在我们的云环境中,为了保证云平台中虚拟机的正常运行,基本都需要这样一个功能,就是收集虚拟机的监控数据,比如cpu的使用率、内存的使用率、磁盘io、网络io等基本信息。可以利用这些信息及时调整云平台环境中出现的一些问题,从而实现保证VM的正常运行。  说到KVM管理工具,首先应该想到的就
0次阅读

SQL高效分页(百万条数据)

第一种方法:效率最高SELECT TOP 页大小 * FROM ( SELECT ROW_NUMBER() OVER (ORDER BY id) AS RowNumber,* FROM table1 ) as A WHERE RowNumber > 页大小*(页
4次阅读

validate参数校验和数据回显

服务端校验校验理解 项目中,通常使用较多的是前段的校验,比如在页面中js校验。对于安全要求较高的建议在服务端进行校验。 服务端校验: 控制层controller:校验页面请求的参数的合法性。在服务端控制层controller校验,不区分客户端类型(浏览器、手机客户端、远程调用); 业务层se
1次阅读

非平衡数据机器学习

这篇文章翻译至http://www.svds.com/learning-imbalanced-classes/,作者简洁明了地阐述了非平衡数据及解决这类问题的常用方法。其实一些朴素的方法我们自己也能想到,并且也实际使用过一些,比如重采样、调整权值等。然而,我们并没有去做一些归纳。感谢作者帮我们归纳了
2次阅读

YII2-数据库数据查询方法,关联查询with, joinWith区别和分页

一、ActiveRecord 活动记录1.with关联查询  例如,查询评论 $post = Post::find()->with('comments');   等价于以下结果集 SELECT * FROM `post`; SELECT * FROM `comme
3次阅读

【Python文件处理】递归批处理文件夹子目录内所有txt数据

因为有个需求,需要处理文件夹内所有txt文件,将txt里面的数据筛选,重新存储。虽然手工可以做,但想到了python一直主张的是自动化测试,就想试着写一个自动化处理数据的程序。 一.分析数据格式需要处理的数据是txt格式存储的。下图中一行中的数据依次是,帧、时间、编号、特征点编号、特征点名
10次阅读

在DevExpress程序中使用GridView直接录入数据的时候,增加列表选择的功能

在我上篇随笔《在DevExpress程序中使用Winform分页控件直接录入数据并保存》中介绍了在GridView以及在其封装的分页控件上做数据的直接录入的处理,介绍情况下数据的保存和校验等操作,不过还没有涉及到数据列表选择的这种方式,而这种在项目应用也是比较广泛的一种输入方式。本篇随笔继续探讨在G
36次阅读