Jimmy那些事儿

发表 | 更新 | 分类 ， ， | 阅读次数

SyncToy使用说明

  • synchronize ：在这个模式下，SyncToy会使得两个文件夹完全一致，无论在哪一个文件夹中操作，对应的操作相当于都在另一个文件夹中执行了一次。（也就是我们所说的“同步”）。
  • echo：echo模式的效果是，使得在左边文件夹中新增加的和被改变的内容会被备份到右边的文件夹中。在左侧被重命名的文件以及被删除了的文件，将也会在右侧的文件夹中删除。（这种模式与synchronize 很像，差别就在于这里只会从左边同步到右边，右边的操作对左边的文件夹无效~）。
  • Contribute ：也就是我们常说的“增量备份”，相当于在echo的基础上，把所有的删除操作都屏蔽掉了，只要在左边文件夹中存在过的文件都会在右侧文件夹中存在。

博客文档，选用echo模式；因为并不是所有的文章都要发表

并且，在右侧删除的内容，对同一个 <同步设置> 再次执行时，右侧被删除的文档不会被再次增加。


Jimmy那些事儿

发表 | 更新 | 分类 ， ， | 阅读次数

日期与时间

datetime表示的时间需要时区信息才能确定一个特定的时间，否则只能视为本地时间。

如果要存储datetime，最佳方法是将其转换为timestamp再存储，因为timestamp的值与时区完全无关。

阅读全文 »
Jimmy那些事儿

发表 | 更新 | 分类 | 阅读次数

S：对数据工作做了总结之后（分为两大模块：数据平台、数据使用），想了解当前社会对数据分析工作的定位是如何的；引发通过了解 数据分析部门所处的组织架构去认识

W：通过对组织架构的研究，去定义/剖析不同组织架构下数据分析部门当前所处的阶段与机制；

B：达到状态：能够去辨别一家公司对数据分析工作的定位与重视度

在一个企业中，可能数据部门在一个公司中组织架构中的位置，决定了部门的定位和一些做的事情，数据部门所处的组织架构对数据价值实现是一个很重要因素。

阅读全文 »
Jimmy那些事儿

发表 | 更新 | 分类 ， ， | 阅读次数

Anaconda安装

  • ‘python’ 不是内部或外部命令，也不是可运行的程序或批处理文件。

这个问题本质其实就是，windows的cmd并不能识别python这个符号（即无法识别这个符号是一个可执行程序），因为windows这里也是类似的，遇到一个字符，先会在默认path路径查询这个符号是不是一个可执行程序

右键我的电脑->属性->高级系统配置->点击高级一栏，在这里栏点开环境变量->在系统变量PATH加入python的安装路径即可，比如我的就是D:\Python27

  • pip不是内部或外部命令，也不是可运行的程序

添加Python的Script 到环境变量；在Path后面追加一下内容(Path： 不要复制进去) Path:;C:\python;C:\Python\Scripts

阅读全文 »
Jimmy那些事儿

发表 | 更新 | 分类 ， ， | 阅读次数

Re模块

Re模块的函数主要分三个大类：匹配模式、替换、拆分

Python字符串转义符 \

因此强烈建议使用Python的r前缀，就不用考虑转义的问题了：

1
2
3
4
5
import re
s = r'ABC\-001' # Python的字符串
# 对应的正则表达式字符串不变：
# 'ABC\-001'
阅读全文 »
Jimmy那些事儿

发表 | 更新 | 分类 ， ， | 阅读次数

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

术语“大数据”是大型数据集，其中包括体积庞大，高速，以及各种由与日俱增的数据的集合。使用传统的数据管理系统，它是难以加工大型数据。因此，Apache软件基金会推出了一款名为Hadoop的解决大数据管理和处理难题的框架。

参考链接：http://www.yiibai.com/hive/

阅读全文 »