This is a Python wrapper for TA-LIB based on Cython instead of SWIG. From the homepage:

TA-Lib is widely used by trading software developers requiring to perform technical analysis of financial market data.

• Includes 150+ indicators such as ADX, MACD, RSI, Stochastic, Bollinger Bands, etc.
• Candlestick pattern recognition
• Open-source API for C/C++, Java, Perl, Python and 100% Managed .NET

The original Python bindings use SWIG which unfortunately are difficult to install and aren’t as efficient as they could be. Therefore this project uses Cython and Numpy to efficiently and cleanly bind to TA-Lib — producing results 2-4 times faster than the SWIG interface.

Install TA-Lib or Read the Docs

Examples

Similar to TA-Lib, the function interface provides a lightweight wrapper of the exposed TA-Lib indicators.

Each function returns an output array and have default values for their parameters, unless specified as keyword arguments. Typically, these functions will have an initial “lookback” period (a required number of observations before an output is generated) set to NaN.

All of the following examples use the function API:

import numpy
import talib

close = numpy.random.random(100)

Calculate a simple moving average of the close prices:

output = talib.SMA(close)

Calculating bollinger bands, with triple exponential moving average:

from talib import MA_Type

upper, middle, lower = talib.BBANDS(close, matype=MA_Type.T3)

Calculating momentum of the close prices, with a time period of 5:

output = talib.MOM(close, timeperiod=5)

Abstract API Quick Start

If you’re already familiar with using the function API, you should feel right at home using the abstract API. Every function takes the same input, passed as a dictionary of Numpy arrays:

import numpy as np
# note that all ndarrays must be the same length!
inputs = {
    'open': np.random.random(100),
    'high': np.random.random(100),
    'low': np.random.random(100),
    'close': np.random.random(100),
    'volume': np.random.random(100)
}

Functions can either be imported directly or instantiated by name:

from talib import abstract
sma = abstract.SMA
sma = abstract.Function('sma')

From there, calling functions is basically the same as the function API:

from talib.abstract import *
output = SMA(input_arrays, timeperiod=25) # calculate on close prices by default
output = SMA(input_arrays, timeperiod=25, price='open') # calculate on opens
upper, middle, lower = BBANDS(input_arrays, 20, 2, 2)
slowk, slowd = STOCH(input_arrays, 5, 3, 0, 3, 0) # uses high, low, close by default
slowk, slowd = STOCH(input_arrays, 5, 3, 0, 3, 0, prices=['high', 'low', 'open'])

Learn about more advanced usage of TA-Lib here.

Supported Indicators

We can show all the TA functions supported by TA-Lib, either as a list or as a dict sorted by group (e.g. “Overlap Studies”, “Momentum Indicators”, etc):

import talib

print talib.get_functions()
print talib.get_function_groups()

Function Groups

• Overlap Studies
• Momentum Indicators
• Volume Indicators
• Volatility Indicators
• Price Transform
• Cycle Indicators
• Pattern Recognition
• Statistic Functions
• Math Transform
• Math Operators

Overlap Studies

BBANDS               Bollinger Bands
DEMA                 Double Exponential Moving Average
EMA                  Exponential Moving Average
HT_TRENDLINE         Hilbert Transform - Instantaneous Trendline
KAMA                 Kaufman Adaptive Moving Average
MA                   Moving average
MAMA                 MESA Adaptive Moving Average
MAVP                 Moving average with variable period
MIDPOINT             MidPoint over period
MIDPRICE             Midpoint Price over period
SAR                  Parabolic SAR
SAREXT               Parabolic SAR - Extended
SMA                  Simple Moving Average
T3                   Triple Exponential Moving Average (T3)
TEMA                 Triple Exponential Moving Average
TRIMA                Triangular Moving Average
WMA                  Weighted Moving Average

Momentum Indicators

ADX                  Average Directional Movement Index
ADXR                 Average Directional Movement Index Rating
APO                  Absolute Price Oscillator
AROON                Aroon
AROONOSC             Aroon Oscillator
BOP                  Balance Of Power
CCI                  Commodity Channel Index
CMO                  Chande Momentum Oscillator
DX                   Directional Movement Index
MACD                 Moving Average Convergence/Divergence
MACDEXT              MACD with controllable MA type
MACDFIX              Moving Average Convergence/Divergence Fix 12/26
MFI                  Money Flow Index
MINUS_DI             Minus Directional Indicator
MINUS_DM             Minus Directional Movement
MOM                  Momentum
PLUS_DI              Plus Directional Indicator
PLUS_DM              Plus Directional Movement
PPO                  Percentage Price Oscillator
ROC                  Rate of change : ((price/prevPrice)-1)*100
ROCP                 Rate of change Percentage: (price-prevPrice)/prevPrice
ROCR                 Rate of change ratio: (price/prevPrice)
ROCR100              Rate of change ratio 100 scale: (price/prevPrice)*100
RSI                  Relative Strength Index
STOCH                Stochastic
STOCHF               Stochastic Fast
STOCHRSI             Stochastic Relative Strength Index
TRIX                 1-day Rate-Of-Change (ROC) of a Triple Smooth EMA
ULTOSC               Ultimate Oscillator
WILLR                Williams' %R

Volume Indicators

AD                   Chaikin A/D Line
ADOSC                Chaikin A/D Oscillator
OBV                  On Balance Volume

Volatility Indicators

ATR                  Average True Range
NATR                 Normalized Average True Range
TRANGE               True Range

Price Transform

AVGPRICE             Average Price
MEDPRICE             Median Price
TYPPRICE             Typical Price
WCLPRICE             Weighted Close Price

Cycle Indicators

HT_DCPERIOD          Hilbert Transform - Dominant Cycle Period
HT_DCPHASE           Hilbert Transform - Dominant Cycle Phase
HT_PHASOR            Hilbert Transform - Phasor Components
HT_SINE              Hilbert Transform - SineWave
HT_TRENDMODE         Hilbert Transform - Trend vs Cycle Mode

Pattern Recognition

CDL2CROWS            Two Crows
CDL3BLACKCROWS       Three Black Crows
CDL3INSIDE           Three Inside Up/Down
CDL3LINESTRIKE       Three-Line Strike
CDL3OUTSIDE          Three Outside Up/Down
CDL3STARSINSOUTH     Three Stars In The South
CDL3WHITESOLDIERS    Three Advancing White Soldiers
CDLABANDONEDBABY     Abandoned Baby
CDLADVANCEBLOCK      Advance Block
CDLBELTHOLD          Belt-hold
CDLBREAKAWAY         Breakaway
CDLCLOSINGMARUBOZU   Closing Marubozu
CDLCONCEALBABYSWALL  Concealing Baby Swallow
CDLCOUNTERATTACK     Counterattack
CDLDARKCLOUDCOVER    Dark Cloud Cover
CDLDOJI              Doji
CDLDOJISTAR          Doji Star
CDLDRAGONFLYDOJI     Dragonfly Doji
CDLENGULFING         Engulfing Pattern
CDLEVENINGDOJISTAR   Evening Doji Star
CDLEVENINGSTAR       Evening Star
CDLGAPSIDESIDEWHITE  Up/Down-gap side-by-side white lines
CDLGRAVESTONEDOJI    Gravestone Doji
CDLHAMMER            Hammer
CDLHANGINGMAN        Hanging Man
CDLHARAMI            Harami Pattern
CDLHARAMICROSS       Harami Cross Pattern
CDLHIGHWAVE          High-Wave Candle
CDLHIKKAKE           Hikkake Pattern
CDLHIKKAKEMOD        Modified Hikkake Pattern
CDLHOMINGPIGEON      Homing Pigeon
CDLIDENTICAL3CROWS   Identical Three Crows
CDLINNECK            In-Neck Pattern
CDLINVERTEDHAMMER    Inverted Hammer
CDLKICKING           Kicking
CDLKICKINGBYLENGTH   Kicking - bull/bear determined by the longer marubozu
CDLLADDERBOTTOM      Ladder Bottom
CDLLONGLEGGEDDOJI    Long Legged Doji
CDLLONGLINE          Long Line Candle
CDLMARUBOZU          Marubozu
CDLMATCHINGLOW       Matching Low
CDLMATHOLD           Mat Hold
CDLMORNINGDOJISTAR   Morning Doji Star
CDLMORNINGSTAR       Morning Star
CDLONNECK            On-Neck Pattern
CDLPIERCING          Piercing Pattern
CDLRICKSHAWMAN       Rickshaw Man
CDLRISEFALL3METHODS  Rising/Falling Three Methods
CDLSEPARATINGLINES   Separating Lines
CDLSHOOTINGSTAR      Shooting Star
CDLSHORTLINE         Short Line Candle
CDLSPINNINGTOP       Spinning Top
CDLSTALLEDPATTERN    Stalled Pattern
CDLSTICKSANDWICH     Stick Sandwich
CDLTAKURI            Takuri (Dragonfly Doji with very long lower shadow)
CDLTASUKIGAP         Tasuki Gap
CDLTHRUSTING         Thrusting Pattern
CDLTRISTAR           Tristar Pattern
CDLUNIQUE3RIVER      Unique 3 River
CDLUPSIDEGAP2CROWS   Upside Gap Two Crows
CDLXSIDEGAP3METHODS  Upside/Downside Gap Three Methods

Statistic Functions

BETA                 Beta
CORREL               Pearson's Correlation Coefficient (r)
LINEARREG            Linear Regression
LINEARREG_ANGLE      Linear Regression Angle
LINEARREG_INTERCEPT  Linear Regression Intercept
LINEARREG_SLOPE      Linear Regression Slope
STDDEV               Standard Deviation
TSF                  Time Series Forecast
VAR                  Variance

概念:
​​为了提升数据的准确性，将某个点的取值扩大到包含这个点的一段区间，用区间来进行判断，这个区间就是窗口。移动窗口就是窗口向一端滑行，默认是从右往左，每次滑行并不是区间整块的滑行，而是一个单位一个单位的滑行。给个例子好理解一点：

import pandas as pd
s = [1,2,3,5,6,10,12,14,12,30]
pd.Series(s).rolling(window=3).mean()
1
2
3
首先为了好理解，先放上放上pd.Series(s)的样子给大家看看

现在pd.Series(s).rolling(window=3).mean()处理后

不知道大家看出了其中规律没有
首先我们设置的窗口window=3，也就是3个数取一个均值。index 0,1 为NaN，是因为它们前面都不够3个数，等到index2 的时候，它的值是怎么算的呢，就是（index0+index1+index2 ）/3
index3 的值就是（ index1+index2+index3）/ 3

参数详解
DataFrame.rolling(window, min_periods=None, center=False, win_type=None, on=None, axis=0, closed=None)
1
window： 也可以省略不写。表示时间窗的大小，注意有两种形式（int or offset）。如果使用int，则数值表示计算统计量的观测值的数量即向前几个数据。如果是offset类型，表示时间窗的大小。offset详解
min_periods：每个窗口最少包含的观测值数量，小于这个值的窗口结果为NA。值可以是int，默认None。offset情况下，默认为1。
center: 把窗口的标签设置为居中。布尔型，默认False，居右
win_type: 窗口的类型。截取窗的各种函数。字符串类型，默认为None。各种类型
on: 可选参数。对于dataframe而言，指定要计算滚动窗口的列。值为列名。
axis: int、字符串，默认为0，即对列进行计算
closed：定义区间的开闭，支持int类型的window。对于offset类型默认是左开右闭的即默认为right。可以根据情况指定为left both等。

import pandas as pd
s = [1,2,3,5,None,10,12,14,12,30]
pd.Series(s).rolling(3,min_periods=2).mean()
1
2
3

———————
作者：maymay_
来源：CSDN
原文：https://blog.csdn.net/maymay_/article/details/80241627
版权声明：本文为博主原创文章，转载请附上博文链接！

今天教大家如何搭建一套数据分析平台。

它可能是最简单的搭建教程，有一点Python基础都能完成。比起动辄研发数月的成熟系统，借助开源工具，整个时间能压缩在一小时内完成。

优秀的数据分析平台，首先要满足数据查询、统计、多维分析、数据报表等功能。可惜很多分析师，工作的第一年，都是埋葬在SQL语句中，以SQL+Excel的形式完成工作，却用不上高效率的工具。

说Excel也很好用的同学，请先回避一下。

另外一方面，以互联网为代表的公司越来越重视数据，数据获取不再是难点，难点是怎样敏捷分析获得洞察。

市面上已经有不少公司推出企业级的分析平台和BI，可惜它们都是收费的。我相信不少读者听说过，但一直没有机会体验，或者老板们囊中羞涩。现在，完完全全能免费建立一套BI系统，即可以单机版用以分析，也能私有化部署到服务器，成为自家公司的分析工具。

这一切，只需要一小时。

Superset

Superset是一款轻量级的BI工具，由Airbnb的数据部门开源。整个项目基于Python框架，不是Python我也不会推荐了，它集成了Flask、D3、Pandas、SqlAlchemy等。

这是官网的案例（本来是动图的，可惜压缩后也超过微信图片大小限制，吐槽下），想必设计界面已经能秒杀一批市面上的产品了，很多BI真的是浓烈的中国式报表风……因为它的前端基于D3，所以绝大部分的可视化图表都支持，甚至更强大。

Superset本身集成了数据查询功能，查询对分析师那是常有的事。它支持各类主流数据库，包括MySQL、PostgresSQL、Oracle、Impala、SparkSQL等，深度支持Druid。

后台支持权限分配管理，针对数据源分配账户。所以它在部署服务器后，分析师们可以通过它查询数据，也能通过数据建立Dashboard报表。

介绍了这么多，想必大家已经想要安装了吧。

安装

Superset同时支持Python2和Python3， 我这里以Python3作为演示。它支持pip形式的下载，不过我不建议直接安装，因为Superset的依赖包较多，如果直接安装，很容易和现有的模块产生冲突。

这里需要先搭建Python的虚拟环境。虚拟环境可以帮助我们在单机上建立多个版本的Python。简而言之，即可以Python2和Python3共存，也能Python3.3、3.4、3.5共济一堂，彼此间互相独立。

虚拟环境的安装方式很多，pyenv和virtualenv等。这里用Anaconda自带的conda工具。打开电脑终端/cmd，输入以下命令。

conda create -n superset python=3.4

conda create是创建虚拟环境的命令。-n是环境的命名参数，在这里，我们创建了名为superset的环境，它安装在Anaconda的envs目录下。python版本为3.4(superset暂时不支持3.6)。

该命令只会安装基础包，如果需要额外安装其他包，在命令行后加上想要的包名字即可，如python=3.4 numpy pandas。

安装很迅速，完成后，我们的Python环境还是默认版本，现在需要激活虚拟环境。

source activate superset

source activate是激活命令，superset为想要激活的虚拟环境名。windows和mac的命令不一样，win只要activate superset 。如果要退出，则是source deactivate或者deactivate。

激活成功后，命令行前面会多出一个前缀(superset)，表明切换到了新的虚拟环境。接下来安装superset。

pip install superset

pip会自动安装所有的依赖，速度可能有点慢，建议更改pip源。

命令行后加上 -i https://pypi.douban.com/simple ，我这里用了豆瓣的镜像源，速度嗖嗖的。

如果安装过程中报错，是部分程序缺失，像系统比较老旧的win用户，需要安装新版的visual c++，网上搜索教程即可。在官网的教程中，还要求pip install cryptography==1.7.2，我没有安装也没有影响，供大家参考。其他报错，都可以通过搜索解决。

安装成功后，需要进行初始化配置，也是在命令行输入。

fabmanager create-admin –app superset

首先用命令行创建一个admin管理员账户，也是后续的登陆账号。会依次提示输入账户名，账户使用者的first name、last name、邮箱、以及确认密码。fabmanager是flask的权限管理命令，如果大家忘了密码，也能重新设立。

superset db upgrade

初始化数据源。

superset load_examples

载入案例数据，这里的案例数据是世界卫生组织的数据，也是上文演示的各类可视化图表，大家登陆后能够直接看到。下载速度还行。

superset init

初始化默认的用户角色和权限。

superset runserver

最后一步骤，启动Superset服务。因为我们是本地环境，所以在浏览器输入 http://localhost:8088 即可。在runserver后面添加 -p XXXX 可更改为其他端口。

进入登陆界面，输入登陆密码，大功告成。

使用

先别急着使用，因为Superset是英文，我们先把它汉化了。Superset自身支持语言切换。

进入到Superset所在目录文件，按我之前的步骤，应该在anaconda/envs/superset/lib/python3.4/site-packages/superset中，路径视各位情况可能有差异。

在目录下有一个叫config.py的文件，打开它，找到Setup default language这一行，修改变量。

BABEL_DEFAULT_LOCALE调整为zh，这样界面默认为中文。languages字典中zh前面的注释#去掉。保存后退出。

接下来还是在Superset的目录下新创建文件夹，按translations/zh/LC_MESSAGES的路径依次创建三个。Superset官网提供了汉化包，在最大的同性交友网站github上下载，目录为：

https://github.com/apache/incubator-superset/blob/master/superset/translations/zh/LC_MESSAGES/messages.mo

网址路径有点长，下载后把mo文件放在LC_MESSAGES文件下。清除浏览器的缓存，重新登陆localhost。

搞定！

需要注意的是，它并非完全汉化，而是汉化了superset相关的部分。部分文字被写入在flask app的文件中，汉化起来比较麻烦。

Superset分为多个模块，安全模块是账号管理相关，包括角色列表，视图权限控制，操作日志等。管理模块没什么用，主要是设计元素。

数据源可以访问和连接数据库，切片是各类数据可视化，均是单图；看板即为Dashboard，是切片的集合，Superset提供了三个初始案例，SQL工具箱是数据查询平台。

麻雀虽小，五脏俱全，对于大部分中小型的企业，Superset足以应付数据分析工作。

先学习连接数据库，这里以我电脑中的数据库为准，如果大家学习过早前的教程，那么数据库中都应该有数据分析师的练习数据，我这里不重复了，可以看历史文章。也可用自带的卫生数据照着练习。

Superset使用了sqlalchemy框架，使用前需要安装数据库驱动程序，先退出runserver，进入superset虚拟环境，安装Python中的MySQL驱动程序。

 pip install pymysql

MySQL的驱动程序很多，除了pymysql，还有mysqlclient等。安装好后，进入数据源，新建一个database连接。

在SQLAlchemy URL中加入数据库的地址，格式为:

mysql+pymysql://root:xxxx@localhost:3306/qin?charset=utf8

mysql是数据库类型，pymysql是驱动程序，表示用pymysql连接mysql数据库，+号不能省略。

另外，root是数据库登陆账号,xxxx为密码，这个按大家自己设立的来。localhost是数据库地址，因为我的是本地环境，所以localhost即可，也可以是127.0.0.1。3306是端口，一般默认这个。qin是需要连接的数据库，也是我自己设的名字。后面带参数charset=utf8，表示编码，因为表里面有中文。

其他数据库的连接大同小异，图中绿色的连接是相关教程。

如果大家在公司网络，拥有内网访问数据库的权限，也可以尝试连接，应该是可以的，这样就能在个人电脑上实行敏捷的BI分析。

格式命名好后，点击测试，出现seems ok，表示成功访问。在选项下面还有个Expose in SQL Lab，允许我们在SQL工具箱查询，要打上勾。

进入到SQL工具箱，左边选择table为DataAnalyst。

直接出来了数据库的数据预览。连查询平台的颜值都那么高。大家的SQL技能应该都很不错，有兴趣可以在这里练习一下，语法和MySQL一致。其他数据库则是其他数据库的语法。

执行一段SQL语句，它支持下载为CSV，我没试过支持最大文件的大小，但作为日常的查询平台是绰绰有余了。

选择Visualize，进入切片绘图模式。

这里自动匹配支持的图表选项，包括Bar Chart条形图，Pir Chart饼图等。下面的选项是定义维度，我们将city，education，postitionName，salary，workYear都勾选为维度。agg_func是聚合功能，这里将职位ID求和，改成count()，点击生成图表。

这里按城市生成了各职位ID求和获得的条形图，也就是不同城市的分析师人数。

左边Chart Options可以调整分析需要的维度。Metrics是分析的度量，这里是count(positionId)，Series是条形图中的类别，Breakdowns可以认为是分组或者分桶。这里将Series改成workYear，Breakdowns改成city，点击Query执行。

条形图变更为按工作年限和城市细分的多维条形图。点击Stacked Bars，则切换成堆积柱形图。操作不难。

左侧的选项栏还有其他功能，这里就不多做介绍了，和市面上常见的BI没有多大区别，琢磨一下也就会了。

Superset支持的图表很丰富，如果具备开发能力，也能以D3和Flask为基础做二次开发。Airbnb官方也会不断加入新的图表。不同图表，其左侧的操作选项也不同。

\

上图是以数据分析师职位名称为基础绘制的词云图，生成的速度会比较慢。我们选择save保存。完成的图表均存放在切片下。

Dashboard通过多个切片组合完成，每个切片连接不同的数据源，这是BI的基本逻辑。进入看板界面，新建一个Dashboard。

设置看板相应的配置选项，因为我偷懒了，所以只做了两个切片，大家有兴趣可以继续增加。其他选项忽略，都是自动生成的。点击save，到这一步，BI最重要的Dashboard就完成了。

浏览一下最终的成果吧。

关于Superset的新手教学结束了，要是部署到公司，账号和权限多研究下。它和市面上的其他BI没有太多区别，不过它是我们用Python从零到有一手建立，这个感觉可比用Excel爽不少。虽然我的演示以单机版为主，将其建立在linux服务器上大同小异。

从零开始搭建到现在，排除掉下载花费的时间，大家可以计算是不是真的只用一个小时就搭建好一个数据分析平台？没骗你们吧。

通过搭建Superset，数据分析新手对BI应该也有一个大概的了解，市面上的BI大同小异，只是侧重点不同。在Superset的基础上，往底层完成埋点采集和数据ETL，往上拓展报表监控，CRM等，这些也有不少开源软件可用。至于机器学习，以及Hadoop和Spark更是一个大生态，把这些都算上，则是真正完整的大数据分析平台了。

Superset也有缺陷，它使用的是ORM框架，虽然它能连接众多的数据库，但是它有一个关系映射过程，将SQL数据转化为Python中的对象，这也造成它在大数据量的处理效率不如专业的BI软件。在使用SQL工具箱时，应该尽量避免超大表之间的关联，以及复杂的group by。

我个人的建议是，它只是一款轻量级的BI，复杂的数据关联，应该在ETL过程中完成，Superset只需要执行最终结果表的读取即可。它足够支撑TB级别的数据源读取。技术比较成熟的团队，也能尝试将Superset和Kylin整合，这样OLAP的能力又能上一个台阶。

另外，Superset中的表都是独立的，所以多图表间的复杂联动并不支持，仅支持过滤，这点比较可惜。不知道Airbnb后续会不会支持。

好消息是，这个开源项目一直在更新，github什么也有很多新的功能特性待开发，比如dashboard上加入tab切换栏等。可以star一下关注。

曾经有人问过我，什么是数据分析思维？如果分析思维是一种结构化的体现，那么数据分析思维在它的基础上再加一个准则：

不是我觉得，而是数据证明。

这是一道分水岭，“我觉得”是一种直觉化经验化的思维，工作不可能处处依赖自己的直觉，公司发展更不可能依赖于此。数据证明则是数据分析的最直接体现，它依托于数据导向型的思维，而不是技巧，前者是指导，后者只是应用。

作为个人，应该如何建立数据分析思维呢？

建立你的指标体系

在我们谈论指标之前，先将时间倒推几十年，现代管理学之父彼得·德鲁克说过一句很经典的话：

如果你不能衡量它，那么你就不能有效增长它。

所谓衡量，就是需要统一标准来定义和评价业务。这个标准就是指标。假设隔壁老王开了一家水果铺子，你问他每天生意怎么样，他可以回答卖的不错，很好，最近不景气。这些都是很虚的词，因为他认为卖的不错也许是卖了50个，而你认为的卖的不错，是卖了100。

这就是“我觉得”造成的认知陷阱。将案例放到公司时，会遇到更多的问题：若有一位运营和你说，产品表现不错，因为每天都有很多人评价和称赞，还给你看了几个截图。而另外一位运营说，产品有些问题，推的活动商品卖的不好，你应该相信谁呢？

其实谁都很难相信，这些众口异词的判断都是因为缺乏数据分析思维造成的。

老王想要描述生意，他应该使用销量，这就是他的指标，互联网想要描述产品，也应该使用活跃率、使用率、转化率等指标。

如果你不能用指标描述业务，那么你就不能有效增长它。

了解和使用指标是数据分析思维的第一步，接下来你需要建立指标体系，孤立的指标发挥不出数据的价值。和分析思维一样，指标也能结构化，也应该用结构化。

我们看一下互联网的产品，一个用户从开始使用到离开，都会经历这些环节步骤。电商APP还是内容平台，都是雷同的。想一想，你会需要用到哪些指标？

而下面这张图，解释了什么是指标化，这就是有无数据分析思维的差异，也是典型的数据化运营，有空可以再深入讲这块。

指标体系没有放之四海而皆准的模板，不同业务形态有不同的指标体系。移动APP和网站不一样，SaaS和电子商务不一样，低频消费和高频消费不一样。好比一款婚庆相关的APP，不需要考虑复购率指标；互联网金融，必须要风控指标；电子商务，卖家和买家的指标各不一样。

这些需要不同行业经验和业务知识去学习掌握，那有没有通用的技巧和注意事项呢？

好指标与坏指标

不是所有的指标都是好的。这是初出茅庐者常犯的错误。我们继续回到老王的水果铺子，来思考一下，销量这个指标究竟是不是好的？

最近物价上涨，老王顺应调高了水果价格，又不敢涨的提高，虽然水果销量没有大变化，但老王发现一个月下来没赚多少，私房钱都不够存。

老王这个月的各类水果销量有2000，但最后还是亏本了，仔细研究后发现，虽然销量高，但是水果库存也高，每个月都有几百单位的水果滞销最后过期亏本。

这两个例子都能说明只看销量是一件多不靠谱的事情。销量是一个衡量指标，但不是好指标。老王这种个体经营户，应该以水果铺子的利润为核心要素。

好指标应该是核心驱动指标。虽然指标很重要，但是有些指标需要更重要。就像销量和利润，用户数和活跃用户数，后者都比前者重要。

核心指标不只是写在周报的数字，而是整个运营团队、产品团队乃至研发团队都统一努力的目标。

核心驱动指标和公司发展关联，是公司在一个阶段内的重点方向。记住是一个阶段，不同时期的核心驱动指标不一样。不同业务的核心驱动指标也不一样。

互联网公司常见的核心指标是用户数和活跃率，用户数代表市场的体量和占有，活跃率代表产品的健康度，但这是发展阶段的核心指标。在产品1.0期间，我们应把注意力放到打磨产品上，在大推广前提高产品质量，这时留存率是一个核心指标。而在有一定用户基数的产品后期，商业化比活跃重要，我们会关注钱相关的指标，比如广告点击率、利润率等。

核心驱动指标一般是公司整体的目标，若从个人的岗位职责看，也可以找到自己的核心指标。比如内容运营可以关注阅读数和阅读时长。

核心驱动指标一定能给公司和个人带来最大优势和利益，记得二八法则么？20%的指标一定能带来80%的效果，这20%的指标就是核心。

另外一方面，好的指标还有一个特性，它应该是比率或者比例。

拿活跃用户数说明就懂了，我们活跃用户有10万，这能说明什么呢？这说明不了什么。如果产品本身有千万级别的注册用户，那么10万用户说明非常不健康，产品在衰退期。如果产品只拥有四五十万用户，那么说明产品的粘性很高。

正因为单纯的活跃用户数没有多大意义，所以运营和产品会更关注活跃率。这个指标就是一个比率，将活跃用户数除以总用户数所得。所以在设立指标时，我们都尽量想它能不能是比率。

坏指标有哪些呢？

其一是虚荣指标，它没有任何的实际意义。

产品在应用商店有几十万的曝光量，有意义吗？没有，我需要的是实际下载。下载了意义大吗？也不大，我希望用户注册成功。曝光量和下载量都是虚荣指标，只是虚荣程度不一样。

新媒体都追求微信公众号阅读数，如果靠阅读数做广告，那么阅读数有意义，如果靠图文卖商品，那么更应该关注转化率和商品销量，毕竟一个夸张的标题就能带来很高的阅读量，此时的阅读量是虚荣指标。可惜很多老板还是孜孜不倦的追求10W+，哪怕刷量。

虚荣指标是没有意义的指标，往往它会很好看，能够粉饰运营和产品的工作绩效，但我们要避免使用。

第二个坏指标是后验性指标，它往往只能反应已经发生的事情。

比如我有一个流失用户的定义：三个月没有打开APP就算做流失。那么运营每天统计的流失用户数，都是很久没有打开过的，以时效性看，已经发生很久了，也很难通过措施挽回。我知道曾经因为某个不好的运营手段伤害了用户，可是还有用吗？

活动运营的ROI（投资回报率）也是后验性指标，一个活动付出成本后才能知道其收益。可是成本已经支出，活动的好与坏也注定了。活动周期长，还能有调整余地。活动短期的话，这指标只能用作复盘，但不能驱动业务。

第三个坏指标是复杂性指标，它将数据分析陷于一堆指标造成的陷阱中。

指标能细分和拆解，比如活跃率可以细分成日活跃率、周活跃率、月活跃率、老用户活跃率等。数据分析应该根据具体的情况选择指标，如果是天气类工具，可以选择日活跃率，如果是社交APP，可以选择周活跃率，更低频的产品则是月活跃率。

每个产品都有适合它的几个指标，不要一股脑的装一堆指标上去，当你准备了二三十个指标用于分析，会发现无从下手。

指标结构

既然指标太多太复杂不好，那么应该如何正确的选择指标呢？

和分析思维的金字塔结构一样，指标也有固有结构，呈现树状。指标结构的构建核心是以业务流程为思路，以结构为导向。

假设你是内容运营，需要对现有的业务做一个分析，提高内容相关数据，你会怎么做呢？

我们把金字塔思维转换一下，就成了数据分析方法了。

从内容运营的流程开始，它是：内容收集—内容编辑发布—用户浏览—用户点击—用户阅读—用户评论或转发—继续下一篇浏览。

这是一个标准的流程，每个流程都有指标可以建立。内容收集可以建立热点指数，看哪一篇内容比较火。用户浏览用户点击则是标准的PV和UV统计，用户阅读是阅读时长。

从流程的角度搭建指标框架，可以全面的囊括用户相关数据，无有遗漏。

这套框架列举的指标，依旧要遵循指标原则：需要有核心驱动指标。移除虚荣指标，适当的进行删减，不要为添加指标而添加指标。

维度分析法

当你有了指标，可以着手进行分析，数据分析大体可以分三类，第一类是利用维度分析数据，第二类是使用统计学知识如数据分布假设检验，最后一类是使用机器学习。我们先了解一下维度分析法。

维度是描述对象的参数，在具体分析中，我们可以把它认为是分析事物的角度。销量是一种角度、活跃率是一种角度，时间也是一种角度，所以它们都能算维度。

当我们有了维度后，就能够通过不同的维度组合，形成数据模型。数据模型不是一个高深的概念，它就是一个数据立方体。

上图就是三个维度组成的数据模型／数据立方体。分别是产品类型、时间、地区。我们既能获得电子产品在上海地区的2010二季度的销量，也能知道书籍在江苏地区的2010一季度销量。

数据模型将复杂的数据以结构化的形式有序的组织起来。我们之前谈到的指标，都可以作为维度使用。下面是范例：

将用户类型、活跃度、时间三个维度组合，观察不同用户群体在产品上的使用情况，是否A群体使用的时长更明显？

将商品类型、订单金额、地区三个维度组合，观察不同地区的不同商品是否存在销量差异？

数据模型可以从不同的角度和层面来观察数据，这样提高了分析的灵活性，满足不同的分析需求、这个过程叫做OLAP（联机分析处理）。当然它涉及到更复杂的数据建模和数据仓库等，我们不用详细知道。

数据模型还有几种常见的技巧、叫做钻取、上卷、切片。

选取就是将维度继续细分。比如浙江省细分成杭州市、温州市、宁波市等，2010年一季度变成1月、2月、3月。上卷则是钻取的相反概念，将维度聚合，比如浙江、上海、江苏聚合成浙江沪维度。切片是选中特定的维度，比如只选上海维度、或者只选2010年一季度维度。因为数据立方体是多维的，但我们观察和比较数据只能在二维、即表格中进行。

上图的树状结构代表钻取（source和time的细分），然后通过对Route的air切片获得具体数据。

聪明的你可能已经想到，我们常用的数据透视表就是一种维度分析，将需要分析的维度放到行列组合进行求和、计数、平均值等计算。放一张曾经用到的案例图片：用城市维度和工作年限维度，计算平均工资。

除了Excel、BI、R、Python都能用维度分析法。BI是相对最简便的。

谈到维度法，想要强调的是分析的核心思维之一：对比，不同维度的对比，这大概是对新人快速提高的最佳捷径之一。比如过去和现在的时间趋势对比，比如不同地区维度的对比，比如产品类型的区别对比，比如不同用户的群体对比。单一的数据没有分析意义，只有多个数据组合才能发挥出数据的最大价值。

我想要分析公司的利润，利润 = 销售额 – 成本。那么找出销售额涉及的指标／维度，比如产品类型、地区、用户群体等，通过不断的组合和拆解，找出有问题或者表现良好的原因。成本也是同理。

这就是正确的数据分析思维。总结一下吧：我们通过业务建立和筛选出指标，将指标作为维度，利用维度进行分析。

很多人会问，指标和维度有什么区别？

维度是说明和观察事物的角度，指标是衡量数据的标准。维度是一个更大的范围，不只是数据，比如时间维度和城市维度，我们就无法用指标表示，而指标（留存率、跳出率、浏览时间等）却可以成为维度。通俗理解：维度>指标。

到这里，大家已经有一个数据分析的思维框架了。之所以是框架，因为还缺少具体的技巧，比如如何验证某一个维度是影响数据的关键，比如如何用机器学习提高业务，这些涉及到数据和统计学知识，以后再讲解。

这里我想强调，数据分析并不是一个结果，只是过程。还记得“如果你不能衡量它，那么你就不能有效增长它”这句话吗？数据分析的最终目的就是增长业务。如果数据分析需要绩效指标，一定不会是分析的对错，而是最终数据提升的结果。

数据分析是需要反馈的，当我分析出某项要素左右业务结果，那么就去验证它。告诉运营和产品人员，看看改进后的数据怎么样，一切以结果为准。如果结果并没有改善，那么就应该反思分析过程了。

这也是数据分析的要素，结果作导向。分析若只是当一份报告呈现上去，后续没有任何跟进、改进的措施，那么数据分析等与零。

业务指导数据，数据驱动业务。这才是不二法门。

附

解答上篇文章的思考题，可能大家等急了。

你是淘宝的数据分析师，现在需要你预估双十一的销量，你不能获得双十一当天和之前的所有数据。只能获得11月12日开始的数据，你应该如何预估？

因为是开放题，所以没有固定答案。

大家的回答分为两类：

一类是通过后续双十一的销量，判断16年，缺点是需要等一年，优点是简单到不像话。

二类是通过11月12日之后的销量数据，往前预估，期间会考虑一些权重。缺点是双十一属于波峰，预估难道大，优点是可操作性好。

因为题目主要看的是分析思维，目的是找出可能的思路，所以有没有其他的方法呢？

我们尝试把思维放开，因为销量能反应商品，有没有其他维度？我们可能会想到：退换货率、和商品评价率。因为双十一的商品只能在12日后退换货和收货后评价，我们就能根据这两个指标平日的平均比率，以及双十一商品的后续退换和评价总数，预估卖出总量。退换货率肯定会虚高一些（毕竟双十一退货不少），那么商品评价率更准确。

还有其他方法么？当然有，比如会有不少人用蚂蚁花呗支付双十一，那么后续还款的比率能不能预估？

如果再将思路放开呢？虽然我不知道淘宝当天的数据，但是可以寻求外部数据，比如京东，京东的双十一销量是多少，是平时的多少倍，那么就用这个倍数去预估淘宝的。

整体的分析结构就分为：

外部数据：

• 京东等其他平台双十一销量

内部数据：

• 商品数据：商品评价率、退换货率、商品销量
• 支付数据：蚂蚁花呗支付比率等

pandas DataFrame是二维的,所以,它既有列索引,又有行索引

import pandas as pd

df = pd.DataFrame({‘A’: [0, 1, 2], ‘B’: [3, 4, 5]})
print df

# 结果:
A B
0 0 3
1 1 4
2 2 5
复制代码
行索引自动生成了 0,1,2

如果要自己指定行索引和列索引,可以使用 index 和 column 参数:

这个数据是5个车站10天内的客流数据:

复制代码
ridership_df = pd.DataFrame(
data=[[ 0, 0, 2, 5, 0],
[1478, 3877, 3674, 2328, 2539],
[1613, 4088, 3991, 6461, 2691],
[1560, 3392, 3826, 4787, 2613],
[1608, 4802, 3932, 4477, 2705],
[1576, 3933, 3909, 4979, 2685],
[ 95, 229, 255, 496, 201],
[ 2, 0, 1, 27, 0],
[1438, 3785, 3589, 4174, 2215],
[1342, 4043, 4009, 4665, 3033]],
index=[’05-01-11′, ’05-02-11′, ’05-03-11′, ’05-04-11′, ’05-05-11′,
’05-06-11′, ’05-07-11′, ’05-08-11′, ’05-09-11′, ’05-10-11′],
columns=[‘R003’, ‘R004’, ‘R005’, ‘R006’, ‘R007’]
)
复制代码
data 参数为一个numpy二维数组, index 参数为行索引, column 参数为列索引

生成的数据以表格形式显示:

复制代码
R003 R004 R005 R006 R007
05-01-11 0 0 2 5 0
05-02-11 1478 3877 3674 2328 2539
05-03-11 1613 4088 3991 6461 2691
05-04-11 1560 3392 3826 4787 2613
05-05-11 1608 4802 3932 4477 2705
05-06-11 1576 3933 3909 4979 2685
05-07-11 95 229 255 496 201
05-08-11 2 0 1 27 0
05-09-11 1438 3785 3589 4174 2215
05-10-11 1342 4043 4009 4665 3033
复制代码
下面说下如何获取DataFrame里的值:

1.获取某一列: 直接 [‘key’]

复制代码
print(ridership_df[‘R003’])

# 结果:
05-01-11 0
05-02-11 1478
05-03-11 1613
05-04-11 1560
05-05-11 1608
05-06-11 1576
05-07-11 95
05-08-11 2
05-09-11 1438
05-10-11 1342
Name: R003, dtype: int64
复制代码
2.获取某一行: .loc[‘key’]

复制代码
print(ridership_df.loc[’05-01-11′])
# 或者
print(ridership_df.iloc[0])

# 结果:
R003 0
R004 0
R005 2
R006 5
R007 0
Name: 05-01-11, dtype: int64
复制代码
3.获取某一行某一列的某个值:

print(ridership_df.loc[’05-05-11′,’R003′])
# 或者
print(ridership_df.iloc[4,0])

# 结果:
1608
4.获取原始的numpy二维数组:

复制代码
print(ridership_df.values)

# 结果:
[[ 0 0 2 5 0]
[1478 3877 3674 2328 2539]
[1613 4088 3991 6461 2691]
[1560 3392 3826 4787 2613]
[1608 4802 3932 4477 2705]
[1576 3933 3909 4979 2685]
[ 95 229 255 496 201]
[ 2 0 1 27 0]
[1438 3785 3589 4174 2215]
[1342 4043 4009 4665 3033]]
复制代码
*注意在这过程中,数据格式如果不一致,会发生转换.

一个综合栗子:

从 ridership_df 找出第一天里客流量最多的车站,然后返回这个车站的日平均客流,以及返回所有车站的平均日客流,作为对比:

复制代码
def mean_riders_for_max_station(ridership):
max_index = ridership.iloc[0].argmax()
mean_for_max = ridership[max_index].mean()
overall_mean = ridership.values.mean()
return (overall_mean, mean_for_max)

print mean_riders_for_max_station(ridership_df)

# 结果:
(2342.6, 3239.9)
复制代码

1.环境 win7，64位， anaconder，pyhon2.7，3.5.。网上找来很多方法不管用。

2. 用anaconda装也不行。最后是从这个帖子，发现好像官网的是32位，我们要下64位的：
    http://stackoverflow.com/questions/28103010/error-installing-ta-lib-for-anaconda
    找到这个link：
    http://www.lfd.uci.edu/~gohlke/pythonlibs/
    从那边下载的这个：

    TA_Lib-0.4.17-cp35-cp35m-win_amd64.whl

    TA_Lib-0.4.17-cp27-cp27m-win_amd64.whl

3. 然后在anaconder python2.7 的命令行下： 

    pip install TTA_Lib-0.4.17-cp27-cp27m-win_amd64.whl,显示安装成功，但实际在python2.7的环境下,

    import talib会明显出错。 报：“ImportError: cannot import name __TA_FUNCTION_NAMES__”

    不知原因。

4. 然后在anaconder python3.5 的命令行下： 

    pip install TA_Lib-0.4.9-cp35-none-win_amd64.whl

    实测通过。

很久以前，我为一个家庭成员建立了一个 WordPress 博客。如今有很多选择，但是当时如果你需要一个带有所见即所得的编辑器的基于 Web 的 CMS，那么就没什么像样的的选择了。而一切运行良好的不幸的副作用是随着时间的推移该博客产生了很多内容。这意味着我要经常更新 WordPress 以防止不断出现的漏洞。

因此，当我决定劝说家人切换到 Hugo[1] 会相对容易，然后可以在 GitLab[2] 上托管博客。但是尝试提取所有内容并将其转换为 Markdown[3] 变成了一个巨大的麻烦。有自动脚本完成了 95% 的工作，但并不完美。手动更新所有帖子不是我想做的事情，所以最终，我放弃了试图移动博客。

最近，我又开始考虑这个问题，并意识到有一个我没有考虑过的解决方案：我可以继续维护 WordPress 服务器，但将其设置为发布静态镜像，并使用 GitLab Pages[4]（或 GitHub Pages[5] ，如果你喜欢的话）提供服务。这能让我自动化 Let’s Encrypt[6] 证书续订并消除与托管 WordPress 站点相关的安全问题。然而，这意味着评论将无法使用，但在这种情况下感觉就像是一个小损失，因为博客没有收到很多评论。

这是我提出的解决方案，到目前为止似乎运作良好：

托管 WordPress 站点中的 URL 没有链接到或来自其他任何地方，以减少它被利用的几率。在此例中，我们将使用 http://private.localconspiracy.com（即使此站点实际上是使用 Pelican 构建的）。
将公共 URL https://www.localconspiracy.com 托管到 GitLab Pages 上[7]。
添加 cron 任务[8]，确定两个 URL 之间的最后构建日期何时不同。如果构建日期不同，则镜像 WordPress 版本。
使用 wget 镜像后，将所有链接从“私有”更新成“公共”。
运行 git push 来发布新内容。
这是我使用的两个脚本：

check-diff.sh （cron 每 15 分钟调用一次）：

#!/bin/bash

ORIGINDATE=”$(curl -v –silent http://private.localconspiracy.com/feed/ 2>&1|grep lastBuildDate)”
PUBDATE=”$(curl -v –silent https://www.localconspiracy.com/feed/ 2>&1|grep lastBuildDate)”

if [ “$ORIGINDATE” != “$PUBDATE” ]
then
/home/doc/repos/localconspiracy/mirror.sh
fi
mirror.sh：

#!/bin/sh

cd /home/doc/repos/localconspiracy

wget \
–mirror \
–convert-links \
–adjust-extension \
–page-requisites \
–retry-connrefused \
–exclude-directories=comments \
–execute robots=off \
http://private.localconspiracy.com

git rm -rf public/*
mv private.localconspiracy.com/* public/.
rmdir private.localconspiracy.com
find ./public/ -type f -exec sed -i -e ‘s|http://private.localconspiracy|https://www.localconspiracy|g’ {} \;
find ./public/ -type f -exec sed -i -e ‘s|http://www.localconspiracy|https://www.localconspiracy|g’ {} \;
git add public/*
git commit -m “new snapshot”
git push origin master
就是这些了！现在，当博客发生变化时，在 15 分钟内将网站镜像到静态版本并推送到仓库，这将在 GitLab Pages 中反映出来。

如果你想在本地运行 WordPress[9]，这个概念可以进一步扩展。在这种情况下，你不需要服务器来托管你的 WordPress 博客。你可以在本机运行它。在这种情况下，你的博客不可能被攻击利用。只要你可以在本地运行 wget，就可以使用上面的方法在 GitLab Pages 上托管 WordPress 站点。