网站外链分析工具,一般用哪些工具做大数据分析？
虽然收集和分析“大数据”存在一些分析和技术方面的挑战，但事实上大部分公司已经能够应对这种挑战网站外链分析工具。这是因为有一些非常强大的分析工具都是免费、开源的，可以充分利用这些工具来提升自己的能力。
下面推荐了10个针对企业的大数据分析工具，这些工具不仅免费、使用方便，而且具有强大的功能和良好的资源。
1、Tableau Public
这是一个简单直观的可视化工具。它在商业活动中表现的很强大，因为它通过可视化来表达。它有足够的空间和免费使用时长让你体验，在分析的过程中，Tableau的图片呈现可以让你快速的调查一个假设、验证你的直觉，做更好的商业决策。
2、OpenRefine
它是以前的GoogleRefine，OpenRefine是一款数据清理软件，可以对准备好的一切数据进行分析。例如最近我清理了一个含有化学名称的数据库，并且各行有不同的拼写、大小写、空格等，用计算机来处理非常困难，幸运的是， OpenRefine包含许多聚类算法，对这个问题可以快速解决。
3、KNIME
KNIME可以通过可视化编程的方式来操作、分析和建模。不仅可以写代码。你还可以在操作中建立联系节点。基本上你只需要将功能模块拖拽到工作区，并将模块按照运行流程连接起来，就可以实现以往编程才能实现的工作。更重要的是，KNIME可以扩展到运行R, python, text mining,chemistry data等等，这可以让你选择用更先进的编码来分析。
4、RapidMiner
和KNIME类似， RapidMiner通过可视化编程操作，建模和分析数据。最近，RapidMiner赢得kdnuggets的软件调查。
5、GoogleFusion Tables
这是针对数据分析、大数据集的可视化和映射的一个非常强大的工具，谷歌的地图软件在其中起着重要作用。拿下面这张图来说，这是一张墨西哥湾石油生产平台的图，我只需要上传数据，Google Fusion Tables确认维度和经度的数据之后就开始工作了。
6、NodeXL
NodeXL是针对网络和关系的可视化分析软件。想想科技巨头地图上代表LinkedIn或Facebook的连接，NodeXL提供了进一步精确的计算。如果你在不需要那么先进的东西，你可以看看Google Fusion Tables，或者尝试用Gephi。
7、import.io
从网上抓取网页和信息曾经是技术人员的专利，现在用import.io，每个人都可以从网站和论坛获取数据。简单提出你想要的数据，几分钟之后import.io就可以通过你的搜索知道你在找什么，从而会挖掘、提供数据用于你的分析或输出。
8、Google Search Operators
不可否认谷歌最初是一个强大的资源和搜索公司，运营商可以让你快速过滤掉谷歌的结果得到的最有用的和相关的信息。比如说，你正想从ABC咨询里寻找一个今年的数据科学报告。如果我们认为该报告可能是PDF格式的，可以在“数据科学报告”，下面的搜索栏，使用“搜索工具”来屏蔽去年的结果。这在发现新的信息或市场研究方面非常有用。
9、Solver
Solver是一个在excel中做优化和线性规划的工具，允许你设置一些约束条件（例如不超过什么价格，要在哪天之前完成之类）。虽然更有效的优化可能会需要另一个程序（例如R的优化包），但是Solver应用范围比较广。
10、WolframAlpha
Wolfram Alpha的搜索引擎是一个隐藏的宝石，可以媲美苹果的Siri。WolframAlpha类似于不那么智能的Google，对科技搜索提供详细的回复，对微积分作用也能快速的搜索。对企业用户来说，它提供了信息图表，对历史价格、商品信息、主题概述。
有没有免费的短网址工具？
我是@程序员小助手， 本文从技术角度，对短网址进行深度挖掘。
前言网上已经有产品，用着还不错。可是，作为程序员，从零开始造轮子，开发一个属于自己的短网址服务器，这想法amazing！
通过本文，读者可明白短网址的技术原理，以及通过Go语言实现一个短网址服务。
简明教程短网址为什么存在？
微博等产品的兴起，活跃了网上的社交圈内大多数用户。但是微博一般有140字限制，如果不转发，单纯评论文字，再加上一段网址，极有可能超过限制而被截断。
短网址应运而生，用较短的一个字符串，替换较长的一个字符串，从观感上讲，效果要友好的多。
从技术原理上说，短网址是一个hash表，用于映射两个字符串的对应关系。
使用键，找到对应的值，重定向进行访问，就完成了整个流程。
短网址算法短网址的一般结构，比如新浪的 SwuTjn，其中后端的一段6位字符串，就是用来唯一标记一条记录的ID。那么，使用什么算法，可以生成一条无重复的ID呢？
使用通用的做法，使用 0-9 A-Z a-z 一共62个字符，我们看使用hash键位数分别有多少种排列组合情况。
1位：pow(62,1) = 62 种
2位：pow(62,2) = 3844 种
3位：pow(62,3) = 238328 种
4位：pow(62,4) = 14776336 种
5位：pow(62,5) = 916132832 种
6位：pow(62,6) = 56800235584 种
一般情况下，6个字符，就足够使用了，共计568亿种可能。
还有一种情况是，用原网址字符串的MD5值，共计32位，然后通过切分为4段，分别按位与运算，并裁剪到30位。间隔5位选出该位的字符作为该段索引，共有6位。但是这种做法也有几率发生重复，也不直观。
因此本文使用第一种算法生成键ID。
工具准备分析短网址的特性，包含以下项目：
唯一性：键需要全局唯一时效性：键需要有过期时间目标网址唯一，如果重复，则自动返回既有的键。考虑到上述情形，我们使用redis存储这些对应关系。使用Gin框架作为路由和控制器，提供对外的API访问。
核心函数计算机中常见的2进制，8进制，10进制，16进制，我们此处需要使用62个字符，循环表示一个整数，那么可称之为62进制。
下面使用go语言实现这个函数，用于将任意的整数(uint64)转换为(0-9A-Za-z)的字符串。
需要注意，基础的方法，就是循环取余数，根据进制字典，索引相应的字符，然后将各个余数拼接出来，就是结果。
这个计算方法，与2进制，8进制，原理是相同的。
由于字典比较长，有62个键值对，我们仅列出一部分。
上述函数的转换结果，类似于 6489264001 = 75ai0p
功能规划下面是对于系统路由，创建短链接，以及使用短链接访问目标网址的方法。
1 – 规划路由
路由比较简单，一共2个，一个POST方法，生成短链接；一个是GET方法，访问短链接。
代码如下：
2 – 引入redis并初始化
为了方便演示，我们使用redis存储键值，并设置expire时间。
“github.com/gin-gonic/gin” “github.com/go-redis/redis/v7″我们使用go-redis提供的接口操作redis数据库。
下面是全局的 redis.Client
对象生成，和初始化函数。
这样做的好处是，我们全局都可以使用变量 rdb 调用方法操作redis键值。
3 – 实现POST路由方法：add
本函数用于接收form表单数据，生成一个全局唯一的 hash ，作为键，存入redis，设置值和过期时间。
代码如下：
本段我们使用了一个 getCounter 函数，这是设置在redis内的键，将其每次请求创建的时候，自增+1，可保证无重复。根据这个计数器，我们调用 helper的 DecToAny 方法，将其转化为62进制的字符串，作为全局唯一的 hash 值。
下图是 getCounter 的定义：
特别注意的是，helper包，就是我们在“核心函数”部分定义的函数。在主函数体内引用。
4 – 实现GET方法：visit
本函数主要用于使用上一节接口生成的短链接，进行访问，并自动重定向到目标网址。
代码如下：
对于不存在的短链接，或者redis获取失败，返回错误信息。
如果存在，使用 301 = StatusMovedPermanently 状态码重定向到目标地址。
测试我们使用curl工具，测试上述两个接口。
首先，使用POST表单提交数据：
curl -s -X POST -d “target=:///ip” -d “expire=600” :9090/
上述方法，我们提交了两个参数，命中路由之后，会访问上一节第3条的add方法，并生成一个短链接网址。返回JSON格式数据如下：
{“message”:”ok”,”short_url”:”:9090/75ai0r”,”status”:1}
其中，short_url 就是短网址。
接着，我们在使用curl访问这个链接，看是否发生重定向。截图如下：
可以看到，执行了301重定向，并给出了目标网址，与我们上述表单想要创建的地址一致。
最后，故障测试。访问一个不存在的hash，看是否排除异常信息。截图如下：
可以看到，执行了错误返回信息。
结语以上我们使用GO语言框架Gin实现了两个路由，并使用redis管理短链接。核心函数使用helper包管理，经过测试，实现了短网址的功能。
以上代码在本地测试通过，也可部署到线上服务器对外开发端口，提供服务，效果是一样的。
希望通过这个流程，使大家对于短网址的知识，有一些了解，并能根据自身的编程能力，创作出更好用的短网址服务。
Happy coding
