最具影响力的数字化技术在线社区

乔帮主 发表于 2014-10-23 21:06:23

Mirador:用于可视化搜索复杂数据集的免费工具

Mirador是一个用于可视化搜索复杂数据集的开源工具。Mirador由哈佛大学的Sabeti实验室、Broad研究所以及信息可视化领域世界知名设计师Ben Fry创建的Fathom Information Design工作室联合开发的。传染病动力学中心和美国国家卫生研究院所赞助的MIDAS网络对Mirador项目提供了最初的支持。该工具主要用于复杂数据集的可视化搜索,最终目标是找到数据间可能存在的趋势或者关联,然后通过更专业的统计工具对这些趋势或者关联进行测试,推到出新的猜想。
原则上,Mirador能够接受任何满足标准格式的表格作为输入数据。但是,开发人员对Mirador进行了一定的限制,使得它只能接受医疗卫生、流行病和传染病相关的数据。Mirador允许检查数据集中任何两个变量组合所构成的数据图(包括散射图、柱状图以及eikosograms图等),并根据感兴趣的变量的关联值对变量进行排序。基于Mirador工具,用户可以进一步结合Miralib、Gephi等进行更加复杂的分析。例如,通过把Mirador的输出导入到Gephi中,用户可以计算网络模块度、节点集中度等等。目前,Mirador已经成为通过GNU公共授权2.0版本发布的开源项目。用户可以通过Github来下载Mirador工具的Windows版本和OS X版本。更多Mirador相关的信息,读者可登录其官网或者GitHub查看。
更多内容可参见:
[*]Mirador数据竞争:探索公共数据、利用新发现赢取奖项目前,Sabeti实验室已经发起了一场关于上传数据赢大奖的竞赛。在9月28日至10月28日期间,用户只要通过应用程序上传自己的新发现到自己的账户就可以参与竞争。最终,Sabeti实验室会召集相关领域的专家评选出数据集的前三名,并给与现金奖励。
[*]关联数据的网络表示:关于如何把带Python脚本的Mirador输出信息与其他可视化工具结合起来产生关联矩阵网络表示的教程Mirador能够检查数据集中任何两个变量组合所构成的数据图,并根据感兴趣变量的关联值对变量进行排序。它并不能计算所有变量间的关联性。但是,这一关联性正是产生系统关联矩阵的可视化表示以及数据中依赖结构的总体图像所必须的。为了计算该关联性,教程指出可以首先导出所感兴趣的变量的数据。然后,利用Mirador中的提供底层统计计算功能的数据库Miralib来计算关联矩阵。最后,采用Gephi或者其他软件打开关联矩阵即可完成网络数据的可视化工作。
[*]带Mirador的统计建模:关于如何在机器学习中使用Mirador的教程该教程主要介绍了如何利用Mirador所找到的解释变量来训练一个逻辑表达式和神经网络预测器。教程使用示例文件夹中的肝炎数据集作为输入。其中,共包含寻找解释变量、输入缺失值、从已有数据中学习模型、逻辑表达式、神经网络等五个步骤。Mirador主要负责在第一步中寻找解释变量,输出这些变量相关的数据。最终,所构建的预测器在测试集中的成功率为85.11%。
[*]在复杂数据集中寻找关联:关于Mirador设计和开发的帖子
[*]定量测定关联性:描述基于互信息测量关联性的帖子该帖子主要描述了互信息的定量测量方法,从而可以对数据的关联性进行排序。对包含大量变量的负责数据数据集,对其中变量的两两相关性进行表示是非常困难的。通常,这类工作需要很多的图标才能表示完整。然而,这些大量的图标中只有很少一部分是表示相关变量对的。为了能够提高效率,就需要某种索引或者等级制度来标注统计相关性。以互信息量作为标准正好可以作为一种尝试。由美国数学家Claude E. Shannon所提出的香农熵出发,互信息的概念被慢慢引入。最后,作者展示了如何利用互信息作为统计相关性测量标准来更清晰的表示变量之间的关系。
[*]可视化表示关联性:讨论利用eikosogram绘图来表示条件依赖的帖子成功可视化的一个重要标志就是它能够揭露出不同变量之间的某种未知关系,从而让观察者可以方便的找到数据背后隐藏的信息。如果变量可以用实数表示,散点图是一种经常被使用的、用来表示两个变量关系的数据分析图。然而,对于一些变量,散点图并不能直观的展示出变量间的真正关系。作者发现,利用eikosogram图表示是最有效解决散点图问题的方法。


页: [1]
查看完整版本: Mirador:用于可视化搜索复杂数据集的免费工具