用好大数据搜索挖掘利器贵阳“弯道超车”前景广阔

12.05.2015  03:01

在大数据研究领域,国内外学者一般将大数据分为结构化大数据和非结构化大数据,以文本、多媒体信息为主要元素的非结构化大数据,体量是以二维表来逻辑表达的结构化大数据的十倍甚至更大,非结构化的大数据生产、搜索、挖掘、分析已成为当前研究的热点与难点。近日,记者就大数据搜索与挖掘等前沿话题,独家专访了北京理工大学副教授、大数据搜索与挖掘实验室主任张华平博士。

数据本身是原材料,云平台是操作系统,要想使大数据真正‘开花结果’,就应运用好搜索与挖掘这一利器。”作为研究大数据搜索与挖掘的专家,张华平认为,贵阳发展大数据产业“蛮拼的”,做好大数据搜索和挖掘这门基本功课,贵阳“弯道超车”前景广阔。

大数据搜索挖掘顺势而生大有作为

大数据搜索与挖掘是伴随着互联网的普及应用和传统信息检索技术的不足提出并发展起来的。”张华平说,数据挖掘后的分析,将为经济社会发展带来决策方式的变革:小数据时代,决策通过某些精英 “拍脑袋”决定,这些人受限于其自身所拥有的知识和信息来调配资源,体现出封闭性;大数据时代,通过对数据挖掘后的“集思广益”,在决策方式上会定位得更好。

近年来,随着物联网、云计算的发展,大数据搜索与挖掘技术也成为热门词汇。通过大数据搜索与挖掘技术手段,可以掌握一个人的活动规律,进而推断其职业、年龄、偏好,最后产生一种新的知识,最后转化为决策的智慧。如根据微博的言辞感知用户情绪的变化,负面情绪的人往往是忧郁症的高发人群,因此,通过社交网络的信息挖掘,可以对潜在忧郁症的人提前进行心理干预;根据公共场所手机信令的聚集突变,可预测人口流量的多少,作出科学预警……

数据大不一定就是大数据,大数据本质是多来源信息量变引起的质变,挖掘出了新的知识,实现信息价值的增值。大数据的技术链条体现为数据的加工,即采集、搜索、挖掘、分析等过程。”张华平说。

张华平认为,现代社会拥有庞大的数据和庞大的人群,由此形成了庞大的市场,造成了巨大的市场、社会需求,对数据处理技术提出挑战,大数据搜索与挖掘技术应运而生,能掌握信息里没有明显包含的内容,把握了大数据的本质。

全域免费WiFi为数据挖掘提供平台

为加快“数据城市”的发展,贵阳市在全国率先建设免费WiFi系统,拟通过三年时间,建成全国第一个免费WiFi全覆盖城市。目前,总覆盖面积12.8平方公里的一期项目已试运行。

对此,张华平认为,网速的快慢影响着人们对网络的使用,WiFi好比高速公路,而且在政府主导下,这条“高速公路”更安全可信。基于此,贵阳可用好大数据搜集和挖掘技术,洞察免费WiFi的价值。

张华平举例说,在免费WiFi投入使用后,同一时刻同一地段可能会有20万人正在通过这一无线网上网,通过大数据搜索和挖掘处理技术,技术人员摒弃用户的敏感信息,将信息过滤后,把这些人的特征在大数据的空间里重新制造出来,进而细分人的偏好、年龄构成、市民关心的教育、治安话题等信息,可作为一个整体架构供政府决策参考使用。

同时,在数据安全的前提下,贵阳市政府建立数据开放平台,主动开放交通、文化、教育等公共数据,逐步关联块上形成的企业数据、社交数据和感知设备产生的数据,通过深度开发挖掘开放的数据,鼓励企业进行各种商业模式创新。张华平认为,这样的做法在大数据产业发展中起了好头。

数据本身是原材料,云平台是操作系统,要想使大数据真正‘开花结果’,产生需要的应用,搜索与挖掘是重要的耕种利器,对挖掘出来大量数据实现精准洞察,从而产生新的应用,满足实际需要。”张华平说,贵阳市WiFi建设将促进社会效益和经济效益有机统一起来。

贵阳大数据“弯道超车”前景广阔

随着贵阳市大数据产业的发展,充分挖掘大数据的资产价值、商业价值和社会价值,显得尤为重要:通过挖掘各种文化元素,提升文化软实力;通过对政府开放的数据进行深度开发和挖掘,提供企业创新商业模式;通过移动互联网大数据分析平台,吸引本地中小企业开发各类移动App应用,形成移动互联网产业体系……

张华平认为,大数据产业在国际上属于风口上的产业,可能会引领未来10年甚至是30年的技术浪潮,在国内,很多省市都在大数据领域发力,作为一个欠发达的城市,贵阳市在大数据产业整合上是“蛮拼的”,提供了一个“弯道超车”的方式,迈开了大数据产业的步伐。

贵阳的这种做法值得称道的是,在大数据产业中,并不是封闭在贵阳、贵州,而是一个开放式的平台,聚集了外地各种资源,符合当下大数据时代的特点,前景广阔。”张华平说,贵阳市在做前瞻性的规划和设计的同时,应继续推动大数据项目落地,如全域免费WiFi建设、企业投资创业等,因为“大数据不能沦为一个概念”。此外,政府应起主导作用,运用好大数据搜索和挖掘这一工具,搜集、整理产业、受众的数据,挖掘产业集群里的潜在用户,对用户进行完整洞察,供决策使用。