广东省轻工业高级技工学校510315
摘要：大数据广义上指的是无法在一定范围内进行常规捕捉和管理的数据，是需要新模式和新方案来进行信息收集的。而我国计算机技术的发展带来的结果是网络用户的迅速增长，因此产生的数据量也是非常庞大的。所以这也使得我国的计算机技术要进行全面革新来面对时刻增长的计算机数据，这也是大数据时代下的必然趋势。通过对大数据的概念和特点进行分析，介绍了大数据时代计算机信息处理技术面临的挑战与机遇，并对大数据时代计算机信息处理的关键技术进行分析，以实现不断完善计算机信息处理技术的目标。
关键词：大数据；计算机技术；信息处理
0前言
大数据时代是计算机技术发展的一项重要标志，也是该行业的历史性的进步，对广大用户都产生了重要的影响。现如今，无论是政府机关还是事业单位，亦或是个人，都是大数据时代下的用户，大数据也加深了各方之间的联系，使信息能够更广泛传播，资源共享更为便捷，这也给企业的发展起到了积极的促进作用。然而，在这一过程中仍然有一些我们应该注意到的问题，这些问题如果不能妥善解决，势必会制约大数据时代下计算机技术的发展。在笔者看来，这是一个机遇和挑战并存的过程，具体表现如下。
1、大数据的概念与特点
1.1大数据的概念
所谓的“大数据”，就是信息的数据量巨大，由于需要处理的数据十分庞大，目前的计算机主流软件在短时间内无法实现对其进行获取、处理、存储、传输、管理等方面的功能，它不仅包括数据量大，同时还包括数据比较难以处理、复杂多样，同时在处理的过程中，还会出现数据处理的重复性。对于大数据的数据量大到什么程度，目前还没有一个统一的标准，一般认为数据量在10TB-1PB（1TB=1024GB，1PB=1024TB）以上的数据为大数据。
1.2大数据的特点
（1）数据传输速度快
数据传输速度是大数据的第一大优势。随着网络在我国的普及，计算机用户数量增多必然导致数据的增多，因而用户的需求也会随之提升，所以这就需要对数据进行快速分析整理，并将结果进行传输。而大数据时代下，数据处理已经有了迅速的发展，信息传输速度不再受限于计算机技术。
（2）信息多样化
信息多样化是大数据时代的又一显著特征。在计算机技术不发达的年代，传输信息主要通过文本或是网页的方式，这样的方式不仅效率低，且传输的信息内容单调，缺乏即时性。而大数据的出现很好地解决了这一问题，现如今多样化的数据传输媒介和丰富的格式也给计算机技术带来了质的变化。音频、视频、图像等传输手段更广泛运用于现阶段的信息技术之中，在未来也将继续运用。
2、大数据背景下计算机信息处理关键技术分析
2.1DEEPWEB数据感知与获取技术
它是利用网络深层空间技术对网络中的信息进行抽取、分析和集成。主要数利用信息数据的动态变化、信息的规模、数据的分布式处理与访问技术，对网络数据进行处理和分析，实现对数据的高质量集成、抽取和整合。
2.2分布式处理技术
分布式数据处理主要是由谷歌公司提出的GFS技术来实现数据的分布式存储和处理。它利用存储列的概念，以列为单位对数据进行存储，具有数据压缩快，循环利用效率高，采用行列混合是存储结构，能够快速加载海量数据和缩短数据查询的时间，同时也能够高效的利用磁盘空间。目前，分布式处理技术在百度、IBM得到了广泛的应用。
2.3数据高效索引
该技术是谷歌公司提出的BIGTABLE技术，目前主要集中在聚簇索引和互补式聚簇索引技术的研究。聚簇索引技术是按照索引顺序技术对相应的技术进行处理，互补式聚簇索引主要采用多副本索引技术创建相互补充的数据建立数据索引表，进而实现对数据的优化查询。
2.4基于内容信息的数据挖掘技术
基于内容的数据挖掘技术主要是依据网络搜索技术和信息实体的关联技术对数据进行分析挖掘。例如网络信息搜索的热点排序学习算法主要针对媒体的信息量和信息数据的关注特点、短文本特征实现对数据的搜索等，目前常见的学习算法有逐点，逐对和逐列等几种算法。
2.5遗传算法和神经网络技术
遗传算法主要是依据生物界的进化发展规律和数据演化随机化的数据搜索办法实现对数据的搜索，遗传寻优办法采用概率化，实现对数据搜索方向的自动调整。目前，遗传算法技术在机器学习、信号处理与物流选址等方面得到了广泛的应用。神经网络主要采用生物神经网络结构的运行方式，模拟生物运动神经的网络行为，对数据进行分布式处理的算法。
2.6分类和聚类分析技术
分类分析技术首先是对信息的数据点进行归类分析，然后通过综合之后形成新的数据点之后，对数据点进行明确的假设和客观结构预测，然后预测未来信息的发展。聚类分析技术主要是在没有明确数据点的前提下，将数据集合分为若干个对象组，通过对对象组的数据进行分析，实现对数据的综合查询。分类分析和聚类分析技术在数据挖掘方面应用的比较广泛。
2.7关联规则学习和机器学习技术
关联规则学习技术就是在复杂的数据处理过程中，通过排序、对比等方法寻找到数据之间的关联规则，是指在数据处理的过程中，找到数据之间的关联规则，进而能够实现对重复数据的筛选。而机器学习主要研究计算机模拟人类学习的智能技术，对现有的信息知识体系进行重新组织，它是人工智能的核心技术，在数据处理时，关联规则和机器技术主要运用在数据挖掘技术中。
2.8数据分析技术
数据分析技术在数据处理中应用比较广泛，它主要包括情感分析技术、网络分析技术、空间分析技术、数据时域序列分析技术以及数据回归分析技术，该技术在大数据处理中具有十分重要作用，其中，情感分析技术采用对自然语言进行编码分析的技术，网络分析技术就是基于网络的特征对数据的特征进行分析。空间分析技术就是将网络拓扑、几何和地理数据编码技术有机的融合在一起，对数据进行综合分析的统计技术。
2.9可视化技术
可视化技术主要功能是在对大数据进行分析和处理之后，能够通过图片、动画、图表等方式表示出来，便于人们进行沟通、交流与理解。例如Clustergram是可视化技术，它采用聚类分析技术，对数据进行处理，然后显小数据集的个别成员是如何经过数据处理后分配到大的信息集群中。
3、大数据时代下计算机技术的机遇
网络已经普及于我国的日常生活了工作之中，并在各个领域都发挥了重要的作用。大数据的显著特点就是信息量大，工作要求也更高。尽管在现阶段的计算机技术下处理这些信息仍然有很多需要优化和改进的地方，但是其未来的发展趋势还是非常令人满意的。以一般的公司为例，一个公司进行大数据的管理，可以有效提升每个部门的工作效率，并加强管理层和基层的交流，减少工作中产生的各种突发问题。另一方面，可以让各部门之前形成良好的工作配合，在人力、物力、财力上都做到节省成本，从而让企业能够在激烈的市场竞争中占据重要的地位。又例如在工厂中进行大数据的处理分析，能够有效地了解到市场动态，捕捉市场信息，从而了解到消费者的具体需求和喜好，能够针对性地生产出消费者需要的产品，对于工厂的发展会起到积极的促进作用。因此不难看出，大数据时代下，计算机技术的发展会有很多机遇，只要善于把握，必将能取得令人满意的结果。
4、大数据时代下计算机技术的挑战
4.1对于存储技术的新要求
巨大的数据信息量必然给未来的存储技术提出了更高的要求，而用户的需求也会随之增加。为了保障用户的体验，就需要在信息处理能力上进行完善和优化。例如在硬件设备、网络宽带等方面就要进行更新，以应对大数据所带来的冲击。无疑这是一个工作量非常大的工程，也需要不断地学习和探索。
4.2对于信息安全的新要求
信息安全是用户最为关心的问题。在近年来，我们时常看到用户的身份证、个人资料等信息被无故泄露，导致一系列问题的产生。这些信息安全问题产生的原因就是数据的分类和管理不到位。而未来的大数据时代，信息量将比现在有成倍甚至几十倍几百倍的增加，那么如何在这些巨量的信息中保障每个用户的个人信息安全，就成为了未来的一大挑战。网络黑客和各种不法分子也早已熟练运用计算机技术，因此也要求研究人员在未来要针对性地在信息保护方面做出技术上的改进，从而保证用户的信息安全，才能是计算机信息处理技术朝着更加稳定和正确的道路上发展前行。
5、结束语
大数据时代对计算机信息处理技术提出更高的挑战和要求，需要采用比较复杂的信息技术对海量的技术进行分析，需要运用计算机技术建立真正适应大数据时代的网络系统和信息处理系统。通过对大数据处理中运用的关键技术进行分析，能够为相关研究领域的人们提供参考。
参考文献：
[1]李春辉.“大数据”背景下的计算机信息处理技术分析[J].电子技术与软件工程，2014（9）：33-34.
[2]吕敬全.“大数据”时代背景下计算机信息处理技术分析[J].信息与电脑：理论版，2013（6）：19-21.
[3]刘银龙.“大数据”背景下的计算机信息处理技术分析[J].电子技术与软件工程，2015（1）：206.2