许多企业都了解采用大数据的好处，但也很容易陷入围绕这个术语的炒作和机遇中。然而，许多企业仍然无法有效地获取可用数据的实际价值。Qubole公司委托研究机构Dimensional公司代表进行的IT决策者和CIO的重新评估表明，虽然几乎所有的企业都在运行或计划运行大型数据项目，但在组织内部建立了成熟的大数据流程的企业不到10%。

那么，在运行大型数据项目时，数据团队的感知能力与实际性能之间的脱节程度如何?

以下是企业在实施大型数据项目或达到大数据成熟度时报告的五个最重要的挑战：

(1)确保数据质量

很少有人会否认大数据在世界各地的组织所发挥的重要作用，但是发现这些好处需要保持高质量的数据——这一点变得越来越困难，并且被认为是IT和数据专业人员面临的最大挑战。在许多情况下，企业收集的数据的关键方面可能会因失误，错误或不完整的数据而被破坏，所有这些都可能导致数据团队的错误结论。这被称为脏数据，它对希望利用这些数据来驱动洞察力和改进业务操作的公司来说是一个巨大的障碍。肮脏的数据并不是一个小问题。据数据仓库研究所(TDWI)的报告，遭到损坏或不完整的数据最终导致美国公司每年损失6000亿美元。

现在采取步骤清理数据并防止这个问题的发生将大大有助于组织充分利用他们收集的信息。企业可以通过定期更新系统来帮助保持数据的干净，以确保数据可以处理大量的数据收集和分析，而不会在此过程中造成损害。拥有正确技术的企业甚至可以进行数据清洗，这是一个彻底的清理过程，涉及到数据集的过滤、解码和转换。

(2)保持预期成本

CIO们往往难以准确地预测大型数据项目的成本，特别是在缺乏经验的情况下。其挑战在于考虑到与每个项目相关的各种不同的成本-从获取新的硬件或软件，支付云提供商，雇用额外的所需人员等等。由于大型数据项目的趋势很快扩大，与这些项目相关的成本可能很快就会变得压倒一切，如果公司没有准备好的话。对于寻求内部部署项目的企业，决策者必须考虑培训、维护和扩大其数据库和员工的成本。另一方面，虽然基于云的大数据部署通常比内部部署数据中心具有更低的成本要求和更快的生产时间，但追求云模型的企业也需要评估与供应商的服务级别协议，以确定如何收取使用费用，如果有任何额外费用可能会发生的话。

(3)满足业务需求和期望

虽然数据团队对提供自我服务洞察能力以满足日益增长的需求的能力非常有信心，但很少有人能够满足企业的高期望值。这个问题的一部分是由于缺乏有效运行大数据操作所需的技术资源。事实上，Dimensional Research最近进行的一项调查中，近三分之一的受访者表示，他们无法获得实施内部部署大型数据项目所需的基础设施或技术。尽管企业可能在开始实施一个大数据项目的期望很高，他们往往没有投资数据团队正确实施这些项目所需的资源。为了避免这个问题，数据团队领导者应该在开始一个项目之前，与业务负责人磋商，根据现有资源制定预期。同时，数据团队必须作为教育者，向决策者通报技术，基础设施和实现特定目标所需的人员的情况。

(4)量化大数据项目的价值

虽然大多数组织都主张实施自己的大数据项目的好处，了解需求和能够量化所需的投资价值并不总是齐头并进。例如，决定在内部数据中心运行数据分析的企业将需要购买一些昂贵的服务器，并使用适当的软件将其部署到数据中心，并运行测试以确保所有功能正常运行。这个过程可能需要几个月甚至几年的时间，也就是在第一个查询甚至可以运行之前。如果一个数据小组在这个时候被要求投资回报，他们根本无法进行回应。

云计算已经大大改变了这种情况。虽然仍有不少组织将选择投资于本地部署的大型数据基础设施，，但越来越多的企业正在意识到基于云的大数据基础设施的优势，可以降低前期投资和更快的部署时间。

(5)缺乏行业专长

最后，组织在实施大数据项目时面临的最大挑战之一就是寻找合格的工作人员。虽然83%的调查对象表示他们的数据团队正在增长，但超过三分之一企业表示，他们难以找到具有处理其数据操作所需的专业知识和技能的人员。事实上，一个成功的大型数据项目无法由单一类型的用户处理，企业需要聘请开发人员，数据科学家，分析师和其他人员，这些人都具有自己的技能和专业领域，所以这个问题进一步加剧。

然而，即使企业有一个熟练的团队，许多数据团队也会陷入维护大型数据基础设施的工作中。而不是简单地添加人员来处理这些数据管理任务，企业应该集中精力寻找工具来帮助他们的数据团队更有效地工作。通过云计算和机器学习，诸如容量规划和软件更新等耗时的任务可以实现无缝自动化，让团队专注于高价值的工作，以推动运营改进和收入。

大数据是困难和复杂的，并且充分利用它面临很多障碍。虽然在某种程度上，在某些层面上，许多公司似乎认识到与实施大数据项目有关的困难，但在其他方面，他们往往对实现下一个成熟阶段所需的努力和专门知识抱有不切实际的期望。在企业能够执行自己成功的成熟的大数据计划之前，他们首先需要开发必要的基础设施，工具和专家资源来克服上述每个挑战。通过采用DataOps方法，企业可以构建一个自助服务数据模型，从而在整个组织中提供洞察驱动的业务决策。