¿Qué es el Big Data y para qué sirve?

El término Big Data denomina a los conjuntos de datos que reúnen la condición de ser demasiado complejos o extensos para poder ser procesados de una manera tradicional. Una forma más sencilla de imaginarnos lo que podría ser el Big Data es pensar en por ejemplo la actividad en internet de todo el mundo, lo cual son miles y miles de terabytes de datos, para que nos hagamos una idea de la cantidad de la cantidad de datos que eso son podemos transformarlos en unidades más tangibles, por ejemplo, cada segundo se envía 10.000 twits y se envían cerca de 3 millones de emails, generando un tráfico de 150 terabytes cada segundo. Todo ese tráfico y toda la información derivada que se genera de ella se conoce como Big Data es imposible de procesar, al menos con los medios actuales, aunque con los ordenadores cuánticos  o los nuevos procesadores con IA puede que se consiga avanzar al respecto.

Los principales retos que se plantean con el manejo de los conjuntos de datos del Big Data son la captura de toda la información que se genera en esos conjuntos, el almacenamiento de esas cantidades tan grandes de información y luego el análisis de esa información con todo lo que conlleva, como por ejemplo ordenar esa información, moverla de un lado a otro o visualizarla de forma efectiva, teniendo actualmente equipos dedicados únicamente a esa tarea.

El término Big Data se empezó a formular en los años 90, refiriéndose a los conjuntos de información del momento que no se podían procesar o manejar con la tecnología que se tenía en un espacio de tiempo tolerable, o, dicho de otra manera, lo usaban para referirse a grandes sets de datos que se tardarían mucho tiempo en procesar, aunque la definición fue variando hasta entradas más recientes como que el Big Data es cuando se necesitan aplicar estrategias de computación paralela para poder procesar la información.

El Big Data sirve para clasificar los grupos de información que reúnen las conocidas como 6 “Vs”, que son las características que esos grupos de información suelen tener:

Volumen: el Big Data suelen ser conjuntos de datos del tamaño de petabytes o más, siendo esta una de las principales características que identifican a estos conjuntos de datos.

Variedad: los conjuntos de datos suelen tener una gran variedad, variando en tipo de contenido y su presentación y pudiendo además venir de forma estructurada o desestructurada, haciendo que de eso dependa también la facilidad y velocidad  ala hora de procesarlos.

Velocidad: el Big Data se genera a gran velocidad y generalmente de forma continua, por lo que hay que tener en cuenta al manejarla la velocidad a la que se genera y la velocidad a la que se procesa.

Veracidad: refiriéndose a la calidad y el valor del conjunto de Big Data, que debe ser suficientemente importante como para que su análisis tenga algún valor.

Valor: se refiere al valor que se obtiene una vez analizado el conjunto de datos, representando también la rentabilidad a la hora de procesar los datos y pudiendo influir en la decisión de si compensa o no trabajarlos.

Variabilidad: refiriéndose a los origines del Big Data y de cómo cada uno entregue la información, ya que generalmente los conjuntos de Big Data tienen varias fuentes de información diferentes, pudiendo variar en gran medida la información que viene de cada una de ellas.

Además, el Big Data es un problema que cada vez va a más, ya que la información que se genera aumenta cada día, y se ha ido duplicando cada 40 meses desde los años 80, aunque ahora con cada vez más dispositivos conectados a internet y generando más información la información generada está creciendo a un ritmo exponencial, con predicciones de la IDC situando la cifra de cantidad de datos en 2025 en 163 Zetabytes de información.