Gestión de Datos en el sector de la Energía

Vamos a pensar en una aplicación real que demuestre la utilidad y los retos de Big Data. Muchas industrias gestionan por naturaleza grandes volúmenes de datos. En este artículo voy a examinar el caso de una compañía de energía que proporciona gas y electricidad a sus consumidores en una zona urbana.

Instalación de contadores inteligentes

ConEd, el proveedor de gas y electricidad de Nueva York, decidió en su momento instalar contadores inteligentes en todas sus jurisdicciones, lo que ascendía a un total de 4,7 millones de contadores inteligentes. Estos contadores se denominan inteligentes porque a parte de medir el consumo de energía, tienen una capacidad de comunicación bidireccional entre el contador y el sistema central de la compañía de gas y electricidad. En otras palabras, se generan datos en tiempo real desde los contadores, los cuales con almacenados y procesados en la instalación central.

¿De qué volumen de datos estamos hablando? La cantidad de datos recibidos en la central es de aproximadamente 1.500 millones al día. El sistema no solo consume estos datos, sino que los procesa y produce una salida en intervalos de 15 minutos. Haciendo cálculos vemos que esto resulta en la ingestión y procesamiento de aproximadamente 10,5 millones de puntos de datos cada 15 minutos.

¿Qué tipo de computación debe llevarse a cabo dentro de estos 15 minutos? Un procesamiento típico del sector comercial es el de la facturación, donde debemos identificar y facturar al propietario del contador. Este procesamiento requiere en este caso combinar los datos de los contadores con los datos de la base de datos de clientes que mantiene la empresa.

Pero vamos a reflexionar sobre la computación que tiene lugar relacionada con la analítica. Podemos enumerar al menos cuatro tipos diferentes de procesamiento analítico:

1 - Calcular el patrón de consumo por usuario, y no por cada contador. La salida es un histograma del uso horario similar donde el eje X son intervalos horarios y el eje Y es el número de unidades consumidas. Esto se procesa tanto a diario como durante periodos más amplios para determinar las necesidades horarias de este consumidor.

2 - Procesamiento relacionado con la estimación de los efectos de la temperatura exterior en el consumo eléctrico de cada consumidor. Este es un procedimiento estadístico que implica ajustar un modelo de regresión lineal por tramos a los datos.

3 - Extraer las tendencias de consumo diario que se producen con independencia de la temperatura exterior. Se trata de nuevo de un cálculo estadístico que puede requerir aplicar un tipo de algoritmo de regresión periódico para series temporales de datos. Lo fundamental aquí no es tanto el algoritmo en sí, sino que lo más importante es la capacidad de conseguir que una buena predicción tenga un impacto económico directo, ya que la empresa necesita comprar energía a terceros. Por ejemplo, una estimación optimista (por debajo de la necesidad real) implica que se va a terminar pagando más a última hora por la compra de energía para satisfacer las necesidades del consumidor.

4 - Encontrar grupos de consumidores similares en función del patrón de uso de manera que la empresa pueda determinar cuantos grupos distintos de clientes existen y diseñar campañas específicas de ahorro de energía para cada grupo. Esto requiere encontrar similitudes sobre una gran cantidad de datos de series temporales, lo cual supone un procesamiento complejo. Independientemente de la cantidad y complejidad del procesamiento necesario, la empresa se ve limitada por el hecho de que tiene solo 15 minutos para procesar los datos antes de ejecutar la siguiente zona de ingestión y cálculo.

Por lo tanto, no se trata sólo de un problema de lo "grande" que sean los datos, sino de conseguir alcanzar el tiempo de respuesta deseado en la salida. Los análisis tienen valor únicamente si pueden ser completados dentro del plazo de vida útil. Por lo tanto, si tuviéramos que diseñar un sistema de Big Data para una empresa de este tipo, necesitaríamos comprender la cantidad de procesamiento que puede ejecutarse en paralelo, cuantas máquinas y con qué tipo de prestaciones son necesarias para gestionar la velocidad de datos, así como la cantidad y complejidad de los cálculos analíticos necesarios.