La IA (inteligencia artificial por sus siglas en inglés) y el ML (aprendizaje de máquina) prometen transformar áreas enteras de la economía y la sociedad, si no lo están haciendo ya. Desde los autos sin conductor hasta los "robots" de atención al cliente, los sistemas basados en IA y ML están impulsando la próxima ola de automatización empresarial.
También son grandes consumidores de datos. Después de una década de crecimiento relativamente constante, los datos utilizados por los modelos de IA y ML han crecido exponencialmente a medida que los científicos e ingenieros se esfuerzan por mejorar la precisión de sus sistemas. Entretanto, esto plantea nuevas y a veces extremas exigencias a los sistemas informáticos, incluido el almacenamiento.
La IA, el ML y la analítica requieren grandes volúmenes de datos, en su mayoría en formatos no estructurados. "Todos estos entornos están aprovechando grandes cantidades de datos no estructurados", indicó Patrick Smith, CTO de campo EMEA (para Europa, Oriente Medio y África) del proveedor Pure Storage. "Es un mundo de datos no estructurados, no de bloques o bases de datos".
El entrenamiento de modelos de IA y ML, en particular, utiliza conjuntos de datos más grandes para obtener predicciones más precisas. Como señala Vibin Vijay, especialista en IA y ML de OCF, un modelo básico de prueba de concepto en un solo servidor podría esperar una precisión del 80%.
Con la formación en un clúster de servidores, se llegará al 98% o incluso al 99,99% de precisión. Pero esto plantea sus propias exigencias a la infraestructura informática. Casi todos los desarrolladores trabajan sobre la base de que más datos es mejor, especialmente en la fase de formación. "Esto da lugar a colecciones masivas, de al menos petabytes, de datos que la organización se ve obligada a gestionar", afirma Scott Baker, CMO de IBM Storage.
Los sistemas de almacenamiento pueden convertirse en un cuello de botella. Las últimas aplicaciones de análisis avanzado hacen un uso intensivo de las CPU, sobre todo, de los clusters de GPU, conectados a través de tecnologías como Nvidia InfiniBand. Los desarrolladores incluso están estudiando la posibilidad de conectar el almacenamiento directamente a las GPU.
"En las cargas de trabajo de IA y ML, la fase de aprendizaje suele emplear potentes GPU que son caras y están muy solicitadas", afirma Brad King, cofundador y director de tecnología de campo del proveedor Scality. "Pueden masticar volúmenes masivos de datos y a menudo pueden esperar sin hacer nada por más datos debido a las limitaciones de almacenamiento".
"Los volúmenes de datos suelen ser grandes. Grande es un término relativo, por supuesto, pero en general, para extraer ideas útiles de los datos, cuantos más datos pertinentes estén disponibles, mejores serán las ideas."
El reto es proporcionar un almacenamiento de alto rendimiento a escala y dentro del presupuesto. Como señala Vijay de OCF, los diseñadores podrían querer todo el almacenamiento en flash de nivel 0 de alto rendimiento, pero esto rara vez o nunca es práctico y debido a la forma en que funcionan la IA y el ML, especialmente en las fases de entrenamiento, puede que no sea necesario.
En su lugar, las organizaciones están implementando el almacenamiento por niveles, moviendo los datos hacia arriba y hacia abajo a través de los niveles, desde el flash hasta la nube e incluso la cinta. "Lo que se busca son los datos adecuados, en el lugar adecuado y al costo adecuado", afirma Vijay.
Las empresas también tienen que pensar en la retención de datos. Los científicos de datos no pueden predecir qué información se necesita para los modelos futuros y los análisis mejoran con el acceso a los datos históricos. El archivo de datos rentable y a largo plazo sigue siendo importante.
¿Qué tipos de almacenamiento son los mejores?
No existe una opción única que satisfaga todas las necesidades de almacenamiento para la IA, el ML y la analítica. La idea convencional de que la analítica es una carga de -trabajo de alto rendimiento- I/O que se adapta mejor al almacenamiento en bloque tiene que equilibrarse con los volúmenes de datos, los tipos de datos, la velocidad de la toma de decisiones y por supuesto, los presupuestos. Un entorno de formación de IA plantea exigencias diferentes a las de un motor de recomendación basado en la web que trabaja en tiempo real.
"Tradicionalmente, el almacenamiento en bloque ha sido muy adecuado para cargas de -trabajo de alto rendimiento- I/O, en las que la baja latencia es importante", afirmó Tom Christensen, asesor tecnológico global de Hitachi Vantara. "Sin embargo, con la llegada de las modernas cargas de trabajo de análisis de datos, incluyendo la IA, el ML e incluso los lagos de datos, las plataformas tradicionales basadas en bloques se han encontrado con la falta de capacidad para satisfacer la demanda de escalado que crea la parte computacional de estas plataformas. Como tal, se debe adoptar un enfoque basado en archivos y objetos para soportar estas cargas de trabajo modernas."
Almacenamiento en bloque
Los sistemas basados en bloques conservan la ventaja en cuanto a rendimiento bruto admitiendo la centralización de datos y funciones avanzadas. Según Scott Baker, de IBM, las matrices de almacenamiento en bloque admiten interfaces de programación de aplicaciones (API) que los desarrolladores de IA y ML pueden utilizar para mejorar las operaciones repetidas o incluso descargar el procesamiento específico del almacenamiento para la matriz. Sería un error descartar por completo el almacenamiento en bloque, especialmente cuando se necesitan altas IOPS y baja latencia.
Por otra parte, existe la necesidad de construir redes de área de almacenamiento específicas para el almacenamiento en bloque - generalmente Canal de Fibra- y los gastos generales que conlleva el almacenamiento en bloque que depende de un sistema de archivos fuera de la matriz (basado en el host). Como señala Baker, esto resulta aún más difícil si un sistema de IA utiliza más de un sistema operativo.
Archivos y objetos
En consecuencia, los arquitectos de sistemas prefieren el almacenamiento basado en archivos u objetos para la IA y el ML. El almacenamiento de objetos se construye pensando en una gran capacidad de petabytes y se construye para escalar. También está diseñado para soportar aplicaciones como el IoT (Internet de las cosas).
La codificación de borrado proporciona protección de datos y el soporte avanzado de metadatos en los sistemas de objetos puede beneficiar a las aplicaciones de IA y ML.
Frente a esto, el almacenamiento de objetos está por detrás de los sistemas de bloques en cuanto a rendimiento, aunque la brecha se está cerrando con las nuevas tecnologías de objetos de alto rendimiento y el soporte de las aplicaciones varía, ya que no todas las herramientas de IA, ML o análisis son compatibles con la interfaz S3 de AWS, el estándar de facto para los objetos.
Almacenamiento en la nube
El almacenamiento en la nube se basa en gran medida en los objetos, pero ofrece otras ventajas para los proyectos de IA y ML. Las principales son la flexibilidad y los bajos costes iniciales.
Las principales desventajas del almacenamiento en la nube son la latencia y los posibles costes de salida de datos. El almacenamiento en la nube es una buena opción para los sistemas de IA y ML basados en la nube, pero es más difícil de justificar cuando los datos deben extraerse y cargarse en servidores locales para su procesamiento, porque esto aumenta el costo. Sin embargo, la nube es económica para el archivo de datos a largo plazo.
¿Qué recomiendan los proveedores de almacenamiento?
Como es lógico, los proveedores no recomiendan una única solución para la IA, el ML o la analítica, ya que el número de aplicaciones es demasiado amplio. En su lugar, recomiendan tener en cuenta los requisitos empresariales que hay detrás del proyecto, así como mirar hacia el futuro.
"Entender qué resultados o propósito de negocio necesitas debería ser siempre tu primer pensamiento a la hora de elegir cómo gestionar y almacenar tus datos", dice Paul Brook, director de análisis de datos e IA para EMEA en Dell. "A veces, los mismos datos pueden ser necesarios en diferentes ocasiones y para diferentes propósitos".
Brook apunta a la convergencia entre el almacenamiento de bloques y el de archivos en dispositivos únicos y a los sistemas que pueden salvar la brecha entre el almacenamiento de archivos y el de objetos a través de un único sistema de archivos. Esto ayudará a los desarrolladores de IA y ML al proporcionar una arquitectura de almacenamiento más común.
HPE, (Hewlett Packard Enterprise, empresa de tecnología) recomienda opciones locales, en la nube e híbridas para la IA y ve la convergencia entre la IA y la informática de alto rendimiento. NetApp promociona su sistema de almacenamiento ONTAP totalmente flash y conectado a la nube para la IA.
En Cloudian, el director de tecnología Gary Ogasawara espera ver la convergencia entre el procesamiento por lotes de alto rendimiento del almacén de datos y las arquitecturas de procesamiento de datos en flujo. Esto empujará a los usuarios hacia las soluciones de objetos.
"El almacenamiento en bloque y el de archivos tienen limitaciones arquitectónicas que hacen que escalar más allá de cierto punto resulte prohibitivo", afirma. "El almacenamiento de objetos ofrece una escalabilidad ilimitada y muy rentable. Las capacidades avanzadas de metadatos del almacenamiento de objetos son otra ventaja clave para soportar las cargas de trabajo de IA/ML."
También es vital planificar el almacenamiento desde el principio, porque sin un almacenamiento adecuado, el rendimiento del proyecto se verá afectado.
"Para implementar con éxito las cargas de trabajo de IA y ML avanzadas, una estrategia de almacenamiento adecuada es tan importante como la plataforma de computación avanzada que se elija", dice Christensen de Hitachi Vantara. "No dotar de suficiente potencia a una compleja plataforma de computación distribuida y muy costosa dará lugar a resultados de menor rendimiento, disminuyendo la calidad de su resultado y en última instancia, reduciendo el tiempo de obtención de valor."