Transceptor óptico 800G

Hoy tenemos algo muy interesante: una mirada más cercana a COBTELCOLORZ 800 (Transceptor de fibra óptica de precisión OSFP112-DR8). Este es un ZR+ 800G de larga-distanciatransceptor óptico, utilizando el factor de forma enchufable OSFP estándar, pero puede alcanzar velocidades de 800 Gbps en distancias de 500 kilómetros o incluso más de 1000 kilómetros. Incluso se puede configurar para admitir comunicaciones de 400 Gbps en distancias de hasta 2500 kilómetros. Echamos un vistazo al interior delCOBTELlab para comprender cómo funciona esta tecnología óptica coherente y quería mostrarle cómo lo logran.

Hoy en día, la regla en los centros de datos es básicamente: utilizar cables de cobre en la medida de lo posible, y cuando la distancia sea muy grande, utilizar fibra óptica. Si observa productos como NVIDIA GB200 NVL72, encontrará que su mayor innovación es la capacidad de usar cables de cobre en el backend para interconectar 72 GPU y conmutadores.

Más allá de una longitud de cable de aproximadamente 3 metros, las líneas de alta-velocidad y los cables de cobre no se pueden utilizar juntos debido a problemas de integridad de la señal.

Si bien los cables de cobre generalmente pueden llegar dentro de los racks y adyacentes, los transceptores ópticos se pueden usar para abarcar distancias más largas. Sin embargo, hay un problema. Los transceptores ópticos utilizan diferentes tecnologías para abarcar diferentes distancias a diferentes velocidades.

Los transceptores ópticos-de corto alcance que funcionan a 10 Gbps o 100 Gbps son mucho más baratos de fabricar que los transceptores ópticos de largo-alcance que funcionan a 400 Gbps u 800 Gbps, en gran medida porque la complejidad de la tecnología está aumentando.

Otro aspecto es el factor de forma (el tamaño físico y la forma del módulo) deltransceptor óptico.

Los módulos de factor de forma estilo CFP-son más comunes en aplicaciones de telecomunicaciones. En los centros de datos, tendemos a ver módulos SFP pequeños para aplicaciones-de gama baja y módulos QSFP y OSFP más grandes para aplicaciones de alta-velocidad. Incluso las NIC de infraestructura de IA comunes, como el adaptador NVIDIA ConnectX-7 400GbE, utilizanOSFP. Hoy estamos hablando del módulo OSFP COBTEL COLORZ III 800G ZR+. OSFP proporciona un módulo estándar más grande con alimentación, refrigeración y, lo que es más importante, el espacio necesario para manejar todos los componentes. Se parece a esto:

En pocas palabras, por un lado, el módulo recibe señales eléctricas del dispositivo.

En el otro extremo tenemos los puertos ópticos de transmisión y recepción donde se insertan los cables de fibra óptica.

Si bien esto suena simple, algo extraordinario sucede dentro de la carcasa metálica. Las señales eléctricas se convierten en señales ópticas y las señales ópticas se vuelven a convertir en señales eléctricas. Explicaremos lo que sucede dentro a un alto nivel para que la mayoría de la gente pueda entenderlo.

A continuación, echaremos un vistazo al interior de la carcasa del OSFP y explicaremos cómo funciona.

Se ha demostrado que la ubicación de los componentes dentro del transceptor óptico es crítica. Incluso una desviación de un-milímetro en la ubicación de los componentes puede afectar significativamente su rendimiento. Normalmente, las empresas desaconsejan el desmontaje de estos-módulos de alta gama. En cambio, observamos una demostración en el laboratorio de COBTEL, que era esencialmente una versión ampliada-de lo que hay dentro de ese pequeño gabinete metálico OSFP.

Por supuesto, una placa de circuito grande dispuesta de esta manera no es adecuada para dispositivos de red, por lo que otro aspecto impresionante no es solo la capacidad de crear módulos de comunicación de 400 Gbps 2500 km o 800 Gbps 1000 km, sino también empaquetarlos en módulos de factor de forma enchufables estándar.

Al mirar esta plataforma, lo primero que notará es el breveDAC (cable de conexión directa). Esta es la interfaz de señal eléctrica de 800Gbps.

Esta es una vista de la placa de desarrollo desde el otro lado.

Puedes considerarlo como el lado eléctrico del módulo que ves aquí:

La primera parada es a través del COBTEL Orion DSP. Este es el componente entre los extremos eléctrico y óptico, que se utiliza para limpiar la señal.

Para darle una idea de lo que hay dentro, aquí está el COBTEL Orion DSP y el módulo COLORZ III 800G ZR+ en el que está alojado.módulo OSFPse encuentra por encima de los módulos enchufables COLORZ II (400G) y COLORZ I (100G) de generación anterior.

Estos DSP son impresionantes porque deben manejar importantes tareas de procesamiento dentro de un espacio y un presupuesto de energía muy limitados. Mientras que los chips NIC normales de 10 Gbps o 25 Gbps se fabrican utilizando tecnologías de proceso significativamente más antiguas, estos DSP se fabrican utilizando un proceso de 5 nm para manejar las limitaciones de energía y espacio dentro del espacio del módulo OSFP.

A partir del DSP, la señal de transmisión se enruta al CDM, o módulo de controlador coherente, que es la más pequeña de las dos cajas doradas/de latón que se encuentran a continuación, donde se conecta una sola fibra.

En aras de la brevedad, no entraremos en detalles sobre cómo funciona el PIC, pero en esa pequeña caja tenemos los componentes necesarios para convertir señales eléctricas en señales ópticas utilizando una fuente láser, moduladores y otros componentes. En un extremo de la caja, ingresamos señales eléctricas y en el otro extremo, enviamos luz al haz de fibras. Este es el extremo de la transmisión en esta placa de demostración.

En este punto, es posible que haya adivinado que la caja un poco más grande a la izquierda es el extremo receptor, conocido como ICR o Receptor Coherente Integrado. Si utiliza con frecuencia cables y ópticas LC monomodo-, notará inmediatamente: hay dos cables de fibra en el extremo receptor. Aquí es donde esta tecnología es un poco más compleja que las ópticas de bajo-costo y baja-velocidad que solo realizan detección directa (análisis del tipo "hay luz o no").

No solo hay una fibra del extremo receptor en la placa de circuito, sino que también hay un oscilador local que alimenta una segunda señal al ICR. Piense en ello como una señal de referencia para la comparación de fases. Dentro del ICR hay un híbrido de 90 grados, un componente pasivo que ayuda a mantener la información de fase y amplitud, entre otras cosas. El ICR también está equipado con fotodetectores para recibir señales ópticas y luego producir salidas eléctricas en el otro extremo. Las señales eléctricas suelen ser débiles, por lo que utilizamos un TIA, o amplificador de transimpedancia, para convertir la corriente débil del fotodetector en un voltaje medible. Piense en ello como un amplificador en el lado eléctrico.

Normalmente, estos componentes también requieren refrigeración, por lo que la placa de referencia se parece más a esto:

Incluso la fuente láser de referencia requiere un disipador de calor para enfriarse. Cuando menciono que logramos entrar al laboratorio, queda claro que este es un verdadero entorno de laboratorio.

Luego, las señales eléctricas del ICR se pueden enviar al Orion DSP en el lado eléctrico.

Esto completa el ciclo completo del procesamiento de señales, abarcando tanto el dominio eléctrico como el óptico.

Es importante tener en cuenta que, en última instancia, cada lado de esta plataforma de desarrollo está empaquetado y administrado térmicamente dentro del factor de forma OSFP.

Más allá del hardware, analicemos brevemente la necesidad de una señal láser de referencia y la distinción entre detección directa y detección coherente.

Como parte del artículo, una de mis ideas es explorar las diferencias entre la detección directa y la detección coherente, que se utilizan comúnmente en dispositivos ópticos de bajo-gama y bajo-costo.

Aquellos que necesiten profundizar en las matemáticas y la física quizá ya estén familiarizados con esto. Muchos métodos de detección de señales se centran en la simple cuestión de si una señal está presente o no. En un módulo muy básico de 10 Gbps, esto se puede formular como "¿Hay luz o no?" Esto se puede representar de muchas formas 2D bastante simples, así como mediante esquemas de codificación más complejos. En el laboratorio, a menudo vemos diagramas oculares-representaciones gráficas de la calidad de la señal-como el que se muestra a continuación (de la división Silicon Photonics de Intel de 2019, que Intel vendió ese mismo año).

La detección coherente es mucho más compleja, ya que permite técnicas más avanzadas utilizando luz. En lugar de simplemente detectar la presencia de luz, podemos observar la "constelación" de la señal. Ambos diagramas muestran la polarización X e Y, lo que da como resultado 16 constelaciones posibles.

Por eso es crucial tener una referencia de oscilador local. Para codificaciones más complejas, necesitamos la información adicional proporcionada por esa referencia.

Si tiene curiosidad acerca de las diferencias entre la detección directa y la detección coherente, existen muchos artículos detallados sobre el tema. Para los espectadores de STH, la conclusión clave es que, si bien el módulo OSFP 800G ZR+ puede parecer un módulo QSFP28 100G SR4 un poco más grande, sus componentes internos son muy diferentes.

Entonces, la gran pregunta es: "¿Por qué importa todo esto?" Una razón simple es que implementar centros de datos en diferentes regiones puede resultar ventajoso en términos de costo y resiliencia. La conexión directa desde un conmutador a un centro de datos a 1000 kilómetros o más de distancia permite a las organizaciones alojar más infraestructura a un costo menor-y en ubicaciones estables. Además, si tiene dos campus geográficamente distantes, vincularlos con un ancho de banda de 400 Gbps a 800 Gbps podría cambiar las reglas-.

Pero, en realidad, uno de los mayores impulsores de la óptica conectable en la actualidad es la construcción de centros de datos de IA. Esta construcción está limitada por la disponibilidad de energía, por lo que los operadores de centros de datos se están centrando en asegurar la energía. Los planes incluyen la construcción de grandes centros de datos junto a las plantas de energía existentes, la creación de nuevas fuentes de energía para los centros de datos y más. Minimizar las pérdidas de transmisión ayuda a maximizar la potencia disponible para la informática. El desafío es que los clusters requieren tanta energía que depender de un solo sitio puede que ya no sea factible.

A menudo escuchamos la idea de ubicar varios centros de datos cerca de fuentes de energía en lugar de concentrar la informática en un campus. Curiosamente, esto es también lo que muchos mineros de criptomonedas estaban explorando a mediados{1}}y-finales de la década de 2010. La diferencia es que las granjas mineras no requieren acceso mutuo de alto-ancho de banda y baja-latencia, mientras que los clústeres de IA sí.

La idea es que construir clústeres-a gran escala en varios sitios cerca de fuentes de energía disponibles puede ahorrar pérdidas y costos de transmisión de energía, y también puede ser más simple. En lugar de otorgar licencias y construir grandes fuentes de energía, las organizaciones pueden encender fibra oscura-cables de fibra óptica no utilizados-o tender fibra adicional para unir grupos en varias fuentes de energía más pequeñas.

Entonces, la respuesta simple es que estos módulos permiten a las organizaciones usar transceptores ópticos conectables comunes (en lugar de cajas DCI dedicadas) para establecer enlaces rápidos que abarcan largas distancias de una manera relativamente barata y sencilla. Lo que es aún más interesante es el potencial para la distribución geográfica a gran-escala de recursos de IA.

Los módulos enchufables suelen aparecer como simples carcasas metálicas. Desde esta perspectiva, es difícil decir por qué uno es más complejo que el otro.

Al examinar el interior de los módulos-de gama alta, podemos comprender mejor la complejidad de estas ópticas conectables. Analizamos un transceptor óptico 100G SR4 simple y de bajo costo, que es muy diferente del transceptor óptico 800G ZR+. La razón es que, aunque parecen similares, el módulo COLORZ III puede transmitir datos a una velocidad 8 veces mayor en distancias 10.000 veces mayores. Probablemente por eso pensé que era una demostración tan interesante cuando la vi por primera vez.

Algunos pueden haber notado en el contexto anterior que también desmontamos un DAC 100G QSFP28 y un transceptor óptico 100G SR4 QSFP28. Creemos que es importante mostrarle lo que hay dentro del módulo, por lo que este artículo revelará lo que hay dentro de la carcasa del DAC.

El cable que estamos a punto de abrir está etiquetado como Intel DAC. Este es un caso bastante típicoDAC QSFP, con un conector eléctrico en un extremo y un cable en el otro.

Abrir la carcasa es bastante sencillo. Algunas carcasas, como ésta, utilizan tornillos simples para sujetarlas. Otros utilizan métodos de conexión más difíciles-de-abrir. Te recomendamos que si vas a abrir la carcasa tú mismo, pruebes a utilizar una con tornillos que se aprieten fácilmente. Además, tenga en cuenta que el mecanismo de fijación QSFP28 suele tener un resorte. Es bien sabido que al abrir estas carcasas, el resorte puede salirse de la carcasa.

Dentro de la carcasa podemos ver que la PCB es muy sencilla. De hecho, se pueden ver muchos rastros entre el conector QSFP28 y los hilos internos del cable.

 

El módulo tiene cables blindados gruesos, de la misma longitud que el DAC. Cada cable tiene un número, que puede resultar útil para la fabricación. Las conexiones y los extremos de los cables están recubiertos con resina o epoxi para fijarlos a los puntos de soldadura de la PCB. Luego conseguimos un poco de cinta de cobre y una salida de cable flexible con soportes curvos. Ambos lados se ven muy similares.

Solo para darle una idea, así es como se ve el interior de un DAC QSFP28 100G SR4 de bajo-costo, específicamente el lado PIC (circuito integrado fotónico). La alineación de las fibras ópticas debe ser más precisa y la interfaz del fotón-al-circuito es mucho más compleja que la estructura interna del DAC.

La mayoría de la gente nunca necesitará mirar dentro de un DAC. Están diseñados para ser plug-and-play y no requieren mantenimiento. Aún así, creemos que vale la pena abrir un extremo de la carcasa para mostrar cómo funcionan estos cables. Al menos debemos señalar que se trata de cables pasivos. Hay AEC (cables eléctricos activos), que tienen chips de reprogramación activa en los conectores del cable que ayudan a mejorar la calidad de la señal, permitiendo que las señales de alta-velocidad viajen más lejos a través del cobre. Los AEC son más complejos, consumen-energía y son costosos. Dicho esto, en lo que respecta a la simplicidad del diseño del DAC, esperamos que estas fotografías le den una mejor idea.