Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Puntos de enlace compatibles con Amazon Bedrock
Amazon Bedrock admite varios puntos de enlace para realizar operaciones de inferencia.
Operaciones de inferencia
Amazon Bedrock admite los dos puntos finales principales siguientes para realizar inferencias mediante programación:
| Punto de conexión | API compatibles | Descripción |
|---|---|---|
bedrock-mantle.{region}.api.aws |
API de respuestas, API de finalización de chats, API de mensajes | Region-specific puntos de enlace para realizar solicitudes de inferencia para modelos alojados en Amazon Bedrock mediante los OpenAI-compatible puntos de enlace y la API de mensajes antrópicos. |
bedrock-runtime.{region}.amazonaws.com |
InvokeModel/Converse/Finalizaciones de chat/API de mensajes | Region-specific puntos finales para realizar solicitudes de inferencia para modelos alojados en Amazon Bedrock mediante las API. InvokeModel/Converse/Chat Completions/Messages Obtenga más información sobre las API de Amazon Bedrock Runtime aquí. |
Para aplicaciones nuevas, recomendamos el bedrock-mantle punto final. Es compatible con las OpenAI-compatible API (respuestas y finalización de chats) y la API de Anthropic Messages, incluye el uso de herramientas integradas y una gestión de conversaciones con estado, y le permite llevar una base de código del SDK de OpenAI existente a Amazon Bedrock cambiando solo la URL base y la clave de API. El bedrock-runtime punto de conexión sigue siendo totalmente compatible y es la elección correcta cuando utiliza las API Bedrock-native InvokeModel o las API de Converse, o cuando el modelo que desea aún no está disponible. bedrock-mantle Para ver qué punto final admite cada modelo, consulteDisponibilidad de terminales por modelos.
En las siguientes tablas se compara lo que está disponible en cada punto final.
| API | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| InvokeModel |  |
 |
| Converse/ ConverseStream | |
|
| Finalización del chat () OpenAI-compatible | |
|
| API de respuestas () OpenAI-compatible | |
|
| API de mensajes (Anthropic-native) | |
|
nota
La API de mensajes está disponible en ambos puntos finales, pero las dos superficies no admiten funciones idénticas. En concreto, no se admiten las salidas estructuradas (el output_config.format parámetro)bedrock-mantle: las solicitudes que las incluyen output_config.format se rechazan con un error de 400. Para utilizar salidas estructuradas con modelos antrópicos de Claude, utilice Converse o utilizar InvokeModel las API. bedrock-runtime
| Funcionalidad | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| Cross-region inferencia (perfiles geográficos y globales) | |
|
| Gestión de conversaciones con estado | |
|
| Inferencia asíncrona (de larga duración) | |
|
| Client-side uso de herramientas | |
|
| Server-side uso de herramientas | |
|
| Pre-configured herramientas listas para usar | |
|
| Proyectos | |
|
| Espacios de trabajo | |
|
| Elemento | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| Autenticación AWS SigV4 | |
|
| Clave API Bedrock (también funciona con el SDK de OpenAI) | |
|
| Atribución de uso | IAM, etiquetado de metadatos por solicitud | Proyectos, espacios de trabajo |
| Característica | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| Barandillas | |
|
| Almacenamiento en caché rápido | |
|
| Enrutamiento rápido inteligente | |
|
nota
La compatibilidad inmediata con el almacenamiento en caché bedrock-mantle depende del modelo específico; consulte la ficha de cada modelo a continuación Los modelos de un vistazo para obtener más información.
Enfoque de rendimiento y cuota
Cada punto final utiliza un enfoque diferente para gestionar el rendimiento.
-
bedrock-runtime— En muchos servicios tradicionales multiusuario, la arquitectura está diseñada en torno a cuotas por cuenta para gestionar un acceso equitativo a los recursos compartidos. Este es el enfoque utilizado con.bedrock-runtimeCada modelo tiene cuotas de rendimiento fijas (RPM y TPM) que puede solicitar aumentos. Para obtener más información, consulte Cuotas para el punto final de tiempo de ejecución fundamental. -
bedrock-mantle— Este punto final está diseñado con mecanismos avanzados de programación y colas de trabajo que permiten una distribución equitativa y, al mismo tiempo, admiten límites de rendimiento iniciales más altos. Este diseño también permitebedrock-mantlealojar un amplio conjunto de modelos y ofrecer toda la gama de funciones disponibles en el catálogo de modelos. En la mayoría de los casos, las solicitudes se atienden inmediatamente. En algunos casos, es posible que una solicitud quede en cola durante un breve periodo de espera mientras se completan las cargas de trabajo en vuelo y se dispone de capacidad de procesamiento. Para más detalles, consulte Cuotas para el punto final entre el lecho rocoso y el manto y Mejores prácticas de escalado y rendimiento.
Precios
Per-token los precios del mismo modelo son idénticos en y. bedrock-runtime bedrock-mantle Elija un terminal en función de las API y las capacidades que necesite, no del costo. Para ver los precios actuales, consulta los precios de Amazon Bedrock
¿Cuándo elegir cada punto de conexión
Comience con el bedrock-mantle momento en que desee:
Usa la API de respuestas, la API de finalización de chats o la API de mensajes para mantener conversaciones detalladas en varios turnos.
Lleve el código del SDK de OpenAI existente a Amazon Bedrock cambiando solo la URL base y la clave de API.
Ejecute cargas de trabajo de inferencia asíncronas o de larga duración.
Cree flujos de trabajo de agentes con herramientas del lado del servidor o herramientas preconfiguradas.
Use Proyectos (OpenAI-compatible) o Espacios de trabajo () Anthropic-compatible aísle las cargas de trabajo y realice un seguimiento del costo y el uso a nivel de la aplicación.
bedrock-runtimeÚselo cuando desee:
Siga usando las API Bedrock-native InvokeModelo las API de Converse.
Usa un modelo que aún no esté disponible en
bedrock-mantle. Consulte Disponibilidad de terminales por modelos.
Ambos terminales se pueden usar juntos desde la misma aplicación: elija según el caso de uso.
Reduzca los costos de salida de datos con los puntos finales de interfaz de VPC
Si llama a Amazon Bedrock desde una VPC, considere la posibilidad de utilizar puntos de enlace de interfaz de VPC (AWS) para mantener el tráfico dentro de la red de PrivateLink AWS y evitar los cargos por salida de datos asociados a las puertas de enlace NAT o las puertas de enlace de Internet.
