La selección y el ajuste de hiperparámetros pueden ser difíciles y llevar mucho tiempo, pero también gratificantes y agradables. Para optimizar los hiperparámetros, lo mejor es comenzar con un modelo de referencia y un rango razonable de valores, en función de sus conocimientos previos o de la revisión de la literatura. Se debe utilizar la validación cruzada o un conjunto de validación independiente para medir el rendimiento del modelo y evitar el sobreajuste. Se debe adoptar un enfoque sistemático e iterativo, como la búsqueda en cuadrícula, la búsqueda aleatoria o la optimización bayesiana, para explorar el espacio de búsqueda mientras se realiza un seguimiento de los resultados y la justificación. Los métodos adaptativos o basados en gradientes, como el descenso de gradiente, Adam o AdaGrad, se pueden utilizar para ajustar los hiperparámetros mientras se supervisan las curvas de aprendizaje y la convergencia del modelo. Además, experimentar con diferentes modelos, conjuntos de datos y tareas es clave para aprender de los éxitos y los fracasos.