Caso 1: ejemplo de clase "1" mal clasificado

Supongamos que un ejemplo  dado pertenece a la clase "1" pero se encuentra en la región  del espacio. Para que este ejemplo sea correctamente clasificado es necesario girar el hiperplano de forma que la región correcta contenga a . Esta rotación se logra modificando el vector , ya que el mismo siempre es perpendicular al hiperplano.

Hay varias maneras de modificar  para alcanzar este objetivo. La más simple pero incorrecta consiste en asignar a  el valor de  de manera tal que w apunte directamente hacia x garantizando así que , y que con ello x sea bien clasificado. Pero esta idea tiene un problema importante: el hiperplano cambia abruptamente con cada ejemplo mal clasificado, y además ignora completamente los cambios previos. Esto impide alcanzar una solución global la mayor cantidad posible de los ejemplos sean clasificados correctamente.

De todas maneras, la noción de girar el hiperplano en la dirección del ejemplo es muy útil, sólo que se debe recordar los cambios anteriores y controlar la magnitud de los giros para evitar que sean abruptos. Para lograr lo primero podemos no descartar completamente el valor actual de w, y en lugar de eso sumar ambos valores para obtener un vector justo en el medio entre los dos:

Esto logra que se tengan en cuenta las modificaciones anteriores sobre el hiperplano.

Para lograr que los cambios sean graduales se puede sumar a  una fracción de  en lugar de sumarlo completamente. De este modo la regla queda:

Donde  es una constante positiva denominada velocidad de aprendizaje. Si  es un valor muy cercano a cero el hiperplano se modifica muy levemente, es decir, gira poco en cada actualización. De esta forma el hiperplano se mueve en pasos pequeños evitando giros abruptos.

El valor de es un parámetro que debe fijarse manualmente, en base a la magnitud de las variables del conjunto de datos y la naturaleza del problema de clasificación. En algunos problemas un valor de grande puede ser conveniente porque permite alcanzar una buena solución más rápido, pero en otros problemas los giros abruptos dificultan la búsqueda de un buen hiperplano ya que no puede ubicarse de forma certera en el lugar óptimo, y con lo cual es necesario utilizar un valor de alfa más chico.