Vlastní modely SVM minimalizují vhodně definovanou chybu (např. misklasifikaci u klasifikačních modelů, chybu v nějaké metrice u regrese). Například v úloze lineární separabilní klasifikace ve dvou dimenzích (dvě číselné nezávisle proměnné) se hledá přímka, která rozděluje (diskriminuje) obě třídy tak, že zachová maximální vzdálenost od experimentálních dat a tím za poměrně obecných předpokladů minimalizuje riziko misklasifikace v predikci z nových dat, viz následující obrázek. Model SVM pak může mimo jiné sloužit k tomu, abychom na základě nových hodnot nezávisle proměnné uměli odhadnout (včetně pravděpodobností) do které třídy příslušný objekt patří.

V neseparabilním případě se hledá přímka, která minimalizuje „přešlapy“ nesprávně klasifikovaných dat. Příklad uvádí následující obrázek, kde jsou minimalizovány kolmé vzdálenosti jednoho nesprávně klasifikovaného bodu B a jednoho nesprávně klasifikovaného bodu A od separační přímky při současném požadavku maximální separace ostatních dat. Tím je zajištěna vysoká účinnost klasifikačního modelu.

V případě separabilních dat s binární odezvou (y_i = –1 nebo 1) se minimalizuje délka normály w separační přímky (obecně nadroviny)

za omezující podmínky

v případě neseparabilních dat se k optimalizovanému kritériu přidá ještě člen penalizace za „přešlap“ s uživatelem definovaným parametrem C, který lze chápat jako cenu (cost) za chybnou klasifikaci

za podmínky

Geometrickou interpretaci v případě neseparabilních dat ilustruje obrázek níže, souřadnice bodů (odpovídající řádek nezávisle proměnných), o které se „opírají“ separační meze H1 a H2 (na obrázku označeny kroužkem), se nazývají support vectors (česky se překládají jako podpůrné vektory).

Alternativně lze použít kriteriální podmínku obsahující místo ztrátového koeficientu C zlomek ν (0 < ν < 1), který přibližně odpovídá očekávanému maximálnímu podílu misklasifikací (chybných klasifikací).

za podmínky