Las formas en que se ha construido la locura en nuestra sociedad ha jugado un rol estructurante en la producción de agencia política para ciertos grupos sociales. Desde algunas instituciones sociales, en particular, la psiquiatría y la psicología, la locura se ha codificado a partir de la idea de peligrosidad para la propia persona, pero también para el cuerpo social. Tanto desde lógicas manicomiales como punitivas se han demandado la medicalización, el encierro y el castigo como soluciones posibles. En este trabajo indagaremos en la forma en que los discursos culturales e institucionales que leen a ciertas personas a partir del binomio víctima-victimario han contribuido a estigmatizar a las personas con padecimiento mental como un grupo peligroso e incapaz de agencia política. Para ello comenzaremos por reconstruir brevemente el contexto genealógico bajo el cual la psiquiatría se ha erigido como una institución de precaución social justificada en la patologización de los desórdenes en la conducta y la esencialización de los actores sociales. En segundo lugar, analizaremos los cruces que se generan entre las lógicas manicomiales y las lógicas punitivas para mostrar las formas en que la imposición de los roles sociales de víctima-victimario operan en la exclusión, la estigmatización y el desagenciamiento de las poblaciones patologizadas y marcadas como peligrosas. Sostendremos que este lente binarista ubica a las personas con padecimiento mental en ambos roles, de víctimas y de victimarias, según el espacio público o privado que ocupen y el grado de visibilidad social de los hechos ocurridos. Finalmente, reflexionaremos en torno a formas alternativas de agencia política desarrolladas desde las teorías queer-crip y los enfoques de desmanicomialización que eviten replicar las lógicas binarias analizadas.