Como miembro de ese Comité fue elegido, entre otros, Carlos Marx, que tomaba parte en los trabajos de la Unión El primer congreso internacional regular tuvo lugar del 3 al 8 de septiembre de 1866, en Ginebra. En aquel congreso quedo constituida definitivamente la organización internacional, que adoptó el nombre de Asociación Internacional de los Trabajadores (A.I.T.), A la cabeza de la A.I.T. se hallaba el Consejo General, cuya misión era asegurar el lazo de unión entre las diversas secciones de la organización.
Como objetivo de la A,I.T., el programa especificaba la emancipación económica de la clase obrera. Los estatutos dejaban a cada sección una completa independencia, así como la libertad de entrar directamente en relaciones con el Consejo General. El segundo congreso tuvo lugar en Lausana, del 2 al 7 de septiembre de 1867.
En el tercer congreso celebrado en Bruselas, del 6 al 13 de septiembre de 1868, fue designada la huelga general como el único medio de impedir la guerra y de asegurar la paz. El cuarto congreso se celebró en Bruselas, del 6 al 13 de septiembre de 1869. En ese congreso empezaron las grandes discusiones entre Marx y Bakunin. El primero preconizaba el centralismo, el parlamentarismo y la acción política como medios de lucha. El segundo predicaba el antiestatismo y el federalismo. Fue en ese congreso donde se vio por primera vez el gran éxito de la idea federalista y la importancia de las uniones obreras. Allí fue donde se afirmó la idea de la anulación del Estado y de reemplazarlo por las uniones de productores. Los comienzos de Bakunin en la Internacional fueron un éxito, así como la influencia creciente del ala antiautoritaria, federalista. Esta era peligrosa para Marx y sus partidarios.
Entonces empezó todo un juego de intrigas contra los federalistas que llegó a la disolución de la sección de Ginebra. La sede del Consejo General se hallaba en Londres y estaba bajo la influencia de Carlos Marx. En 1870 no hubo congreso, a causa de la guerra. En 1871, el Consejo General convocó en Londres, una conferencia cerrada, a la cual fueron invitados y estuvieron presentes sobre todo delegados partidarios de Carlos Marx y del Consejo General.
Los belgas, los españoles y los italianos se inclinaban, con Bakunin, hacia el federalismo. Las organizaciones del Jura no estaban presentes en la conferencia. La invitación fue hecha de tal forma que los partidarios del Consejo General se hallaron en mayoría. La conferencia fue utilizada por Carlos Marx para declarar obligatoria la acción parlamentaria, rechazada por el lado latino. Eso aconteció por medio de la votación y la adopción de la resolución siguiente:
Visto que el proletariado, como clase, no podría alzarse contra la violencia colectiva de las clases poderosas de otra manera que constituyéndose en un partido político particular, en la lucha contra todos los viejos partidos de las clases burguesas; que la constitución del proletariado en un partido político es indispensable para asegurar el triunfo de la revolución social y de su objetivo final, la abolición de las clases; que la unión de las fuerzas de los trabajadores, que fue ya lograda con ayuda de las luchas económicas, tendrá que servir también como palanca para las masas de esta clase en su lucha contra el poder político de los explotadores, la conferencia declara a los miembros de la Internacional que, en vista del estado de guerra en el cual se encuentra la clase obrera, su acción económica y política están ligadas de manera inseparable.
Conforme a esto, la potencia del Consejo General aumentó. Se apropió un poder autoritario vis a vis de las secciones, con el objeto de velar por la doctrina, El lado latino, que se erguía contra el centralismo y el parlamentarismo, tenía que ser descartado. De esta manera se incrustó una cuña en la Internacional, cuña que finalmente acarrearía una escisión provocada directamente por Carlos Marx en el Quinto Congreso celebrado en La Haya, del 2 al 7 de septiembre de 1872.
Los partidarios de Marx disponían de 40 votos, los federalistas sólo de 25. Esta proporción desigual de votos fue el resultado de una maquinación de Marx. Tomó todas las disposiciones para que los delegados de Alemania, en donde se hallaban sus partidarios, viniesen en crecido número al Congreso. Así fue fabricada una mayoría marxista. El congreso de La Haya aprobó las decisiones de la conferencia de Londres. La fuerza del Consejo General aumentó todavía y se introdujo en los estatutos de la Internacional un artículo sobre la necesidad de la acción política. El punto de vista de los federalistas, los del Jura a la cabeza, fue expuesto por James Guillaume. Precisó la diferencia entre marxistas y federalistas, declarando que los primeros buscaban conquistar el poder político por medio de la participación en las elecciones parlamentarias, mientras que los segundos trataban de destruirlo. Marx se aprovechó igualmente de ese congreso para lanzar calumnias contra Bakunin, que no estaba presente. Fue formada una comisión compuesta en su mayoría por partidarios de Marx, la cual aprobó la expulsión de Bakunin, de Guillaume, de Schwizguébel y otros más del seno de la Internacional. La expulsión de los dos primeros fue decidida a pesar de la declaración del presidente de la Comisión, el delegado alemán Cuno, en el sentido de que no había pruebas materiales contra los acusados. La minoría presentó, en la persona de Víctor Dave, una declaración diciendo que tenía la intención de defender dentro de la Internacional la autonomía federal.
De este forma, las pretensiones injustas y autoritarias de los marxistas trajeron la escisión de la Internacional.
Los federalistas organizaron entonces,a su vez, el Congreso de Saint-Imier, el 15 de septiembre de 1872, en el cual participaron todos los elementos antiautoritarios y federalistas de la Internacional. Toda el ala latina; de esta última estaba representada, particularmente las secciones del Jura, de Italia, de España, de Francia y dos secciones americanas. En ese congreso fueron formulados los principios fundamentales del movimiento obrero libertario, que pueden servir como indicadores del camino al proletariado revolucionario de la época. Las resoluciones sobre la acción política, así como sobre las uniones profesionales y sus tareas se expresan de la manera siguiente:
Considerando que querer imponer al proletariado una línea de conducta o un programa político uniforme como vía única que pueda conducirle a su emancipación social es una pretensión tan absurda como reaccionaria; que nadie tiene derecho de privar a las federaciones y secciones autónomas del derecho incuestionable de determinarse ellas mismas y de seguir la línea de conducta política que crean mejor y que todo proceder contrario conducirá fatalmente al más escandaloso dogmatismo; que las aspiraciones del proletariado deben tener como objetivo el establecimiento de una organización y de una federación económicas absolutamente libres, fundadas sobre el trabajo y la igualdad del todo independientes de todo gobierno político, y que esta organización y esta federación no pueden ser más que el resultado de la acción espontánea del proletariado mismo, gremio de artesanos y de comunas autónomas.
Considerando que toda organización política no puede ser más que la organización del poder en provecho de una clase y en detrimento de las masas, y que si el proletariado quisiera apoderarse del poder se convertiría en una clase dominante y explotadora, el Congreso reunido en Saint-Imier declara:
1º Que la destrucción de todo poder político es el primer deber del proletariado.
2º Que toda organización de poder político – aunque se suponga que es provisional y revolucionaria – destinada a efectuar esa destrucción no puede ser más que un engaño y será tan peligrosa para el proletariado como todos los gobiernos existentes hoy en día.
3º Que los proletarios de todos los países deben rechazar todo compromiso en el camino de la Revolución Social y deben establecer una intensa solidaridad de acción revolucionaria, al margen de toda política burguesa.