Después de un mal comienzo de temporada, los Gunners parecían haber doblado una esquina antes del partido del sábado, habiendo pasado seis partidos sin derrota y cinco sin encajar.
Pero un gol en propia puerta del defensa Gabriel en la primera mitad terminó esa carrera y ayudó a los Saints a avanzar a la siguiente ronda.
"Decepcionado por estar fuera y decepcionado por la forma en que perdimos el partido, concediendo en un área donde no podemos regalar el balón".
El Arsenal se quedó sin el capitán Pierre-Emerick Aubameyang, quien estuvo ausente debido a un "asunto personal", según Arteta, y en su lugar pidió a Eddie Nketiah, de 21 años, que dirigiera el ataque.
Sin embargo, fue Southampton, un lugar por encima del Arsenal en la tabla de la Premier League, quien mostró más intención de ataque desde el principio.
Los Saints anotaron el único gol del juego a mitad de la primera mitad cuando un centro bajo de Kyle Walker-Peters se desvió de Gabriel y bajo el brazo extendido de Leno.
Ambos equipos tuvieron oportunidades de aumentar el marcador en el segundo período, Arsenal a través de Rob Holding y Nketiah y Southampton a través de Theo Walcott, pero el juego terminó 1-0.
Southampton se enfrentará a los Wolves de la Premier League en la quinta ronda en su intento por ganar su primer título de la Copa FA desde 1976.
"En la primera mitad tuvimos más fuerza, más potencia (que el Arsenal) ... el equipo fue muy disciplinado hoy contra un equipo tan fuerte", dijo el entrenador Ralph Hasenhuttl a BT Sport.
Los dos equipos se enfrentarán nuevamente en St Mary's en la Premier League el martes.
