Nach einem schlechten Saisonstart schienen die Gunners vor dem Spiel am Samstag um eine Ecke gebogen zu sein, nachdem sie sechs Spiele ohne Niederlage und fünf ohne Gegentor absolviert hatten.
Aber ein Eigentor von Verteidiger Gabriel in der ersten Halbzeit beendete diesen Lauf und half den Heiligen, in die nächste Runde zu gelangen.
"Enttäuscht und enttäuscht von der Art und Weise, wie wir das Spiel verloren haben, haben wir in einem Bereich kassiert, in dem wir den Ball nicht weggeben können."
Arsenal war ohne Kapitän Pierre-Emerick Aubameyang, der laut Arteta aus "persönlichen Gründen" abwesend war, und forderte stattdessen den 21-jährigen Eddie Nketiah auf, den Angriff zu leiten.
Es war jedoch Southampton, ein Platz über Arsenal in der Premier League-Tabelle, der schon früh offensivere Absichten zeigte.
Die Heiligen erzielten das einzige Tor des Spiels in der Mitte der ersten Halbzeit, als Kyle Walker-Peters 'niedrige Flanke von Gabriel und unter dem ausgestreckten Arm von Leno abgefälscht wurde.
Beide Mannschaften hatten in der zweiten Halbzeit die Chance, das Tor zu verbessern – Arsenal durch Rob Holding und Nketiah und Southampton durch Theo Walcott -, aber das Spiel endete mit 1: 0.
Southampton trifft in der fünften Runde auf den Rivalen der Premier League, Wolves, um seinen ersten FA Cup-Titel seit 1976 zu gewinnen.
"In der ersten Halbzeit hatten wir mehr Schlagkraft, mehr Kraft (als Arsenal) … das Team war heute gegen eine so starke Mannschaft sehr diszipliniert", sagte Manager Ralph Hasenhuttl gegenüber BT Sport.
Die beiden Mannschaften stehen sich am Dienstag in St. Mary's in der Premier League erneut gegenüber.