Piłsudski wrócił ze swoimi żołnierzami do Krakowa, gdzie powstawały Legiony Polskie. Piłsudski wraz ze swoją Pierwszą Kompanią Kadrową wstąpił do Legionów, które były częścią armii austro-węgierskiej.
Na początku I wojny światowej Józef Piłsudski popierał Austro-Węgry i liczył, że dzięki ich pomocy uda się utworzyć niepodległe państwo polskie. W Galicji był zaangażowany w tworzenie organizacji paramilitarnych, które miały wykształcić przyszłych dowódców wojska polskiego. Chociaż Piłsudskiemu nie udało się wywołać powstania antyrosyjskiego w Królestwie Kongresowym, to Legiony Polskie stały się bardzo istotnym elementem walki o niepodległość Polski w latach 1914–1918.