Politiet pågrep først 22 irakere, men opplyste senere søndag at samtlige som var med i gruppen, var pågrepet og fraktet tilbake til grensa ved landsbyen Dubicze Cerkiewne.
Kritikere mener Polen bryter FNs flyktningkonvensjon og den europeiske menneskerettskonvensjonen ved å returnere asylsøkere uten å behandle søknadene deres.
Polen viser til at det er innført unntakstilstand langs grensa mot Hviterussland, og at alle som tar seg ulovlig inn i landet, straks vil bli returnert.
Polen nekter også demonstrasjoner i grenseområdet, og journalister og hjelpeorganisasjoner får ikke adgang.
Polen anklager Hviterusslands president Aleksandr Lukasjenko for å sende flyktninger og migranter til grensene mot Polen, Litauen og Latvia, som hevn for sanksjoner EU har innført mot hans regime.
Ifølge polske myndigheter har over 10.000 forsøkt å krysse grensa ulovlig siden august, 6.700 bare i november.
Polen har sendt 15.000 soldater til grenseområdet for å hindre at flere tar seg over, men noen lykkes.
1.500 befinner seg nå på bevoktede mottak i Polen, der de vil få anledning til å søke asyl.
Ifølge polske grensevakter befant det seg fredag mellom 3.000 og 4.000 andre i grenseområdet, der de lever i en provisorisk teltleir. Også på hviterussisk side oppholder det seg mange som håper å kunne ta seg over.