Το κάστρο της Νερατζιάς που χτίστηκε από το 1436 έως το 1514 μ.Χ., αποτελεί ένα από τα πιο χαρακτηριστικά δείγματα αρχιτεκτονικής των Ιπποτών στα Δωδεκάνησα, ενώ από τα ίχνη του φαίνεται πως είχε πρωτοκατοικηθεί ήδη από τη Μυκηναϊκή περίοδο. Για την ανέγερση του Κάστρου χρησιμοποιήθηκαν διάφορα οικοδομικά υλικά από αρχαιότερα κτίσματα.
Η είσοδος στον εξωτερικό περίβολο του Κάστρου γίνεται από τη νότια πλευρά μέσα από μία πύλη στην οποία έχει εντοιχιστεί ζωοφόρος της Κλασικής περιόδου και θυρεοί του Αγίου Ιωάννη, ενώ για τον εσωτερικό περίβολο –με ορθογώνιο σχήμα και τέσσερις στρογγυλούς πύργους σε αντίστοιχες γωνίες –ο επισκέπτης περνούσε πάνω από μία επικλινή γέφυρα. Από τη βορειοδυτική γωνία με τον πολυγωνικό πύργο (πύργος d’ Aubusson) γίνονταν η επιτήρηση της εισόδου του λιμανιού.
Όλο το εσωτερικός τείχος είναι διακοσμημένος με αρχαίες επιγραφές, επιγράμματα των ιπποτών και ανάγλυφα. Το εσωτερικό του κάστρου εντυπωσιάζει με πολλά σωσμένα απομεινάρια, όπως φυλάκια, σκάλες, αποθήκες, κ.ά.. Η τάφρος προς την πλευρά της πόλης έχει μετατραπεί από το 1878 στη Λεωφόρο Φοινίκων.