Kalvøya er mest kjent for Kalvøyafestivalen, men er også et populært friluftsområde. På øya som er forbundet med Kadettangen finnes forhistoriske gravrøyser. På 1500 tallet var Kalvøya en del av Nesøygodset som tilhørte Rosenkrantzfamilien. Godset kontrollerte fire prosent av all jord i Norge, i tillegg til eiendommer på Shetland, Orknøyene og Man. Navnet fikk øya fra kalver på sommerbeite, det er usikkert om det har vært fast bosetning her. Kadettangen fikk navnet fordi Krigsskolen brukte den til ekserserplass fra 1889-1912.