De Heuvel is een aan vier zijden gesloten, monumentaal plein dat stedenbouwkundig gezien tot de mooiste in Noord-Brabant behoort, vooral ook door de karakteristieke boombeplanting.

Vanaf de 13^e eeuw werd de Heuvel meer en meer het bestuurlijk hart van het dorp. Lokale legendes spreken van een linde die op de Heuvel werd geplant rond het jaar duizend, al zal dit iets te veel "wishfull thinking" zijn. Later werd onder een daadwerkelijk geplante lindeboom de vierschaar gebouwd, de openlucht rechtbank. Veelal werd er dan feitelijk vergaderd in een lokale herberg maar als symbool van de eigen jurisdictie vormde de houten vierschaar wel één van de symbolen van de eigen identiteit en zeggenschap.

Oosterhout heeft in verschillende vormen eeuwenlang het recht van hoge jurisdictie bezeten. Dit betekent, dat voor misdaden begaan in Oosterhout men lokaal kon worden berecht. Ook de executie van ter dood veroordeelden vond veelal plaats op de Heuvel. Na de terechtstelling werd het lichaam overgebracht naar de galg, die een plek had buiten de bebouwde kom, het Geregt van Oosterhout.  Daar werd de terechtgestelde nog enige tijd getoond aan voorbijgangers om kwaadwillenden af te schrikken.

Aan het begin van de 17^e eeuw werd de vierschaar gesloopt en het raadhuis van de vrijheid Oosterhout gebouwd: het Vrijheidshuis op nr. 13. Voor de bouw gebruikte men onder andere stenen die uit het kasteel van Strijen gesloopt waren. Aan de parkzijde en binnenin het huidige restaurant kun je die nog goed zien zitten.

De bouw van het Vrijheidshuis leidde er toe dat steeds meer welgestelden zich rondom de Heuvel vestigden. De huidige gevels dateren overwegend uit de 19^e en vroeg 20^e eeuw, maar de meeste panden bezitten een oudere kern. Het merendeel van de panden aan de Heuvel heeft de status van beschermd monument.