مجموعه خانه های تاریخی آقاجان نسب در محله قدیمی برج بن که یکی از محلات قدیمی شهر بابل می باشد واقع شده است.
این محله همانند دیگر محله های تاریخی شهر بابل از تخریب خانه های قدیمی و از ساخت و سازهای مسکونی و غیرمسکونی جدید در امان نمانده است. بطوری که چهره محله در طی سالیان اخیر (5 الی 10 سال اخیر) بکلی دگرگون شده است.
بیشتر بناهای پیرامون مجموعه، دارای کاربری مسکونی می باشد
در جبهه شمالی مجموعه آپارتمان ها و خانه های مسکونی وجود دارد که مربوط به دهه اخیر و یا مربوط به دوره بعد از انقلاب اسلامی می باشند. در کنار این خانه ها و آپارتمانهای جدید چند عدد خانه های تاریخی با ساختار مجموعه تاریخی آقاجان نسب وجود دارد. در جبهه شرقی مجموعه نیز بناهای مسکونی دوره پهلوی دوم وجود دارد.
در جبهه جنوب مجموعه در گذشته یک خانه تاریخی که مشتمل بر دو طبقه بود، وجود داشته است. این خانه در 2 الی 3 سال گذشته تخریب شده و به جای آن یک ساختمان جدید در سه طبقه ساخته شده است. این بنای جدید منظر جنوبی را دچار خدشه کرده است و جرایم مربوط به بناهای تاریخی ثبت شده را رعایت نکرده است.
بناهایی که در اطراف مجموعه آقاجان نسب قرار دارند چه از لحاظ ساختار، نوع پوشش، جنس پوشش و نماسازی ها و... هماهنگ با مجموعه تاریخی آقاجان نسب نیستند. این امر منجر شده است تا مجموعه تاریخی آقاجان نسب جدا از بافت پیرامون بصورت تک بنا عمل کند.