Giữa lòng thành phố có ngọn đồi mang tên Khau Cả nằm soi mình bên dòng suối Nậm La, nơi đây còn lưu giữ chứng tích lịch sử Nhà Tù Sơn La - minh chứng của một thời kỳ lịch sử đấu tranh cách mạng, tinh thần bất khuất của những người cộng sản kiên cường đã bị đầy ải bởi thực dân Pháp giam cầm.

Nhà tù Sơn La do thực dân Pháp xây dựng năm 1908 với diện tích ban đầu là 500 m2. Nhà tù  xây dựng khá kiên cố: tường được xây dựng bằng đá lẫn gạch, mái lợp tôn, không có trần, giường nằm cho tù nhân cũng được xây bằng đá, mặt láng xi măng, mép ngoài được gắn hệ thống cùm chân dọc theo chiều dài của sàn. Trong mỗi phòng giam đều có  hố xí nổi được xây cao hơn sàn nằm, không có nắp đậy, không có nước dội, không được vệ sinh thường xuyên. Với lối thiết kế như vậy, mùa hè những đợt gió Lào của vùng Tây Bắc gây nên cái nóng như thiêu như đốt, những đợt sương muối tạo ra cái lạnh giá, rét thấu xương thịt vào mùa đông cộng với môi trường ô nhiễm ở mỗi phòng giam đã làm bệnh tật phát sinh và lây lan rất nhanh chóng trong tù nhân. Năm 1930, Đảng cộng sản Việt Nam ra đời và lãnh đạo nhân dân vùng lên đấu tranh chống lại chế độ tàn bạo của thực dân phong kiến. Phong trào đấu tranh đã làm kẻ địch bất ngờ, chúng lồng lộn tìm đủ mọi cách đàn áp, bắt bớ những người Việt Nam yêu nước hòng dập tắt phong trào cách mạng. Mặt khác tăng cường xây dựng và mở rộng thêm hệ thống nhà tù trong cả nước trong đó  chúng đặc biệt chú ý đến nhà tù Sơn La. Năm 1940, Nhà tù Sơn La được mở rộng thêm một trại giam lớn để giam thêm tù nhân và đưa một số tù nhân nữ lên Sơn La nhưng âm mưu đó đã không thực hiện được.
Như vậy, qua 3 lần xây dựng và mở rộng, nhà tù Sơn La có tổng diện tích là: 2.170m2. Thực dân Pháp đã biến nơi đây thành một địa ngục trần gian để giam cầm, đầy ải và thủ tiêu ý chí đấu tranh của những người Cộng sản. Bằng chế độ nhà tù cực kỳ hà khắc và những thủ đoạn tra tấn vô cùng hiểm ác, kẻ thù tưởng sẽ tiêu diệt được tinh thần và thể xác của những chiến sĩ cách mạng nhưng chính tại nơi đây đã trở thành một trường học cách mạng, rèn luyện ý chí và bổ sung cho Đảng, cho cách mạng những chiến sỹ, đảng viên cộng sản trung kiên, nổi bật nhất là vai trò của đồng chí Tô Hiệu và bao đồng chí trung kiên khác.
Trải qua 2 lần tàn phá bằng bom của giặc, di tích xưa giờ đã xiêu vẹo, hầu như chỉ còn là một bãi gạch tan hoang, những bức tường nhà ngục đổ nát là minh chứng cho tội ác dã man của kẻ thù. Còn lại nguyên vẹn là cây đào Tô Hiệu, biểu tượng gắn với tên tuổi người Bí thư Chi bộ kiên trung của nhà tù vẫn trổ hoa rực rỡ khi mùa xuân về...

Sau ngày hòa bình thống nhất cho đến năm 1980, Bảo tàng tỉnh Sơn La bắt đầu tiến hành phục chế lại nhà tù; xây dựng lại một số đoạn tường rào bao quanh, phục chế lại 2 tháp canh, nhà bếp, trại giam lớn, gia cố lại hầm ngầm, xà lim ngầm, xây dựng các bức tường của các phòng giam theo dấu vết của các nền móng cũ ….
Mỗi năm, tại di tích lịch sử nhà tù Sơn La đã đón tiếp hàng trăm ngàn lượt du khách đến tham quan, nghiên cứu, học tập….Chắc hẳn, một lần nào đó du khách đến với Sơn La, về với núi rừng Tây Bắc để được trải nhiệm, hồi tưởng lại cuộc chiến tranh diễn ra hơn một thế kỷ đã qua; Với sự lãnh đạo tài tình của đảng, tinh thần yêu nước nồng nàn sẵn sàng hy sinh vì độc lập dân tộc, tình đoàn kết keo sơn giữa các dân tộc…Đã để lại cho hậu thế hôm nay một đất nước thanh bình; Tất cả như nhắc nhở các thế hệ tiếp nối hãy sống, làm việc và học tập sao cho xứng đáng với những gì mà các bậc tiền bối đã dày công gây dựng.