清光绪四年即公元1878年出生于台湾省台南的一个富商之家。清初其先祖从故乡福建龙溪移居台湾省，到连横时，已历七代200多年。连横自幼受到传统的祖国文化教育，受父亲连永昌的影响尤其喜爱历史。幼时在家塾发蒙。连氏祖宅地广十亩，庭园之间满植果木花卉。连横12岁那年，其父因家中人众扩造了祖居，又买下左邻一位官宦别业———宜秋山馆，作为他们兄弟的读书之地。连横曾这样回忆他幼时的读书环境：(宜秋山馆)地大可五亩，花木幽邃，饶有泉石之胜。余少时读书其中，四时咸宜，于秋为最。宜赏月；宜听雨；宜掬泉；宜伴竹；宜弹琴；宜读书；宜咏诗；无往而不宜也……余时虽稚少，除读书养花之外，不知有所谓忧患者，熙熙嗥嗥凡五六年。