南仏のアルビで生まれる。トゥールーズ＝ロートレックの生家は、フランスの名家であり、伯爵家である。祖先は9世紀のシャルルマーニュ時代までさかのぼることができる。両親はいとこ同士で、父のアルフォンス伯は、奇妙な服装をするなど、変わり者で有名であった。トゥールーズ＝ロートレックは、幼少期には「小さな宝石」と呼ばれて家中から可愛がられて育った。しかし弟が夭折すると両親が不仲となり、8歳のときには母親と共にパリに住まうようになった。そこで絵を描き始めた。すぐに母親は彼の才能を見出し、父親の友人の画家からレッスンを受けるようになった。しかし13歳の時に左の大腿骨を、14歳の時に右の大腿骨をそれぞれ骨折したために脚の発育が停止し、成人した時の身長は152cmに過ぎなかった。