1922年3月10日、東京・浅草に生まれる。翌年9月に関東大震災で家を全焼、父親の故郷である新潟市白山浦に移る。1925年3歳のとき、高熱を伴う風邪により軽度の知的障害・言語障害を抱える。1928年、浅草・石浜小学校に入学するが虐めを受け、ひとりで虫取りや写生をする孤独な少年時代を送る。
　1932年、10歳のとき父親が死亡。悪化する虐めに対抗するため暴力沙汰を起こす。
　1934年、12歳のときに千葉県八幡町の養護施設、八幡学園（後に市川市に移転)に入園。そこで習った「ちぎり絵」をもとに独自の技法による貼り絵を発展させる。市川市国府台にある式場精神病院の創設者、式場隆三郎が八幡学園の顧問になり、山下を見出す。
　 1936年、文藝春秋に山下の作品が発表される。1939年には銀座の『青樹社』にて作品展が開かれ梅原龍三郎や安井曽太郎から称賛を浴びる。この頃、式場の勧めもあってゴッホの模写などおこなう。
　1940年11月より放浪を始める。動機としては外界への関心、徴兵への不安、学園への寄食に対する心苦しさなどが考えられる。最初は千葉県内の各地を放浪、43年に母親の家及び八幡学園にいったん戻るが再び放浪。その後も何度か母親に顔を見せることはあったが、基本的に放浪に明け暮れた。千葉県だけでなく関東各地や福島県にまで足を伸ばし、ときおり八幡学園に戻ってきては作品の制作を続けた。九州や中国・四国・近畿・北陸など遠方を旅することもあった。
　1954年、式場隆三郎に伴われ、ゴッホ生誕100年を記念する東京丸善の複製展に現れる。放浪する天才貼り絵画家、日本のゴッホと紹介され、放浪日記が新聞に掲載される。
　1956年、3月、栗原書房より『山下清作品集』が刊行。3月下旬から約１か月間にわたり東京の大丸百貨店で山下清展が開かれた。全国各地で開かれた巡回展を合わせると、観客数は500万人を超えたと言われている。現代社より『放浪日記』が出版される。翌年10月には東宝の記録映画『山下清』が封切られている。
　 その後、式場の指導により、陶磁器の絵付けや染織、油絵、ガラス絵、石版画なども手がける。
　1961年6月から7月にかけて式場らとともにヨーロッパを旅行する。1963年、スポーツニッポンの特集として「オリンピックを迎える日本の姿」を寄せる。1964年、「東海道五十三次」の制作を開始。
　1969年、画集「山下清・ひとりだけの旅」がノーベル書房より出版される。
　1971年7月10日夜、自宅にて脳出血で倒れ、12日に亡くなる。享年49歳。
　死後、ニトリア書房から『もうひとつの旅』、毎日新聞社から『山下清・東海道五十三次』、講談社から『放浪--牢やから逃げたい』が出版される。
　1980年から『放浪日記』を題材としたテレビドラマ『裸の大将放浪記』 が放映開始、芦屋雁之助が山下役を演じた。

　山下清に関する本はいくつか出ています。代表的なものとして以下の本があります。

　『裸の大将遺作 東海道五十三次』　山下清（著）　小学館文庫

　『山下清―山下清放浪日記 』　山下清（著）　日本図書センター

　『家族が語る山下清―夢みる清の独り言 』　山下浩（著）　並木書房

　『裸の放浪画家・山下清の世界―貼り絵と日記でたどった人生』　池田満寿夫・式場俊三(著）　講談社