“琵琶”是以演奏手法命名的乐器，琵琶二字最早见于历史记载的是东汉时期刘熙的《释名》：“批把，马上所鼓也。推手前曰批，引手却曰把，象其鼓时，因以为名也。”历史上也有作“枇杷”的，以示为木质乐器。
约在古代秦、汉至隋、唐的一段时期内，“批把”是各种弹拨乐器的总称：不同形制的、不同弦数的木制弹拨乐器，凡用“批”和“把”手法演奏的，均被称为“批把”。约至魏晋时期，根据其它中国弹拨乐器如琴、瑟的用字习惯，变化为“琵琶”二字並沿用下来。
秦、汉时期，根据史料记载主要有两种类型的琵琶，一种是直柄木制、两面蒙皮圆形共鸣箱的“直项琵琶”，相传由秦末时出现的“弦鼗”发展而成，又叫“秦汉子”。
另一种是约在汉代出现的琵琶，木制直柄、圆形音箱、四条弦、十二柱、竖抱、用手指鼓弦。到了晋代，又因阮咸善弹此乐器，被称为“阮”。
约在南北朝时，“曲项琵琶”通过波斯传入中原地区。此乐器，四弦四柱、横抱、用拨子弹奏。
琵琶在历史上的唐朝就已成为上至宫廷、下至民间的一种雅俗共赏的重要乐器。描写琵琶及其演奏的诗篇数不胜数，其中不乏描绘琵琶演奏的种种形态、表情及演奏技法的绝妙诗句。
如白居易的千古名篇《琵琶行》中的“千呼万唤始出来，犹抱琵琶半遮面。”“转轴拨弦三两声，未成曲调先有情。”“轻拢慢捻抹复挑，初为《霓裳》后《六么》。”“嘈嘈切切错杂弹，大珠小珠落玉盘。”“别有幽愁暗恨生，此时无声胜有声。”同时也出现了大量的琵琶曲及演奏家。
自唐朝始，“直项琵琶”与“曲项琵琶”的形制和弹法逐渐开始融合，如保留“曲项琵琶”半梨形琴身结构，舍弃“曲项琵琶”用拨子弹奏的演奏形式，沿用“直项琵琶”用手弹奏；将“曲项琵琶”原四相改用“直项琵琶”的多柱，並不断增加音柱，扩大音域；在演奏上从“曲项琵琶”的横抱逐渐变化为斜抱、竖抱。乐器的逐步改革，使演奏获得极大发展，出现了一批琵琶演奏家，同时也出现了大量的琵琶曲目。
明、清时期，琵琶的形制基本定型，在琵琶大型套曲的创作、演奏上，获得了新的发展，如汤应曾演奏的《楚汉》、张雄演奏的《拿鹅》等。
明末清初，琵琶界逐渐分为南、北两派。南派被称为浙派，以陈牧夫为代表。擅长的曲目有《海青拿鹤》、《将军令》、《霸王卸甲》等。北派被称为直隶派，以王君锡为代表，擅长的曲目有《十面》、《普庵咒》等。
十九世纪中叶前后，上海的经济、文化迅猛发展，逐渐成为了全国琵琶音乐的中心，并发展分流出无锡派、平湖派、浦东派、崇明派、上海派等琵琶流派。