1963年、アメリカ陸軍は西ドイツ陸軍と共同で1970年代に運用する新型MBT、「MBT-70」（Main Battle Tank 70：70年代型主力戦車）の開発に着手した。
このMBT-70戦車が実用化されるまでの間、当時のアメリカ陸軍の主力MBTであったM60A1戦車の後継車として開発されたのが、このM60A2戦車である。

M60A2戦車の最大の特徴は、コロラド州ウェストミンスターのフィルコ・フォード社が開発した、17.5口径152mmガン・ランチャーM162と、避弾経始に優れたコンパクトな鋳造式砲塔であった。
152mmガン・ランチャーM162は最大有効射程3,000m、最大飛翔速度320m/秒のMGM-51「シレイラ」（Shillelagh：棍棒）対戦車ミサイルに加え、M657 HE（榴弾）や、M409 HEAT（対戦車榴弾）などの通常弾の発射が可能で、携行弾数は通常弾33発と対戦車ミサイル13発、あるいは通常弾のみの場合46発であった。

また照準用に、M126光学式照準望遠鏡やAN/VVS-1レーザー測遠機など、当時の最先端の電子機器が搭載された。
車体や駆動装置関係は基本的にM60A1戦車と共通で、その高い機動力を受け継ぐものであった。
M60A2戦車の試作第1号車は1965年に完成したが、新しい機構を盛り込んだ主砲には技術的な問題も多く、その解決に数年間が費やされた。

特に通常弾は、燃焼式の薬莢によって発射されたが、不完全燃焼により主砲内部に残った高温の残留物が、次弾の暴発や誘爆を招く危険性があった。
このため、圧縮空気で主砲内部の残留物を取り除く換気装置、「CBSS」（Closed Breech Scavenger System）が装備され、1972年にはM60A2戦車の初期生産車の一部が訓練用として、ケンタッキー州フォート・ノックスの機甲訓練所に最初に配備された。

M60A2戦車の量産は、1973〜75年にかけてミシガン州ウォーレンのデトロイト工廠で行われ、1973年6月にテキサス州フォート・フードの第2機甲師団に59両が配備されたのを皮切りに、1975年2月にはヨーロッパ駐留第7軍所属の第1機甲師団、第3機甲師団などの6個戦車大隊に配備された。
革新的な火力システムを備えたMBTとして注目を集めたM60A2戦車であったが、複雑な構造のために整備が難しく、製造コストも高いことから総生産数は526両に留まった。