1932年3月に試製九一式重戦車が完成し、各種試験が行われた。
九五式重戦車はこの試製九一式重戦車を基礎として、その設計資料に検討を加えさらに設計を変えて新たに製作された重戦車である。
本車は「ロ号車」の秘匿呼称で、1932年12月に開発が開始された。
当初の計画では戦闘重量25tで、路上最大速度22km/hとされていた。

ロ号車の試作車は、1934年9月に完成した。
基本的な外形は試製九一式重戦車に良く似ていたが、武装と装甲をより強化し内部配置を改良するなどしており、さらに足周りなどは新たに工夫が凝らされた。
本車は翌35年に「九五式重戦車」として制式化され、試験に供された。

九五式重戦車の試験の結果は不明だが、陸軍は4両だけを製造したまま打ち切りにしてしまった。
その理由は明らかにされていないがおそらく当時の状況から、1933年の熱河討伐作戦に参加した川原挺進隊の機械化部隊の活躍や、それに同行した八九式中戦車、九二式重装甲車などの外地での有用性を見るに付け、将来の戦場ではこれら機動力に優れた中戦車や軽戦車が主力装備になると推測されたものと思われる。

その後、九五式重戦車は4両の内1両が三菱重工業で10cm加農砲を搭載する自走砲に改造され、これを「ジロ車」と呼んだ。
またこれとは別に九五式重戦車の第4号車を使い、前面部分に防盾を設置し斯加式十二糎速射加農砲を搭載した車両も試作されている。

九五式重戦車の武装は試製九一式重戦車よりも強化されており、車体上面中央部に搭載された主砲塔に九四式七糎戦車砲1門および九七式車載重機関銃（口径7.7mm）1挺を装備した他、前部副砲塔に九四式三十七粍戦車砲1門、後部副砲塔に九七式車載重機関銃1挺が装備された。
当時はイギリス陸軍のA1E1インディペンデント重戦車の影響を受けて、各国がこのような多砲塔戦車を開発していた。

主砲の九四式七糎戦車砲は本車のために特に開発されたもので、試製九一式重戦車に搭載された九〇式五糎七戦車砲の拡大改造型であった。
本砲の砲身は単肉自緊砲身であり、砲腔内に傾斜角6度右回りのライフリングが24条施されていた。
なお弾薬は7cm砲弾100発、37mm砲弾250発、7.7mm機関銃弾2,940発を搭載していたが、車内はまさに搭載弾薬で一杯だったと思われる。

九五式重戦車は、武装の強化に伴って装甲防御力も試製九一式重戦車より強化されており、砲塔の装甲厚は前面30mm、側／後面25mm、上面12mmとなり、車体の装甲厚も前面35mm、側面30mm、後面25mm、上面12mmと各国の重戦車と比較するとやや小型なものの、決して侮れない火力と防御力を備えていた。
ただし、装甲の強化に伴って九五式重戦車は試製九一式重戦車より重量が8tも増加しており、これが機動性能の低下や運用のし難さ等の問題を引き起こし、本車の量産化の妨げになった可能性は否定できない。

九五式重戦車は試製一号、二号戦車、試製九一式重戦車などの従来の重戦車に比べて足周りが大幅に設計変更されている。
転輪は従来は多数の小転輪であったものが、八九式中戦車と同じ片側9個のやや大型の転輪となった。
サスペンション方式も、八九式中戦車とほぼ同じものである。

エンジンは試製九一式重戦車と同じく、ドイツのBMW社（Bayerische Motoren Werke：バイエルン発動機製作所）製のIV型 航空機用直列6気筒液冷ガソリン・エンジンを改造したものを搭載していたが、試製九一式重戦車のエンジンより出力が大幅に向上していた。
このエンジンの強化と足周りの改良のおかげで、九五式重戦車は試製九一式重戦車に比べて重量が8tも増加したにも関わらず、機動性能はそれほど低下していない。