III号戦車J型は、暫定的な改良型であったIII号戦車H型に続いて生産された型式で、車体が完全に新設計となっている。
J型は本来、車体を新設計にする以外の改良は予定されていなかったが、生産途中から主砲を60口径の長砲身5cm砲に変更したタイプが生産されるようになった。

これは元々1940年8月にアドルフ・ヒトラー総統が、当時III号戦車への装備化が進められていたデュッセルドルフのラインメタル社製の42口径5cm戦車砲KwKに代えて、より威力の高い同社製の60口径5cm対戦車砲PaK38を搭載することを要求したことに端を発する。
しかしそもそも5cm戦車砲KwKは、III号戦車の狭い砲塔内でも扱い易いように威力が低下することを承知で、PaK38をベースに薬莢のコンパクト化と短砲身化を図ったものであった。

PaK38をそのままIII号戦車に搭載するのであれば、せっかく戦車砲として改設計した労力が無駄になってしまい、また5cm戦車砲KwKは1940年初春にようやく生産準備が完了したばかりだったため、今から新型戦車砲への生産変更を行って、III号戦車の生産を滞らせることを避けたかったドイツ陸軍兵器局は当初ヒトラーの命令を無視し、ラインメタル社に5cm戦車砲KwKの生産を続行させた。

しかし1941年4月になって、まだIII号戦車が42口径5cm砲を搭載していることを知ったヒトラーが激怒し、早急に60口径砲への換装を命じたため、兵器局はラインメタル社にPaK38ベースの60口径5cm戦車砲を早急に開発し生産を開始するよう求めた。
この新型60口径5cm戦車砲は「KwK39」として制式化され、1941年12月からIII号戦車J型への搭載が開始された。

このような関係でJ型は前期型と後期型に分けられ、特殊車両番号は42口径砲搭載型がこれまで通りの「Sd.Kfz.141」なのに対して、60口径砲搭載型は「Sd.Kfz.141/1」に変更されている。
生産数は42口径砲搭載型が1941年3月〜1942年7月にかけて1,549両、60口径砲搭載型が1941年12月〜1942年7月にかけて1,067両となっている。

42口径5cm戦車砲KwKは被帽徹甲弾を使用した場合砲口初速685m/秒、射距離100mで55mm厚のRHA（均質圧延装甲板）を貫徹することができたが、60口径5cm戦車砲KwK39は同じ条件で砲口初速835m/秒、射距離100mで69mm厚のRHAを貫徹することが可能で、威力が大きく向上していた。
ただし、薬莢の長さは42口径砲が289mmだったのに対し60口径砲は420mmに大きく増加したため、主砲弾薬の搭載数はIII号戦車J前期型が99発なのに対してJ後期型は84発に減少している。

なおKwK39はベースとなったPaK38と砲身長や薬室形状は同一であったが、PaK38が水平鎖栓だったのに対しKwK39は垂直鎖栓に改められており、発火方式もPaK38の撃発式から電気式に変更されている。
このため両者の弾薬には互換性が無いが、後に両方の弾薬を使用できる改良型戦車砲も開発されている。
III号戦車J型の特徴であるが、まず車体前面と後面の装甲板は初めから1枚板の50mm厚装甲板が使用されるようになり、見苦しい増加装甲板は取り止められた。

基本装甲厚30mm＋増加装甲厚30mmの60mm厚から、50mm厚の1枚板になったことで装甲厚が薄くなったように思われるが、ボルト止めの2枚重ねより1枚板の方が耐弾性では有利なため防御力はむしろ向上している。
なお基本装甲厚が増加したことに伴い、戦闘室前面のボールマウント式機関銃架と操縦手用装甲ヴァイザーは新型のものに変更されている。

そして、操縦手用ヴァイザーの前には三角断面の跳弾板が取り付けられるようになった。
また車体の左右側面装甲板の前端が延長されてシャックル掛けを兼ねるようになり、専用の牽引具は廃止された。
車体後部のオーバーハング部も形状が変化し、後面が前後2枚の板の組み合わせになり角度が変更されている。

そして、そこに設けられていたエンジン始動用のクランク軸取り付け部カバーの形状も変わっている。
従来ここに取り付けられていた発煙弾発射機は、オーバーハング部の内側に収納されるようになった。
その他にも多くの変更点があり、車体前部のブレーキ冷却空気取り入れ口カバーの形が変わり、車体前部ハッチが前向きの1枚開きになった。

機関室上面のハッチも前方のものが前向きの1枚開きのものになり、これまでアフリカ向けの「Tp」（Tropisch：熱帯）仕様車のみに設けられていた換気口と装甲カバーが全ての車両に取り付けられるようになった。
ただしハッチの変更に伴い換気口と装甲カバーの向きは前後方向になり、左側のものに2つ、右側のものの左寄りに1つとなった。
また、その後方のハッチにも換気口と装甲カバーが装備された。

砲塔関係では主砲防盾の厚さが50mmに増厚されており、それに伴い防盾左右の視察クラッペの形状も変更されている。
さらに、右側の視察クラッペは一部省略された車両もある。
また砲塔の左右側面前部の視察クラッペの前方にあった跳弾板が省略されるようになり、さらにクラッペそのものも廃止されるようになった。

1941年6月の独ソ開戦時のIII号戦車の全登録数は、3.7cm砲搭載型が350両に対して5cm砲搭載型が1,174両となっていた。
6月22日の「ソ連侵攻作戦」（Unternehmen Barbarossa：バルバロッサ作戦）開始時には17個機甲師団がソ連国境に集結していたが、この内の11個師団にIII号戦車が配備されていた。

これらの師団へのIII号戦車の配備数は3.7cm砲搭載型が259両に対して、5cm砲搭載型が707両の合計966両であった。
この内3.7cm砲搭載型はバルバロッサ作戦初期には前線で使用されたが、5cm戦車砲ですら相手しづらいソ連軍のT-34中戦車には全く歯が立たず次第に装備から外されていく。

しかし5cm戦車砲でも42口径の短砲身砲では威力不足で、1942年の初めから長砲身の60口径5cm戦車砲を装備したIII号戦車J型が前線に投入されるようになる。
長砲身J型は特に第3、第16、第29、第60、第5SS機械化歩兵師団ヴィーキングの戦車大隊に配備された他、第3、第9、第11、第13、第14、第16、第22、第23機甲師団などに配備された。

ソ連南部の資源地帯奪取を目指した1942年6月28日の「青作戦」（Unternehmen Blau）開始時に、ドイツ軍が前線に展開させたIII号戦車は600両余りであった。
また北アフリカにもIII号戦車長砲身型が送られたが、東部戦線では不充分なその性能もイギリス軍のグラント中戦車やヴァレンタイン歩兵戦車相手には充分な威力を発揮した。