本发明公开了一种基于图像目标检测的代码自动生成装置及方法，所述装置包括：控件元素目标检测模块，用于对输入的前端图像进行特征提取，生成候选区域，并进行目标分类，对位置进行边框回归精修获得最终的精确位置；基于规则的DSL代码生成模块，用于根据所述控件元素目标检测模块输出的控件元素的位置信息，对控件元素进行水平方向和垂直方向上的排序，并通过制定规则来生成DSL代码；编译器模块，用于将所述基于规则的DSL代码生成模块生成的DSL代码编译成真正的前端代码，通过本发明，不仅能够有更加准确的生成效果，而且也为描述性编程自动化领域提供了新的研究思路。