本发明公开了一种自动化测试方法、测试盒子和测试系统，测试平台发送测试命令至在运输途中的测试盒子；测试盒子包括待测板和控制板，控制板通过蜂窝网络与测试平台建立通信连接；测试命令包括至少一个测试用例；控制板接收到测试命令后，启动若干个进程调用对应的硬件接口与待测板连通以执行测试用例；待测板执行测试用例以进行相应的功能测试；控制板通过进程保存对应的测试日志，并将测试日志上传至测试平台。本发明可以实现低成本自动化测试，且能提高实网测试的简便性。