本文描述了接收在用户使用输入捕捉设备输入手写笔记时捕捉到的笔画信息的计算机实现的技术。该技术然后自动地对捕捉到的笔画信息执行分析以产生输出分析信息。基于该输出分析信息，该技术使用助理组件来标识对捕捉到的笔画信息的响应和/或标识要执行的动作。该技术然后与捕捉到的原始笔画信息一起呈现该响应。附加地或替换地，该技术执行该动作。在一种情形中，该响应是基于文本的响应；该基于文本的响应可以按自由形式的手写样式呈现以给予用户虚拟助理正在响应该用户自己的笔记的印象。在另一情形中，该响应使用户参与任何类型的交互式活动。