本发明公开了一种基于用户点击行为的音、视频互相检索方法，包括步骤：对输入的音频、视频数据进行预处理；将预处理的音频数据送入深度卷积神经网络中得到音频的表示向量及注意力权重分布；将预处理所得视频关键帧送入深度卷积神经网络中得到关键帧表示向量并依次送入基于注意力机制的时间序列处理网络中，得到视频的表示向量及注意力权重分布；计算音、视频表示向量的相似度并将音、视频按相似度进行排序；根据注意力权重分布进行标注为排序提供可解释的依据；损失函数通过用户点击行为进行计算并采用后向传播法进行模型训练；基于训练的模型对媒体库中的音、视频进行检索匹配。本发明可在给定视频、音频的情况下检索媒体库中匹配的音频、视频。