一、功能描述
实现微信、QQ等聊天软件的自动回复功能，让你关注的人不用再等候你的回复。通过机器人或者预设消息来自动回答对方的问题。
二、实现方案
0. 方案说明
首先感谢热心网友指出了 itchat 和 wxpy 等插件方案已无法使用的问题，并且看到了基于 hook 的一种方案，不过基于 hook 方案的作者也说明可能有封号风险。
本方案主要构思则是结合各种python库分别实现：界面截图、文字识别、机器人api调用、模拟window键鼠复制文字并发送消息等功能。
从而实现对于打开的指定聊天界面定时识别聊天信息并调用api回复消息的效果。
此外，本方案的图片文字识别功能并没有使用百度AI平台提供的OCR服务，而是使用了免费的本地服务 tesserocr，不需要额外注册，tesserocr 的识别准确率和速度也足够用了，最重要的是免费~
1. 开发环境&工具
conda + python 3.9 + pycharm
2. 必要依赖库安装
2.1 图片操作和文字识别相关库
参考文章：python3.9 安装 tesserocr 过程
- tesserocr 文字识别应用安装，下载地址
本文选用的时目前最新版本的 tesseract-ocr-w64-setup-v5.0.1.20220118，经测试是适配python3.9的。
安装过程注意：勾选 Additional language data (download) 中的 Chinese-Simplied 中文简体，用于识别中文，其他默认就行 conda install -c simonflueckiger tesserocr pillow- 找到第一步 tesserocr 安装目录下的tessdata 文件夹，全量复制到本地的conda目录下的 /envs/你的python环境对应文件夹 下，如果不知道conda目录在哪里，完成第二步后，运行下面的demo，查看报错中给出的文件路径。
from PIL import Image
import tesserocr
if __name__ == "__main__":
pic_files = glob.glob('D:\\test.jpg')
img = Image.open(pic_files[0])
res = tesserocr.image_to_text(img, lang='chi_sim+eng', psm=6)
print('识别结果', res)
2.2 剪贴框、键鼠操作库
pip install pyperclip PyUserInput pywin32==225
这里有个坑就是安装了 PyUserInput 后
虽然
from pymouse import PyMouse
from pykeyboard import PyKeyboard
这两个依赖引入不会报红了，但是编译时会报错“缺失win32api，win32con依赖”，所以需要安装 225 版本的pywin32，这里用最新版本也会报其他错。
三、demo 代码
import glob
import re
import os
from os import path
from PIL import ImageGrab, Image
import tesserocr
import time
import json
import requests
import pyperclip
from pymouse import PyMouse
from pykeyboard import PyKeyboard
his_cache = {}
file_path = 'D:\\tmp'
listen_rate = 5
send_flag = False
app = 'QQ'
m = PyMouse()
k = PyKeyboard()
x_dim, y_dim = m.screen_size()
offset = 630 if app == 'WX' else 0
def snapshot():
x1, y1 = int(x_dim * 2 * 3 / 64) + offset, int(y_dim * 2 * 2 / 32)
x2, y2 = int(x_dim * 2 * 9 / 32) + offset, int(y_dim * 2 * 24 / 32)
box = (x1, y1, x2, y2)
pic = ImageGrab.grab(box)
name = time.strftime("%Y_%m_%d_%H_%M_%S", time.localtime())
full_path = path.join(file_path, '%s.jpg' % name)
pic.save(full_path)
return full_path
def read_img(full_path: str):
global his_cache
message = ''
robot_key = 'robot_his'
pic_files = glob.glob(full_path)
if len(list(pic_files)) > 0:
file_name = path.basename(pic_files[0])
img = Image.open(pic_files[0])
print('\n识别图片:', file_name)
message = tesserocr.image_to_text(img, lang='chi_sim+eng', psm=6)
message = str(message)
message = re.sub(r'[^\u4E00-\u9FFF]', ' ', message)
message = re.sub(r'[ ]+', ' ', message)
message = message.strip()
print('识别文本:', message)
arr = message.split(' ')
if len(arr) > 0:
message = arr[-1]
print('最新消息:', message)
if os.path.exists(full_path):
os.remove(full_path)
if len(message) > 0:
if message.startswith('清空'):
his_cache = {}
print('已清空历史消息')
return ''
msg_his = his_cache.get(robot_key)
print('历史消息:', msg_his)
if msg_his:
if msg_his == message:
print('未收到新消息')
return ''
i = 0
while i < len(msg_his):
msg_s = msg_his[i:]
if message.startswith(msg_s):
msg_arr = message.split(msg_s, 1)
if len(msg_arr) > 1:
message = msg_arr[1]
break
i += 1
his_cache[robot_key] = message
return message
def get_dialog(msg: str):
answer = 'hello world'
try:
url = ''
sess = requests.get(url)
answer = sess.text
except Exception as e:
print(e)
return answer
def mock_msg(msg: str):
answer = get_dialog(msg)
print('输入问题:', msg)
print('返回答案:', answer)
pyperclip.copy(answer)
pyperclip.paste()
x_pos = int(x_dim * 1/32) + offset
y_pos = int(y_dim * 28/32)
m.click(x_pos, y_pos, 1)
k.press_key(k.control_key)
k.tap_key('v')
k.release_key(k.control_key)
if app == 'QQ':
k.press_key(k.control_key)
k.tap_key(k.enter_key)
k.release_key(k.control_key)
elif app == 'WX':
k.tap_key(k.enter_key)
if __name__ == "__main__":
while True:
f_path = snapshot()
f_msg = read_img(f_path)
if send_flag:
if len(f_msg) > 0:
mock_msg(f_msg)
b_path = snapshot()
b_msg = read_img(b_path)
print(b_msg)
else:
send_flag = True
time.sleep(listen_rate)
四、操作注意
首先本文demo中设置的分辨率相关参数仅适配作者的电脑，其次如果直接使用demo中的参数，建议将聊天软件界面放到屏幕左半边，并将上下长度拉满！
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
