0
0

pyautogui实现UI自动化指南（附项目实战：基于图像识别实现崩坏星穹铁道自动化）

导言

自动化对于很多人来说是一个高深莫测，可望而不可即的概念，但是其实自动化的实现途径有很多，比如接下来笔者将要介绍的就是其中较为简单的实现途径----pyautogui，只要有一定的编程基础，相信你也可以写出自己的自动化脚本，而其它的自动化脚本也可以做到触类旁通。

pyautogui常用函数

1.定位函数locateCenterOnScreen()

定位函数locateCenterOnScreen()可以定位截图在屏幕上的坐标位置。如果你不知道按钮的位置，就不能用moveTo()移动和click()点击。而且按钮的位置可能会变化，这时即使有来坐标也不好用了。

但是如果你有按钮的截图，你就可以调用pyautogui.locateCenterOnScreen()函数来直接获得按钮所在中心坐标如果截图没找到，pyautogui.locateCenterOnScreen()函数返回None。

下面以我的编译器界面为例，在这个界面中，找到星穹铁道的图标：

截图效果是这样：

是不是挺糊的？2333，但是没关系，我们强大的locateCenterOnScreen()函数照样能返回坐标，让我们来试试：

# 导入库
import pyautogui

# 寻找截图所在位置
location = pyautogui.locateCenterOnScreen('../automation/template/xing_tie.png')
# 打印截图所在位置
print(location)

# 输出结果
# Point(x=1547, y=1563)

1.1 locateCenterOnScreen()可选关键字：匹配精度

虽然掌握了上述内容，你就可以进行基本的定位操作了，但是如果想要更加精确更加高效的完成定位，那么我想下面的可选参数你一定不能错过。

可选的confidence关键字参数指定函数在屏幕上定位图像的精度。该参数越大，图像匹配程度越高。

# 导入库
import pyautogui

# 寻找截图所在位置
location = pyautogui.locateCenterOnScreen('../automation/template/xing_tie.png',confidence=0.1)
location1 = pyautogui.locateCenterOnScreen('../automation/template/xing_tie.png',confidence=0.9)
# 打印截图所在位置
print('低精度匹配')
print(location)
print('高精度匹配')
print(location1)

# 输出结果
# 低精度匹配
# Point(x=26, y=25)
# 高精度匹配
# Point(x=1547, y=1563)

低精度匹配结果不说严丝合缝，至少也可以说是偏到姥姥家去了，但是很多时候适当调低精度还是有利于定位，因为很多时候截图的清晰度并不是那么高，这时候如果还要求超高精度完美匹配反而定位不到，属于是你这钱给活我也干不了

P.s.需要安装OpenCV库才能使confidence关键字起作用

1.2 locateCenterOnScreen()可选关键字：灰度匹配

在 1920 x 1080 屏幕上，定位函数调用大约需要 1 或 2 秒。这对于大部分项目和程序来说已经绰绰有余，但是对于游戏或者视频来说还是太慢了。可选的grayscale关键字可以给定位函数来稍微加速（大约30%左右）。这会降低图像和屏幕截图的颜色饱和度，从而加快定位速度，但可能会导致误报匹配（假阳性）。

# 导入库
import pyautogui

# 寻找截图所在位置
location = pyautogui.locateCenterOnScreen('../automation/template/xing_tie.png',grayscale=True)
# 打印截图所在位置
print(location)

# 输出结果
# Point(x=1547, y=1563)

2.鼠标控制函数

2.1鼠标控制函数moveTo( )

鼠标控制函数moveTo( )会将鼠标光标移动至指定坐标（X,Y）。None可以传递坐标值来表示“当前鼠标光标位置” 。

# 导入库
import time
import pyautogui

# 等待一会方便观察，随后鼠标移动到x:114,y:514的位置
time.sleep(2)
pyautogui.moveTo(114, 514)
# 等待一会方便观察，随后鼠标移动到x不变(114),y:191的位置
time.sleep(2)
pyautogui.moveTo(None,191 )
# 等待一会方便观察，随后鼠标移动到x:981,y不变(191)的位置
time.sleep(2)
pyautogui.moveTo(981, None)
2.1.1 moveTo( )可选关键字：移动所需时间

通常鼠标光标会立即移动到新坐标。如果您希望鼠标逐渐移动到新位置，请传递第三个参数来表示移动所需的持续时间（以秒为单位）。需要注意的是，如果持续时间小于0.1的话，移动将是即时的。

# 导入库
import pyautogui

# 鼠标移动到（114，514）坐标,过程持续3秒
pyautogui.moveTo(114, 514,3)

2.2鼠标控制函数dragTo( )

鼠标控制函数dragTo( )将鼠标在当前位置，按住指定鼠标按键并移动至指定坐标（X,Y），实现拖拽效果。button关键字可以设置为'left'、'middle'、 以及'right'拖动时按住哪个鼠标按钮。

# 导入库
import pyautogui

# 将鼠标在当前位置按住鼠标左键并移动至（300，400）坐标
pyautogui.dragTo(100, 200, button='left')
2.2.1 dragTo( )可选关键字：拖拽所需时间

通常鼠标光标会立即拖拽到新坐标。如果您希望鼠标逐渐拖拽到新位置，请传递第三个参数来表示移动所需的持续时间（以秒为单位）。

# 导入库
import pyautogui

# 将鼠标在当前位置按住鼠标右键并移动至（300，400）坐标,用时两秒
pyautogui.dragTo(300, 400, 2, button='right')

2.3鼠标控制函数click( )

该click( )函数模拟在鼠标在指定坐标单击指定鼠标按键。“点击”的定义是按下按钮然后松开。button关键字可以设置为'left'、'middle'、 以及'right'以指定点击哪个鼠标按钮。

# 导入库
import pyautogui

# 在（114，514）坐标单击鼠标左键
pyautogui.click(114,514,button='left')
2.3.1 click( )可选关键字：点击次数与停顿时间

若要进行多次单击，请将整数传递给clicks关键字参数。另外，您可以将浮点数或整数传递给interval关键字参数，以指定单击之间的暂停量（以秒为单位）。

# 导入库
import pyautogui

# 在（114，514）坐标单击两次鼠标左键
pyautogui.click(114,514,clicks=2,button='left')
# 在（114，514）坐标单击两次鼠标左键，每次间隔0.25秒
pyautogui.click(114,514,clicks=2, interval=0.25,button='left')

2.4鼠标控制函数scroll( )

鼠标控制函数scroll( )可以通过调用该函数并传递整数次数，在当前坐标模拟鼠标滚轮的滚动操作。每次的滚动量因平台而异。通过传入指定坐标以便在执行滚动之前移动鼠标光标。

# 导入库
import pyautogui

# 在当前位置向上滚动10单位量
pyautogui.scroll(10)
# 在(114,514)坐标向下滚动10单位量
pyautogui.scroll(114,514,-10)

3.键盘控制函数

3.1键盘控制函数write( )

键盘控制函数write( )可以模拟键盘输入指定的字符串

# 导入库
import pyautogui

# 模拟键盘输入Hello world
pyautogui.write('Hello world!')

3.1.1 write( )可选关键字：输入延迟间隔

若希望在按下每个字符键之间添加延迟间隔，可以为其传入关键字interval

# 导入库
import pyautogui

# 模拟键盘输入Hello world,输入两个字符之间的间隔为0.25秒
pyautogui.write('Hello world!', interval=0.25)

3.2键盘控制函数press( )

键盘控制函数press( )模拟按下一个键然后释放它。需要注意的是，esc，shift这些热键也是可以通过输入字符串进行触发的

# 导入库
import pyautogui

# 模拟键盘输入H
pyautogui.press('H')
# 模拟键盘输入热键Enter
pyautogui.press('Enter')

基于图像识别实现星穹铁道自动化项目

该项目基于图像识别技术，实现了刷取副本自动化，由于遗器与角色进阶材料更新较为频繁，且仅仅只是对项目内代码简单复用即可实现补全，因此目前项目只实现了拟造花萼（金），拟造花萼（赤），历战余响的自动刷取，如果该文章浏览量数据理想，评论区大量催更的话，我会尽快完成项目的补全哦~原创不易，还恳请各位多多支持！

# pyautogui库用于自动化鼠标键盘事件
import pyautogui
# 用于控制滚轮事件频率，使其更加自然
import time

# 该方法用于获取目标图像所在位置，只要没找到图像就一直找
def get_position(word):
    up_left = None
    while up_left == None:
        up_left = pyautogui.locateCenterOnScreen('../automation/template/{}.png'.format(word),confidence=0.95)
    return up_left

# 单击
def click(position):
    pyautogui.click(position[0],position[1],button='left')

# 输入刷副本相关参数
type = input('今天想刷啥类型副本')
material = input(f'今天想刷{type}中的哪个副本')
frequency = int(input(f'今天想刷{material}几次呢?'))

# 在开始菜单中选择星穹铁道
click(get_position('xing_tie'))
print('星铁已经就绪')

# 虽然UI已经出现，但是程序还未准备就绪，需要等待
time.sleep(1)
# 于启动器界面启动游戏
click(get_position('qi_dong'))
print('星穹铁道，启动！')

# 于游戏界面开始游戏
click(get_position('start'))
print('创死它！')

# 于游戏中点击esc键打开菜单
if get_position('main') != None:
    pyautogui.hotkey('esc')
print('打开菜单')

# 于菜单界面打开指南
click(get_position('guide'))
print('康康指南')

if pyautogui.locateCenterOnScreen('../automation/template/today_task.png', grayscale=True) != None:
    click(get_position('today_task'))

# 找到欲拖拽目标type
pyautogui.moveTo(get_position('gloden_flower'))
print('找到预定滚动目标')

# 没找到预定目标type就往下滚动列表
while pyautogui.locateCenterOnScreen('../automation/template/{}.png'.format(type),confidence=0.9) == None:
    pyautogui.scroll(-1)
    # 慢点滚，看得我眼睛疼
    time.sleep(0.5)
print('开始滚动')

# 金花
if type == 'gloden_flower':
    click(get_position('gloden_flower'))
    print('找到预定目标')
    # 金花_经验
    if material == 'exp':
        pyautogui.click(get_position('exp')[0] + 500, get_position('exp')[1] + 100)
    # 金花_光锥经验
    elif material == 'weapon_exp':
        pyautogui.click(get_position('weapon_exp')[0] + 500, get_position('exp')[1] + 100)
    # 金花_信用点
    elif material == 'credit_point':
        pyautogui.click(get_position('credit_point')[0] + 500, get_position('exp')[1] + 100)

# 红花
elif type == 'red_flower':
    click(get_position('red_flower'))
    print('找到预定目标')
    # 找到欲拖拽目标material
    pyautogui.moveTo(get_position('destory'))
    print('找到预定滚动目标')
    # 没找到预定目标material就往下滚动列表
    while pyautogui.locateCenterOnScreen('../automation/template/{}.png'.format(material), confidence=0.99) == None:
        pyautogui.scroll(-1)
        # 慢点滚，看得我眼睛疼
        time.sleep(0.5)
    print('开始滚动')
    # 红花_毁灭
    if material == 'destroy':
        pyautogui.click(get_position('destory')[0] + 500, get_position('destory')[1])
    # 红花_存护
    elif material == 'preserve':
        pyautogui.click(get_position('preserve')[0] + 500, get_position('preserve')[1])
    # 红花_巡猎
    elif material == 'hunting':
        pyautogui.click(get_position('hunting')[0] + 500, get_position('hunting')[1])
    # 红花_丰饶
    elif material == 'abundance':
        pyautogui.click(get_position('abundance')[0] + 500, get_position('abundance')[1])
    # 红花_智识
    elif material == 'knowledge':
        pyautogui.click(get_position('knowledge')[0] + 500, get_position('knowledge')[1])
    # 红花_同谐
    elif material == 'harmony':
        pyautogui.click(get_position('harmony')[0] + 500, get_position('harmony')[1])
    # 红花_虚无
    elif material == 'nothingness':
        pyautogui.click(get_position('nothingness')[0] + 500, get_position('nothingness')[1])

# 每周副本
elif type == 'weekly_copy':
    click(get_position('weekly_copy'))
    print('找到预定目标')
    # 找到欲拖拽目标material
    pyautogui.moveTo(get_position('doomsday_beast'))
    print('找到预定滚动目标')
    # 没找到预定目标material就往下滚动列表
    while pyautogui.locateCenterOnScreen('../automation/template/{}.png'.format(material), confidence=0.99) == None:
        pyautogui.scroll(-1)
        # 慢点滚，看得我眼睛疼
        time.sleep(0.5)
    print('开始滚动')
    # 末日兽
    if material == 'doomsday beast':
        pyautogui.click(get_position('nothingness')[0] + 500, get_position('nothingness')[1])
    # 可可利亚
    if material == 'cocolia':
        pyautogui.click(get_position('cocolia')[0] + 500, get_position('cocolia')[1])
    # 幻胧
    if material == 'hazy':
        pyautogui.click(get_position('hazy')[0] + 500, get_position('hazy')[1])

# 进入战斗
click(get_position('enter_fighting'))

# 开始战斗（编队页面）
click(get_position('start_fighting'))

# 根据战斗次数决定循环次数
for i in range(frequency-1):
    # 再打一次
    click(get_position('fight_again'))

全项目文件

链接：https://pan.baidu.com/s/13tkt10-rVJRzchdnLQZPyw?pwd=1234
提取码：1234

标签： 游戏 自动化 python
本文转载自: https://blog.csdn.net/m0_53043024/article/details/133667872
版权归原作者 Qin.Lu 所有， 如有侵权，请联系我们删除。
登录后发布评论

“pyautogui实现UI自动化指南（附项目实战：基于图像识别实现崩坏星穹铁道自动化）”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

机器人技术在安全领域的重要作用

安全学习记录——网络篇（一）

图腾柱PFC：HP1010为您的电动两轮车之旅提供绿色，高效，安全的动力

单元测试数据库回滚问题

这才是单元测试，之前我们都错了

【C语言基础】：字符函数和字符串函数

ChatGPT-Next-Web SSRF漏洞+XSS漏洞复现(CVE-2023-49785)

文章导航