在中文windows下使用pywinauto进行窗口操作

女爷i 2023-06-14 04:16 24阅读 0赞

这两天开始接触pywinauto，听说百度的自动化QA也用这个模块，于是来了兴趣，但网上的教程很少，而且基本上都是拿官方的notepad来说，首先中文菜单的支持是问题，其次各种操作也没有写清楚，阅读官方的文档，发现这个东西使用起来还真是非常方便，下面我也以notepad为例来说明一下它的简单操作。

安装

1. pywinauto [https://sourceforge.net/project/showfiles.php?group\_id=157379][https_sourceforge.net_project_showfiles.php_group_id_157379]

2. Sendkeys [http://www.rutherfurd.net/python/sendkeys/index.html][http_www.rutherfurd.net_python_sendkeys_index.html]

3.ctypes (如果你是python2.3或者2.4)

检测你是否安装正确

>>> from pywinauto import application
    >>> app = application.Application.start("notepad.exe")
    >>> app.notepad.TypeKeys("%FX")

都安装好了以后，我们来正式进入pywinauto的世界

一、启动程序

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>from</code>&nbsp;<code>pywinauto </code><code>import</code>&nbsp;<code>application</code></p> <p><code>app </code><code>=</code>&nbsp;<code>application.Application.start(</code><code>'notepad.exe'</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

start() 函数里也可以接路径+程序名

使用spy++lite查看notepad的信息

[![1][]][1 1]

里面的窗口类名与标题文本相关重要，以后的查找窗口基本上都要用的到

现在我们来点击“帮助->关于记事本”操作

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>app.Notepad.MenuSelect(</code><code>'帮助-&gt;关于记事本'</code><code>.decode(</code><code>'gb2312'</code><code>))</code></p> </td> 
  </tr> 
 </tbody> 
</table>

这里的app是你刚才实例的对象，Notepad是类名，可以从spy++lite中看到,MenuSelect方法可以自动检索Notepad上的菜单选项，

decode(‘gb2312’)方法是把中文强制转换为unicode编码，对于非英文的操作系统都是要转换的，后面还有更简单的方法

二、查找“关于记事本”的窗口

还是使用spy++lite来查看“关于记事本”的信息

[![2][]][2 1]

窗口类名：\#32770

标题文字：关于“记事本”

官方法文档中有以下两个方法

1. 通过top\_dlg = app.top\_window\_() 来获得最上面的window，但是官方并不推荐这种方式，目前来说这个“关于记事本”是最上面，但是也不能保证在测试的进程当中有什么意外的进程跑到了上面，一旦有新的进程，那么得到的就是一个错误的对象

2.通过find\_dlg = app.window\_(title\_re = ‘’, class\_name = ‘’) 方法获得，这也是为什么我上面说标题文本与窗口类名非常重要的原因，title\_re和 class\_name这两个可以单独使用也可以一块使用，因为有时没有标题文本，也有时一个窗口类名有多个对象，比如“Edit”有时当一个对话框中有多个输入框时会有多个Edit类名，对于“关于记事本”我们可以通过以下代码获得

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>about_dlg </code><code>=</code>&nbsp;<code>app.window_(title_re </code><code>=</code>&nbsp;<code>u</code><code>"关于"</code><code>, class_name </code><code>=</code>&nbsp;<code>"#32770"</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

中文要进行unicode编码，这里也可以通过decode(‘gb2312’)方法实现，但是不如输入一个U省事~ 呵呵

我们print一下得到的about\_dlg

<pywinauto.application.WindowSpecification object at 0x01F0A530>

说明我们得到的是一个application.WindowSpecification对象

三、在”关于记事本”窗口上找到“确定”按钮(button)

在pywinauto中，对话框下面的是controller，button,checkbox,textbox等都是controller

我们可以使用print\_control\_identifiers() 方法来打印出该窗口中所有的controller

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>about_dlg.print_control_identifiers()</code></p> </td> 
  </tr> 
 </tbody> 
</table>

会得到以下的输出

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> <p>6</p> <p>7</p> <p>8</p> <p>9</p> <p>10</p> <p>11</p> <p>12</p> <p>13</p> <p>14</p> <p>15</p> <p>16</p> <p>17</p> <p>18</p> <p>19</p> <p>20</p> <p>21</p> <p>22</p> <p>23</p> </td> 
   <td> <p><code>Control Identifiers:</code></p> <p><code>Static </code><code>-</code>&nbsp;<code>''&nbsp;&nbsp; (L312, T265, R738, B267)</code></p> <p><code>&nbsp;</code><code>'</code><code>' '</code><code>0</code><code>' '</code><code>1</code><code>' '</code><code>Static</code><code>' '</code><code>Static0</code><code>' '</code><code>Static1'</code></p> <p><code>Static </code><code>-</code>&nbsp;<code>''&nbsp;&nbsp; (L308, T280, R340, B313)</code></p> <p><code>&nbsp;</code><code>'2'</code>&nbsp;<code>'Static2'</code></p> <p><code>Static </code><code>-</code>&nbsp;<code>'Microsoft Windows'</code>&nbsp;&nbsp;&nbsp;<code>(L350, T280, R695, B295)</code></p> <p><code>&nbsp;</code><code>'Microsoft Windows'</code>&nbsp;<code>'Microsoft WindowsStatic'</code>&nbsp;<code>'Static3'</code></p> <p><code>Static </code><code>-</code>&nbsp;<code>'\u7248\u672c 6.1 (\u5185\u90e8\u7248\u672c 7601: Service Pack 1)'</code>&nbsp;&nbsp;&nbsp;<code>(L350, T295, R748, B310)</code></p> <p><code>&nbsp;</code><code>'Static4'</code>&nbsp;<code>'\u7248\u672c 6.1 (\u5185\u90e8\u7248\u672c 7601: Service Pack 1)'</code>&nbsp;<code>'\u7248\u672c 6.1 (\u5185\u90e8\u7248\u672c 7601: Service Pack 1)Static'</code></p> <p><code>Static </code><code>-</code>&nbsp;<code>'\u7248\u6743\u6240\u6709 \xa9 2009 Microsoft Corporation\u3002\u4fdd\u7559\u6240\u6709\u6743\u5229\u3002'</code>&nbsp;&nbsp;&nbsp;<code>(L350, T310, R710, B325)</code></p> <p><code>&nbsp;</code><code>'Static5'</code>&nbsp;<code>'\u7248\u6743\u6240\u6709 \xa9 2009 Microsoft Corporation\u3002\u4fdd\u7559\u6240\u6709\u6743\u5229\u3002'</code>&nbsp;<code>'\u7248\u6743\u6240\u6709 \xa9 2009 Microsoft Corporation\u3002\u4fdd\u7559\u6240\u6709\u6743\u5229\u3002Static'</code></p> <p><code>Static </code><code>-</code>&nbsp;<code>'Windows 7 \u65d7\u8230\u7248 \u64cd\u4f5c\u7cfb\u7edf\u53ca\u5176\u7528\u6237\u754c\u9762\u53d7\u7f8e\u56fd\u548c\u5176\u4ed6\u56fd\u5bb6/\u5730\u533a\u7684\u5546\u6807\u6cd5\u548c\u5176\u4ed6\u5f85\u9881\u5e03\u6216\u5df2\u9881\u5e03\u7684\u77e5\u8bc6\u4ea7\u6743\u6cd5\u4fdd\u62a4\u3002'</code>&nbsp;&nbsp;&nbsp;<code>(L350, T325, R710, B385)</code></p> <p><code>&nbsp;</code><code>'Static6'</code>&nbsp;<code>'Windows 7 \u65d7\u8230\u7248 \u64cd\u4f5c\u7cfb\u7edf\u53ca\u5176\u7528\u6237\u754c\u9762\u53d7\u7f8e\u56fd\u548c\u5176\u4ed6\u56fd\u5bb6/\u5730\u533a\u7684\u5546\u6807\u6cd5\u548c\u5176\u4ed6\u5f85\u9881\u5e03\u6216\u5df2\u9881\u5e03\u7684\u77e5\u8bc6\u4ea7\u6743\u6cd5\u4fdd\u62a4\u3002'</code><code>'Windows 7 \u65d7\u8230\u7248 \u64cd\u4f5c\u7cfb\u7edf\u53ca\u5176\u7528\u6237\u754c\u9762\u53d7\u7f8e\u56fd\u548c\u5176\u4ed6\u56fd\u5bb6/\u5730\u533a\u7684\u5546\u6807\u6cd5\u548c\u5176\u4ed6\u5f85\u9881\u5e03\u6216\u5df2\u9881\u5e03\u7684\u77e5\u8bc6\u4ea7\u6743\u6cd5\u4fdd\u62a4\u3002Static'</code>&nbsp;<code>'Windows 7 \u65d7\u8230\u7248 \u64cd\u4f5c\u7cfb\u7edf\u53ca\u5176\u7528\u6237\u754c\u9762\u53d7\u7f8e\u56fd\u548c\u5176\u4ed6\u56fd\u5bb6/\u5730\u533a\u7684\u5546\u6807\u6cd5\u548c\u5176\u4ed6\u5f85\u9881\u5e03\u6216\u5df2\u9881\u5e03\u7684\u77e5\u8bc6\u4ea7\u6743\u6cd5\u4fdd\u62a4\u3002Static0'</code>&nbsp;<code>'Windows 7 \u65d7\u8230\u7248 \u64cd\u4f5c\u7cfb\u7edf\u53ca\u5176\u7528\u6237\u754c\u9762\u53d7\u7f8e\u56fd\u548c\u5176\u4ed6\u56fd\u5bb6/\u5730\u533a\u7684\u5546\u6807\u6cd5\u548c\u5176\u4ed6\u5f85\u9881\u5e03\u6216\u5df2\u9881\u5e03\u7684\u77e5\u8bc6\u4ea7\u6743\u6cd5\u4fdd\u62a4\u3002Static1'</code></p> <p><code>Static </code><code>-</code>&nbsp;<code>''&nbsp;&nbsp; (L350, T385, R665, B415)</code></p> <p><code>&nbsp;</code><code>'Static7'</code>&nbsp;<code>'Windows 7 \u65d7\u8230\u7248 \u64cd\u4f5c\u7cfb\u7edf\u53ca\u5176\u7528\u6237\u754c\u9762\u53d7\u7f8e\u56fd\u548c\u5176\u4ed6\u56fd\u5bb6/\u5730\u533a\u7684\u5546\u6807\u6cd5\u548c\u5176\u4ed6\u5f85\u9881\u5e03\u6216\u5df2\u9881\u5e03\u7684\u77e5\u8bc6\u4ea7\u6743\u6cd5\u4fdd\u62a4\u3002Static2'</code></p> <p><code>SysLink </code><code>-</code>&nbsp;<code>'\u6839\u636e &lt;A&gt;Microsoft \u8f6f\u4ef6\u8bb8\u53ef\u6761\u6b3e&lt;/A&gt;\uff0c\u672c\u4ea7\u54c1\u4f7f\u7528\u6743\u5c5e\u4e8e:'</code>&nbsp;&nbsp;&nbsp;<code>(L350, T415, R665, B445)</code></p> <p><code>&nbsp;</code><code>'SysLink'</code>&nbsp;<code>'\u6839\u636e &lt;A&gt;Microsoft \u8f6f\u4ef6\u8bb8\u53ef\u6761\u6b3e&lt;/A&gt;\uff0c\u672c\u4ea7\u54c1\u4f7f\u7528\u6743\u5c5e\u4e8e:'</code>&nbsp;<code>'\u6839\u636e &lt;A&gt;Microsoft \u8f6f\u4ef6\u8bb8\u53ef\u6761\u6b3e&lt;/A&gt;\uff0c\u672c\u4ea7\u54c1\u4f7f\u7528\u6743\u5c5e\u4e8e:SysLink'</code></p> <p><code>Static </code><code>-</code>&nbsp;<code>'kevin'</code>&nbsp;&nbsp;&nbsp;<code>(L365, T445, R680, B460)</code></p> <p><code>&nbsp;</code><code>'Static8'</code>&nbsp;<code>'kevin'</code>&nbsp;<code>'kevinStatic'</code>&nbsp;<code>'kevinStatic0'</code>&nbsp;<code>'kevinStatic1'</code></p> <p><code>Static </code><code>-</code>&nbsp;<code>''&nbsp;&nbsp; (L365, T460, R680, B475)</code></p> <p><code>&nbsp;</code><code>'Static9'</code>&nbsp;<code>'kevinStatic2'</code></p> <p><code>Button </code><code>-</code>&nbsp;<code>'\u786e\u5b9a'</code>&nbsp;&nbsp;&nbsp;<code>(L672, T503, R747, B524)</code></p> <p><code>&nbsp;</code><code>'Button'</code>&nbsp;<code>'\u786e\u5b9a'</code>&nbsp;<code>'\u786e\u5b9aButton'</code></p> </td> 
  </tr> 
 </tbody> 
</table>

static，SysLink,button等是它类型，后面接的是title，都是unicode的，这里面就有没有title的controller，再后面的（L,T,R,B）是这个控件的位置，分别对应着左上右下

在”关于记事本”窗口上找到“确定”按钮，可以通过app.window\_()方法，传入的参数可以是title,也可以是class\_name,所以我说这两个值相当重要，一直在用，这里的title支持正则表达式，非常方便

在app上先找到about\_dlg,然后再about\_dlg上找确定button

app.window\_(title\_re = u'关于“记事本”').window\_(title\_re = u'确定')，然后通过Click()方法来单击这个button

另外一种方法也是官方推荐的在非英文系统下的方法

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>OK </code><code>=</code>&nbsp;<code>u</code><code>'确定'</code></p> <p><code>about_dlg[OK].Click()</code></p> </td> 
  </tr> 
 </tbody> 
</table>

这个的意思就是在about\_dlg下找到u’确定’，看起来比上面要简练好理解，理解了这种方式，接下来还有更简单的，都不用找about\_dlg

直接 app\[u'关于“记事本”'\]\[u'确定'\].Click()

四、在记事本里写点东西

这个其实在校验pywinauto的时候已经做过了全用TypeKeys函数，但是这里如果要输入中文还是要u一下

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>app.notepad.TypeKeys(u</code><code>"杨彦星"</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

五、一个比较恶心的问题

在MenuSelect函数中不支持正则，完全是全文匹配，如我输入

dig = app.Notepad.MenuSelect("编辑->替换".decode('gb2312')) 是找不到对象的

必须要

dig = app.Notepad.MenuSelect("编辑(E)->替换(R)".decode('gb2312')) 这样才行，得把(R) (E)写上才行，但是奇怪的是上面的“帮助->关于记事本”就不用输入，所以说是一个挺恶心的问题，我也不知道这是为什么……

最后把上面的函数合并一下，跑下来应该会很快

转自：

http://my.oschina.net/yangyanxing/blog/167042

[https_sourceforge.net_project_showfiles.php_group_id_157379]: https://sourceforge.net/project/showfiles.php?group_id=157379
[http_www.rutherfurd.net_python_sendkeys_index.html]: http://www.rutherfurd.net/python/sendkeys/index.html
[1]: https://imgconvert.csdnimg.cn/aHR0cDovL3N0YXRpYy5vc2NoaW5hLm5ldC91cGxvYWRzL2ltZy8yMDEzMTAvMDcwMzM0NDlfU3FJVC5wbmc?x-oss-process=image/format,png
[1 1]: http://static.oschina.net/uploads/img/201310/07033449_SqIT.png
[2]: https://imgconvert.csdnimg.cn/aHR0cDovL3N0YXRpYy5vc2NoaW5hLm5ldC91cGxvYWRzL2ltZy8yMDEzMTAvMDcwMzM0NTBfRnVHRS5wbmc?x-oss-process=image/format,png
[2 1]: http://static.oschina.net/uploads/img/201310/07033450_FuGE.png