我正在写一个AccessibilityService
对于 Android,直到 API 级别 20,我一直在使用AccessibilityEvent.getSource()
获取可遍历的方法AccessibilityNodeInfo
when onAccessibilityEvent(AccessibilityEvent event)
被触发。虽然由此产生的AccessibilityNodeInfo
并不总是反映屏幕的内容,但仍然可以使用它。
从 API 级别 21 开始,新的AccessibilityService.getWindows()
不仅应该能够更好地表示视图层次结构(即尊重 Z 顺序),而且还应该能够公开包含当前输入法(IME)中所有视图的节点。我想利用这一点,但我无法做到这一点,而且我不知道我到底做错了什么。顺便说一句,除了极少的 java 文档之外,我无法找到有关如何执行此操作的任何更详细的信息。
我已经完成了以下操作:
- 配置服务来检索窗口内容(
android:canRetrieveWindowContent="true"
)
- Added
flagRetrieveInteractiveWindows
服务旗帜
我的代码如下:
@Override
public void onAccessibilityEvent(AccessibilityEvent event) {
ArrayList<AccessibilityNodeInfo> nodes = getNodesFromWindows();
switch (event_type) {
case AccessibilityEvent.TYPE_VIEW_ACCESSIBILITY_FOCUSED:
case AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED:
case AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED:
//case AccessibilityEvent.TYPE_VIEW_TEXT_CHANGED:
case AccessibilityEvent.TYPE_VIEW_FOCUSED:
case AccessibilityEvent.TYPE_VIEW_SELECTED:
case AccessibilityEvent.TYPE_VIEW_SCROLLED:
//case AccessibilityEvent.TYPE_VIEW_CLICKED:
updateTargetLeafs(nodes);
}
}
其中 getNodesFromWindows() 执行以下操作:
private ArrayList<AccessibilityNodeInfo> getNodesFromWindows() {
List<AccessibilityWindowInfo> windows = getWindows();
ArrayList<AccessibilityNodeInfo> nodes =
new ArrayList<AccessibilityNodeInfo>();
if (windows.size() > 0) {
for (AccessibilityWindowInfo window : windows) {
nodes.add(window.getRoot());
}
}
return nodes;
}
在这之后,updateTargetLeafs()
将所有可点击的、启用的和可见的节点收集到一个单独的AccessibilityNodeInfo
ArrayList
这样我就可以随意索引和访问它们(见下文)。使用时AccessibilityEvent.getSource()
在 API 级别 20 及以下,该数组的大小始终接近屏幕上的视图数量,但是当我使用AccessibilityService.getWindows()
大小几乎总是 1(有时是 0),并且唯一的边界AccessibilityNodeInfo
列表中的内容始终位于屏幕之外。
编辑:添加用于迭代所有节点子节点的代码(其中mNodes
的输出是getNodesFromWindows()
):
...
ArrayList<AccessibilityNodeInfo> theseleafs =
new ArrayList<AccessibilityNodeInfo>();
AccessibilityNodeInfo thisnode;
Queue<AccessibilityNodeInfo> q =
new LinkedList<AccessibilityNodeInfo>();
for (AccessibilityNodeInfo n : mNodes) {
q.add(n);
}
while (!q.isEmpty()) {
thisnode = q.poll();
if (shouldIncludeNode(thisnode)) {
//Add only if it fulfills all requirements!
theseleafs.add(thisnode);
}
for (i=0; i<thisnode.getChildCount(); ++i) {
AccessibilityNodeInfo n = thisnode.getChild(i);
if (n != null) q.add(n); // Add only if not null!
}
};
LogD("MyTag", theseleafs.size() + " leafs in this node!");
...
奇怪,我知道,但我做错了什么?