UI AutomationでWindowsプログラムの自動化などしてみる

usingSystem;usingSystem.Collections.Generic;usingSystem.Diagnostics;usingSystem.Linq;usingSystem.Runtime.InteropServices;usingSystem.Text;usingSystem.Threading;usingSystem.Threading.Tasks;usingSystem.Windows.Automation;usingSystem.Windows.Forms;namespaceConsoleApp1{// UI Automation関連の処理で使う関数を集めてみました// 個別に抜き出して使うことも鑑み、各関数の独立を意図的に高める記述をしています。publicclassUIAutomationLib{readonlystringModuleName="UIAutomationLib";// UI automation系以外に、Win32APIも使いますのでその宣言。 [DllImport("USER32.dll",CallingConvention=CallingConvention.StdCall)]staticexternvoidSetCursorPos(intX,intY);[DllImport("USER32.dll",CallingConvention=CallingConvention.StdCall)]staticexternvoidmouse_event(intdwFlags,intdx,intdy,intcButtons,intdwExtraInfo);//　マウスイベント//　定義は以下に//  https://docs.microsoft.com/en-us/windows/win32/api/winuser/nf-winuser-mouse_event//privateconstintMOUSEEVENTF_LEFTDOWN=0x2;privateconstintMOUSEEVENTF_LEFTUP=0x4;//指定したタイトルの文字列が含まれているプロセスを取得//一個目を戻すだけなので、複数対応はしていません。publicProcessUpdateTargetProcess(stringtitle){Processprocess=null;foreach(ProcesspinProcess.GetProcesses()){if(p.MainWindowTitle.Contains(title)){process=p;break;}}if(process==null){MessageBox.Show(title+"のプロセスが見つかりません。",ModuleName);}returnprocess;}//指定されたプロセスのMainFramに関するAutomationElementを取得publicAutomationElementGetMainFrameElement(Processp){returnAutomationElement.FromHandle(p.MainWindowHandle);}//指定された名前のButtonをクリックします//（例外対策はしていませんので注意）publicvoidPushButtonByName(AutomationElementelement,stringname){InvokePatternbutton=FindElementsByName(element,name).First().GetCurrentPattern(InvokePattern.Pattern)asInvokePattern;button.Invoke();}//指定されたAutomationIdのButtonをクリックします//（例外対策はしていませんので注意）publicvoidPushButtonById(AutomationElementelement,stringAutomationId){InvokePatternbutton=FindElementById(element,AutomationId).GetCurrentPattern(InvokePattern.Pattern)asInvokePattern;button.Invoke();}//指定されたAutomationIdのパーツをクリックします//（例外対策はしていませんので注意。clockableじゃないパーツ叩くと多分落ちるw）publicvoidClickElement(AutomationElementelement,stringAutomationId){AutomationElementtarget=FindElementById(element,AutomationId);System.Windows.Pointp=target.GetClickablePoint();SetCursorPos((int)p.X,(int)p.Y);mouse_event(MOUSEEVENTF_LEFTDOWN,0,0,0,0);mouse_event(MOUSEEVENTF_LEFTUP,0,0,0,0);}//指定されたAutomationElementにキーボード叩いた体で文字列を送り込みます//（対象はTextBoxなどを想定）////focusはキー叩く前に該当パーツにマウスを移動するかどうか // 　制御コードなどは以下を参考に// // https://docs.microsoft.com/ja-jp/dotnet/api/system.windows.forms.sendkeys?view=netframework-4.8// publicvoidKeyin(boolfocus,AutomationElementelement,stringtext){if(focus){element.SetFocus();}Thread.Sleep(200);SendKeys.SendWait(text);Thread.Sleep(200);}// 指定されたautomationIdに一致するAutomationElementを取得publicAutomationElementFindElementById(AutomationElementrootElement,stringautomationId){returnrootElement.FindFirst(TreeScope.Element|TreeScope.Descendants,newPropertyCondition(AutomationElement.AutomationIdProperty,automationId));}// 指定された名前に一致するAutomationElement達をIEnumerableで戻します、publicIEnumerable<AutomationElement>FindElementsByName(AutomationElementrootElement,stringname){returnrootElement.FindAll(TreeScope.Element|TreeScope.Descendants,newPropertyCondition(AutomationElement.NameProperty,name)).Cast<AutomationElement>();}}}

usingSystem;usingSystem.Collections.Generic;usingSystem.Diagnostics;usingSystem.Linq;usingSystem.Text;usingSystem.Threading;usingSystem.Threading.Tasks;usingSystem.Windows.Automation;namespaceConsoleApp1{classProgram{staticvoidMain(string[]args){//// 自動実行のコードはこんな風にも書けます。// UIAutomationLibui=newUIAutomationLib();// 電卓を起動しますProcesscalc=Process.Start(@"calc");// 起動待ちThread.Sleep(2000);// 電卓のMainFRameのAutomationElementを取得calc=ui.UpdateTargetProcess("電卓");// 更新AutomationElementcalcElement=ui.GetMainFrameElement(calc);// 電卓操作ui.PushButtonById(calcElement,"clearButton");ui.PushButtonByName(calcElement,"1");ui.PushButtonByName(calcElement,"2");ui.PushButtonByName(calcElement,"3");ui.PushButtonByName(calcElement,"4");ui.PushButtonByName(calcElement,"5");ui.PushButtonByName(calcElement,"6");ui.PushButtonById(calcElement,"divideButton");ui.PushButtonByName(calcElement,"5");ui.PushButtonById(calcElement,"equalButton");// 結果のテキストを取り出し、CTRL-Cでクリップボードにコピーします。AutomationElementResultElement=ui.FindElementById(calcElement,"CalculatorResults");ui.Keyin(true,ResultElement,"^c");// ^ = CTRL// notepadを起動させます。Processnotepad=Process.Start(@"notepad");// 起動待ちThread.Sleep(2000);//　電卓のMainFRameのAutomationElementを取得notepad=ui.UpdateTargetProcess("メモ帳");// 更新AutomationElementnotepadElement=ui.GetMainFrameElement(notepad);// で、ペーストします。ui.Keyin(true,notepadElement,"^v");// ^ = CTRL// さらにメニューをクリック操作してバージョンを出します。stringnotepadHelpMenuId="Item 5";// 「メニュー」のAutomationIdui.ClickElement(notepadElement,notepadHelpMenuId);ui.Keyin(false,notepadElement,"a");// 確認のメッセージです。Console.WriteLine("notepadの内容を確認して、<enter>して下さい（電卓は消しますがnotepadhaは残します）");Console.ReadKey();// 電卓プロセスを終了させますcalc.CloseMainWindow();}}}