\documentclass[12pt,a4paper]{article}
\usepackage{amsthm}
\usepackage{amssymb}
\usepackage{amsmath}

\usepackage{xepersian}
\settextfont[Scale=1.1]{XB Niloofar}


\begin{document}
در این حالت حروف و اعداد ناخوانا هستند و فاصله‌ها کم هستند
\begin{align}
&\begin{cases}
y_m=x_m - \frac{f(x_m)}{f'(x_m)},\\
z_m=y_m - G\left( \frac{f(y_m)}{f(x_m)}\right)  \frac{f(y_m)}{f'(x_m)},\\
x_{m+1}=z_m - \frac{\mu}{\lambda + \nu q_m^2}\frac{f(z_m)}{ K - C(y_m -z_m) - D(y_m - z_m)^2},
\end{cases}
\end{align}
در این حالت خوانایی و فاصله ها مناسب است، من میخواهم همین اندازه رو داخل آکولاد داشته باشم.
\begin{align}
y_m&=x_m - \frac{f(x_m)}{f'(x_m)},\nonumber\\
z_m&=y_m - G\left( \frac{f(y_m)}{f(x_m)}\right)  \frac{f(y_m)}{f'(x_m)},\\
x_{m+1}&=z_m - \frac{\mu}{\lambda + \nu q_m^2}\frac{f(z_m)}{ K - C(y_m -z_m) - D(y_m - z_m)^2},\nonumber
\end{align}

\end{document}