\documentclass[a4paper,12pt]{book}
\usepackage{fancyhdr}\usepackage{graphicx} 

\usepackage{xepersian}

\pagestyle{fancy}
\fancyhf{} 
\renewcommand{\chaptermark}[1]{%
\markboth{\chaptername\thechapter:\ #1 / }{}}
\renewcommand{\sectionmark}[1]{\markright{بخش  \thesection : #1 / }}
\fancyhead[OL]{\small\rightmark\thepage}
\fancyhead[ER]{\small\leftmark\thepage}


\begin{document}

\chapter{معادلات دیفرانسیل مرتبه اول}
\section{بخش اول}
\newpage متن
\newpage متن
\section{بخش دوم }
\newpage متن
\newpage متن
\section{بخش سوم }

\newpage
\section{جدید}
\chapter{ مرتبه اول}

\section{بخش اول}
\newpage متن
\newpage متن
\section{بخش دوم }
\newpage متن
\newpage متن
\section{بخش سوم }

\end{document}