I am checking my weights every 10 epochs. I have tried xavier and normal initialization of weights and have varied learning rate in a wide range. Also, validation error either remain constant or increases slowly. Irrespective of various set up, I am getting ‘nan’ in some filters at 10th epoch. What could be the issue and how to solve it?

(1 ,0 ,.,.) =

nan nan nan … nan nan nan

nan nan nan … nan nan nan

nan nan nan … nan nan nan

… ⋱ …

nan nan nan … nan nan nan

nan nan nan … nan nan nan

nan nan nan … nan nan nan