و علی أی حال فقد لقی أبوعبدالله فی هذین العهدین کثیراًمن المشاکل، فهو فی العهد الأموی عرضة لأخطار أولئک القوم الذین یکیدون آل محمد صلی الله علیه وآله وسلم و یتوقعون الفرص للفتک بهم، و هو فی عصره عمید البیت النبوی و سید الهاشمیین، و المبرز من آل محمد صلی الله علیه وآله وسلم و من رجال الأمة الذین کانوا یهم الدولة أمرهم باتجاه الأنظار الیهم، و لا یستبعد من الأمویین أن یقابلوه بکل أذی و شدة، ولکن الله سبحانه و تعالی عصمه منهم، ورد کیدهم عنه. و لما دب الضعف فی جسم الدولة کانت فترة مریحة استطاع الإمام أن یرکن الی الراحة و الاطمئنان مدة من
الزمن فتوافد علیه طلاب العلم من رجال الأمة کما مر ذکره.
أما فی العهد العباسی فهو قذی فی عیونهم لأنه زعیم أهل بیت ثارت الأمة لأجلهم، و انهارت الدولة الأمویة بالدعوة لهم، و رفعت شعارات البیعة لهم.
و قد کان فی ایام السفاح برفاهیة نظراً للظروف و الأوضاع التی سایرها السفاح بمقتضی سیاسة الدولة. و فی زمن المنصور کانت المشکلة أشد مما هی علیه من قبل، فقد کان المنصور یقظاً لا یفوته ما لجعفر بن محمد بن المنزلة فی المجتمع، و یعظم علیه اتجاه الأنظار الیه، و قد عاشره من قبل و عرف منزلته و علمه لذلک کان حذراً منه أشد الحذر، و المخاوف تحیط به و الأوهام و الشکوک تساوره، کما أن الوشاة ملأوا سمع المنصور من الأکاذیب علی جعفر بن محمد علیهماالسلام مما جعله یحاول الفتک به، و کانت سیاسة جعفر بن محمد و انعزاله و نظره الی الأمور بعین الواقع برهنت علی کذب أولئک الوشاة و خففت من سورة غضب المنصور قلیلا ولکنها لم ترفع أصل الإتهام، فهو علی حذر دائم لانه یعرف مقام الامام جعفر بن محمد و منزلته العلمیة و مکانته الاجتماعیة.
