Проблема может быть в настройках Asterisk.
Пожалуйста проверьте используемые видео кодеки и их приоритет в конфиге sip.conf.

Xlite поддерживает только кодек H.263. Если вы хотите протестировать с H.264, нужно взять другой софтфон, поддерживающий этот кодек. Например Bria.
Asterisk может поддерживать оба кодека: H.263 и H.264.
RTMP SIP Gateway работает так же с двумя кодеками H.263 и H.264. H.264 — приоритетный кодек по умолчанию.

Пример конфигурации кодеков Asterisk из sip.conf:
ulaw
alaw
h264
h263

Здесь h264 кодек является приоритетным.
С такими настройками Asterisk, путь может быть таким:

Flash — [H.264] — RSGW — [H.264] — Asterisk -[H.263] — Xlite
И здесь может возникать ошибка если Asterisk не делает транскодинг H.263-H.264 нужным образом.

Чтобы устранить возможные ошибки и получить видео-картинку, пожалуйста попробуйте оставить только один видео кодек H.263 или H.264(предпочтительно) в настройках Asterisk.
Или вы можете прописать настройки отдельно для Asterisk пира. Например если ASterisk пир Xlite, вы можете установить H.263 для этого пира.
Возможно существуют и другие настройки Asterisk. Основная задача — сделать так чтобы оба пира на Asterisk(например RSGW и Xlite) созванивались по одному и тому же кодеку.